PPIO CEO姚欣:大模型竞赛带动算力需求猛增,算力行业迎来蓬勃发展期

PPIO受邀参与·2023甲子引力X智能新世代”峰会,并入选“星辰20:2023中国AI算力层创新企业”

PPIO CEO姚欣:大模型竞赛带动算力需求猛增,算力行业迎来蓬勃发展期

PPIO入选星辰20:2023中国AI算力层创新企业


4月25日,由中国科技产业智库甲子光年主办、上海市信息服务业行业协会支持的“共赴山海·2023甲子引力X智能新世代”峰会在上海召开,颁布了“星辰20创新企业”榜单,表彰AIGC时代背景下创新企业的杰出贡献者。

PPIO边缘云作为国内领先的独立边缘云服务提供商,基于PPIO高质量音视频边缘服务与优化解决方案,凭借其技术创新性、广泛的行业价值和社会价值等优势,入选了“星辰20:2023中国AI算力层创新企业”。

图为星辰20:2023中国AI算力层创新企业榜单

姚欣的精彩观点

峰会现场,PPIO边缘云联合创始人姚欣受邀出席了《行稳致远:大模型、大算力与可持续发展——新智能时代的基础设施》主题圆桌中,与达观数据董事长兼CEO陈运文、亚马逊云科技初创生态架构师团队技术负责人孔雷、上海交通大学计算机科学与工程系教授&开源GPGPU平台“青花瓷”发起人梁晓峣、华映资本管理合伙人章高男、亿铸科技高级副总裁徐芳共同探讨了大模型实现路径的多种可能性。

参数量大不意味着AI更智能


当下,谈及人工智能,有一个现象是所有人都无法忽视的——由OpenAI的ChatGPT和GPT-4带来的AI冲击,掀起了巨大风浪,国内的科技巨头、创业公司与高校研究院们展开了一轮关于“大模型”(Foundation Model)的军备竞赛,投入大量人力和资金,梦回“2000年左右的互联网创业潮”。

“大模型”对比“小模型”,是一种“基于大量数据训练的、拥有巨量参数的模型”,OpenAI首席执行官Sam Altman与李开复则将其定义为“一种新技术平台”。

在姚欣看来,正如此前我们去讨论“大数据时代”,如今我们进入到“大模型时代”。人工智能三大核心要素是数据、算力和算法,大数据为AI大模型提供了数据基础,但大模型之争不应把追求参数量之大作为一种简单的目标或口号,我们要清晰的认识到:参数量大并不意味着AI更智能。因为在模型的学习曲线中,除了数据和参数,还包括数据质量、数据整理、算法优化和工程化,最终综合训练出模型对多种模态信息的高效理解能力、跨模态的感知能力以及跨差异化任务的迁移与执行能力。

因此,在模型训练过程中,需要先基于更小但更优质的数据进行训练,得到一个更为有效的模型基础,进而再进行放大和延伸。

算力更大的挑战来自推理侧


OpenAI首席执行官Sam Altman曾表示:“新版摩尔定律很快就要来了,宇宙中的智能每18个月翻一倍。”

暂且抛开对这句论断的争议,在大模型时代,我们已经看到了模型训练和应用,对算力的巨大需求和成本消耗,以至于ChatGPT也频频限流。随着“新摩尔定律”的到来,这一算力消耗势必会呈现出指数级增长。据推测,如果让ChatGPT承担谷歌搜索的全部访问量,总共需要410万张英伟达A100 GPU。

在AI技术中,算力是算法和数据的基础设施,影响着AI的发展。那么,何种算力能力才能满足当前的大模型需求?在未来,怎样的算力技术更能符合和支持大模型的顺利推进?

对于这个问题,姚欣认为,当前我们谈论GPU、谈论算力,往往还是聚焦在模型训练侧,但更大的挑战来自推理侧。OpenAI曾讲到,未来的算力推演中,训练侧仅占5%的算力,而95%是在推理侧。也许在训练侧,我们对英伟达A100一卡难求,但在推理侧,我们的芯片选择会更多。随着AI应用普及,推理侧将直接服务用户和应用,面对的是海量流量的冲击,所需要的算力规模将千万倍增长,如何降低算力成本将成为关键。

未来,各类大模型AI上线应用后,将会引发算力大爆发,进而带来整个从云边端、芯片底层到云算力平台的爆发。届时,算力之争将会是更为繁荣的场景。

呼吁数据开源标准化,推动AI共同发展

ChatGPT的诞生被视为“AI界的iPhone时刻”,是计算领域有史以来最伟大的技术之一。然而,OpenAI对于软件是开源还是封闭的态度,则像是历史上Linux和Windows、Android和iOS之间上演的“IT战争”的重演。

3月1日,OpenAI宣布正式开放ChatGPT API,开发者可通过API将ChatGPT和Whisper模型集成到他们的应用程序和产品中。这意味着,企业或个人开发者无需自研,可直接使用ChatGPT模型进行二次应用和开发。但GPT-4却采用闭源模式发布,OpenAI甚至表示“开源并不明智,我们之前错了”。

对于科技及产业发展,开源和闭源哪个是更好的选择?不同选择又会带来何种影响?

在姚欣看来,过往的“IT战争”正在AI领域上演,微软仿佛回到了20年前,又选择了闭源。在产业创新阶段,姚欣认为闭源是可以理解的,比如iPhone在闭源的状态下,才能够更为专注地进行垂直整合、体验提升,以及打通商业模式。

当前,AI也处于闭源先行的过程,但是我们已经意识到,一家公司不可能穷尽所有的细分领域,一个大模型也不可能服务于所有通用的场景。因此,我认为中国作为一个AI的追赶者,我们必须拥抱开源,特别是数据开源标准化,将大模型打造成新时代的水电煤这样的基础设施,推动国内AI产业的共同发展。

PPIO构建分布式算力网络加速AI应用场景落地


面向数字经济时代,以通信技术和计算能力为基础的“新生产力”——算力的重要性逐渐凸显。作为中国领先的独立边缘云服务提供商,PPIO秉承“汇聚全球计算资源”的使命,正以共享模式整合碎片化算力资源,构建分布式的算力网络云服务,这正是PPIO的优势所在。PPIO致力于将云的能力、网的能力、算的能力进行有机结合,基于边缘云原生技术,实现与中心云协同融合发展,让边缘云算力服务如同“水电气煤”一样触手可达,从一定程度上缓解AI产业对算力的迫切需求。

未来算力网络的高速增长使其在架构、带宽、时延等方面提出更高的需求,PPIO通过自主研发边缘云原生系统,克服碎片、非标、异构的边缘侧挑战,不断提高算力能力,进一步降低底层技术成本,加速AI应用场景落地。

Read more

PPIO发布Agent Runtime:让Agent部署像Serverless一样简单

PPIO发布Agent Runtime:让Agent部署像Serverless一样简单

近期,PPIO 发布了基于 Sandbox(沙箱)自研的新产品:Agent Runtime,一个轻量级的 Agent 运行时框架。 Agent Runtime 是为了顺应 Agent 的专属需求而推出,其定位与 AWS AgentCore Runtime 类似。AgentCore 是 AWS 在 2025 年推出的专为 Agent 设计的基础设施平台,AgentCore Runtime 则是其中一个子产品,是基于 Firecracker 微虚拟机的 Serverless 运行时环境,旨在解决 Agent 低成本、高效率的部署问题。 PPIO Agent Runtime 通过简单易用的 SDK 与强大的沙箱运行环境来简化 Agent 的部署过程。用户无需关心基础设施配置、

By PPIO
当Agent计算规模扩大100倍,我们需要什么样的Agentic Infra?

当Agent计算规模扩大100倍,我们需要什么样的Agentic Infra?

近期,PPIO Sandbox(沙箱)发布了一个重要功能:沙箱克隆。 沙箱克隆旨在助力提高 Agent 的并行计算能力,也就是经典的“Scale up”规模扩展问题。 今年最流行的 Agent 产品是 Deep Research,它可以看作对单个研究问题持续追踪、推演、迭代直到形成洞察的长链路串行推理过程。 那么,如果将 Deep Research 的能力 Scale up 一百倍会发生什么?像 Manus 这样的 Agent 正在解决这类挑战,并将这种并行计算架构的 Agent 称之为 Wide Research。 从 Agent 的串行计算到并行计算,离不开“沙箱克隆”这一核心技术的助力,这是 PPIO 在 Agentic Infra

By PPIO
PPIO上线Kimi K2 Thinking,兼容Anthropic协议

PPIO上线Kimi K2 Thinking,兼容Anthropic协议

今天,PPIO 上线 Kimi K2 Thinking,这是 Kimi 最新、功能最强大的开源思考模型。 Kimi K2 Thinking 基于 Kimi K2 后训练而来的混合专家模型(MoE),总参数达 1T,激活参数 32B,上下文长度 256K。该模型支持深度思考、Function Call、结构化输出、json_schema、json_object 等功能。 现在,你可以到 PPIO 官网在线体现 Kimi K2 Thinking,也可以将 PPIO 的模型 API 部署到 AI 应用中。 PPIO 在线体验地址: https:

By PPIO
PPIO独家上新GPU实例模板,一键部署Kimi-Linear

PPIO独家上新GPU实例模板,一键部署Kimi-Linear

昨晚,月之暗面发布了混合线性注意力架构新模型 Kimi-Linear,旨在解决大语言模型在长上下文推理中的计算瓶颈。 Kimi-Linear 的核心亮点: * Kimi Delta Attention(KDA),一种通过细粒度门控机制改进门控规则的线性注意力架构。 * 混合架构:采用 3:1 的 KDA 与全局 MLA 比例,在保持甚至超越全注意力质量的同时降低内存占用。 * 卓越性能:在 1.4T Token 的训练规模下,经公平对比,KDA 在长文本与类强化学习基准等多项任务上均优于全注意力。 * 高吞吐:在 1M 上下文中实现最高 6 倍的解码吞吐量,显著缩短单输出 Token 耗时(TPOT)。 今天,PPIO 独家上新 GPU 实例模板,可一键部署 Kimi-Linear-48B-A3B-Instruct 的专属模型。 PPIO 算力市场的

By PPIO