PPIO派欧云发布全新算力云产品,助力大模型推理千倍降本

https://www.lieyunpro.com/archives/494390

分享
PPIO派欧云发布全新算力云产品,助力大模型推理千倍降本

猎云网报道

为推动AI应用的持续创新,PPIO派欧云还联合启动“Pioneers AI初创加速计划”。

9月4日,由PPIO派欧云主办的“Power to Pioneers·2024分布式云计算论坛暨PPIO AI产品发布会”在上海召开。

论坛聚焦于分布式云计算的技术创新、产业落地、市场趋势,及其对AIGC规模化应用的推动力。期间,PPIO推出全新的Serverless和模型API服务产品,进一步完善派欧算力云产品矩阵,标志着PPIO的分布式云服务从边缘云延伸到AI基础设施,将为AIGC创新企业和开发者带来更高性价比、弹性、易用的一站式AI基础设施产品和服务。

张江集团党委书记、董事长袁涛;华中科技大学教授、长江学者特聘教授、中国计算机学会副理事长金海教授出席本次论坛并致辞。中国信通院云大所政企数字化转型部主任徐恩庆;上海交通大学特聘教授、中国计算机学会系统软件专委副主任、开源鸿蒙技术指导委员会主席陈海波教授分别发表精彩演讲,为分布式云产业发展贡献无尽灵感。

PPIO派欧云联合创始人、董事长兼CEO姚欣在主题演讲中指出:“遵循尺度定律的基本原理,计算能力将决定大模型创新和应用的上限。在计算资源成本高昂而需求爆增的市场格局下,分布式算力将成为引领下一轮科技革命的重要推动力,正在逐步改变全球计算资源的供给和利用方式。我们的核心理念是利用分布式云的优势,三年实现千倍降本,以算力普惠推动AI普惠,助力新时代的开拓者创造出全新的发展机遇。”

大幅降低AI推理成本,实现AI普惠

与模型训练相比,AI推理与产业应用关系更为密切。大模型在训练后需要通过推理应用于实际场景,这直接影响其可用性和实用性。然而,目前AI推理面临的主要问题是成本高昂,尤其是随着模型规模增大,计算需求和成本也随之增加。此外,推理效率普遍较低,加上复杂的业务场景和应用链路,进一步推高了推理成本。

为了解决AI推理的成本问题,实现大模型应用算力普惠,PPIO派欧云通过算法、系统和硬件协同创新,推出了专为AI推理场景设计的Serverless产品,提供模型部署、运行优化、弹性伸缩及API服务,帮助客户在自定义模型时获得高效的弹性效率和极致的运行成本。Serverless产品的推出使得开发者无需再管理和运维算力服务器,而是能够将精力集中于核心业务的应用逻辑开发与创新,从而帮助企业实现降本增效。

来源:企业供图

派欧算力云Serverless产品提供业界领先的自动弹性触发时延和单实例冷启动速度

此外,PPIO派欧云还推出了全新的Model API服务产品,支持AIGC应用开发所需的全模态API,开发者无需精通机器学习即可快速部署和调用大模型功能。结合PPIO强大的分布式计算能力和派欧算力云Serverless产品的弹性支持,Model API服务不仅显著提升了AI应用的开发效率,还通过按需付费模式有效降低了企业的开发和运营成本。

PPIO派欧云联合创始人兼CTO王闻宇发布Model API服务价格

派欧算力云产品可广泛应用于多个场景,提供灵活且高效的解决方案。例如,在中国铁塔的智能算力调度管理项目中,为了实现在城市广泛分布的产业园、写字楼、住宅、文娱和高校等园区进行算力入园的管理服务,PPIO通过打造分布式算力网络,实现不同地区、不同时间、不同业务的弹性算力调度和大模型推理加速,为园区内的AI应用提供高性价比的智算服务,满足智能数据处理、大模型部署、AIGC生成、AI算法加速、渲染加速等一系列应用需求。

产研联动、生态协同,加速AI应用创新

会上,PPIO派欧云宣布聘请华中科技大学教授、长江学者特聘教授、中国计算机学会副理事长金海教授担任公司技术委员会主席。作为中国分布式计算领域的知名学者,金海教授将为PPIO的分布式技术发展战略和算力网络规划提供深入全面的指导,为公司未来在分布式云和AI基础设施领域的研究和创新发展奠定坚实基础。

来源:企业供图

金海教授表示:“PPIO在分布式云领域的前沿探索和创新实践,不仅展现了技术推动行业变革的深远影响,更预示着一个全新的计算时代的到来。我期待与PPIO技术团队携手,将分布式云计算的技术边界进一步拓展,推动其在更多行业中的深度应用,助力PPIO实现全球领先的分布式计算资源优化配置和行业数字化转型。”

与此同时,中国信息通信研究院与PPIO派欧云联合多家行业领军企业、科研机构共同启动《分布式算力发展白皮书》研究工作,旨在推动分布式算力技术的发展,为全球数字经济注入新动能。白皮书将系统地阐述了分布式算力的发展背景、核心技术、应用场景、市场趋势以及未来发展方向,全面总结了近年来分布式算力在全球范围内的实践成果与技术突破,为分布式云行业从业者、技术开发者和政策制定者提供清晰的方向指引,推动分布式算力技术的进一步成熟和落地。

来源:企业供图

不仅如此,为了推动AI应用的持续创新,PPIO派欧云联合PingCap、Zilliz、AscentStream和CSDN,共同启动“Pioneers AI初创加速计划”。该计划面向AI初创企业和开发者,提供包括分布式算力、分布式关系型数据库、分布式向量数据库、分布式消息队列等在内的全面资源和技术服务,助力初创团队在分布式云上实现快速成长,加速其创新成果的落地。

PPIO派欧云联合创始人、董事长兼CEO姚欣表示:作为一位二次创业者,走了20年的创业之路,我深知创新的道路并不总是平坦的。我们站在新时代的门槛前,也正在见证一批又一批满怀梦想的开拓者,正如当年那个年轻的姚欣一样,他们需要的不仅仅是资金和技术,更是一份来自同路人、先行者的信任和鼓励,就像我的老师金海教授当年给我指引了前进的方向。致敬新时代的开拓者,让我们一起在新的AI时代,共智创新机遇。

PPIO派欧云将继续依托产学研深度融合与生态体系共建的优势,基于分布式云打造创新产品服务,持续降低技术基础设施成本,使更多AI企业和开发者能够轻松承担大模型推理的费用和成本,助力企业在AI应用创新中抢占市场先机。

1、猎云网原创文章未经授权转载必究,如需转载请联系官方微信号进行授权。

2、转载时须在文章头部明确注明出处、保留官方微信、作者和原文超链接。如转自猎云网(微信号:lieyunjingxuan)字样。

3、猎云网报道中所涉及的融资金额均由创业公司提供,仅供参考,猎云网不对真实性背书。

4、联系猎云,请加微信号:jinjilei

阅读更多

几千条商品创意素材,什么时候该用批量推理?

几千条商品创意素材,什么时候该用批量推理?

同一个电商团队,既要让客服马上回复「我的订单到哪了」,又要给三千件商品补写介绍。客服可以用在线调用,在当前会话里拿到答案。商品创意素材可以用 PPIO 批量推理,把已备齐资料的商品集中提交,等结果返回后再交给运营审核。两类任务怎么安排,要看各自的上线期限,以及每条结果能否独立审核和发布。 先看这批工作能等多久 在 PPIO 创建批量推理任务时,可以按固定的 48 小时任务窗口倒排上架时间。批次有可能提前完成,到期时也可以取回已完成的结果。若今天下午才拿到资料、明早就要发布,可以把关键款安排到在线调用,按上架时间把其余款式分批提交。排期时把上传、审核和补跑也算进去。 再看单条请求的资料是否齐全。一件衣服的介绍只用到它自己的尺寸、材质和洗护方式,可以单独提交。如果文案还要写明全店活动的条件,先审核活动说明,再把同一版说明写入各条商品请求。这样每条请求都有完整输入,生成的折扣门槛和活动日期也能按同一版规则核对。 假设周三 12:00 上架,先留 4 小时审核和补跑,再往前留足 48 小时窗口,周一 08:

By luigi
从 E2B 换到 PPIO 沙箱,哪些东西能带走?

从 E2B 换到 PPIO 沙箱,哪些东西能带走?

假设周五切换沙箱,有三份库存报表等着交付。一份还没开始,等新环境验收后再派过去。一份已生成临时文件,可以先让旧环境做完。必须交接时,再导出文件或从原数据重算。第三份的提交请求已经发出,界面仍显示「处理中」,先查财务系统有没有收到。新任务要准备的是运行环境,在途任务还要交接文件和进度。 让现有 E2B 项目接入 PPIO 沙箱 已经在用 E2B SDK 的项目,可以通过 PPIO 的兼容接口创建沙箱、运行命令和管理模板。先选一条常用任务,沿用现有程序试跑。以库存报表为例,从创建沙箱开始,读入订单、执行脚本,再取回成品。这样很快就能确认哪些调用可以沿用,哪些需要接入 PPIO SDK。试跑时,按指南使用支持的 E2B SDK 版本,将连接指向上海 v1 入口 sandbox.ppio.cn,并配置

By luigi
Agent 等多久,暂停沙箱才划算?

Agent 等多久,暂停沙箱才划算?

报表已经生成,用户还要开完会才能确认。此时让沙箱继续运行,买到的是随时可用的状态;把它暂停,节省的是等待期间的计算占用。怎样选择,可以先算一笔简单的任务账。对需要多轮确认的 Agent,最值得优化的往往是两次工作之间的空档。目标是在用户回来时及时继续,同时减少没有产生结果的资源占用。 先算暂停需要跨过的成本 比较两种安排时,把相同的首次执行、最终修改和模型调用费用先放到一边,只看暂停策略改变了什么。净节省可以写成:等待期间免去的计算费,减去新增存储费,再减去恢复、重连和重做的费用。净节省为正,暂停才在这笔任务上带来费用收益。存储应比较两种安排的差额。如果某份持久化数据无论是否暂停都要保存,就不必在暂停方案中再次完整扣除。反过来,暂停产生了额外快照保留,就要把这部分纳入。PPIO 生命周期说明区分运行、暂停与终止:暂停保留文件系统和内存状态,停止计算资源计费;存储费用可在定价说明中分别查看。恢复后,同一任务可以继续使用保留下来的状态。 一小时任务,可以怎样计算 假设首次处理报表用 10 分钟,等待确认 45 分钟,修改用 5 分钟。

By luigi
人接手后,电脑操作 Agent 怎样继续完成任务?

人接手后,电脑操作 Agent 怎样继续完成任务?

人工接管电脑操作 Agent,最重要的体验是“我改完,它能接着做”。如果用户修正了日期,Agent 却继续依据旧画面点击,接管反而制造了第二次错误。解决这个问题,需要把控制权交接设计成一段完整流程。以导出订单为例,用户希望获得指定日期、指定状态的文件。Agent 负责推进操作,用户可以随时纠正条件。交接完成后,双方应当面对同一份页面状态和同一个任务目标。 先让 Agent 停稳,再开放人工操作 任务可以依次经历自动执行、请求接管、人工操作和准备恢复四个阶段。用户发起接管时,调度器停止派发新动作,并处理已经发出的点击或命令;确认没有旧动作继续改变界面后,再交出操作入口。这比简单设置一个“人工模式”标记多了一步。一个已经发出的下载或提交请求,可能仍在后台执行。接管页面应显示正在收尾,随后告诉用户可以开始操作,避免两套动作交错发生。还要区分停止 Agent 的动作循环与暂停整个沙箱。人工修正页面时,桌面需要继续运行;真正进入长时间等待后,才考虑保留状态并暂停计算。把这两个操作分开,用户才能顺利进入原来的工作现场。 用两种桌面入口区分观看与操作 PPIO

By luigi