综合性价比超越硅谷,PPIO派欧云发布下一代推理加速引擎

https://www.jiemian.com/article/11486699.html

分享
综合性价比超越硅谷,PPIO派欧云发布下一代推理加速引擎

界面新闻报道

由中国计算机学会(CCF)主办的CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会在长春市举办。

2024年07月30日 11:19

(2024年7月28日,长春)2024年7月26至28日,由中国计算机学会(CCF)主办的“CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会”在长春市举办。陈国良院士、于全院士、郑纬民院士等11位院士与学术界和产业界的1000多位顶级专家齐聚一堂,深入探讨分布式计算与算力网的最新进展,推动科技与产业的深度融合。

作为中国领先的分布式云服务商,PPIO派欧云联合创始人、董事长兼CEO姚欣受邀参会并发表题为《面向下一代人工智能的分布式智算网络建设与运营》的主题演讲,正式发布下一代分布式推理加速技术产品——派欧算力云推理加速引擎。

性价比领先:推理性能提升十倍,综合成本降低90%

派欧算力云推理加速引擎通过一系列自研推理加速算法,使大语言模型(LLM)推理性能提升10倍。同时,PPIO派欧云还积极在硬件层构建分布式算力基础设施,将综合推理成本降低90%以上。不仅推理性能超越了众多硅谷AI Infra头部公司,还具备显著的成本优势,助力更多开发者使用大模型技术进行应用创新。

为了突破显存、算力和带宽对大模型推理性能的限制,PPIO派欧云通过算法、系统和硬件的协同创新实践,推出三大核心技术,通过Pyramid Cache稀疏化压缩算法、Hydra Sampling投机采样技术以及端到端FP8推理,打造全球领先的下一代高性价比算力云推理加速引擎。这些技术显著提升了推理加速优化的潜能,实现成本与性能之间的最佳平衡,为开发者提供了卓越性价比的大模型推理服务。

Pyramid Cache稀疏化压缩算法:

与当前主流压缩优化思路不同,Pyramid Cache稀疏化压缩算法分析计算注意力分数在不同层上的分布模式,为不同层动态分配不同KV Cache预算,在压缩比和模型性能之间取得最佳匹配。实验表明,该方法将KV Cache压缩至10%以内,同时保持95%以上的模型性能表现,最终将GPU内存开销降低至20%,显著提高GPU内存资源利用率,不仅满足长窗口的推理需求,还进一步将端到端推理效率提升2倍以上。

Hydra Sampling投机采样技术:

针对传统大模型推理过程中每次仅生成一个token导致的低吞吐量问题,PPIO派欧云创新实现了基于多头并行推理的Hydra Sampling投机采样技术。大量实验证实,在传统的投机采样算法中,草稿模型的输出token接受率严重影响推理效率。为此,PPIO通过用场景数据在线更新草稿模型,使得草稿模型逐渐拟合目标大模型,相应的输出token接受率可以进一步提高。基于这种在线动态更新机制,草稿模型越用越聪明,推理效率也随之越来越高,端到端综合性能优化达到2倍以上,处理更多请求的同时,推理性价比显著提升。

端到端FP8推理:

PPIO派欧云重写了核心的注意力算法,直接调用FP8 TensorCore进行注意力计算,并使用FP8保存KV Cache,避免FP16格式的中间结果转换和传输,实现全链路FP8计算。通过这些优化,显著降低数据存储和通信成本,端到端推理效率提升约2倍,充分释放硬件算力潜能。

在三项创新技术的支持下,派欧算力云产品基于自研的推理加速引擎能够迅速适配和优化开源大模型,第一时间上架Llama3.1-405B、Mixtral 8x22B等20多个开源高性能大模型,API正常运行时间达到99.99% 。与GPT-4o相比,通过派欧算力云产品微调和优化的Llama3.1-70b模型,其Input token价格降低了90%,Output token价格降低了95%。派欧算力云产品还通过第三方大模型API平台为全球开发者提供高性能推理服务,相比于OctoAI、Lepton、Together、Fireworks等硅谷公司,派欧算力云产品在综合性价比上具有显著优势,确保开发者在享受高性能、稳定的推理服务的同时,获得前所未有的成本效益。

*数据来自第三方大模型API平台(7月28日)

灵活产品形态,共建繁荣AI开发者和产学研生态

派欧算力云推理加速引擎可广泛应用于多个场景,提供灵活且高效的解决方案。在大模型服务方面,用户只需几行代码即可享受高性价比的推理服务,并且只需为实际消耗的token数量付费。这种方式极大地降低了用户的使用门槛和成本,帮助企业专注于自身业务的增长和发展。

不仅如此,派欧算力云产品还提供容器化的推理基础设施,满足模型定制和私有部署的需求。用户无需担心底层的计算资源管理,只需专注于模型和上层业务,即可自动获得强大的推理性能输出,并按使用时长付费。这种灵活的服务模式使得企业能够快速部署和扩展推理服务,适应不断变化的业务需求。

同时,PPIO派欧云积极推动高校学术合作和人才培养。PPIO派欧云首席科学家王晓飞教授在大会发表演讲,分享了PPIO与天津大学在分布式算力云方向的产学研合作最新动态,并介绍了通过汇聚网络边缘侧与端侧算力资源、构建混合异构分布式算力网络的实践案例。此外,依托此次CCF分布式计算大会,PPIO联合中国计算机学会分布式计算与系统专业委员会、中国科学院计算技术研究所分布式系统研究中心、鹏城实验室网络智能研究部,举办第一届CCF算力网系统与应用大赛。大赛旨在激发青年学生的创新创造力,深入了解算力网的系统架构和关键技术,推动算力网技术的创新发展和落地应用,为算力网等分布式领域的创新人才培养和新质生产力实践提供开放合作的平台。经过激烈角逐,最终由南京大学、国防科技大学和河北工业大学队伍获得大赛一等奖。

姚欣强调,随着推理需求的不断增长,降低成本是大势所趋。PPIO派欧云将继续深耕分布式计算及推理加速技术的研究与应用,不断更新迭代推理加速引擎,力求在性能和成本上实现新的飞跃。PPIO的目标是让推理成本降低90%、99%、甚至99.9%,使更多AI创业企业和开发者能够轻松承担大模型推理的费用,从而真正构建出赋能AIGC应用爆发的基础设施。

关于PPIO派欧云

PPIO派欧云是中国领先的分布式云服务商,由PPTV创始人、前蓝驰创投投资合伙人姚欣和前PPTV首席架构师王闻宇于2018年联合创立,公司秉承“汇聚全球计算资源,并为全世界提供服务”的使命,致力于为人工智能、音视频、元宇宙等新一代场景,提供极致高性价比的一站式算力、模型及边缘计算服务。

2019年,公司推出产品派欧边缘云,基于共享经济的商业模式,结合行业领先的边缘云原生、大数据、分布式计算技术,在网络边缘侧基础设施上,建构了覆盖全球的高质量边缘云计算服务网络,并实现与传统中心云的智能兼容和协同。派欧边缘云已在全球1200多个城市及地区设立了3500多个算力节点,为客户提供低时延、高带宽、广覆盖的边缘CDN、边缘计算、边缘渲染等计算和网络服务。派欧边缘云成为多家互联网巨头、一线云计算服务商、独角兽公司在边缘云服务领域的首选合作伙伴。

2023年,公司推出全新的AI基础设施产品 - 派欧算力云,依托推理加速、分布式计算等创新技术,释放推理计算潜能。为企业和开发者提供高性价比、弹性、易用的GPU 容器实例、模型托管和AIGC大模型等一站式AI服务。助力客户摆脱搭建和运维服务器的繁琐,更省钱、省时、省力地构建AIGC应用,聚焦应用创新与业务增长,为全球智能技术发展注入全新动力。

PPIO派欧云已在上海、北京、深圳、西安、武汉等地设立多个办公室,汇聚了众多来自微软、谷歌、华为、腾讯、阿里巴巴、百度等知名高科技公司的顶尖技术专家,通过不断优化和扩展产品与服务能力,加速推动下一个智能时代的到来。

免责声明:本文为本网站出于传播商业信息之目的进行转载发布,不代表本网站的观点及立场。本文所涉文、图、音视频等资料之一切权利和法律责任归材料提供方所有和承担。本网站对此资讯文字、图片等所有信息的真实性不作任何保证或承诺,亦不构成任何购买、投资等建议,据此操作者风险自担。

本文为转载内容,授权事宜请联系原著作权人。

阅读更多

几千条商品创意素材,什么时候该用批量推理?

几千条商品创意素材,什么时候该用批量推理?

同一个电商团队,既要让客服马上回复「我的订单到哪了」,又要给三千件商品补写介绍。客服可以用在线调用,在当前会话里拿到答案。商品创意素材可以用 PPIO 批量推理,把已备齐资料的商品集中提交,等结果返回后再交给运营审核。两类任务怎么安排,要看各自的上线期限,以及每条结果能否独立审核和发布。 先看这批工作能等多久 在 PPIO 创建批量推理任务时,可以按固定的 48 小时任务窗口倒排上架时间。批次有可能提前完成,到期时也可以取回已完成的结果。若今天下午才拿到资料、明早就要发布,可以把关键款安排到在线调用,按上架时间把其余款式分批提交。排期时把上传、审核和补跑也算进去。 再看单条请求的资料是否齐全。一件衣服的介绍只用到它自己的尺寸、材质和洗护方式,可以单独提交。如果文案还要写明全店活动的条件,先审核活动说明,再把同一版说明写入各条商品请求。这样每条请求都有完整输入,生成的折扣门槛和活动日期也能按同一版规则核对。 假设周三 12:00 上架,先留 4 小时审核和补跑,再往前留足 48 小时窗口,周一 08:

By luigi
从 E2B 换到 PPIO 沙箱,哪些东西能带走?

从 E2B 换到 PPIO 沙箱,哪些东西能带走?

假设周五切换沙箱,有三份库存报表等着交付。一份还没开始,等新环境验收后再派过去。一份已生成临时文件,可以先让旧环境做完。必须交接时,再导出文件或从原数据重算。第三份的提交请求已经发出,界面仍显示「处理中」,先查财务系统有没有收到。新任务要准备的是运行环境,在途任务还要交接文件和进度。 让现有 E2B 项目接入 PPIO 沙箱 已经在用 E2B SDK 的项目,可以通过 PPIO 的兼容接口创建沙箱、运行命令和管理模板。先选一条常用任务,沿用现有程序试跑。以库存报表为例,从创建沙箱开始,读入订单、执行脚本,再取回成品。这样很快就能确认哪些调用可以沿用,哪些需要接入 PPIO SDK。试跑时,按指南使用支持的 E2B SDK 版本,将连接指向上海 v1 入口 sandbox.ppio.cn,并配置

By luigi
Agent 等多久,暂停沙箱才划算?

Agent 等多久,暂停沙箱才划算?

报表已经生成,用户还要开完会才能确认。此时让沙箱继续运行,买到的是随时可用的状态;把它暂停,节省的是等待期间的计算占用。怎样选择,可以先算一笔简单的任务账。对需要多轮确认的 Agent,最值得优化的往往是两次工作之间的空档。目标是在用户回来时及时继续,同时减少没有产生结果的资源占用。 先算暂停需要跨过的成本 比较两种安排时,把相同的首次执行、最终修改和模型调用费用先放到一边,只看暂停策略改变了什么。净节省可以写成:等待期间免去的计算费,减去新增存储费,再减去恢复、重连和重做的费用。净节省为正,暂停才在这笔任务上带来费用收益。存储应比较两种安排的差额。如果某份持久化数据无论是否暂停都要保存,就不必在暂停方案中再次完整扣除。反过来,暂停产生了额外快照保留,就要把这部分纳入。PPIO 生命周期说明区分运行、暂停与终止:暂停保留文件系统和内存状态,停止计算资源计费;存储费用可在定价说明中分别查看。恢复后,同一任务可以继续使用保留下来的状态。 一小时任务,可以怎样计算 假设首次处理报表用 10 分钟,等待确认 45 分钟,修改用 5 分钟。

By luigi
人接手后,电脑操作 Agent 怎样继续完成任务?

人接手后,电脑操作 Agent 怎样继续完成任务?

人工接管电脑操作 Agent,最重要的体验是“我改完,它能接着做”。如果用户修正了日期,Agent 却继续依据旧画面点击,接管反而制造了第二次错误。解决这个问题,需要把控制权交接设计成一段完整流程。以导出订单为例,用户希望获得指定日期、指定状态的文件。Agent 负责推进操作,用户可以随时纠正条件。交接完成后,双方应当面对同一份页面状态和同一个任务目标。 先让 Agent 停稳,再开放人工操作 任务可以依次经历自动执行、请求接管、人工操作和准备恢复四个阶段。用户发起接管时,调度器停止派发新动作,并处理已经发出的点击或命令;确认没有旧动作继续改变界面后,再交出操作入口。这比简单设置一个“人工模式”标记多了一步。一个已经发出的下载或提交请求,可能仍在后台执行。接管页面应显示正在收尾,随后告诉用户可以开始操作,避免两套动作交错发生。还要区分停止 Agent 的动作循环与暂停整个沙箱。人工修正页面时,桌面需要继续运行;真正进入长时间等待后,才考虑保留状态并暂停计算。把这两个操作分开,用户才能顺利进入原来的工作现场。 用两种桌面入口区分观看与操作 PPIO

By luigi