PPIO 博客 (Page 11)

technology

投机采样会损失大语言模型的推理精度吗？

Mitchell Stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善，包括 Lookahead Decoding、REST、Medusa 和 EAGLE，投机采样显著加快了大型语言模型 (LLM) 的推理过程。一个重要的问题是：LLM 中的投机采样会损害原始模型的准确性吗？先说答案：不会。标准的投机采样算法是无损的，本文将通过数学分析和实验来证明这一点。数学证明投机采样公式可以定义如下：其中： * 𝑟 是从均匀分布中采样的实数。是要预测的下一个token。 * 𝑝(𝑥) 是草稿模型给出的下一个token分布。 * 𝑞(𝑥) 是基础模型给出的下一个token分布。为简单起见，我们省略了概率条件。实际上，𝑝 和 𝑞 是基于前缀token序列的条件分布。以下是 DeepMind 论文中关于该公式无损性的证明：如果你觉得阅读数学方程式太枯燥，接下来我们将通过一些直观的图表来说明证明过程。这是草稿模型 𝑝 和基础模型 𝑞 的分布示意图：需要说明的是，这只是一个理想化的图

PPIO派欧云发布下一代推理加速引擎

（2024年7月28日，长春）2024年7月26至28日，由中国计算机学会（CCF）主办的“CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会”在长春市举办。陈国良院士、于全院士、郑纬民院士等11位院士与学术界和产业界的1000多位顶级专家齐聚一堂，深入探讨分布式计算与算力网的最新进展，推动科技与产业的深度融合。作为中国领先的分布式云服务商，PPIO派欧云联合创始人、董事长兼CEO姚欣受邀参会并发表题为《面向下一代人工智能的分布式智算网络建设与运营》的主题演讲，正式发布下一代分布式推理加速技术产品——派欧算力云推理加速引擎。性价比领先，推理性能提升十倍，综合成本降低90% 派欧算力云推理加速引擎通过一系列自研推理加速算法，使大语言模型（LLM）推理性能提升10倍。同时，PPIO派欧云还积极在硬件层构建分布式算力基础设施，将综合推理成本降低90%以上。不仅推理性能超越了众多硅谷AI Infra头部公司，还具备显著的成本优势，助力更多开发者使用大模型技术进行应用创新。为了突破显存、算力和带宽对大模型推理性能的限制，PPIO派欧云通

technology

A100 解析：为何它成为 AI 大模型时代的首选？

NVIDIA A100 Tensor Core GPU 可针对 AI、数据分析和 HPC 应用场景，在不同规模下实现出色的加速，有效助力更高性能的弹性数据中心。A100 采用 NVIDIA Ampere 架构，是 NVIDIA 数据中心平台的引擎。A100 的性能比上一代产品提升高达 20 倍，并可划分为七个 GPU 实例，以根据变化的需求进行动态调整。A100 提供 40GB 和 80GB 显存两种版本，A100 80GB 将 GPU 显存增加了一倍，并提供超快速的显存带宽（每秒超过 2 万亿字节 [TB/s]），可处理超大型模型和数据集。英伟达 A100 显卡凭借其卓越的性能、高效能和广泛的应用场景，

PPIO派欧云蝉联边缘公有云市场 TOP 10 企业

近日，国际数据公司（IDC）正式发布《中国边缘云市场跟踪研究，2023H2》报告。该报告指出，在2023年下半年，中国边缘云市场实现了显著增长，市场规模达62.6亿元人民币，同比增长率高达36.1%。在众多竞争者中，PPIO派欧云凭借卓越的市场表现和强大的竞争力，再次跻身于该领域的TOP10榜单。在市场概况方面，报告指出，纵观2023年，互联网行业客户在降本增效诉求下加速自建流量分发与分布式音视频处理体系，以及传统行业客户持续将轻量级IT架构迁移至边缘云体系中，仍然是整个市场增长的核心驱动力。即便受到互联网流量增长见顶甚至回退、行业客户收紧IT预算影响，边缘云市场在下半年依然出现了超预期需求，成为云计算市场中重要的增长引擎。 PPIO派欧云在此次报告中荣获TOP10殊荣，充分彰显了其在边缘云领域的卓越实力和创新能力。展望未来，PPIO派欧云将继续致力于满足行业客户日益增长的需求，推动边缘云技术的持续演进和发展，为市场的持续健康增长贡献力量。

PPIO CEO 姚欣：AI 行业或将迎来一次泡沫破灭，但不要悲观

7月5日，混沌AI应用探索营授课老师、PPTV创始人、PPIO派欧云联合创始人&CEO姚欣，与大家分享了AI世界相对确定的当下和充满想象力的远方，一同用前瞻性的眼光进行长期性规划，积极拥抱新技术。混沌AI应用探索营，致力于以混沌·Light 独家一思维*探索流作为交互工具，结合AI先锋老师与企业实践案例，帮助想拥抱AI的企业管理者，用AI降本增效、产品升级，实现从“互联网+”到“AI+”。硬件技术推动AI发展迈向不同阶段今年三月，美国一家著名对冲基金在发布的一份报告中指出了AI发展的四个阶段。目前我们还处于专注于技术设施建设的第一阶段。即将进入的第二阶段的核心特征是使手机、电脑等设备具备AI能力。第三阶段将会演变成每个人都拥有自己独有的AI助手。第四阶段则包括自动驾驶、AI机器人等更加复杂的应用场景。我把这分为相对确定的当下和充满想象力的远方。硅谷的布局也发生了很大变化，英伟达成为了硅谷的新核心，许多公司都围绕着英伟达建立起合作关系。现在在美国做AI创业，简单来说，就是你是GPU穷人还是GPU富人？因为你手上掌握的GPU数量决定了你能做多大的模型、多大的业务。今年3

五项中国信通院荣誉！PPIO派欧云以分布式技术引领算力网络服务新标杆！

近期，PPIO派欧云凭借其卓越的分布式计算技术，接连获得中国信通院（CAICT）、中国通信标准化协会（CCSA）五项重要殊荣，彰显了公司在技术创新和行业引领方面的实力。 7月10日，中国通信标准化协会成功举办了“2024年算网基础设施产业发展论坛”。在此次盛会上，PPIO派欧云凭借其前瞻性的“分布式云算力网络智能调度与博弈交易算法”荣获「2023年度算网基础设施优秀案例」。 2023年度算网基础设施优秀案例 7月18日，由中国通信标准化协会主办的“第四届云边协同大会暨首届分布式算力论坛”也在北京顺利召开。PPIO派欧云凭借其突破性的“PPIO派欧算力云分布式算力解决方案”荣获「2024年度分布式算力“星耀”案例」。 2024年度分布式算力“星耀”案例在中国信通院云计算与大数据研究所联合百余家成员单位共同发起的“边缘算力网络推进计划暨《边缘算力网络白皮书》”启动仪式上，PPIO派欧云与中国铁塔、阿里云等合作伙伴成员单位共同出席，并被选入「边缘算力网络推进计划成员单位」，同时受邀加入「中国信通院云边协同AI工作组」，共同推动AI技术在云计算与边缘计算领域的深度融合，促进产业

PPIO CTO王闻宇解析AI出海秘籍，推理成本成为竞争焦点

乘着OpenAI带来的新技术变革，AI产品出海掀起了新一轮全球化之路。PPIO派欧云联合创始人&CTO王闻宇，在 2024 AICon 全球人工智能开发与应用大会，结合AI推理云的跨地域服务实践，分享了PPIO派欧云在助力本地开发者全球化业务中的技术优化实践。为企业提供借鉴。企业出海动因分析越来越多AI产业企业选择出海。海外市场ToC的泛联网AI应用(APP+网站）正在高速增长。即使在中美关系角力的今天，其中出海公司也占据了很大的份额。我身边创业圈的趋势也能明显看到，之前做本地ToC APP创业者，现在基本都在做出海的应用，APP或者网页，而且很多人都在做AI原生应用。此外，相比本地市场，出海市场在某些领域能提供更加开放宽松的竞争环境，有助于企业自由发挥。另外，欧美地区的用户的付费意愿比较高，更容易收到钱，哪里有金子，就去哪里开拓，这也符合本地创业者精神。另外还有工程师红利，勤劳务实的服务精神，也是推动AI企业出海的关键力量。本地工程师在海外市场中展现出了高效的工作能力和服务能力，不论在技术，产品创新还是服务，都不差于欧美本土的公司。本地创业者进军全球市场

media

综合性价比超越硅谷，PPIO派欧云发布下一代推理加速引擎

https://www.jiemian.com/article/11486699.html

PPIO CTO王闻宇：我们是怎么做到让AI推理成本下降数量级的？

算力成本高企、大模型参数越来越大、多模态模型让推理成本再提高2个数量级、推理效率低、业务场景丰富但落地链路长等一系列现实问题，成为制约AI应用广泛落地的关键因素。如何降低算力成本，迎接推理算力爆发时代的到来？王闻宇先生2024全球机器学习技术大会上，以《如何做到算力基建和推理优化的“软硬兼施”与创新突破》为题，对AI推理成本高企的原因进行深度剖析，并给出两个降低推理成本的有效方法。当前，AI推理面临的首要问题是高昂的成本：以GPT-4当前的推理价格为例，如果我们做一个粗略的估算，假设日活跃用户达到10亿，每人每天使用7,000个token（包含上下文信息），并且不考虑目前百万级脱壳的费用，每天产生的费用将高达2.1亿美金。若按365天计算，年费用将达到惊人的600亿美金。这一数字相当于超过了40座世界第一高楼迪拜的哈利法塔（Burj Khalifa）的造价。更值得注意，这还只是今天的情况，还未考虑到多模态应用等更广泛的普及场景，因此实际使用量可能远超这一数字。 600亿美金的概念意味着，如果AI推理市场的体量再放大十倍，其规模将接近甚至超过当前整个云计算产业的总收

News

PPIO CTO王闻宇：探讨元宇宙基础设施建设及在云游戏的实践和思考

PPIO王闻宇，探讨元宇宙网络时延的最优解–边缘云基础设施的架构与建设，并介绍PPIO边缘云在泛云游戏领域的一些思考和实践。

派欧算力云全网首发4090D，实测性能可达4090的98%！

NVIDIA 推出为中国市场量身定制的 RTX 4090D 显卡（以下简称“4090D”）。 NVIDIA 对该显卡的参数进行了特别调整。RTX 4090D 的设计严格遵循了 TPP（总处理性能）的限制，配备了14592 个 CUDA 核心，加速频率达到 2.52 GHz，并搭载了 24GB 384bit GDDR6X 显存。参数可以做简单对比，实际性能却不能简单换算，可能面临模型、推理框架、算力墙、显存墙等多种因素影响，端到端的性能评测是一个非常复杂严谨的事情。借着这次派欧算力云（www.paigpu.com） 4090D 资源上线，我们也为大家提供一份完整的性能评测报告！ NVIDIA 4090D 规格参数解析 GeForce RTX 4090D采用了 NVIDIA Lovelace