media
解决算力网“最后一公里”难题，PPIO 派欧云发布全新算力云产品矩阵
https://www.infoq.cn/article/fhugtAQ12eTiU8uqGgCs
Latest
media
PPTV创始人姚欣AI再创业，“分布式推理”终于有人做了
https://mp.weixin.qq.com/s/Mn0aK4Z66WMr3042zbLGRg
“算力版滴滴”发布 AI 云新品，PPIO CEO预测三年模型推理成本将下降1000倍｜钛媒体AGI
https://www.tmtpost.com/7240084.html
media
PPIO派欧云发布全新算力云产品，助力大模型推理千倍降本
https://www.lieyunpro.com/archives/494390
recommend
PPIO派欧云发布全新算力云产品，助力大模型推理千倍降本
2024年9月4日，由PPIO派欧云主办的“Power to Pioneers · 2024分布式云计算论坛暨 PPIO AI产品发布会”在上海召开。论坛聚焦于分布式云计算的技术创新、产业落地、市场趋势，及其对AIGC规模化应用的推动力。期间，PPIO推出全新的Serverless和模型API服务产品，进一步完善派欧算力云产品矩阵，标志着PPIO的分布式云服务从边缘云延伸到AI基础设施，将为AIGC创新企业和开发者带来更高性价比、弹性、易用的一站式AI基础设施产品和服务。 张江集团党委书记、董事长袁涛；华中科技大学教授、长江学者特聘教授、中国计算机学会副理事长金海教授出席本次论坛并致辞。中国信通院云大所政企数字化转型部主任徐恩庆；上海交通大学特聘教授、中国计算机学会系统软件专委副主任、开源鸿蒙技术指导委员会主席陈海波教授分别发表精彩演讲，为分布式云产业发展贡献无尽灵感。 PPIO派欧云联合创始人、董事长兼 CEO姚欣在主题演讲中指出：“遵循尺度定律的基本原理，计算能力将决定大模型创新和应用的上限。在计算资源成本高昂而需求爆增的市场格局下，分布式算力将成为引领下一轮科技革命的重要推动
投机采样会损失大语言模型的推理精度吗？
Mitchell Stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善，包括 Lookahead Decoding、REST、Medusa 和 EAGLE，投机采样显著加快了大型语言模型 (LLM) 的推理过程。 一个重要的问题是：LLM 中的投机采样会损害原始模型的准确性吗？先说答案：不会。 标准的投机采样算法是无损的，本文将通过数学分析和实验来证明这一点。 数学证明 投机采样公式可以定义如下： 其中： * 𝑟 是从均匀分布中采样的实数。 是要预测的下一个token。 * 𝑝(𝑥) 是草稿模型给出的下一个token分布。 * 𝑞(𝑥) 是基础模型给出的下一个token分布。 为简单起见，我们省略了概率条件。实际上，𝑝 和 𝑞 是基于前缀token序列 的条件分布。 以下是 DeepMind 论文中关于该公式无损性的证明： 如果你觉得阅读数学方程式太枯燥，接下来我们将通过一些直观的图表来说明证明过程。 这是草稿模型 𝑝 和基础模型 𝑞 的分布示意图： 需要说明的是，这只是一个理想化的图
News
PPIO派欧云发布下一代推理加速引擎
（2024年7月28日，长春）2024年7月26至28日，由中国计算机学会（CCF）主办的“CCF Computility 2024分布式计算大会暨全国开放式分布与并行计算学术年会”在长春市举办。陈国良院士、于全院士、郑纬民院士等11位院士与学术界和产业界的1000多位顶级专家齐聚一堂，深入探讨分布式计算与算力网的最新进展，推动科技与产业的深度融合。 作为中国领先的分布式云服务商，PPIO派欧云联合创始人、董事长兼CEO姚欣受邀参会并发表题为《面向下一代人工智能的分布式智算网络建设与运营》的主题演讲，正式发布下一代分布式推理加速技术产品——派欧算力云推理加速引擎。 性价比领先，推理性能提升十倍，综合成本降低90% 派欧算力云推理加速引擎通过一系列自研推理加速算法，使大语言模型（LLM）推理性能提升10倍。同时，PPIO派欧云还积极在硬件层构建分布式算力基础设施，将综合推理成本降低90%以上。不仅推理性能超越了众多硅谷AI Infra头部公司，还具备显著的成本优势，助力更多开发者使用大模型技术进行应用创新。 为了突破显存、算力和带宽对大模型推理性能的限制，PPIO派欧云通
A100 解析：为何它成为 AI 大模型时代的首选？
NVIDIA A100 Tensor Core GPU 可针对 AI、数据分析和 HPC 应用场景，在不同规模下实现出色的加速，有效助力更高性能的弹性数据中心。A100 采用 NVIDIA Ampere 架构，是 NVIDIA 数据中心平台的引擎。A100 的性能比上一代产品提升高达 20 倍，并可划分为七个 GPU 实例，以根据变化的需求进行动态调整。A100 提供 40GB 和 80GB 显存两种版本，A100 80GB 将 GPU 显存增加了一倍，并提供超快速的显存带宽（每秒超过 2 万亿字节 [TB/s]），可处理超大型模型和数据集。 英伟达 A100 显卡凭借其卓越的性能、高效能和广泛的应用场景，
PPIO派欧云蝉联边缘公有云市场 TOP 10 企业
近日，国际数据公司（IDC）正式发布《中国边缘云市场跟踪研究，2023H2》报告。该报告指出，在2023年下半年，中国边缘云市场实现了显著增长，市场规模达62.6亿元人民币，同比增长率高达36.1%。在众多竞争者中，PPIO派欧云凭借卓越的市场表现和强大的竞争力，再次跻身于该领域的TOP10榜单。 在市场概况方面，报告指出，纵观2023年，互联网行业客户在降本增效诉求下加速自建流量分发与分布式音视频处理体系，以及传统行业客户持续将轻量级IT架构迁移至边缘云体系中，仍然是整个市场增长的核心驱动力。即便受到互联网流量增长见顶甚至回退、行业客户收紧IT预算影响，边缘云市场在下半年依然出现了超预期需求，成为云计算市场中重要的增长引擎。 PPIO派欧云在此次报告中荣获TOP10殊荣，充分彰显了其在边缘云领域的卓越实力和创新能力。展望未来，PPIO派欧云将继续致力于满足行业客户日益增长的需求，推动边缘云技术的持续演进和发展，为市场的持续健康增长贡献力量。
PPIO CEO 姚欣：AI 行业或将迎来一次泡沫破灭，但不要悲观
7月5日，混沌AI应用探索营授课老师、PPTV创始人、PPIO派欧云联合创始人&CEO姚欣，与大家分享了AI世界相对确定的当下和充满想象力的远方，一同用前瞻性的眼光进行长期性规划，积极拥抱新技术。 混沌AI应用探索营，致力于以混沌·Light 独家一思维*探索流作为交互工具，结合AI先锋老师与企业实践案例，帮助想拥抱AI的企业管理者，用AI降本增效、产品升级，实现从“互联网+”到“AI+”。 硬件技术推动AI发展迈向不同阶段 今年三月，美国一家著名对冲基金在发布的一份报告中指出了AI发展的四个阶段。目前我们还处于专注于技术设施建设的第一阶段。即将进入的第二阶段的核心特征是使手机、电脑等设备具备AI能力。第三阶段将会演变成每个人都拥有自己独有的AI助手。第四阶段则包括自动驾驶、AI机器人等更加复杂的应用场景。我把这分为相对确定的当下和充满想象力的远方。 硅谷的布局也发生了很大变化，英伟达成为了硅谷的新核心，许多公司都围绕着英伟达建立起合作关系。现在在美国做AI创业，简单来说，就是你是GPU穷人还是GPU富人？因为你手上掌握的GPU数量决定了你能做多大的模型、多大的业务。今年3
五项中国信通院荣誉！PPIO派欧云以分布式技术引领算力网络服务新标杆！
近期，PPIO派欧云凭借其卓越的分布式计算技术，接连获得中国信通院（CAICT）、中国通信标准化协会（CCSA）五项重要殊荣，彰显了公司在技术创新和行业引领方面的实力。 7月10日，中国通信标准化协会成功举办了“2024年算网基础设施产业发展论坛”。在此次盛会上，PPIO派欧云凭借其前瞻性的“分布式云算力网络智能调度与博弈交易算法”荣获「2023年度算网基础设施优秀案例」。 2023年度算网基础设施优秀案例 7月18日，由中国通信标准化协会主办的“第四届云边协同大会暨首届分布式算力论坛”也在北京顺利召开。PPIO派欧云凭借其突破性的“PPIO派欧算力云分布式算力解决方案”荣获「2024年度分布式算力“星耀”案例」。 2024年度分布式算力“星耀”案例 在中国信通院云计算与大数据研究所联合百余家成员单位共同发起的“边缘算力网络推进计划暨《边缘算力网络白皮书》”启动仪式上，PPIO派欧云与中国铁塔、阿里云等合作伙伴成员单位共同出席，并被选入「边缘算力网络推进计划成员单位」，同时受邀加入「中国信通院云边协同AI工作组」，共同推动AI技术在云计算与边缘计算领域的深度融合，促进产业
PPIO CTO王闻宇解析AI出海秘籍，推理成本成为竞争焦点
乘着OpenAI带来的新技术变革，AI产品出海掀起了新一轮全球化之路。PPIO派欧云联合创始人&CTO王闻宇，在 2024 AICon 全球人工智能开发与应用大会，结合AI推理云的跨地域服务实践，分享了PPIO派欧云在助力本地开发者全球化业务中的技术优化实践。为企业提供借鉴。 企业出海动因分析 越来越多AI产业企业选择出海。 海外市场ToC的泛联网AI应用(APP+网站）正在高速增长。即使在中美关系角力的今天，其中出海公司也占据了很大的份额。我身边创业圈的趋势也能明显看到，之前做本地ToC APP创业者，现在基本都在做出海的应用，APP或者网页，而且很多人都在做AI原生应用。 此外，相比本地市场，出海市场在某些领域能提供更加开放宽松的竞争环境，有助于企业自由发挥。另外，欧美地区的用户的付费意愿比较高，更容易收到钱，哪里有金子，就去哪里开拓，这也符合本地创业者精神。 另外还有工程师红利，勤劳务实的服务精神，也是推动AI企业出海的关键力量。本地工程师在海外市场中展现出了高效的工作能力和服务能力，不论在技术，产品创新还是服务，都不差于欧美本土的公司。 本地创业者进军全球市场