PPIO CTO王闻宇解析AI出海秘籍，推理成本成为竞争焦点

乘着OpenAI带来的新技术变革，AI产品出海掀起了新一轮全球化之路。PPIO派欧云联合创始人&CTO王闻宇，在 2024 AICon 全球人工智能开发与应用大会，结合AI推理云的跨地域服务实践，分享了PPIO派欧云在助力本地开发者全球化业务中的技术优化实践。为企业提供借鉴。 企业出海动因分析 越来越多AI产业企业选择出海。 海外市场ToC的泛联网AI应用(APP+网站）正在高速增长。即使在中美关系角力的今天，其中出海公司也占据了很大的份额。我身边创业圈的趋势也能明显看到，之前做本地ToC APP创业者，现在基本都在做出海的应用，APP或者网页，而且很多人都在做AI原生应用。 此外，相比本地市场，出海市场在某些领域能提供更加开放宽松的竞争环境，有助于企业自由发挥。另外，欧美地区的用户的付费意愿比较高，更容易收到钱，哪里有金子，就去哪里开拓，这也符合本地创业者精神。 另外还有工程师红利，勤劳务实的服务精神，也是推动AI企业出海的关键力量。本地工程师在海外市场中展现出了高效的工作能力和服务能力，不论在技术，产品创新还是服务，都不差于欧美本土的公司。 本地创业者进军全球市场

PPIO CTO王闻宇：我们是怎么做到让AI推理成本下降数量级的？

算力成本高企、大模型参数越来越大、多模态模型让推理成本再提高2个数量级、推理效率低、业务场景丰富但落地链路长等一系列现实问题，成为制约AI应用广泛落地的关键因素。 如何降低算力成本，迎接推理算力爆发时代的到来？ 王闻宇先生2024全球机器学习技术大会上，以《如何做到算力基建和推理优化的“软硬兼施”与创新突破》为题，对AI推理成本高企的原因进行深度剖析，并给出两个降低推理成本的有效方法。 当前，AI推理面临的首要问题是高昂的成本： 以GPT-4当前的推理价格为例，如果我们做一个粗略的估算，假设日活跃用户达到10亿，每人每天使用7,000个token（包含上下文信息），并且不考虑目前百万级脱壳的费用，每天产生的费用将高达2.1亿美金。若按365天计算，年费用将达到惊人的600亿美金。 这一数字相当于超过了40座世界第一高楼迪拜的哈利法塔（Burj Khalifa）的造价。更值得注意，这还只是今天的情况，还未考虑到多模态应用等更广泛的普及场景，因此实际使用量可能远超这一数字。 600亿美金的概念意味着，如果AI推理市场的体量再放大十倍，其规模将接近甚至超过当前整个云计算产业的总收

News

PPIO CTO王闻宇：探讨元宇宙基础设施建设及在云游戏的实践和思考

PPIO王闻宇，探讨元宇宙网络时延的最优解–边缘云基础设施的架构与建设，并介绍PPIO边缘云在泛云游戏领域的一些思考和实践。

派欧算力云全网首发4090D，实测性能可达4090的98%！

NVIDIA 推出为中国市场量身定制的 RTX 4090D  显卡（以下简称“4090D”）。 NVIDIA 对该显卡的参数进行了特别调整。RTX 4090D 的设计严格遵循了 TPP（总处理性能）的限制，配备了14592 个 CUDA 核心，加速频率达到 2.52 GHz，并搭载了 24GB 384bit GDDR6X 显存。 参数可以做简单对比，实际性能却不能简单换算，可能面临模型、推理框架、算力墙、显存墙等多种因素影响，端到端的性能评测是一个非常复杂严谨的事情。 借着这次派欧算力云（www.paigpu.com） 4090D 资源上线，我们也为大家提供一份完整的性能评测报告！ NVIDIA 4090D 规格参数解析 GeForce RTX 4090D采用了 NVIDIA Lovelace