PPIO上线Kimi K2高性能版,TPS翻倍至35 tokens/s

PPIO上线Kimi K2高性能版,TPS翻倍至35 tokens/s

两周前,PPIO 率先上线的 Kimi K2 Instruct 模型深受 AI 开发者的好评。

该模型在自主编程、工具调用、数学推理三大能力上表现突出。而且,PPIO 提供了 Anthropic SDK 兼容的 API 服务,开发者可轻松在 Claude Code 中使用 PPIO 提供的 Kimi K2 模型服务来完成任务。

不过,在衡量一款模型性能的时候,不仅要考量生成的质量,还要考量生成的速度。

TPS(Tokens Per Second),每秒生成的 token 数,就是衡量大模型推理速度的核心指标之一。

今天,PPIO Kimi K2 经过深度优化,TPS 从 17 tokens/s 大幅提升至 35 tokens/s,实现100%性能增长!

Kimi K2 在编程场景下已展现强大实力,此次吞吐能力升级,进一步满足高并发需求,让代码生成、分析更高效流畅!

比如,让 Kimi K2 Instruct “做一个月之暗面”风格的PPT模板,并直接生成可视化网页”。

最终得到的效果如下:

作为行业技术先锋,PPIO 率先完成 Kimi K2 的吞吐优化,并持续挑战更高 TPS 极限,为开发者提供更强大的 AI 算力支持。

PPIO 一直致力于为用户提供更加稳定、高效的模型服务,通过持续优化底层架构,确保模型可适用多类型复杂场景需求,同时提供 7×24 小时全天候技术保障,助力企业客户业务创新。

Read more

PPIO发布Agent Runtime:让Agent部署像Serverless一样简单

PPIO发布Agent Runtime:让Agent部署像Serverless一样简单

近期,PPIO 发布了基于 Sandbox(沙箱)自研的新产品:Agent Runtime,一个轻量级的 Agent 运行时框架。 Agent Runtime 是为了顺应 Agent 的专属需求而推出,其定位与 AWS AgentCore Runtime 类似。AgentCore 是 AWS 在 2025 年推出的专为 Agent 设计的基础设施平台,AgentCore Runtime 则是其中一个子产品,是基于 Firecracker 微虚拟机的 Serverless 运行时环境,旨在解决 Agent 低成本、高效率的部署问题。 PPIO Agent Runtime 通过简单易用的 SDK 与强大的沙箱运行环境来简化 Agent 的部署过程。用户无需关心基础设施配置、

By PPIO
当Agent计算规模扩大100倍,我们需要什么样的Agentic Infra?

当Agent计算规模扩大100倍,我们需要什么样的Agentic Infra?

近期,PPIO Sandbox(沙箱)发布了一个重要功能:沙箱克隆。 沙箱克隆旨在助力提高 Agent 的并行计算能力,也就是经典的“Scale up”规模扩展问题。 今年最流行的 Agent 产品是 Deep Research,它可以看作对单个研究问题持续追踪、推演、迭代直到形成洞察的长链路串行推理过程。 那么,如果将 Deep Research 的能力 Scale up 一百倍会发生什么?像 Manus 这样的 Agent 正在解决这类挑战,并将这种并行计算架构的 Agent 称之为 Wide Research。 从 Agent 的串行计算到并行计算,离不开“沙箱克隆”这一核心技术的助力,这是 PPIO 在 Agentic Infra

By PPIO
PPIO上线Kimi K2 Thinking,兼容Anthropic协议

PPIO上线Kimi K2 Thinking,兼容Anthropic协议

今天,PPIO 上线 Kimi K2 Thinking,这是 Kimi 最新、功能最强大的开源思考模型。 Kimi K2 Thinking 基于 Kimi K2 后训练而来的混合专家模型(MoE),总参数达 1T,激活参数 32B,上下文长度 256K。该模型支持深度思考、Function Call、结构化输出、json_schema、json_object 等功能。 现在,你可以到 PPIO 官网在线体现 Kimi K2 Thinking,也可以将 PPIO 的模型 API 部署到 AI 应用中。 PPIO 在线体验地址: https:

By PPIO
PPIO独家上新GPU实例模板,一键部署Kimi-Linear

PPIO独家上新GPU实例模板,一键部署Kimi-Linear

昨晚,月之暗面发布了混合线性注意力架构新模型 Kimi-Linear,旨在解决大语言模型在长上下文推理中的计算瓶颈。 Kimi-Linear 的核心亮点: * Kimi Delta Attention(KDA),一种通过细粒度门控机制改进门控规则的线性注意力架构。 * 混合架构:采用 3:1 的 KDA 与全局 MLA 比例,在保持甚至超越全注意力质量的同时降低内存占用。 * 卓越性能:在 1.4T Token 的训练规模下,经公平对比,KDA 在长文本与类强化学习基准等多项任务上均优于全注意力。 * 高吞吐:在 1M 上下文中实现最高 6 倍的解码吞吐量,显著缩短单输出 Token 耗时(TPOT)。 今天,PPIO 独家上新 GPU 实例模板,可一键部署 Kimi-Linear-48B-A3B-Instruct 的专属模型。 PPIO 算力市场的

By PPIO