News
PPIO上线Prompt Cache:让模型调用更快、更省、更稳
在大模型推理场景中,响应速度直接影响用户体验和系统性能。传统推理服务需要每次都重新计算相同的文本片段,导致不必要的计算开销和延迟,PPIO 推出的 Prompt Cache(提示词缓存)有效解决了这一问题。 PPIO的 Prompt Cache 功能基于智能缓存策略,能够识别和缓存可重复使用的文本模式,并在后续请求中快速调用。这种技术不仅大幅提升了推理效率,更让长文本应用变得更加经济。 当前PPIO的 Prompt Cache 功能已支持以下主流大模型,前往PPIO官网即可体验。 * DeepSeek 系列:DeepSeek V3.1 / DeepSeek V3.1 Terminus / DeepSeek V3 0324 * GLM 系列:GLM-4.6 / GLM-4.6v / GLM-4.5 / GLM-4.5V / GLM-4.5-Air * Moonshot 系列:Kimi