3.4万亿日均Token调用量,PPIO如何成为企业级Token调用的最佳实践?
近日,由 DataFun 主办的 DACon 大会北京站圆满举办。PPIO 业务总监厉肃受邀出席,并在「企业模型组合:选型、路由、成本与治理」论坛发表主题演讲《PPIO 的Token 工厂与智能模型网关实践》。 一枚 Token 从任务请求发起,到任务执行结束会经历很多关键流程。PPIO 厉肃从客户使用 Token 的视角,分层拆解请求进入、路由判定、弹性调度、推理生产到任务编排各个环节,完整展示日均 Token 调用量 3.4 万亿背后, PPIO 如何把成本、延迟与智能逐一打磨到位。 1. 云的用户变了,Token 之痛随之而来 “云的第一用户,正在从「人」变成「Agent」。”PPIO 厉肃在分享中指出。 与传统云相比,