Saiki

如何通过KV稀疏实现对vLLM的1.5倍加速

作者：PPIO派欧云算法专家 张青青 前言 近一年以来，自H2O起，关于KV稀疏的论文便百花齐放，而在实际应用中不得不面临的一个问题便是学术论文与实际应用之间的巨大鸿沟，例如，像vLLM等框架采用的是 PagedAttention 等分页内存，与大部分的稀疏算法都无法与之兼容或者本身性能不如 PagedAttention，类似的种种问题，导致了稀疏算法无法真正的在生产中应用。 我们参考KV稀疏这一方向最近一年的学术论文，结合vLLM框架本身的优化特性，例如 Continuous Batching、FlashAttention、PagedAttention 等，对vLLM框架进行基于KV稀疏的修改，最终基于线上最常用的模型、参数与硬件，与SOTA版本的推理框架进行对比，实现了1.5倍的推理加速。 说到KV稀疏之前，不得不说的便是LLM的 Massive Activations 特性，即在LLM中有很少数的激活值明显活跃于其他的激活，有时候高于其他激活100,000倍以上，换而言之，即少部分的token起到了至关重要的作用，因而可以通过KV稀疏方法（即保留重要的toke

technology

投机采样会损失大语言模型的推理精度吗？

Mitchell Stern 等人于 2018 年提出了投机采样的原型概念。这种方法后来被各种工作进一步发展和完善，包括 Lookahead Decoding、REST、Medusa 和 EAGLE，投机采样显著加快了大型语言模型 (LLM) 的推理过程。 一个重要的问题是：LLM 中的投机采样会损害原始模型的准确性吗？先说答案：不会。 标准的投机采样算法是无损的，本文将通过数学分析和实验来证明这一点。 数学证明 投机采样公式可以定义如下： 其中： * 𝑟 是从均匀分布中采样的实数。 是要预测的下一个token。 * 𝑝(𝑥) 是草稿模型给出的下一个token分布。 * 𝑞(𝑥) 是基础模型给出的下一个token分布。 为简单起见，我们省略了概率条件。实际上，𝑝 和 𝑞 是基于前缀token序列 的条件分布。 以下是 DeepMind 论文中关于该公式无损性的证明： 如果你觉得阅读数学方程式太枯燥，接下来我们将通过一些直观的图表来说明证明过程。 这是草稿模型 𝑝 和基础模型 𝑞 的分布示意图： 需要说明的是，这只是一个理想化的图