如何通过KV稀疏实现对vLLM的1.5倍加速

分享
如何通过KV稀疏实现对vLLM的1.5倍加速
作者:PPIO派欧云算法专家 张青青


前言

近一年以来,自H2O起,关于KV稀疏的论文便百花齐放,而在实际应用中不得不面临的一个问题便是学术论文与实际应用之间的巨大鸿沟,例如,像vLLM等框架采用的是 PagedAttention 等分页内存,与大部分的稀疏算法都无法与之兼容或者本身性能不如 PagedAttention,类似的种种问题,导致了稀疏算法无法真正的在生产中应用。

我们参考KV稀疏这一方向最近一年的学术论文,结合vLLM框架本身的优化特性,例如 Continuous Batching、FlashAttention、PagedAttention 等,对vLLM框架进行基于KV稀疏的修改,最终基于线上最常用的模型、参数与硬件,与SOTA版本的推理框架进行对比,实现了1.5倍的推理加速。

说到KV稀疏之前,不得不说的便是LLM的 Massive Activations 特性,即在LLM中有很少数的激活值明显活跃于其他的激活,有时候高于其他激活100,000倍以上,换而言之,即少部分的token起到了至关重要的作用,因而可以通过KV稀疏方法(即保留重要的token)来提升推理性能。

具体可以参考 Llama2 和 Llama3 的分析数据,如下图所示:

Activation Magnitudes (𝐳-axis) in LLaMA2-7B. 𝐱 and 𝐲 axes are sequence and feature dimensions. For this specific model, we observe that activations with massive magnitudes appear in two fixed feature dimensions (1415, 2533), and two types of tokens—the starting token, and the first period (.) or newline token (\n).

Llama3 与 Llama2 不同的是,Llama3 并不是所有的层都呈现出 Massive Activations 特性,在 lower layers 呈现出均匀分布特性,在 middle layers 呈现出 localized attention 特性,只有在 upper layers 才呈现出Massive Activations 特性,这也是为什么 Llama3 等模型要使用分层稀疏的原因。

Attention patterns of retrieval-augmented generation across layers in LlaMa (Touvron et al., 2023a;b) reveal that in the lower layers, the model exhibits a broad-spectrum mode of attention, distributing attention scores uniformly across all content. In the middle layers, attention becomes more localized within each document, indicating refined information aggregation (dotted red triangular shapes in layers 6 and 10). This culminates in the upper layers, where “massive attention” focuses on a few key tokens (concentrated attention bars after layer 18), efficiently extracting essential information for answers.

介绍完LLM的 Massive Activations 特性,我们对于KV 稀疏的原理已经有了基本的概念,接下来我们进入KV稀疏如何实现的内容。在整个大模型的推理过程中,显卡的容量、计算能力、IO往往是推理的三大瓶颈,而为了避免重复计算而往往会缓存KV,这样就导致推理的过程中 KV Cache 会导致大量的显存,同时计算量与IO也分别是 Prefill 和 Decode 两个阶段的重要瓶颈。

我们对vLLM的改造就是基于LLM的 Massive Activations特性,来实现的分层稀疏(即不同层的稀疏程度不一样),从而大大降低KV开销,对LLM模型实现推理加速。

如上图所示,如果我们在推理的过程中,我们对模型的不同层分别进行KV稀疏,即通过淘汰策略将打分较低的KV进行删除,同时保留打分较高与距离较近的KV,从而节约内存并同时降低计算量与IO开销,最终实现推理加速。

推理加速效果

大家最关注的莫过于KV稀疏在vLLM中的实际效果如何?我们先介绍一下性能评测的效果。

推理性能

在LLM的实际应用中,输入/输出长度为4000/500为最常见的长度,同时 RTX4090显卡也是业界应用最广泛的显卡之一,我们在此基础上进行分批次的性能对比测试。对照组是 vLLM0.6.1.p2,实验组是 PPIO Sparse 0.5.1(vLLM 0.5.1的kv稀疏改造版本),两者进行多轮的性能对比测试,参考的主要指标为TTFT(首token指标,影响用户体验)和Throughput(吞吐量,实际的推理速度)。

最终的测试结果显示,通过KV稀疏,在保证 TTFT 可用的基础上(P50在1秒之内),能将vLLM的吞吐量提升约1.58倍。

如上表所示,在较大Batch Size的场景下,vLLM0.6.1.p2在并发度为10的情况下已经到达极限,而PPIO Sparse0.5.1在并发度为20的情况下依旧能保持TTFT性能稳定,从一定程度上保证了KV稀疏在实际生产中的性能稳定性。

模型性能

因为KV稀疏是一种有损的压缩算法,而进行模型性能评测,同样的至关重要,我们基于 Llama3-8B 进行了mmlu 等性能评测,发现精度损失基本上在3%以内。如下表所示,我们通过 mmlu、humanities 进行模型性能测试:

其次,针对实际业务当中的长文本场景,我们进行了输入长度为7k-30k的QA任务评测,压缩比控制在10倍以上,其结果显示整体精度损失在10%左右。

关键技术

分层稀疏与Tensor Parallelism

vLLM本身采用的是 Iteration-Level Schedule 调度策略,即我们常说的 Continuous Batching, 这种调度策略的特点便是不是等到批次中的每个序列都完成生成,而是实现迭代级调度,从而比静态批处理产生更高的 GPU 利用率。如文章开头所说的,因为 Llama3-8B 等模型本身就具有分层稀疏等特性,而我们基于 Continuous Batching 的改造,自然也遇到一系列的挑战。

Completing seven sequences using continuous batching. Left shows the batch after a single iteration, right shows the batch after several iterations. Once a sequence emits an end-of-sequence token, we insert a new sequence in its place (i.e. sequences S5, S6, and S7). This achieves higher GPU utilization since the GPU does not wait for all sequences to complete before starting a new one.

首先需要解决的问题便是不同层的内存管理问题,因为vLLM采用的是全层统一的分页内存管理模式,同时在队列策略上是 Full Cache 和 Sliding Window 只能二选一的策略,因而我们需要对vLLM的底层结构进行了调整,即同时支持 Full Cache 和 Sliding Window 以不同的层可以选择自由选择 Full Cache 或 Sliding Window 的诉求,最终实现不同层的不同稀疏程度,对应的结构如下图所示:


整体上可以分成对三个阶段的调整:

  1. 服务启动阶段

在服务启动的过程中,主要通过剩余空间的计算对三层分配的空间进行初始化,同时对Metadata的结构进行分层初始化,而原始的vLLM相当于是全量的Full Cache,不会考虑不同层的内存分配逻辑。

2. step的准备阶段

在vLLM的step初始化过程中,即block manager/model_runner 等方法涉及的阶段,对不同层进行不同的 block table 管理策略,从而控制KV的更新机制。如上图所示,我们在最前面的三层使用 Full Cache 机制,即存储所有的KV,三层以上的层则通过 Sliding Window 自动替换打分最低的KV,通过这种方法就可以灵活的指定各个层所需要的内存空间,即节约了空间,又最大化了稀疏算法的效果。

3. 稀疏化计算阶段

此阶段往往发生在模型执行之后,通过计算得到的稀疏化打分去执行稀疏操作,而这一步重点需要考虑的是 Tensor Parallelism、CUDA graphs、GQA 等技术的兼容。当然,在实际的工程实现中,Tensor Parallelism 需要重点考虑,如下图所示,在单机多卡的场景中,需要通过合理的切分机制将KV稀疏的操作限制在每块GPU的内部,避免GPU卡之间的通信。比较幸运的是,Attention单元是一种基于 ColumnLinear 的切分方式,实现起来相对比较容易。

以上,主要是针对vllm支持分层稀疏在框架层上的修改,接下来重点介绍一下底层 CUDA 的优化。


Attention改造


底层 CUDA 方面的改造,主要集中在 Attention 这一计算单元的改造,即 FlashAttention、PagedAttention 的改造,PagedAttention 相对简单,我们重点介绍一下FlashAttention 的改造。

首先我们回顾一下 Attention 的计算公式:

如上图所示,softmax 自身的计算过程是对QK的计算,同时是一种 2-pass算法(循环2次),然而最终的计算目标O却可以通过FlashAttention算法,通过 1-pass(循环1次)进行实现。FlashAttention 的实现逻辑可以参考下面关于 FlashAttention2 论文的截图,简而言之,即通过Q以分块遍历的方式对KV进行分块计算,同时逐步更新 O/P/rowmax 等数据,直到循环结束,再让O除以ℓ,即可实现 1-pass 的 FlashAttention 计算。

对我们实现KV稀疏来说,需要重点注意的是,FlashAttention 的计算过程中,已经计算出 softmax 所需要的 rowmax/ℓ(全局的最大化和累加值),但FlashAttention 并没有返回这两者的结果。

有了 FlashAttention 的基础理解,我们再讨论一下PYRAMIDKV等论文中关于稀疏化的打分公式,如下图所示:

上述公式的A为 softmax 打分,S为邻近a个 softmax 打分的求和,通过上面的内容可知,softmax 本身是一种2-pass 算法,无法直接融合到 FlashAttention 当中,也说明稀疏化打分同样无法 1-pass 实现。

正如上文所说的注意事项,FlashAttention 虽然没有输出 softmax 打分,但却计算了 rowmax/ℓ 这些中间值,因而,我们参考 Online Softmax: 2-pass算法,利用rowmax/ℓ 的输出,就可以实现KV稀疏的具体打分S。在工程上,只需要对对 FlashAttention 进行如下的改进,即可满足诉求:

  1. FlashAttention增加了rowmax/ℓ的输出

rowmax/ℓ 因为是最大值或者累加值,数据量不大,对 FlashAttention 本身并无太大但影响,而通过复用rowmax/ℓ 即可避免一次 1-pass,从而提升整体计算效率。

2. 增加 Online Softmax 步骤

即在 Flash attention 的基础上,根据 p=e((kq)-row_max)/ℓ 公式计算出 softmax 打分(1-pass逻辑),再进行行求和,即可算出稀疏化打分S。


在Online Softmax的代码实现中,有两个细节需要格外注意:

  1. 调整循环顺序服务启动阶段

因为S是基于k维度的打分求和,对比 attention 当中的q*k,需要在计算 Online Softmax 中调整为k*q,通过这种方式避免了各个 block 之间的无效通信(即将col_sum转化成row_sum,所有的计算都在寄存器当中完成)。

2. q的起止位置

因为存在 causal 编码以及邻近a求和的逻辑,因而不用k去遍历所有的q,参考上图标记为0/1的mask标记,可以根据q的起始位置和终止位置来判定对应的 block 是否需要计算,从而大大的节约计算资源。举例说明,例如输入的 prompt 长度为5000,邻近a的长度为256,常规计算需要5000*5000的计算量,而通过记录起止位置只需要5000*256的计算量,从而提升计算效率。

PagedAttention 所做的工作与 FlashAttention 类似,其目标都是为了求最终的S,不在这里进行详细说明。

总结


我们基于vLLM 0.5.1改造的 PPIO Sparse0.5.1,当前主要支持 Llama3-8B、Llama3-70B 等模型,推理模式上支持 CUDA graphs 模式,运行环境也主要在 RTX 4090等消费级显卡上进行部署,当前无论在工程上,还是在算法上,尚有巨大的优化空间。

对比最新的 vLLM-0.6.2 版本,以下特性我们还不支持:

·   Chunked-prefill

·  Prefix caching

·  FlashInfer and other non-FlashAttention attention backends

参考论文
[1] H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models
[2] Keyformer: KV Cache Reduction through Key Tokens Selection for
Efficient Generative Inference
[3] SnapKV: LLM Knows What You are Looking for Before Generation
[4] PyramidKV: Dynamic KV Cache Compression based on Pyramidal
Information Funneling
[5] PyramidInfer: Pyramid KV Cache Compression for High-throughput
LLM Inference
[6] MiniCache: KV Cache Compression in Depth Dimension for Large
Language Models
[7] Layer-Condensed KV Cache for Efficient Inference of Large Language Models
[8] TriForce: Lossless Acceleration of Long Sequence Generation with
Hierarchical Speculative Decoding
[9] CacheBlend: Fast Large Language Model Serving for RAG with
Cached Knowledge Fusion
[10] KV-Runahead: Scalable Causal LLM Inference by Parallel Key-ValueCache Generation


阅读更多

几千条商品创意素材,什么时候该用批量推理?

几千条商品创意素材,什么时候该用批量推理?

同一个电商团队,既要让客服马上回复「我的订单到哪了」,又要给三千件商品补写介绍。客服可以用在线调用,在当前会话里拿到答案。商品创意素材可以用 PPIO 批量推理,把已备齐资料的商品集中提交,等结果返回后再交给运营审核。两类任务怎么安排,要看各自的上线期限,以及每条结果能否独立审核和发布。 先看这批工作能等多久 在 PPIO 创建批量推理任务时,可以按固定的 48 小时任务窗口倒排上架时间。批次有可能提前完成,到期时也可以取回已完成的结果。若今天下午才拿到资料、明早就要发布,可以把关键款安排到在线调用,按上架时间把其余款式分批提交。排期时把上传、审核和补跑也算进去。 再看单条请求的资料是否齐全。一件衣服的介绍只用到它自己的尺寸、材质和洗护方式,可以单独提交。如果文案还要写明全店活动的条件,先审核活动说明,再把同一版说明写入各条商品请求。这样每条请求都有完整输入,生成的折扣门槛和活动日期也能按同一版规则核对。 假设周三 12:00 上架,先留 4 小时审核和补跑,再往前留足 48 小时窗口,周一 08:

By luigi
从 E2B 换到 PPIO 沙箱,哪些东西能带走?

从 E2B 换到 PPIO 沙箱,哪些东西能带走?

假设周五切换沙箱,有三份库存报表等着交付。一份还没开始,等新环境验收后再派过去。一份已生成临时文件,可以先让旧环境做完。必须交接时,再导出文件或从原数据重算。第三份的提交请求已经发出,界面仍显示「处理中」,先查财务系统有没有收到。新任务要准备的是运行环境,在途任务还要交接文件和进度。 让现有 E2B 项目接入 PPIO 沙箱 已经在用 E2B SDK 的项目,可以通过 PPIO 的兼容接口创建沙箱、运行命令和管理模板。先选一条常用任务,沿用现有程序试跑。以库存报表为例,从创建沙箱开始,读入订单、执行脚本,再取回成品。这样很快就能确认哪些调用可以沿用,哪些需要接入 PPIO SDK。试跑时,按指南使用支持的 E2B SDK 版本,将连接指向上海 v1 入口 sandbox.ppio.cn,并配置

By luigi
Agent 等多久,暂停沙箱才划算?

Agent 等多久,暂停沙箱才划算?

报表已经生成,用户还要开完会才能确认。此时让沙箱继续运行,买到的是随时可用的状态;把它暂停,节省的是等待期间的计算占用。怎样选择,可以先算一笔简单的任务账。对需要多轮确认的 Agent,最值得优化的往往是两次工作之间的空档。目标是在用户回来时及时继续,同时减少没有产生结果的资源占用。 先算暂停需要跨过的成本 比较两种安排时,把相同的首次执行、最终修改和模型调用费用先放到一边,只看暂停策略改变了什么。净节省可以写成:等待期间免去的计算费,减去新增存储费,再减去恢复、重连和重做的费用。净节省为正,暂停才在这笔任务上带来费用收益。存储应比较两种安排的差额。如果某份持久化数据无论是否暂停都要保存,就不必在暂停方案中再次完整扣除。反过来,暂停产生了额外快照保留,就要把这部分纳入。PPIO 生命周期说明区分运行、暂停与终止:暂停保留文件系统和内存状态,停止计算资源计费;存储费用可在定价说明中分别查看。恢复后,同一任务可以继续使用保留下来的状态。 一小时任务,可以怎样计算 假设首次处理报表用 10 分钟,等待确认 45 分钟,修改用 5 分钟。

By luigi
人接手后,电脑操作 Agent 怎样继续完成任务?

人接手后,电脑操作 Agent 怎样继续完成任务?

人工接管电脑操作 Agent,最重要的体验是“我改完,它能接着做”。如果用户修正了日期,Agent 却继续依据旧画面点击,接管反而制造了第二次错误。解决这个问题,需要把控制权交接设计成一段完整流程。以导出订单为例,用户希望获得指定日期、指定状态的文件。Agent 负责推进操作,用户可以随时纠正条件。交接完成后,双方应当面对同一份页面状态和同一个任务目标。 先让 Agent 停稳,再开放人工操作 任务可以依次经历自动执行、请求接管、人工操作和准备恢复四个阶段。用户发起接管时,调度器停止派发新动作,并处理已经发出的点击或命令;确认没有旧动作继续改变界面后,再交出操作入口。这比简单设置一个“人工模式”标记多了一步。一个已经发出的下载或提交请求,可能仍在后台执行。接管页面应显示正在收尾,随后告诉用户可以开始操作,避免两套动作交错发生。还要区分停止 Agent 的动作循环与暂停整个沙箱。人工修正页面时,桌面需要继续运行;真正进入长时间等待后,才考虑保留状态并暂停计算。把这两个操作分开,用户才能顺利进入原来的工作现场。 用两种桌面入口区分观看与操作 PPIO

By luigi