LongFlow: Efficient KV Cache Compression for Reasoning Models¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/yisunlp/LongFLow
领域: 模型压缩
关键词: KV Cache压缩, 推理模型, 算子融合, 静态显存管理, 稀疏注意力
一句话总结¶
针对长思维链推理模型在长输出场景下的显存爆炸与带宽受限问题,LongFlow提出一种基于单当前Query的零历史依赖重要性评估指标,直接复用注意力中间结果,并结合融合注意力与驱逐的Triton自定义算子及静态显存布局,在保留几乎全部数学与推理精度的同时实现80%的KV Cache压缩与高达11.8倍的端到端吞吐提升。
研究背景与动机¶
以 OpenAI-o1 和 DeepSeek-R1 为代表的推理大模型通过在推理阶段展开极长的思维链(Chain-of-Thought, CoT),在数学竞赛、代码生成以及复杂科学问答等任务中取得了突破性进展。然而,这种依靠测试时计算换取准确率的范式带来了巨大的部署代价:模型在自回归解码过程中会生成成千上万个中间推理标记(长达数千乃至上万token),导致 Key-Value(KV)Cache 的显存占用迅速膨胀,同时在自回归解码的每一步中,庞大的 KV 缓存带来了极为严峻的 HBM 带宽读写压力与内存碎片问题。
现有的 KV Cache 压缩方案在面对长输出推理模型时遭遇了多重失效。首先,诸如 SnapKV 等方法主要针对“长上下文 Prompt、短输出”的场景设计,仅在 prefill 预填充阶段进行压缩,而无法应对输出长度达数千乃至上万 token 的解码累积;其次,经典的动态驱逐算法(如 H2O、VATP、R-KV 等)往往依赖长时间窗口的历史累积注意力权重或复杂的多轮评估,不仅引入昂贵的计算延迟,还需要在显存中维护额外的元数据(如历史注意力矩阵或多步 query),在长生成场景下往往抵消了压缩带来的吞吐增益;最后,现代 LLM 推理引擎极度依赖 FlashAttention 等硬件感知的高性能融合算子,而现有压缩算法的逐步淘汰与统计逻辑通常需要与 Python/PyTorch 交互并中断内核融合,迫使中间张量在片上 SRAM 与片外 HBM 之间频繁搬运,导致“理论压缩率高,实际推理反而变慢”。
针对这一矛盾,本文打破了“必须回溯累积历史注意力才能准确评估 token 重要性”的思维定势,提出了基于相邻 Query 高余弦相似度的单 Query 评估假设。核心 idea:直接利用当前自回归步的单 Query 与注意力计算中的中间未归一化贡献向量(\(\alpha_{it} v_i\) 的 L1 范数)作为历史 token 重要性代理指标,实现零辅助存储与零计算开销的重要性估计;并设计软硬件协同的 Triton 融合算子,将 FlashAttention 计算、token 评分与原位驱逐合三为一,配合预分配静态显存消除内存碎片。
方法详解¶
整体框架¶
LongFlow 针对推理模型长自回归解码的特点,构建了一套软硬件协同的极低开销 KV Cache 动态压缩流水线。其核心工作流包括:预先分配固定预算(如 3,200 token)的静态 KV Cache 缓冲区;在每一步自回归生成时,将当前 query \(q_t\) 与当前静态 KV 缓存以及有效位掩码(Mask)输入到定制的 Triton 融合内核中;融合内核在片上 SRAM 内以分块(block-wise)方式同步完成局部注意力积、中间贡献向量计算、token 重要性打分累加与最终输出归约;最后在内核中直接确定当前得分最低的 token 槽位,并在下一步生成时被新生成的 KV 对直接覆盖写入。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["当前单步 Query $q_t$ 与新输入"] --> B["覆盖写入先前判定的驱逐槽位<br/>静态预分配 KV Cache 缓冲区"]
B --> C["分块拷贝至片上 SRAM<br/>I/O 感知分块分批处理"]
C --> D["单步单 Query 注意力与中间贡献向量提取<br/>$C_j = \exp(S_j) \cdot V_j$ 算子重组"]
D --> E["零历史开销重要性评估<br/>$\\text{LongFlowScore} = \\sum |C_j|$ 实时归约"]
E --> F["Triton 融合驱逐决策与输出归一化<br/>输出 Attention $o_t$ 并锁定最小评分槽位 $i_{\\text{evict}}$"]
关键设计¶
1. 零历史开销重要性评估:单步 Query 代理与中间未归一化贡献向量复用
现有启发式驱逐方法(如 H2O 累加所有过去步的注意力分数)需要额外维护显存张量并在每个解码步进行高昂的全局排序。LongFlow 首先从理想优化目标出发:在步骤 \(t\),最理想的驱逐目标应当是寻找剔除后对未来所有步骤影响最小的 token,为使其可计算,首先将其松弛为对紧随其后的下一步注意力输出 \(o_{t+1}\) 影响最小: $\(\arg\min_i \| o_{t+1} - o_{t+1}^{(\setminus i)} \|_2^2\)$ 其中 \(o_{t+1}^{(\setminus i)}\) 表示在 KV Cache 中剔除历史标记 \(t_i\) 后的注意力输出。由于未来的 \(q_{t+1}\) 在当前不可知,作者通过实证观测发现,推理模型在长思维链解码时,相邻时间步之间的 query 余弦相似度极高(平均在 0.83 以上)。因此,当前步骤 \(t\) 的注意力分布与下一步 \(t+1\) 高度相近,可以用当前 query \(q_t\) 替代 \(q_{t+1}\)。
进一步,作者分析了剔除标记 \(t_i\) 对当前注意力输出的精确变化量 \(\Delta o_t = o_t - o_t^{(\setminus i)}\)。在注意力 Softmax 归一化分母 \(Z = \sum_{j} \exp(s_{jt})\) 中,当缓存序列较长且候选剔除 token 的权重较小时,分母变化量可近似忽略(\(Z \approx Z^{(\setminus i)}\))。在此近似下,剔除标记 \(t_i\) 导致的输出扰动退化为其对注意力输出的直接贡献向量: $\(c_{it} = \alpha_{it} v_i\)$ 其中 \(\alpha_{it}\) 为 token \(t_i\) 在步骤 \(t\) 的归一化注意力权重,\(v_i\) 为其 Value 向量。为了以最小开销衡量扰动幅度,LongFlow 采用 L1 范数定义重要性评分: $\(\text{LongFlowScore}(t_i) = \| c_{it} \|_1 = \alpha_{it} \sum_{l=1}^d |(v_i)_l|\)$ 该贡献向量本身就是标准注意力前向计算中必需的中间值(即点积 Softmax 权重乘以 Value 矩阵的中间项),因此仅需在片上对已算出的张量执行一次轻量规约(Reduction),无需任何额外的历史注意力累加矩阵或辅助存储,真正做到了“零开销衍生”。
2. 理论误差上界分解:分母扰动与 Query 漂移的严密保证
为了证明使用 \(\text{LongFlowScore}\) 作为理想全局目标的合理性,作者将总误差 \(E_i = \| o_{t+1} - o_{t+1}^{(\setminus i)} \|^2 - \| c_{it} \|^2\) 利用三角不等式严密拆解为两部分: $\(E_i \le \left| \| o_{t+1} - o_{t+1}^{(\setminus i)} \|^2 - \| c_{i, t+1} \|^2 \right| + \left| \| c_{i, t+1} \|^2 - \| c_{it} \|^2 \right|\)$ 第一项为分母近似误差(Denominator Approximation Error)。理论推导证明其残差项 \(R_{i, t+1} = \Delta o_{t+1} - c_{i, t+1}\) 的范数有界: $\(\| R_{i, t+1} \| \le 2 V \frac{\alpha_{i, t+1}}{1 - \alpha_{i, t+1}}\)$ 其中 \(V = \max_j \| v_j \|\)。该界限严格证明了:当被驱逐 token 的注意力权重 \(\alpha_{i, t+1}\) 极小时(长序列中不重要 token 的权重通常远小于 0.01),分母近似带来的误差以线性和一阶主项快速趋近于 0。
第二项为 Query 漂移误差(Query Drift Error)。根据 Softmax 函数关于 \(L_\infty \to L_1\) 的 1-Lipschitz 连续性,注意力权重的变化量被输入未归一化 logits 的最大变化量控制:\(|\alpha_{i, t+1} - \alpha_{it}| \le \max_j |s_{j, t+1} - s_{jt}|\)。结合柯西-施瓦茨不等式,logits 漂移受控于单位归一化 Query 的余弦距离: $\(\max_j |s_{j, t+1} - s_{jt}| \le \frac{\sqrt{2(1 - \cos(q_t, q_{t+1}))}}{\sqrt{d_k}} \max_j \| k_j \|\)$ 由此给出明确理论保证:随着相邻 Query 的余弦相似度趋近于 1,时间代理带来的误差严格趋于 0。这为 LongFlow 采用单步 Query 替代长程历史统计提供了严谨的数学支撑。
3. Triton 融合计算与原位驱逐算子:打通片上计算与驱逐全链路
在标准解码系统中,算子融合与 token 淘汰常常脱节:常规 FlashAttention 算完后将输出写回显存,外部调度程序再读回注意力分数矩阵进行 top-k 或阈值筛选,引发海量显存读写瓶颈。LongFlow 基于 Triton 专门定制了针对自回归解码(query 长度固定为 1)的高性能融合算子:
- 消除外部循环与优化片上流水:由于解码阶段 query 长度恒为 1,完全去除了标准 FlashAttention 中对 query 维度的外层遍历循环;针对分块 KV 缓存,采用单层循环在 SRAM 中按块加载 \(K_j, V_j\)。
- 重构点积与中间规约:在分块内部计算出 logits 并应用 Mask 掩码后,直接在 FP32 精度下完成局部 \(\exp(S_j)\) 与累加。紧接着,打破传统先算归一化 Softmax 矩阵再与 \(V\) 做大矩阵乘的模式,改成分步计算未归一化贡献向量 \(C_j = \exp(S_j) \cdot V_j\)。该中间张量一方面沿序列维度累加到全局注意力输出累加器 \(o_{\text{acc}}\) 中,另一方面直接在片上沿特征维度计算其绝对值和 \(\text{sum}(|C_j|, \text{dim}=1)\),作为未归一化分数 \(S_{\text{loss}, j}\) 保存在片上。
- 全局原位判定:循环结束后,将注意力输出累加器除以全局归一化分母 \(l_{\text{acc}}\) 得到最终输出 \(o_t\);同时将分块累积的得分除以分母 \(l_{\text{acc}}\) 得到全局 \(\text{LongFlowScore}\),并通过片上 argmin 瞬间锁定本轮最小分数的 token 槽位索引 \(i_{\text{evict}}\)。整个打分与驱逐决策与注意力计算同周期完成,内核耗时从未融合方案的 47 ms 直降至 8 ms(在 Qwen3-8B、batch 128、seq 3200 下实测)。
4. 预分配静态显存与单步匀速覆盖机制
传统动态显存管理在频繁进行 token 增删时会导致极其严重的 PyTorch CUDA Caching Allocator 显存碎片,随着长文本生成推进容易突发 OOM。LongFlow 采用静态内存预分配策略:在模型启动生成前,直接按照预设的 KV 预算(如 3,200 token)开辟连续固定的张量显存,配合一个长为缓存容量的布尔掩码 \(M\)。在生成的每一步中,新生成的 KV 向量直接原位覆盖(in-place overwrite)上一轮算子返回的 \(i_{\text{evict}}\) 槽位,每一步的工作负载与显存分配量恒定为零增量。这种确定性的内存访问模式彻底杜绝了运行时动态重分配引起的显存抖动,使系统能支持比基线大得多的并发 Batch Size。
一个完整示例¶
假设推理模型在某数学题生成阶段达到第 4,000 步解码,当前配置的 KV Cache 容量上限为 3,200 token(已满)。当前解码生成的 token 为 \(x_{4000}\),投影得到单向量 Query \(q_{4000} \in \mathbb{R}^{1 \times d}\): 1. 槽位覆盖:系统取出第 3,999 步由算子返回的淘汰槽位索引 \(i_{\text{evict}} = 1420\),将新计算的 \(k_{4000}, v_{4000}\) 直接写入静态张量的第 1420 行切片。 2. 块级加载与评分:Triton 融合算子按块大小 \(B_k=128\) 分批把缓存的 \(K, V\) 读入 SRAM。计算当前块与 \(q_{4000}\) 的点积注意力 logits,并提取中间张量 \(C_j = \exp(S_j) \cdot V_j\)。 3. 输出与打分同步归约:在片上同时累加注意力加权输出 \(o_{\text{acc}}\) 与分母 \(l_{\text{acc}}\);对 \(C_j\) 进行绝对值行和归约,得到该 128 个历史 token 对当前步的贡献度。 4. 决策返回:块遍历完毕后,算子输出最终的单步隐状态 \(o_{4000}\),并在 3,200 个槽位中瞬间定位出对当前推演贡献最小的槽位(例如位于中间推导草稿中的某个虚词代词槽位 \(i_{\text{evict}} = 853\)),传给下一步作为待覆盖槽位。整个过程无需在 GPU 显存中分配任何临时 buffer。
损失函数 / 训练策略¶
LongFlow 是一种完全免训练(Training-free)的即插即用推理加速方案,无需对大模型或注意力层进行任何微调、后训练或参数更新。对于预填充(prefill)阶段输入提示词超出缓存预算的情况,系统默认采用 SnapKV 将初始 prompt 压缩至设定预算内;随后在整个自回归长思维链生成过程中,全程交由 LongFlow 静态融合算子以单步步长持续执行。
实验关键数据¶
主实验¶
论文在 NVIDIA A100-40GB 上,针对长输出设定(最大生成长度 16,000 tokens)对 DeepSeek-R1-Distill-Llama-8B 与 Qwen3-8B 模型展开全面评测,KV Cache 预算设为 2,400 与 3,200(对应 80%~85% 的极高压缩率)。评测基准覆盖数学竞赛(AIME24、AIME25、AMC-23、MATH-500)、高阶科学推理(GPQA、Minerva、OlympiadBench)以及基础算术(GSM8K)。
| 模型 | KV 预算 | 方法 | AIME24 (30) | AIME25 (30) | AMC (40) | GPQA (198) | GSM8K (1318) | MATH (500) | Minerva (272) | Olympiad (675) |
|---|---|---|---|---|---|---|---|---|---|---|
| DeepSeek-R1-Distill-Llama-8B | Budget=3200 | Vanilla (Full KV) | 30.00 | 20.00 | 77.50 | 41.41 | 77.47 | 83.40 | 20.59 | 44.30 |
| DeepSeek-R1-Distill-Llama-8B | Budget=3200 | H2O | 36.67 | 23.33 | 72.50 | 38.38 | 77.69 | 81.60 | 21.32 | 46.22 |
| DeepSeek-R1-Distill-Llama-8B | Budget=3200 | R-KV | 30.00 | 23.33 | 77.50 | 42.93 | 77.62 | 82.40 | 19.49 | 46.81 |
| DeepSeek-R1-Distill-Llama-8B | Budget=3200 | VATP | 40.00 | 16.67 | 72.50 | 42.42 | 77.39 | 81.60 | 19.12 | 46.67 |
| DeepSeek-R1-Distill-Llama-8B | Budget=3200 | LongFlow (本文) | 33.33 | 26.67 | 82.50 | 40.91 | 77.62 | 79.80 | 20.22 | 45.93 |
| DeepSeek-R1-Distill-Llama-8B | Budget=2400 | Vanilla (Full KV) | 30.00 | 20.00 | 77.50 | 41.41 | 77.48 | 83.40 | 20.59 | 44.30 |
| DeepSeek-R1-Distill-Llama-8B | Budget=2400 | LongFlow (本文) | 33.33 | 16.67 | 70.00 | 40.40 | 77.71 | 79.80 | 20.22 | 43.85 |
| Qwen3-8B | Budget=3200 | Vanilla (Full KV) | 60.00 | 46.67 | 90.00 | 34.85 | 95.68 | 92.60 | 33.46 | 58.22 |
| Qwen3-8B | Budget=3200 | H2O | 46.67 | 26.67 | 80.00 | 27.78 | 96.36 | 90.40 | 35.29 | 53.78 |
| Qwen3-8B | Budget=3200 | R-KV | 50.00 | 33.33 | 82.50 | 32.32 | 96.36 | 91.60 | 33.46 | 55.56 |
| Qwen3-8B | Budget=3200 | VATP | 43.33 | 33.33 | 82.50 | 30.30 | 96.43 | 91.00 | 34.19 | 55.41 |
| Qwen3-8B | Budget=3200 | LongFlow (本文) | 50.00 | 26.67 | 85.00 | 30.30 | 96.36 | 89.80 | 34.19 | 55.56 |
| Qwen3-8B | Budget=2400 | LongFlow (本文) | 36.67 | 26.67 | 80.00 | 30.81 | 95.83 | 88.00 | 31.25 | 51.11 |
消融实验与系统性能¶
在系统吞吐量与算子级延迟方面,作者通过算子分解实验检验了 Triton 融合算子与算法指标解耦后的加速比;并在真实硬件与不同 Batch Size 下度量了端到端系统指标。
| 算子级对比配置 | Batch Size | KV 长度 | PyTorch 实现延迟 (ms) | Triton 融合算子延迟 (ms) | 算子加速比 | 说明 |
|---|---|---|---|---|---|---|
| 固定 LongFlow 指标 (Qwen3-4B, H20-96GB) | 128 | 3,200 | 26.34 | 5.22 | 5.05× | 证明融合内核大幅减少片外内存搬运 |
| H2O 注意力与驱逐流水线 | 128 | 3,200 | 47.00 | 8.00 (Ours) | 5.88× | 消除累加与外部驱逐逻辑开销 |
| 范数选择消融 (Qwen3-8B, Budget=3200) | AIME24 | AIME25 | AMC | GPQA | GSM8K | MATH | Minerva | Olympiad |
|---|---|---|---|---|---|---|---|---|
| L1 范数 (默认实现) | 50.00 | 26.67 | 85.00 | 30.30 | 96.36 | 89.80 | 34.19 | 55.56 |
| L2 范数 | 50.00 | 30.00 | 82.50 | 30.80 | 96.21 | 90.20 | 34.19 | 55.11 |
| 端到端吞吐对比 (tokens/s, H20-96GB, Budget=3200) | 模型规格 | Batch Size | H2O | VATP | R-KV | LongFlow (本文) |
|---|---|---|---|---|---|---|
| Qwen3-4B (Output 4096) | 4B | 32 | 261.32 | 225.96 | 169.68 | 504.07 |
| Qwen3-8B (Output 4096) | 8B | 16 | 223.83 | 208.51 | 110.86 | 356.47 |
| Qwen3-8B (Output 4096) | 8B | 24 | 188.24 | 225.46 | 119.30 | 450.13 |
| Qwen3-8B (Output 4096) | 8B | 32 | 254.17 | 238.02 | 251.83 | 485.18 |
关键发现¶
- 高压缩比下的能力保真:在 16k 输出设定下将 KV Cache 压缩 80%(仅保留 3,200 tokens),DeepSeek-R1-Distill-Llama-8B 的平均精度损失仅为 0.08%,Qwen3-8B 的损失仅为 1.3%,在 GSM8K 和 MATH 上的表现几乎与未压缩的 Vanilla 完全一致。
- 端到端极致加速与大 Batch 支持:在 Qwen3-1.7B(A100-40GB)上,LongFlow 端到端吞吐较 FullKV 提升高达 11.8 倍,较 H2O/VATP 等基线快约 4.0 倍。由于静态显存分配彻底消除了显存碎片,LongFlow 支持的最大服务 Batch Size 远超基线(Vanilla 约为 10,而 LongFlow 可扩展至 60 以上)。
- L1 与 L2 范数等价性:消融实验表明,在算子内采用绝对值和(L1 范数)与欧氏距离(L2 范数)的淘汰结果极其相近,验证了 token 重要性主要由注意力权重 \(\alpha_{it}\) 主导,采用 L1 范数能够显著降低算子在硬件上的计算开销并易于片上实现。
- 无系统性长思维链膨胀:在 Olympiad 评测上,Vanilla 的平均总生成长度为 8488.62,LongFlow 为 8523.06,差异仅约 34 个 token(0.4%),证明 KV 淘汰不会诱发模型发生“过度思考(Overthinking)”或无休止自我纠错的异常膨胀。
亮点与洞察¶
- “零历史开销”的数学洞察:巧妙地将未来步骤的注意力输出扰动松弛为当前步骤的中间贡献向量 \(\alpha_{it} v_i\),避免了追踪跨时间步复杂历史统计量的高昂代价,并给出了基于 Lipschitz 连续性与柯西不等式的严谨误差界。
- 算法与硬件极致协同设计:打破了常规“算法设计者只提供数学逻辑、系统优化者面对中断算子无能为力”的割裂局面,将 FlashAttention 的分块计算、中间态打分与原地淘汰完全熔合进单个 Triton 算子,消除片外显存带宽瓶颈。
- 静态显存架构的工业可扩展性:采用恒定预算静态预分配与单步覆盖机制,将自回归生成的不确定性显存增删转化为完全确定的硬件访问,为高并发 LLM 推理服务系统提供了极具吸引力的工程落地范式。
局限与展望¶
- 依赖连续 Query 的平稳性假设:单步 Query 代理依赖于相邻解码步的语义连续性。当模型遇到大幅度的思维状态突变、强随机采样(高 Temperature)或多轮工具调用(Tool-use Interleaving)导致上下文剧烈震荡时,当前 Query 可能无法良好预测后续注意力分布,导致误删关键 token。
- 专注长生成解码而未统一 Prefill:LongFlow 的融合内核专门针对 Query 长度为 1 的解码阶段定制,无法直接扩展到 Query 长度很长的双向注意力或超长 Prompt 预填充阶段;未来探索一套统一 Prefill 与 Decode 阶段的端到端 KV 压缩框架具有重要价值。
相关工作与启发¶
- vs H2O / Scissorhands: H2O 采用累积注意力分数(Heavy-Hitters)追踪 token 历史重要度,必须跨步骤在显存中维护每个 token 的累加标量,并在每个周期做全局重排序;LongFlow 证明单步 Query 配合中间贡献向量即可获得同等甚至更优的保留质量,省去全部辅助张量与历史追踪开销。
- vs SnapKV: SnapKV 通过聚类和观察窗口在 Prefill 阶段进行单次前置压缩,在长输出推理模型中完全失效;LongFlow 填补了自回归长解码阶段高频、低开销动态淘汰的空白。
- vs VATP / R-KV: VATP 引入了 Value 向量模长修正但仍需多步缓存;R-KV 引入了重复模式检测但带来了繁重的计算与显存负担。LongFlow 将打分直接收敛到注意力未归一化矩阵乘法的副产物中,使算子融合成为可能。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了 KV 压缩必须依赖长程历史统计的传统认知,提出了基于单 Query 与注意力中间量的零开销估计方案。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个顶尖推理与数学基线、多尺度模型族(0.6B-8B)、端到端吞吐与片上算子延迟细粒度剖析,支撑有力。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密,系统软硬件融合设计交代透彻,数据图表详实自洽。
- 价值: ⭐⭐⭐⭐⭐ 为以 o1/R1 为代表的长思维链推理模型部署提供了目前最具实用性与硬件亲和度的 KV Cache 压缩范式。