跳转至

Enabling KV Caching of Shared Prefix for Diffusion Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/OSSS-KU/BiCache
领域: 模型压缩
关键词: 扩散语言模型, 键值缓存, 共享前缀缓存, 分层缓存, 高吞吐推理

一句话总结

针对自回归共享前缀 KV 缓存技术直接迁移到扩散语言模型会导致精度骤降至近乎归零的难题,本文提出首个面向扩散语言模型的双向共享前缀缓存方案 BICACHE,利用浅层跨请求高相似性与深度受前缀比例调控的规律,结合浅层跨请求复用与深层周期性刷新,在吞吐量提升 36.3%–98.3% 的同时将精度损失控制在 0%–1.8% 以内。

研究背景与动机

在大语言模型(LLM)的高吞吐在线服务中,键值缓存(KV Caching)是一项必不可少的基础加速技术。特别是针对系统提示词(system prompt)、少样本示范或多轮历史等共享前缀,真实生产负载中共享前缀所占 token 比例往往高达 85% 到 97%。在以自回归模型(ARM)为主导的传统架构中,注意力机制遵循严格的因果因果掩码,先前已计算 token 的键值张量在后续生成步骤以及跨请求追加后缀时保持绝对恒定不变。因此,现代推理框架(如 vLLM)广泛采用共享前缀缓存(shared prefix caching),对固定系统提示词仅计算一次 KV 并跨并发请求永久复用,便能轻松获取数倍甚至十倍的吞吐与延迟收益。

然而,近年来涌现的扩散语言模型(Diffusion Language Models, DLMs,如 LLaDA)打破了这一假设。DLM 摆脱了从左到右严格单向生成的因果束缚,通过在所有位置之间执行全双向注意力(bidirectional attention),经过多步去噪逐步将全掩码序列解码为目标文本,从机制上缓解了自回归生成延迟随输出长度线性增长的痛点以及"逆向诅咒"等认知缺陷。这种强大的双向交互特性带来了一个灾难性的工程代价:每当任意一个 token 在去噪步骤中被更新,全局上下文都会发生动态变化,导致包括前缀部分在内的所有 token 的隐藏状态与 KV 投影随去噪步数持续演进。如果将针对自回归设计的传统共享前缀缓存生硬搬移到 DLM 中,复用未与后缀交互计算的静态前缀 KV 会彻底破坏模型的双向上下文注意力分布。动机实验清楚表明,在 ARC-Challenge-Chat、GPQA 和 MATH-500 等基准上,直接使用 vLLM 式共享前缀缓存会使 LLaDA 的生成精度发生断崖式崩溃,准确率几乎直接跌落至 0%(例如从 86.1% 跌至 0.1%,从 18.2% 跌至 0%)。

面对这一严峻矛盾,现有的 DLM 加速工作(如 Fast-dLLM、dLLM-Cache 等)全都局限于单次请求内部的去噪步间缓存优化,完全无法解决多请求之间高频重复系统提示词的跨请求复用问题。核心 idea:本文通过对 DLM 双向生成动态的细致解构,发现共享前缀的 KV 在浅层网络中对后缀扰动高度鲁棒且跨请求极度稳定,而可安全复用的浅层深度与输入序列中共享前缀的长度比例呈强相关;据此提出 BICACHE,通过一次性离线分析动态标定各前缀比例的安全层深,在浅层执行跨请求零开销复用、在深层实施请求内跨去噪步的周期性刷新,彻底打破了 DLM 无法复用共享前缀的壁垒。

方法详解

整体框架

BICACHE 的核心设计原则是"分层差异化缓存与前缀感知自适应"。整体工作流划分为一次性离线分析(Offline Shared Prefix Profiling)与在线服务分层缓存(Online Layer-Partitioned Caching)两个协同阶段。在离线阶段,BICACHE 基于涵盖广泛领域与长度分布的对话数据集,定量分析不同共享前缀比例 \(r\) 下每层前缀 KV 的余弦相似度,依据精度安全阈值 \(\tau\) 构建出前缀比例到最大安全浅层深度 \(b\) 的轻量映射表 \(\mathcal{T}\)。在在线推理阶段,对于任意携带共享前缀的并发请求,系统快速计算其实际前缀比例 \(r\),通过查询 \(\mathcal{T}\) 得到当前请求对应的分界层深 \(b\);随后,在浅层(\(\ell \le b\))通过前缀哈希直接在跨请求 KV 存储表 \(\mathcal{H}\) 中命中复用已固化的前缀键值,完全免除浅层计算;而在深层(\(\ell > b\)),系统在单请求内部对前缀 KV 实施基于去噪步间隔 \(\Delta\) 的周期性刷新,兼顾精度保真与冗余计算消除。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入请求包含共享前缀 p 与用户后缀"] --> B["共享前缀分析<br/>计算前缀比例 r 并查表 T 获取安全深度 b"]
    B --> C{"当前网络层深 ℓ ≤ b ?"}
    C -->|是:浅层网络| D["浅层跨请求复用<br/>哈希检索 H 直接加载共享前缀静态 KV"]
    C -->|否:深层网络| E{"去噪步 t 满足<br/>(t-1) mod Δ == 0 ?"}
    E -->|是:周期刷新点| F["深层请求内重计算<br/>结合当前动态上下文刷新深层前缀 KV"]
    E -->|否:中间步| G["深层步间复用<br/>沿用上一去噪步缓存的当前请求深层 KV"]
    D --> H["双向注意力去噪计算与多步迭代"]
    F --> H
    G --> H

关键设计

1. 共享前缀相似度解构与深度-比例关联性标定

针对双向注意力导致 KV 全局动态漂移的痛点,作者深入追踪了前缀 KV 在跨请求、跨层深与跨去噪步时的余弦相似度演化模式。研究揭示了两项关键机理:其一,前缀 KV 在底层浅层(如第 1–16 层)的相似度极高(平均达到 0.98),且在多步去噪进程中的步间标准差仅为 0.007,这意味着浅层表示主要编码底层语法与静态先验,受未掩码后缀动态语义的扰动极其微弱;而在深层(第 17–32 层),由于双向注意力逐层传播全局交互,相似度明显下滑至 0.86。其二,可安全复用静态 KV 的浅层最大深度 \(b\) 几乎不受下游任务类型(如数学、问答或代码)的干扰,而严格取决于共享前缀所占总输入 token 的长度比例 \(r = m / N\)。当 \(r\) 较大时,序列由前缀主导,未共享后缀分配给前缀的注意力泄露量(attention leakage)受到严格数学上界约束,浅层可安全复用的层数 \(b\) 显著增加。论文在附录中给出了严格的数学证明:基于值向量范数有界和注意力平滑性假设,共享前缀 KV 与参考基准之间的步间余弦相似度满足理论下界:

\[\text{sim}_{\ell,t} \ge 1 - c_{\ell,t} \, g_{\ell,t}(1 - r)^2 = \text{LB}_{\ell,t}(r)\]

该理论保证了只要设定保守相似度阈值 \(\tau\)(经验证 \(\tau=0.97\) 最佳),即可由 \(r\) 唯一导出无损精度的确定性安全浅层深度 \(b_{\text{safe}}(r)\)。

2. 离线前缀分析与哈希索引映射机制

为了消除在线推理时动态测定层深的额外计算开销,BICACHE 采用一次性离线分析机制构建轻量查找表 \(\mathcal{T}\)。系统在 WildChat 真实对话语料上为离散前缀比例 \(r \in \{0.01, \dots, 1.00\}\) 各采样 \(M=500\) 个代表性请求,在模型初始去噪步比对"仅前缀输入"与"完整拼接输入"在前缀位置生成的 KV 余弦相似度,计算各层满足 \(\text{sim}_{\ell,1} \ge \tau\) 的层数并取均值,固化为阶梯状映射表 \(\mathcal{T}: r \mapsto b\)。在服务运行时,系统提取请求中的前缀文本 \(p\),使用极速非加密哈希算法 xxHash 生成 64 位整型唯一键值 \(k = h(p)\),并在内存/显存 KV 存储字典 \(\mathcal{H}\) 中检索。若缓存命中,直接将预存的浅层键值 \(\text{KV}_{\ell}^{\text{cached}}\)(\(\forall \ell \le b\))注入后续前向流水线;若首次发生未命中,则单次执行完整前缀预填充前向运算,将各层前缀 KV 写回 \(\mathcal{H}\) 并受 FIFO 内存回收策略保护,实现全局 \(O(1)\) 时间复杂度的前缀检索。

3. 深层请求内周期性刷新机制

由于超过安全深度 \(b\) 的深层网络无法直接跨请求复用静态前缀,若完全不施加缓存,深层每步仍需对长前缀重复计算注意力投影,造成显著算力浪费。作者观察到,尽管跨请求深层相似度偏低,但在同一请求的多步去噪过程中,若仅在第 1 步计算深层前缀 KV 并完全不更新,随着去噪深入,KV 陈旧度上升导致相似度降至 0.93;而如果引入步长为 \(\Delta\) 的周期性重新计算,在刷新步重新投影深层 KV 并在中间步予以复用,深层平均相似度可拉升至 0.96,无限逼近安全阈值。因此,对于所有深层 \(\ell > b\),BICACHE 采用以下分段复用规则:

\[\text{KV}_{\ell,t}^{\text{use}} = \begin{cases} \text{KV}_{\ell,t}^{\text{ref}}, & \ell > b, \, (t - 1) \bmod \Delta = 0 \\ \text{KV}_{\ell,t-1}^{\text{use}}, & \ell > b, \, \text{otherwise} \end{cases}\]

将刷新间隔设定为 \(\Delta=16\) 时,能够在将深层 KV 计算负载削减数倍的同时,维持高保真度的注意力表达,彻底填补了双向扩散模型在深层计算上的优化真空。

一个完整示例

以 LLaDA(总层数 \(L=32\),生成长度 \(g=256\),去噪步数 \(s=128\))处理携带 Grok-4 系统安全提示词的 GSM8K 数学请求为例: 1. 前缀解析与查表:系统识别出固定系统提示词长度为 2080 tokens,用户问题长度为 120 tokens,拼接掩码后的序列前缀占比为 \(r = 94.5\%\)。系统查询离线映射表 \(\mathcal{T}(0.945)\),迅速返回安全浅层分界深度 \(b = 20\)。 2. 浅层跨请求即时复用:对该前缀计算 xxHash 得到键值,命中全局表 \(\mathcal{H}\)。在前 20 个 Transformer 层的全部 128 个去噪步中,前缀部分的 KV 张量直接复用缓存,跳过前 20 层中前缀部分的权重投影计算。 3. 深层请求内周期刷新:在第 21 至 32 层(共 12 层),系统在第 \(t \in \{1, 17, 33, \dots, 113\}\) 步执行真实前向投影以更新深层前缀 KV;在其余中间步(如第 2–16 步),第 21–32 层直接复用上一步的深层前缀 KV,显著降低注意力算力开销。全流程最终实现了相比无缓存基线 82.8% 的吞吐暴增,且 GSM8K 准确率与无缓存基准相比仅有微弱差异(55.5% vs 56.3%)。

实验关键数据

主实验

实验在单张配备 180 GB 显存的 NVIDIA B200 GPU 上评测 LLaDA(32 层,输出长度 \(g=256\),去噪步数 \(s=128\)),在严格答案匹配规则下对比无缓存基线(No caching)、直接迁移自回归缓存的 vLLM 以及 BICACHE,并评估与单请求正交加速框架 Fast-dLLM 的无缝集成效果。

方法 (Method) ARC-C 吞吐 (tokens/s) ARC-C 准确率 (%) GPQA 吞吐 (tokens/s) GPQA 准确率 (%) MATH 吞吐 (tokens/s) MATH 准确率 (%) GSM8K 吞吐 (tokens/s) GSM8K 准确率 (%)
No caching 79.4 86.1 72.0 27.9 72.9 18.2 50.0 56.3
vLLM (全层跨请求复用) 113.3 (+42.7%) 0.1 (-86.0%) 99.7 (+38.5%) 0.7 (-27.2%) 108.4 (+48.5%) 0.0 (-18.2%) 94.2 (+88.4%) 30.9 (-25.4%)
BICACHE (本文) 111.7 (+40.7%) 85.3 (-0.8%) 98.1 (+36.3%) 27.5 (-0.4%) 107.0 (+46.8%) 18.8 (+0.6%) 91.4 (+82.8%) 55.5 (-0.8%)
Fast-dLLM 85.1 84.3 82.1 27.0 76.5 16.4 51.7 63.1
BICACHE + Fast-dLLM 129.0 (+51.6%) 84.3 (+0.0%) 124.6 (+51.8%) 27.2 (+0.2%) 123.3 (+61.2%) 14.6 (-1.8%) 102.5 (+98.3%) 63.9 (+0.8%)

消融实验与多租户并发评测

针对超参数敏感性(相似度阈值 \(\tau\)、深层刷新步长 \(\Delta\)、采样数 \(M\))以及真实多租户并发场景(ShareGPT 数据集,泊松到达率 4 req/s,batch size = 8),关键消融与系统指标表现如下:

评估维度 / 实验配置 吞吐量 (Throughput) 精度 / 延迟核心指标 核心分析与结论说明
相似度阈值 \(\tau\) 敏感性 (\(\tau=0.91\)) 111.9 tokens/s ARC-C 准确率 64% 阈值过低导致安全深度 \(b\) 过大,深层双向注意力失真造成精度大幅下降
相似度阈值 \(\tau\) 敏感性 (\(\tau=0.97\), 默认) 111.7 tokens/s ARC-C 准确率 85% 准确率在此拐点达到峰值平台期,兼得极致加速与极高精度保真
相似度阈值 \(\tau\) 敏感性 (\(\tau=0.99\)) 111.5 tokens/s ARC-C 准确率 85% 阈值过严导致判定深度 \(b\) 偏浅,吞吐微降 0.4%,精度无进一步增益
深层刷新步长 (\(\Delta=8\)) 110.5 tokens/s ARC-C 准确率 85.3% 频繁刷新保证了极高精度,但深层计算开销增加略微压制了吞吐增益
深层刷新步长 (\(\Delta=16\), 默认) 111.7 tokens/s ARC-C 准确率 85.3% 步长翻倍后吞吐增加,精度完全持平,达成最优算力/质量折中
深层刷新步长 (\(\Delta=64\)) 113.2 tokens/s ARC-C 准确率 84.1% 步长放大 4 倍吞吐仅微增 1.3%,精度轻微下降 1.2%,鲁棒性依然良好
多租户基线 (No caching) 2.8 tokens/s 端到端总延迟 3081.0 s 缺乏缓存导致高并发多租户服务严重拥塞,延迟极高
多租户 vLLM (直接迁移) 10.0 tokens/s 端到端总延迟 854.3 s 吞吐提升 3.6 倍,但生成内容存在灾难性语法逻辑崩溃(无法评测有效精度)
多租户 BICACHE 9.7 tokens/s 端到端总延迟 884.5 s 吞吐达到基线 3.5 倍且延迟降低 3.5 倍,性能与 vLLM 差距在 4% 以内且无精度崩溃
多租户 BICACHE + Fast-dLLM 31.9 tokens/s 端到端总延迟 259.7 s 吞吐达到 Fast-dLLM 单独运行的 3.4 倍,端到端延迟降低 3.6 倍

关键发现

  • 打破 DLM 共享前缀无法缓存的偏见:直接套用自回归缓存技术会使 DLM 生成准确率直接归零(如 ARC-C 从 86.1% 暴跌至 0.1%),而 BICACHE 证明了只要在空间上按深度截断(\(b\))、在时间上按周期刷新(\(\Delta\)),DLM 就能无痛复用共享前缀,以仅 0%–1.8% 的极低精度扰动换取最高 82.8%–98.3% 的吞吐飞跃。
  • 正交技术叠加产生巨大协同效应:Fast-dLLM 从去噪步块划分角度加速单请求后缀,而 BICACHE 专注跨请求共享前缀。两者结合在 GSM8K 上吞吐相比 Fast-dLLM 单独使用几乎翻倍(+98.3%),在长输出序列(\(g=512\))下加速比突破 101.2%,在多租户并发下端到端延迟从 944.3s 骤降至 259.7s。
  • 离线标定具有跨架构与跨微扰高泛化性:离线分析只需约 87.5 分钟且仅需执行一次;当系统提示词的局部文本(如日期、格式要求、语气)发生微调时,相似度标准差仅为 0.014,完全无需重新标定。即使在偏好微调架构不同、采用 ELBO 优化的 LLaDA-1.5 上,BICACHE 同样斩获 72.8%–161.6% 的惊人吞吐提升且精度微差在 4% 以内。

亮点与洞察

  • 解耦双向注意力敏感度的层级空间规律:论文敏锐揭示了扩散语言模型中浅层关注底层语法表征、对上下文微扰天然钝感,而深层主导语义综合交互的层级分化现象,为未来非自回归与双向模型的系统优化指明了新的物理视角。
  • 将前缀长度比建立为确定性数学边界:摒弃复杂的动态运行时启发式猜测,巧妙将浅层可缓存深度直接绑定到序列前缀占比这一显式指标,并通过严格数学证明给出了基于注意力泄露上界的收敛边界,设计干净而优美。
  • 即插即用的正交系统集成潜力:BICACHE 仅针对模型注意力层输入的前缀 KV 实行哈希查表与分层替换,不改变模型权重或解码采样逻辑,不仅可与 Fast-dLLM 等块加速算法叠加,还能直接内嵌进下一代多租户 DLM 商业化服务框架中。

局限与展望

  • 前缀严格精确匹配依赖:目前前缀检索依赖于整个前缀字符串的 xxHash 精确匹配,若用户在多轮对话中动态前缀发生单字变动或交错插入,缓存将直接未命中。未来可探索树状前缀基数索引(Radix Tree)以及基于部分重叠的分块前缀动态复用技术。
  • 固定离线标定对动态架构的适应成本:尽管离线标定对任务与提示词鲁棒,但更换新模型架构时仍需耗费约 1.5 小时进行离线预采样。未来有望设计轻量级的在线自适应试探机制或基于注意力雅可比矩阵的纯理论解析模型直接推算 \(b\)。
  • 测试模型基底相对单一:当前评估主要基于开源领域最完备的 LLaDA 及 LLaDA-1.5,随着扩散大语言模型生态的扩展,未来需在更多基于连续/离散混合扩散及不同掩码策略的新兴 DLM 架构上展开进一步验证。

相关工作与启发

  • vs vLLM / Prompt Cache (自回归缓存体系):vLLM 基于因果掩码不变性,跨请求全层永久复用前缀 KV;直接迁移到 DLM 会因双向注意力污染导致精度崩溃。BICACHE 首创按前缀比例动态确定浅层跨请求复用深度并在深层周期刷新,在 DLM 上完美兼顾精度与加速。
  • vs Fast-dLLM / dLLM-Cache / Elastic-Cache (DLM 请求内加速):既有 DLM 缓存工作仅探索单个请求内部去噪步之间的 KV 复用或剪枝,面对占实际吞吐主导的共享系统提示词无能为力。BICACHE 与其处于不同加速维度,可实现无缝正交叠加,带来成倍的二次加速。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首个攻克扩散语言模型跨请求共享前缀 KV 缓存难题的工作,理论分析严谨,分层解耦机制极具开创性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大学术基准、多租户真实对话(ShareGPT)、长输出、跨架构迁移(LLaDA-1.5)及深度的参数消融与理论证明。
  • 写作质量: ⭐⭐⭐⭐⭐ 动机清晰直击痛点,数学推导完备自洽,系统图解直观,实验数据详实可信。
  • 价值: ⭐⭐⭐⭐⭐ 为非自回归与扩散大语言模型的大规模低成本商业化服务铺平了关键系统级道路,代码完全开源。