跳转至

EarlySelectKV: Anticipatory KV Selection via Cross-Layer Query Proxies

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/sea-with-sakura/EarlySelectKV
领域: 模型压缩
关键词: KV Cache 压缩、动态稀疏注意力、跨层代理 Query、长文本推理、系统调度优化

一句话总结

针对长文本动态稀疏 KV 选择因必须等待目标层 Query 而阻塞注意力关键路径的痛点,EarlySelectKV 提出一种免训练的前瞻性代理机制:利用前序隐状态提取代理 Query 提前计算选块索引,在保持 LongBench/RULER 任务精度近乎无损(差异 \(\le 0.018\) 分)的同时,使路由与计算高度重叠,在 CPU 卸载下取得最高 12.4% 的端到端吞吐提升和 11.1% 的 GPU 显存节省。

研究背景与动机

大语言模型在长文本长上下文(如长文档阅读、跨代码仓补全)推理中面临严峻的显存容量与内存带宽瓶颈,其 KV Cache 随着上下文长度、批大小和网络层数线性膨胀。为了在推理时降低访问开销,动态稀疏 KV 选择方法(如 Quest、Loki、RocketKV 等)应运而生。这类方法在每个解码步根据当前的查询向量(Query)动态评估历史 KV 的重要性,并挑选出最关键的一个紧凑子集参与注意力计算。这种基于查询的动态路由不仅具备优秀的自适应能力,还能在极低 KV 预算下维持高准确率。

然而,现有动态稀疏选择器隐藏着严重的系统级执行依赖:选块算法必须等到目标层计算出真实 Query 后,才能对候选 Page 或 Token 计算评分、排序并生成选取索引(Selected Indices)。随着稀疏预算收紧,注意力本身的计算耗时大幅下降,但位于关键路径上的候选集评分与元数据索引加载耗时却无法同比例缩减,导致路由与选块逐渐转变为不可忽视的推理时延瓶颈。换言之,注意力流水线被前置的串行路由判定强制阻塞,无法利用硬件流水线或异构设备(如 CPU 异步计算与预取)进行重叠掩盖。

本文深入剖析了这一矛盾:最终的注意力值加权聚合严格依赖目标层的精确 Query,但路由选块的本质仅仅是保留候选之间的相对偏序关系,其对 Query 的表征保真度容忍度远高于注意力本身。既然相邻层之间的隐状态具有极强的表征连续性,我们完全不必死等目标层的真实 Query 生成才做选块决策。核心 idea:将动态 KV 选块解耦为「前瞻代理路由」与「精确注意力执行」两条并行通路,利用前序层隐状态提前构建代理 Query 预先计算选块索引,真实 Query 到达时直接取用对应 KV 块执行稀疏计算,将选块时延彻底从注意力关键路径上剥离。

方法详解

整体框架

EarlySelectKV 是一种与具体选择器正交、完全免训练的前瞻性路由框架,可无缝包裹任意 Query 条件化的稀疏选择器(如 RocketKV、Quest、Loki 等)。其核心设计是将每一解码步原先串行的「目标 Query 计算 \(\to\) 候选评分 \(\to\) 索引生成 \(\to\) KV 抓取 \(\to\) 稀疏注意力」解耦为主流程(Main Flow)与旁路流程(Side Flow)的并行执行。

在第 \(\ell+1\) 层的推理过程中,主流程直接读取前序已经预计算好的 Page 索引 \(\hat{I}_{\ell+1}^t\),直接抓取对应的 K/V Cache 块,并使用该层由自身输入隐状态精确投影得到的真实查询向量 \(q_{\ell+1}^{t, \text{real}}\) 执行常规的稀疏注意力运算。与此同时,旁路流程在更早的时钟窗口启动:它从前序某一层 \(\ell\) 提取锚点隐状态 \(\tilde{H}_{t,\ell}\),经由层归一化和 Query 投影矩阵得到代理查询向量 \(q_{\ell+1}^{t, \text{proxy}}\),驱动原生选择器的路由逻辑在轻量级摘要缓存(如 K-summary Cache)上提前打分并产出下一层的 Page 选块索引。该设计彻底移除了注意力计算前对真实 Query 的同步等待。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前层输入隐状态<br/>Hin 或中间态 Hmid"] --> B["前瞻代理生成<br/>提前构建代理 Query"]
    B --> C["异步选块决策<br/>打分并预产下一层索引"]
    C --> D["索引预就绪<br/>无阻塞提前送达目标层"]
    D --> E["精确稀疏注意力<br/>真实 Query + 预选 KV 聚合"]
    E --> F["输出下一层隐状态"]

关键设计

1. 前瞻代理生成:利用前序隐状态跨层合成代理查询向量

传统稀疏路由将下一层 \(\ell+1\) 的选块索引表示为 \(I_{\ell+1}^t = \mathcal{R}_{\ell+1}(q_{\ell+1}^{t,\text{real}}, \mathcal{M}_{\ell+1}^t; B)\),其中 \(\mathcal{M}\) 为路由视图(如 K 摘要缓存),\(B\) 为稀疏预算,该式强行将 \(q_{\ell+1}^{t,\text{real}}\) 放在阻塞路径上。本文提出使用前序层 \(\ell\) 的锚点隐状态 \(\tilde{H}_{t,\ell}\) 经由前瞻选择器 ESelector 投影生成代理 Query: $\(q_{\ell+1}^{t,\text{proxy}} = W_{q,\text{proxy}}^{\ell+1} \text{LN}_{\ell+1}(\tilde{H}_{t,\ell})\)$ 为了兼顾投影精度与计算开销,投影矩阵 \(W_{q,\text{proxy}}^{\ell+1}\) 既可直接采用目标层的原生全秩权重 \(W_q^{\ell+1}\),也可采用通过离线奇异值分解(SVD)得到的低秩近似矩阵 \(U_r^{\ell+1} \Sigma_r^{\ell+1} (V_r^{\ell+1})^\top\)。在 CPU 卸载等对算力敏感的场景中,低秩分解(如秩 \(r=128\))能够将代理 Query 的构造开销降至最低,同时保留绝大部分主成分方向。

2. 灵活锚点选择机制:权衡流水线准备窗口与选块保真度

锚点隐状态 \(\tilde{H}_{t,\ell}\) 的选取直接决定了提前时间与近似精度的权衡。本文设计了三种锚点策略: - ES-In(输入锚点):直接取第 \(\ell\) 层的块输入 \(H_{\ell}^{\text{in}}\)。由于该状态在第 \(\ell\) 层开始前便已存在,它为下游的元数据抓取和候选路由提供了长达一整层的超前准备窗口,非常适合用于容忍度高、对时延隐藏要求极致的浅层或中层。 - ES-Mid(中间态锚点):取第 \(\ell\) 层自注意力与残差融合后的中间状态 \(H_{\ell}^{\text{mid}} = H_{\ell}^{\text{in}} + \text{Attn}_{\ell}(\text{LN}_{\ell}(H_{\ell}^{\text{in}}), K_\ell, V_\ell)\)。由于融入了本层的上下文交互特征,\(H_{\ell}^{\text{mid}}\) 的语义表达与目标层更贴近,能够提供极高保真度的代理 Query,但相应准备窗口收缩至仅包含 FFN 前传时间。 - ES-Mix(离线敏感度校准混合锚点):利用少量校准样本计算各层下 ES-Mid 相较于 ES-In 在保留真实注意力权重质量(Attention Mass)上的增益差值 \(g_{\ell+1} = \mathcal{M}_{\ell+1}(Q_{\text{mid}}) - \mathcal{M}_{\ell+1}(Q_{\text{in}})\)。当 \(g_{\ell+1} \le \tau\)(阈值 \(\tau=0.01\))时,表明该层对代理提前量不敏感,自动分配 ES-In 以最大化时延掩盖窗口;反之分配 ES-Mid 以保全精度。

3. 异步选块决策与软硬件解耦调度:支持异构计算与状态卸载

在确定选块索引 \(\hat{I}_{\ell+1}^t\) 之后,由于索引的生成时刻早于目标层注意力执行,系统获得了极高的调度灵活性。特别是在 CPU-GPU 异构推理系统中,传统路由无法摆脱 GPU 显存限制;而在 EarlySelectKV 下,我们可以将整个 K-summary 缓存、代理 Query 投影及 Top-K 选块全部卸载到主机 CPU 执行(利用 AVX-512 BF16 点积加速),并在 GPU 计算第 \(\ell\) 层时通过 PCI-e 提前下发第 \(\ell+1\) 层的选取索引。此外,针对局部性极强的最新 Token,系统在路由范围之外默认固定保留最新的尾部 Page,其余历史 Cache 完全交给预计算索引,彻底做到了选择器行为保全与计算流水线解耦。

一个完整示例

以 Llama-3.1-8B 推理 40K 长文本、单步解码取 Page 大小 \(p=4\)、选块数 \(k=32\)(即选出 128 个历史 Token)为例: 1. 第 \(\ell\) 层执行阶段:GPU 正在计算第 \(\ell\) 层注意力。在 ES-Mid 模式下,当注意力和残差加和产生 \(H_\ell^{\text{mid}}\) 后,CPU 立即异步读取该向量并乘以 rank-128 SVD 权重,在 \(0.1\text{ ms}\) 内合成 \(q_{\ell+1}^{t,\text{proxy}}\)。 2. 提前打分排序:CPU 利用 AVX-512 在内存中的 FP8 K-summary 缓存上计算内积得分,从历史 10,000 个 Page 中选出得分最高的 32 个 Page 索引,加上本地常驻的最新 Page,打包就绪。 3. 第 \(\ell+1\) 层无等待执行:当 GPU 完成第 \(\ell\) 层 FFN 并进入第 \(\ell+1\) 层时,32 个 Page 索引已在 GPU 端等待。GPU 直接聚合对应 128 个 Token 的 K/V 向量,同步计算出精确的 \(q_{\ell+1}^{t,\text{real}}\),立即发射稀疏注意力 Kernel,原本需等待打分排序的十几微秒暴露等待被完全掩盖为 0。

实验关键数据

主实验

在 LongBench 长文本综合基准(覆盖 16 个跨任务数据集)以及 RULER 超长检索与多步追踪基准上,将 ES-RocketKV 与基线 RocketKV、全量缓存(FullCache)进行全面对比。如下表所示,ES-RocketKV 在各模型与各预算下与原版 RocketKV 表现高度一致,平均分差仅为 \(+0.018\) 分。

模型 KV 访问预算 FullCache TopK(理论上限) RocketKV (原生) ES-RocketKV (本文) 分差 (\(\Delta\))
Llama-3-8B-Instruct 128 43.23 43.72 41.68 41.78 +0.10
Llama-3-8B-Instruct 512 43.23 43.50 43.07 43.03 -0.04
Llama-3-8B-Instruct 1024 43.23 43.31 43.18 43.21 +0.03
Llama-3.1-8B-Instruct 128 49.72 49.66 47.57 47.47 -0.10
Llama-3.1-8B-Instruct 512 49.72 49.66 49.17 49.08 -0.09
Llama-3.1-8B-Instruct 1024 49.72 49.70 49.41 49.50 +0.09
Mistral-7B-Instruct-v0.2 128 43.20 42.02 39.24 39.32 +0.08
Mistral-7B-Instruct-v0.2 512 43.20 43.01 41.96 42.33 +0.37
Mistral-7B-Instruct-v0.2 1024 43.20 43.04 42.71 42.59 -0.12
Qwen2.5-7B-Instruct 128 49.07 47.34 44.26 44.06 -0.20
Qwen2.5-7B-Instruct 512 49.07 47.66 46.73 46.72 -0.01
Qwen2.5-7B-Instruct 1024 49.07 47.46 46.95 46.95 0.00

在超长大海捞针(NIAH/Passkey)检索中,ES-RocketKV 在 Mistral-7B 和 Llama-3.1 上在 128 预算下均实现 100.0% 的完美召回,平均与原版 RocketKV 仅差 \(+0.25\) 个百分点。

消融实验

通过对锚点选取(ES-In vs. ES-Mid vs. ES-Mix)以及代理投影 SVD 秩大小进行消融,验证了设计选择的合理性。

配置 核心机制 / 参数设置 LongBench 均分 (Mistral-7B, 预算 512) 相对 RocketKV 变化 说明
RocketKV (原生基线) 目标层精确 \(W_q\) 真实 Query 路由 41.96 - 原生串行路由基线
ES-Mid (全秩 \(W_q\)) 中间态锚点 \(H_{\ell}^{\text{mid}}\) + 原生全秩 \(W_q\) 42.33 +0.37 精度最高,准备窗口为 FFN
ES-In (全秩 \(W_q\)) 输入锚点 \(H_{\ell}^{\text{in}}\) + 原生全秩 \(W_q\) 42.39 +0.43 准备窗口达一整层,高时延掩盖
ES-Mix (混合配置) 逐层自适应分配(前深后浅) 42.18 +0.22 兼具窗口长度与关键层保真度
ES-RocketKV (SVD r=64) 低秩压缩 \(r=64\) 投影矩阵 41.32 -0.64 检索密集任务有可见跌幅
ES-RocketKV (SVD r=128) 低秩压缩 \(r=128\) 投影矩阵 41.82 -0.14 计算开销减半,精度几乎持平
ES-RocketKV (SVD r=256) 低秩压缩 \(r=256\) 投影矩阵 42.09 +0.13 性能完全达到饱和点

在 TensorRT-LLM 部署与运行时表现上: - 端到端吞吐收益:在 40K 输入、输出从 128 扩展到 8192 tokens 时,ES-RocketKV 的端到端吞吐增益从 \(1.3\%\) 显著攀升至 \(12.4\%\)(稳态解码吞吐增益达 \(7.67\% \sim 13.14\%\))。 - 显存显著节省:通过将路由状态及 K-summary 转移至主机 CPU,GPU 上成功削减了约 5.3 GiB 显存分配,占整体 KV/K-summary 池总量的 \(11.1\%\)。

关键发现

  • 时延掩盖效能:长文本生成步数越多(如 8K output),累积的解码关键路径延迟暴露越多,提前预计算的重叠调度优势越被充分放大(吞吐提升从 \(1.3\%\) 跃升至 \(12.4\%\))。
  • 层间 Query 保真度模式:在解码器的浅层与中层,\(H^{\text{mid}}\) 在注意力保留权重和 signed top-r 维度召回上显著优于 \(H^{\text{in}}\);但到了深层(后 10 层以上),二者的保真度逐渐收敛,证明了深层完全能够容忍更早的输入锚点(ES-In)。
  • 扩展通用性:EarlySelectKV 拓展至 Quest 和 Loki 时,在 7B 模型上平均分差仅为 \(-0.07\) 分;集成至可训练稀疏模型 InfLLM-V2 亦取得仅 \(+0.26\) 分的持平效果,证明了架构的通用兼容性。

亮点与洞察

  • 解耦「路由决策」与「数值聚合」的时机约束:传统观点总默认稀疏注意力的 Query 必须完全一致,本文洞察到选块仅依赖相对打分排序,从而打破了严格同步的数据流依赖。
  • 软硬件协同的异构卸载范式:不仅把算法做前瞻,更直接促成了 CPU-GPU 异步流水线的工业落地,将原本昂贵的 K 摘要维护和路由完全卸载至 CPU,既省显存又提吞吐。

局限与展望

  • 准备窗口的物理限制:增益高度依赖于前序计算窗口能否完全容纳代理计算与选块通信;若使用计算极其沉重的超大路由模型或在微小 Batch 下,重叠收益会相应收敛。
  • 超参数域适应性:ES-Mix 依赖离线校准提取固定的层分配剖面(Profile),在遇到跨领域分布极端偏移时可能需要重新标定阈值。
  • 多卡分布式未覆盖:当前仅在单卡 TensorRT-LLM 环境下验证,未来可进一步拓展至张量并行(TP)与流水线并行(PP)场景下的跨节点前瞻通信与预取机制。

相关工作与启发

  • vs RocketKV / Quest / Loki: 原生方法均在目标层串行计算真实 Query 后才进行选块排序;EarlySelectKV 作为免训练包装层,在保持原生选择器算法逻辑不变的前提下将选块时序大幅提前。
  • vs IndexCache: IndexCache 采用跨层直接硬复用前序层的 top-k 索引,会带来明显的语义偏差与精度损失;EarlySelectKV 则是每层利用前瞻代理独立计算专属索引,精度与原生完全一致。
  • vs InfiniGen / ScoutAttention: 后者通过投机预测下层 Query 进行 CPU 预取;EarlySelectKV 并不修改注意力执行流程,而是聚焦于将动态稀疏选择器本身的打分与索引物化阶段提前,与各类预取机制互为补充。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将优化目标从「挑选什么 KV」拓展至「何时产出 KV 索引」,解耦前瞻路由与真实注意力。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大主流模型(7B-32B)、三大核心基准(LongBench/NIAH/RULER)、真实 TensorRT-LLM 部署及微观保真度诊断。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,动机与理论图表剖析深刻,主流程与旁路流程图示明晰。
  • 价值: ⭐⭐⭐⭐⭐ 免训练、即插即用且能直接转化为真实系统的吞吐与显存收益,工程落地与学术启发价值极高。