title: >- DIVA：基于双探针注意力差异的指令感知视觉 Token 剪枝 description: >- [ECCV 2026][VLM效率] DIVA 以双探针注意力分布差异识别指令相关视觉 Token，并校准旁路 Token，在 LLaVA-NeXT-7B 上删除 97.2% 视觉 Token 后仍保留 92.6% 基线性能。 tags: - ECCV 2026 - VLM效率 - 视觉Token剪枝 - 免训练压缩 - KV缓存 date: 2026-09-16

DIVA: Instruction-Aware Vision Token Pruning via Dual-Probe Attention Discrepancy¶

会议: ECCV 2026
论文: https://eccv.ecva.net/virtual/2026/poster/4758
领域: VLM效率
关键词: 视觉Token剪枝, 指令感知, 双探针注意力差异, 免训练压缩, KV缓存

一句话总结¶

DIVA 不再把注意力绝对值直接当作视觉 Token 重要性，而是比较“能看到指令”和“看不到指令”的两组文本探针对视觉 Token 的注意力分布差异，再校准绕过自注意力的 Token；在 LLaVA-NeXT-7B 上仅保留 80/2880 个视觉 Token 时仍保留 92.6% 基线性能，并将 KV 缓存缩小 10.8 倍。

研究背景与动机¶

大视觉语言模型通常把图像展开成数百乃至数千个视觉 Token，再与文本一起送入语言模型。视觉序列既让自注意力计算量随序列长度平方增长，也在自回归生成时持续占用 KV 缓存。免训练视觉 Token 剪枝因此很有吸引力：它无需重新训练模型，只需在推理时留下少量“重要”Token。然而 FastV、SparseVLM、PDrop 等方法大多直接使用文本到视觉的注意力绝对值排序，这个数值并不只反映问题需要的视觉证据，还混入位置偏置和 visual attention sink。一个与问题无关、但天然吸引注意力的 Token 可能被长期保留，真正回答问题所需的局部区域反而被删掉。

逐层剪枝可以在每个语言模型块重新判断重要性，并让本层未选中的 Token 在后续层重新参与竞争，从而避免一次删除造成不可逆的信息损失。但这又引出第二个问题：入选 Token 经过了自注意力更新，旁路 Token 没有，两条计算路径的表示差异会随深度累积，使后续层的重要性排序越来越不稳定。

本文由此把“指令相关性”和“高注意力值”分开：如果某种注意力模式同时出现在有指令语境和无指令语境的探针中，它更可能是共同偏置；只有两者的差异才更接近指令带来的真实视觉需求。核心 idea：以双探针注意力分布的逐 Token 差异定义 Context Shift（CS）分数，逐层只计算高分视觉 Token，同时用轻量 VF-Calibrator 模拟旁路 Token 缺失的自注意力聚合，使它们能够在后续层可靠复用。

方法详解¶

整体框架¶

输入序列由系统 Token、视觉 Token 和文本 Token 组成；文本又分为指令前的分隔符、指令本身以及 ASSISTANT: 等后缀。DIVA 保留前两个语言模型块的完整计算，让早期跨模态对齐先发生；从第 3 个块开始，每一层都重新构造双探针、计算 CS 分数，并把视觉 Token 分成重要与非重要两组。重要 Token 正常通过自注意力，非重要 Token 绕过这一步并接受 VF-Calibrator 校准；随后两组按原顺序合并，一起经过残差路径和 FFN，进入下一块重新评分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["图像 + 指令<br/>完整通过前两块"] --> B["双探针 CS 评分<br/>逐层重估指令相关性"]
        B -->|Top-K| C["重要 Token<br/>执行自注意力"]
        B -->|其余| D["VF-Calibrator<br/>校准旁路 Token"]
        C --> E["按原顺序合并<br/>残差 + FFN"]
        D --> E
        E -->|下一语言模型块| B
        E --> F["生成回答"]

关键设计¶

1. 双探针 CS 评分：用“语境引起的变化”而非注意力绝对值找视觉证据

非上下文探针取指令之前的分隔 Token。因果掩码使它看不到后续指令，所以它对视觉 Token 的注意力可作为不含问题语义的参照。上下文探针先包含指令后的后缀 Token，因为这些 Token 已能汇聚前文指令；论文还从指令 Token 中筛出更接近后缀平均表示、而非前缀分隔符表示的 Token 加入该集合，避免大量弱语境 Token 稀释信号。

对每个注意力头、每个上下文探针，DIVA 计算其视觉注意力分布相对非上下文探针分布的逐 Token 前向 KLD 贡献。若第 \(i\) 个视觉 Token 在两种探针下的注意力概率分别为 \(A^h_{t,i}\) 与 \(A^h_{0,i}\)，则差异为

\[ D^h_{t,i}=A^h_{t,i}\log\frac{A^h_{t,i}}{A^h_{0,i}}. \]

同一头内对所有上下文探针取逐位置最大值，以保留最强的指令诱导变化；再对各注意力头求平均，得到 \(CS_i=\frac{1}{H}\sum_h\max_{t\in\mathcal{T}_C}D^h_{t,i}\)。这种“共同模式相消、语境变化突出”的排序对位置偏置和 attention sink 更不敏感。实验也显示，前向 KLD 的相对性能为 98.8%，高于 JSD 的 98.1% 和反向 KLD 的 95.9%，说明差异方向确实重要。

2. 逐层 Top-K 旁路：省掉当前层计算，但不永久丢弃视觉信息

每层按 CS 分数选出 Top-K 重要视觉 Token，只有它们进入自注意力并写入相应 KV 缓存；其余 Token 仍保留在序列状态中，而不是永久删除。合并时恢复原始位置，因此下一层可以基于更新后的上下文重新评分：本层不重要的区域，如果在更深层变得与推理步骤相关，仍有机会重新进入 Top-K。

这一设计把“剪枝”变成逐层稀疏计算，而非一次性的输入压缩。代价是所有旁路 Token 仍需经过后续 FFN，且每层都要计算探针相关的评分；收益则是极端预算下不容易因早期误判永久损失证据。论文从第 3 个块开始启用 DIVA，也是为了先保留浅层完整的视觉-语言交互。

3. VF-Calibrator：用共享全局锚点修补旁路 Token 的表示缺口

旁路 Token 没有经历自注意力的加权 value 聚合，直接带到下一层会与正常更新的 Token 落在不同表示轨迹。VF-Calibrator 复用当前注意力层已有的 value 与输出投影，不引入训练；它把每个旁路 Token 自身的 value 特征与 <BOS> 的全局参考 value 混合，再通过输出投影做一次残差更新。对旁路 Token \(v_j\)，校准特征为

\[ \hat{\mathbf v}_{j}=\gamma\mathbf v^{\mathrm{self}}_{j}+(1-\gamma)\mathbf v^{\mathrm{ref}},\qquad \mathbf h_j\leftarrow\mathbf h_j+\mathrm{Proj}_O(\hat{\mathbf v}_j). \]

<BOS> 常是聚合全局上下文的高注意力锚点，因此这个固定混合以很低开销近似旁路 Token 缺失的上下文聚合。LLaVA-1.5-7B 上取 \(\gamma=0.1\) 最好；将它增至 0.5 时相对性能从 98.8% 降到 92.7%，说明全局参考并非可有可无。最后一层的表示余弦距离也由未校准时的 0.77 降至 0.28，支持该模块确实修补了路径差异。

一个完整示例¶

假设 LLaVA-NeXT 将一张图像编码为 2880 个视觉 Token，问题是“船正在移动还是静止？”。前两个语言模型块完整处理全部 Token；到后续某一块，指令后的 ASSISTANT: 后缀和筛选出的“船”“移动”等指令 Token 构成上下文探针，指令前的换行分隔符构成非上下文探针。若船身和水面附近的注意力在上下文探针下显著变化，而某些序列末端 Token 对两组探针都保持高注意力，CS 分数会提升前者、压低后者。

在 80-Token 预算下，该层仅让排名最高的 80 个 Token 执行自注意力，其余 2800 个 Token 经过 VF-Calibrator 后与它们按原位置合并。下一层重新计算 CS 分数，所以新的局部证据仍可被选中。整个过程把 KV 缓存从 1496.0 MB 降至 138.9 MB，同时 POPE F1 从未剪枝的 86.5 提升到 88.3。

损失函数 / 训练策略¶

DIVA 是完全免训练的推理时方法，没有新增损失函数，也不更新原 LVLM 参数。主要超参数是每层保留的视觉 Token 数 \(K\) 和 VF-Calibrator 混合系数 \(\gamma\)：LLaVA-1.5-7B 的实验统一使用 \(\gamma=0.1\)，LLaVA-NeXT-7B 与 LLaVA-Video-7B 使用 0.2，Qwen3-VL-8B 与 InternVL3.5-8B 使用 0.3。所有效率测量在单张 NVIDIA RTX A6000 上完成。

实验关键数据¶

主实验¶

模型 / 场景	Token 预算	代表性指标	DIVA	关键对照	相对基线性能
LLaVA-1.5-7B，通用视觉推理	128 / 576	GQA	61.4	Vanilla 62.0	100.9%
LLaVA-1.5-7B，通用视觉推理	64 / 576	MME	1833	Vanilla 1862	99.8%
LLaVA-1.5-7B，极限压缩	8 / 576	综合相对性能	89.0%	FastV@64 75.4%	89.0%
LLaVA-NeXT-7B，高分辨率	80 / 2880	POPE F1	88.3	Vanilla 86.5	92.6%
Qwen3-VL-8B，细粒度推理	保留 10%	DocVQA	81.3	PDrop 56.4	82.6%
LLaVA-Video-7B，视频理解	16 Token/帧	Video-MME Short	73.1	DivPrune@32 67.7	94.5%

消融与效率分析¶

配置	相对性能	额外证据 / 效率	说明
均不用：FastV 式评分 + 直接恢复旁路 Token	87.9%	-	两类问题同时存在
仅 VF-Calibrator	95.6%	-	校准本身能明显改善复用
仅 DIVA-Pruner	97.8%	-	CS 排序是主要贡献来源
完整 DIVA	98.8%	最后一层表示距离 0.28	两个模块互补
完整 DIVA，80 Token（LLaVA-NeXT）	POPE 88.3	15.3 GFLOPs / 0.58 ms / 138.9 MB	相比未剪枝分别缩减 34.6× / 7.2× / 10.8×
完整 DIVA，40 Token（LLaVA-NeXT）	POPE 86.7	9.7 GFLOPs / 0.51 ms / 120.4 MB	相比未剪枝分别缩减 54.6× / 8.2× / 12.4×

关键发现¶

CS 排序贡献最大，但不是全部：只启用 DIVA-Pruner 为 97.8%，加入 VF-Calibrator 后达到 98.8%；只做校准也有 95.6%，说明逐层 Token 复用中的表示缺口是真实瓶颈。
极端预算下优势更清楚。LLaVA-1.5-7B 仅保留 32 个 Token 时 DIVA 的相对性能为 96.1%，而同预算 CDPruner 为 95.2%、VisionDrop 为 91.6%；只保留 8 个 Token 时仍有 89.0%。
方法并非只对单一模型或静态图像有效：它覆盖 LLaVA、Qwen3-VL、InternVL3.5 和 LLaVA-Video，并在文档问答与视频任务上保持优势。不过不同模型使用了不同 \(\gamma\)，不能把所有数字视为同一超参数下的直接横比。

亮点与洞察¶

最巧妙之处是把注意力偏置视为双探针共有的“背景项”，不尝试逐一识别并手工修正位置偏置、sink 等来源，而是通过上下文差异直接提取指令诱导信号。这一思路可迁移到文本 Token、视频帧或检索候选的动态筛选。
DIVA 没有把旁路等同于删除。逐层允许 Token 重新入选，配合轻量校准，使压缩更像可逆的计算调度；这比一次性裁掉视觉区域更适合多步推理中关注点不断变化的场景。
VF-Calibrator 复用预训练投影并借 <BOS> 近似全局聚合，不需要训练新适配器。它展示了一个通用技巧：稀疏路径若与主路径产生表示漂移，可以用模型内部已有的聚合锚点做低成本对齐。

局限与展望¶

方法仍需保留全部旁路 Token 的状态、逐层重新评分并运行 FFN，论文报告的主要收益集中在 self-attention 和 KV 缓存，而非整个模型所有计算；因此 54.6 倍 self-attention GFLOPs 缩减不能解释为端到端速度提升 54.6 倍。
探针构造依赖因果掩码下“前缀分隔符看不到指令、后缀已看到指令”的提示模板结构。论文认为该原则可跨模板泛化，但对非标准对话模板、双向注意力架构或交错多轮图文输入仍缺少专门验证。
\(\gamma\) 在不同模型族上取 0.1、0.2 或 0.3，说明校准强度仍需按模型设定。未来可用当前层 <BOS> 实际注意力权重或表示距离自适应决定混合比例，而不是手工固定。
实验覆盖 15 个图像/视频基准和多个模型族，但定性失败案例较少；尤其应分析 OCR 密集图、计数、微小目标和需要回看早期证据的长视频中，哪些 Token 会被 CS 评分持续漏选。

评分¶

新颖性: ⭐⭐⭐⭐ 双探针前向 KLD 将“注意力大”改写为“指令使注意力发生变化”，切入点清楚且有针对性。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖多模型、图像/文档/视频任务、极端 Token 预算，并包含组件、探针、度量、超参数、偏置诊断与效率分析。
写作质量: ⭐⭐⭐⭐ 方法动机、模块和实验对应紧密，但 PDF 中部分公式排版较拥挤，首次阅读需要结合框架图理解。
价值: ⭐⭐⭐⭐⭐ 免训练、可插拔，并同时改善精度保持、self-attention 计算和 KV 缓存，对 LVLM 部署有直接价值。