Vision Token Pruning via Query-Vision Interaction Decomposition

会议: NeurIPS 2026
arXiv: 2610.33215
OpenReview: https://openreview.net/forum?id=UqphiAp8hm
代码: 待确认
领域: VLM 效率
关键词: 视觉 token 剪枝、查询-视觉交互矩阵、奇异值分解、免训练加速、多模态大语言模型

一句话总结

本文提出免训练的查询感知视觉 token 剪枝方法 QViD，通过在早期 Transformer 层对未加位置编码与 Softmax 的查询-视觉交互矩阵进行奇异值分解（SVD），利用前 \(r\) 个主奇异模式计算视觉 token 的杠杆分数并保留关键 token，在极低 token 预算下大幅超越现有剪枝基线并加速推理。

研究背景与动机

多模态大语言模型（VLM）在图文问答、文档 OCR、图表理解以及视频时序理解等任务中取得了广泛突破。然而，高分辨率图像与长视频会产生数百乃至数千个视觉 token，使得后续自回归语言模型的计算复杂度与显存开销剧烈膨胀，构成了高吞吐推理的核心瓶颈。为了降低推理成本，在模型早期对冗余的视觉 token 进行剪枝或合并成为主流研究方向。

现有的免训练视觉 token 压缩方法主要分为两大范式，但各自存在明显的局限性。第一类是以 FastV 和 SparseVLM 为代表的注意力引导方法，利用浅层注意力权重为视觉 token 打分。这类方法虽然具备查询感知能力，但在自回归 Transformer 中，注意力权重极易受到绝对/相对位置偏置的影响，使得序列距离上更靠近文本的视觉 token 被系统性高估；同时其严重依赖显式注意力矩阵提取，难以原生兼容 FlashAttention 等高效算子。第二类是以 V2Drop 为代表的免注意力变化量方法，通过衡量视觉 token 在连续层间的隐状态变化量来剪掉“惰性 token”。该范式完全规避了注意力位置偏差且兼容高效内核，但其本质上只捕捉通用动态活性，对文本查询是任务不可知的，无法针对特定提问筛选最相关的视觉线索。

针对注意力引导方法的“位置偏置”与变化量方法的“缺乏显式查询感知”之间的核心矛盾，本文探索如何在不依赖 Softmax 注意力图的前提下构建纯粹、显式的查询感知剪枝信号。作者发现，直接基于 Transformer 冻结的投影权重构建查询-视觉交互矩阵，其内在表现出强烈的低秩结构，且少数前序主导奇异模式精准编码了与查询强相关的语义信息。核心 idea：通过对浅层 Transformer 未归一化的查询-视觉交互矩阵进行奇异值分解，利用前 \(r\) 个主相互作用模式所对应的右奇异向量能量为视觉 token 打分，实现无位置偏置、免训练且高度聚焦提问意图的视觉 token 剪枝。

方法详解

整体框架

QViD（Query-Vision Decomposition）作为即插即用的轻量打分模块嵌入在语言模型早期的第 \(\ell\) 层（默认 \(\ell=3\)）。对于输入图像与用户文本提问，首先由视觉编码器与文本分词器映射为隐状态序列，并在经过前 \(\ell\) 层 Transformer 处理后提取视觉隐状态 \(H_{\mathrm{vis}}^{(\ell)} \in \mathbb{R}^{N_v \times d}\) 与文本查询隐状态 \(H_{\mathrm{txt}}^{(\ell)} \in \mathbb{R}^{N_q \times d}\)。

QViD 的核心流程分为四步： 1. 构造交互矩阵：利用该层注意力头原生的 \(W_Q\) 和 \(W_K\) 投影矩阵生成查询矩阵与键矩阵，在不添加位置编码与 Softmax 归一化的状态下计算未缩放的查询-视觉交互矩阵； 2. 低秩结构分解：借助薄 QR 分解与紧凑 SVD 从各注意力头的交互矩阵中提取前 \(r\) 个主导交互模式； 3. 视觉 token 打分：计算各视觉 token 在主奇异子空间上的能量贡献（右奇异向量杠杆分数），并在多头间取平均； 4. Top-K 截断剪枝：按综合重要性得分降序保留 Top-\(K\) 个视觉 token，丢弃其余冗余 token，随后送入后续层继续前向计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与文本提问<br/>经前 ℓ 层 Transformer 提取隐状态"] --> B["构建无偏交互矩阵<br/>M = Q_txt · K_vis^T（去 RoPE / 无 Softmax）"]
    B --> C["QR 分解与紧凑 SVD<br/>提取前 r 个主相互作用奇异向量"]
    C --> D["多头杠杆打分<br/>聚合右奇异向量能量 s_j"]
    D --> E["Top-K 视觉 Token 筛选<br/>丢弃其余冗余视觉 token"]
    E --> F["后续 Transformer 层推理<br/>降维长序列低延迟生成"]

关键设计

1. 无偏查询-视觉交互矩阵构建：摆脱位置偏置与 Softmax 竞争

传统注意力剪枝直接读取 Softmax 后的自注意力图，一方面受到旋转位置编码（RoPE）或绝对位置偏置的系统性干扰，导致排在序列后部的视觉 token 被虚高赋权；另一方面 Softmax 的指数归一化强制 token 间进行全域竞争，使得局部的相对语义强度失真。QViD 在第 \(\ell\) 层直接利用 Transformer 冻结的投影权重计算交互矩阵：

\[Q_{\mathrm{txt}} = H_{\mathrm{txt}}^{(\ell)} W_Q, \quad K_{\mathrm{vis}} = H_{\mathrm{vis}}^{(\ell)} W_K\]

\[M = Q_{\mathrm{txt}} K_{\mathrm{vis}}^\top \in \mathbb{R}^{N_q \times N_v}\]

其中 \(M_{ij}\) 直接衡量查询 token \(i\) 与视觉 token \(j\) 在未加位置干扰的表示空间中的内容匹配兼容度。这种计算完全脱离了显式注意力矩阵的生成，与 FlashAttention 等现代高效算子完全解耦。

2. 主相互作用奇异模式提取与能量打分：分离任务语义与孤立能量

若直接对交互矩阵 \(M\) 计算朴素列范数 \(\|M_{:,j}\|_2^2\)，会导致剪枝性能剧烈退化。这是因为用户查询中包含大量低信息量的虚词（如 "is"、"the"），它们会提供虚假的交互模长。作者通过实证发现 \(M\) 呈现极其尖锐的奇异谱衰减，其主要奇异方向高度集中于核心语义词（如 "animal"、"hat"）。因此，QViD 对每个注意力头 \(h\) 的交互矩阵进行奇异值分解 \(M^{(h)} = U^{(h)} \Sigma^{(h)} (V^{(h)})^\top\)，仅保留前 \(r_{\mathrm{eff}} = \min(r, N_q, N_v)\) 个主相互作用模式。视觉 token \(j\) 的重要性由其在这些主导右奇异向量上的投影能量定义，并在全部 \(H\) 个头上取平均：

\[s_j = \frac{1}{H} \sum_{h=1}^H \sum_{k=1}^{r_{\mathrm{eff}}} \left(V_{jk}^{(h)}\right)^2\]

该打分直接量化了视觉 token 对核心查询-视觉主导交互子空间的参与度，有效过滤了无关虚词和高频噪声的干扰。

3. 薄 QR 降维的高效计算实现：保障推理算力极致轻量

在典型的多模态问答场景中，文本查询长度远小于视觉 token 数（\(N_q \ll N_v\)）。直接对 \(N_q \times N_v\) 的矩形矩阵计算 SVD 开销偏大。QViD 利用薄 QR 分解实现严密数学等价的快速加速算法：先对转置矩阵 \((M^{(h)})^\top \in \mathbb{R}^{N_v \times N_q}\) 进行薄 QR 分解 \((M^{(h)})^\top = \widehat{Q}^{(h)} R^{(h)}\)，其中 \(\widehat{Q}^{(h)} \in \mathbb{R}^{N_v \times N_q}\)，上三角矩阵 \(R^{(h)} \in \mathbb{R}^{N_q \times N_q}\)；接着只需对极小的 \(N_q \times N_q\) 矩阵 \((R^{(h)})^\top\) 进行紧凑 SVD 分解 \((R^{(h)})^\top = \widetilde{U}^{(h)} \Sigma^{(h)} (\widetilde{V}^{(h)})^\top\)，即可精确复原右奇异向量 \(V^{(h)} = \widehat{Q}^{(h)} \widetilde{V}^{(h)}\)。全头复杂度仅为 \(\mathcal{O}(H N_v N_q^2 + H N_q^3)\)，在 LLaVA-1.5-7B 上打分总开销小于 50 MFLOPs，与整网前向剪枝节省的数个 TFLOPs 相比完全可以忽略。

实验关键数据

主实验

在 LLaVA-1.5-7B、Qwen2-VL-7B、Video-LLaVA-7B 和 LLaVA-OneVision-7B 等主流模型上，覆盖 GQA、ScienceQA、TextVQA、POPE、MME、MMBench 等图像评测集与 VideoMME、MVBench 等视频评测集进行全面评估。

表 1 展示了 LLaVA-1.5-7B 在不同视觉 token 保留预算下的图像理解综合对比：

保留预算 (Token 数)	方法	GQA	SQA	TextVQA	POPE	MME	MMBench	平均归一化性能
Upper Bound (576)	Baseline	61.9	69.5	58.2	85.9	1862	64.6	100.0%
Retain 192 (↓66.7%)	QViD (本文)	59.3	69.0	57.8	87.4	1793	63.2	98.1%
	V2Drop [CVPR'26]	58.5	69.3	55.6	85.1	1826	63.7	97.6%
	PDrop [CVPR'25]	57.1	68.8	56.1	82.3	1766	63.2	96.0%
	SparseVLM [ICML'25]	57.6	69.1	56.1	83.6	1721	62.5	95.9%
Retain 128 (↓77.8%)	QViD (本文)	57.7	68.7	57.1	85.5	1726	61.9	96.4%
	V2Drop [CVPR'26]	56.3	68.8	53.8	80.9	1712	61.8	94.0%
	PDrop [CVPR'25]	56.0	68.3	54.8	82.3	1644	61.1	93.6%
	SparseVLM [ICML'25]	56.0	67.1	54.9	80.5	1696	60.0	93.2%
Retain 64 (↓88.9%)	QViD (本文)	52.2	68.3	55.5	80.8	1553	56.3	90.4%
	V2Drop [CVPR'26]	50.5	68.9	51.8	75.1	1470	55.2	86.9%
	SparseVLM [ICML'25]	52.7	62.2	51.8	75.1	1505	56.2	86.5%
	LLaVA-PruMerge [ICCV'25]	51.9	68.1	54.0	65.3	1549	55.2	86.5%

在视频理解基准 LLaVA-OV-7B 上，当压缩至 10% 极小 token 比例时，QViD 在 MVBench 达到 52.5%、VideoMME 达到 53.7%，保持了 91.2% 的全量性能；而强基线 V2Drop 剧烈下降至 69.4%（MVBench 39.4%、VideoMME 41.4%）。

消融实验

表 2 深入分析了 SVD 模式分解与打分规则的重要性，以及在保留 128 个 token 时的奇异模式数量 \(n_{\mathrm{svd}}\) 敏感性：

实验组	变体配置 / SVD 模式数	GQA	SQA	TextVQA	POPE	MME	平均归一化得分
完整模型	QViD (\(n_{\mathrm{svd}}=16\), \(\ell=3\))	57.7	68.7	57.1	85.5	1726.0	96.5%
打分机制消融	Column-Norm (朴素列范数 \(\|M_{:,j}\|_2^2\))	45.3	63.7	43.4	59.3	1069.0	73.2% (-23.3%)
	Sigma-Weighted (带奇异值加权 \(\sum \sigma_k^2 V_{jk}^2\))	45.3	63.7	43.4	59.3	1070.0	73.2% (-23.3%)
	Per-Head Max (跨注意力头取最大)	57.6	68.4	57.1	86.3	1734.0	96.6% (+0.1%)
主模式数量消融	\(n_{\mathrm{svd}}=1\)	45.6	63.4	43.5	35.5	1077.1	67.8%
(Retain 128 Tokens)	\(n_{\mathrm{svd}}=2\)	50.3	68.3	49.6	61.7	1478.6	83.2%
	\(n_{\mathrm{svd}}=4\)	56.7	68.5	56.0	80.1	1697.0	94.2%
	\(n_{\mathrm{svd}}=8\)	57.3	68.6	57.0	82.6	1725.1	95.6%
	\(n_{\mathrm{svd}}=16\) (默认)	57.7	68.7	57.1	85.5	1726.0	96.5%

关键发现

• 极度压缩下优势显著：当仅保留 64 个 token（压缩率达 88.9%）时，QViD 领先此前最佳的 V2Drop 达 3.5 个百分点，在细粒度文本阅读 TextVQA 领先 3.7%、幻觉基准 POPE 领先 5.7%、综合感知评测 MME 提升 83 分。这证实了在极限预算下，无任务导向的动态过滤会误删关键证据，而显式查询分解能准确保留提问所需的局部区域。
• SVD 分解与低秩过滤是绝对核心：单纯依靠交互矩阵的未分解列模长（Column Norm）在 128 token 时性能仅有 73.2%，比 QViD 骤降 23.3 个百分点。数学推导表明 Sigma-Weighted 打分等价于平方列范数，两者选出的 token 集合完全一致。唯有剥离特征值加权、仅提取前序主导奇异向量的子空间投影，才能剔除提问中泛化虚词的能量污染。
• 模式数量边际效益收敛：从 \(n_{\mathrm{svd}}=1\) 到 \(n_{\mathrm{svd}}=4\)，模型平均保持率从 67.8% 飙升至 94.2%，表明核心查询-视觉关联确实紧凑集中在前 4 个交互模式中；取 \(n_{\mathrm{svd}}=16\) 能提供更全面的泛化鲁棒性。
• 算力收益远超打分开销：在 LLaVA-1.5-7B 上，每剪除一个视觉 token 可在后续 Transformer 层节约约 0.01 TFLOPs。当压缩到 64 个 token 时，总算力从 8.86 TFLOPs 大幅降至 2.53 TFLOPs（节约 71.5%），打分引入的 50 MFLOPs 开销与之相比不足 0.02%。

亮点与洞察

• 精巧的线性代数解耦：绕过了注意力层繁复的位置编码偏置和非线性竞争，利用未加位置偏置的原始投影构造查询-视觉交互矩阵，并从其固有的低秩谱性质中直接提炼查询相关性，兼具注意力引导的查询相关性与免注意力方法的纯净无偏。
• 薄 QR 算子工程优化：敏锐利用多模态任务中“查询 token 远少于视觉 token（\(N_q \ll N_v\)）”的维度不对称性，将原本难以接受的高维 SVD 分解转化为转置薄 QR + 小核 SVD 计算，使免训练打分完全具备工业级实时落地的吞吐能力。

局限与展望

• 固定剪枝层与统一预算约束：当前模型在固定层（\(\ell=3\)）采用固定的保留 token 数，未根据输入图像的复杂度或提问难度自适应调整保留预算。
• 单向剪枝不可恢复：与动态 token 恢复或金字塔式渐进压缩架构相比，在第 3 层丢弃的视觉 token 在后续更深层无法复活，一旦浅层误删细粒度线索将造成不可逆损失。

相关工作与启发

• vs FastV & SparseVLM：FastV 和 SparseVLM 依赖显式 Softmax 注意力图打分，严重受到自回归位置偏置干扰，且无法原生使用 FlashAttention；QViD 采用无位置编码的预投影交互矩阵，消除位置偏置且算子解耦。
• vs V2Drop：V2Drop 监测连续层间隐状态差值，完全属于任务无关的 token 惰性衡量，在极致压缩时容易误剪与查询强相关的低动态特征；QViD 显式根据提问分解交互模式，在极低 token 预算下任务相关性优势极为显著。

评分

• 新颖性: ⭐⭐⭐⭐☆ 提出利用无偏查询-视觉交互矩阵的低秩分解提取视觉重要性，视角兼具数学美感与工程实用性。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 个代表性模型、6 大图像基准及 2 大视频基准，消融和算力拆解详实严密。
• 写作质量: ⭐⭐⭐⭐⭐ 动机阐述逻辑严密，图文对照直观，数学推导与计算复杂度分析清晰明了。
• 价值: ⭐⭐⭐⭐⭐ 免训练、即插即用、兼容高效算子，为低延迟边缘 VLM 推理提供了极具竞争力的剪枝范式。

相关论文

• [CVPR 2026] SCoRe: Salience-Coverage Reduction for Vision Token Pruning in Vision-Language Models
• [NeurIPS 2026] TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models
• [CVPR 2026] IF-Prune: Information-Flow Guided Token Pruning for Efficient Vision-Language Models
• [ICLR 2026] LearnPruner: Rethinking Attention-based Token Pruning in Vision Language Models
• [ECCV 2026] Lightweight Online Reinforcement Learning for Block Decomposition of CAD Models