ToDRE: Effective Visual Token Pruning via Token Diversity and Task Relevance¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 多模态 VLM / VLM 效率
关键词: 视觉 token 剪枝、token 多样性、任务相关性、信息迁移、免训练推理

一句话总结¶

ToDRE 先在 LLM 输入前贪心保留多样的视觉 token，再在跨模态交互衰减的深层移除全部剩余视觉 token，无需训练即可让 LLaVA-NeXT-7B 在仅保留 10% 输入视觉 token 时维持八项图像任务平均 95.0% 的相对性能，并在四任务消融计时中达到约 2.6× 加速。

研究背景与动机¶

高分辨率图像被切成全局缩略图和局部裁剪后，会产生大量内容相似的视觉 token；视频又把这种冗余扩展到时间维度。它们进入大语言模型后，不仅增加预填充的注意力计算，还要经过前馈网络，并影响后续解码。论文以 LLaVA-NeXT-7B、输入长度 3000、输出长度 20 为例，估算视觉编码、预填充、解码的 FLOPs 比为 1:63.6:0.4，因此把剪枝尽量前移，比只优化生成末端更有价值。

但“哪些 token 重复”和“哪些 token 对当前问题没用了”并不是同一个判断。按注意力排序可能集中保留相似区域，按视觉相似度删除又不一定知道某个细节是否被文本吸收。作者观察到跨模态注意力主要集中在浅层，到了深层会衰减，于是提出另一种时间维度上的冗余：即使一个视觉 token 起初不可替代，其信息进入文本表示后，也未必需要继续以独立 token 形式存在。

论文用正交子空间与去相关假设解释两类冗余可以分别处理；这是建模论证，不是对任意真实 VLM 的无条件独立性证明。核心 idea：先用多样性保住图像中互不重复的证据，再根据跨模态交互是否结束决定何时整体撤下视觉 token，而不是用同一个重要性分数同时决定内容取舍与保留时长。

方法详解¶

整体框架¶

输入是图像或视频及文本问题，输出仍由原有 VLM 生成。视觉编码器和投影器照常提取特征，ToDRE 在投影后的 LLM 嵌入空间挑选代表 token，然后在 LLM 的预填充过程中寻找可以结束视觉参与的深层位置。

流程由“枢轴初始化”“贪心多样性选择”“相关性驱动撤除”三个环节组成，前两个共同构成 Stage 1，最后一个是 Stage 2。保留比例只描述 Stage 1 后的视觉 token 数量，不能理解为模型每一层始终保留同样比例。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像或视频"] --> B["视觉编码器<br/>与投影器"]
    B --> C["枢轴初始化"]
    C --> D["贪心多样性选择"]
    D --> E["LLM 浅层预填充"]
    Q["系统提示与问题"] --> E
    E --> F["相关性驱动撤除"]
    F -->|双向比率均低于阈值| G["后续层仅处理文本<br/>并生成回答"]

图中是推理数据流，没有新增训练监督。Stage 2 在选定层完成交互后撤除视觉 token，不能理解为浅层也从未接收视觉信息，或所有层的视觉 KV 都可无条件删除。

关键设计¶

1. 枢轴初始化：用一个起点连接显著区域与全局覆盖

贪心选择首先需要一个已保留 token。作者使用视觉编码器最后一层的 [CLS] 到视觉 token 的注意力，选择最高分位置作为枢轴；这一步只决定起点，而不是按同一分数取完整个保留集合。这样既借助了视觉显著性，也避免后续名额都被相似的高注意力区域占满。

对支持 AnyRes 的图像模型，枢轴只从全局缩略图选出，因为它覆盖整幅图像；局部裁剪的 token 仍参与之后的多样性选择。不支持 AnyRes 时直接从原图 token 选择。视频则先取每帧注意力最高的候选，再从这些候选中选最高者，作为跨帧选择的起点。没有 [CLS] 的编码器可以随机选枢轴，作者称其表现接近，但具体比较位于未提供的补充材料，不能据此声称所有初始化都等价。

2. 贪心多样性选择：每次补入与已选集合累计最不相似的 token

有了枢轴以后，算法不再问“哪个位置最显著”，而是问“哪个候选能增加尚未覆盖的信息”。相似度在投影后的视觉嵌入上用余弦计算；每个未选 token 都维护它与整个已选集合的累计相似度，下一个加入的就是累计值最小者。这里比较的是总和，不是只与最近邻比较，也不是把相似 token 平均合并。

以下用清晰记号转述原文式 (8)–(10) 的文字定义；缓存中的公式排版损坏，不将此转写当作逐字复原：

\[ \operatorname{sim}(u,v)=\frac{u^\top v}{\|u\|\|v\|},\qquad \operatorname{next}(C)=\arg\min_{u\in U\setminus C}\sum_{v\in C}\operatorname{sim}(u,v). \]

其中 \(U\) 是全部视觉嵌入，\(C\) 是当前保留集合。每加入一个 token，只需给其余候选的累计值加上与新 token 的相似度，并屏蔽已选索引，直到保留数量达到 \(k\)。在距离取 \(1-\operatorname{sim}\) 时，这等价于贪心最大化新增 token 到集合的距离之和，但不意味着求得了全局最优子集。

未选 token 在进入 LLM 前被直接丢弃，文本 token 全部保留。选择阶段不显式使用当前文本问题，也不生成新的混合视觉向量；它优先保存视觉内容的覆盖范围，把“现在能否不再需要视觉”交给第二阶段。论文示例预算是最多 2880 个视觉 token 保留到最多 288 个，约为 10%。

3. 相关性驱动撤除：等待文本吸收视觉信息，再结束视觉参与

Stage 2 不再对单个视觉 token 排名，而是在 LLM 后半部分的少数候选层检测整体跨模态交互。作者认为邻近深层的注意力比率较稳定，因此没有必要逐层计算；当文本到视觉与视觉到文本两个方向都低于阈值 \(\tau\) 时，就在该层之后移除所有剩余视觉 token，降低后续预填充和解码的开销。

具体指标是跨模态注意力占该类查询总注意力的比例。下面按原文式 (12) 周围文字与可辨认的求和范围转写定义，系统提示计入分母但不计入跨模态分子：

\[ \alpha_{T\to V}^{(\ell)}= \frac{\sum_{i\in T}\sum_{j\in V}A_{ij}^{(\ell)}}{\sum_{i\in T}\sum_{j\in S\cup V\cup T}A_{ij}^{(\ell)}},\qquad \alpha_{V\to T}^{(\ell)}= \frac{\sum_{i\in V}\sum_{j\in T}A_{ij}^{(\ell)}}{\sum_{i\in V}\sum_{j\in S\cup V\cup T}A_{ij}^{(\ell)}}. \]

这里 \(A\) 是跨注意力头平均后的 softmax 注意力权重，行表示查询、列表示键；\(S\)、\(V\)、\(T\) 分别是系统提示、视觉和文本 token 集合。两项都小才触发撤除，意图是避免仍在交换信息时提前删除。这个信号是“信息迁移完成”的代理指标，不是直接验证文本已保存全部正确视觉事实；它还受 token 顺序、因果掩码与提示模板影响。

该机制所谓任务相关性，体现在输入问题参与了 LLM 的交互和触发层选择，并不是额外训练一个逐 token 的相关性分类器。正文没有给出可直接复现的 \(\tau\) 数值或完整候选层列表，也没有明确说明所有候选层均不触发时的执行细节，笔记不补造这些超参数。

一个完整示例¶

以论文图 3 的毛巾颜色问题为例，假设当前图像产生 2880 个视觉 token，并采用 10% 保留预算。先从全局缩略图选出最高 [CLS] 注意力的枢轴，再从缩略图和裁剪对应的全部候选中逐步补足多样性，最终保留 288 个，而不是仅保留注意力排名前 288 个。

这 288 个视觉 token 与问题一起进入 LLM 浅层，使文本表示有机会吸收毛巾的颜色和材质线索。到了某个被检查的深层，若两个比率都低于 \(\tau\)，则后续层不再处理视觉 token，由文本状态继续生成回答；若不满足条件，就不在该检查点撤除。此处的 token 数用于解释给定预算，未指定某张图的真实触发层或注意力测量值。

损失函数 / 训练策略¶

ToDRE 不新增损失函数、不微调编码器或 LLM，也不依靠蒸馏训练。需要设定的是视觉保留数量、候选检查层和注意力阈值，推理时通过已有特征和注意力决定保留内容及撤除时机。

作者宣称框架兼容高效注意力算子，但当前正文没有完整交代如何以低开销提取这些比率。复现时必须把指标计算、贪心选取以及缓存处理的成本计入实际延迟，不能仅凭减少 token 数推算端到端加速。

实验关键数据¶

主实验¶

实验覆盖 LLaVA-NeXT-7B/13B、Qwen2.5-VL-7B-Instruct 和 InternVL2-8B，以及八项图像和四项视频基准。下表摘自原文表 1，统一为 LLaVA-NeXT-7B；“八项平均”是各任务得分相对原模型的比值再平均，不是八个原始分数直接求均值，也不是准确率。

方法	Stage 1 保留比例	MME	GQA	POPE	VQAv2	八项平均相对性能
原模型	100%	1519.6	64.2	87.7	80.1	100.0%
DivPrune	25%	1486.5	61.8	87.4	76.4	96.6%
ToDRE	25%	1504.3	63.3	87.5	77.5	98.2%
FasterVLM	10%	1359.2	56.9	83.6	72.3	91.4%
DivPrune	10%	1396.2	59.2	84.3	73.2	93.5%
ToDRE	10%	1464.4	59.4	85.0	74.4	95.0%

效率不能只看 FLOPs。原文表 4 在单张 NVIDIA RTX 3090 上报告如下，吞吐量仅针对 POPE，性能列对应八项图像任务：

方法	FLOPs (T)	峰值显存 (GB)	POPE 吞吐量 (samples/s)	八项平均相对性能
原模型	31.4	15.9	1.5	100.0%
DivPrune，10%	6.0	13.6	2.8	93.5%
ToDRE，10%	6.0	13.6	2.9	95.0%

ToDRE 的 FLOPs 降低 80.9%、显存降低 14.5%，POPE 吞吐约为原模型的 1.9×。这不是摘要中约 2.6× 的总耗时加速，后者对应下面消融表的另一种计时口径。

消融实验¶

原文表 5 只展示 MME、ScienceQA、GQA 和 POPE 四项任务，不能把其平均值与表 1 的八项平均直接比较。总时间单位为分:秒。

配置	Stage 1 保留比例	总时间	MME	ScienceQA	GQA	POPE	四项平均相对性能
原模型	100%	77:04	1519.6	72.0	64.2	87.7	100.0%
仅 Stage 2	100%	70:15	1522.7	71.9	64.3	87.6	100.0%
仅 Stage 1	25%	48:10	1503.8	70.6	63.1	87.5	98.8%
ToDRE	25%	44:18	1504.3	70.7	63.3	87.5	98.9%
仅 Stage 1	10%	31:18	1458.6	70.4	59.4	85.0	95.8%
ToDRE	10%	29:43	1469.3	70.5	59.4	85.0	96.0%

原文数值存在未解释差异：10% ToDRE 在表 1 的 MME/ScienceQA 为 1464.4/70.2，表 5 则为 1469.3/70.5。这里分别按各表保留，不擅自统一，也不把四项与八项平均值的差异都归因于该不一致。

关键发现¶

Stage 1 是主要加速来源：10% 预算把时间从 77:04 降至 31:18；再加入 Stage 2 降至 29:43，后者在前者基础上再省 1 分 35 秒。
从 77:04 到 29:43 对应约 2.59×，与论文概括的 2.6× 一致。Stage 2 单独使用时平均相对性能仍为 100.0%，不代表每个任务分数完全不变。
表 2 的视频平均相对性能在 25%/10% 预算下分别为 103.1%/100.9%，但 10% 时 MLVU 从 20.1 降到 18.2，平均超过基线不意味着每项任务都获益。
表 3 中 Qwen2.5-VL 与 InternVL2 在 10% 预算下分别保留 92.0% 和 91.5% 的十二项平均相对性能，因此不能把 LLaVA 的 95.0% 当作跨模型通用结果。

亮点与洞察¶

把“保留什么”与“保留多久”拆开，给剪枝提供了两个不同的操作位置。前者控制输入的信息覆盖，后者利用信息已进入文本状态这一过程事实。
注意力只负责枢轴初始化和深层撤除检测，中间的主要选择依据是集合多样性。这比把所有视觉位置按单一注意力分数排序更容易保留不显著但独特的区域。
不合并视觉向量，直接保留原有 token，避免人为平均破坏嵌入。代价是被删除区域无法从新的聚合 token 中恢复，因此预算选择仍然重要。

局限与展望¶

作者指出多数基准只需要短回答，限制了解码阶段收益；长回答可能更获益，但当前正文没有给出充分的长生成延迟曲线，不能把这种预期当实证结论。
理论依赖正交子空间及去相关建模假设。真实嵌入的近似正交、非线性核下的统计关系和实际误差边界仍需更严格验证，不能由该论证保证任务无损。
全局注意力比例低不等于每个细节都已被正确编码。细粒度 OCR、反复视觉核对或长推理中的后续取证可能需要保留少量可回访视觉信息，这是可检验的后续方向。
当前缓存不含补充材料，枢轴随机化结果、层选择消融、阈值与实现细节无法进一步核验。表 1 与表 5 的指标差异也降低了精确复现的清晰度。

评分¶

新颖性: 4/5。两阶段分工明确，但贪心多样性与注意力驱动剪枝本身均有既有基础。
实验充分度: 4/5。覆盖四种模型配置和十二项基准，具有效率对照及阶段消融；长生成与触发参数仍需更多证据。
写作质量: 3/5。机制易理解，但理论假设需谨慎解读，且不同表格存在未解释数值差异。
价值: 4/5。免训练且收益明确，为高压缩率 VLM 推理提供可组合的工程思路。