MVPruner: Dynamic Token Pruning for Accelerating Multi-view Vision-Language Models in Autonomous Driving¶

会议: ECCV2026
作者: Nan Yang, Zhanwen Liu, Linfeng Zhang, Shangyu Xie, Yang Wang, Wenzhuo Zhou, Xiangmo Zhao
论文: https://eccv.ecva.net/virtual/2026/poster/5547
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/11314.pdf
领域: 模型压缩
关键词: Token 剪枝、多视角视觉语言模型、多样性、指令相关性、自适应预算

一句话总结¶

MVPruner 把多视角视觉语言模型的剪枝分为“先保留丰富场景信息、再聚焦当前指令”两阶段，在 DriveMM／DriveLM 的 90% 剪枝设置下将综合得分从 59.1 保持到 58.2，同时将预填充延迟从 1968 ms 降到 395.6 ms，但这不等于端到端加速 4.97 倍。

研究背景与动机¶

驾驶场景的视觉语言模型通常同时读取多个相机视角。每个视角都产生大量视觉 token，拼接后使语言模型的预填充和后续解码变慢。直接对所有视角使用相同保留比例，默认了各方向的信息价值相近；而一个关于左前方目标的问题，真正需要的信息未必来自通常占据较大预算的正前方。Prune2Drive 已经考虑视角差异，但通过离线搜索获得的固定分配仍可能偏向校准数据中常见的方向。

问题还不只是“哪个视角更重要”，而是“在哪一层可以可靠地判断重要性”。作者在包含明确视角指称的问题上，检查指令到视觉 token 的注意力是否能找对视角：浅层识别较弱，中间层明显改善。注意力熵和可视化同时表明，模型先广泛读取场景，再逐渐集中到任务相关局部。因此，一开始就依赖指令注意力大量删除信息，可能把尚未完成跨模态对齐的有效内容提前扔掉；反过来，深层仍只追求视觉多样性，又会继续保留与问题无关的内容。

本文把这两个时间尺度接起来：浅层的视角预算以信息丰富程度为主，但具体选 token 时提前考虑指令；深层再让指令主导预算和筛选。核心 idea：剪枝准则应随模型的信息需求变化，先保住不重复且可能有用的场景证据，再把计算集中到已经显现的任务相关区域。

方法详解¶

整体框架¶

输入是多视角图像和文本指令，视觉编码器及投影层先生成每个视角的视觉 token。MVPruner 在语言模型的两个位置剪枝：浅层依次执行多样性感知预算分配、跨阶段贡献选择；较深层依次执行指令感知预算分配、指令引导选择。保留下来的视觉 token 与文本继续进入后续解码层，输出仍是原模型的驾驶场景回答，而不是额外训练的动作控制器。

两阶段都先决定“每个视角留多少”，再决定“该视角具体留哪些”。所谓动态，是预算随当前图像、问题和推理阶段变化，不是简单为每个摄像头指定一个永久比例。第二阶段只能筛选第一阶段留下的 token，不能找回已经删除的证据，因此第一阶段还必须避免过早损失潜在相关信息。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角视觉 token<br/>与文本指令"] --> B["多样性感知预算分配"]
    B --> C["跨阶段贡献选择"]
    C --> D["指令感知预算分配"]
    D --> E["指令引导选择"]
    E --> F["后续解码层<br/>生成场景回答"]

关键设计¶

1. 多样性感知预算分配：先把容量留给信息不重复的视角

浅层跨模态注意力尚不够可靠，Diversity-aware Ratio Allocation（DRA）因此先从视觉特征自身估计一个视角有多少独特内容。它在同一视角内计算不同 token 的余弦距离，即一减余弦相似度；对每个 token，取它与其他 token 的最小距离作为独特性分数。这里的“最小”很关键：只要存在一个非常相似的邻居，该 token 就不应因为离另一个无关区域很远而被误判为独特。

随后对该视角的独特性分数取平均，得到视角多样性分数，并在视角之间归一化后分配第一阶段的保留预算。内容重复、近邻距离普遍较小的视角获得较少容量，包含更多互不相似内容的视角获得较多容量。它不是按亮度、目标个数或固定相机方位分配，也不意味着多样性高的视角必然与当前问题相关：DRA 只负责在早期建立足够丰富的上下文，相关性还要由后续选择补上。

2. 跨阶段贡献选择：用任务相关性约束贪心覆盖

拿到每个视角的预算后，Cross-stage Contribution-aware Token Selection（CCTS）不只是排序一次就截断。它先用视觉 token 与指令表示的余弦相似度估计任务相关性，选出最相关的 token 作为起点；之后每次添加一个与已选集合有足够差异、同时仍与任务有关的 token。这样既避免保留大量近乎重复的区域，也避免纯多样性采样把预算耗在无关背景上。

原文用下面的乘积作为候选选择分数：

\[ \mathrm{Imp}_{p,i}=U_{p,i}\times R_{p,i}. \]

其中 \(U_{p,i}\) 是候选 token 到当前已选 token 集合的最小语义距离，\(R_{p,i}\) 是它与指令的语义相关性。每轮选择乘积最大的候选，再更新已选集合，直到达到该视角预算。与 DRA 对所有其他 token 求最近距离不同，这里的参照集合在选择过程中不断变化，所以一个 token 是否仍然提供新信息，会随已经保留的内容而改变。

“跨阶段贡献”不是实际执行未来层、读取未来梯度再回头剪枝。它把当前视觉独特性视为眼下的贡献，把浅层特征与指令的相关性作为未来可能有用的代理。这一解释也限定了方法的能力：代理能降低提前丢失任务证据的概率，却不保证每个未来关键 token 都被保留。缓存算法将相关性写为对指令表示的余弦相似度，但没有清楚展开多指令 token 如何聚合，复现时需核对原始实现。

3. 指令感知预算分配：深层用任务证据修正早期预算

到较深层时，模型已经建立更可靠的跨模态对应。Instruction-aware Ratio Allocation（IRA）提取指令 token 到保留视觉 token 的注意力：先对指令 token 求平均得到每个视觉 token 的相关性，再在每个视角内部求平均，得到该视角的任务相关性分数。使用视角内平均而非直接求和，可以避免某个视角仅仅因为第一阶段留下的 token 多，就天然获得更高的重要性。

第二阶段并非从头重复 DRA，而是按任务相关性相对于第一阶段多样性分数的偏差，补偿性地调整各视角的继续保留比例。例如某个视角视觉内容并不丰富，却恰好包含问题指定的对象，深层注意力就有机会提高它的相对预算。这里调整的是现存 token 的保留率，而非恢复原始全集；因此它补偿预算倾向，不是无损纠错。缓存中预算公式的数学排版存在缺损，本文只保留正文能够确认的相对偏差机制，不将缺失的归一化、取整或限幅规则补写为确定公式。

4. 指令引导选择：在每个视角内部留下高相关证据

Instruction-guided Token Selection（ITS）复用 IRA 计算的 token 级指令注意力分数，在每个视角内保留分数最高、数量符合第二阶段预算的 token。预算和筛选因此使用一致的相关性来源：IRA 确定哪个视角值得更多计算，ITS 在该视角内部确定应把计算花在何处。

它与 CCTS 的差别不是“是否看指令”，因为 CCTS 已经利用了指令信息；区别在于浅层仍用独特性约束覆盖，深层则依赖完成对齐后的注意力直接聚焦。对视频实验，作者把这套流程独立应用于六视角视频的每一帧，并未增加跨帧 token 记忆或显式时序剪枝模块，不能把视频结果理解为一个新的时序建模方法。

损失函数 / 训练策略¶

MVPruner 是插入现有模型推理过程的 token 选择与预算分配方法，正文没有引入新的训练损失或剪枝微调阶段。实验使用已经面向驾驶数据微调的 DriveMM 和 DriveLMM-o1，分别基于 LLaVA-OneVision-7B 与 InternVL2.5-8B；不应把这些底座模型的既有训练算成 MVPruner 的新增训练。

实现把两个剪枝阶段放在第 0 层与第 16 层之前。论文的 75%／90% 剪枝率按语言模型各层的平均 token 减少量计算，因此表中“每图保留 72 token”等标签是用于比较的预算口径，不能据此断言两个阶段都固定保留 72 token，或每个视角一律保留相同数量。正文没有完整给出所有预算边界和实现细节；方法可以不做 Prune2Drive 式离线视角比例搜索，并不意味着它没有剪枝位置与总预算等配置。

实验关键数据¶

主实验¶

图像评测覆盖六视角的 DriveLMM-o1、DriveLM，以及包含三视角图像和同步点云地图的 MAPLM；STSnu 检查六视角视频问答。下表统一选择论文标为 90% 剪枝的设置，分数均越高越好，但不同数据集的综合指标不能直接横向比较。

数据集／模型	指标 ↑	未剪枝	Prune2Drive	MVPruner	相对 Prune2Drive 的分数差
DriveLMM-o1／DriveLMM-o1	Overall Reasoning	74.37	70.31	72.91	+2.60
DriveLM／DriveMM	Average	59.1	57.4	58.2	+0.8
MAPLM／DriveMM	Average	72.24	64.81	68.30	+3.49
STSnu／DriveMM	Average	44.21	43.17	43.00	-0.17

DriveLM 的 Average 是原基准综合得分，不是单一分类准确率；其表格还分别列出 Accuracy、ChatGPT、语言生成指标与 Match。MAPLM 的 FRM 是按帧统计的整体准确率，QNS 是按问题统计的整体准确率，Average 汇总两者。论文报告的 98.5% 表示 DriveLM 剪枝后综合得分占未剪枝得分的比例，不是“驾驶准确率为 98.5%”。相应地，DriveLMM-o1 和 MAPLM 保留原模型性能的比例分别为 98.0% 与 94.5%。

下面列出 DriveMM／DriveLM、90% 剪枝设置的效率结果；FLOPs 为相对未剪枝模型的剩余比例。延迟仅沿用论文的测量协议，不外推到任意车载硬件。

配置	预填充延迟 ms ↓	解码延迟 ms ↓	剩余 FLOPs ↓	GPU 峰值内存 GB ↓
未剪枝 DriveMM	1968	65.3	100%	16.47
Prune2Drive	307.5	59.9	13.4%	16.00
MVPruner	395.6	51.8	12.7%	15.93

MVPruner 的预填充相对未剪枝模型加速 4.97 倍，FLOPs 减少 87.3%；但 Prune2Drive 的预填充更快，不能声称本文在所有速度指标上都最佳。峰值显存只是从 16.47 GB 降至 15.93 GB，也不能把 87.3% 的计算削减误写成同等显存削减。

消融实验¶

下表摘取图 4 的 CCTS 消融，均使用 DriveMM、90% 剪枝设置，比较完整模型与删除“未来贡献”相关性因子的版本；其余模块保留。

配置	DriveLM Average ↑	MAPLM Average ↑	说明
完整 MVPruner	58.2	68.30	独特性与任务相关性共同选取
CCTS 去掉未来贡献	57.7	67.10	不再以任务相关性加权独特性

去掉未来贡献后，两个数据集分别下降 0.5 和 1.20 个分数点。它支持“浅层不能只看视觉多样性”的设计判断，但不等于证明未来相关性代理在所有输入上都准确。原图还比较单阶段剪枝、两阶段复用第一阶段规则，以及不同多样性度量；由于本地文本对多面板数值的排列不够清晰，这里不强行还原其余柱状图的完整数值表。

关键发现¶

两阶段的价值在于切换依据，而不只是多剪一次：只在浅层使用第二阶段注意力规则表现较差，深层继续使用第一阶段规则也损失性能，符合正文的层间注意力分析。
视频结果并非全面领先：75% 剪枝时 STSnu Average 为 44.25，略高于未剪枝的 44.21；90% 剪枝时则低于 Prune2Drive，说明极高压缩下仍有任务差异。
CCTS 是主要额外成本。DriveLM 的六视角、每视角原始 729 token 设置下，其耗时为每视角 26.48 ms，总剪枝开销为 163.9 ms；保留质量的收益需要连同这部分计算一起衡量。

亮点与洞察¶

把“视角分配”与“视角内筛选”同时做成动态过程。只改善其中一项仍可能把错误的总预算分给正确 token，或者把足够预算浪费在重复信息上。
CCTS 将多样性覆盖与任务相关性组合，而没有把“指令注意力浅层不可靠”推成“浅层完全不该使用指令”。它区分了用指令辅助保底选择与让指令独占预算决策这两种力度。
分析与机制对应清楚：早期全局上下文对应 DRA 和 CCTS，深层局部聚焦对应 IRA 和 ITS。这是基于层间行为调整压缩准则的实例，而非给整个网络套一个固定重要性分数。

局限与展望¶

正文实验仍是驾驶问答与场景理解评测，没有提供闭环控制表现或部署级保障；高综合分数保留率不能替代真实系统验证。
第二阶段无法恢复早期丢弃的 token。场景独特性与指令相关性代理若同时漏掉细小关键证据，后续预算补偿也无从挽回。
贪心选择需要视角内成对相似度计算，实际开销不可忽略；预填充速度没有超过 Prune2Drive。效率结论应同时报告分数、剪枝本身耗时与具体推理阶段。
本地正文缓存的预算公式、图表排版有缺损，未附完整补充材料；表 2 和表 5 对 FastV 的 DriveLM 分数也不一致，因此本文没有混用该基线的数据。复现应先核对原 PDF、实现中的归一化和预算边界，而不是依赖从损坏公式推测出的规则。

评分¶

新颖性: 4/5 — 多视角在线分配与分阶段重要性规则结合合理，但建立在已有 token 剪枝与多样性选择机制上。
实验充分度: 4/5 — 覆盖两个模型、四个基准、质量与效率及模块消融，但缺少闭环验证，部分复现细节依赖补充材料。
写作质量: 4/5 — 层间观察能自然解释设计；部分指标措辞和效率表标注需要谨慎解读。
价值: 4/5 — 对多视角视觉语言模型推理压缩有直接参考价值，实际采用仍需核算剪枝开销与任务敏感性。