AVIS: Adaptive Test-Time Scaling for Vision–Language Models¶

会议: NeurIPS 2026
arXiv: 2606.11576
OpenReview: https://openreview.net/forum?id=k6TG2sm2Hc
论文: https://arxiv.org/abs/2606.11576
代码: https://avis-vlm.github.io/
领域: VLM Reasoning
关键词: 视觉语言模型, 测试时缩放, 视觉Token剪枝, 自适应推理, 自洽性采样

一句话总结¶

针对视觉语言模型测试时长思维链推理带来的显存与计算开销激增，本文提出 AVIS 框架，在共享 Prefill 架构下通过无训练的 \(O(N)\) 键多样性剪枝压缩视觉上下文，并利用轻量难度预测器自适应调配推理采样路径数，在显著降低 FLOPs 和延迟的同时全面超越基线准确率。

研究背景与动机¶

随着多模态大模型从单纯的图像描述与感知系统向复杂视觉推理演进，思维链（Chain-of-Thought, CoT）提示与推理强化学习后训练使得模型能够输出详尽的逐步推导逻辑。然而，这种推理能力的跃升伴随着严苛的推理算力成本：高分辨率图像与多帧视频输入构建了庞大的视觉上下文，导致 Prefill 阶段的计算量与 KV Cache 占用急剧膨胀；同时，多轮采样（如 Best-of-N 或 Self-Consistency 多数投票）使得自回归 Decoding 阶段的计算负担成倍叠加。面对资源受限的实际部署场景，如何在不牺牲多模态准确率的前提下，为简单样本精简开销、为复杂样本合理倾斜算力，成为了自适应视觉推理的核心挑战。

现有推理加速与计算扩展研究通常将“看”（Seeing，即视觉上下文缩放 VCS）与“想”（Thinking，即视觉推理搜索缩放 VRS）两个维度割裂开来。视觉 Token 剪枝或合并方法往往在固定的单次解码设定下压缩视觉序列，忽视了后续推理搜索对细粒度视觉线索的依赖；而测试时计算缩放（Test-Time Scaling）方法则通常假设视觉上下文固定不变，仅通过增加采样轨迹或拉长 CoT 长度盲目消耗解码算力。这两条轴线的分离导致了计算资源的严重错配：在视觉特征存在大量空间与时间冗余的情况下保留全量 Token，同时在容易样本上过度采样，或在不可解样本上徒劳浪费搜索算力。

本文的核心洞见在于：视觉上下文压缩所节省的一次性 Prefill 开销与 KV Cache 内存，在共享 Prefill（Shared-Prefill）机制下可以低成本转化为并行多轨迹推理的算力储备。核心 idea：将多模态推理视为视觉上下文缩放（VCS）与视觉推理缩放（VRS）的联合动态预算分配问题，通过无训练的键多样性剪枝（KDV）自适应裁剪视觉冗余，并借助轻量难度预测器将推理采样预算集中投入到“中等难度、可通过自洽性获益”的关键样本上。

方法详解¶

整体框架¶

AVIS 的核心目标是在给定的整体算力预算约束下，通过样本自适应策略 \(\pi(x) = (\rho(x), K(x))\) 联合决定视觉 Token 保留率 \(\rho\) 与自洽性采样路径数 \(K\)。给定输入图像/视频 \(I\) 与文本问题 \(Q\)，视觉编码器首先提取视觉特征嵌入 \(E_v\)。在送入语言模型之前，AVIS 先运行无训练的键多样性视觉剪枝（KDV），依据注意力键表征的空间多样性剔除冗余背景 Token，得到高度紧凑的视觉前缀；同时，一个轻量级难度预测器直接依据视觉特征评估当前问题的解算难度，并将预测的求解概率映射到离散的采样预算 \(K \in \{1, 3, 5, 7\}\)。随后，语言模型利用共享 Prefill 执行一次前向计算构建并复用 KV Cache，在此基础上并行展开 \(K\) 条 CoT 推理路径，最终通过多数投票聚合得出最终答案。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像/视频 I + 问题 Q"] --> B["视觉编码器提取嵌入 Ev"]
    B --> C["键多样性视觉剪枝 KDV<br/>基于键向量角距离过滤背景冗余"]
    B --> D["轻量难度预测器<br/>评估解题概率并分桶决策采样数 K"]
    C --> E["共享 Prefill 构建 KV Cache<br/>紧凑视觉前缀 + 问题文本"]
    D --> F["自适应自洽性推理<br/>复用 KV Cache 并行展开 K 条 CoT"]
    E --> F
    F --> G["多数投票多数决聚合<br/>最终推理答案"]

关键设计¶

1. 键多样性视觉剪枝（KDV）：无训练的 \(O(N)\) 视觉冗余自适应压缩

传统注意力剪枝方法为了评估视觉 Token 重要性，通常需要重建全量注意力矩阵，不仅无法充分利用 FlashAttention 等硬件优化算子，在视频等超长序列下还会导致严重的额外延迟和显存溢出；基于图或特征聚类的方法则往往引入 \(O(N^2)\) 的高昂计算开销。针对这一痛点，AVIS 引入了基于注意力键向量多样性的无训练评分准则 KDV。其核心原理是：在多头注意力机制中，表征冗余或平坦背景的 Token 在键空间中往往高度同质化且贴近均值锚点，而承载关键语义与局部边缘的稀缺信息则与均值键方向存在显著的角度偏离。

具体实现上，KDV 在多头维度上计算每个视觉 Token \(i\) 的归一化键向量 \(\hat{k}_{h,i}\) 与该注意力头均值向量 \(\mu(\hat{K}_h)\) 的余弦相似度，并取多头平均的相反数作为多样性保留分 \(r_i\)：

\[r_i = -\frac{1}{H}\sum_{h=1}^{H}\operatorname{CosSim}\left(\mu(\hat{K}_{h}),\hat{k}_{h,i}\right)\]

为了摆脱全局固定保留比例的机械裁剪，AVIS 设定角距离阈值 \(\tau\)（默认取 \(\pi/4\)），仅保留多头平均夹角超过 \(\tau\) 的 Token 集合 \(S_{\tau}(x) = \{i \mid r_i \ge -\cos(\tau)\}\)。由于只需一次遍历计算均值并执行阈值比较，算法时间复杂度严格限制在 \(O(n_v)\)。更重要的是，KDV 在进入语言模型前完成剪枝，大幅压缩了 Prefill 序列长度并精简了 KV Cache，使得后续推理轨迹可以毫无阻碍地共享这一极简上下文。

2. 轻量级解题难度预测器：倒 U 型边际收益下的离散推理预算配置

简单地对所有样本均匀拉长思维链或增加采样次数，会导致计算资源的严重浪费。从理论上分析，设单个轨迹解题正确概率为 \(p(x)\)，在独立同分布假设下自洽性多数投票的胜出概率为：

\[P_{\mathrm{SC}}(p,K) = \sum_{j=\lceil(K+1)/2\rceil}^{K}\binom{K}{j}p^{j}(1-p)^{K-j}\]

该式揭示了自洽性计算收益呈现典型的“倒 U 型”非单调特性：当 \(p(x) \approx 1\) 时问题过于简单，单次贪婪解码 \(K=1\) 即可保证正确，额外采样属于无效浪费；当 \(p(x) < 0.5\) 时问题超出模型认知极限，盲目增加采样甚至可能由于多数票投向常见错误模式而降低准确率；只有当 \(p(x)\) 处于中间区间时，多路径采样探索才能带来最大的准确率修正收益。

基于这一洞察，AVIS 在视觉特征上构建了一个极轻量的探测头（由 1D Conv、GroupNorm、SiLU、全局平均池化与浅层 MLP 组成）。该探测头仅消耗约 6 GFLOPs（不足全模型单次推理的 0.1%），直接预测解题概率 \(\hat{p}(x)\)。为了适配离散的硬件执行环境，AVIS 设计了分段常数决策边界：在极低和极高难度区间分配 \(K=1\)；在可解但困难的黄金区间分配最大预算 \(K=7\) 或 \(K=5\)；过渡区间则匹配 \(K=3\)。由此将算力精准灌注于收益最大的边缘样本上。

3. 共享 Prefill 推理引擎协同：将压缩红利转化为并发搜索增益

在自回归大模型推理中，多样本并发生效的关键瓶颈是重复构建前缀导致的显存与带宽争抢。AVIS 巧妙利用了语言模型的计算分摊特性：根据推导，在共享 Prefill 执行模式下，总计算量可表示为一次视觉编码 \(F_v(I)\)、一次紧凑前缀构建 \(F_{\mathrm{pre}}(\rho n_v, n_q)\)，以及 \(K\) 条独立自回归路径的解码消耗之和：

\[F_{K}(I,Q) = F_{v}(I) + F_{\mathrm{pre}}(\rho n_v, n_q) + \sum_{k=1}^{K}F_{\mathrm{dec}}(\rho n_v, n_q, T_k)\]

通过 KDV 将视觉上下文削减约 75%，不仅将一次性 Prefill 耗时压低近一半，更使得维持 \(K\) 个并行解码实例所需的 KV Cache 总量显著收敛。原本只能容纳单个全量上下文的显存空间，现在能够支撑并发执行 \(K\) 条采样轨迹。由此，AVIS 实现了“以低边际成本的多样化推理搜索替换高边际成本的静态视觉冗余”的良性算力置换。

一个完整示例¶

以 MathVista 中的一道几何图表推理题为例： 1. 视觉输入与剪枝：输入几何图表原始包含 1,280 个视觉 Token。大部分背景纯白区域和重复网格的键向量聚集在均值锚点附近（角距离 \(<\pi/4\)），被 KDV 快速滤除；带有函数曲线、坐标数字及几何交点的 320 个关键 Token 被保留下来（保留率 \(\rho \approx 25\%\)）。 2. 难度预测与分桶：轻量预测头基于提取的视觉嵌入快速计算，输出求解置信度 \(\hat{p}(x) = 0.58\)。该分值精确落入高边际收益区间 \([b_2, b_3)\)，策略自适应下发调度指令 \(K=7\)。若换作一张极度简单的人脸属性判断题（\(\hat{p}(x) = 0.94\)），策略则直接分配 \(K=1\)。 3. 共享 Prefill 与并行解码：320 个视觉 Token 与文本题干一同完成 Prefill，建立精简版 KV Cache。推理引擎复用该 Cache 并行采样生成 7 条带有 <think> 标签的 CoT 推导。其中 5 条路径在最后得出坐标交点为 \((2, 3)\)，另 2 条发生计算漂移；多数投票迅速锁定 Plurality 结果并输出正确答案。

实验关键数据¶

主实验¶

实验基于 Qwen2.5-VL-7B 主干模型展开，在 12 个图像多模态基准与 6 个视频基准上全面评测。FLOPs 均相对于原生 Baseline（\(\rho=0, K=1\)）进行归一化（#F 越低越好）。

类别	数据集	原生 Baseline (K=1)	固定剪枝 (ρ=75%, K=1)	固定扩展 (ρ=0, K=5)	AVIS (自适应联合缩放)	计算量 #F (AVIS)
数学推理	MathVista	67.5	66.6	70.5	68.1	0.46
数学推理	MathVerse	57.5	55.7	62.9	58.9	0.45
数学推理	MathVision	22.4	22.3	27.0	25.0	0.78
文档理解	DocVQA	81.43	76.79	89.71	87.71	0.32
多学科推理	MMMU-Pro	42.62	40.54	45.68	43.10	0.68
综合感知	MME	2263	2227	2386	2364	0.42
细粒度感知	CVBench	70.6	70.5	74.9	73.1	0.43
幻觉评估	POPE	84.3	83.9	84.9	84.5	0.38
视频理解	Video-MME	65.2	62.8	70.0	65.8	0.32
视频时序	TempCompass	73.6	72.4	79.0	76.2	0.28
视频深度推理	Video-TT	35.2	36.4	36.8	37.6	0.29
视频基准	MVBench	56.2	54.5	59.8	57.8	0.46

消融实验¶

表 A 展示了单轴自适应与联合自适应在同等基准上的对照；表 B 展示了相同算力预算约束（Matched-FLOPs，约为基准算力的 45%）下 AVIS 与固定策略的胜出优势。

表 A：单轴自适应 vs 双轴联合自适应消融（Qwen2.5-VL-7B）

配置	MathVision (准确率 / #F)	MME (总分 / #F)	DocVQA (准确率 / #F)	CVBench (准确率 / #F)	说明
原生 Baseline (\(\rho=0, K=1\))	22.4 / 1.00	2263 / 1.00	81.40 / 1.00	70.6 / 1.00	全量视觉上下文，单次贪婪解码
固定配置 (\(\rho=75\%, K=5\))	22.3 / 1.04	2373 / 0.58	83.97 / 0.36	74.3 / 0.55	固定比例剪枝与固定采样路径
仅自适应上下文 (Adapt-\(\rho\), \(K=5\))	24.9 / 1.05	2347 / 0.52	84.70 / 0.35	73.8 / 0.53	动态阈值剪枝，固定路径数
仅自适应搜索 (\(\rho=75\%\), Adapt-\(K\))	25.3 / 0.83	2280 / 0.41	86.20 / 0.31	73.2 / 0.49	固定剪枝比例，动态分配路径
AVIS (联合自适应)	25.0 / 0.78	2364 / 0.42	87.70 / 0.32	73.1 / 0.43	双轴联合自适应调配，帕累托最优

表 B：等算力匹配对比（Matched-FLOPs \(\sim 45\%\)）

数据集	原生 Baseline (1.0 #F)	固定剪枝 (\(\rho=0.6, K=1\))	深度推理 (\(\rho=0.85, K=5\))	AVIS (自适应策略)
MathVista	67.5 (1.00 #F)	66.6 (0.48 #F)	65.2 (0.45 #F)	68.1 (0.46 #F)
MathVerse	57.5 (1.00 #F)	56.5 (0.44 #F)	56.4 (0.48 #F)	58.9 (0.45 #F)
MME	2263 (1.00 #F)	2230 (0.43 #F)	2311 (0.48 #F)	2364 (0.42 #F)
TreeBench	37.3 (1.00 #F)	36.8 (0.39 #F)	35.1 (0.43 #F)	37.5 (0.42 #F)

关键发现¶

显著改善算力-精度帕累托前沿：相较于原生全量模型，AVIS 在图像基准上平均准确率提升 3.0%，算力减少 52%；在视频基准上平均准确率提升 2.4%，算力大幅缩减 66%。在 DocVQA 上仅用 0.32 倍 FLOPs 取得 87.71 分（超越基线的 81.43 分）。
对 RL 后训练模型具备优异的泛化兼容性：在经过 GRPO 强化学习训练的 VL-Rethinker、Vision-R1 以及 OpenVLThinker 等前沿模型上，AVIS 依然保持了极佳的加速与增益特性。例如在 Vision-R1 上，AVIS 在 MME 取得 2469 分（基线 2408 分），而仅花费 0.43 倍算力。
真机解码延迟真实下降：在单张 NVIDIA L40 (48GB) GPU 上使用 vLLM v0.10.0 实测 100 个图文样本，Vanilla 基线耗时 795 秒，而 AVIS 凭借更紧凑的 KV Cache 在共享 Prefill 驱动下仅耗时 757 秒（延迟降低且准确率更高），打破了“测试时搜索必然带来显著端到端延迟”的刻板印象。

亮点与洞察¶

将视觉剪枝与搜索缩放深度耦合：首次明确指出上下文缩放与推理搜索缩放的互补关系，将节省的 Prefill 内存和算力顺理成章转化为搜索采样的预算空间，开辟了多模态测试时扩展的新范式。
利用“倒 U 型”边际效用杜绝算力浪费：严谨指出自洽性采样在极易和极难样本上的无效性与危害性，利用轻量卷积头精准定位中等难度样本并施加高采样预算，避免了“一刀切”式盲目推演。
无训练 \(O(N)\) 键多样性设计的工程亲和力：完全解耦于下游 LLM 内部复杂注意力图，在进入语言模型前快速完成，完美兼容 FlashAttention 等高效算子，具备极佳的工业落地价值。

局限与展望¶

作者承认的局限：目前视觉剪枝（KDV）与难度预测模块在逻辑上属于两阶段解耦决策，未在一个显式端到端受限优化目标下联合微调；同时难度预测头仅基于视觉嵌入，未融合文本 Query，无法利用深层语义交互信息。
潜在不足分析：难度预测头依赖于视觉嵌入的全局平均池化特征，在涉及微小文字和长篇逻辑公式的细粒度题目中可能产生置信度偏差；此外，自洽性采样的离散分桶规则虽便于工程实现，但离散边界处的跳变可能导致非最优预算分配。
未来改进方向：探索引入极轻量前置文本交叉注意力头以实现多模态联合难度感知，以及将自洽性扩展到蒙特卡洛树搜索（MCTS）或基于过程奖励模型（PRM）引导的动态树展开中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从双轴联合视角系统解构 VLM 测试时计算开销，提出了软硬件协同的自适应分配范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 12 个图像与 6 个视频基准，并深入验证了 RL-VLM 兼容性、Matched-FLOPs 对比与真实 GPU 延迟。
写作质量: ⭐⭐⭐⭐⭐ 理论分析清晰，符号规范严密，推导过程逻辑闭环。
价值: ⭐⭐⭐⭐⭐ 为大模型自适应推理与高效部署提供了极具实用价值的工程落地方案。