跳转至

Understanding the Effects of Distractors on Reasoning Vision-Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/effl-lab/Idis
领域: LLM推理
关键词: 视觉语言模型, 测试时缩放, 逆缩放现象, 干扰项鲁棒性, 属性归因

一句话总结

本文系统构建了包含 27.7 万张图像的多模态干扰项评测基准 Idis,首次揭示视觉干扰项通过降低准确率向下平移长–准曲线而不增加思考长度,与文本干扰项引发思考变长并加剧逆缩放形成鲜明对比,并证明干扰属性占比而非思考长度直接主导了模型崩塌。

研究背景与动机

测试时计算扩展(Test-time compute scaling)是提升大语言模型及视觉语言模型复杂推理质量的核心范式,但生成更长的思维链(Chain-of-Thought)并非总是带来正向收益。纯文本推理大模型的最新研究表明,模型极易陷入过度思考(overthinking),甚至在上下文中引入无关干扰信息(distractors)时触发显著的测试时逆缩放(inverse scaling)——即随着生成的推理 token 数量增加,模型的回答准确率反而单调严重退化,且更多干扰项会直接拉长推理链条并放大错误启发式。

然而,视觉语言模型在真实世界交互与多模态问答中,面临的干扰信息天然跨越视觉与语言双重模态。现实图像中不可避免地充斥着背景杂波、共存的非目标物体或伪造的排版文本,而在文本提示词中也会混杂无关的前提陈述。这引发了一个悬而未决的核心矛盾:多模态推理模型究竟是以同一种机制被干扰项误导,还是会因为视觉与文本信息在自回归注意力中的表征和交互路径差异,呈现出模态依赖的差异化缩放规律?

为严谨解答该问题,本文确立了从感知分类与数学几何双任务切入的系统评测方案。核心 idea:通过构建系统受控的多模态干扰基准 Idis,解耦干扰项的模态(视觉/排版/文本)、数量与语义关系,揭示出视觉干扰项在不改变推理长度的情况下垂直拉低准确率曲线,而干扰属性在思考轨迹中的注意力与表达占比才是决定准确率崩塌的本质根源。

方法详解

整体框架

评测与诊断框架整体分为三部分:(1) 受控基准构建(Idis 数据集):涵盖感知任务(Idis-perception,基于 ImageNet-9 衍生 48,600 张受控图)与数学几何任务(Idis-math,基于 MathVerse 衍生 40,536 对图文),正交控制干扰项模态(图像实体/排版文字/文本提示词)、干扰项数量(\(N=1\sim 4\))与语义关系(Aligned/Conflicting/Irrelevant);(2) 序贯缩放评测与模态解耦分析:在多轮采样下绘制长度–准确率曲线,揭示视觉干扰导致曲线垂直向下平移而文本干扰导致横向长度膨胀的双重缩放行为;(3) 属性级归因与机理验证:基于大模型提取轨迹中的视觉属性,发现干扰属性占比与准确率崩塌严格负相关,并通过层间注意力阻断与目标聚焦提示策略完成因果验证与鲁棒性提升。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本与基础图文<br/>ImageNet-9 / MathVerse"] --> B["受控多模态干扰基准构建<br/>解耦模态/数量1-4/三级语义"]
    B --> C["模态依赖的双重缩放动力学<br/>视觉平移下沉 vs 文本长度膨胀"]
    C --> D["属性空间因果归因机制<br/>干扰属性占比与注意阻断验证"]
    D --> E["目标聚焦提示对齐策略<br/>抑制干扰表征并恢复准确率"]

关键设计

1. 受控多模态干扰基准构建:解耦模态、数量与语义关系的干扰空间设计

为排除图文复杂度与固有题目难度的混淆变量,研究构建了严谨的成对受控基准 Idis(Images with distractors)。在图像层面,针对感知任务(Idis-perception)采用 Gemini 2.5 Flash Image 进行生成式编辑,在保持目标物体类别、空间位置与外观完全不变的前提下自然融入干扰物体,排除了简单图像拼接引入的接缝伪影;针对数学几何任务(Idis-math)则在固定画布右侧确定性拼贴干扰图形或手写算式,避免遮挡原始解题关键线索。干扰项沿着三个维度严密受控:其一是模态(视觉实体物体、排版在图像中的文字、追加在 Prompt 中的文本陈述);其二是数量(\(N \in \{1, 2, 3, 4\}\));其三是语义层级,分为对目标类有虚假共现正相关的 Aligned(如目标为鸟时引入鸟笼)、与候选混淆类绑定的 Conflicting(如目标为载具时引入鸟笼)、以及语义完全无关的 Irrelevant(如引入电视机或表格数据)。

2. 模态依赖的双重缩放动力学:视觉平移下沉与文本长度膨胀的机制解耦

在测试时序列扩展实验中,作者评估了包括 Qwen3-VL-8B-Thinking、Intern-S1-mini、GLM-4.1V-9B-Thinking 及 R1-OneVision-7B-RL 在内的前沿视觉推理模型。分析表明多模态推理模型展现出显著的模态不对称性:当引入视觉干扰物体或排版在图像内的文字时,推理长度(Token 数)几乎保持恒定(每增加一个干扰项平均仅变化 11.8 个 Token,完全被样本内 122.4 Token 的解码随机方差所掩盖),但整体长度–准确率曲线直接垂直下移;而当干扰项作为文本语句追加到 Prompt 时,文本干扰项与正在生成的推理 Token 处于同一上下文寻址空间,模型在自回归生成时会反复复述、引用并重新思考干扰项(每条轨迹干扰提及率高达 94.6%~97.3%,占轨迹词数的 22.8%~35.7%),从而急剧拉长思维链条,重现并加剧了纯文本大模型中的测试时逆缩放崩塌。

3. 属性空间因果归因机制:干扰属性占比对最终决策的因果支配与注意力验证

为深入机理解释视觉干扰项为何在不拉长思考的情况下降低准确率,作者利用 DeepSeek-V3.2-Exp 严格抽取推理轨迹中显式提及的实体视觉属性短语,形式化定义了干扰属性占比指标: $\(r_{\text{attr}} = \frac{\#\text{Distractor Attributes}}{\#\text{Total Attributes}}\)$ 统计表明,轨迹中的总属性词数受视觉 Token 总数与目标类别主导,随干扰项数量增加保持恒定,但 \(r_{\text{attr}}\) 会随干扰项数量和干扰区域面积占比 \(r_{\text{area}} = \frac{A_{\text{dist}}}{A_{\text{dist}} + A_{\text{target}}}\) 单调上升。当 \(r_{\text{attr}} < 20\%\) 时,模型准确率维持在 97% 以上;而一旦 \(r_{\text{attr}} > 50\%\),分类准确率直接归零。进一步的 Transformer 注意力阻断实验证实,在生成最终 <answer> 时阻断对轨迹中干扰属性 Token 的全层注意力,能够显著恢复准确率(提升高达 +0.30%p);反之阻断目标属性 Token 则造成准确率崩塌(暴跌 -9.26%p),因果证明了推理轨迹中的属性分配偏置直接决定了最终决策。

4. 目标聚焦提示对齐策略:引导前景色属性思考的主动去偏推理

基于干扰属性占比决定预测成败的核心发现,作者提出了一种无需微调即可即插即用的推理期提示对齐策略(Prompt-based Mitigation)。该策略显式干涉模型的视觉感知分配与属性归纳路径,在 Prompt 中增加核心指导约束:“首先定位主体目标,仅基于该目标自身所具备的物理视觉属性进行链式推理,不要假设视觉最显著或面积最大的物体就是主体目标,严禁依据背景或周围共存物体进行类别猜测”。实验表明该策略有效压低了自回归轨迹中干扰属性的显式表达比例,在几乎所有开源视觉推理模型及经典分布偏移基准 Waterbirds 上均取得了鲁棒的准确率增益。

评估基准与实验设计

实验涵盖 Idis-perception(4,050 张 ImageNet-9 基础图衍生)、Idis-math(3,152 个 MathVerse 题目衍生,包含几何与手写干扰)以及分布偏移去偏评测集 Waterbirds。评测涵盖开源前沿 7B~9B 视觉推理模型(Qwen3-VL-8B-Thinking、Intern-S1-mini、GLM-4.1V-9B-Thinking、R1-OneVision-7B-RL)及闭源前沿模型 Gemini 3 Flash。评测采用温度 0.7、Top-p 0.95 重复采样 5 次建立按思考长度排序的曲线,并通过 VLMEvalKit 以 Qwen3.5-27B 充当主观判别器,同时在 RTX A6000 Ada GPU 上完成全层注意力阻断验证。

实验关键数据

主实验

各模型在 Idis-perception 上受不同干扰尺寸(Small / Medium / Large)影响的准确率表现,以及在 Waterbirds 去偏基准上的提示对齐策略效果如下表所示。

评估基准 / 模型 干扰尺寸: Small 干扰尺寸: Medium 干扰尺寸: Large 准确率降幅 (S \(\to\) L)
Qwen3-VL-Thinking (Idis-manual) 96.1% 95.5% 94.0% -2.1%p
Intern-S1-mini (Idis-manual) 94.4% 93.1% 90.9% -3.5%p
GLM-4.1V-Thinking (Idis-manual) 96.3% 95.6% 94.7% -1.6%p
R1-OneVision (Idis-manual) 92.86% 91.68% 88.25% -4.61%p

在 Waterbirds 偏置对抗基准上,各模型在 Aligned、Conflicting 及 Overall 场景下的准确率(Acc. %)与平均推理长度(Len. tokens)对比:

模型架构与配置 Aligned Acc. Aligned Len. Conflicting Acc. Conflicting Len. Overall Acc. Overall Len.
Qwen3-VL-Thinking (Baseline) 93.6% 635.9 76.4% 829.9 88.3% 695.8
+ Prompt Strategy 94.1% 474.7 78.2% (+1.8) 652.1 89.2% (+0.9) 529.5
Intern-S1-mini (Baseline) 93.2% 493.2 56.7% 672.5 81.9% 548.6
+ Prompt Strategy 92.4% 574.2 58.7% (+2.0) 711.9 82.0% (+0.1) 616.7
GLM-4.1V-Thinking (Baseline) 94.4% 340.9 80.7% 498.2 90.1% 389.5
+ Prompt Strategy 92.9% 253.9 84.7% (+4.0) 358.7 90.4% (+0.3) 286.3
R1-OneVision (Baseline) 93.9% 300.5 63.0% 310.5 84.4% 303.6
+ Prompt Strategy 93.9% 233.0 66.3% (+3.3) 244.7 85.4% (+1.0) 236.6

消融与归因实验

不同干扰模态在自回归生成过程中的显式语言复述与轨迹占用度量分析:

干扰模态与设定 平均提及次数 / Trace 包含 \(\ge 1\) 次提及的轨迹占比 干扰词汇占总词数比例 (Word Share) 推理长度响应趋势
Visual Distractor (\(N=1\)) 4.74 24.7% 2.51% 长度保持平坦 (2558 词)
Visual Distractor (\(N=4\)) 4.81 25.6% 2.46% 长度无显著变化 (平移下沉)
Textual Distractor (\(N=1\)) 48.6 94.6% 22.8% 显著拉长轨迹
Textual Distractor (\(N=4\)) 105.6 97.3% 35.7% 急剧膨胀至 3181 词 (增量中 89% 归因于干扰)

关键发现

  • 模态决定的逆缩放差异:视觉干扰项不会像文本干扰项那样诱导长推理链条,而是将整条长–准曲线上演“垂直下沉”。在视觉输入中增加干扰项,图像注意力占比仅在首次引入时由 0.96% 微增至 2.04%,随后在 \(N=1\sim 4\) 间基本恒定(1.65%~1.76%);而文本干扰项则导致模型在思维链中持续反刍,89% 的新增长度均直接消耗在干扰陈述上。
  • 冲突语义危害最大:Conflicting 语义干扰项在所有模型上均引发了最为剧烈的性能滑坡。在感知任务中,若共存物体的视觉属性强烈指向错误类别,模型极易产生归因错觉(Attribution Illusion),直接以干扰物类别作为主目标作答。
  • 思考预算提示在多模态模型中失效:尝试通过预置 Prompt 控制推理 Token 上限(1024、2048、4096)对视觉推理模型几乎无法调节其有效准确率或轨迹分布,模型在各个预算下的曲线高度重合,说明视觉推理模型当前缺乏对自回归思考预算的内生敏感性。

亮点与洞察

  • 精妙的模态解耦视角:将大模型测试时逆缩放的研究从纯语言领域拓展至多模态领域,首次指出“干扰项在不同模态呈现会导致完全不同的缩放机制”,纠正了学术界盲目照搬文本 LLM 干扰结论的惯性思维。
  • 基于属性归因的量化可解释性:利用细粒度实体属性抽取指标 \(r_{\text{attr}}\) 与因果注意力阻断实验,建立了从“图像像素级干扰”到“轨迹属性表征分配”再到“最终输出错误”的完整解释闭环。
  • 可复用的去偏提示技巧:证明了在不改动权重与架构的前提下,通过约束模型聚焦前景目标并仅从自身物理特征推导,能直接压低 3%~5%p 的干扰属性表征,并带来稳健的分布外去偏收益。

局限与展望

  • 任务范畴受限:目前评测主要聚焦于封闭域选择题形式的 VQA 与几何数学问题,尚未拓展至多步具身智能规划(Embodied Planning)或长上下文 GUI Agent 等更复杂的高自由度决策场景。
  • 提示缓解能力的上限:推理期提示对齐策略虽然普遍有效,但带来的平均准确率回升幅度在 0.5%p 到 4.0%p 之间,对于强语义冲突导致的严重性能崩溃仍无法提供绝对免疫,未来仍需在视觉编码器与交叉注意力架构层研发主动干扰过滤机制。
  • 视觉属性抽取的非侵入式依赖:属性归因分析严重依赖外部高级 LLM 的文本信息抽取精度,尽管已通过多种模型与注意力阻断交叉验证,但仍无法完全捕捉隐式激活层面的特征传递。

相关工作与启发

  • vs Gema et al. (2025) (Inverse Scaling in Test-Time Compute):Gema 等人揭示了纯文本大语言模型中无关文本提示会导致推理变长并恶化准确率;本文进一步将该范式推向多模态领域,反常识地发现视觉通道的干扰项并不拉长推理链,打破了“干扰必定导致推理变长”的既有假设。
  • vs Deng et al. (2025) (Words or Vision in VLMs):Deng 等人研究了多模态模型面对图文冲突时盲目迷信文本的偏置;本文则将图文排版文字与真实视觉物体、提示词文本正交解耦,定量揭示了排版文字其行为本质上更贴近图像视觉物体的处理方式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次完整解耦多模态测试时计算下的视觉与文本干扰机理,发现视觉下移与文本伸长的模态不对称性]
  • 实验充分度: ⭐⭐⭐⭐⭐ [构建了超 27 万张受控基准 Idis,覆盖 4 大开源前沿模型与商业 Gemini 3 Flash,包含完整的注意力阻断因果证明]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进,从现象观察深入到属性量化归因,图表规范且数据详实]
  • 价值: ⭐⭐⭐⭐⭐ [为推理型多模态大模型的测试时计算、长思维链控制与鲁棒性对齐提供了至关重要的诊断工具与理论指导]