Evidence-RL: Towards Evidence-Intensive Visual Reasoning¶

会议: NeurIPS 2026
arXiv: 2608.08021
代码: https://evidencerl.github.io
领域: VLM Reasoning
关键词: 多模态强化学习、视觉证据解耦、反事实干预、GRPO、幻觉消除

一句话总结¶

提出了反事实证据解耦诊断机制 CED，通过特征空间邻域均值替换对比目标证据区域与非证据区域的似然降幅，将证据依赖信号与答案正确性联合注入 GRPO 训练，在零推理开销与无题目专属标注下显著消除 VLM 快捷路径与语言先验偏见。

研究背景与动机¶

近年来多模态大模型在各类通用视觉感知与复杂问答基准上取得了令人瞩目的进展，但在实际评估中，高准确率常常掩盖了灾难性的假象——模型往往没有真正审视图像中的决定性视觉线索，而是依赖于语言先验、场景常识统计规律或数据集固有捷径来蒙对答案。例如在计数或空间关系判断任务中，模型看到两张具有明显差异但上下文相似的视点图片时，仍输出完全相同的默认推断；在消除了特定物体的异常图像上，依然惯性输出基于先验的计数值。这种对视觉证据的伪依赖直接导致了目标幻觉和不可靠推理。

近期涌现出的感知感知后训练方法（如 PAPO、VPPO 等）尝试通过引入全局图像破坏或者内层注意力分布来约束视觉依赖性。然而这些方案只关注了粗粒度的“图像敏感性”，并未触及因果层面的“证据依赖性”：整幅输入图像不仅包含支持答案的决定性证据，还充斥着无关背景、高视觉显著性干扰物以及掩蔽噪声伪影。全局图像扰动或注意力权重只是模型内部信息流动的统计代理，既无法判断答案是否因局部关键证据的缺失而被真正证伪，也极易引入破坏全局语义的系统性偏差。此外，纯文本维度的过程奖励与自我演化机制在因果图上是“证据闭合”的，无法区分答案究竟来自目标证据路径还是语言先验捷径。

基于结构因果模型路径分解视角，本文将模型输出与图像证据的关联转化为一种训练期的局部反事实干预审计机制。核心 idea：通过在特征空间对目标证据区域实施邻域均值替换干预，并将候选答案的似然降幅与空间匹配的非证据参考区域对比获得相对证据边界，将该因果证据信号作为门控与正确性联合融入 GRPO 优化，引导模型仅在答案因果依赖于真实视觉证据时获得高奖励。

方法详解¶

整体框架¶

Evidence-RL 是一套完全在训练期施加反事实证据审计的 VLM 强化学习框架，无需昂贵的人工证据标注，也不给推理端带来任何额外时延。其工作流程为：给定输入图像、问题及采样生成的候选回复，策略首先基于弱监督目标检测边界框确定假设的证据区域，并在周围均匀采样尺度匹配且空间分离的若干非证据区域；随后在视觉编码器空间合并后的特征图上对这些区域施加局部的邻域均值替换干预；计算候选回复在干预前后的对数似然降幅，并通过对比证据区域与非证据区域的相对变化得到标准化的证据边界；最后该边界通过非线性门控函数调制答案正确性得分，作为组相对策略优化（GRPO）的复合奖励信号。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与问题<br/>I, q"] --> B["策略模型采样候选回复<br/>y ~ π_θ(·|I, q)"]
    B --> C["弱监督证据与参考区域提议<br/>确定 Ω_ev 与 K 个非证据 Ω_non"]
    C --> D["特征空间邻域均值替换干预<br/>h_i_tilde = μ_T 对比特征流"]
    D --> E["反事实对数似然敏感度评测<br/>s(Ω) = log π(y|I) - log π(y|I_tilde)"]
    E --> F["非证据基准归一化证据边界<br/>m(I, q, y) = tanh(z-score)"]
    F --> G["正确性锚定奖励与门控调制<br/>R_train = R_ans · g(m) + ε_tie · m"]
    G --> H["GRPO 组内优势计算与策略更新<br/>无推理额外开销"]

关键设计¶

1. 特征空间邻域均值替换：消除证据信息同时维持局部特征流形

现有反事实干预多采用像素级清零、高斯噪声或全局打码，但这类破坏性操作会引入严重的分布外伪影，导致模型输出剧变主要来源于对破坏伪影本身的敏感性，而非对语义证据的因果依赖。为了精准剔除语义证据同时保全特征流形，本设计在视觉编码器最后一层输出经过空间合并后的特征空间中进行介入。对于选定的空间区域 \(\Omega\)，将其映射为合并后的视觉 token 集合 \(\mathcal{T}(\Omega)\)，并将该集合内的每个 token 向量替换为其空间外部邻域 token 的均值向量 \(\boldsymbol{\mu}_T\)：

\[\tilde{\mathbf{h}}_{i} = \begin{cases} \boldsymbol{\mu}_{T} & \text{if } i \in \mathcal{T}(\Omega), \\ \mathbf{h}_{i} & \text{otherwise} \end{cases}\]

一阶泰勒展开表明，真实证据 token 表达可分解为上下文基线项与证据语义项 \(h_T = b_T + e_T\)。均值替换使模型输出变动保留了核心证据移除项 \(-J_T e_T\)，仅附加了极小的邻域偏移伪影 \(J_T \delta_T\)，彻底消除了清零操作中丢失整体上下文基线 \(-J_T b_T\) 带来的系统性冲击。

2. 非证据参考区域局部零假设：抵消通用扰动敏感性与伪影干扰

模型对某一区域干预的似然下降可能仅仅反映了该区域面积占比较大或模型对特征波动过度敏感。为了构建严密的统计检验，本设计在同一样本中构造 \(K\) 个与目标证据区域面积尺度匹配且空间 IoU \(\le 0.05\) 的非证据区域 \(\{\Omega_k^{\mathrm{non}}\}_{k=1}^K\)，作为样本局部的零假设分布。定义候选答案 \(y\) 对区域 \(\Omega\) 的敏感度为其对数似然因果降幅 \(s(\Omega) = \log\pi_\theta(y \mid I, q) - \log\pi_\theta(y \mid \tilde{I}_{\setminus \Omega}, q)\)。随后计算证据区域敏感度相对于非证据群体均值与标准差的归一化对立得分，并通过双曲正切函数映射为有界区间 \([-1, 1]\)：

\[m(I, q, y) = \tanh\left(\frac{s(\Omega^{\mathrm{ev}}) - \mu(s^{\mathrm{non}})}{\sigma(s^{\mathrm{non}}) + \epsilon}\right)\]

只有当候选答案在目标证据区域被干预时的似然衰减显著高于非证据背景区域时，证据边界 \(m\) 才为正。这一对比设计有效剥离了图像全局特征扰动与非关键视觉噪音对奖励计算的干扰。

3. 正确性锚定门控奖励与 Answer 粒度锁定：防止长度退化与奖励破解

如果直接将密集证据奖励按 token 分配给思维链（CoT），策略模型会通过截断推理步骤、缩减低边际连接词来钻营高均值奖励，导致 CoT 长度雪崩甚至退化为离散标签。为此，Evidence-RL 采用作用于最终答案区间的 Answer-CED 方案，并在 GRPO 中设计了以正确性为锚点的双向非线性门控奖励函数：

\[R_{\text{train}} = R_{\text{ans}} \cdot g(m) + \varepsilon_{\text{tie}} m, \qquad g(m) = \frac{1}{2}\left(1 + \tanh\left(\frac{m}{\tau_g}\right)\right)\]

其中 \(\tau_g = 0.20\)，\(\varepsilon_{\text{tie}} = 0.10\)。当答案正确时（\(R_{\text{ans}} \approx 1\)），门控函数 \(g(m)\) 对有据答案给予全额正向奖励，对依靠常识蒙对的答案施加重度惩罚；当答案错误时（\(R_{\text{ans}} \to 0\)），该项退化为一个微小的决胜惩罚项，确保在组内归一化时正确性始终主导优势方向，同时赋予相同答案生成序列因视觉证据扎实度不同而产生显著的梯度区分度。

损失函数 / 训练策略¶

训练采用 GRPO 框架，基于采样组大小 32 对组内生成的候选回复进行奖励白化标准化计算优势值 \(A_i = (R_{\text{train}, i} - \mu) / \sigma\)。优化仅放开模型顶层最后 4 层参数（或使用 LoRA 微调，秩 \(r=16, \alpha=32\)），学习率设为 \(1 \times 10^{-5}\)，KL 散度惩罚系数设为 \(0.01\)，经历 2,000 步稳定迭代。弱监督证据区域直接复用 COCO 的实例目标检测框元数据，通过尺度过滤与回退机制保障鲁棒性。

实验关键数据¶

主实验¶

在 9 项公开评测基准（涵盖细粒度视觉感知、空间关系、计数、幻觉防御以及综合多学科推理）上，以 Qwen2.5-VL-7B 为基础模型与业界顶尖的 RL 后训练方案进行了系统对齐评测（所有数据均以绝对百分比计）。

基准数据集	任务类型	Qwen2.5-VL-7B 基线	VPPO-7B	PAPO-G-H	SophiaVL-R1	Ours (Evidence-RL)	相比基线提升 (Δ)
CountBench	细粒度计数	81.82	85.90	90.90	82.83	88.89	+7.07
SpatialEval	空间几何推理	59.21	61.80	64.80	61.38	63.34	+4.13
HallusionBench	幻觉与错觉评测	68.64	68.20	69.50	66.87	70.08	+1.44
VLMsAreBlind	盲区感知与细节	46.44	49.35	47.92	47.09	54.02	+7.58
FREAK	先验对抗细粒度推理	12.18	12.70	12.80	24.18	26.40	+14.22
MathVista	视觉数学推理	63.10	67.90	69.40	66.30	69.40	+6.30
MMBench	通用多模态评测	84.73	84.90	82.80	87.41	87.53	+2.80
MMMU	专家级多学科推理	50.63	52.10	50.50	52.18	57.47	+6.84
ScienceQA	视觉科学问答	83.98	88.40	85.60	87.64	87.08	+3.10
全基准平均分	9 项综合均值	61.19	63.47	63.80	63.99	67.13	+5.94

消融实验¶

在 Qwen3.5-9B 统一环境、完全对齐训练数据量（15,314 条样本）与计算步数（2,000 步）下的对照实验，直接揭示了 CED 奖励组件的作用机制以及不同干预模式的表现。

配置 / 训练方法	综合平均分 (Avg)	相对基线增量 (Δ)	核心表现与失真说明
Frozen Base (Qwen3.5-9B)	62.46	—	原始预训练多模态基础模型
Correctness-only (λ=0)	61.22	-1.24	仅以最终字符串匹配为奖励，导致通用推理严重负迁移
Retrained VPPO (注意力依赖)	60.68	-1.78	无法捕捉局部因果，出现明显的通用多学科能力退化
Retrained PAPO (全局扰动 KL)	41.07	-21.39	全局扰动引发循环推理崩溃，58% 样本耗尽 24k 上下文
Answer-CED (Full Model)	73.80	+11.34	所有 9 项任务全线大幅提升，平均增益比正确性基线高出 +12.58
CoT-CED 变体	73.06	+10.60	训练奖励虚高，但 CoT 长度坍塌至 3.6 tokens，发生长度作弊
特征清零替代干预 (Zero Repl.)	—	—	局部 AUC 为 0.6409（低于均值替换的 0.6686，基线丢失偏置显著）
全局随机遮蔽扰动 (Global Mask)	—	—	辨识率降至 0.4900（低于 50% 随机基准，丧失局部定位能力）

关键发现¶

纯正确性驱动的强化学习会加速退化：仅依靠答案正确性作为奖励（\(\lambda=0\)）会导致严重的组内奖励零方差（在具有复杂视觉证据的任务中零方差比例高达 94.9%）。相同答案由于证据来源不同缺乏区分度，策略模型倾向于收敛到走捷径的简单先验策略，在通用推理任务上发生明显的负迁移。
反事实均值干预彻底粉碎语言先验陷阱：在专为检测模型是否反常识审视图像而设计的 FREAK 基准上，Ours 取得了高达 +14.22%（Qwen2.5-VL-7B）和 +13.17%（Qwen3.5-9B）的惊人突破。即使在视觉线索与日常经验极端相悖的对抗样本中（如 1 个轮子的压路机、1 条腿的眼镜架），模型仍能果断摆脱先验，输出忠实于图像的真实答案。
Answer-CED 杜绝了过程奖励的长度坍塌：实验发现，在全推理链（CoT）上计算密集证据边界虽然在训练端获得更高的数值奖励，但在组相对强化学习环境下，模型会通过将 CoT 强行缩短到 3.6 个 token 来虚假拉高每 token 的平均边际，失去连贯解释能力。将干预评估锚定在答案输出区间，既消除了这一退化自由度，又完美保留了长序列的严密视觉核查推理。

亮点与洞察¶

将结构因果论中的路径解耦具象化为训练期无损诊断：巧妙地将视觉推理的因果图投射为“目标证据路径”与“快捷先验路径”的竞争，利用局部特征均值替换作为干预探针，无需在测试阶段增加任何额外参数或多轮计算，实现了训练期审计、推理期零成本。
引入样本自适应的非证据局部参考系：不依赖于人工负样本标注，而是利用同图内尺度对齐的空间分离区域构成动态零假设基线，从根本上抵消了模型对于“特征被破坏”这一通用扰动本身的系统性过敏。
可低成本向其他多模态推理场景泛化：这种基于局部特征流形平滑替换以检验模型假设因果敏感性的范式，不仅限于物体边界框，还能无缝推广到细粒度属性替换、时间动作切片以及关系三元组的忠实度审计中。

局限与展望¶

依赖弱监督目标提议的合理性：当前框架主要利用 COCO 等开源目标检测边界框作为先验候选区域，在面对极端密集小目标、抽象图表语义以及密集密集型 OCR 文本时，矩形包围盒的粒度可能无法完全贴合不规则证据形状。
二元判断任务的方差瓶颈：在简单的存在性判断（Yes/No）中，候选空间过小导致采样同质化较高，CED 在纯二元动作上的奖励辨识度受限，未来需要针对二元决策引入专门的反事实置换路由。
未来方向：探索无需候选框的多尺度连续注意力掩码引导干预，以及将 CED 扩展至高分辨率文档分析与具身智能决策的视觉环境验证中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立 VLM 视觉推理的因果路径分解，提出无标注的局部特征空间反事实证据解耦审计机制。
实验充分度: ⭐⭐⭐⭐⭐ 跨 4 大主流架构骨干、涵盖 9 个权威公开基准，并包含针对先验对抗、特征扰动敏感性及 CoT 坍塌的极深剖析。
写作质量: ⭐⭐⭐⭐⭐ 因果图论证严谨，数学公式与概念定义清晰自洽，实验分析层层推进。
价值: ⭐⭐⭐⭐⭐ 彻底解决了 VLM 在强化学习后训练中容易过拟合先验捷径的关键痛点，实用且具备零推理开销的极高工程价值。