RECAP: Looking Once Is Not Enough for Vision-Language Reasoning¶

会议: NeurIPS 2026
arXiv: 2610.30834
OpenReview: https://openreview.net/forum?id=UKko2Zrtpd
代码: https://github.com/minto-ai/RECAP
领域: VLM Reasoning
关键词: 视觉语言模型, 长思维链推理, 视觉重访, 强化学习信用分配, GRPO

一句话总结¶

针对长思维链多模态大模型在推理过程中易脱离视觉证据发生时间接地漂移的问题，本文提出 RECAP 框架，通过提取脱钩的视觉重访轨迹来调节动态折扣因子和门控价值预测，在不改变在线采样策略与推理计算量的前提下显著提升了长程视觉推理的准确性并抑制幻觉。

研究背景与动机¶

视觉语言模型（VLM）在复杂图表解析、精细空间感知与多跳几何推理等高级任务中，普遍依赖长思维链（Long CoT）将多步骤拆解为数百甚至上千个 token。为了激发强大的推理潜能，以可验证答案为奖励信号的强化学习（如基于群体的相对策略优化 GRPO 及其多模态衍生方案 VPPO、VAPO）已成为后训练的标准范式。然而，这类强化学习方案的稀疏奖励只在完整轨迹末尾给出最终答案时才到达，能判定整条思维链推演出的终点正确与否，却无法度量推理过程中哪些中间步骤需要再次回溯查验图像证据、哪些步骤可以安全地依托纯文本内部逻辑推进。

这种只顾终局的反馈机制直接诱发了严重的时间接地（Temporal Grounding）失效问题。在长程推理中，模型并非在所有 token 上都需要无休止地紧盯全图——进行局部的代数运算、记账总结或语言逻辑串联时过度注视反而引入噪声；关键的失效往往在于，当后续决策再次依赖细粒度视觉事实时，模型却在纯语言惯性下持续漂移，给出了语言流畅但缺乏视觉证据支撑的虚假幻觉结论。现有的接地强化手段（如特征重加权或解码期外挂式注意注入）大都属于静态全局调整或推理期干预，既无法刻画模型内在何时自发需要视觉线索，也没能解决终端奖励如何跨越长程文本有效反向传播至视觉关键步的核心矛盾。

本文由此切入，将探索视角聚焦于模型内部的「视觉重访（Visual Revisit）」现象——即模型在一串语言内部推理之后，跨模态注意力产生的局部再激活脉冲。实证分析证实，正确轨迹通常具有规律出现的重访波峰，且这一信号具备明确的因果效用与稀疏头部局部化特征。核心 idea：将离线采样阶段提取出的脱钩视觉重访轨迹转化为强化学习的信用分配信号，通过轨迹级动态折扣传播与重访门控价值基线，将终局奖励重点锚定在视觉关键决策步上，实现兼顾高接地精度与零推理开销的后训练优化。

方法详解¶

整体框架¶

RECAP 严格沿用 GRPO 的在线采样协议、策略比率截断机制与 KL 散度锚定，不改变推理阶段的任何计算图结构，亦不引入外部奖励模型。其核心流程包含四个阶段：首先，当前策略在给定图像和问题下自回归采样生成一组完整的多模态思维链轨迹；其次，前向提取并脱钩中间层跨模态注意力（CMA）的局部激增信号，计算出归一化的视觉重访轨迹；接着，利用该脱钩重访轨迹构建轨迹增广输入、动态步长折扣因子以及门控双头价值预测器；最后，计算出针对视觉关键步进行精细信用分配的替代优势函数，完成策略参数的高效梯度更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：图像与问题提示词"] --> B["自回归采样轨迹<br/>保持原有因果策略分布"]
    B --> C["视觉重访信号提取<br/>跨模态注意力相对于滑动基线的激增"]
    C --> D["停止梯度脱钩<br/>阻断对采样分布与前向图的直接反传"]
    D --> E["动态折扣传播<br/>未来重访脉冲反向放大前置信用"]
    D --> F["重访门控价值预测<br/>双头基准动态分解视觉与语言残差"]
    E --> G["替代优势函数构建<br/>端到端奖励差异化流向接地关键步"]
    F --> G
    G --> H["截断替代策略优化<br/>更新策略并维持 KL 锚定"]

关键设计¶

1. 视觉重访信号提取与标准化：剥离绝对注意力偏置，提炼局部再激活脉冲

直接使用原始跨模态注意力（Cross-Modal Attention, CMA）无法作为有效的接地度量，因为不同 token 类型、网络深度和序列位置天然存在巨大的注意力基底差异。为此，RECAP 首先在网络中间的三分之一层集合 \(\mathcal{I}\) 上平均所有注意力头从文本 token \(y_t\) 指向视觉 token 集合 \(\mathcal{V}\) 的注意力权重，得到标量 \(\mathrm{CMA}_t\)。随后，利用前序长度为 \(W\)（默认 16）的滑动窗口 \(\mathcal{P}_t\) 估计局部的纯语言推理注意力基线 \(\mathrm{baseline}_t = \frac{1}{|\mathcal{P}_t|} \sum_{k \in \mathcal{P}_t} \mathrm{CMA}_k\)，并构造相对激增量：

\[z_t = \frac{\mathrm{ReLU}(\mathrm{CMA}_t - \mathrm{baseline}_t)}{\mathrm{baseline}_t + \epsilon}\]

该激增值排除了绝对注意力的本底漂移，精确捕捉了由语言推演转入视觉确认的瞬间。为了保证跨轨迹的数值稳定性，RECAP 在单条轨迹内对 \(z_t\) 进行温度调节的极值 Sigmoid 归一化，得到有界的重访信号 \(\tilde{r}_t \in [0, 1]\)。关键在于，该信号计算完毕后立即施加 \(\operatorname{sg}(\cdot)\) 算子停止梯度反传，仅作为后验指标输入训练期优势评估模块，完全不扰动原始自回归策略的采样分布。

2. 重访条件动态折扣：打破同时间步局部缩放局限，建立追溯性长程信用耦合

标准强化学习常使用固定的标量折扣因子 \(\gamma\)，导致终端奖励在沿长思维链回传时对所有中间 token 实施均匀衰减，无法区分关键的视觉感知步与普通的语言连词。RECAP 设计了由视觉重访信号动态调制的步级转移折扣因子：

\[\gamma_t = \gamma_{\mathrm{base}} + \beta (\gamma_{\max} - \gamma_{\mathrm{base}}) \operatorname{sg}(\tilde{r}_t), \quad 0 \leq \beta \leq 1, \; 0 < \gamma_{\mathrm{base}} < \gamma_{\max} < 1\]

在累积回报计算中，从步骤 \(t+1\) 传播至步骤 \(t\) 采用累乘项 \(\prod_{i=1}^k \gamma_{t+i}\)。这一设计赋予了模型独特的追溯性长程信用耦合特性（如论文命题 1 所证明）：未来关键时刻出现的重访波峰可以逆向放大先前提出的探索性分支或前提假设所获得的信用分配，这是任何仅依赖当前步 \(w(\tilde{r}_t) A_t\) 的局部即时重加权手段在数学表达力上所无法实现的。

3. 重访门控价值预测：双头解耦语言与视觉分支，严格压制回报残差方差

在长思维链轨迹中，重访值极低的 token 多属于纯语言的语法转折、符号续写，其状态价值与长程终局表现相对平稳；而重访波峰 token 则对应着引入新视觉依据的关键裁决点，其真实状态价值波动极大。若强行使用单一标量价值网络进行回归，极易在两种异质分布交织下产生巨大的方差。RECAP 构造了包含局部语言头 \(V^{\mathrm{loc}}\) 与视觉验证头 \(V^{\mathrm{vis}}\) 的门控预测结构：

\[V^{\mathrm{gated}}(s_t^{\mathrm{tr}}) = (1 - \operatorname{sg}(\tilde{r}_t)) V^{\mathrm{loc}}(s_t^{\mathrm{tr}}) + \operatorname{sg}(\tilde{r}_t) V^{\mathrm{vis}}(s_t^{\mathrm{tr}})\]

其中 \(s_t^{\mathrm{tr}}\) 融合了历史生成上下文与历史 \(K\) 步的脱钩重访轨迹。论文定理 1 从预言机条件方差的视角严格证明了该结构的有效性：以 \(\tilde{r}_t\) 为门控条件预测回报，能够以期望方差非增的理论保证直接缩减回报残差方差，缩减量严格正比于视觉与语言价值差距的平方以及 \(\tilde{r}_t\) 的条件方差，从而显著降低了策略梯度的估计噪声。

损失函数 / 训练策略¶

RECAP 继承可验证答案的非负终端稀疏奖励流 \(u_t = \max(b_t(\tau), 0)\)（仅在终点 \(T\) 处赋值 \(b_T(\tau) = R_{\mathrm{raw}}(\tau)\)），通过动态折扣递推计算重访折现回报 \(G_t^{\mathrm{VR}} = \sum_{k=0}^{T-t} (\prod_{i=1}^k \gamma_{t+i}) u_{t+k}\)。双价值头通过均方误差损失进行联合训练：

\[\mathcal{L}_V = \mathbb{E} \left[ \left( \operatorname{sg}(G_t^{\mathrm{VR}}) - V^{\mathrm{gated}}(s_t^{\mathrm{tr}}) \right)^2 \right]\]

单 token 替代优势函数定义为 \(A_t^{\mathrm{VR}} = G_t^{\mathrm{VR}} - V^{\mathrm{gated}}(s_t^{\mathrm{tr}})\)，最终采用带有截断比率和 KL 惩罚项的目标函数进行策略更新：

\[\mathcal{L}^{\mathrm{RECAP}}(\theta) = -\mathbb{E}_{\tau, t} \left[ \min \left( \rho_t \operatorname{sg}(A_t^{\mathrm{VR}}), \operatorname{clip}(\rho_t, 1-\epsilon, 1+\epsilon) \operatorname{sg}(A_t^{\mathrm{VR}}) \right) \right] + \beta_{\mathrm{KL}} \mathrm{KL} \left[ \pi_{\theta} \,\|\, \pi_{\mathrm{ref}} \right]\]

所有优势和回报梯度流向均被截断，确保模型完全通过强化学习策略比率的调整自发学会何时进行高质量的视觉重访，而无需任何昂贵密集的逐步人工稠密标注。

实验关键数据¶

主实验¶

在 Qwen2.5-VL-7B、InternVL3-8B 以及 LLaVA-OneVision-7B 三大主流开源多模态底座上，模型先在 50K 长 CoT 样本上进行 SFT，随后在 30K 包含可验证答案的问题集上执行各强化学习策略训练。主实验全面评估了幻觉抑制（HallusionBench, POPE, MMHalBench）、多模态数学/视觉推理（MathVista, MMMU, MathVerse, MM-Vet）、视觉接地（GQA, BLINK, MMVP）及纯文本通用能力（MMLU, GSM8K）。

基座模型	方法	HallusionBench (↑)	POPE (↑)	MathVista (↑)	MMMU (↑)	GQA (↑)	MMLU (↑)	Hallusion 相对 SFT 提升 (Δ)
Qwen2.5-VL-7B	SFT base	60.1	86.5	59.4	41.3	63.8	72.4	—
	TVC (无 RL)	61.4	86.9	59.2	41.0	64.1	72.3	+1.3
	GRPO	62.8	87.1	61.2	42.5	64.3	72.1	+2.7
	VPPO	64.2	87.6	60.8	41.9	64.7	71.8	+4.1
	RECAP (本文)	66.6	88.4	63.6	42.7	65.2	72.3	+6.5
InternVL3-8B	SFT base	58.6	87.2	61.7	44.8	65.0	73.8	—
	TVC (无 RL)	60.0	87.5	61.5	44.5	65.3	73.6	+1.4
	GRPO	61.2	87.8	63.1	45.6	65.6	73.4	+2.6
	VPPO	62.4	88.1	62.6	44.9	65.9	73.1	+3.8
	RECAP (本文)	64.7	89.0	65.3	45.9	66.5	73.5	+6.1
LLaVA-OV-7B	SFT base	56.9	85.4	56.2	39.8	62.5	70.2	—
	TVC (无 RL)	58.5	85.8	56.0	39.6	62.8	70.0	+1.6
	GRPO	59.3	86.1	58.0	40.9	63.0	69.7	+2.4
	VPPO	60.6	86.5	57.4	40.2	63.3	69.4	+3.7
	RECAP (本文)	63.4	87.4	60.5	41.1	63.9	69.9	+6.5

消融实验¶

基于 Qwen2.5-VL-7B 的消融实验系统性剖析了各核心模块的增益贡献、与现有视觉强化算法（VPPO）的正交互补性，以及动态折扣相对于局部同时间步重加权的表达优势。

配置	HallusionBench (↑)	MathVista (↑)	MMMU (↑)	相对优势方差 \(\mathrm{Var}(A_t)\) (↓)	说明
完整 RECAP	66.6	63.6	42.7	1.00×	基准完整模型
移除轨迹增广状态 (\(K=0\))	65.8	63.1	42.4	1.08×	剥离历史重访窗口信息
移除门控价值 (\(V^{\mathrm{loc}}=V^{\mathrm{vis}}\))	65.2	62.8	42.1	1.70×	退化为单头预测，方差骤增 70%
移除动态折扣 (\(\beta=0\))	64.3	62.4	42.0	1.09×	退化为静态均匀折扣
移除重访信号梯度阻断 (无 stop-grad)	60.8	59.7	41.6	2.35×	破坏策略采样分布导致崩塌
替代：局部重加权 \(w(\tilde{r}_t) \cdot A_t\)	64.6	62.8	42.3	1.21×	同步无记忆缩放，弱于动态折扣 2.0 点
组合扩展：VPPO + RECAP	68.0	63.9	42.6	0.98×	正交组合进一步释放协同红利

关键发现¶

动态折扣是性能飞跃的最关键驱动力：去掉动态折扣因子（\(\beta=0\)）导致 HallusionBench 成绩从 66.6 骤跌至 64.3（降幅达 2.3 点），且将动态折扣替换为同时间步的局部优势重加权方案也会落后 2.0 点。这直接印证了命题 1 的理论论断：多步折扣累乘所提供的后向追溯机制能够有效奖励引导出后续重访动作的前期探索步骤。
门控双头价值预测对抑制方差不可或缺：移除门控机制将双头退化为单头均值回归后，优势函数方差暴增 1.70 倍，验证了定理 1 关于分离视觉与语言异质价值流能够严格压缩残差方差的结论。
因果干预与稀疏头部定位：干预实验揭示，屏蔽 top 重访脉冲位置的跨模态注意力会导致模型准确率下降 4.8 点（而随机屏蔽非脉冲位置仅下降 1.2 点）；在失败轨迹中人工注射重访波峰能将正确率挽回 2.9 点。此外，重访效应高度集中在全网不到 10 个关键跨模态注意力头上（贡献了超过 40% 的重访质量）。

亮点与洞察¶

训练期隐式塑造，零推理开销：传统增强接地方案往往要求在测试阶段外挂图像再注入循环或修改注意力掩码，破坏了解码吞吐；RECAP 在离线采样后将注意力脉冲提炼为信用分配权重，在推理时彻底丢弃重访计算，实现了“免费的午餐”。
精妙的追溯性信用分配机制：通过步长动态折扣 \(\gamma_t\) 的几何累乘，RECAP 形式化证明了未来步的重访脉冲能够跨越中间纯文本推演，将价值反向泵送给较早前产生关键假设的先导 token，破解了长程推理中“关键归因失真”的痛点。
普适的泛化与兼容能力：重访信号不仅跨越 Qwen、InternVL、LLaVA 三种截然不同的视觉编码器与架构，且在扩展至 72B LoRA 模型时依然稳健；在零样本中文基准（CMMMU、MathVista-CN）以及对抗扰动测试中全面占优，并能与现存的 VPPO 完美正交融合。

局限与展望¶

依赖跨模态注意力的可解释性与对齐质量：作者指出，RECAP 依赖模型内部显式的跨模态交叉注意力。如果模型架构采用了高度压缩或非自注意力形式的多模态融合层，或者在仅需一句话短答的极浅任务中，重访信号的定位效度可能会被稀释。
易受显著视觉干扰项误导：当前框架中的重访主要度量针对全图视觉 token 的总激活激增，在面临包含强烈无关视觉干扰物（Visual Distractors）或局部图像损毁时，模型可能被误导进行伪重访。未来可探索与区域级（Region-Level）注意力或细粒度目标提议图相结合的时间接地机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从时间维度形式化提出视觉重访机制，并在理论上证明了动态折扣优于局部重加权的信用分配优势。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大开源基座及 72B 模型、数十个多模态与纯文本基准、因果遮蔽/注入干预、机制注意力头定点定位及人类偏好双盲测试。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严丝合缝，理论证明（命题 1 与定理 1）与实验消融互相映射，行文严谨清晰。
价值: ⭐⭐⭐⭐⭐ 为多模态大模型的长思维链强化学习后训练提供了高效、优雅且零推理代价的通用改进范式。