Self-Rewarded Multimodal Coherent Reasoning Across Diverse Visual Domains¶

会议: NeurIPS 2026
arXiv: 2512.22545
论文: https://arxiv.org/abs/2512.22545 https://openreview.net/forum?id=tMbUp1FMia
代码: 待确认
领域: VLM推理
关键词: 过程级自奖励, 视觉定位, 单步逻辑连贯性, GRPO, 置信度感知冷却机制

一句话总结¶

针对多模态大模型仅监督最终答案导致中间思维链自相矛盾与视觉幻觉的问题，SR-MCR 融合五大过程级内生自奖励并结合置信度感知冷却机制的无 Critic GRPO，无需人工偏好标签即可显著提升推理连贯性与跨域泛化表现。

研究背景与动机¶

多模态大语言模型（MLLMs，如 LLaVA 与 Qwen-VL 系列）在视觉问答、图表解析和空间认知等任务中取得了显著进展，但其生成的长思维链往往呈现出“表达流畅但不可靠”的致命缺陷。在复杂多步推理过程中，模型极易出现逻辑脱节、前后自相矛盾、幻觉编造不存在的视觉证据，或者陷入重复琐碎陈述的困境。现有的对齐机制（包括指令微调 SFT、基于人类反馈的强化学习 RLHF 以及直接偏好优化 DPO）主要依赖高成本的人类偏好标注或外部大模型判决。这些方法本质上以结果为中心（Outcome-Centric），只对最终答案进行正确性奖惩，却对中间推理过程的合理性与视觉忠实度缺乏直接且有效的细粒度约束。

这种结果导向的对齐范式带来了两大核心痛点：一是过程级内生奖励的严重缺失，仅仅监督终验答案无法对中间推理步的局部因果连贯性与跨模态对齐形成严密的几何约束，导致“歪打正着”的幻觉推理屡屡被误判奖励；二是跨域泛化的脆弱性，单一的奖励代理（例如基于字符或词汇重合的代理指标）在异构多模态任务中极易发生度量失准与奖励劫持（Reward Hacking）。然而，多模态模型单次前向推理本身即可暴露多种与优质推理高度相关的内生表征与统计信号。

本文的切入点在于将多模态思维链内在的过程级一致性与跨模态定位信号显式转化为无标签的内生自奖励。核心 idea：从模型输出与冻结的基础感知工具中提炼语义一致、词汇保真、非冗余、视觉定位与单步连贯五大过程自信号，构建自适应可靠性加权的归一化自奖励体系，并依托置信度感知冷却机制的轻量级无 Critic GRPO 算法实现端到端连续策略优化。

方法详解¶

整体框架¶

SR-MCR（Self-Rewarded Multimodal Coherent Reasoning）构建了一套面向多模态大模型的无标注、过程感知型连续对齐流水线。给定输入图像 $I$ 与文本提示 $x$，可训练策略模型 $\pi_\theta$ 生成包含推理思维链 $\hat{y}_t$ 与最终答案 $\hat{y}_a$ 的完整输出 $\hat{y} = (\hat{y}_a, \hat{y}_t)$。SR-MCR 在训练循环中完全摒弃昂贵的人工成对偏好标签，直接利用冻结的预训练神经工具对候选生成样本的中间过程展开五维度解耦度量，并将归一化评分依据自适应可靠度融合成综合自奖励。随后，模型通过置信度感知的冷却加权自适应抑制冗余样本与过度自信幻觉，在冻结基座策略 $\pi_0$ 之上驱动轻量 LoRA 参数的高效强化学习更新。

整个方法的执行流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>图像 I 与文本提示 x"] --> B["多候选轨迹并行采样<br/>冻结基座配合 LoRA 采样 K 条思维链"]
    B --> C["五元过程级内生自奖励计算<br/>语义/词汇/无冗余/视觉定位/单步连贯"]
    C --> D["自适应可靠性动态加权<br/>基于方差逆或验证相关性校准权重"]
    D --> E["置信度感知冷却奖励调节<br/>依据平均 NLL 抑制过度自信幻觉与平庸解"]
    E --> F["无 Critic 组相对策略优化<br/>SR-GRPO 组相对优势估计与 KL 散度约束"]
    F --> G["高质量自对齐 VLM 策略更新"]

关键设计¶

1. 五元解耦的归一化过程级自奖励：全方位约束思维链生成质量 针对传统方法仅监督答案正确性而忽略推理轨迹真实性的弊端，SR-MCR 提出将多模态推理过程解构为五个低开销且互补的内生度量信号： - 语义一致性（$\tilde{s}_{\text{sem}}$）：将推理思维链切分为 $N$ 个自然句，利用冻结的 Sentence-BERT 提取嵌入向量，计算中间各推理步与最终答案 $\hat{y}_a$ 之间的平均余弦相似度： $$\tilde{s}_{\text{sem}} = \frac{1}{N} \sum_{i=1}^{N} \cos\left(f_{\text{SBERT}}(\hat{y}_t^{(i)}), f_{\text{SBERT}}(\hat{y}_a)\right)$$ - 词汇保真度（$\tilde{s}_{\text{lex}}$）：基于 ROUGE-L 度量中间推理链与答案文本间的表层词汇重合度，防止推理内容与结论完全脱钩。 - 无冗余性（$\tilde{s}_{\text{nr}}$）：统计思维链中二元分词（2-gram）的重复率，构建 $\tilde{s}_{\text{nr}} = 1 - \frac{|\text{repeated 2-grams}(\hat{y}_t)|}{|\text{all 2-grams}(\hat{y}_t)|}$，直接惩罚大模型在多步推理中陷入死循环退化与重复堆砌无关词句的倾向。 - 视觉定位能力（$\tilde{s}_{\text{vis}}$）：解决多模态推理中最致命的脱模态幻觉问题。首先利用预训练轻量 NER 工具从思维链中提取实体概念提及 $\{m_j\}_{j=1}^M$，同时借助冻结的 DETR 目标检测器定位图像中的候选视觉区域边界框 $\{r_i\}$；随后利用冻结的 CLIP 模型分别计算图像区域切片与文本短语的跨模态嵌入，以最大跨模态余弦相似度衡量视觉证据支撑强度： $$\tilde{s}_{\text{vis}} = \frac{1}{M} \sum_{j=1}^{M} \max_{i} \cos\left(f_{\text{CLIP}}(r_i), f_{\text{CLIP}}(m_j)\right)$$ - 单步逻辑连贯性（$\tilde{s}_{\text{step}}$）：将思维链切分为有序连续推理步 $\{\text{step}_1, \dots, \text{step}_L\}$，利用冻结的自然语言推理模型 DeBERTa-v3-large 计算相邻两步间的蕴含概率 $e_i$ 与矛盾概率 $c_i$，构建单步因果一致性得分： $$\tilde{s}_{\text{step}} = \frac{1}{L-1} \sum_{i=1}^{L-1} \min\left(e_i, 1 - c_i\right)$$ 五项原始信号经 1% 至 99% 分位数截断（Winsorization）并归一化到 $[0, 1]$ 空间，构成无偏的过程级奖励空间。

2. 自适应可靠性动态加权机制：抵御跨域信号失准与度量噪声 不同推理信号在异构视觉任务中的信息量截然不同（例如词汇重合度在开放问答中有较好指示性，但在数学推理与几何符号演绎中往往失效）。为防止单一信号在特定域失配引发模型漂移，SR-MCR 为每个信号 $k$ 分配自适应加权系数 $\lambda_k$： $$\lambda_k = \frac{\exp(\alpha \cdot \text{Relia}_k)}{\sum_j \exp(\alpha \cdot \text{Relia}_j)}, \quad \sum_k \lambda_k = 1$$ 其中可靠度得分 $\text{Relia}_k$ 具有多级计算策略：若存在微量验证集，可采用信号得分与验证任务准确率的 Pearson 相关系数 $\rho_k$；在完全零标注场景下，直接采用信号逆方差 $1/\text{Var}[s_k]$ 或滑动平均稳定性（EMA-stability）作为无监督代理度量，温度超参 $\alpha$ 则控制权重分布的锐度。这使得模型能自适应放大高度稳定且鉴别力强的过程信号，衰减波动剧烈的不可靠扰动。

3. 置信度感知冷却的无 Critic 组相对策略优化：抑制过度自信幻觉与平庸样本 在连续自奖励强化学习过程中，直接优化原始自奖励极易受低质量样本与过度自信错误（Reward Hacking）的梯度污染。SR-MCR 设计了由平均 Token 负对数似然（NLL）驱动的软门控冷却调节机制： $$R_{\text{adj}}(\hat{y}) = \tilde{R}(\hat{y})^\gamma \cdot \sigma\left(\kappa \cdot (\bar{\ell}_\theta(\hat{y}) - c)\right)$$ 其中 $\bar{\ell}_\theta(\hat{y})$ 为策略模型在生成序列上的平均 Token 负对数似然，$c$ 为不确定性截断阈值，$\sigma$ 为 Sigmoid 函数。当样本为平庸低奖励输出时，$\tilde{R} \to 0$ 使得梯度自然归零；当模型产生极度异常或过度自信的幻觉输出时（即偏离可信语言流形产生统计异常），冷却权重平滑衰减，理论上以指数级阻尼消除恶意攻击梯度，确保梯度主要源自高奖励且具备适度探索空间的优质样本。

损失函数 / 训练策略¶

SR-MCR 采用 Group Relative Policy Optimization（GRPO）框架，避免了维持和更新额外价值（Critic）网络所引入的巨大显存开销。在每个训练迭代中，针对输入 $(I, x)$ 从当前策略采样 $K$ 个候选生成 $\mathcal{C} = \{\hat{y}^{(i)}\}_{i=1}^K$，计算经冷却校准的奖励值 $R_{\text{adj}}(\hat{y}^{(i)})$ 并构建组内相对优势： $$\mathcal{L}_{\text{SR-GRPO}} = -\mathbb{E}_{(I, x), \hat{y} \sim \pi_\theta} \left[ R_{\text{adj}}(\hat{y}) \log \frac{\pi_\theta(\hat{y} \mid I, x)}{\pi_0(\hat{y} \mid I, x)} \right] + \beta_{\text{KL}} \text{KL}(\pi_\theta \parallel \pi_0)$$ 在实现上，模型仅对视觉基座模型（如 Qwen2.5-VL）训练轻量 LoRA 适配层，优化器选用 AdamW，学习率设为 $1.0 \times 10^{-6}$，KL 散度系数设为 $1.0 \times 10^{-2}$，每步 rollout 采样 $K=4$ 条路径。

实验关键数据¶

主实验¶

论文在涵盖通用理解、科学图表、细粒度感知及防幻觉的多模态基准（MMMU、MMBench v1.1、MME、ChartQA、AI2D、HallBench）以及细粒度视觉空间基准 V*Bench 上开展了全面评估。主实验结果如表所示：

模型架构	模型规模	MMMU (val)	MMBench (v1.1)	MME	ChartQA (test)	AI2D	HallBench	综合平均 (Avg.)
闭源参考
Gemini-2.0-Pro	闭源大模型	72.6	83.0	86.1	91.2	84.8	49.8	77.9
GPT-4o-latest	闭源大模型	70.7	84.3	84.2	91.5	86.3	57.0	79.0
开源基线模型
InternVL3-2B	2B	47.1	84.3	77.4	80.4	78.7	41.4	68.2
Qwen2.5-VL-3B (Base)	3B	48.1	82.4	77.5	87.0	80.7	48.3	70.7
Qwen2.5-VL-7B (Base)	7B	50.3	86.7	82.2	89.5	84.0	56.0	74.8
WeThink-7B	7B	50.9	87.8	82.9	90.8	84.5	55.1	75.3
VL-Rethinker-7B	7B	54.8	88.2	82.9	91.5	83.6	55.1	76.0
InternVL3-8B	8B	57.3	87.7	85.2	89.6	85.2	53.7	76.5
Keye-VL-8B-Thinking*	8B	63.4	81.7	83.5	88.0	86.4	62.7	77.6
Kimi-VL-A3B-Thinking*	A3B	60.4	89.7	87.0	92.1	83.1	58.3	78.4
SAIL-VL2-8B-Thinking*	8B	66.1	90.4	86.0	93.6	87.4	61.5	80.8
本文提出方法
SR-MCR-3B (Ours)	3B	52.8	86.9	80.8	90.9	84.3	51.9	74.6 (+3.9)
SR-MCR-7B (Ours)	7B	67.6	91.2	87.3	94.5	88.2	59.4	81.4 (+6.6)

在专注空间关系与属性定位的 V*Bench 评测中，SR-MCR-7B 同样取得了突破性表现，整体得分达到 80.63（属性识别 83.48，空间推理 76.32），显著超越了 GPT-4o（66.00）以及开源基线 Qwen2.5-VL-7B（78.53）。

消融实验¶

论文对自奖励构成的五大成分、优化算法与训练策略展开了系统性消融研究，以验证各组件在 3B 与 7B 参数规模下的不可替代性：

实验配置类别	配置名称 / 变体	3B 规模平均分	7B 规模平均分	说明
完整方法	SR-MCR (Full Method)	74.6	81.4	包含五元过程奖励与置信度冷却的完整模型
逐项移除组件	去除语义一致性 ($w/o\ \tilde{s}_{\text{sem}}$)	73.9	80.5	缺乏对答案支撑度的约束，平均分下降 0.9%
	去除词汇保真度 ($w/o\ \tilde{s}_{\text{lex}}$)	74.1	80.9	弱化表层重合惩罚，平均分下降 0.5%
	去除无冗余性 ($w/o\ \tilde{s}_{\text{nr}}$)	73.5	80.2	缺乏重复惩罚，产生冗长思维链，下降 1.2%
	去除视觉定位 ($w/o\ \tilde{s}_{\text{vis}}$)	72.0	78.5	脱离真实视觉证据，造成严重掉点 (-2.9%)
	去除单步连贯性 ($w/o\ \tilde{s}_{\text{step}}$)	71.8	78.1	推理步逻辑断裂与自相矛盾，降幅最大 (-3.3%)
仅用核心组件	仅保留 $\tilde{s}_{\text{vis}} + \tilde{s}_{\text{step}}$	74.0	80.7	仅依靠视觉定位与单步连贯，性能接近但逊于完整版
优化机制消融	去除置信度感知冷却 ($w/o\ \text{Cooling}$)	72.8	79.6	无法过滤过度自信的幻觉噪声，性能显著倒退 1.8%
	替换为 Actor-Critic PPO (SR-PPO)	-	79.1	引入额外 Critic 网络后训练方差变大且容易过拟合
训练范式对比	拒绝采样微调 (Offline RFT-7B)	-	78.7	仅用自奖励筛选离线优质数据做 SFT，远逊于在线 GRPO
奖励来源对比	大模型自评自省 (LLM-as-a-Judge)	-	77.8*	自身反思出现自我欺骗，HallBench 从 59.4 崩塌至 46.1
原始基座	Base Model (Qwen2.5-VL)	70.7	74.8	未经过程级自奖励优化的原始基座

关键发现¶

逻辑连贯性与视觉定位构成过程监督的两大支柱：在奖励组件消融中，去除单步连贯性 $\tilde{s}_{\text{step}}$ 与视觉定位 $\tilde{s}_{\text{vis}}$ 分别导致 7B 模型平均性能巨幅下跌 3.3% 与 2.9%，直接证明了多模态推理的核心瓶颈在于跨模态对齐脱节与步骤逻辑不一致。
外部客观感知工具粉碎“自我欺骗”闭环：对比内部自省（LLM-as-a-Judge）与外部工具自奖励时，直接让大模型给自己打分虽可勉强提升一般推理，但在抗幻觉基准 HallBench 上暴跌 2.2%（48.3 $\to$ 46.1），并在 V*Bench 出现负迁移。这是因为基座模型一旦产生幻觉，同分布的反思模块会陷入“自我确证”的恶性正反馈；而 DETR 与 CLIP 等外部工具提供了客观的几何锚点，强行打破了幻觉回路。
在线 GRPO 探索突破离线表征天花板：RFT（拒绝采样微调）在 7B 模型上提升 3.9%，而在线 SR-GRPO 提升 6.6%。在线探索使得模型能够从低概率分布中发掘高质量的多步推理轨迹，显式拓展了策略空间的上限。
显存与计算开销达到最优平衡：训练效率对比显示，SR-MCR 的每步耗时仅为 5.2 秒，显存占用 56GB，相比传统 PPO（8.4 秒，78GB）显存降低 28%，训练速度提升近 40%，且所有神经工具在测试推理阶段完全移除，实现零额外推理时延迟。

亮点与洞察¶

无需人工标签的闭环过程对齐：传统 RLHF 依赖昂贵偏好数据或强大的闭源 Teacher 模型打分，而 SR-MCR 巧妙地把视觉检测器、跨模态编码器与 NLI 蕴含模型组合为免人工标注的内生判决器，把离散的偏好对齐转换为了平滑连续的过程几何优化。
置信度感知冷却的软门控设计：利用序列平均 NLL 作为不确定性度量因子，巧妙构建出对极端异常梯度的指数级衰减阻尼。这在理论上构筑了防奖励劫持（Reward Hacking）的安全信任域，极具工程复用价值。
统一模型免除双形态割裂：以往开源模型往往需要切分 "Instruct" 与 "Thinking" 两套权重以兼顾短问答与深度推理，SR-MCR 在单一模型中内生自洽地激发了长思维链能力，在 100 组盲测中相对基座取得了 90.82% 的人类偏好率。

局限与展望¶

依赖预训练感知工具的上限约束：该方法的过程奖励高度依赖 DETR 检测框召回率与 CLIP 特征映射精度。对于遮挡极度严重、极端小目标或非典型视角场景，感知工具的漏检与假阳性可能引入奖励噪声。
静态视觉向时序视频推理的迁移挑战：当前五元自奖励主要针对静态单图，在需要长时序时空因果建模的多帧视频理解中，跨帧动作轨迹与事件逻辑连贯性的表征工具仍待进一步探索。
未来方向：作者指出后续将重点探索视频域的内生连贯性自奖励建模、更细粒度的视觉不确定性量化机制，以及将自奖励框架拓展至预训练与后训练全周期。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将多维内生过程信号与冷却机制无 Critic GRPO 融合，摆脱了多模态对齐对人工标签的依赖]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖通用多模态、细粒度视觉推理全套 Benchmark，包含详实消融、效率分析及理论推导]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，理论证明与实证分析严谨自洽，公式与机制交代极其透彻]
价值: ⭐⭐⭐⭐⭐ [为多模态大模型的自进化强化学习（Self-Reward RL）开辟了低成本、高可靠落地的标杆路径]