Reinforcing Multimodal Reasoning Against Visual Degradation¶

会议: NeurIPS 2026
arXiv: 2605.09262
论文: https://arxiv.org/abs/2605.09262
领域: 多模态推理
关键词: 多模态推理, 视觉退化鲁棒性, 强化学习, GRPO, 教师强制

一句话总结¶

针对强化学习微调多模态大模型时对模糊、压缩与噪声等视觉退化极度脆弱且易引发奖励中毒的痛点，ROMA 通过双前向通道、教师强制重评估、最差视角 KL 不变性约束、锚定干净优势的辅助策略梯度以及正确性门控，在零退化采样与零奖励中毒前提下显著增强多模态推理鲁棒性。

研究背景与动机¶

强化学习已成为激发多模态大语言模型复杂视觉推理能力的核心引擎，通过在思维链轨迹上进行端到端策略优化，模型在数学几何、逻辑推理和图表问答等严苛任务中展现出令人瞩目的推理深度。然而，现有强化学习探索与反馈闭环几乎完全建立在高质量、人工精选的清晰图像之上。一旦落地到实际物理世界，输入图像不可避免地伴随高斯模糊、传感器噪声、压缩伪影和低分辨率扫描等退化干扰；即使在清晰图像上能够给出严谨演绎的模型，面对轻微扰动也会发生灾难性逻辑崩溃，推理链路瞬间中断。

将视觉鲁棒性引入多模态推理强化学习面临两大基础屏障。首先是架构层面的失配：现代大模型强化学习为了规避庞大值网络的显存开销，普遍采用 GRPO 等无评论家算法，导致传统强化学习中依赖值网络联合正则化的鲁棒性方案（如 DrAC、RAD）无法直接迁移。其次是致命的奖励中毒问题：如果在强化学习采样阶段直接对退化图像进行在线采样，严重的视觉遮挡和语义模糊会破坏感知证据链，迫使模型产生结构性幻觉；外部环境给出的标量奖励进而对“感知失败”施加惩罚而非惩罚“推理逻辑错误”，导致探索分布剧烈漂移并迅速引发策略崩溃。

解决该矛盾的核心在于切断退化输入对采样轨迹和优势估计的污染，同时让策略感知视觉退化带来的分布偏移。核心 idea：解耦轨迹生成与退化感知，在清晰图像上执行标准采样与优势计算，利用双前向通道通过教师强制在退化视角上重评估同一轨迹，并以正确性门控的最差视角 KL 不变性与锚定清晰优势的辅助策略梯度共同正则化策略更新。

方法详解¶

整体框架¶

ROMA 的完整流程由双前向通道构成，在避免从退化图像采样轨迹的同时对策略施加稳健正则化。在第一通道中，策略模型在清晰图像输入上执行标准的强化学习采样，生成完整的思维链推理轨迹并根据最终答案判定标量奖励，计算清晰优势估计；在第二通道中，系统对同一输入图像随机施加多个视觉退化变换，利用教师强制对已采样的固定轨迹进行重评估，获取退化视角下的 token 级对数概率。随后，模型通过最差视角选择算子捕获扰动最大的对抗视角并施加正确性条件约束的 KL 惩罚，同时在随机采样的退化视角上计算锚定于清晰优势的辅助策略梯度，三项损失联合反向传播完成策略参数更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["清晰图像与查询输入 (v, x)"] --> B["标准清晰采样通道<br/>生成完整推理轨迹 y ~ π_old"]
    B --> C["清晰环境评估与优势计算<br/>获得标量奖励 R 与优势 A(v, x, y)"]
    A --> D["多视角退化变换池<br/>生成 K 个退化视图 {f_k(v)}"]
    B --> E["教师强制重评估通道<br/>在冻结轨迹 y 上并行评估退化 logits"]
    D --> E
    E --> F["正确性门控最差视角 KL 不变性<br/>选择最大散度视图并在 R>0 时惩罚偏移"]
    E --> G["锚定清晰优势的辅助策略梯度<br/>用清晰优势 A 引导退化策略重要性采样"]
    C --> G
    C --> H["标准强化学习目标 J_RL"]
    F --> I["联合目标函数 J_total 策略反向传播"]
    G --> I
    H --> I

关键设计¶

1. 双前向通道与教师强制重评估：阻断奖励中毒的数据流解耦 针对直接在退化图像上采样容易造成感知证据丢失并诱发幻觉轨迹、污染奖励信号的问题，ROMA 引入了纯评估模式的第二前向通道。在该通道中，模型并不以自回归方式由退化图像生成新 token，而是将第一通道在清晰图像 \(v\) 上生成的推理轨迹 \(y\) 作为固定的金标准上下文，对退化视角 \(f(v)\) 展开教师强制前向计算。由此，模型在每个时间步计算退化条件下的条件概率分布 \(\pi_\theta(\cdot \mid f(v), x, y_{<t})\)。这种设计从物理机制上彻底消除了退化采样中的幻觉探索，既观察到了视觉噪声引发的分布偏移，又彻底杜绝了奖励中毒现象。

2. 正确性门控的最差视角 KL 不变性：聚焦最严苛对抗扰动且避免错误泛化 为促使多模态策略在面对退化时保持表征与推理一致性，模型借鉴无评论家约束思想，在 token 级别施加代理 KL 散度约束。为防止退化梯度的反冲破坏清晰基准表示，对清晰策略的输出施加截断梯度算子 \(\text{sg}[\cdot]\)。在实际训练中，单一随机退化往往过于温和而提供微弱的正则化强度，因此 ROMA 在每步抽取 \(K\) 个相异退化视图，仅对诱发最大 KL 散度的“最差视角”实施极小极大惩罚。更为关键的是，若模型在清晰图像上的原始推理本身已经错误或含有幻觉，盲目强迫退化视图与清晰视图对齐将导致策略“鲁棒地输出错误”。为此，该惩罚通过指示函数 \(\mathbb{I}[R(v, x, y) > 0]\) 进行精确门控，仅对成功解题的有效推理轨迹激活不变性约束：

\[G_\pi^{\text{worst}}(\theta) = \max_{f_k \in \mathcal{F}_K} \sum_{t=1}^{|y|} D_{\text{KL}}\Big(\text{sg}\big[\pi_\theta(\cdot \mid v, x, y_{<t})\big] \,\parallel\, \pi_\theta(\cdot \mid f_k(v), x, y_{<t})\Big)\]

3. 锚定清晰优势的辅助策略梯度：抑制策略崩溃的主动学习驱动 实验表明，如果仅施加最差视角 KL 不变性约束，策略在强烈正则化压力下容易走向另一个极端——退化为输出在各视角间高度一致却毫无语义价值的无意义标记，即策略崩溃。为赋予退化表征主动纠错和求解的主动学习梯度，ROMA 设计了辅助策略梯度损失。它直接在随机退化视图 \(f \sim \mathcal{F}_K\) 的 token 概率上计算近端策略优化（PPO）样式的裁剪代理目标，但核心约束在于：重要性权重中的行为轨迹以及关键的标量优势 \(A(v, x, y)\) 必须完全锚定在清晰图像的交互结果上。模型由此被迫在退化表征下主动最大化正确解答的期望收益，形成清晰优势牵引下的抗噪策略演进。

损失函数 / 训练策略¶

ROMA 统一了标准强化学习目标、辅助退化策略梯度目标与最差视角 KL 惩罚，综合优化目标定义如下：

\[J_{\text{total}}(\theta) = J_{\text{RL}}(\theta) + \alpha \cdot J_{\text{aug\_pg}}(\theta) - \beta \cdot \mathbb{E}\Big[G_\pi^{\text{worst}}(\theta) \cdot \mathbb{I}[R(v,x,y)>0]\Big]\]

其中 \(J_{\text{RL}}(\theta)\) 采用标准的 GRPO 算法优化清晰轨迹。辅助策略梯度项 \(J_{\text{aug\_pg}}(\theta)\) 采用标准裁剪代理形式：

\[J_{\text{aug\_pg}}(\theta) = \mathbb{E}_{f \sim \mathcal{F}_K} \left[ \sum_{t=1}^{|y|} \min\Big(\rho_t A, \text{clip}(\rho_t, 1-\epsilon, 1+\epsilon) A\Big) \right], \quad \rho_t = \frac{\pi_\theta(y_t \mid f(v), x, y_{<t})}{\pi_{\text{old}}(y_t \mid v, x, y_{<t})}\]

在具体训练中，多视角池大小固定为 \(K=3\)，辅助策略梯度权重 \(\alpha=0.10\)，最差视角惩罚权重 \(\beta=0.10\)。基座模型选用 Qwen3-VL-4B 与 8B Instruct，在 EasyR1 框架支持的 MMRL30k 数据集（约 3 万样本）上执行 120 步强化学习微调，全局批大小 128，每个输入采样 8 条候选轨迹（温度 1.0），学习率设置为 \(1\times 10^{-6}\)。

实验关键数据¶

主实验¶

在涵盖数学几何、图表解析和常识逻辑的 7 大多模态基准（MathVista、WeMath、ChartQA、LogicVista、MMStar、VisualPuzzles、RealWorldQA）上，主实验全面评估了清晰输入、训练可见退化（高斯噪声/模糊、JPEG 压缩、降采样）以及完全未见退化（运动模糊、椒盐噪声、散斑噪声、色调分离、像素化）在严重破坏程度（Level 3，参数范围超出训练分布）下的表现。

模型规模与方法	清晰基准 (Clean)	训练可见退化 (Seen L3)	训练未见退化 (Unseen L3)	清晰至未见退化跌幅
Qwen3-VL-4B Instruct	65.3%	57.5%	51.7%	-13.6%
+ GRPO (标准基线)	67.7%	59.0%	53.8%	-13.9%
+ ROMA (本文)	68.2%	60.7% (+1.7%)	55.1% (+1.3%)	-13.1%
Qwen3-VL-8B Instruct	66.8%	58.9%	53.4%	-13.4%
+ GRPO (标准基线)	68.9%	59.2%	54.0%	-14.9%
+ ROMA (本文)	68.7%	61.6% (+2.4%)	56.3% (+2.3%)	-12.4%
外部对比模型 (7B-8B)
OpenVLThinker-7B	57.9%	50.6%	46.4%	-11.5%
NoisyRollout-7B	62.8%	54.9%	50.1%	-12.7%
PAPO-7B	64.0%	55.4%	50.7%	-13.3%
VL-Rethinker-7B	61.7%	54.1%	49.6%	-12.1%

消融实验¶

在 Qwen3-VL-8B 规模下针对最差视角选择机制、辅助策略梯度损失和正确性条件门控分别进行了系统消融。

配置变体	可见退化均分 (Seen)	未见退化均分 (Unseen)	相对完整方案衰退	说明
完整 ROMA 方案	61.6%	56.3%	-	最差视角 + 辅助 PG + 正确性门控
替换为平均视角惩罚 (Mean Penalty)	60.0%	54.5%	-1.6% / -1.8%	对 \(K\) 个视角均值化削弱了对抗防御硬度
移除辅助策略梯度 (w/o Auxiliary PG)	60.5%	55.4%	-1.1% / -0.9%	缺少主动任务驱动信号，受限于纯分布拉平
无条件 KL 惩罚 (Unconditional Penalty)	59.4%	54.1%	-2.2% / -2.2%	强行对齐错误轨迹导致策略学习到错误的鲁棒性

关键发现¶

正确性门控是鲁棒性迁移的关键生命线：在消融中，无条件施加 KL 惩罚导致性能急剧下滑 2.2%，这证实若不剔除错误轨迹，模型会以极高的确定性固化错误的因果关联，对退化鲁棒性的优化必须严格建立在清晰解题逻辑成立的前提下。
最差视角策略显著超越均匀数据增强：将最差对抗视角替换为均匀平均惩罚后，未见退化泛化性能下降 1.8%，表明极小极大机制有效逼迫模型在潜在受损最严重的空间维度构筑防御边界。
超参数鲁棒平衡区间明确：视角数 \(K=3\) 在计算预算与扰动多样性间取得最优，增至 \(K=4\) 收益趋于饱和；辅助损失系数 \(\alpha=0.10\) 与惩罚系数 \(\beta=0.10\) 为最优配置，过大的 \(\beta\)（0.15）会导致模型过度保守、清晰推理能力受损（降至 56.8%）。

亮点与洞察¶

解耦生成与评估的抗中毒范式：巧妙通过双通道与教师强制规避退化环境直接采样，消除了遮挡场景下由感知失败诱发的奖励中毒，为多模态强化学习引入数据扰动提供了干净的基础架构。
锚定优势的重要性采样移植：将清晰通道算出的标量优势跨通道嫁接到退化视角的似然比更新上，赋予退化表征有监督性质的梯度推力，有效预防了大规模强化学习在深层 KL 正则化下的模式坍塌。
向外推断级别鲁棒性推广：实验采用的 Level 3 评测严重度在参数空间上严格超出了训练采样域，证明通过无评论家极小极大 KL 约束学到的视觉表征具备外推泛化能力。

局限与展望¶

作者承认的局限：框架目前聚焦于静态单帧图像的视觉退化，尚未覆盖具有时间连续性的视频推理任务；此外各退化类型与损失权重在训练期是静态常数配置，无法根据退化剧烈程度自适应调节。
深层机制局限：在极端分辨率退化（如 Level 3 下缩 5 倍）或高斯模糊导致关键小文本彻底丢失（如 ChartQA 细小坐标字号）时，任何基于语义对齐的方法都会失效，缺乏自适应主动请求局部超分辨率或主动缩放的认知交互机制。
未来改进路径：将最差视角优化思想拓展至时序视频帧扰动，并结合视觉不确定性预测网络，动态学习样本级的自适应正则化系数 \(\alpha\) 与 \(\beta\)。

评分¶

新颖性: ⭐⭐⭐⭐☆ [提出 critic-free 架构下基于双前向重评估与锚定优势的多模态强化学习抗退化方案，机制设计巧妙针对奖励中毒痛点]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7 个主流复杂推理基准，细致拆解可见/未见退化与 Level 3 外推强度，消融全面严谨]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条紧凑清晰，数学建模规范，实验对比深入细致]
价值: ⭐⭐⭐⭐☆ [对提高多模态强化学习推理模型在真实低质图像场景下的落地稳定性具有显著实用价值]