Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces¶

会议: NeurIPS 2026
arXiv: 2509.26594
论文: arXiv
领域: 多模态 VLM
关键词: 视觉语言接口, 强化学习, 澄清对话, 视觉数学推理, 解耦架构

一句话总结¶

针对感知-推理解耦架构中视觉描述遗漏关键数学细节的接口失配问题，提出自适应澄清强化学习（AC-RL），以训练阶段澄清交互产生的分级奖励作为隐式监督，促使视觉描述模型前置推理所需完备信息，在 7 个视觉数学推理基准上平均提升 4.4 分且完全保持单轮推理部署。

研究背景与动机¶

近年来，基于强化学习的大语言模型在纯文本复杂数学推理上展现出强大能力。为了将这种强大的推理链迁移至多模态视觉领域，一种极具吸引力的范式是感知与推理的解耦架构：由视觉语言模型（Captioner）将输入图像翻译为文本描述，再交由预训练且冻结的强文本推理器（Reasoner）进行分步解答。这种模块化解耦不仅避免了高成本的多模态端到端重新对齐，还能无缝复用前沿纯文本推理底座，并在感知和推理之间保留清晰可解释的自然语言接口。

然而，这一架构在实践中遭遇了严重的接口失配（Interface Mismatch）挑战。通用视觉语言模型通常针对人类日常可读性进行微调，生成的图像描述偏向泛化场景概括，极易遗漏几何图形中的精确数值、拓扑关系、辅助线标注等数学解题不可或缺的细粒度线索。推理器求解失败往往并非由于推理能力不足，而是因为语言瓶颈切断了关键视觉信息的传递。若采用有监督微调，为形形色色的视觉数学问题人工标注对应特定推理器偏好的“理想描述”成本过于高昂，且不同推理模型的具体信息需求在交互前无法预验。若直接引入强化学习（如二值任务奖励的 RACRO），则面临严重的奖励稀疏性：描述缺失单一关键数字与全篇胡言乱语同样获得 0 分，在广袤的文本动作空间中极易发生探索效率低下和梯度信号坍塌。

本文的切入点在于：人类在协作解题时，当初始交代不清就会触发追问澄清，这种追问行为本身就精准暴露了认知上的信息真空。核心 idea：将训练阶段的多轮澄清交互作为隐式监督脚手架，构建分级奖励机制惩罚对澄清的依赖，以非对称梯度回传迫使视觉模型学会自主前置推理所需的全部视觉细节，最终实现单轮高效推理部署。

方法详解¶

整体框架¶

AC-RL 面向由可训练视觉描述器 \(\mathcal{V}_\theta\) 与冻结文本推理器 \(\mathcal{R}\) 组成的解耦推理系统。在给定图像 \(I\) 与问题 \(Q\) 时，系统分为“带澄清脚手架的训练阶段”与“无澄清交互的单轮推理阶段”。

在训练阶段，可训练视觉模型首先生成初始图像描述 \(c_0 \sim \pi_\theta(\cdot \mid I, Q)\)。冻结的推理器 \(\mathcal{R}\) 评估 \(c_0\) 是否足以回答问题：若信息充分，则直接给出答案；若关键视觉细节缺失，则提出具体的澄清问题 \(q_1\)。此时由一个冻结的参考视觉模型 \(\pi_{\text{ref}}\) 针对性回答生成补充描述 \(c_1\)，推理器随后结合 \((c_0, q_1, c_1)\) 给出最终答案。系统根据最终答案的正确性以及是否触发澄清计算三档分级奖励：直接回答正确给予满额奖励 \(R=1.0\)，依赖澄清后回答正确给予打折奖励 \(R=\alpha\)（设定 \(\alpha=0.7\)），回答错误一律获得 \(R=0\)。反向传播时，澄清模块与推理器全部切断梯度，仅更新生成初始描述 \(c_0\) 的策略参数 \(\theta\)。在推理部署时，系统彻底剥离澄清机制，视觉模型一步到位输出高信息密度描述供推理器单轮求解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["输入图像 I 与数学问题 Q"] --> CapGen["可训练描述器采样初始描述 c0"]
    CapGen --> ReasonerCheck{"推理器信息充分性判断"}
    ReasonerCheck -->|"信息充分 (直接作答)"| DirectAns["直接求解并判定最终正误"]
    ReasonerCheck -->|"信息缺失 (请求澄清)"| ClarifyRoute["冻结参考模型作答澄清问题 q1 得到 c1"]
    ClarifyRoute --> FollowupAns["结合上下文求解最终正误"]
    DirectAns --> TieredReward["分级奖励脚手架<br/>直接正解 R=1.0 / 澄清正解 R=0.7 / 失败 R=0"]
    FollowupAns --> TieredReward
    TieredReward --> GradIsolation["非对称梯度隔离<br/>切断澄清与推理器梯度，仅优化初始描述 c0"]
    GradIsolation --> BNPOOpt["KL 正则与 Beta 归一化策略优化<br/>BNPO 优势平滑与探索多样性保持"]
    BNPOOpt --> Deploy["单轮高效推理部署<br/>无需二次交互，一轮前置完备量化细节"]

关键设计¶

1. 分级奖励脚手架：将澄清交互转化为密集学习信号

在视觉数学问答强化学习中，直接依赖最终答案正误的二值奖励极端稀疏。当视觉描述涵盖了 90% 的解题条件但仅遗漏了一个关键角标或长度时，推理器同样会解答失败并返回零奖励，导致策略无法获得渐进式对齐的梯度指导。针对这一痛点，AC-RL 构造了包含三个离散梯度的奖励函数：

\[R(\tau) = \begin{cases} 1.0 & \text{若答案正确且未触发澄清} \\ \alpha & \text{若答案正确但依赖澄清} \\ 0 & \text{若答案错误} \end{cases}\]

其中将折扣因子设为 \(\alpha = 0.7\)。该设计的巧妙之处在于兼顾了“信号稠密化”与“单轮前置驱动”：一方面，中间奖励 \(\alpha\) 挽救了大量“初始描述接近合格但差临门一脚”的探索轨迹，为模型提供了有梯度的中间信用分配，极大缓解了训练早期的样本效率瓶颈；另一方面，\((1-\alpha) = 0.3\) 的惩罚代价构成了持续的优化压力，惩罚对澄清通道的依赖，驱动视觉模型主动探索如何在一开始就把推理器需要的信息完整打包。

2. 非对称梯度隔离：冻结参考模块倒逼信息前置

多轮交互系统在强化学习中最容易出现的退化现象是“策略投机”：如果澄清响应模块也参与参数更新，视觉模型会倾向于在第一轮敷衍生成粗略描述，转而依赖在后续澄清轮次中补丁式作答，导致多轮推理开销剧增。为了彻底杜绝这一现象，AC-RL 实行严格的非对称梯度隔离。在训练交互中，当推理器触发追问 \(q_1\) 时，提供补充解答 \(c_1 \sim \pi_{\text{ref}}(\cdot \mid I, Q, (c_0, q_1))\) 的不是可训练模型，而是固定权重的冻结参考检查点 \(\pi_{\text{ref}}\)；同时，推理器 \(\mathcal{R}\) 同样保持完全冻结。因此，整个后置轨迹在策略参数 \(\theta\) 视角下表现为外生随机环境转移内核，梯度计算仅存在于初始描述 \(c_0\) 的生成对数概率上。这种隔离机制从根本上封闭了“在第二轮偷懒”的逃逸路径，迫使 \(\pi_\theta\) 只能将所有精力放在优化首轮描述的内容完备度上。

3. KL 正则与 Beta 归一化策略优化：稳定探索并保持生成多样性

语言生成的动作空间极其庞大，在长文本描述的探索中极易发生策略崩溃或语言漂移。AC-RL 采用带有参考策略 KL 散度约束的目标函数：

\[J(\theta) = \mathbb{E}_{(I, Q) \sim \mathcal{D}} \left[ \mathbb{E}_{\tau \sim \pi_\theta} [R(\tau)] \right] - \beta \cdot D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\]

在优势估计上，算法引入 Beta 归一化策略优化（BNPO），对每组采样的 \(M=8\) 条轨迹回报拟合 Beta 分布参数进行自适应归一化，显著平滑了分级奖励离散跳变带来的方差。这一策略带来了意想不到的正则化收益：相比于仅有 \(0/1\) 的标准二值奖励 RL，AC-RL 在训练全程始终保持了更高的生成多样性，在收敛阶段全同奖励批次比例从基线的 42% 降低至 31%，有效避免了生成表达模态退化。

一个完整示例¶

以 MathVision 中一道典型的平面几何问题为例：题目给出一张包含三角形与外接圆的几何草图，求解 \(\angle ABC\) 的度数。 1. 基线或训练初期行为：视觉模型输出初级描述 \(c_0\)：“图中包含一个圆和一个三角形 ABC，线段 AC 穿过圆心 O，点 B 位于圆周上方。”推理器阅读该描述后，由于无法确定点 B 是否严格在外接圆圆周上，无法应用直径所对圆周角定理，陷入推理僵局或猜错答案，在二值奖励下获得 \(R=0\)。 2. AC-RL 训练澄清介入：推理器识别出前提缺口，提出澄清追问 \(q_1\)：“点 B 是否位于圆周上？线段 AC 是否为圆的直径？”冻结参考模型 \(\pi_{\text{ref}}\) 审视原图后返回 \(c_1\)：“点 B 确为圆周上的点，线段 AC 标有圆心符号 O，为圆的直径。”推理器随即得出 \(\angle ABC = 90^\circ\) 的正确结论。 3. 信用分配与梯度回传：该轨迹被判定为“澄清后正确”，获得折损奖励 \(R=0.7\)。非对称梯度更新促使 \(c_0\) 的参数更倾向于直接生成线段与圆周的几何约束关系。 4. 收敛后推理行为：微调完成的模型在单轮推理中直接生成 \(c_0\)：“几何图中圆心为 O，线段 AC 为直径，顶点 B 位于圆周上构成直角三角形 \(\triangle ABC\)。”推理器在零澄清交互下一次性答对，直接获得满额回报 \(R=1.0\)。

损失函数 / 训练策略¶

策略优化采用带裁剪与 KL 惩罚的替代目标：

\[\mathcal{L}_{\text{clip}}(\theta) = -\mathbb{E}_{(s_t, a_t)} \left[ \min\left( r_t(\theta) A_t, \operatorname{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) A_t \right) \right] + \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\]

其中概率比率 \(r_t(\theta) = \pi_\theta(a_t \mid s_t) / \pi_{\theta_{\text{old}}}(a_t \mid s_t)\)，优势 \(A_t\) 由 BNPO 给出。可训练模型在所有线性层加载 LoRA 适配器（3B 模型秩 \(r=256, \alpha_{\text{lora}}=512\)；2B 模型 \(r=128, \alpha_{\text{lora}}=256\)）。训练数据集为聚焦数学推理的 ViRL-39K（39,000 条样本），优化器学习率设为 \(2 \times 10^{-6} \sim 3 \times 10^{-6}\)，在 8 张 A6000-Ada GPU 上训练约 50 小时、1,000 步内即可收敛。

实验关键数据¶

主实验¶

实验选用 DeepSeek-R1-Qwen-32B 作为冻结推理器，视觉端分别评测 InternVL3-2B 与 Qwen2.5-VL-3B。评测涵盖 7 个严苛的多模态数学与逻辑基准：MathVista (MVista)、MathVision (MVision)、MathVerse (MVerse)、MMMU、WeMath (WeM)、DynaMath (DynaM) 和 LogicVista (LVista)。全部采用无澄清交互的单轮部署协议。

模型配置	MVista	MVision	MVerse	MMMU	WeM	DynaM	LVista	AVG
商用/前沿模型
GPT-4o-20241120	60.0	31.2	40.6	70.7	45.8	34.5	52.8	47.9
Gemini-2.0-Flash	70.4	43.6	47.7	72.6	47.4	42.1	52.3	53.7
Claude-3.7-Sonnet	66.8	41.9	46.7	75.0	49.3	39.7	58.2	53.9
InternVL-2B 系列
Standalone VLM	57.0	21.9	25.3	48.6	22.4	14.6	36.9	32.4
Pretrained + Reasoner	61.0	34.7	28.9	57.4	32.8	12.0	48.3	39.3
AC-RL (本文)	65.3	36.7	36.8	58.4	32.1	20.0	49.0	42.6 (+3.3)
Qwen-3B 系列
Standalone VLM	64.5	21.9	28.8	50.1	24.2	13.4	39.6	34.6
Pretrained + Reasoner	59.7	32.8	29.2	55.2	34.7	14.2	47.2	39.0
AC-RL (本文)	63.8	36.8	34.4	57.7	33.2	24.8	53.0	43.4 (+4.4)

消融实验¶

在 Qwen2.5-VL-3B 模型上对各关键组件进行逐层剥离分析，检验解耦架构、二值奖励 RL 与分级澄清强化学习的增益来源。

训练配置	MVista	MVision	MVerse	MMMU	WeM	DynaM	LVista	AVG
VLM-only (无独立推理器)	64.50	21.90	28.80	50.10	24.20	13.40	39.60	34.64
解耦未调优 (Pretrained+Reasoner)	59.69	32.80	29.18	55.22	34.71	14.17	47.20	39.00
二值奖励 RL (类似 RACRO)	62.60	34.30	31.09	55.44	33.45	17.56	47.42	40.27
AC-RL (本文完整模型)	63.80	36.84	34.39	57.70	33.22	24.75	53.02	43.39

为了进一步探究模型行为的演变，作者在测试集上放开澄清功能进行了探针评测（Clarification Analysis），记录澄清请求率、单轮 vs 澄清准确率差距以及拒绝澄清（Deny Clarification）对精度的打击：

数据集	评测配置	澄清请求率	单轮准确率	澄清准确率	澄清差距 (Abs/Rel)	拒绝澄清精度跌幅 \(\Delta_{\text{deny}}\)
MathVision	二值奖励基线	40.69%	34.31%	37.20%	+2.89 / 0.044	11.43 (降至 22.88%)
MathVision	AC-RL	28.95% (-29%)	36.71%	37.66%	+0.95 / 0.015	14.21 (降至 22.50%)
MathVerse_MINI	二值奖励基线	49.57%	31.09%	35.15%	+4.06 / 0.059	2.66 (降至 28.43%)
MathVerse_MINI	AC-RL	30.28% (-39%)	36.80%	34.26%	-2.54 / -0.040	3.47 (降至 33.33%)

关键发现¶

最严苛几何基准提升最显著：AC-RL 在 DynaMath 上相对未微调解耦基线实现了 +10.6 点的跨越（14.2 → 24.8），在 MathVerse 上提升 +5.2 点。细粒度学科分析表明，提升最集中的领域正是立体几何（+18.7）、角度度量几何（+10.4）与代数（+15.1），这些领域最依赖精确数值和空间拓扑关系。
澄清请求大幅下降 29% ~ 39%：在探针测试中，AC-RL 模型的追问触发率显著降低，且单轮与多轮的性能差距趋近于零（在 MathVerse 上甚至达到 -2.54，表明初始描述已极其完备，额外的多轮对话反倒引入噪声）。
残留澄清请求高度聚焦关键难点：在“拒绝澄清”实验中，AC-RL 触发追问的少数样本若被强行剥夺澄清，准确率暴跌 14.21 点（高于二值基线的 11.43 点），说明模型学会了将澄清预算精准保留在无法通过上下文推断的绝对硬核缺失上。

亮点与洞察¶

将交互对话模式转化为奖励塑形信号：传统多轮对话常作为推理阶段昂贵的计算代价，AC-RL 巧妙地将多轮澄清下放到训练阶段充当“渐进式脚手架”，在部署时恢复单轮零额外开销。
非对称冻结斩断策略投机：通过严格冻结参考描述模型，将多轮博弈收敛为单智能体环境感知问题，杜绝了强化学习多轮交互中常见的“第一轮偷懒、后续打补丁”退化。
即插即用的模块化范式扩展：该机制完全可以推广至任何工具调用、Agent 协同或多模型流水线中，通过下游执行者的拒绝或澄清反馈反向微调上游前置模块。

局限与展望¶

单轮单次澄清脚手架的深度局限：目前训练协议仅支持单轮澄清（\(q_1 \to c_1\)），对于需要层层递进探究的超复杂几何证明，可能需要支持带衰减折扣的多轮澄清树。
下游推理器单向适配：实验中推理器保持完全冻结，未实现感知与推理的双向协同演化（Co-evolution）；若推理器也能学习如何提出更高质量的针对性问题，系统上限或进一步提升。
计算资源开销：由于在训练中每次采样子轨迹需要调用 32B 纯文本长推理模型生成长 Chain-of-Thought，训练批次耗时相对较重。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将多轮澄清交互转化为离散奖励塑形与隐式训练脚手架，构思巧妙简洁]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7 个前沿数学评测集，配合单轮/澄清探针/拒绝澄清等深度行为学实验]
写作质量: ⭐⭐⭐⭐⭐ [形式化表述严密，数学证明完备，消融与分析逻辑连贯清晰]
价值: ⭐⭐⭐⭐⭐ [为小视觉模型与大文本推理模型的跨模态低成本组合提供了高实用性方案]