Beyond SFT-to-RL: Pre-alignment via Black-box On-policy Distillation for Multimodal RL¶
会议: NeurIPS 2026
arXiv: 2604.28123
OpenReview: https://openreview.net/forum?id=NrU0jOBYTv
论文: https://arxiv.org/abs/2604.28123
代码: https://github.com/XIAO4579/PRISM
领域: 多模态大模型
关键词: 多模态大语言模型、强化学习、在线策略蒸馏、混合专家判别器、分布对齐
一句话总结¶
针对传统 SFT 带来的分布漂移会严重扭曲视觉感知与逻辑推理、损害后续多模态强化学习的问题，PRISM 在 SFT 与 RLVR 之间引入黑盒在线策略对抗蒸馏作为显式预对齐阶段，利用视觉与推理专家的解耦奖励校准模型生成分布，显著提升下游强化学习性能。
研究背景与动机¶
多模态大语言模型（LMM）在复杂视觉问答、数学推导与科学图表分析等高阶推理任务中展现出巨大潜力。当前主流的后训练（post-training）范式普遍沿用“离线监督微调（SFT）+ 在线可验证奖励强化学习（RLVR）”的两阶段模式：先在大规模示范数据上通过下一标记预测（next-token prediction）提供冷启动能力，再利用自动校验器提供的可验证奖励通过强化学习（如 GRPO、DAPO、GSPO 等）持续强化求解能力。直觉上，SFT 赋予了模型强大的推理先验，而 RLVR 负责在该先验基础上进行定向搜索与潜能激发。
然而，近期研究揭示了一个反直觉的退化现象：离线 SFT 往往会引发严重的分布漂移（distributional drift）。标准的离线微调采用均匀的词级别交叉熵损失，机械地强迫模型模仿静态教师轨迹，既无法区分推理过程的内在合理性与最终结果的偶然正确性，又会破坏基座模型原生的生成概率分布。对于原本就具备较好推理先验的模型，强行用外源示范进行词级拟合甚至会抹杀其固有优势。在多模态场景下，这种分布漂移更加致命且异质化：视觉定位偏差（如错看、漏看细粒度图表元素）与逻辑推理偏差（如断言矛盾、推导跳步）遵循完全不同的退化机理；感知阶段的微小漂移会作为错误前提传导至推理阶段，进而在随后的在线强化学习中被持续放大，导致策略优化过早陷入次优。
既然直接连接 SFT 与 RLVR 会让在线搜索始于一个被扭曲的策略分布，且黑盒商业大模型教师无法提供中间 logits，单纯依赖离线拟合或同质标量判别器均无法应对。本文的核心切入点在于将在线策略蒸馏（On-Policy Distillation, OPD）从终端目标重新定位为承前启后的独立预对齐阶段。核心 idea：在 SFT 与 RLVR 之间插入基于混合专家（MoE）判别器的黑盒对抗式在线策略蒸馏，解耦视觉感知与逻辑推理的分布校准信号，在无需教师 logits 的前提下精准修复多模态分布漂移，为下游强化学习提供高保真的策略初始化。
方法详解¶
整体框架¶
PRISM（PRe-alignment via black-box on-policy dIStillation for Multimodal reinforcement learning）将传统两阶段流程扩展为三阶段后训练流水线：
1. 阶段 1：冷启动监督微调（Cold-Start SFT）。在结合了从 Gemini 3 Flash 精心蒸馏的 107K 高难度细粒度推理样本以及 1.26M 公开示范（总计约 1.37M）上完成多模态基座微调，构建规范化的输出格式（涵盖视觉定位 <caption>、思维链 <think> 与最终答案 <answer>），缩小策略与目标示范之间的粗粒度能力鸿沟。
2. 阶段 2：在线策略蒸馏分布对齐（Distribution Alignment via OPD）。以 SFT 检查点为起点，冻结外部黑盒教师，构建包含专用感知专家 \(D_v\) 与推理专家 \(D_r\) 的 MoE 判别器。通过对抗博弈最小化策略生成与参考示范的分布差异：判别器评估策略自身采样得到的在线输出与高质量示范，并给出解耦奖励；策略模型则通过策略梯度最大化判别得分，且不加阻碍分布修复的 KL 正则约束。
3. 阶段 3：可验证奖励强化学习（RLVR）。在经过分布对齐的高保真策略基础上，切换至由准确率与格式奖励组成的确定性可验证奖励，并在经过难度过滤（通过率区间在 \([0.2, 0.8]\)）的挑战性子集上运行下游 RL 算法（如 GRPO、DAPO 或 GSPO），实现高上限的答案强化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入 x<br/>(图像 + 文本问题)"] --> B["阶段 1：冷启动 SFT<br/>1.37M 示范规范输出结构"]
B --> C["阶段 2：对抗式分布预对齐<br/>策略在线采样生成 y⁻"]
C --> D["MoE 双专家判别器<br/>感知专家 Dv + 推理专家 Dr"]
D -->|解耦组归一化优势 Aᵢ| E["策略优化 (无 KL 惩罚)<br/>对齐至高保真示范分布"]
E --> F["阶段 3：下游 RLVR<br/>可验证奖励 (答案精度 + 格式)"]
F --> G["最终多模态高阶推理策略 π*"]关键设计¶
1. 结构化解耦与混合专家（MoE）判别器：攻克多模态异质性分布漂移 多模态推理模型产生的偏差往往源于两个异质且相互交织的层面：其一是视觉感知与物理 grounding 的虚假幻觉，其二是符号与逻辑演绎步骤的断裂。传统单标量判别器在面对复合生成时，若视觉变好但推理变差，合成的单一标量会导致梯度方向相互抵消甚至剧烈震荡。PRISM 强制规范模型输出为两段式结构：显式视觉描述 \(c\) 与长思维链轨迹 \(t\)（即输出 \(y=(c, t)\)）。判别器构建基于 4 个轻量视觉模型构建的顶 2 路由 MoE 架构，将解耦后的文本分别送入感知专家 \(D_v(x, c)\) 与推理专家 \(D_r(x, t)\)。判别器的复合奖励定义为两者的加权和： $\(r(x, y) = \alpha \cdot D_v(x, c) + (1 - \alpha) \cdot D_r(x, t)\)$ 其中 \(\alpha\) 控制感知与逻辑反馈的权衡权重（默认设置为 0.5）。这种解耦评估使得两类性质完全不同的分布漂移能够获得专属梯度的独立指导。
2. 无 Logit 约束的黑盒对抗在线策略博弈：摆脱商业教师白盒依赖 传统的知识蒸馏或基于 KL/TV 散度的在线蒸馏严重依赖教师模型的 token 级概率或 logits 分布，然而在多模态前沿领域，最优的监督示范通常来自黑盒云端 API（如 Gemini 3 Flash），其内部权重与概率完全不可得。PRISM 将对齐形式化为策略生成器 \(G_\theta\) 与 MoE 判别器 \(D_\phi\) 之间的两玩家极小化极大（minimax）博弈： $\(\min_{\theta}\max_{\phi} \;\mathbb{E}_{(x, y^+) \sim \mathcal{T},\, y^- \sim G_\theta(\cdot \mid x)} \Big[ r_\phi(x, y^+) - r_\phi(x, y^-) \Big]\)$ 判别器与策略在训练过程中完全同步动态更新。由于判别器持续在策略最新的在线生成 \(y^-\) 上被优化，有效避免了传统静态离线奖励模型（Reward Model）所面临的奖励欺骗（reward hacking）与过期失效问题。更关键的是，PRISM 在策略更新中彻底去除了向 SFT 锚定的 KL 散度惩罚（KL 设为 0），使得策略参数能够毫无阻碍地逃离 SFT 造成的次优分布陷阱。
3. 组归一化策略梯度与难度自适应课程筛选：平稳过渡至下游 RLVR 为了在没有确定性答案奖励的对抗阶段稳定更新策略，PRISM 对每个输入 \(x\) 在线采样 \(N\) 个候选回答 \(\{y_i^-\}_{i=1}^N\)（默认 \(N=16\)），由 MoE 判别器打分后，计算组内归一化优势： $\(A_i = \frac{r(x, y_i^-) - \operatorname{mean}\left(\{r(x, y_j^-)\}_{j=1}^N\right)}{\operatorname{std}\left(\{r(x, y_j^-)\}_{j=1}^N\right)}\)$ 通过组相对排序鼓励更符合高质量示范分布的候选，抑制偏离示范分布的样本。在完成 500 步分布对齐后，进入最终的阶段 3（RLVR）。为保证强化学习阶段的采样效率，避免在过于简单或当前策略完全无力求解的样本上浪费计算，流水线利用对齐后的策略对 6K 保留难题进行通过率探测，仅筛选出通过率位于 \([0.2, 0.8]\) 之间的约 2K 样本构建 RL 训练集，使用确定性正确性奖励 \(r_{\text{acc}}\) 与格式规范奖励 \(r_{\text{fmt}}\)（权重为 0.8:0.2）进行定向爆发式提升。
损失函数 / 训练策略¶
- 判别器目标：对于从参考集 \(\mathcal{T}\) 获取的高质量回答 \(y^+ = (c^+, t^+)\) 与当前策略采样的生成 \(y^- = (c^-, t^-)\)，两专家各自按 Bradley-Terry 偏好损失更新： $\(\mathcal{L}_{D_k} = -\mathbb{E}_{(x, y^+, y^-) \sim \mathcal{T}} \left[ \log \sigma \left( D_k(x, y_k^+) - D_k(x, y_k^-) \right) \right], \quad k \in \{v, r\}\)$ 两项损失等权相加反向传播更新判别器参数。
- 策略更新：采用 GRPO 目标函数，利用组归一化优势 \(A_i\) 优化策略参数 \(\theta\)。优化器统一使用 AdamW，对齐阶段学习率设为 \(1\times 10^{-6}\)，不设置学习率衰减（constant schedule），批大小为 4，采样温度设为 1.0。
- RLVR 阶段：继承对齐后权重，将奖励置换为可验证奖励 \(r_v(x, y) = 0.8 \cdot r_{\text{acc}} + 0.2 \cdot r_{\text{fmt}}\)，批大小扩大至 32，最大生成长度放宽至 8192 tokens，迭代训练 1500 步。
实验关键数据¶
主实验¶
论文基于 Qwen3-VL-4B 与 Qwen3-VL-8B 两个基座模型，在 4 个多模态数学推理基准（MathVista、MathVerse、MathVision、WeMath）与 3 个通用多模态理解基准（MMMU、MMMU-Pro、HallusionBench）上全面评测。
| 基准测试集 | 指标 | Qwen3-VL-4B SFT→GRPO |
Qwen3-VL-4B PRISM+GRPO (提升) |
Qwen3-VL-8B SFT→GRPO |
Qwen3-VL-8B PRISM+GRPO (提升) |
|---|---|---|---|---|---|
| MathVista (testmini) | Acc (%) | 75.7 | 77.9 (+2.2) | 75.9 | 78.3 (+2.4) |
| MathVerse (testmini) | Acc (%) | 64.5 | 68.6 (+4.1) | 66.9 | 71.3 (+4.4) |
| MathVision (testmini) | Acc (%) | 35.5 | 45.4 (+9.9) | 37.1 | 52.0 (+14.9) |
| WeMath (testmini) | Acc (%) | 77.8 | 82.9 (+5.1) | 79.7 | 86.4 (+6.7) |
| MMMU (val) | Acc (%) | 60.1 | 64.1 (+4.0) | 62.6 | 66.6 (+4.0) |
| MMMU-Pro (overall) | Acc (%) | 47.3 | 49.7 (+2.4) | 48.8 | 53.3 (+4.5) |
| HallusionBench | Acc (%) | 72.0 | 74.8 (+2.8) | 71.9 | 77.2 (+5.3) |
| 平均分数 (Avg.) | Acc (%) | 61.8 | 66.2 (+4.4) | 63.3 | 69.3 (+6.0) |
消融实验¶
基于 Qwen3-VL-4B 模型及 GRPO 强化学习算法对 PRISM 关键设计及流水线阶段展开消融：
| 实验配置 | 平均分 (Avg. %) | MathVision | WeMath | 相对完整方法变化 |
|---|---|---|---|---|
| PRISM (完整流程) | 66.2 | 45.4 | 82.9 | 基准 |
| 单稠密判别器 (Dense 4B disc.) | 62.8 | 41.8 | 76.9 | -3.4 (感知与推理混杂导致梯度抵消) |
| 纯文本判别器 (Text-only disc.) | 62.3 | 42.8 | 76.8 | -3.9 (无法检测视觉幻觉，鹦鹉学舌) |
| 移除阶段 1 SFT (w/o SFT) | 49.4 | 25.9 | 55.7 | -16.8 (初始能力鸿沟过大，博弈退化) |
| 移除阶段 2 预对齐 (w/o Alignment) | 61.8 | 35.5 | 77.8 | -4.4 (退化为传统 SFT→RLVR) |
| 减量 SFT 数据 (SFT-107K) | 62.5 | 43.1 | 76.9 | -3.7 (冷启动分布距离过大) |
关键发现¶
- 预对齐阶段改善的是分布形态而非即时精度：在阶段 2 对齐刚结束时，PRISM 中间检查点准确率仅为 57.2%（4B）与 59.3%（8B），与 SFT 阶段的 56.8% / 58.1% 基本持平甚至略有回落。这强力证明预对齐的目标在于矫正生成格式与隐式推理分布，而非提前背诵答案，其威力完全释放于下游强化学习的快速收敛与高上限中。
- 基座越强，SFT 漂移危害越甚：直接做 SFT 会导致 Qwen3-VL-8B 平均分从 Instruct 的 63.3% 暴跌至 58.1%（-5.2%）。随后的传统 SFT→GRPO 最终只能勉强爬回 63.3%，完全浪费了 RLVR 的潜力；而 PRISM+GRPO 最终达到 69.3%，净超 Instruct 基线 6.0 点。
- Token 使用效率反向提升：对比 SFT+GRPO，经过 PRISM 对齐后再行强化的模型在生成更高准确率的同时，生成的推理 Token 数量反而明显减少（更紧凑高效），避免了无意义的长思维链反复自言自语。
亮点与洞察¶
- 将在线策略蒸馏作为承前启后的独立中继阶段：以往 OPD 均被当作取代 SFT 或替代 RL 的终点任务，PRISM 首度将其重塑为修复 SFT 漂移、铺平 RLVR 探索道路的“预对齐”基础设施。
- 解耦的感知与推理 MoE 判别器设计：巧妙解决了多模态领域多重错误信号在单标量损失中相互干扰的顽疾，通过显式的结构化分解让判别器在各自领域精准引导。
- 完全解耦商业黑盒教师与下游 RL 算法：既不需要昂贵甚至无法获取的商业教师 Logits，又独立于下游使用的 RL 算法（在 GRPO、DAPO、GSPO 上均表现出高度一致的显著增益）。
局限与展望¶
- 计算与显存开销增加：预对齐阶段需要同时在显存中维护生成策略和 MoE 判别器（多卡配置下内存压力增大），且增加了 500 步的双模型对抗迭代训练预算。
- 依赖预定义的结构化输出模板：当前方法依赖模型能够严格以
<caption>、<think>和<answer>输出，若应用于自由开放格式、无显式视觉描述或非长思维链场景，无法直接进行简单的文本硬拆解。 - 分布对齐的理论度量有待进一步深化：文中主要通过推理步数、描述项数量等结构代理统计量说明分布趋近，尚未在表示空间或流形层面建立无偏的分布散度度量机制。
相关工作与启发¶
- vs. VOLD (Bousselham et al., 2025): VOLD 同样尝试将 OPD 引入多模态，但它依赖纯文本教师的 token 级 logits 散度，并将蒸馏与 RL 混杂在一个统一损失中；PRISM 采用完全无 logit 的黑盒判别器，将分布对齐独立为显式阶段，且配备专用的多模态 MoE 判别器。
- vs. Perception-R1 (Xiao et al., 2025) & PERL (Zhang et al., 2025a): 这类工作关注多模态 RLVR 中的视觉感知惩罚，但在 RLVR 阶段修补错误仍需从 SFT 的扭曲分布中强行纠偏；PRISM 在进入 RL 之前就根治了 SFT 引入的感知与推理分布漂移，提供更好的初始化。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出将黑盒对抗式在线策略蒸馏定位为 SFT 到 RLVR 之间的独立预对齐阶段，解耦多模态感知与推理漂移。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4B 与 8B 双模型规模、3 种主流 RL 算法以及 7 个权威多模态推理榜单，消融与训练动态分析极为详实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，动机阐述层层递进，方法与图表表达极其清晰。
- 价值: ⭐⭐⭐⭐⭐ 成功破解了强化学习前 SFT 阶段破坏模型先验的经典痛点，为高阶多模态推理模型后训练提供了普适性强的新范式。