Self-Distilled RLVR¶

会议: NeurIPS 2026
arXiv: 2604.03128
OpenReview: https://openreview.net/forum?id=TAt6jrbMb8
论文: https://arxiv.org/abs/2604.03128
领域: 模型压缩
关键词: 强化学习, 自蒸馏, 信用分配, 真实奖励验证, 特权信息泄漏

一句话总结¶

针对在轨自蒸馏（OPSD）因信息不对称诱发特权信息泄漏与训练崩溃的本质缺陷，本文提出 RLSD 范式，解耦更新方向与步长尺度，以真实环境奖励锚定策略优化方向，以特权自蒸馏后验证据比调制 token 级信用分配。

研究背景与动机¶

在大语言模型与多模态大模型的后训练阶段，基于可验证奖励的强化学习（RLVR，如 GRPO）已成为激发复杂推理能力的核心技术。然而，RLVR 的环境验证器仅在序列结束时返回稀疏的标量结果，导致生成轨迹中的所有 token 不论是对关键演绎步骤还是冗余套话，都机械地平分相同的标量优势值。与之互补的在轨蒸馏（OPD）虽然能利用能力更强的教师模型沿着学生自身采样轨迹输出密集 token 级概率分布，但其极度依赖一个单独且庞大的外部教师，不仅计算开销倍增，且强制要求师生词表完全一致，严重制约了训练的可扩展性。

为了摆脱对外部大模型的依赖，近期社区探索了在轨自蒸馏（OPSD）范式，即由同一模型兼任教师与学生，仅让教师在提示词中额外接收参考答案等特权信息来提供自进化监督。然而，OPSD 的高效性极其脆弱：模型在训练初期性能迅速见顶，随后急剧退化并伴随系统性的特权信息泄漏——学生在没有输入参考答案的推理阶段，频繁无端幻想出“根据参考答案”、“根据提示”等隐式特权表述。从理论上看，学生与教师处于信息不对称状态，分布匹配目标中存在一个学生无论如何提升容量都无法消除的条件互信息下界 $I(Y_t; R \mid X, Y_{<t}) > 0$。在单样本梯度更新中，该互信息诱发出不可消除的特权偏差项，随着训练推进并经非线性优化路径累积，必然驱使模型参数强行拟合输入与特权信息之间的虚假关联，最终触发自强化的崩溃循环。

面对分布匹配范式的结构性失效，本文跳出“用教师分布作为生成模仿目标”的传统思维，发现特权教师与无特权学生的比值 $\frac{P_T(y_t)}{P_S(y_t)}$ 天然刻画了特权信息对每个 token 置信度的修正程度。核心 idea：将特权自蒸馏从生成式分布匹配重构为策略梯度的细粒度信用分配器，由可靠的环境真实奖励严格锚定 token 更新的符号方向，由特权后验与无特权先验的比值以贝叶斯证据比的形式调制更新幅度，实现免辅网、零泄漏的高效 RLVR 细粒度优化。

方法详解¶

RLSD 的核心机制在于方向与尺度的正交解耦：优化梯度的符号方向由外部环境的客观验证结果完全掌控，防止任何不可靠或特权偏差污染参数更新方向；而更新的相对大小则由特权信息带来的信息增益自适应调节，精准奖励功臣 token、惩罚罪魁 token。

整体框架¶

在算法流程中，当前策略模型针对输入提示词采样 rollouts 生成候选推理轨迹，环境验证器针对最终结果计算标量奖励并评估组内相对优势；随后，同一个模型在拼接特权信息后仅执行一次前向传播计算教师 logits，通过停止梯度的证据比对优势值进行乘性重加权与置信区间裁剪，最后以标准策略梯度回传更新策略参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询 X"] --> B["在轨采样生成轨迹<br/>P_S(·|X) 采样 G 条候选响应"]
    B --> C["环境验证器判别<br/>获取标量奖励并计算组内优势 A"]
    B --> D["特权信息增益计算<br/>同模型接收 R 计算教师对数概率比"]
    C --> E["方向感知证据重加权<br/>w_t = exp(sign(A) * Δ_t) 保留符号"]
    D --> E
    E --> F["裁剪式信用分配与策略更新<br/>A_hat_t 截断约束并执行策略梯度"]

关键设计¶

1. 特权信息增益计算：无外部网络开销的密集贡献度度量

传统 PPO 依赖独立价值网络，而过程奖励模型（PRM）依赖昂贵的逐步人工标注或带噪蒙特卡洛估计。RLSD 仅需在原模型上追加一次包含特权信息 $r$（在数学与多模态任务中通常仅为最终真实答案 ground-truth，无需逐步推理链）的前向计算： $$\Delta_t = \texttt{sg}\left(\log P_T(y_t) - \log P_S(y_t)\right)$$ 其中 $\texttt{sg}$ 为停止梯度算子。由于师生共用参数 $\theta$，$\Delta_t > 0$ 表明特权信息显著支持生成该 token，$\Delta_t < 0$ 则说明特权信息排斥该 token。停止梯度确保该比值仅充当标量权重，从源头上切断了分布匹配损失强行回传梯度诱发泄漏的通道。

2. 方向感知证据重加权：贝叶斯后验驱动的正负轨迹对称调制

为了保证环境奖励的终极裁决权，RLSD 将优势值符号 $\text{sign}(A)$ 引入权重指数： $$w_t = \exp\left(\text{sign}(A) \cdot \Delta_t\right) = \left(\frac{P_T(y_t)}{P_S(y_t)}\right)^{\text{sign}(A)}$$ 该设计具备严格的贝叶斯解释：在弱建模假设下，比值 $\frac{P_T(y_t)}{P_S(y_t)}$ 等价于逐步贝叶斯置信更新 $\frac{P(r \mid x, y_{\le t})}{P(r \mid x, y_{< t})}$。当轨迹正确（$A > 0$）时，$w_t = \frac{P_T}{P_S}$，对推动证明逼近真实答案的论证词予以倍增正向强化，对过场套话赋予基线权重；当轨迹错误（$A < 0$）时，权重自动求逆为 $w_t = \frac{P_S}{P_T}$，此时被特权信息强烈否定的失误 token（如运算错误、读图假阳性）分母极小使得 $w_t$ 放大，精准承载最大负惩罚，而中性背景词惩罚被有效衰减。由于指数映射恒大于零，更新符号绝不反转，更新方向与环境完全对齐。

3. 裁剪式信用分配与平滑退火：类信任域的动态约束机制

为了防止自蒸馏极端概率差引起优势值方差剧增，RLSD 引入类似 PPO/GRPO 步长裁剪的信用边界： $$\hat{A}_t = A \cdot \left((1 - \lambda) + \lambda \cdot \text{clip}(w_t, 1 - \epsilon_w, 1 + \epsilon_w)\right)$$ 参数 $\epsilon_w$（默认设为 0.2）对每个 token 的信用修正幅度实施信任域截断。同时，系数 $\lambda$ 在训练初期设为 0.5，并在前 50 步线性退火至 0。该阶段退火机制构成了两阶段渐进学习：在策略初期欠佳、急需密集指引时由特权比值快速赋能，随着模型推理能力内化，平滑无缝退化为纯 GRPO 优化，既彻底打破了共享参数自蒸馏的“不可能三元悖论”，又确保了长期训练稳定收敛。

损失函数 / 训练策略¶

RLSD 可作为 GRPO 的无缝替代算子嵌入现有训练流水线，其策略优化目标函数形式如下： $$\mathcal{L}_{\text{RLSD}}(\theta) = \mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}\frac{1}{|y^{(i)}|}\sum_{t=1}^{|y^{(i)}|}\min\left(\rho_t^{(i)}\hat{A}_t^{(i)},\;\text{clip}(\rho_t^{(i)}, 1-\epsilon, 1+\epsilon)\hat{A}_t^{(i)}\right)\right]$$ 其中 $\rho_t^{(i)} = \frac{\pi_\theta(y_t^{(i)} \mid x, y_{<t}^{(i)})}{\pi_{\theta_{\text{old}}}(y_t^{(i)} \mid x, y_{<t}^{(i)})}$ 为策略重要性采样比，$\hat{A}_t^{(i)}$ 为公式计算得到的 token 级分配优势。整个流程不引入任何额外的 KL 正则项或辅助价值网络头，仅在每 10 个训练步同步一次教师模型的参考快照以维持评估基准稳定。

实验关键数据¶

主实验¶

实验基于 Qwen3-VL-8B-Instruct 底座，在经过难度过滤的 MMFineReason-123K 多模态复杂推理数据集上进行后训练，并在五大极具挑战性的多模态基准（MMMU、MathVista、MathVision、ZeroBench、WeMath）上进行零样本评测。

模型 / 方法	MMMU	MathVista	MathVision	ZeroBench	WeMath	平均精度 (Avg.)
Base LLM (无后训练)	62.44	73.80	47.37	19.76	54.10	51.49
GRPO (标准 RLVR)	65.11	76.20	48.82	22.60	56.57	53.86
OPSD (在轨自蒸馏)	63.82	75.10	47.53	21.06	54.95	52.49
SDPO (丰富反馈自蒸馏)	65.11	74.00	47.27	25.15	52.19	52.74
GRPO + OPSD (简单加权组合)	63.22	75.90	48.52	22.16	54.76	52.91
RLSD (本文方法)	67.22	78.10	52.73	24.85	58.00	56.18

消融实验¶

论文针对训练步数效率、自蒸馏机制变体与信用分配范式进行了深度对比与消融剖析：

训练配置 / 变体	训练步数 / 评估指标	关键结果表现	机制说明与对比分析
GRPO (200步基线)	200 steps / 平均准确率	53.86%	标量奖励均匀分配，更新较为粗糙
GRPO (2倍步数训练)	400 steps / 平均准确率	~55.20%	延长训练步数精度提升，但仍低于 200 步 RLSD
RLSD (本文完整方案)	200 steps / 平均准确率	56.18%	200 步表现超越 GRPO 训练 400 步，大幅提升收敛速度
OPSD 完整词表目标	100 steps / 泄漏计数 (Leakage)	持续单调递增 (高)	全词表匹配带宽最宽，KL 停滞，后期发生灾难退化
OPSD 教师 Top-1 目标	100 steps / 泄漏计数 (Leakage)	爆发性剧增 (极高)	坍缩至单点注入特权信号，导致最严重的显式作弊表达
OPSD 学生 Top-1 目标	100 steps / 泄漏计数 (Leakage)	缓慢上升 (中低)	虽受限于学生支撑集，但权重仍受特权调制，依然不可避免泄漏
RLSD (乘性调制解耦)	200 steps / 泄漏计数 (Leakage)	0 (严格无泄漏)	梯度符号严格由环境锚定，数学上阻断了特权特征反向渗透通道

关键发现¶

收敛速度与上限双突破：RLSD 在 200 步的平均性能即达到 56.18%，不仅比未后训练的 Base LLM 提升 4.69%，而且大幅超越训练 400 步的 GRPO，展现出优越的数据与步数利用效率。
避免熵坍塌：在训练动态监测中，标准 GRPO 由于粗暴的序列级标量奖励抑制了未探索路径，导致响应策略的 token 熵快速坍塌；而 RLSD 对关键步骤针对性奖惩，保持了健康多元的推理熵分布。
质性归因精准定位：在定性热力图分析中，RLSD 准确将高正向权重汇聚在计数与减法推理等实质推导 token，而在错误案例中将最大惩罚集中于代数方程式设错的根源 token，展现出卓越的过程归因效果。

亮点与洞察¶

正交解耦方向与幅度：明确了策略梯度优化中“方向需可靠保真，幅度需密集区分”的本质不对称性，用环境真实性保障方向正确，用特权教师充当放大镜，一举消除了传统奖励工程的 scale mismatch。
化泄漏之毒为归因之药：从数学上证明了导致 OPSD 崩溃的特权差异项与贝叶斯后验证据比的等价性，无需设计复杂架构，仅改写优势乘数便将破坏训练的噪声转化为细粒度信用分配的精确度量。
零额外开销与即插即用：相较于昂贵的外部大模型蒸馏或 PRM 标注，RLSD 仅需同一个模型追加一次前向评估，特权信息仅需真实标签，代码层面作为 GRPO 优势值的几行乘法即可迁移到各类大模型后训练框架中。

局限与展望¶

作者承认的局限：首发版本受限于计算资源主要集中在多模态视觉推理（Qwen3-VL 架构）与困难子集验证，尚未覆盖更广泛的纯文本长逻辑链大模型体系。
潜在分析局限：贝叶斯证据比的有效性隐式依赖模型自身上下文学习能力的保真度；若基础模型过小或长上下文跟进不足，特权提示词的前向对数概率可能混入显著的注意力噪音。
后续改进方向：可进一步探索在非严格二元奖励任务（如代码执行软得分、多步交互工具调用 Agent）中应用该机制，并将退火系数 $\lambda$ 优化为依据每道题目困惑度自适应调节的动态门控。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深刻揭示了 OPSD 特权信息泄漏的互信息根源，并极富洞见地将特权对数差重构为贝叶斯证据比信用分配器。
实验充分度: ⭐⭐⭐⭐☆ 涵盖五大严苛多模态推理榜单与全面的训练动力学、泄漏频次监控与消融分析，若能追加主流纯文本 LLM 会更完美。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严密自洽，从定理证明到算法设计环环相扣，图表直观且对比剖析极为透彻。
价值: ⭐⭐⭐⭐⭐ 为解决推理模型 RLVR 过程信用分配瓶颈提供了一种极轻量、免辅网、免人工逐步标注的高通用性优雅范式。