Rethinking On-Policy Self-Distillation for Thinking Models¶

会议: NeurIPS 2026
arXiv: 2607.05184
OpenReview: https://openreview.net/forum?id=TQYJEnjfUC
领域: 模型压缩
关键词: 在策略自蒸馏, 思考模型, 特权上下文, 分叉抑制, 测试期搜索

一句话总结¶

揭示了基于特权上下文的在策略自蒸馏（OPSD）会严重损害思考模型（Thinking Models）的长思维链推理性能，其根本机制在于特权教师对思维分叉点（Forking Positions）施加负向惩罚，导致模型丧失了回溯、自纠错与探索等关键测试期搜索能力（分叉抑制）。

研究背景与动机¶

随着大语言模型从传统的指令遵循（Instruction-Tuned）走向具备测试期显式思考能力的推理模型（Thinking Models，如 OpenAI o1、DeepSeek-R1、Qwen3-Think），模型通过长思维链中的分支探索、中间假设验证、反思回溯与纠错，在复杂数学、编程与逻辑推理任务中取得了质的突破。为了让模型摆脱对更大教师模型昂贵标注的依赖、实现自主进化，基于特权信息的在策略自蒸馏（On-Policy Self-Distillation, OPSD）成为备受关注的自提升范式：同一模型同时扮演学生与教师角色，教师额外获得标准解法（Gold Solution）或最终真值（Gold Answer）等特权信息，对学生在策略采样的未完成或完整轨迹计算逐 token 散度并进行梯度回传。这一方案此前在常规指令模型上不仅提升了生成准确率，还有效规避了离策略蒸馏的分布偏移问题。因此，学界普遍认为具有测试期推理特性的思考模型能够更好地吸收特权引导，从而在自蒸馏中获得更显著的提升。

然而，将现存特权自蒸馏方法直接应用于长轨迹思考模型时，却出现了意料之外的严重退化。在覆盖 Qwen3 与 OLMo 两个家族、涵盖 1.7B 到 8B 的五款主流思考模型中，在 OpenThoughts 训练并在 AIME24、AIME25 及 HMMT25 上评测时，完整解法特权 OPSD 导致 avg@16 准确率出现了高达 17% 的相对下跌。值得注意的是，这种性能崩溃不能简单归咎于训练长度（4,096 tokens）与评测长度（38,912 tokens）的失配：在相同短预算设置下，使用无特权大模型教师的常规在策略蒸馏（Vanilla OPD）能够显著提升思考学生模型的准确率；但一旦为教师注入特权信息，原本的性能收益立刻转为负增长。同时，带特权提示的教师自身能够在大幅缩短输出长度的同时保持极高的 pass@k，而学生在蒸馏训练后却只机械地继承了“回答变短”的表象，彻底丢失了思考模型依托长展开预算所能获得的测试期缩放收益。

这一反直觉现象表明，特权监督信号与思考模型的深层推理机制之间存在根本性的结构性冲突。通过对思维轨迹中高熵决策点的微观诊断，作者发现特权上下文的存在从底层逆转了模型在探索节点上的学习信号。核心 idea：特权自蒸馏对思考模型的损害源于“分叉抑制”（Fork Suppression）——特权教师因预知正确答案而对学生探索性、回溯性思考节点施加负向优势惩罚，系统性削弱了学生在测试期生成假设分支与自我纠错标记（如 wait、hmm、but 等）的能力，使思考模型丧失了赖以解题的测试期搜索机制。

方法详解¶

整体框架¶

本文针对思考模型的在策略自蒸馏范式进行了形式化解构与微观机理诊断。整体研究包含三个紧密衔接的分析阶段：首先构建具有显式特权上下文控制的在策略蒸馏目标函数，系统探究不同信息密度对生成策略的影响；其次引入基于“分叉-锁定”熵值分布的思维轨迹诊断体系，量化思考展开中的探索分支结构；最后在固定轨迹上实施反事实教师信用分配实验，并在跨展开预算尺度下追踪思考模型推理能力的动态塌陷过程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数学问题 x 与特权参考信息 c"] --> B["特权在策略自蒸馏形式化<br/>构建带特权上下文 c 的自教师目标"]
    B --> C["分叉-锁定诊断体系<br/>依据 top-1 概率熵值划分思维决策点"]
    C --> D["逐 token 散度信用反转分析<br/>比对特权与非特权教师在纠错词处的优势符号"]
    D --> E["预算依赖性缩放评测<br/>在 4k 至 38k 展开预算下评估长思维衰退"]
    E --> F["输出：揭示分叉抑制机理并确立负迁移边界"]

关键设计¶

1. 特权在策略自蒸馏形式化：解耦特权上下文与学生采样的双角色目标 针对现有自蒸馏工作中特权信息注入方式模糊的问题，作者将目标函数统一定义为上下文显式形式。给定输入问题 $x$，学生策略 $\pi_S$ 首先以在策略方式自采样生成完整或截断的思考轨迹 $y \sim \pi_S(\cdot \mid x)$。随后，与学生共享初始权重的自教师策略 $\pi_T$ 接收额外注入的特权上下文 $c$（例如包含完整推理步骤的标准解法 $c_{\text{dense}}$，或仅包含最终答案的稀疏提示 $c_{\text{sparse}}$），并计算学生已采样轨迹的前缀条件概率分布。通过最小化两者的逐 token 散度优化学生参数： $$\mathcal{L}_{\mathrm{OPD}}=\sum_{t} D\left(\pi_{T}(\cdot \mid x, c, y_{<t}), \pi_{S}(\cdot \mid x, y_{<t})\right)$$ 散度度量 $D$ 统一采用对称的 Jensen-Shannon 散度（JSD，混合系数 $\alpha=0.5$）。当 $c=\emptyset$ 时退化为常规无特权 OPD，当教师与学生初始结构相同且 $c \neq \emptyset$ 时即构成特权 OPSD。这一形式化清晰隔离了特权信息密度（稠密解法 vs 稀疏答案 vs 无特权）对策略梯度的具体作用路径。

2. 分叉-锁定诊断体系：量化思维展开中的探索熵值与分支结构 为了探究模型推理轨迹内部的结构性差异，作者借鉴了文本生成中的分叉路径理论，建立了“分叉（Fork）与锁定（Lock）”的微观统计指标。在思考模型生成的思维链中，并非所有 token 都承担同等探索权重：某些位置是高度确定的局部推演（如公式代数变形、模板连接词），而另一些位置则是决定后续走向的高熵决策关键点。作者利用教师预测分布的最大候选概率（Top-Candidate Dominance）进行硬划分： - 分叉位置（Fork Position）：教师分布的最高候选词概率低于阈值（$P_{\text{top}} < 0.25$），表明当前状态存在多个合理的推理延伸方向，模型正在权衡假设或构思新分支； - 锁定位置（Lock Position）：教师分布的最高候选词概率高于阈值（$P_{\text{top}} > 0.65$），表明局部推理高度受限，后续走向基本收敛。通过统计单条展开轨迹中的分叉率（Fork Rate）与锁定率（Lock Rate），研究发现常规指令模型的指标在不同特权密度下保持平缓（分叉率稳定在 0.06 附近），而思考模型在稠密特权教师监督下，分叉率从中位数的 0.083 骤降至 0.035，锁定率则从 0.69 激增至 0.77。这证明特权上下文直接剥夺了思考模型在推理中的分支探索行为。

3. 逐 token 散度信用反转分析：揭示自我纠错标记的负向惩罚机制 为了解释为何分叉率会显著下降，作者实施了固定轨迹上的逐 token 信用分配对比实验。选取一条由学生生成的固定思考轨迹 $y$，分别令无特权教师和特权教师对同一轨迹进行逐 token 打分，计算教师与学生的对数概率比值 $\log \pi_T(y_t \mid y_{<t}, x) - \log \pi_S(y_t \mid y_{<t}, x)$ 作为该 token 所获得的等效优势（Advantage）代理量。实验发现了一个致命的符号反转（Sign Reversal）：当学生在推理中察觉错误并试图开启反思分支时（例如生成“wait”、“hmm”、“but”、“maybe”等认知标记），无特权教师因处于相同的未知状态，会给这些合情合理的反思标记分配正向信用，鼓励模型纠偏；而特权教师因为在输入中早已知晓最终正确解法，将学生的犹豫与重构视作“偏离最优路径的冗余动作”，从而对这些关键的纠错词赋予极大的负向惩罚（例如对“But wait”给出高达 -4.97 的惩罚，对“but”给出 -12.70 的极端负惩罚），反过来奖励那些看似局部流畅却缺乏反思的快速推进短语。这种负惩罚直接导致训练后的学生在测试期大幅减少回溯与验证行为。

4. 预算依赖性缩放评测：暴露长思维链收益塌陷与长度虚假压缩 针对学术界普遍采用的单一长度截断评估盲区，设计了覆盖 4,096、8,192、16,384、32,768 及 38,912 tokens 的跨尺度生成评测协议，每道题采样 16 条展开。实验发现特权自蒸馏呈现出欺骗性的“短预算虚假提升、长预算严重塌陷”的双相曲线：在 4k 至 8k 的严苛短预算下，由于特权蒸馏压制了长反思、使输出向精炼表述靠拢，模型展现出微弱的 pass@1 收益；但随着解码预算放宽至 32k 以上，未蒸馏基线模型能够通过生成数万 token 的深层试错与自我验证实现准确率的急剧上升，而经过特权 OPSD 训练的模型思维链长度被强行截断至基线的 80% 左右，完全失去了测试期算力缩放（Test-time Compute Scaling）带来的高准确率收益，从而最终在数学竞赛题上全面落后。

损失函数 / 训练策略¶

在训练具体实现上，采用 Generalized JSD 散度作为基础优化目标，对称散度超参数固定为 $\alpha = 0.5$。每条样本由学生策略以温度 $1.0$、top-$p=1.0$ 在策略采样一条完成轨迹，训练完成长度上限设为 4,096 tokens，有效批大小（Effective Batch Size）为 64，学习率设置根据模型规模调整（Qwen3-1.7B/4B 与 OLMo-7B 为 $5 \times 10^{-6}$，Qwen3-8B 为 $2 \times 10^{-6}$），采用余弦衰减调度及 10% 步数的热身（Warmup），权重衰减为 0，单轮训练（1 epoch）。数学任务基于 OpenThoughts 15k 清洗子集训练，特权上下文包含完整 reference solution；Countdown 任务基于 15k 训练集，特权上下文为思维后的求解后缀。测试期统一在 vLLM 推理引擎上以温度 0.6、top-$p=0.95$（针对思考模型）生成 16 个采样候选。

实验关键数据¶

主实验¶

在严苛的高难度数学竞赛基准 AIME 2024、AIME 2025 和 HMMT 2025（各 30 道题）上，作者评测了五款思考模型在稠密特权 OPSD 训练前后的 avg@16 准确率变化。评测生成截断长度放宽至 38,912 tokens，充分允许模型展开深层思考。

模型	训练设置	AIME 2024	AIME 2025	HMMT 2025	平均准确率 (Average)	相对变化
Qwen3-1.7B (Thinking)	Base	0.502	0.398	0.215	0.372	基准
Qwen3-1.7B (Thinking)	+OPSD (稠密特权)	0.435	0.302	0.185	0.308	-17.2%
Qwen3-4B (Thinking)	Base	0.727	0.635	0.410	0.591	基准
Qwen3-4B (Thinking)	+OPSD (稠密特权)	0.683	0.556	0.362	0.534	-9.6%
Qwen3-8B (Thinking)	Base	0.758	0.700	0.448	0.635	基准
Qwen3-8B (Thinking)	+OPSD (稠密特权)	0.721	0.613	0.400	0.578	-9.0%
Qwen3-4B-Think-2507	Base	0.804	0.804	0.552	0.720	基准
Qwen3-4B-Think-2507	+OPSD (稠密特权)	0.787	0.731	0.529	0.683	-5.1%
OLMo-7B-Think	Base	0.719	0.667	0.452	0.612	基准
OLMo-7B-Think	+OPSD (稠密特权)	0.715	0.652	0.446	0.604	-1.3%

消融实验¶

1. 特权上下文 vs 在策略蒸馏本身（Qwen3-1.7B 在 OpenThoughts 上的对比） 为了证明性能退化根源在于“特权上下文”而非“在策略蒸馏算法”，作者在同等训练与评测超参数下对比了无特权较大教师（Qwen3-8B）与特权教师的实验结果。

配置 / 训练范式	教师类型	教师特权信息	AIME24	AIME25	HMMT25	平均准确率	核心说明
Base (Qwen3-1.7B)	-	-	0.502	0.398	0.215	0.372	未训练基线
+Vanilla OPD	Qwen3-8B	无 ($c=\emptyset$)	0.540	0.385	0.252	0.392	无特权常规蒸馏，性能显著提升 (+2.0%)
+OPD (Gold Demo)	Qwen3-8B	稠密标准解法	0.467	0.344	0.240	0.350	大教师引入特权信息后反而跌破基线 (-2.2%)
+OPSD (Gold Demo)	自教师 (1.7B)	稠密标准解法	0.435	0.302	0.185	0.308	自教师特权蒸馏导致最严重衰退 (-6.4%)

2. 认知与审思标记密度消融（基于 7,200 条成对展开轨迹分析） 对五款思考模型在基准题上的 7,200 条配对轨迹统计三类显式审思标记的出现频率（每 1,000 个 token 的发生频次，/1k），排除了单纯轨迹变短造成的假象。

标记类别 (Marker Family)	代表性词汇	Base 密度 (/1k)	OPSD 密度 (/1k)	密度变化 $\Delta$ (/1k) [95% CI]	绝对计数变化 [95% CI]
验证标记 (Verification)	check, verify, double check	1.63	1.35	-0.28 [-0.32, -0.25]	-8.8 [-9.5, -8.1]
回溯标记 (Backtracking)	wait, actually, wrong, mistake	6.45	6.29	-0.16 [-0.32, -0.02]	-23.5 [-29.0, -19.1]
试探/对冲标记 (Hedging)	maybe, probably, might, seems	3.79	3.62	-0.17 [-0.25, -0.10]	-17.0 [-18.5, -15.5]

关键发现¶

指令模型获益与思考模型受损的双重分化：在 Countdown 任务中，普通指令模型 Qwen3-4B-Instruct 通过 OPSD 准确率从 0.527 提升至 0.559，OLMo-7B-Instruct 从 0.474 提升至 0.494；而对应的思考模型性能却基本持平或反向微跌。在 SD-Zero 自修订流水线中，自修订阶段对两类模型均有助益，但后续的 OPSD 阶段使指令模型进一步提升 2.6 个点，却使思考模型暴跌 3.3 个点。
信息密度的单调危害效应：稀疏特权（仅提供最终 boxed 答案）对思考模型的损害相对温和，轨迹长度压缩较轻；而稠密特权（完整步骤解法）提供了过强的局部捷径，在长展开预算下对 pass@1 和 pass@16 造成的杀伤力最大，平均轨迹长度缩水 20% 以上。
长预算能力断崖式塌陷：当评测预算限制在 4k 时，OPSD 训练模型因删除了冗余思考步骤表现良好甚至略胜基线；然而一旦预算开放至 32k-38k，基线模型能够通过不断尝试新分支逼近正确答案，而 OPSD 模型因分叉机制受损陷入早熟收敛，长程测试期扩展曲线完全被抹平。

亮点与洞察¶

发现了特权监督在思考模型上的“认知反转诅咒”：特权解法为教师提供了全知视角（God's Eye View），但学生在测试期必须面临信息不完备下的盲目搜索。用全知教师的逐 token 似然监督盲态搜索的学生，本质上是在用“结果正确性”强行抹杀“探索必要性”。
提出了“分叉抑制”（Fork Suppression）机制理论：指出思考模型的推理本质是高熵分支树的搜索，纠错词（如“wait”）是开启树搜索回溯分支的关键算子；特权蒸馏直接阉割了这一底层算子，给未来思考模型的蒸馏设计提供了明确的避坑指南。
确立了长程 Agent 与思考模型蒸馏的方法论启示：如 Cursor 的 Composer 2.5 等长程智能体训练实践中，针对教师端注入的特权反馈必须极度谨慎，未来可行的自蒸馏应仅保留靶向稀疏提示，或显式屏蔽高熵分叉词处的散度惩罚。

局限与展望¶

缺乏因果干预直接验证：论文主要通过观察性相关分析、熵值统计和成对打分证实分叉抑制现象，尚未能在反向传播过程中通过完全孤立或强行阻断分叉词梯度来建立百分之百的因果闭环。
尚未提出完备的救赎方案：作者诚恳地指出本文是一篇系统性的“负结果报告”（Negative Result），尚未提出一套既能利用特权解法优势又不会损伤思考分叉率的全新正则化损失或过滤机制。
任务边界局限在可验证数学领域：当前的所有定量验证均集中在答案易于验证的数学与 Countdown 场景，对于持续学习或长文本事实问答等开放域任务中的特权自蒸馏动力学尚待进一步拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统揭露并深度解构了特权在策略自蒸馏在思考模型上的失效困境，机制解释深刻透彻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 款主流模型、两大多样化任务、3 档测试期预算曲线以及 7,200 条成对轨迹微观诊断，证据链极其严密。
写作质量: ⭐⭐⭐⭐⭐ 叙述层层递进，从宏观现象到微观分叉分析结构浑然一体，洞察力极强。
价值: ⭐⭐⭐⭐⭐ 为当前大热的 Reasoning / Thinking 模型自进化与后训练蒸馏领域敲响了关键警钟，极具指导意义。