Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning¶

会议: NeurIPS 2026
arXiv: 2605.08741
代码: https://github.com/zzy1127/OPHSD-On-Policy-Harness-Self-Distillation
领域: 模型压缩
关键词: 在策略蒸馏, 自蒸馏, 推理脚手架, 复杂推理, 知识蒸馏

一句话总结¶

提出了在策略脚手架自蒸馏（OPHSD），将外部推理脚手架（如检索比对、规划求解）产生的程序化监督信号通过反向 KL 散度内化到模型自身权重中，摆脱了推理期对昂贵外挂系统的依赖并实现更优独立推理性能。

研究背景与动机¶

在复杂数学推导、专业法律分类以及长程决策等任务中，大语言模型若直接进行自回归生成往往十分脆弱，容易在中间推理步累积错误或遗漏长上下文关键线索。为了缓解这一瓶颈，近年来产业界与学术界广泛采用外挂推理脚手架（Inference-time Harness）——例如草稿-验证（Draft-Verify）、规划-求解（Plan-Solve）或多智能体交互编排系统。这些脚手架通过状态流转、动态检索和中间验证等外部程序显著提升了系统输出的可靠性。然而，这种提升完全来自外部工作流的堆叠，底座模型本身的内在能力并未发生任何质变；一旦撤下脚手架，模型依然面对原有的推理脆弱性。

这种外部系统与模型本体的割裂不仅带来了成倍的推理延迟、token 开销和工程复杂度，也引出了深刻的技术矛盾：现有后训练方案难以将脚手架蕴含的程序化推理能力有效注入模型参数中。监督微调（SFT）仅仅模仿静态示范，无法教授自适应的问题分解与验证机制；强化学习（RL，如 GRPO）依赖稀疏的任务级奖励，样本效率低且难以指引复杂推理路径上的关键节点；而常规的在策略自蒸馏（如 OPSD、SDFT）通常只将验证过的真实答案或静态提示词作为特权信息直接追加到提示中，向教师模型提供了“正确答案是什么”的信息特权，却缺失了“如何逐步推导与验证”的程序化认知指引。

本文的切入视角是：推理脚手架不应当作为部署时永久绑定的外挂假肢，而应当作为训练期的临时认知脚手架，将其诱导出的优质推理轨迹与中间状态反哺给底座模型自身。核心 idea：提出在策略脚手架自蒸馏（OPHSD），由当前学生策略在动态脚手架包裹下交互生成增强的终端上下文，驱动冻结的底座教师提供密集的 token 级反向 KL 监督，将原本依赖外部编排的程序化推理能力永久内化至学生参数中，实现推理期完全脱离脚手架的独立高效推理。

方法详解¶

整体框架¶

OPHSD 将特权信息学习（LUPI）范式推广至程序化工作流层面。在训练阶段，算法维护两个并行的 rollouts：一方面，当前学生模型针对裸输入直接生成一条自回归推导轨迹；另一方面，学生模型与可执行的确定性脚手架程序进行多轮交互，并引入训练期特权输入（如在线案例记忆库或真实解题答案），从而构造出经过结构化增强的终端上下文。随后，以冻结的初始模型作为教师，在该增强终端上下文下计算密集 token 级概率分布，并通过反向 KL 散度约束裸输入的学生输出分布。在推理阶段，外部脚手架被完全移除，学生模型完全依托参数化先验独立完成高质量推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题 x 与特权输入 z(x)"] --> B["动态脚手架特权上下文构造<br/>学生与脚手架交互生成增强终端上下文"]
    A --> C["学生策略独立采样<br/>裸输入下抽取轨迹 y^ ~ p_θ(·|x)"]
    B --> D["教师策略条件分布评估<br/>基于终端上下文计算目标 logits"]
    C --> E["解耦在策略反向KL优化<br/>token 级反向 KL 蒸馏更新学生参数"]
    D --> E
    E --> F["推理期完全脱离脚手架<br/>学生模型无外挂独立高效推理"]

关键设计¶

1. 动态脚手架特权上下文构造：将静态特权变量升级为程序化工作流

传统自蒸馏方法将特权信息局限于静态标量或文本串（如标准答案、环境报错日志），导致教师仅具备信息层面的先验，无法向学生传授推导过程中的元认知策略。OPHSD 将脚手架抽象为以学生模型为驱动的确定性状态机 $H_\theta$。设内部状态为 $s_t$，脚手架通过连续 $T$ 次查询学生模型 $c_t \sim p_\theta(\cdot \mid s_{t-1}, x)$ 并执行确定性状态转移 $\tau(s_t \mid s_{t-1}, c_t)$，最终将输入 $x$ 与训练期特权信息 $z(x)$ 编排转化为结构化的终端上下文 $\mathcal{C}[H_\theta(x, z(x))]$。该机制将外部系统的工作流逻辑显式转化为可被条件概率建模的监督载体。

2. 解耦的在策略反向KL优化：平衡动态演进与教师先验稳定性

在获得增强终端上下文后，若直接更新全系统容易引发策略崩溃。OPHSD 采用双重解耦机制：脚手架中的模型交互由动态学生参数 $\theta$ 驱动，使生成的认知轨迹随着学生能力的提升而持续演进；但教师模型的 logits 评估则由冻结在初始化权重的底座模型 $\tilde{\theta}$ 充当，并将终端上下文作为停止梯度的条件变量。学生直接生成的裸输出 $\hat{y} \sim p_\theta(\cdot \mid x)$ 上的每一个 token，均受到教师在增强上下文下的反向 KL 散度监督： $$\mathcal{L}_{\mathrm{OPHSD}}(\theta) = \mathbb{E}_{x\sim\mathcal{S}}\;\mathbb{E}_{\hat{y}\sim p_\theta(\cdot\mid x)}\frac{1}{|\hat{y}|}\sum_{n=1}^{|\hat{y}|}\mathrm{KL}\Big(p_{\tilde{\theta}}\big(\cdot\mid\mathcal{C}[H_\theta(x,z(x))],\,\hat{y}_{<n}\big)\;\Big\|\;p_\theta\big(\cdot\mid x,\,\hat{y}_{<n}\big)\Big)$$ 这种设计既避免了强化学习的稀疏奖励分配难题，又防止了动态教师产生高方差漂移，确保学生学到的是稳健的程序化推导习惯。

3. 任务适配的双重认知先验实例化：针对分类与推导定制专用脚手架

为了验证框架的通用性，本文分别在文本分类与数学推导两大认知模态上实例化了两种经典脚手架： - 草稿-验证（Draft-Verify）脚手架：面向细粒度文本与法律罪名预测。特权信息设定为在线案例记忆库 $z(x) = \mathcal{M}_{<x}$。脚手架分两步执行：首先基于句子嵌入相似度检索 $k_d=5$ 个相近案例生成草稿预测 $\hat{y}_d$；随后以草稿为锚点在库中检索 $k_+=5$ 个同类别确认项（confirmers）与 $k_-=5$ 个异类别挑战项（challengers），组合成最终上下文 $\mathcal{C} = (x, \hat{y}_d, \mathcal{N}_+(x), \mathcal{N}_-(x))$，促使模型内化双向比对鉴别先验。 - 规划-求解（Plan-Solve）脚手架：面向复杂数学推理。特权信息设定为标准参考解答 $z(x) = y^\star$。脚手架强制引入两阶段协同：规划阶段要求模型先结合问题与标准答案提炼出高阶策略大纲 $s \sim p_\theta(\cdot \mid x, y^\star)$，求解阶段再由模型根据 $(x, s)$ 展开代数推导。教师终端上下文设定为 $\mathcal{C} = (x, s)$。与 OPSD 直接将 $y^\star$ 原文字面量拼接给教师不同，该脚手架迫使教师输出必须依托规划大纲，从而向学生灌输在计算前明确枚举边界与结构拆解的思考范式。

损失函数 / 训练策略¶

模型基于 verl 强化学习与后训练框架构建，基座统一采用 Qwen3-8B。文本分类任务在 8×H100 GPU 上训练 300 步（每 15 步评估一次），数学任务训练 150 步（每 10 步评估一次）。优化器采用 AdamW，学习率设为 $1\times 10^{-6}$，全局有效批大小（batch size）为 64，最大生成长度截断为 8192 tokens。在规划-求解脚手架中，规划阶段使用较低的温度系数（$T=0.3$）保证结构稳定性，求解阶段使用较高温度（$T=0.6$）保持推理多样性。

实验关键数据¶

主实验¶

在在线文本分类（包含 215 个罪名分类的 LawBench、10 分类的 USPTO 化学反应预测）以及四大顶尖竞赛级数学基准（AIME 2024、AIME 2025、OlympiadBench、HMMT 2025）上，OPHSD 与强化学习基线 GRPO、标准自蒸馏 OPSD 及紧凑蒸馏 CRISP 进行了严格对比。

基准任务 / 数据集	评估指标	Qwen3-8B 裸模型	GRPO	OPSD	OPHSD（本文）	相对 OPSD 提升
LawBench（法律罪名分类）	F1 分数 (%)	55.29	62.44	64.25	69.51	+5.26%
USPTO（化学反应分类）	准确率 (%)	30.07	90.01	88.01	90.81	+2.80%
AIME 2024（竞赛数学）	pass@8 (%)	23.33*	83.33	80.00	79.17	-0.83%
AIME 2025（竞赛数学）	pass@8 (%)	16.67*	60.00	63.33	61.67	-1.66%
OlympiadBench	pass@8 (%)	55.88*	77.94	80.88	83.82	+2.94%
HMMT 2025	pass@8 (%)	6.67*	45.00	42.50	53.33	+10.83%
数学基准平均（4项）	pass@8 (%)	25.64*	66.57	66.68	69.50	+2.82%

*(注：基座模型在数学任务上列出的是不带外挂的 pass@1 基线得分；带 Plan-Solve 脚手架时基座平均 pass@1 为 43.47%)。

消融实验：推理期重新挂载脚手架对比¶

为了验证模型是否真正将脚手架能力内化到参数中，论文对比了训练完成的 OPHSD 模型在“裸机独立运行”与“推理期重新挂载脚手架”下的表现差异。

模型配置	LawBench (F1)	USPTO (Acc)	数学四项平均 (pass@8)	HMMT 2025 (pass@8)
OPHSD（无外挂，独立推理）	69.51%	90.81%	69.50%	53.33%
OPHSD + Harness（重新挂载脚手架）	68.41%	83.62%	69.13%	53.33%
挂载脚手架后的性能变化	-1.10%	-7.19%	-0.37%	0.00%

关键发现¶

脚手架干扰效应（Harness Interference）：在分类任务中，重新接入外部草稿-验证脚手架反而导致性能显著下跌（USPTO 暴跌 7.19%，LawBench 下降 1.10%）。案例分析表明，蒸馏后的学生在权重中已自发掌握双向的“回忆-权衡-裁决”回路，而外挂脚手架的单向余弦检索会用表层相似的高频错误案例冲垮学生内部的细致思辨。
内化推理范式而非死记硬背：GPT-4o 裁判评测显示，在无任何外部检索的情况下，OPHSD 训练后期的思维链自发引述判例与对比权衡的比例（Cite Rate）从初期的 7.5% 跃升至 90%~97.5%，而 GRPO 和 OPSD 始终低于 10%。这证明模型内化的是脚手架的论证结构，而非死记库中样本。
推理长度与抗崩溃特性：直接将标准答案拼接作为前缀的 OPSD 在训练超过 40 步后思维链长度发生崩溃，导致后续推理性能急剧衰退；而 OPHSD 依托高阶规划引导，在精简无效冗余步骤的同时维持了健康的推理展开深度。
优势高度集中于极难问题：按基座模型难度分桶显示，Easy 分组各方法均逼近上限；而 Hard 分组中 OPHSD 展现出压倒性优势，数学难题相对提升 +22.9%，LawBench 提升 +33.8%，USPTO 提升 +90.4%。

亮点与洞察¶

训练脚手架与推理脚手架的范式解耦：首次确立了外挂编排系统可以仅作为训练阶段的临时引导结构（Scaffolding），其程序化推理增益能够被无损甚至超额内化到模型权重中，推翻了“复杂推理必须绑定重型 Runtime”的工程定势。
解决标准自蒸馏的信息空转弊端：指出了 OPSD 等前缀自蒸馏因缺乏推导中介而易陷入捷径学习与长度崩溃的根本缺陷，通过中介规划器（Mediating Planner）构建了认知阻尼，使密集监督既包含目标又包含求解结构。
清晰界定了脚手架可蒸馏性边界（Distillability Boundary）：系统阐明了纯程序化认知先验（如分解、自审）完全可蒸馏、带动态上下文的推理范式部分可蒸馏、而依赖实时外部环境交互与代码执行器的信息获取则不可蒸馏的理论分界。

局限与展望¶

外部交互型脚手架不可完全内化：对于必须依赖实时数据库检索、实时代码解释器运行等物理交互的工具脚手架，由于学生缺乏外部环境反馈通道，该方法无法将外部物理事实无中生有地蒸馏进权重中。
脚手架结构的探索范围有限：当前仅验证了串行的 Draft-Verify 与 Plan-Solve 两种经典双阶段范式，未来有待扩展到复杂图结构、自主动态停止以及大规模多智能体辩论脚手架的自蒸馏。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了推理脚手架常驻部署的惯性认知，将工作流编排创新性引入在策略自蒸馏框架中。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖法律、化学与竞赛数学三类高难度基准，并深入剖析了思维链内化模式、引用率演进与难度分层。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，界定了可蒸馏性理论边界，案例剖析与机制解释极为透彻。
价值: ⭐⭐⭐⭐⭐ 为轻量化、低延迟的大模型复杂推理部署提供了极具工业落地价值的后训练新范式。