跳转至

From Rollouts to Recipes: Self-Contained Post-Training for LLMs

会议: EMNLP 2026
论文: ACL Anthology
领域: 对齐/RLHF
关键词: 大语言模型后训练、强化学习、Self-Routing、自监督蒸馏、动态样本路由

一句话总结

针对现有可验证任务后训练统一采用单一优化目标、忽略样本学习状态差异的缺陷,本文提出无需外部教师的 Self-Routing 框架,依据采样采样的正确率与置信度动态将样本路由至 GRPO、链上自蒸馏、正则化或跳过,在数学推理任务上显著优于统一配方及固定混合基线。

研究背景与动机

后训练(Post-Training)已成为提升大语言模型在数学推理、代码生成等可验证任务上推理能力的核心阶段。在这类具有确定验证信号的任务中,基于结果验证器(Verifier)的强化学习(如 PPO、GRPO、DAPO)能够直接利用答案正确性提供稀疏奖励,无需依赖昂贵且往往存在分布偏差的人工过程监督或长推理思维链(CoT)标注。然而,现有的后训练流水线几乎普遍采用“全局单一配方(Global Training Recipe)”,即在整个训练集上对所有样本无差别地应用相同的优化算法或固定的目标混合比例。

这种全局统一视角忽视了一个关键事实:模型自身在当前策略下生成的 rollouts 已经充分暴露了样本级(sample-level)的学习状态异质性。例如,某些样本多次采样全部失败,在验证器奖励下无法提供任何相对优势对比梯度;某些样本展现出部分正确与部分错误,正处于强化学习探索收益最高的敏感区间;还有一些样本已被模型高置信度完全掌握,持续施加激进梯度反而可能引发过度拟合与策略漂移;更糟糕的是,部分高置信度却反复错误的样本可能只是带来高方差的噪声干扰。现有方法虽有初步启发式处理(如过滤掉全对/全错样本,或在推理期通过自洽性投票与熵重排序),但多局限于“选样本”或“选答案”的粗粒度二元决策,并未回答核心的优化选择问题。

本文的切入视角是实现“从采样到配方(From Rollouts to Recipes)”的范式跃迁:模型采样的行为信号不应仅仅作为数据筛选的闸门,而应作为决定样本该如何被优化的内生状态依据。更重要的是,这一过程必须完全自包含(Self-Contained),不依赖外部更强教师模型、离线专家轨迹或额外采样开销。核心 idea:利用策略模型自身 on-policy rollouts 的正确率分解与 token 预测熵置信度校准构建样本行为状态,动态将每个样本自适应路由至 GRPO 探索、同模型引导的链上自蒸馏(OPSD)、策略正则化(REG)或直接跳过(SKIP)四种互斥配方中进行梯度更新。

方法详解

整体框架

Self-Routing 运行在标准的强化学习后训练循环中,针对批次中的每个 prompt 样本,策略模型首先生成一组 on-policy rollouts,并通过环境验证器评估每条轨迹的答案正确性;随后,系统提取轻量级行为信号,将样本映射到连续行为空间并计算各训练配方的概率分布,将批次样本划分为四个互斥队列分别计算损失,最后汇聚有效队列的梯度更新模型策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 批次 𝓓<br/>策略模型采样 G 条 on-policy rollouts"] --> B["正确率分解与置信度校准<br/>计算经验正确率 ax 与序列熵 cx"]
    B --> C["行为状态到配方概率映射<br/>计算四分支路由打分与分类采样"]
    C --> D{"互斥队列划分与多配方梯度聚合"}
    D -->|Bg 队列: 混合正确性| E["GRPO 探索更新<br/>组内相对优势对比优化"]
    D -->|Bo 队列: 低正确低置信| F["自包含链上自蒸馏 OPSD<br/>同底模真值引导教师轨迹拟合"]
    D -->|Br 队列: 高置信已解决| G["策略正则化约束 REG<br/>约束更新与参考模型 KL 散度"]
    D -->|Bs 队列: 高置信持续失败| H["动态跳过更新 SKIP<br/>零梯度剔除低信噪比噪声"]
    E --> I["聚合有效队列梯度更新模型 𝝅𝜽"]
    F --> I
    G --> I

关键设计

1. 正确率分解与置信度校准:从离散采样到连续行为状态表征 传统的全对/全错硬划分在分组采样数 \(G\) 较小(如 \(G=8\))时极易因单条轨迹的偶发对错产生路由震荡,且无法刻画模型解题的确定度。为此,本文设计了两个互补的轻量级信号。首先是经验正确率的连续分解:对验证器给出的 \(G\) 个离散回报 \(r_i \in \{0, 1\}\),计算经验正确率 \(a_x = \frac{1}{G}\sum_{i=1}^G r_i\),随后通过三个高斯核中心(0、0.5、1)平滑映射为低正确率 \(l_x\)、不确定度 \(m_x\) 和高正确率 \(h_x\) 的隶属度权重向量 \(\omega(a_x) = [l, m, h]\),核宽度分别固定为 \(\sigma_l = \sigma_h = 0.18, \sigma_m = 0.16\)。其次是批次校准的模型内生置信度:对生成轨迹在各 token 预测分布上的信息熵进行全序列平均得到 \(\bar{H}(o_i, x)\),经批次内极值归一化转化为单条置信度,并在组内平均得到样本置信度 \(c_x\);再通过减去批次均值 \(\bar{c}_B\) 得到相对偏差 \(\Delta c_x = c_x - \bar{c}_B\) 与归一化分量 \(\varphi(c_x) = (\tilde{c}, \tilde{c}^+, \tilde{c}^-, \Delta c)\)。由此构建出的行为状态 \(b_x = (\omega(a_x), \varphi(c_x))\) 兼顾了外部验证表现与内部认知状态。

2. 行为状态到配方概率映射:四分支可解释路由打分规则 如何将连续行为表征转化为最优的优化配方?作者通过诊断实验发现:正确率处于中间过渡带的样本具有最显著的组内奖励方差,最适合 RL 探索;低正确率且低置信度的样本虽然无法产生有效奖励对比,但模型尚未形成错误偏执,最适合通过蒸馏注入密集监督;高正确率且高置信度的样本已高度稳定,过度优化会导致遗忘或过拟合;而高置信度却反复错误的样本往往属于难题甚至死胡同,强行拟合只会破坏策略。据此,系统定义了四个具备强可解释性的显式打分函数: $\(s_{\text{GRPO}} = m + h(1 - \tilde{c}) + l(1 - \tilde{c}^-) \cdot \tilde{c}\)$ $\(s_{\text{OPSD}} = l(1 - \tilde{c}^-)\)$ $\(s_{\text{REG}} = h \cdot \tilde{\Delta c} \cdot \tilde{c}^+\)$ $\(s_{\text{SKIP}} = l \cdot \tilde{c}^- \cdot \tilde{c}\)$ 打分经归一化后构成多项分布概率向量 \(p_x\),每个样本通过分类采样(Categorical Sampling)独立分配到单一训练配方 \(t_x \sim \text{Categorical}(p_x)\) 中。采样机制有效防止了大量边界样本在训练初期发生单一分支坍塌。

3. 自包含链上自蒸馏 OPSD:无外部教师的密集纠错机制 当样本被分配至 \(B_o\) 队列时,验证器稀疏的 0/1 奖励已失效,但盲目引入外部大模型蒸馏会导致推理风格、思考长度和分布的严重不匹配。本文采用自包含的链上自蒸馏(On-Policy Self-Distillation, OPSD):在离线预处理阶段,直接利用与当前策略同架构的基座模型,在输入中追加真实最终答案作为前置提示,引导模型自身生成可验证正确的解题轨迹 \(y_x^T = (y_{x,1}^T, \dots, y_{x,T_x}^T)\),并在后训练中重复复用。对于处于低正确率、低置信状态的样本,学生模型在这些自身原本答错的真实状态空间中,直接对齐自身底模引导生成的正确 token 分布,实现无外部依赖的高质量密集梯度纠偏。

4. 策略正则化与动态跳过:保障训练稳定性与信噪比 对于完全解决且置信度高企的样本(\(B_r\) 队列),模型不再执行激进的策略梯度或蒸馏更新,而是施加基于参考模型 \(\pi_{\text{ref}}\) 的 KL 散度约束 \(\mathcal{L}_{\text{REG}} = \frac{1}{|B_r|}\sum_{x \in B_r} D_{\text{KL}}(\pi_\theta(\cdot|x) \parallel \pi_{\text{ref}}(\cdot|x))\),以较低算力成本稳固解题表征,防止策略漂移破坏通用泛化能力。对于高置信度持续失败的低信噪比样本(\(B_s\) 队列),系统直接令 \(\mathcal{L}_{\text{SKIP}} = 0\) 并在当前更新步中将其完全跳过,既避免了负向噪声梯度的污染,又节约了昂贵的反向传播算力。

损失函数 / 训练策略

在每个训练步中,批次样本被划分为互斥的四个子集 \(B_g, B_o, B_r, B_s\)(大小记为 \(n_g, n_o, n_r, n_s\))。模型仅对活跃队列汇总加权损失: $\(\mathcal{L} = \frac{n_g \mathcal{L}_{\text{GRPO}} + n_o \mathcal{L}_{\text{OPSD}} + n_r \mathcal{L}_{\text{REG}}}{n_g + n_o + n_r}\)$ 其中 \(\mathcal{L}_{\text{GRPO}}\) 采用基于组内均值 \(\mu_x\) 与标准差 \(\sigma_x\) 标准化优势 \(A_i = \frac{r_i - \mu_x}{\sigma_x + \epsilon}\) 的 PPO-clip 目标;\(\mathcal{L}_{\text{OPSD}}\) 采用自生成的真实答案引导轨迹的交叉熵损失;\(\mathcal{L}_{\text{REG}}\) 为 KL 正则项。SKIP 分支完全不产生梯度且不计入分母。训练基于 ms-swift 框架在 8×A100 节点上执行,超参数 \(G=8\),高斯核中心与方差全局固定,训练集为 DAPO-Math-17K。

实验关键数据

主实验

论文在 Qwen3 与 Qwen3.5 两个系列、跨越 0.6B 至 4B 六种模型规模上,全面评估了领域内(ID)数学推理(GSM8K、MATH-500、AIME24、AIME25)与分布外(OOD)通用推理(MMLU-Pro、GPQA-diamond)表现。

模型 方法 GSM8K (ID) MATH-500 (ID) AIME24 (ID) AIME25 (ID) MMLU-Pro (OOD) GPQA-dia. (OOD) 宏平均 (Avg.)
Qwen3-0.6B Base 65.8 35.7 11.6 8.7 23.4 20.6 27.6
Naive-GRPO 70.4 42.8 13.9 10.5 20.9 22.1 30.1
Naive-OPSD 71.6 44.1 13.5 11.4 21.5 21.7 30.6
Self-Routing 73.2 45.8 15.6 13.0 22.6 23.8 32.3
Qwen3-1.7B Base 77.1 44.3 33.7 24.2 51.4 34.2 44.1
Naive-GRPO 81.6 50.4 39.6 29.8 47.9 37.8 47.9
Naive-OPSD 83.4 52.1 42.7 32.4 49.3 39.1 49.8
Self-Routing 86.8 55.9 46.3 36.7 50.6 42.5 53.1
Qwen3-4B Base 82.3 54.4 66.9 54.1 59.2 49.3 61.0
Naive-GRPO 89.6 62.8 74.3 65.4 54.6 53.8 66.8
Naive-OPSD 93.5 66.1 79.4 70.2 56.4 56.7 70.4
Self-Routing 95.2 69.8 83.6 74.9 58.1 60.4 73.7
Qwen3.5-0.8B Base 32.9 18.3 4.9 3.1 37.1 8.8 17.5
Naive-GRPO 38.6 22.7 6.8 4.7 33.8 11.3 19.6
Naive-OPSD 39.8 24.1 6.4 5.5 34.7 10.9 20.2
Self-Routing 43.1 26.8 8.6 7.3 36.0 13.6 22.6
Qwen3.5-2B Base 69.1 44.2 24.1 17.3 57.4 31.5 40.6
Naive-GRPO 77.9 50.7 36.8 28.1 53.8 36.9 47.4
Naive-OPSD 80.8 54.3 42.5 32.6 55.1 39.7 50.8
Self-Routing 84.6 58.2 48.4 38.5 56.7 44.3 55.1
Qwen3.5-4B Base 87.4 77.2 78.9 76.8 71.6 69.1 76.8
Naive-GRPO 91.3 81.7 84.2 82.5 66.8 72.3 79.8
Naive-OPSD 93.4 84.8 88.6 86.7 68.7 75.9 83.0
Self-Routing 96.1 88.3 93.2 91.4 70.9 79.6 86.6

消融实验

论文在 Qwen3-4B 上系统探究了路由机制与组件设计的有效性,包括不同路由变体以及核心算法分支的剥离实验(数据源自论文 Table 4 与消融分析)。

配置 / 变体 ID 数学推理平均 OOD 可验证推理 (OOD-V) 通用评测 (General) 机制说明
完整 Self-Routing 80.9 71.1 59.3 基于正确率分解 + 置信度校准 + 行为状态四路路由
仅正确率路由 (Accuracy-only) 79.6 70.4 58.1 移除置信度信号,仅依据经验正确率硬阈值或分段路由
去除置信度校准 (w/o conf. calibration) 79.0 70.0 57.2 使用原始序列平均熵,不进行批次内自适应归一化与均值去偏
仅置信度路由 (Confidence-only) 74.2 67.6 54.8 仅依赖 token 预测熵路由,完全缺乏任务正确性指示
去除行为分配映射 (w/o behavior assignment) 77.8 69.0 56.4 打乱或简化启发式打分映射,无法精准对齐状态与配方收益
去除保守分支 (w/o REG/SKIP) 79.1 70.3 56.9 仅保留 GRPO 与 OPSD 两路,所有样本必须强制参与激进更新
Naive-OPSD(全量统一蒸馏) 77.3 69.5 56.6 全量样本统一执行 OPSD,无样本自适应分配
Naive-GRPO(全量统一强化学习) 73.0 68.5 54.2 全量样本统一执行 GRPO,忽略样本组内收益差异

关键发现

  • 样本状态自适应压倒全局统一目标:在全部 6 个模型尺度上,Self-Routing 相比单一配方的优势显著扩大。在 Qwen3-4B 上,平均分达 73.7,较 Naive-GRPO(66.8)提高 6.9 分,较 Naive-OPSD(70.4)提高 3.3 分;在 Qwen3.5-4B 上达到 86.6,大幅领先基线。
  • 动态训练阶段的天然演进(Training Dynamics):统计训练全过程的路由比例积分显示,四分支总体占比为 GRPO 30.8%、OPSD 30.4%、REG 25.5%、SKIP 13.3%。早期阶段模型解题能力弱,OPSD 占比超过 50% 担任纠偏主力;中期模型掌握基础解题技巧后,展现出大量高方差采样,GRPO 比例达到峰值进行密集探索;后期大多数样本已被牢固掌握,REG 快速攀升成为主导以稳固策略防漂移;SKIP 随训练进行逐步下行。
  • 算力效率的结构性再分配:FLOPs 理论分析(归一化为 \(NTBL\))显示,当采样数 \(G=8\) 时,全量 Naive-GRPO 消耗 \(8G = 64.0\),Naive-OPSD 为 \(2G+8 = 24.0\),而 Self-Routing 为 \(3.848G + 3.962 = 34.7\)。Self-Routing 并非单纯降低时钟耗时,而是将昂贵的强化学习反向传播按需精准分配给最需要探索的 30% 样本,以仅为全量 GRPO 约 54% 的计算开销获得了远超后者的能力提升。
  • 抑制 OOD 通用遗忘:数学后训练普遍会在通用理解基准 MMLU-Pro 上出现精度掉点(如 Qwen3-4B Base 从 59.2 掉至 GRPO 的 54.6 与 OPSD 的 56.4),但 Self-Routing 仅微跌至 58.1,显著缓解了对非数学任务的破坏,印证了 REG 约束与非统一更新对保留基模原始能力的价值。

亮点与洞察

  • 将采样行为从“数据选择”升级为“优化配方选择”:打破了过去将强化学习采样的正确率/熵仅仅用于“要不要这个样本(filtering)”或“选哪个答案(voting)”的狭隘认知,把采样行为提升为后训练流水线的核心路由调度中枢。
  • 优雅自包含的闭环闭门造车:整个系统无需引入外部性能更强的 Teacher 大模型,亦无需昂贵的人工标注与双重推理采样。通过同一基座模型前置拼接真实答案生成的 OPSD 轨迹,既解决了无外部教师问题,又消除了跨模型生成风格与长度偏差带来的负面迁移。
  • 可迁移的自适应混合训练范式:该框架的“状态评估-概率打分-互斥队列-加权汇聚”设计具有极佳的解耦性,可以无缝扩展至代码生成、多模态推理甚至智能体规划等任何具备验证信号的后训练任务中。

局限与展望

  • 理论机理与最优配方映射仍显经验主义:作者承认,目前将“混合正确性”对齐 GRPO、“低正确低置信”对齐 OPSD 的映射主要依赖经验诊断实验与直觉,尚缺乏严格的优化动力学理论证明为何某种采样分布数学上最契合特定损失。
  • 应用范围局限于显式可验证任务:实验集中于数学推理及衍生验证基准(SATBench、AutoLogi、LiveCodeBench)。在缺乏明确 Ground-truth 验证器的开放域生成、复杂智能体长程规划或主观对话对齐中,如何自包含地提取可靠奖励与置信度仍待探索。
  • OPSD 前置答案依赖:离线生成教师轨迹仍需提前获知样本真实答案,在完全无监督或纯探索的强化学习场景下仍面临一定初始化约束。

相关工作与启发

  • vs Naive-GRPO / DAPO / PODS: 传统 RLVR 方法全局统一施加策略梯度,在全错样本上缺乏梯度、在全对样本上徒增方差。Self-Routing 将 GRPO 局限在具备奖励反差的区间内,结合 OPSD 解决冷启动全错难题,结合 REG 解决过拟合。
  • vs GKD / On-Policy Distillation: 传统链上蒸馏多依赖外部更强教师模型输出,面临严重的表征与推理分布失配。Self-Routing 采用同模型+真值条件化的 OPSD,完全自给自足且风格自洽。
  • vs 数据筛选与课程学习 (Curriculum / VCRL): 课程学习关注“先训简单还是先训困难”的时序排期,数据筛选关注“保留还是剔除”。Self-Routing 解决的是正交且更深层的问题——在样本已经被抽出的前提下,动态决定“用什么数学目标去优化它”。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出以 on-policy rollout 行为特征动态路由强化学习后训练配方的自包含范式,概念新颖且视角具有启发性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖跨两代 Qwen 架构共 6 个参数量级,包含详尽的 ID/OOD 评测、路由消融、全生命周期训练动力学以及理论 FLOPs 剖析。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,动机层层递进,形式化定义清晰规范,消融实验设计严整。
  • 价值: ⭐⭐⭐⭐⭐ 为 RLVR 与大模型推理后训练提供了极具落地可行性的自适应工程模板,有助于大幅提升后训练信噪比与算力利用率。