Beyond What Seems Necessary: Hidden Gains from Scaling Training-Time Reasoning Length under Outcome Supervision¶
会议: NeurIPS 2026
arXiv: 2602.00927
OpenReview: https://openreview.net/forum?id=Zz2YaAr1JB
领域: others
关键词: 大语言模型, 思维链推理, 循环Transformer, 结果监督, OOD泛化
一句话总结¶
揭示在仅依赖结果监督（outcome-only supervision）下，持续增加训练阶段的推理长度（如RL微调中的思考token预算或循环Transformer的循环轮数），即使在分布内（ID）表现早已饱和的情况下，仍能通过重塑假设空间归纳偏置与正则化抑制快捷解，持续显著提升分布外（OOD）泛化性能。
研究背景与动机¶
大语言模型通过延长思考过程来解决复杂逻辑与数学问题的能力已成为构建前沿推理模型的核心支柱。在实际训练中，无论是通过强化学习（如PPO、GRPO）激发显式长思维链（Chain-of-Thought, CoT），还是通过循环Transformer（Looped Transformer）在连续隐空间中展开多步隐式计算，推理长度都已成为一个至关重要的训练超参数。然而，当前绝大多数推理训练采用的是粗粒度的“结果监督”（outcome-only supervision）——仅根据最终答案的正误给予奖励，完全不显式约束中间思考轨迹的生成机制。工程实践中，研究者通常依据分布内（ID）验证集的准确率曲线来决定训练时的token上限或展开轮数，一旦验证集指标趋于平缓，便认定进一步增加训练期计算预算是不必要的浪费。
然而，依赖ID验证集表现来判定训练预算存在根本性盲区。在有限数据和结果监督下，模型极易习得“看似正确实则脆弱”的快捷路径（shortcuts），例如死记硬背局部模式、跳步猜测或依靠浅层启发式拟合训练分布。此时模型在分布内表现看似完美，一旦遭遇分布偏移（OOD），缺乏严密多步推导支撑的捷径解便会彻底崩塌。目前学术界对于推理长度在训练阶段究竟如何塑造假设空间、是否会诱导模型发生质的求解机制转变，依然缺乏严谨的学习理论阐释与深入实验剖析。
本文的核心洞见在于：训练期推理长度不仅是容量开关，更是强大的归纳偏置重塑工具。即便在ID验证准确率早已达到100%或完全饱和后，继续扩大训练推理长度仍能驱使模型从脆弱的浅层拟合蜕变为稳健的算法型通用求解器。核心 idea：将训练期推理长度拓展统一建模为假设空间的自迭代过程，理论证明自迭代不仅能通过结构压缩消除虚假插值、引导模型收敛至通用算法解（如在上下文梯度下降），还能与优化正则化协同压制持久快捷解，从而在ID性能停滞的表象下持续释放隐藏的OOD泛化增益。
方法详解¶
整体框架¶
本文将训练阶段推理长度的缩放统一抽象为学习理论中的“自迭代”（self-iteration）机制。设基础假设空间为 \(\mathcal{F}_1\)，当允许模型在输出最终答案前进行 \(k\) 步自迭代（对应显式CoT的 \(k\) 个token预算，或循环Transformer中权重共享模块的 \(k\) 次循环展开）时，模型探索的有效假设空间演化为 \(\mathcal{F}_k = \mathcal{F}^{\circ k}\)。在仅有结果监督的环境中，中间推理步骤由算法隐式习得，优化算法在所有能够达到零ID经验损失的解集合中进行隐式选择。
整个理论与分析框架由“假设空间归纳偏置重塑”与“正则化协同抑制快捷解”两条主线构成，贯穿算法合成任务与大模型数学微调场景，系统刻画了从浅层捷径向稳健推理机制的相变过程。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入数据分布<br/>训练分布 P vs 目标分布 Q"] --> Setup["推理长度参数化设置<br/>显式CoT预算 k / 隐式循环轮数 k"]
Setup --> Hypo["有效假设空间演化 F_k<br/>F_k = F^o k (k次自迭代复合)"]
Hypo --> D1["归纳偏置重塑<br/>强约束映射具备k阶复合根"]
Hypo --> D2["正则化与快捷解抑制<br/>结构化通道 G_k 与快捷通道 H_k 解耦"]
D1 --> Sol["ID最优解选择收敛<br/>逼近通用计算机制 (如In-context GD)"]
D2 --> Sol
Sol --> Out["结果监督优化与评估<br/>ID精度迅速饱和，OOD泛化随k持续提升"]关键设计¶
1. 自迭代强化假设空间归纳偏置：消除虚假插值并收敛至通用解 该设计旨在揭示为何单纯增加自迭代步数能在不扩充网络容量的前提下改善泛化。传统观点常将推理长度视为表达能力增强，但纯粹的容量扩增无法解释“ID表现不变而OOD显著提升”。作者指出，\(k\) 次自迭代实质上对函数族施加了“必须存在 \(k\) 阶复合根”的严苛代数结构约束，从而显著缩减或重塑了ID最优解集。 - 环任务（Cycle Task）上的虚假解消除：在有限集 \(\mathbb{S}\) 上的循环置换目标任务中，当 \(k=1\) 时，无约束的基函数族 \(\mathcal{F}_1\) 可以完美插值训练分布 \(\mathcal{P}\)，但在未见点 \(q\) 上可任意预测，导致OOD损失达到最大值 \(L_\mathcal{Q}=1\)。然而，当自迭代步数 \(k \ge n-1\) 且满足代数互质条件 \(\gcd(k, n)=1\) 及 \(\gcd(k, n-1)>1\) 时，函数图的高度坍缩特性强行排除了唯一的跳步虚假解，使得ID经验风险最小化解在渐近密度 \(1-\varepsilon\) 的充分大 \(k\) 集合中唯一存在，且精确等于真实目标函数，达成 \(L_\mathcal{Q}=0\) 的完美OOD泛化。 - 线性Transformer的通用求解器收敛：在线性回归的在上下文系数预测任务中，自注意力网络在偶数步 \(k \ge 2\) 下均能达到零ID损失 \(L_\mathcal{P}(f_k^\star)=0\)。然而其OOD泛化误差严格随着偶数 \(k\) 的增加而单调递减： $\(L_\mathcal{Q}(f_k^\star) = d \left(\frac{(a - \gamma_\mathcal{Q})^k - b^k}{a^k - b^k}\right)^2\)$ 同时，网络权重 \((V^\star, W^\star)\) 与通用在上下文梯度下降（GD）求解器集合 \(\Theta_{\text{GD}}\) 的参数距离满足： $\(\text{dist}((V^\star, W^\star), \Theta_{\text{GD}}) = d \left(\frac{b}{a}\right)^{2k}\)$ 随着 \(k\) 的增大，参数距离以几何级数衰减，表明长推理自迭代机制促使模型放弃了适配特定协方差的专用虚假规律，主动收敛为通用的迭代式数值优化器。
2. 正则化协同抑制持久快捷解：结构化通道与快捷通道的解耦缩放 针对更现实的场景——快捷解不会因自迭代单纯消失，而是长期潜伏在假设空间中。作者将全假设空间解耦为稳健可迁移的“结构化组件” \(\mathcal{G}_k\) 与不可迁移但易拟合训练集的“快捷组件” \(\mathcal{H}_k\)，即 \(\mathcal{F}_k = \{g + h: g \in \mathcal{G}_k, h \in \mathcal{H}_k\}\)。学习算法在经验损失之上引入正则项 \(R(g, h) = R_G(g) + R_H(h)\)（在实践中对应权重衰减、RL的KL散度惩罚或信赖域约束）。 - 在该机制下，快捷通道 \(\mathcal{H}_k\) 具有强拟合力但缺乏OOD残差逼近能力，其正则化范数控制着训练残差；而结构化通道 \(\mathcal{G}_k\) 具备分布不变性，但其逼近误差 \(\epsilon_k = \min_{g \in \mathcal{G}_k} L_\mathcal{P}(g)\) 随迭代步数 \(k\) 逐步改善。 - 理论证明，ID损失迅速被快捷通道的上界 \(\delta_k\) 所压制（小 \(k\) 即饱和），而OOD损失被结构化通道的渐进收敛紧紧夹逼： $\(C_1 \epsilon_k \le L_\mathcal{Q}(\hat{f}) \le C_2 (\epsilon_k + \rho_k)\)$ 合理的优化正则项对快捷通道施加严厉惩罚，在 \(k\) 较小时强行抑制过度依赖；随着 \(k\) 的扩大，\(\mathcal{G}_k\) 的表达能力逐渐释放并接管计算，促使求解器彻底摆脱捷径依赖，解释了OOD性能在ID指标平缓后的长期持续上升。
3. 双重实证范式对齐：显式CoT长度与隐式循环计算 为验证理论洞察，文章在两个正交的技术路径上落地验证： - 隐式隐空间推理（Looped Transformer）：在 \(p\)-hop 间接归纳搜索任务（4-hop induction）中，固定单层Transformer参数并在时间步上循环调用，对比 \(k \in \{1, 2, \dots, 48\}\) 轮展开的泛化轨迹。 - 显式显空间推理（RL Math Post-training）：使用强化学习算法微调开源大语言模型 Qwen2.5-1.5B-Instruct。将多项式方程求根（Polynomial Roots）设为ID训练与测试任务，混合算术表达式运算（Mixed Operation）设为OOD评估任务，精确调节训练rollout允许的最大token预算 \(k \in \{128, 256, 512, 1024, 2048, 4096\}\)。 - 诊断性发现揭示了捷径的生成动力学：小token预算（128/256）下，模型在训练前期的平均奖励长期贴地，随后在输出序列长度剧烈断崖式下跌的瞬间，奖励急剧攀升，表明模型舍弃了链式思考，退化为无步骤直接猜答案的捷径解；而大预算（4096）下模型响应长度持续稳定攀升，稳健掌握了可泛化的分布外推算逻辑。
损失函数 / 训练策略¶
- 循环Transformer优化策略：
- 模型结构：维度 \(d_{\text{model}}=256\)，8头注意力机制，2层MLP隐层维度512，GELU激活函数与LayerNorm。
- 优化器：AdamW，初始学习率 \(10^{-3}\)，余弦退火至 \(10^{-4}\)，warmup 1000步；无权重衰减，梯度裁剪范数1.0，自动混合精度训练20,000步，批大小256。
- 大模型强化学习微调策略：
- 算法：采用GRPO（Group Relative Policy Optimization），奖励仅根据最终数值答案的严格正确性给予二进制反馈（0/1）。
- 参数高效微调：LoRA微调，rank=32，\(\alpha=64\)。
- 训练超参数：AdamW优化器，学习率 \(3 \times 10^{-6}\)，KL正则化系数 \(\beta = 0.001\)，总计训练4个epoch（224步），每道题采样16条候选轨迹，批大小16，使用4张NVIDIA A6000 GPU。
- 评测解耦设计：设立两套测试基准，其一保持评测token预算与训练时相同；其二将评测token统一固定为4096，严格排除测试期计算不足的混淆因素。
实验关键数据¶
主实验¶
在显式CoT数学微调实验中，评估Qwen2.5-1.5B在ID（多项式方程求解）与OOD（四则混合运算）上的Pass@10指标。无论评测时是否固定为长预算（4096），ID准确率在训练预算达到256后便见顶甚至略有下滑，而OOD准确率随着训练token预算翻倍而线性稳步提升。
| 训练Token预算 \(k\) | 评测预算设置 | ID验证集 (Pass@10) | OOD验证集 (Pass@10) | OOD相比k=256相对增幅 |
|---|---|---|---|---|
| 128 | 匹配训练预算 | 48.2% | 10.3% | -50.9% |
| 256 | 匹配训练预算 | 54.5% | 21.0% | 基准 (0.0%) |
| 512 | 匹配训练预算 | 53.1% | 26.4% | +25.7% |
| 1024 | 匹配训练预算 | 52.0% | 31.5% | +50.0% |
| 2048 | 匹配训练预算 | 50.4% | 37.2% | +77.1% |
| 4096 | 匹配训练预算 | 49.3% | 42.8% | +103.8% |
| 128 | 固定 4096 | 48.0% | 11.2% | -49.1% |
| 256 | 固定 4096 | 54.2% | 22.0% | 基准 (0.0%) |
| 512 | 固定 4096 | 52.5% | 27.1% | +23.2% |
| 1024 | 固定 4096 | 51.3% | 32.4% | +47.3% |
| 2048 | 固定 4096 | 50.1% | 38.0% | +72.7% |
| 4096 | 固定 4096 | 49.3% | 43.1% | +95.9% |
消融实验¶
在隐式循环Transformer的4-hop符号归纳实验中，对比循环轮数从1增加到48时，模型在ID与OOD集上的准确率，并对比添加显式循环位置嵌入（Loop Embedding）的架构消融。
| 模型配置 / 循环轮数 \(k\) | ID准确率 (Hop奇偶性划分) | OOD准确率 (Hop奇偶性划分) | 机制说明 |
|---|---|---|---|
| Vanilla Looped (k=1) | 25.1% | 24.8% | 基础容量不足，处于随机猜测水平 |
| Vanilla Looped (k=2) | 99.6% | 30.5% | ID性能完全饱和，但OOD严重过拟合 |
| Vanilla Looped (k=4) | 100.0% | 45.2% | 匹配任务理论最小深度，OOD开始显著跃迁 |
| Vanilla Looped (k=8) | 100.0% | 55.4% | ID零损失，OOD增益平稳释放 |
| Vanilla Looped (k=16) | 100.0% | 62.1% | 深入学习递归回溯结构 |
| Vanilla Looped (k=32) | 100.0% | 71.8% | 持续消除残余快捷解 |
| Vanilla Looped (k=44) | 100.0% | 75.3% | 达到最优算法解泛化上界 |
| w/ Loop Embedding (k=2) | 99.8% | 31.2% | 注入轮次嵌入后，ID同样在k=2早熟饱和 |
| w/ Loop Embedding (k=16) | 100.0% | 63.5% | 轮次感知更新规则与共享架构行为一致 |
| w/ Loop Embedding (k=36) | 100.0% | 74.8% | OOD持续上升至36轮饱和，证明增益不依赖同质性假设 |
关键发现¶
- ID饱和点与OOD饱和点严重脱节：在循环Transformer中，ID在 \(k=2\) 轮即达到接近100%准确率，但OOD准确率从 \(k=2\) 到 \(k=44\) 增长了近45个百分点；在RL微调中，ID性能在token预算256时达到峰值，而OOD性能直至4096预算仍持续单调上升（翻倍逾100%）。
- 小预算诱发思维链坍缩捷径：训练监控表明，128/256小预算模型在学习初期无法形成完整多步推理，经过漫长的探索停滞后，突然通过截断推理长度、放弃逐步推导来捕获低成本捷径从而获取ID奖励；大预算模型则保持推导长度持续膨胀，稳健内化解题逻辑。
- 评测长预算无法挽救训练短预算：在评估时强制将token预算扩充至4096，小预算训练模型（256）的OOD表现依然停留在22%左右，证明模型在训练期已内化为捷径求解器，推理阶段单纯给予长上下文无法激发其不具备的通用算法能力。
亮点与洞察¶
- 颠覆基于ID验证的常规调参范式：指出了大模型后训练实践中广泛存在的经验主义陷阱——ID验证平缓期绝不等于计算预算的最优截断点，在面对未知的现实分布偏移时，应坚定超配训练期推理长度。
- 数学上严谨打通显式与隐式推理机制：首次将显式CoT生成预算与隐式循环计算深度统一为“自迭代”算子，在无需过程奖励（PRM）的粗糙结果监督下，从代数群论与凸优化角度完成了泛化跃迁的理论闭环。
- 在上下文梯度下降的自发涌现：通过极简的线性Transformer证明，无需硬编码反向传播，仅凭长自迭代的经验损失最小化驱动，模型权重就能自发逼近通用一阶梯度优化算法。
局限与展望¶
- 理论假设与复杂LLM架构的代数鸿沟：理论推导基于极简循环置换与线性自注意力机制，对于现代具备数十亿参数、非线性SwiGLU与RoPE机制的Transformer，自迭代算子的代数结构约束仍难以精确显式解析。
- 持久无惩罚捷径的潜在失效边界：作者坦承若现实任务中存在某种既能在自迭代中存活、又未被优化器正则化有效抑制的天然捷径，增加训练推理长度可能无法带来OOD收益，现象的普适性需根据数据拓扑审慎界定。
- 未来方向：探索中间推理步数的自适应动态停止机制，研究在过程监督（PRM）与结果监督混合模式下，推理长度缩放规律是否会出现新的相变拐点。
相关工作与启发¶
- vs Looped Transformers (Saunshi et al., 2025; Giannou et al., 2023)：先前工作聚焦于循环架构的理论表达能力（如模拟图灵机或实现迭代算法），本文更进一步，从学习理论角度探讨训练期展开轮数如何决定优化器在等价最优解集中的隐式偏置与OOD鲁棒性。
- vs In-context Gradient Descent (Huang et al., 2025; Gatmiry et al., 2024a)：先前研究关注CoT能否执行梯度下降步，本文证明自迭代步数 \(k\) 作为缩放旋钮，能促使模型在参数空间以几何速率逼近通用GD求解器集合。
- vs RL Post-training for Reasoning (DeepSeek-R1 / Guo et al., 2025)：实践中R1等模型依赖大token上限激发深度思考，本文提供了结果监督下长思维链为何能全面提升跨领域通用泛化能力的底层理论注脚。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从学习理论视角发现并严谨证明了“训练期推理长度超越ID饱和阈值仍具深层OOD增益”的新颖现象。
- 实验充分度: ⭐⭐⭐⭐☆ 涵盖理论极简任务、算法循环Transformer以及真实开源大语言模型RL数学微调，兼具诊断性消融。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述极为清晰，动机连贯自然，理论推导严密且配有直观的机制阐释。
- 价值: ⭐⭐⭐⭐⭐ 为大模型后训练阶段推理预算的配置策略提供了极其重要的理论指导与实践启示。