跳转至

Reasoning-Trace Collapse: Evaluating the Loss of Explicit Reasoning During Fine-Tuning

会议: NeurIPS 2026
arXiv: 2605.21127
代码: https://github.com/itsluketwist/thinkpack
领域: LLM 推理
关键词: 推理模型, 显式推理轨迹, 轨迹坍缩, 结构化评估, 损失掩码

一句话总结

针对显式推理模型在无推理轨迹的标准指令微调中退化为仅输出最终答案的结构性失效现象,本文形式化了“推理轨迹坍缩”(Reasoning-Trace Collapse),提出了将结构有效性与答案正确性解耦的评估框架 ThinkPack,并证明轻量级损失掩码策略可在无需教师蒸馏的情况下有效保留推理行为。

研究背景与动机

近年来,开源小型推理语言模型(Small Reasoning Models,如 DeepSeek-R1 蒸馏版、Olmo-3-Think、Qwen3 等)在资源受限环境下的部署与定制中展现出巨大实用价值。这类模型通过强化学习或长 CoT 蒸馏等后训练管线,被训练在输出最终答案前生成结构化的显式推理轨迹(如 <think>...</think> 块),从而在多步复杂逻辑推理中取得优异表现。企业和研究机构在下游特定垂直任务中,通常依赖轻量级的参数高效微调(如 LoRA)对这些模型进行领域适配。

然而,现实中绝大多数领域适配数据集(如问答、代码、指令微调集)仅包含普通“输入指令-最终响应”对,完全缺失显式中间推理轨迹。当显式推理模型在无推理数据上进行标准监督微调(SFT)时,模型为了最小化经验损失,会迅速学会直接跳过思考步骤输出答案,把省略推理作为期望行为。更严重的是,现行评估惯例通常只关注最终答案的 pass@1 或准确率,只要最终答案正确,就默认显式推理依然完好。这种“仅看答案”的黑盒评估完全掩盖了模型的结构性失效——模型可能仍然猜对答案,但作为推理模型核心特性的显式推理结构已经荡然无存。

针对这一风险,若采用教师模型生成轨迹进行重蒸馏,开销高昂且受限于领域数据隐私;而简单的模板处理与损失掩码(Loss Masking)效果尚未被系统探究与形式化评估。本文的核心切入点在于将推理轨迹退化明确定义为一种评估挑战,解耦“答案是否正确”与“显式推理是否结构完好”。核心 idea:形式化显式推理模型在微调过程中的“推理轨迹坍缩”(Reasoning-Trace Collapse)现象,建立分离答案正确性与轨迹结构有效性的评测框架 ThinkPack,并揭示格式设置对坍缩形态的决定性影响及免蒸馏损失掩码的保活效能。

方法详解

整体框架

本文提出的研究框架主要包含三个有机衔接的组成部分:推理轨迹坍缩的形式化定义与结构分解指标、通用轻量级工具库 ThinkPack、以及基于数据格式与损失掩码的坍缩缓解机制。整体流程涵盖数据格式化呈现、微调训练控制、跨模型输出解析与双轴指标评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无推理轨迹的下游微调数据<br/>(指令-目标答案对)"] --> B["1. 缺失推理格式表征设计<br/>empty-think vs no-think"]
    B --> C["2. 损失掩码缓解策略<br/>Masked-think / Response-only / Distill"]
    C --> D["四款主流推理模型 LoRA 适配微调<br/>Qwen3 / Olmo-3 / Llama-R1 / Nemotron"]
    D --> E["模型生成完整响应 y = (r, a)"]
    E --> F["3. ThinkPack 通用结构解析器<br/>提取思考轨迹 r 与最终答案 a"]
    F --> G["4. 解耦评估体系与坍缩诊断<br/>结构有效性 (VR/ER/MR/TR) + 条件准确率 (Rpass@1)"]

关键设计

1. 推理轨迹坍缩与结构解耦评估指标:分离答案正确性与显式推理结构存在性

针对传统单轴答案评估无法捕获思考缺失的问题,本文定义模型输出为 \(y = (r, a)\),其中 \(r\) 为显式推理轨迹,\(a\) 为最终答案。推理轨迹坍缩定义为微调过程中 \(r\) 不再可靠生成或丧失结构有效性的渐进过程。在此基础上,提出结构有效性与条件性能两维指标: - 有效推理率(Valid Reasoning Rate, VR):度量模型生成完整、非空且能与最终答案清晰剥离的思考轨迹比例。 - 失效类型三元解构:将无效推理细分为空推理率(Empty Reasoning Rate, ER)(包含 <think> 标签但内部无实质文本)、缺失推理率(Missing Reasoning Rate, MR)(完全无法解析出推理轨迹,直接输出最终答案)与截断推理率(Truncated Reasoning Rate, TR)(思考标签未闭合或因超出最大上下文长度被提前截断)。 - 推理条件准确率(Reasoning-conditioned pass@1, Rpass@1):仅在生成结构有效推理轨迹的样本子集上计算的准确率。当 \(VR\) 暴跌而 \(Rpass@1\) 依然居高不下时,即可确认模型并非推理逻辑受损,而是出现了典型的推理轨迹坍缩。

2. ThinkPack 轻量通用操作与解析框架:消除跨模型聊天模板与标记差异

开源推理模型在聊天模板、思考标记约定上高度异构(例如 Qwen3 采用显式字段、Olmo-3 采用预置前缀、DeepSeek-R1 采用内联 <think> 标签)。ThinkPack 构建了一个通用的推理感知封装层,涵盖: - 通用聊天构建:自适应处理不同架构的 token 模板渲染,支持在 assistant 消息中注入或剥离思考历史。 - 鲁棒轨迹解析与状态机:不依赖脆弱的单一字符串规则匹配,自动检测 inline、prefixed 或独立字段格式,准确分类有效、空、缺失与截断状态,人工校验一致率达到 100%。 - 模块化训练掩码生成:将训练样本转换为预 token 化数据集,精准在 token 级别剥离特定区域的损失梯度计算。

3. 缺失推理格式表征与轻量损失掩码机制:阻断对省略思考的经验奖励

在缺乏显式 CoT 的数据集中,如何向模型输入缺失推理以及如何计算梯度至关重要: - 格式对比(Experiment 1):探究 empty-think(在答案前显式保留空的 <think></think> 块)与 no-think(直接省略任何思考标记)。研究发现,模型默认格式并不天然具备保护性:Qwen3 在省略标签下更抗坍缩,而 Olmo-3 和 Llama-R1 在插入空标签时更能延缓推理退化。 - 无蒸馏损失掩码(Experiment 2):提出 Masked-think(保留空 think 标记但将其在交叉熵损失中 mask 掉,不产生梯度回传)和 Response-only(将 prompt 与 think 区间全部 mask,仅对最终 response 计算损失)。通过消除模型输出“空思考”或“跳过思考”的正向损失梯度奖励,使模型在仅学习下游目标答案映射的同时,最大程度保留基座模型在后训练中形成的显式长链推理习惯。

损失函数 / 训练策略

实验统一采用非量化 LoRA 微调,设置 rank \(r=16, \alpha=16\)。优化器采用 AdamW,初始学习率设为 \(1\times 10^{-5}\),遵循带 10% warm-up 的余弦退火学习率调度,权重衰减为 0.01。每步批大小设为 2,梯度累积步数为 2,训练周期为 3 个 epoch。计算训练交叉熵损失时,通过掩码矩阵 \(M \in \{0, 1\}^T\) 过滤对应 token:

\[\mathcal{L} = -\frac{1}{\sum_{t=1}^T M_t} \sum_{t=1}^T M_t \log P(x_t \mid x_{<t})\]

其中在 Masked-think 模式下,处于思考标签内的 token 对应 \(M_t = 0\);在 Response-only 模式下,指令前缀与思考标签对应 \(M_t = 0\)。

实验关键数据

主实验

微调领域选用 SciKnowEval 的化学问答子集(Chemistry L-3,无显式推理数据),分布外评估选用数学推理 GSM8K 和代码生成 EvalPlus。表内展示微调最终收敛 Checkpoint(Step 2000)下四款模型在不同策略下的表现(采样 256 样本,2 随机种子均值):

模型 微调策略 评测数据集 pass@1 (%) Rpass@1 (%) VR (%) [有效推理] ER/MR/TR (%) [失效分布]
Qwen3-8B Empty-think (默认) Chemistry (领域内)
GSM8K (数学)
EvalPlus (代码)
54.1
79.5
67.4
—
98.4
73.2
0.0
60.2
92.0
ER: 100.0 / MR: 0.0 / TR: 0.0
ER: 21.7 / MR: 0.0 / TR: 18.2
ER: 0.4 / MR: 0.0 / TR: 7.6
Qwen3-8B No-think Chemistry
GSM8K
EvalPlus
52.3
96.3
70.5
—
97.2
75.2
0.0
96.3
93.8
ER: 0.0 / MR: 100.0 / TR: 0.0
ER: 0.0 / MR: 3.1 / TR: 0.6
ER: 0.0 / MR: 0.0 / TR: 6.2
Qwen3-8B Masked-think Chemistry
GSM8K
EvalPlus
42.8
96.5
68.8
52.5
96.7
73.9
81.4
99.8
93.0
ER: 0.2 / MR: 0.2 / TR: 18.2
ER: 0.0 / MR: 0.0 / TR: 0.2
ER: 0.0 / MR: 0.0 / TR: 7.0
Qwen3-8B Response-only Chemistry
GSM8K
EvalPlus
45.1
96.5
68.4
54.1
96.9
74.0
83.0
99.6
92.4
ER: 0.0 / MR: 0.8 / TR: 16.2
ER: 0.0 / MR: 0.0 / TR: 0.4
ER: 0.0 / MR: 0.0 / TR: 7.6
Qwen3-8B Distillation (教师蒸馏) Chemistry
GSM8K
EvalPlus
50.8
96.7
68.6
51.2
97.1
74.5
99.2
99.6
92.0
ER: 0.0 / MR: 0.0 / TR: 0.8
ER: 0.0 / MR: 0.0 / TR: 0.4
ER: 0.0 / MR: 0.0 / TR: 8.0
Llama-R1-8B No-think (默认) Chemistry
GSM8K
54.5
69.9
—
76.0
0.2
58.6
MR: 99.8
MR: 41.4
Llama-R1-8B Empty-think Chemistry
GSM8K
43.2
70.1
45.7
70.1
70.9
100.0
ER: 14.5 / MR: 14.6
ER: 0.0 / MR: 0.0
Llama-R1-8B Response-only Chemistry
GSM8K
38.9
77.5
66.9
78.1
53.7
99.0
MR: 44.9 / TR: 0.2
MR: 1.0
Olmo-3-7B No-think (默认) Chemistry
GSM8K
19.9
41.4
33.6
92.2
59.2
44.9
TR: 40.8
TR: 55.1
Olmo-3-7B Distillation Chemistry
GSM8K
10.9
21.1
46.2
96.4
23.6
21.9
TR: 76.4
TR: 78.1
Nemotron-7B No-think (默认) Chemistry
GSM8K
53.5
92.4
—
92.5
0.0
99.4
MR: 100.0
MR: 0.4
Nemotron-7B Response-only Chemistry
GSM8K
50.0
92.6
61.0
92.6
82.0
100.0
TR: 18.0
TR: 0.0

消融实验与机制分析

针对模型截断机制(Truncation Mechanisms)与模型规模/任务扩展的消融分析:

评估维度 / 设定 观测现象与数据支撑 核心机理与结论
Olmo-3-7B 截断机制拆解 No-think 在 Chemistry 下 TR=41.8%(其中满长 Overflow 占 39.8%);在 GSM8K 下 TR=55.1%,但 Overflow 仅占 0.4% GSM8K 下的截断绝大多数为提前生成 EOS 标记导致的异常停机(Early Stopping),并非超出最大 Token 限制
蒸馏在 Olmo-3-7B 上的失效 蒸馏训练后 GSM8K TR 飙升至 78.9%(Overflow 占 0.0%),有效推理率跌至 21.9% 教师蒸馏轨迹并非普适良药;RL 训练架构与监督微调之间存在显著冲突,导致思考中途意外闭合失效
模型尺寸扩展 (Qwen3-14B) 14B 参数下使用 Empty/No-think 同样在微调中期 VR 迅速降为 0%,pass@1 仍上升至 55%+ 证明推理轨迹坍缩现象并非 7B~8B 弱模型特有,参数量扩大无法自发免疫轨迹坍缩
微调领域敏感性 (OrcaMath / SelfOSS) OrcaMath 微调使 GSM8K VR 极速塌缩;SelfOSS 微调使 EvalPlus 发生最显著坍缩 坍缩在与微调数据分布最重合的领域内最为剧烈,且具有对其他领域的负向迁移溢出效应
存活轨迹质量评估 (SelfCheck) 微调前后 Qwen3-8B 存活有效轨迹的 GPT-5-mini 步骤正确率从 94% 维持在 92% 模型并未失去正确推理的逻辑能力,只要能唤起有效轨迹,内部推演链依然保持可靠

关键发现

  • 答案指标与推理行为严重脱节:微调过程中模型在 Chemistry 任务上的 pass@1 持续攀升至 50%~57%,但 Qwen3-8B 和 Nemotron-7B 的有效推理率(VR)彻底暴跌归零。若只依赖准确率作为监控信号,将完全无法察觉模型已彻底退化为普通无思考模型。
  • 坍缩形态由格式表征决定:Qwen3、Llama-R1 和 Nemotron 的坍缩主要表现为“空思考(ER)”或“直接缺失(MR)”;而 Olmo-3 的坍缩几乎全部体现为思考过程被非正常截断(TR),且多发生于未耗尽生成 token 配额时的提前早停。
  • 免蒸馏损失掩码高效可靠:Masked-think 和 Response-only 策略不仅免除了生成教师轨迹的高额成本与隐私风险,还能将化学域 VR 从 0% 恢复并稳定在 80% 以上,同时数学(GSM8K)与代码(EvalPlus)上的有效思考率维持在 90%~99% 水平。

亮点与洞察

  • 提出评估新范式:首次将显式推理行为的形式完好性与最终答案正确性进行正交解耦,提出了 \(VR\) 与 \(Rpass@1\) 组合指标,精准定位了模型是在“思考质量退化”还是“遗忘思考动作”。
  • 揭示微调格式与损失掩码的本质作用:明确指出在下游 SFT 中,哪怕微调数据不带 CoT,也决不能直接以监督方式反传空思维标签的损失;简单的梯度截断(Loss Masking)即可作为阻断推理行为遗忘的极佳防护栏。
  • 打破教师蒸馏的万能迷信:实验实证表明即便引入 GPT-5-mini 生成的黄金推理数据,在 Olmo-3-7B 等特定 RL 前序模型上依旧可能因为截断早停而诱发灾难性退化(VR 跌破 22%),证实结构化评估在微调全流程中的必要性。

局限与展望

  • 评估仅限显式结构完备性:当前 VR 指标仅度量推理轨迹是否格式合规且未截断,未直接断言存活轨迹对最终答案是否存在真正的因果因果决定性(Faithfulness)。
  • 解码机制限定:实验主要基于贪婪解码(Greedy Decoding)与 256 采样验证集,随机采样与更大批次下的坍缩动态仍有待进一步拓展探究。
  • 架构适配外延:ThinkPack 目前核心集成于 Hugging Face transformers 生态,对于自定义图推理引擎与私有推理 API 的集成需要补充转换适配层。