Probing the Trajectories of Reasoning Traces in Large Language Models¶

会议: NeurIPS 2026
arXiv: 2601.23163
OpenReview: https://openreview.net/forum?id=SqFPT2YE5W
代码: https://github.com/AndresAlgaba/probing_reasoning_traces
领域: Reasoning
关键词: 大模型推理轨迹、思维链探针、测试时计算缩放、过度思考、跨模型救援

一句话总结¶

提出一种按分位数截断并回注推理前缀的轨迹探针协议，证实长思维链的精度增益主要源于题目特异性的语义内容而非推理长度或风格外壳，并揭示了模型深层推理中的决策固着与置信度校准失效。

研究背景与动机¶

近年来，通过强化学习微调引导大语言模型（LLM）在输出最终答案前生成长思维链（Reasoning Trace / Thinking Trace），已成为前沿推理模型突破复杂逻辑与多跳问答的核心手段。然而，这类测试时计算缩放（Test-time Compute Scaling）机制在机制可解释性上存在严重分歧：模型究竟是在思考过程中逐步推导出答案、还是在初始阶段便已内隐知晓结果？长链带来的精度收益，究竟源于具体问题语义的逐步展开，还是仅仅享受了更长上下文带来的计算缓存（如“无意义思考标记”同样有效的争议）或特定思维链格式的形式先验？

更关键的矛盾在于推理过程中的不稳定性与不可靠性。在模型生成的数千 token 轨迹中，错误决策何时形成、模型何时对错误产生认知固着（Anchoring）、以及后续推理是在修正错误还是在对错误进行合理化包装（Overthinking），一直缺乏无侵入且量化的全流程诊断工具。既有针对思维链忠实性（Faithfulness）与截断分析的工作多聚焦于最终答案或粗粒度截断，未能细粒度跟踪推理全轨迹的动态演变，更未能解耦上下文长度、格式外壳与 token 语义多重因果混淆。

针对上述瓶颈，研究团队建立了一套系统化的轨迹探针框架，通过对推理轨迹进行百分比分位数（Decile）硬截断、注入早停后缀强制输出下一 token 答案分布，在不假设中间 token 具有人类心智可解释性的前提下，探测决策承诺度与信息增益的演进规律。本文的核心 idea 是：将完整的长推理轨迹离散化为分位数因果干预前缀，通过统一截断强制探测下一 token 概率分布，结合长度/格式/词汇置换严格对照组与弱到强跨模型注入，量化解构长推理的真实语义增益与错误固着机制。

方法详解¶

整体框架¶

本文提出的推理轨迹探针协议（Reasoning Trace Probing Protocol）分为三个主要阶段：首先生成模型的完整无约束思考轨迹；随后按 token 长度将其离散切片为 10% 到 100% 的分位数切片（Deciles）；最后将各切片与早停后缀拼接回注至模型，抽取首个预测 token 在候选选项集上的原始 Softmax 概率分布。为排查混淆因果，实验进一步设计了长度匹配的随机噪声对照、跨样本置换的格式对照和词汇置乱的多重对照组，并延伸出“即时强制回答”与“自由续写推理”两类弱到强跨模型救援（Rescue）实验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入题目 prompt + 启用思维链思考模式"] --> B["分位数轨迹截断与强制早停探针<br/>提取各分位数切片并拼接早停标记"]
    B --> C["三重匹配对照解耦机制<br/>随机噪声 / 跨题置换 / 词袋置乱"]
    B --> D["弱到强跨模型救援与固着评测<br/>即时回答 vs 自由续写推理"]
    C --> E["单模型轨迹诊断结论<br/>语义增益加速 / 固着率上升 / 格式异常定位"]
    D --> F["跨模型协同策略<br/>早期注入可挽救 / 深层长链难逃固着"]

关键设计¶

1. 分位数轨迹截断与强制早停探针：动态量化决策演进与承诺度

为了克服传统终局评估对推理中间动态的盲区，该设计将一个完整的推理轨迹 $r_{m,i}$ 切分为 10 个等距百分位前缀 $r_{m,i}^{(d)}$（$d \in \{10, 20, \dots, 90\}$），同时定义零推理基线 $r_{m,i}^{(0)} = \emptyset$ 与全轨迹 $r_{m,i}^{(100)} = r_{m,i}$。对于每个切片，构建包含系统指令、原题与该切片的探针 prompt，紧跟早停控制后缀（例如在 Qwen3 中使用强制闭合标记 </think> 及时间耗尽引导语，在 gpt-oss 中关闭 analysis 通道并开启 final 通道），强制模型直接输出候选选项。在生成首个 token 时直接提取模型 logits 并计算原始 Softmax 概率： $$p_{m,i,d}(y) = p_m(y \mid x_i, r_{m,i}^{(d)}), \quad y \in \mathcal{Y}$$ 基于该分布，不仅可以测算各分位数的准确率变化，还能通过衡量最终选择项的概率质量集中程度量化“决策承诺度”（Decision Commitment），并通过相邻分位数预测标签的变化率捕捉“翻转率”（Flip Rate）。该机制避免了采样温度和 top-$k$/top-$p$ 截断对置信度的平滑扭曲，精确暴露出模型是在轨迹初期已锁定答案还是在后半程发生关键跃迁。

2. 三重匹配对照解耦机制：严格剥离长度、格式与词汇假象

学术界关于“无意义推理 token 同样能提升精度”的争议，本质上源于未能严格控制混淆变量。为此，设计了三种长度严格匹配的对照干预： - 随机对照（Random Control）：利用均匀采样的词表随机 token 替代原前缀，控制纯上下文长度扩充与注意力位置编码偏移带来的增益； - 置换对照（Swap Control）：用另一道题目的相同长度真实推理前缀进行替换，保留推理逻辑的结构外壳、LaTeX 公式排版和分步推理语体，但彻底切断与当前题目的语义对齐； - 置乱对照（Shuffle Control）：在保持原前缀词袋（Multiset of tokens）完全不变的前提下进行随机排列，保留所有关键词汇标识，但彻底破坏语法时序与逻辑链条。

通过使用配对 McNemar 检验比对原轨迹与对照组的精度差异，能够精确判定提升是来自纯计算缓冲、推理风格外壳诱导，还是题目特异性的逻辑因果推导。

3. 弱到强跨模型救援与固着评测：探索推理共享与认知陷阱

为了探究错误推理对模型决策的不可逆破坏，该设计将较弱模型 $m_b$ 判定错误的中间片段 $r_{b,i}^{(d)}$ 跨模型转移注入至更强的目标模型 $m_t$ 中，通过文本级反序列化和标签归一化跨越不同 tokenizer 的壁垒。在此基础上设计两路对照分支： - 即时回答（Base Mode / Answer Now）：注入弱模型前缀后立即施加早停后缀，强制目标模型在截断处作答； - 自由续写（Free Continuation Mode）：注入前缀后赋予目标模型完整思考预算，允许其在错误前缀之后自主继续推理并修正。

针对上述两路分支分别定义救援率 $\mathrm{Rescue}(b \to t, d)$ 与固着率 $\mathrm{Anchor}(b \to t, d)$： $$\mathrm{Rescue}(b \to t, d) = P(\hat{y}_{t,i,d} = a_i \mid \hat{y}_{b,i,d} \neq a_i)$$ $$\mathrm{Anchor}(b \to t, d) = P(\hat{y}_{t,i,d} = \hat{y}_{b,i,d} \mid \hat{y}_{b,i,d} \neq a_i)$$ 该设计不仅能够清晰测量更强模型是否具备“中途力挽狂澜”的纠错能力，还深入量化了随着注入轨迹长度增加，错误中间前缀作为“认知锚点”对更高级模型产生的思维绑架效应。

实验关键数据¶

主实验¶

主实验在极具挑战性的研究生级问答数据集 GPQA Diamond（198 题，4 选 1）和多学科综合数据集 MMLU-Pro（12,032 题，10 选 1）上展开，测试了 Qwen3 系列（4B/8B/14B）与 gpt-oss 系列（20B/120B），所有设置均经过 3 次独立实验测定均值与方差。

数据集	模型	样本数 $n$	0%分位数精度 (无思考)	100%分位数精度 (全思考)	精度净增益 (Gain)	决策承诺度 (d=100)	非选项概率 (d=100)
GPQA Diamond	Qwen3-4B	594	30.8%	54.4%	+23.6%***	95.0% ± 0.4	2.9% ± 0.4
GPQA Diamond	Qwen3-8B	594	30.8%	49.0%	+18.2%***	73.3% ± 0.6	24.7% ± 1.3
GPQA Diamond	Qwen3-14B	594	38.4%	62.5%	+24.1%***	98.6% ± 0.1	1.0% ± 0.0
GPQA Diamond	gpt-oss-20b	594	40.6%	65.7%	+25.1%***	99.9% ± 0.1	0.0% ± 0.1
GPQA Diamond	gpt-oss-120b	594	42.3%	73.1%	+30.8%***	100.0% ± 0.0	0.0% ± 0.0
MMLU-Pro	Qwen3-4B	36,096	40.4%	69.7%	+29.2%***	93.8% ± 0.0	5.1% ± 0.1
MMLU-Pro	Qwen3-8B	36,096	43.1%	61.1%	+18.1%***	73.6% ± 0.1	25.5% ± 0.1
MMLU-Pro	Qwen3-14B	36,096	50.4%	76.6%	+26.2%***	97.5% ± 0.0	1.9% ± 0.0
MMLU-Pro	gpt-oss-20b	36,096	42.5%	74.6%	+32.1%***	99.8% ± 0.1	0.2% ± 0.1
MMLU-Pro	gpt-oss-120b	36,096	46.4%	79.4%	+33.1%***	99.9% ± 0.0	0.1% ± 0.0

注：*** 表示 McNemar 检验 $p < 0.001$。Qwen3-8B 在全思考阶段准确率异常偏低，探针揭示其因高频触发 LaTeX \boxed{} 格式而严重偏向选项 "A"。

消融与对照实验¶

在 $d=100$ 分位数下对比原始轨迹与三类长度匹配对照组的精度差值（Original vs Control），以及各对照组相对无思考基线（Control vs $d=0$）的变化幅度，彻底解构推理驱动力。

数据集	模型	真实轨迹胜出: 随机对照	真实轨迹胜出: 跨题置换	真实轨迹胜出: 词袋置乱	随机对照 vs d=0	跨题置换 vs d=0	词袋置乱 vs d=0
GPQA	Qwen3-4B	+19.4%***	+20.5%***	+14.3%***	+4.2%*	+3.0%	+9.3%***
GPQA	Qwen3-8B	+14.5%***	+16.3%***	+13.1%***	+3.7%	+1.9%	+5.1%*
GPQA	Qwen3-14B	+23.6%***	+24.2%***	+17.3%***	+0.5%	-0.2%	+6.7%***
GPQA	gpt-oss-20b	+25.3%***	+30.8%***	+20.9%***	-0.2%	-5.7%*	+4.2%*
GPQA	gpt-oss-120b	+34.7%***	+33.8%***	+30.5%***	-3.9%*	-3.0%	+0.3%
MMLU-Pro	Qwen3-4B	+29.6%***	+35.5%***	+22.5%***	-0.3%	-6.2%***	+6.7%***
MMLU-Pro	Qwen3-8B	+17.6%***	+25.4%***	+13.5%***	+0.7%*	-7.2%***	+4.7%***
MMLU-Pro	Qwen3-14B	+27.0%***	+40.3%***	+20.0%***	-0.8%***	-14.1%***	+6.2%***
MMLU-Pro	gpt-oss-20b	+33.1%***	+50.5%***	+21.6%***	-1.0%***	-18.4%***	+10.5%***
MMLU-Pro	gpt-oss-120b	+34.7%***	+46.3%***	+22.3%***	-1.6%***	-13.3%***	+10.8%***

此外，在跨模型协同与错误救援实验中，更强模型在自由续写模式下展现出强大的错误纠偏能力： - 救援率跃升：在 GPQA 上，Qwen3-4B 到 gpt-oss-120b 的跨模型转移中，Base 即时模式救援率仅为 25.5%，开启 Free 续写后飙升至 62.2%（$\Delta = +36.6\%^{***}$）；在 MMLU-Pro 上，gpt-oss-20b 到 gpt-oss-120b 的续写救援率由 17.7% 提升至 61.1%（$\Delta = +43.4\%^{***}$）。 - 固着效应消退但依然显著：随着轨迹推进至 80% 分位数，Base 模式下的错误固着率在两大数据集上普遍高达 50%–75%；开启 Free 续写可将固着率降低 11%–32%，但轨迹越深，纠错阻力依然呈指数级上升。

关键发现¶

语义内容占据绝对主导：随机对照与置换对照相比零思考基线基本持平甚至显著恶化（在 MMLU-Pro 上跨题置换导致准确率暴跌多达 18.4%），有力反驳了“只需填充中间 token 或模仿思考外壳即可提升推理”的假说，证明准确率跃迁高度依赖与输入问题强对齐的语义推演。
词袋残留微弱有效信号：词袋置乱对照在打乱语法结构后，仍保留了相对基线 +0.3% 到 +10.8% 的轻微收益，表明即使丧失顺序推理能力，概念关键词汇的存在仍能在一定程度上通过隐式词汇共现（Lexical Priming）激活模型正确答案的先验。
思考越长越不准（过度思考与难度响应）：在按推理生成 token 长度分位数对准确率进行分层统计时，所有模型均呈现显著的负相关——轨迹越短的样本平均准确率越高。这表明当前推理模型的长轨迹主要是“遇到困难时的苦思挣扎”，并非思考越长输出越可靠；在 GPQA 困难题目上甚至观察到 7%–11% 的“逆转致错（Lost: 答对转答错）”现象。
置信度校准恶化与盲目自信：随着推理深度从 0% 推进至 100%，模型对“预测正确”和“预测错误”样本的输出置信度均在同步攀升。在 MMLU-Pro 上，二者的置信度判别差距（Discrimination Gap）甚至持续收窄，表明深层推理极易导致模型对错误结论产生极端自信，丧失自知之明。
细粒度探针捕获隐匿格式 Bug：Qwen3-8B 从 90% 推进到 100% 分位数时准确率断崖式下跌，探针捕获其生成中存在高达 27.4% 的 LaTeX \boxed{} 标签，该格式会强烈激活模型将首个选项预测为 "A" 的有害归纳偏差（预测 A 的比例飙升至 68%–82%）。

亮点与洞察¶

全轨迹因果干预探针框架：将静态的思维链结果评测重构为时间切片上的序列干预协议，利用强制早停探针无损提取 logits 原始概率。这种方法无需入侵底层权重，即可描绘出决策确立（Commitment）和信念翻转（Flip）的动态演化全景。
严格解耦“形式主义思考”与“实质语义计算”：通过设计精巧的三重对照组，以统计学显著性实锤了“胡乱思考不仅无益反而有害（置换对照大幅掉点）”，厘清了长思维链领域长期以来关于 token 数量与思考实质之间关系的学术迷思。
诊断了跨模型协作的边界与固着规律：首次定量验证了将弱模型推理半成品交给强模型的可行性，明确指出“早期介入收益极高、晚期介入容易被弱模型的错误逻辑绑架”，为大模型混合级联系统（Cascade/Speculative Routing）的设计提供了关键策略指导。

局限与展望¶

受限于单 token 多选题评估场景：当前探针严重依赖单字母选项的下一 token 概率分布测量，难以无缝迁移到需要自由多 token 生成的开放式数学证明、代码生成或问答任务，未来需探索针对连续开放生成的轨迹聚合度量。
等距分位数无法捕捉非均匀信息密度：按 10% 等长分位数截断平权对待了所有 token，但真实推理中关键的灵感跃迁（“Aha moment”）或顿悟步骤往往集中在极少数关键步骤上，有待结合注意力突变或熵突变进行自适应切片探测。
未探讨中间标记的内在因果忠实性：探针探测的是外部注入中间文本对输出概率分布的功能性影响（Functional Effect），并不等同于模型内部隐层计算对该思维链完全忠实，无法排除模型后验合理化（Rationalization）的可能。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用分位数截断与格式对齐构建了无侵入的轨迹探针，实验设计极其严密。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个先进开源推理模型、跨越两大顶尖基准，对照消融与统计显著性检验异常扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进行云流水，因果推导清晰无瑕，对异常现象的挖掘鞭辟入里。
价值: ⭐⭐⭐⭐⭐ 对测试时计算缩放、推理监控、早期退出（Early-stopping）以及大模型级联协同架构具有不可替代的诊断与实践指导价值。