SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization¶

会议: NeurIPS 2026
arXiv: 2610.25045
OpenReview: https://openreview.net/forum?id=xpPQq8hDSx
代码: https://github.com/MIRALab-USTC/SteadyThought
领域: 对齐/RLHF
关键词: 大语言模型推理、思维切换、浅度思考、偏好优化、Token效率

一句话总结¶

针对大推理模型在探索出高潜力思路后仍频繁切换导致的“浅度思考”与Token浪费问题，提出基于显式标记与边界熵突变双通道检测切分思维单元，并通过Logit控制单向推演合成正负偏好对，在发散分歧点实施长度归一化的思维级偏好优化（STPO），在显著缩减高达63.8% Token消耗的同时稳步提升了多基准推理准确率。

研究背景与动机¶

以 DeepSeek-R1 与 OpenAI o1 为代表的大推理模型（LRMs），借助模拟人类慢思考的多步思维切换（thought switching）机制在复杂推理上取得了跨越式进展。然而近期研究发现，LRMs 在实际生成过程中极易出现过度切换思维方向的病态现象——模型往往在推理早期就已经触达了能够通往正确答案的高潜力思路，却因为缺乏对该思路的坚定推进与深度承诺（commitment），旋即跳出并尝试大量冗余的备选策略（如反复尝试不同代数变形或无意义的重构验证）。这种无法持续深耕有效思维方向的缺陷被称为“浅度思考”（under-thinking），它不仅严重破坏了多步推理的深度与连贯性，还徒增了大量的低效 Token 开销。

针对浅度思考引发的浅层推理与计算冗余，现有的缓解方案多采用无差别抑制策略。一种典型做法是在解码阶段压低特定反思/转折词（如“wait”、“alternatively”）的输出概率，或者在强化学习中惩罚切换词；另一种做法是在表征隐空间中直接将隐状态推离切换向量、导向执行向量。这些方法虽然有效压缩了输出长度，但一刀切的压制抹杀了模型在初始思路确实错误时自我纠偏与探索替代路径的灵活性，极易造成不可逆的错误累积。

理想的推理行为应当具备“辨识潜力并坚定深耕、遭遇死胡同才主动转向”的动态选择性。核心 idea：将浅度思考形式化为关键决策点处的偏好对齐问题，通过语言标记与边界预测熵双通道精准定位思维切换点，利用Logit控制迫使模型沿当前思路单向深耕合成正向轨迹，进而在关键分歧点实施长度归一化的思维级偏好优化（STPO），教会模型对高潜力思路保持定力并保留纠错弹性。

方法详解¶

整体框架¶

Steady Thought（ST）框架将完整推理链解构为按局部思维单元（thought）组织的序列，并针对切换分歧点构建微观偏好数据。整体流程涵盖三个核心阶段：首先通过结合显式语言标记与自回归边界预测熵突变的双通道机制，将原始推理响应切分为结构化的思维序列并精准捕获切换分歧点；随后在识别出的关键节点处，固定问题与前置有效思维，借助负向 Logit 偏置强制模型沿单一思路持续深耕直至得出最终答案，通过验证终态答案正确性筛选出高质量的承诺轨迹（Commit Trajectory）；最后，将成功的延续轨迹作为优选项（Chosen），原始响应中后续冗余切换轨迹作为劣选项（Rejected），在分歧节点处执行长度归一化的思维级偏好优化（STPO）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题与原始推理响应<br/>y = (T1, T2, ..., Tn)"] --> B["双通道思维切换点检测<br/>语言标记检索 + 边界熵突变监控"]
    B --> C["思维级单向深耕与轨迹合成<br/>固定前置思路 + Logit控制压制切换词"]
    C -->|验证终态正确性| D["思维级偏好对构建<br/>优选项: 承诺延续轨迹<br/>劣选项: 原始冗余切换轨迹"]
    D --> E["思维级偏好优化 STPO<br/>分歧点条件对齐 + 长度归一化"]
    E --> F["具备高Token效率与稳健深耕能力的推理模型"]

关键设计¶

1. 双通道思维切换点检测：融合显式语法表征与隐式不确定性熵值捕获思维转向 为了精细化拆解推理轨迹，方法首先以段落分隔符 \n\n 切分出候选推理步骤。传统基于关键词检索的方法只能覆盖“alternatively”、“another way”等模式化显式转移，无法感知缺乏标志词的隐式策略重置（例如模型从定性几何分析陷入僵局后突然写出“Let me think about the coordinates...”）。ST 设计了互补的双通道判定准则：显式通道匹配预定义的转向短语字典；隐式通道则监控跨步边界处的自回归预测熵突变——计算词表 \(\mathcal{V}\) 上的预测分布熵 \(H(P)=-\sum_{v\in\mathcal{V}}P(v)\log P(v)\)。当且仅当上一步末尾与下一步开头的预测熵同时跃升并超过标定阈值 \(\tau\) 时，判定模型正在经历由高不确定性引发的隐式路径重构。只要任一通道被触发即在此处标记思维切换点，从而将完整输出切分为思维序列 \(\mathbf{y}=(T_1, T_2, \dots, T_n)\)。

2. 思维级单向深耕与轨迹合成：借助解码控制筛选具备正向潜力的承诺路径 在获得被切分的思维单元后，必须甄别模型何时应该“坚守思路”、何时应当“适时转向”。ST 针对每个被切分的中间思维 \(T_i\)，以原题 \(Q\) 和该思维 \(T_i\) 本身为提示输入，直接评估其是否具备通向正确答案的潜力。为了消除模型在解码时的动摇与退缩，框架在推理阶段引入强制延续控制：对词表中可能诱发二次切换与过度校验的 80 余个转折/停顿词（如“wait”、“however”、“check”、“another”、“hmm”等）施加强烈的负 Logit 偏置，迫使其概率归零，驱动模型沿既定思路一意孤行完成推演并输出答案 \(T_i^\prime \sim \pi_\theta(\cdot \mid Q, T_i)\)。若该延续轨迹成功匹配真实标准答案，则将 \(T_i\) 判定为高潜力思维保留，并将生成路径 \(T_i^\prime\) 确立为优选承诺轨迹；反之则将该错误前缀剔除，从根源上保障监督信号的纯粹度。

3. 思维级偏好优化 STPO：聚焦分歧局部的长度自适应偏好对齐 传统整链级别的偏好对齐（如经典 DPO/SimPO）将整条长思维链作为单一整体处理，对于复杂多步任务，一个错误的回答前段往往包含高度正确的推演片段，整链惩罚会引入严重的梯度噪声并误杀有效推理。ST 构建以 \((Q, T_i)\) 为局部分歧上下文的偏好对：优选项 \(\mathbf{y}_w = T_i^\prime\)（单向推导的精炼正确路径），劣选项 \(\mathbf{y}_l = (T_{i+1}, \dots, T_n)\)（原始输出中摇摆不定的后续冗余切换分支）。由于 \(\mathbf{y}_w\) 摒弃了废话与无休止的多路尝试，其实际长度通常显著短于 \(\mathbf{y}_l\)。为了避免经典 DPO 在面对巨大长度差异时的累积概率偏移与长度偏差，STPO 结合 SimPO 的无参考模型架构，在分歧点条件概率上引入基于 Token 序列长度的精确归一化，使得模型精准学习在分歧节点对有效思路维持信心。

损失函数 / 训练策略¶

STPO 训练目标直接定义在局部分歧上下文 \((Q, T_i)\) 条件概率上，避免了全局参考模型计算开销。其优化损失函数形式如下：

\[\mathcal{L}_{\text{STPO}}(\pi_{\theta})=-\mathbb{E}_{(Q,T_{i},\mathbf{y}_{w},\mathbf{y}_{l})\sim\mathcal{D}}\left[\log\sigma\left(\frac{\beta}{|\mathbf{y}_{w}|}\log\pi_{\theta}(\mathbf{y}_{w}\mid Q,T_{i})-\frac{\beta}{|\mathbf{y}_{l}|}\log\pi_{\theta}(\mathbf{y}_{l}\mid Q,T_{i})-\gamma\right)\right]\]

其中 \(\sigma\) 为 Sigmoid 函数，\(\beta\) 为温度超参数（控制偏好敏感度），\(\gamma\) 为显式目标奖励边界（target reward margin），\(|\mathbf{y}_w|\) 与 \(|\mathbf{y}_l|\) 分别为优选和劣选延续序列的 Token 长度。训练在数学竞赛基准 omni-math 采样子集上展开。在超参数配置上，1.5B 模型采用全量微调（\(\text{lr}=5\times 10^{-7}, \gamma=1.0, \beta=2.0\)）；8B、14B 与 32B 规模模型采用 LoRA 微调，其中 8B 和 32B 取 \(\text{lr}=3\times 10^{-5}, \beta=2.0\)，14B 取 \(\text{lr}=1.3\times 10^{-4}, \beta=3.0\)。所有模型均采用 Adam 优化器，学习率遵循 Warmup 比例 0.1 的余弦退火策略，上下文长度截断为 6144，并在 DeepSpeed ZeRO-3（CPU Offload）框架下高效收敛。

实验关键数据¶

主实验¶

论文在四款不同参数规模的代表性推理模型（DeepSeek-R1-Distill-Qwen-1.5B/14B、Qwen3-8B/32B）上进行了系统评测，涵盖 MATH-500、AIME 2024、GSM8K 以及跨领域代码基准 LiveCode。对比方法包括基准模型（Vanilla）、直接跳过思考标签的极端方案（NoThink），以及先进的推理效率推断期控制方法 NOWAIT、SEAL 与 TIP。

模型	方法	MATH-500 (Acc/Tokens)	AIME 2024 (Acc/Tokens)	GSM8K (Acc/Tokens)	LiveCode [OOD] (Acc/Tokens)	总体均值 Acc (%)	总体均值 Tokens (节省率)
DeepSeek-R1-Distill-Qwen-1.5B	Vanilla	82.0% / 4385	27.5% / 11273	81.9% / 1448	30.3% / 9623	55.43%	6682 (基准)
	NoThink	65.8% / 749	8.7% / 3185	53.6% / 263	20.7% / 813	37.20% (-18.23)	1252 (-81.3%)
	NOWAIT	81.0% / 2590	22.1% / 6941	79.9% / 727	26.8% / 5122	52.45% (-2.98)	3845 (-42.4%)
	SEAL	82.6% / 3252	25.4% / 9120	79.7% / 860	29.5% / 7948	54.30% (-1.13)	5295 (-20.8%)
	TIP	82.2% / 4462	30.4% / 11037	81.6% / 1292	29.5% / 9574	55.93% (+0.50)	6591 (-1.3%)
	Steady Thought	83.6% / 2691	30.8% / 7577	81.5% / 1118	33.2% / 7335	57.28% (+1.85)	4680 (-30.0%)
Qwen3-8B	Vanilla	91.4% / 4724	62.1% / 10895	95.6% / 1759	71.8% / 7112	80.23%	6122 (基准)
	NoThink	85.2% / 933	25.8% / 3504	93.6% / 289	45.6% / 584	62.55% (-17.68)	1327 (-78.3%)
	NOWAIT	92.8% / 3327	55.8% / 9371	95.5% / 1067	80.3% / 5285	81.10% (+0.87)	4762 (-22.2%)
	SEAL	92.2% / 4034	58.8% / 10372	95.9% / 1421	83.4% / 6414	82.58% (+2.35)	5560 (-9.2%)
	TIP	92.6% / 4516	58.3% / 10892	95.9% / 1705	81.1% / 7072	81.98% (+1.75)	6046 (-1.2%)
	Steady Thought	93.4% / 2139	64.6% / 7640	95.7% / 637	83.2% / 5631	84.23% (+4.00)	4011 (-34.5%)
Qwen3-32B	Vanilla	94.0% / 4000	67.1% / 10087	95.7% / 1276	82.6% / 7361	84.85%	5681 (基准)
	SEAL	94.8% / 3470	73.3% / 9461	96.4% / 1078	85.9% / 6442	87.60% (+2.75)	5112 (-10.0%)
	Steady Thought	94.8% / 2819	73.8% / 8225	96.6% / 844	85.9% / 6193	87.78% (+2.93)	4520 (-20.4%)

消融实验¶

论文围绕训练目标形态、分歧上下文颗粒度、切换检测通道以及边界熵阈值进行了全方位消融。下表展示在 DeepSeek-R1-Distill-Qwen-1.5B 与 Qwen3-8B 上的训练范式消融（对比全序列级 standard 与思维级 thought 在 SFT、DPO、SimPO 以及 STPO 上的差异）：

训练配置	监督颗粒度	目标函数	MATH-500 Acc (%) / Tokens	AIME 2024 Acc (%) / Tokens	说明
Vanilla (1.5B)	-	-	82.0% / 4385	27.5% / 11273	原始基线
+ SFT-standard	序列级整链	CE 损失	80.4% / 2650	22.9% / 7169	缺乏对比反思，过度拟合短文本致准确率剧跌
+ SFT-thought	思维级局部	CE 损失	78.0% / 2661	20.8% / 6650	纯局部模仿无法建立分歧辨识能力
+ DPO-standard	序列级整链	DPO 相对熵	82.6% / 4273	30.8% / 10701	未做长度归一化，受长输出偏差干扰无法实质压缩
+ DPO-thought	思维级局部	DPO 相对熵	82.8% / 4428	26.7% / 11364	局部短生成与长拒绝差异大，DPO退化严重
+ SimPO-standard	序列级整链	长度归一化	81.6% / 4049	29.2% / 10592	具备长度解耦但缺乏局部切入点，监督粒度粗糙
+ STPO (Full Model)	思维级局部	长度归一化 STPO	83.6% / 2691	30.8% / 7577	分歧点精准锚定 + 长度解耦，达到最优精度与压缩比
Vanilla (8B)	-	-	91.4% / 4724	62.1% / 10895	原始 8B 基线
+ SimPO-standard	序列级整链	长度归一化	93.6% / 2908	60.8% / 9151	粗粒度整链对齐
+ STPO (Full Model)	思维级局部	长度归一化 STPO	93.4% / 2139	64.6% / 7640	MATH Token减半以上，AIME绝对提升2.5%

此外，针对思维切换点检测双通道的消融显示：若在 1.5B 模型上剥离显式语言标记（仅靠熵突变），AIME 准确率自 30.8% 下滑至 29.2%（Token 增至 8316）；若剥离边界预测熵突变（仅靠语言标记），AIME 准确率降至 28.7%（Token 增至 8199），证实了词汇显式模式与不确定性隐式信号在捕获复杂推理跳转时的高度互补性。

关键发现¶

Token消耗显著缩减而不损推理精度：ST 在四个模型规模上分别达成 30.0%（1.5B）、34.5%（8B）、19.3%（14B）和 20.4%（32B）的总体平均 Token 缩减，并在全部基准上均实现了 1.85% 至 4.00% 的准确率绝对提升。
保留前缀纠错与转向弹性（Recovery Capability）：针对人工控制初始思路故意给错的对抗测试集（Control Set），经过 ST 训练的模型并未盲目固执错下去，而在 1.5B 和 8B 上的恢复求解准确率分别由 13.2% 提升至 20.3%、23.5% 提升至 26.6%，同时生成的恢复轨迹长度降低了 30% 以上，证明模型学会的是“深耕有效路径”而非“顽固拒绝切换”。
跨领域与跨语言的强泛化特性：虽然偏好数据仅从纯英文奥数竞赛题（omni-math）合成，但在完全未见过的代码竞赛基准（LiveCode）、常识多步推理（StrategyQA）、医疗问答（MedQA-USMLE）以及中文高考题（GAOKAO-bench）上，ST 均展现出卓越的泛化压缩能力。例如在 GAOKAO-bench 上，Qwen3-8B 在 Token 骤降 57.6% 的同时准确率反而提升 2.4 个百分点（86.0% \(\to\) 88.4%）。

亮点与洞察¶

将浅度思考形式化为分歧局部的微观偏好优化：突破了以往对思维切换“要么全盘抑制、要么全局强化”的粗粒度二元对立，将推理失控精准锚定在“有前途却中途放弃”的关键决策点，赋予了偏好学习极高的监督信噪比。
语言标记与信息熵跃升的互补定位机制：巧妙地将人类先验的显式连接词与模型内在状态的不确定性熵增结合，既能够低成本捕获标准化转移，又能精确洞悉没有连接词的隐式策略重置。
通过强制延续（Logit Bias）自监督构造配对数据：无需昂贵的人工标注或更强教师模型的全量蒸馏，直接利用模型自身的受约束生成完成自我校验与偏好对挖掘，具备极佳的工程落地性与自我演化潜力。

局限与展望¶

受约束生成中潜在的假阴性丢弃率：在轨迹合成阶段，ST 采取严格的保守策略——只有模型在强行抑制转折词后能直接推演得到正确答案的思维才被接纳，这使得大约 8% 的潜在可行思路因单向约束过严而被丢弃，存在数据合成效率上的提升空间。
阈值标定对模型族系的依赖：熵突变阈值 \(\tau\) 虽在局部区间内较为稳健，但不同模型底座的预测熵分布差异较大（如 1.5B 标定为 2.2，而 8B/32B 标定为 1.3），仍需利用少量样本进行前期标定。
复杂长程推导中多分支合并的建模局限：目前的思维假设多集中在链式分歧切分上，未来可进一步拓展到多分支交叉验证或树搜索架构下的全局信用分配中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从微观偏好分歧切入解决大推理模型的浅度思考问题，双通道检测与单向受控延续构建偏好对的设计极其巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 款不同规模基准模型、跨 7 大评测基准（含跨领域代码、常识、医学与中文高考），包含对抗错误前缀恢复与全方位消融。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰准确，公式推导严密精炼，图表逻辑自洽且实验剖析直击本质。
价值: ⭐⭐⭐⭐⭐ 为解决推理大模型推理冗长、Token膨胀与浅层摇摆提供了优雅且兼顾泛化性的后训练对齐范式。