Thinking Inertia: LLMs Keep Thinking When Told Not To¶

会议: NeurIPS 2026
arXiv: 2610.11765
论文: https://arxiv.org/abs/2610.11765
领域: Reasoning
关键词: 思考惯性, 大语言模型, 推理控制, 零思考评估, 答案空间

一句话总结¶

本文将大模型的“不思考”（No-thinking）解构为可观测的回答级行为，提出了由空思考率、问题-前置文本相关性与显式推理率组成的三层评测框架，系统揭示了模型即便在严格指令或禁用思考模式下仍顽固残留显式推理的“思考惯性”现象及其对答案空间的强烈依赖。

研究背景与动机¶

近年来，大语言模型（LLM）通过测试期计算扩展（如思维链 CoT、显式思考模式）在数学、代码与复杂推理任务上取得了突破性进展。然而，为所有输入无差别分配大量推理 token 不仅显著增加了计算延迟与经济成本，也背离了人类按需直觉反应或深思熟虑的自适应认知特征。业界为此推出了原生“思考模式开关”、推理预算控制参数以及各种形式的提示词控制，旨在让模型在简单任务或特定格式要求下“直接给出最终答案，不要思考”。

然而，学界与工业界以往普遍依赖粗糙的表面代理指标来判定模型是否处于“不思考”状态，例如：模型配置是否关闭了 thinking 模式、输出中是否缺失 <think> 特殊标签、或者生成 token 长度是否较短。这些表面代理存在明显的失效场景：关闭思考开关后模型完全可以在普通输出通道中继续吐出密集的推导步骤；缺少 <think> 标签并不妨碍模型以自然语言展开分析；而较短的输出里往往依然包含一步关键的代数变形或因果推理。相反，一句无关痛痒的客套垫话虽然增加了长度，却根本不包含任何任务推理。由于缺乏对“不思考”行为的严谨定义与定量测度，我们既无法可靠评估模型抑制显式推理的服从能力，也无法科学探究推理抑制对下游任务准确率的深层影响。

为了打破这种将提示词控制与推理内容混为一谈的现状，本文将“不思考”重新定义为回答级（response-level）的可观测行为，严格解耦前置文本（pre-answer trace）与最终答案（final answer），并建立从格式纯度、语义关联到显式推理递进的三层度量体系。本文的核心 idea 是：将大模型的“不思考”定义为可观测的回答级解耦行为，构建空思考率（ETR）、语义相关性（QRel.）与盲审显式推理率（EIR）三层评测体系，全面揭示显式推理在严格禁思下依然顽固存在的“思考惯性”，并证明其强弱取决于任务的候选答案空间结构。

方法详解¶

整体框架¶

本文构建了针对大模型“不思考”行为的回答级标准化评估体系。对于任意任务样本 $Q=(q, c, \mathcal{A})$（包含问题 $q$、可选上下文 $c$ 以及候选答案空间 $\mathcal{A}$），系统首先应用一种外部干预 $S(\cdot)$（涵盖原生开/关、CoT、软性抑制、严格禁思和前缀强制等六种干预模式）得到输入 $S(Q)$。模型生成结果被规范化解耦为最终答案 $A$ 以及在 $A$ 之前出现的所有可读前置文本 $T$。

针对前置文本 $T$ 与最终答案 $A$，评估体系通过三个递进层次进行全方位剖析：第一层为空思考率（Empty-Thinking Rate, ETR），评估输出是否达到绝对纯净的仅答案（answer-only）标准；第二层为问题-前置文本相关性（Question–Pre-answer Relevance, QRel.），采用指令感知型文本嵌入模型衡量 $T$ 与 $q$ 之间的语义关联；第三层为显式推理率（Explicit Inference Rate, EIR），使用盲审 LLM 裁判将非空 $T$ 划分至五种互斥范畴并判定是否包含显式推理步；最后独立评估最终答案 $A$ 的任务准确率（Accuracy）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本与干预设定<br/>Q=(q, c, 𝒜) + 提示干预 S(·)"] --> B["回答标准化解耦<br/>π(S(Q)) → 前置文本 T + 最终答案 A"]
    B --> C["空思考率严格结构判定<br/>ETR: 检验 |T|=0 与答案解析合规性"]
    B --> D["指令感知语义相关度测量<br/>QRel.: Qwen3-Embedding-4B 余弦相似度"]
    B --> E["盲审裁判显式推理分类<br/>EIR: 判别推理步 vs 复述/事实陈述"]
    B --> F["答案准确率评估<br/>Acc: 独立验证最终答案 A 的正确性"]

关键设计¶

1. 回答级标准化解耦与严格空思考判定：杜绝格式穿透与尾部注水 以往研究通常假设只要输出被解析出答案即算作遵循指示。本文提出严格的双向判定机制：将模型全部可见输出规范化拆解为 $(T, A)$，其中 $A$ 为最后一个可解析的合法答案标记，$T$ 为在此之前输出的所有可见文本。在此基础上定义的空思考指标（ETR）不仅要求前置文本长度 $|T|=0$，还严格扫描全输出：一旦最终答案 $A$ 之后附带任何实质性补充解释或推导，或者 $A$ 未能严格契合预设答案包装，则指示变量 $e_i$ 判为 0： $$e_{i}=\mathbf{1}\!\left\{|T_{i}|=0 \text{ 且格式严格合规}\right\},\qquad \mathrm{ETR}=\frac{100\%}{N}\sum_{i=1}^{N}e_{i}$$ 这种设计确保了 ETR 能够作为最干净的无推理物理界限，彻底封堵了模型在输出前后夹带推理内容的漏洞。

2. 指令感知语义关联度度量：区分通用套话与问题特定负载 当模型产生非空前置文本 $T$ 时，不能简单地按长度计为推理。模型常输出如“Let me think about this. The answer is”这类无害模板。为了分离通用垫话与针对具体任务展开的文本，本文采用指令感知型 Qwen3-Embedding-4B 编码器 $\phi$。在编码问题 $q$ 时引入检索指令“给定问题，检索包含回答该问题相关推理的前置文本”，而将 $T$ 作为候选文本编码。在对向量执行 $\ell_2$ 归一化后，定义回答级相关度为： $$\mathrm{QRel.}(Q_{i}, T_{i})=\begin{cases}0,& |T_{i}|=0,\\\cos\!\bigl(\phi(Q_{i}), \phi(T_{i})\bigr),& |T_{i}|>0.\end{cases}$$ 全集汇总采用含零均值。该设计成功将长文本中的冗余填充词与真正携带题目信息的前置内容区分开来，使相关性指标不受表面 token 长度膨胀的欺骗。

3. 盲审裁判显式推理分类：剥离复述陈述与实质推导演绎 语义高相关文本仍可能只是对题干的重述、上下文事实的摘抄或孤立的答案断言，这并不等同于认知上的推导计算。本文引入盲审大模型裁判（主评测基于 GPT-5.5，并由 Claude Opus 4.8 交叉验证），仅向裁判输入隐藏了模型身份、干预方式和最终答案的元组 $(q, T)$。裁判依据严格互斥的五分类准则打分并提取证据区间（Span）： - 通用/跑题（Generic/off-topic）：仅有格式引导词或无关文字； - 仅复述（Paraphrase-only）：仅语义复述题目事实而无因果链接； - 事实陈述（Relevant non-inferential）：直接给出相关定义或结论而无推导过程； - 显式推理（Explicit reasoning）：包含演绎、计算、排除、规则应用或因果论证； - 模糊不明确（Unclear）。

只有判定为“显式推理”时二值变量 $\operatorname{Judge}(Q_i, T_i)$ 才赋 1，空前置文本 $T_i$ 默认赋 0： $$\mathrm{EIR}=\frac{100\%}{N}\sum_{i=1}^{N}\operatorname{Judge}(Q_{i}, T_{i})$$ 人工盲审对比实验证实，该显式推理分类标准与人类标注员的二分类一致率高达 98.8%。

4. 六模态渐进式干预控制谱系：全景探测推理抑制边界 为了系统性探究外力对模型推理的抑制效力，本文设计了由松至紧的六级提示干预体系： - M1（Think-On）：原生开启思考模式，作为显式推理的上限参考； - M2（Think-Off）：原生关闭思考通道，不添加额外格式限制，作为基线； - M3（CoT）：在关闭思考开关下追加“Think step by step”，测试普通文本通道的推理再激发； - M4（Soft）：追加轻度限制“允许极短引言，但不准解释”； - M5（Strict）：追加强硬禁令“直接给出最终答案，禁止任何推理”； - M6（Prefix）：在生成初始强制预填答案前缀“The answer is \boxed{”，绕过自然语言指令遵从机制。该谱系构成了统一的受控实验场，能够精确揭示从软性引导到硬性截断下的推理残留情况。

实验关键数据¶

主实验¶

实验评估了包含 Qwen3（4B, 32B, 235B）、DeepSeek-V4-Flash（284B）、GPT-5.4 与 Gemini-3-Flash 在内的 6 款代表性模型，涵盖布尔判断（BoolQ、StrategyQA）、多项选择（MMLU、MMLU-Pro）和开放生成（GSM8K、MATH）三大答案空间体系。以下汇总了在 M2（Think-Off 基线）与 M5（Strict 严格禁令）下各大答案空间的平均表现：

任务类型 (Answer Space)	干预模式	平均准确率 (Acc. %)	空思考率 (ETR %)	语义相关度 (QRel.)	显式推理率 (EIR %)
Boolean 验证	M2 (Think-Off)	85.2	87.4	0.082	5.15
Boolean 验证	M5 (Strict)	85.0	99.2	0.005	0.12
MCQ 多项选择	M2 (Think-Off)	74.6	41.2	0.441	45.57
MCQ 多项选择	M5 (Strict)	73.8	72.5	0.231	25.39
Open-ended 开放生成	M2 (Think-Off)	71.3	0.08	0.825	99.69
Open-ended 选项	M5 (Strict)	56.4	40.1	0.486	62.00

消融与对照实验¶

针对答案空间本身的决定性作用，作者将同一批数值数学题（来自 MMLU/MMLU-Pro 子集）统一重写为布尔验证题（提供待检验数值）、原始多选题以及开放填空题，在 Qwen3-32B（M2 模式）上进行了严格控制对照：

问题呈现形态	候选答案支持	准确率 (Acc. %)	空思考率 (ETR %)	语义相关度 (QRel.)	显式推理率 (EIR %)
Boolean 重写版	提供单一候选项供检验	78.9 (+1.1)	62.5 (+52.0)	0.314 (-0.395)	36.90 (-50.05)
MCQ 原始题型	提供 4 个固定候选选项	77.8 (基准)	10.5 (基准)	0.709 (基准)	86.95 (基准)
Open-ended 重写版	无候选答案，自由生成	52.6 (-25.2)	0.0 (-10.5)	0.810 (+0.101)	90.14 (+3.19)

此外，针对 M6（前缀强制）的验证发现：强制预填充并不能可靠抑制推理。在开放式任务上，从 M5 切换至 M6 后，平均 ETR 从 40.1% 骤降回接近 0%，而 EIR 和 QRel. 则重新反弹回接近 M2 的水平，证明模型会直接在预填前缀后换行继续写推导。

关键发现¶

思考惯性（Thinking Inertia）普遍存在：即使在厂商官方宣称的“Thinking-Off”状态下，DeepSeek-V4-Flash 在开放式任务中仍然在 99.9% 的回答中吐露了显式推理；关闭开关仅关闭了特权标签通道，未能真正阻止可见推理流。
答案空间梯度效应：思考抑制的难易程度主要由答案空间的封闭程度决定，呈现出极其显著的阶梯状：$\text{Boolean} \ll \text{MCQ} \ll \text{Open-ended}$。布尔任务最容易达成 Answer-only，而开放式生成几乎不可避免地诱发前置推导。
禁思-性能权衡困境（Trade-off）：在布尔与单选题上，施加 M5 强力禁令几乎不损伤准确率；但在开放式推理题（GSM8K/MATH）上，强制模型“不准思考直接给答案”会导致平均准确率断崖式下跌 15 个百分点，表明开放生成对测试期前置计算存在本质依赖。
学科领域的反直觉分布：在题型均为四选一的 MMLU 评估中，模型在 STEM 领域的准确率最高（83.0%~94.4%），但其 ETR 最低（0.3%~36.4%），EIR 最高（59.7%~85.5%）。这说明任务成功率并不等于能够“直接作答”，难度高且需要逻辑推演的学科极具思考惯性。

亮点与洞察¶

跳出表面标记陷阱，确立回答级评测基准：论文敏锐指出了社区长期以来将“无 <think> 标签”或“输出长度短”误当成“不思考”的误区，构建了首个将结构纯度、语义相关和推理步严格分离的三层评测基准。
精准揭示大模型“情不自禁”的思考惯性：实验不仅证实了大模型在开放问题上无法轻易刹车，还证明了这种惯性不是提示词强度不够所致，而是模型生成分布与问题计算需求内生绑定的客观现象。
答案结构重塑自适应推理机制：控制变量下的答案空间重写实验证明，仅需为模型提供候选答案参考，即可大幅降低显式推理残留率并提升直接输出达标率，为动态推理路由与自适应界面设计提供了直接依据。

局限与展望¶

局限于可见回答通道的测量：本文度量的是可见文本 $T$ 中的显式推理，未探测模型内部隐状态（Latent reasoning）中的无声计算，无法断言隐藏层是否在静默执行前向推演。
评测场景局限于单轮确定性解码：实验主要覆盖单轮问答与数学验证，尚未延伸至多轮对话、代码生成、多模态或 Agent 工具调用等更加复杂的长程交互场景。
缺乏训练层面的主动适配方案：研究聚焦于行为诊断与提示词干预分析，尚未提出能够在训练阶段对“受控直接回答”与“复杂按需深思”进行多目标对齐的全新损失函数或后训练算法。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化定义大模型“不思考”行为，发现并命名了“思考惯性”这一基础行为学特征。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 大主流开源/商业模型、6 大评测集、6 级干预谱系及严谨的五人盲审与跨模型交叉验证。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密，动机自然，度量指标数学定义准确，实验层层递进。
价值: ⭐⭐⭐⭐⭐ 为大模型自适应推理调度、端侧低延迟部署以及评测大模型真实指令依从能力提供了关键理论与实证基础。