State of Thought Enables Endogenous Reasoning¶

会议: NeurIPS 2026
arXiv: 2609.16055
OpenReview: https://openreview.net/forum?id=yZlaqwakuc
领域: LLM 推理
关键词: 测试期计算, 内生推理状态, 证据组织, 自适应停机, 动态几何表征

一句话总结¶

提出思想状态（State of Thought, SoT）推理范式，通过从冻结大模型内部信息传递中提取 4 维动态-几何内生状态，并利用仅 582 参数的轻量控制器动态稀疏激活历史证据与自适应控制停机，将推理转化为内生状态驱动的闭环过程。

研究背景与动机¶

测试期计算（Test-time compute）已成为拓展大语言模型（LLM）复杂推理能力的核心技术路径。从认知过程来看，大模型的推理本质上是在为后续决策不断组织历史证据上下文。然而，现有的测试期推理范式几乎完全依赖于“外部施加的控制”：一类方案依赖预先设定好格式的外在推理程序，例如思维链（Chain-of-Thought）、规划求解（Plan-and-Solve）或自我反思修正（Self-Refine），强行要求模型套用固定模板；另一类方案则通过在大规模受限搜索空间中展开额外搜索，如自洽采样（Self-Consistency）、束搜索或蒙特卡洛树搜索（MCTS）来穷举多条轨迹。

这种基于外部控制的范式存在一个根本性矛盾：无论是硬编码的文本程序还是广度搜索策略，它们都忽略了模型在逐步推演过程中自身内部表征状态的动态演进。外部规则无法感知模型在当前推理步到底缺少什么证据支撑、推演是否已经偏离方向，或者信息是否已然充足以得出最终结论。这导致现有方法在面对异构推理结构时缺乏泛化能力，并在计算资源受限的推理场景下产生严重的计算冗余与高昂延迟。虽然既往表征工程研究发现模型隐藏状态包含丰富的表征几何、轨迹规律及置信度动态，但这些内生信号通常仅被用作事后可解释性探测或简单的静态早停监控，未曾被置于直接主导和调控推理过程的核心位置。

本文的切入视角在于重新审视推理控制变量的本质：真正自适应的高效推理，应当是一个在模型内生状态驱动下为下一个决策动态组织精确证据上下文的闭环反馈过程，而非机械跟从外部指令生成的 token 链。核心 idea：提取模型内部信息传递的 4 维动态-几何状态作为控制界面，通过 582 参数的轻量闭环控制器实现状态条件下的历史证据稀疏激活与内生自适应停机，让模型自发演化出最适配当前决策的推演轨迹。

方法详解¶

整体框架¶

SoT 将冻结自回归语言模型的测试期推理形式化为内生状态调控的多步句子级轨迹生成过程。模型在第 $t$ 步生成一个句子级推理单元后，系统从中提取出包含内部聚集度、步进位移、方向持久度与预测不确定性的 4 维动态-几何状态向量；随后，轻量控制器依据当前内生状态与历史状态序列，通过证据组织算子 $\mathcal{S}$ 从历史推演中动态挑选出支撑当前决策的最优稀疏证据子集，并通过停机算子 $\mathcal{T}$ 判定当前累积证据是否足以生成最终答案。整个推理过程构成“当前状态 $\rightarrow$ 稀疏证据组织 $\rightarrow$ 生成下一步 $\rightarrow$ 状态转移更新 / 停机判定”的动态闭环，完全摆脱了对外部提示模板或广度搜索的依赖。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入问题与上下文 p"] --> B["生成句子级推理单元 y_t"]
    B --> C["提取4维动态-几何内生状态 m_t"]
    C --> D["状态条件化证据组织算子 𝒮"]
    C --> E{"状态条件化停机算子 𝒯"}
    D -->|"更新活跃历史证据子集 y~_<t+1"| B
    E -->|"继续推演 (z_t = 0)"| B
    E -->|"终止推演 (z_t = 1)"| F["生成最终答案 a"]

关键设计¶

1. 四维动态-几何内生状态表征：从内部信息流中提炼紧凑控制界面

为了克服外部预设指令与模型真实推演状态脱节的问题，SoT 从最终隐藏层提取能够反映局部推演几何、时序动力学与预测置信度的紧凑状态 $m_t = [\delta_t, v_t, c_t, H_t]^\top \in \mathbb{R}^4$。首先，以当前句子级单元 $y_t$ 的最终隐藏层均值作为句子表征中心 $u_t = \frac{1}{n_t}\sum_{i=1}^{n_t} h_{t,i}^{(L)}$。几何坐标 $\delta_t$ 衡量句子内 token 隐向量围绕中心 $u_t$ 的离散度： $$\delta_t = \frac{1}{n_t}\sum_{i=1}^{n_t} \|h_{t,i}^{(L)}\|_2^2 - \|u_t\|_2^2$$ 用于判别当前推理单元内部表征是高度聚焦还是发散；动力学坐标 $v_t = \|u_t - u_{t-1}\|_2$ 刻画相邻推理步的位移跨度，而余弦相似度指标 $c_t$ 则衡量连续两步位移的方向一致性： $$c_t = \frac{\langle u_t - u_{t-1}, u_{t-1} - u_{t-2} \rangle}{\|u_t - u_{t-1}\|_2 \cdot \|u_{t-1} - u_{t-2}\|_2 + \varepsilon}$$ 用以清晰区分当前步是在平稳延展既有逻辑路径还是发生了思路变轨或重定向；不确定性指标 $H_t = \frac{1}{n_t}\sum_{i=1}^{n_t} \mathcal{H}(p_{t,i})$ 为下一个 token 预测分布的平均香农熵，反映模型对该步决策的信心度。这 4 个坐标经训练分布的均值与方差标准化后构成控制界面的完整内生状态 $m_t$。

2. 状态条件化证据组织算子：基于跨状态交互的稀疏历史动态激活

长轨迹推理中容易积累大量冗余甚至互相干扰的历史推理步，导致模型陷入幻觉或算力浪费。为此，证据组织算子 $\mathcal{S}(y_{<t}; m_t)$ 并不采用无差别的全量历史拼接，而是计算当前状态 $m_t$ 与历史步状态 $m_i$ ($i < t$) 的成对关系描述符： $$d_{t,i} = [m_t;\, m_i;\, m_t - m_i;\, m_t \odot m_i] \in \mathbb{R}^{16}$$ 该描述符同时编码了当前与历史的状态模式、状态迁移位移以及逐通道相容性。仅含 577 个参数的轻量投影视角网络 $\phi_{\mathrm{sel}}(d_{t,i}; \theta)$ 输出选择得分 $g_{t,i}$，并在推理上下文预算限制下依时序抽取关键稀疏子集 $\widetilde{y}_{<t} \subset y_{<t}$。这种机制保证了后续 token 生成时注意力始终聚焦在与当前认知状态强相关的支撑论据上。

3. 状态条件化内生停机算子：证据充分性驱动的自适应终止机制

现有自适应推理方法往往采用预设的最大推演深度或外部评分模块，容易导致未解完提前退出或已解完依然死循环赘述。SoT 的停机算子 $\mathcal{T}(m_t)$ 仅包含一个 5 参数的线性判别头 $\phi_{\mathrm{stop}}(m_t; \phi)$，直接由当前内生状态映射得到停机概率 $p_t^{\mathrm{stop}} = \sigma(o_t)$。当 $p_t^{\mathrm{stop}}$ 超过阈值时判定累积证据已足够回答问题，触发终止决策 $z_t = 1$ 并直接生成最终答案。停机信号内生自发产生，确保了简单问题快准收敛、复杂问题深思熟虑。

损失函数 / 训练策略¶

骨干模型全参数严格冻结，仅离线优化轻量控制器的 582 个参数。训练数据来自骨干模型离线采样的多步推理轨迹池，经历史回放获得证据保留目标 $\hat{b}_{t,j} \in [0,1]$ 与证据充分度停机标签 $z_t^* \in [0,1]$。整体优化目标为选择损失与停机损失的加权组合： $$\mathcal{L}_{\mathrm{SoT}} = \sum_{t}\sum_{j<t} w_{t,j}\,\ell_{\mathrm{BCE}}\bigl(\sigma(g_{t,j}), \hat{b}_{t,j}\bigr) + \lambda_{\mathrm{sp}}\mathcal{R}_{\mathrm{sp}} + \lambda_2\|\theta\|_2^2 + \lambda_{\mathrm{stop}}\sum_{t}\ell_{\mathrm{BCE}}(p_t^{\mathrm{stop}}, z_t^*)$$ 其中 $\mathcal{R}_{\mathrm{sp}}$ 为稀疏正则项，防止门控退化为全量稠密保留。控制器经历 12 个预热轮次和 400 步轻量微调后即可完成拟合，五折交叉验证下选择器 AUC 稳定在 $0.779 \pm 0.005$。

实验关键数据¶

主实验¶

在 3 种不同架构与尺度的 LLM（Llama-3.1-8B、Qwen2.5-14B、Mixtral-8x7B）及涵盖四大领域（定量推理 QS、符号与代码 S&C、通用理解 GU、长上下文推理 LCR）共 16 个基准测试上进行了全面评估。下表展示 Llama-3.1-8B 上的代表性主结果对比（各领域取代表性数据集与领域平均分）：

领域 / 数据集	指标	SoT (本文)	强基线 1 (CoT)	强基线 2 (SC)	最优非SoT基线	提升幅度 (vs 最优非SoT)
QS: GSM8K	EM	81.8	80.8	83.6	83.6 (SC)	-1.8
QS: MATH	EM	64.8	64.2	54.0	64.2 (CoT)	+0.6
QS: DROP	F1	40.5	1.7	1.6	19.8 (CB)	+20.7
QS 领域平均	Avg	65.8	55.5	53.2	55.5 (CoT)	+10.3 (+18.6%)
S&C: ProofWriter	EM	64.8	24.5	28.5	35.8 (CB)	+29.0
S&C: BBH-Temporal	EM	78.0	70.0	52.0	70.0 (CoT)	+8.0
S&C: HumanEval	Pass@1	59.1	25.0	10.0	35.0 (MCTS)	+24.1
S&C 领域平均	Avg	58.4	31.2	27.3	42.5 (COCO)	+15.9 (+37.4%)
GU 领域平均	Avg	70.4	36.3	35.8	63.6 (SR)	+6.8 (+10.7%)
LCR 领域平均	Avg	31.9	7.1	6.8	21.8 (CB)	+10.1 (+46.3%)

在推理效率与时延方面，在 Llama-3.1-8B 上平均消耗生成的 reasoning token 数由搜索类方法的 472.7 降低到 223.9（缩减 52.6%），端到端时延由 29.0s 降低到 9.8s（缩减 66.4%）。

消融实验¶

在 Llama-3.1-8B 上针对 SoT 的核心模块与 4 维状态分量进行严格消融（各领域报告准确率 acc 与生成的 token 数 tok）：

配置	定量推理 QS (acc / tok)	符号代码 S&C (acc / tok)	通用理解 GU (acc / tok)	长上下文 LCR (acc / tok)	说明
Full SoT (完整模型)	62.8 / 219.4	54.5 / 294.0	71.2 / 64.0	33.0 / 181.6	完整 582 参数闭环控制器
w/o 证据组织算子 $\mathcal{S}$	29.6 / 469.5	44.5 / 536.2	72.4 / 193.9	26.9 / 506.5	失去状态稀疏筛选，性能腰斩且 token 翻倍
w/o 停机算子 $\mathcal{T}$	60.6 / 1769.6	57.1 / 1705.1	70.2 / 4148.5	31.6 / 2937.4	失去内生停机，生成 token 数膨胀 6~60 倍
w/o 几何离散度 $\delta_t$	42.5 / 68.6	46.4 / 48.0	73.0 / 25.4	24.5 / 47.2	缺少表征聚集信号，QS 大幅下挫 20.3 点
w/o 动力学特征 $(v_t, c_t)$	57.0 / 1039.2	46.2 / 846.7	71.2 / 1272.3	31.6 / 1000.3	缺少位移与转向监控，时延与 token 急剧上升
w/o 不确定性 $H_t$	54.1 / 244.9	52.1 / 281.8	73.6 / 61.3	32.8 / 555.5	失去局部置信度引导，整体平衡性略微受损
无需训练版 (Training-Free SoT)	59.0 / -	50.1 / -	52.0 / -	26.9 / -	基于启发几何规则，仍保留大部分增益

关键发现¶

证据组织算子 $\mathcal{S}$ 是保证推理正确性的中流砥柱：移除该算子后，QS 性能从 62.8 崩塌至 29.6，LCR 性能跌落至 26.9，证明漫无目的的全量历史堆叠会显著破坏长链推理的有效性。
停机算子 $\mathcal{T}$ 是推理效率的核心闸门：移除停机算子后模型无法自发感应“证据充分”，平均 token 生成量从两三百飙升至数千，单例推理时延增加 10 倍以上。
几何与动力学状态分工明确：消融实验证实 $\delta_t$ 对推理正确性影响最为剧烈，而动力学坐标 $(v_t, c_t)$ 则是控制推理停滞、死循环与 token 膨胀的关键信号。
多模态泛化能力卓越：在 Qwen2.5-VL-7B/32B 的视觉推理评测中（A-OKVQA、AI2D、M3CoT），SoT 仅需搜索基线四分之一的 token 即可在 6 个任务中取得 5 项第一，平均准确率领先 3.8 个百分点。

亮点与洞察¶

将推理控制权交还模型内生状态：跳出了“强化 Prompt 模版”或“盲目树搜索”的传统路径，首次利用表征空间中信息传递的几何演变来充当推理舵手，既保留了离散文本推演的完全可解释性，又汲取了连续隐空间调控的灵活性。
极致轻量的控制器架构（582 参数）：不需要更新大模型底层权重，仅用一个 16 维投影矩阵与一个标量判断头便实现了全局性能飞跃，在部署成本极低的条件下推动了准确率与时延前沿面的外拓。
跨范式的黑盒扩展能力：拓展出的 SoT-Embed 与 SoT-Judge 揭示了推演轨迹动力学是一致通用的健康度指标，无需访问隐藏层仅通过文本嵌入轨迹就能在 GPT-5.4、Claude Opus 4.7 等黑盒闭源 API 上实现高精度事后评判。

局限与展望¶

白盒隐藏层依赖：完整版 SoT 依赖提取模型内部隐藏层 activations 与逐 token 预测熵，这限制了其在纯文本 API 接口场景下的直接部署（虽有 SoT-Embed 作为兜底方案，但性能相比完整版有约 17.5% 的回落）。
句子级划分粒度固定：当前控制器采用静态句子级切分作为最小推理单元，未来可探索子句级或自适应认知跨度的弹性粒度切分，以更好适配数学公式密集型或超短文本推理场景。
联合端到端微调的潜力：目前控制器与骨干网络是解耦的（Frozen backbone），未来探索将内生状态监控目标融入大模型的后训练（Post-training / RL）阶段将是具有潜力的方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了外部 Prompt 脚本驱动测试期推理的传统心智，开创了由内生动态几何表征闭环调控推理的新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 款主流开源大模型、2 种多模态模型、16 个文本基准与 3 个视觉推理基准，并深入分析了准确率、时延、消融与黑盒外推表现。
写作质量: ⭐⭐⭐⭐⭐ 问题形式化严谨，从控制论与几何动力学视角剖析推理过程，结构层层递进，消融与图表详实。
价值: ⭐⭐⭐⭐⭐ 为轻量化、高效率且自适应的推理期计算优化（Test-Time Compute）提供了全新且极具工业落地潜力的解决途径。