Thinking Without Speaking: Efficient Tree of Thoughts Reasoning via Latent Steering¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/xiaoshumiao123/ITOT
领域: LLM 推理
关键词: 隐空间引导, 树搜索 (ToT), 测试时计算, 对比原型, 无训练优化
一句话总结¶
针对传统思维树(ToT)在文本层面“先生成再打分”带来的巨大时延与 Token 开销,本文提出一种免训练的隐式思维树框架(IToT),将离散树搜索形式化为模型隐藏层表征空间的连续优化问题,利用正负解对比原型与无导数优化在线引导隐状态,在准确率大幅领先显式搜索基线的同时将 Token 消耗降至单链 CoT 以下。
研究背景与动机¶
大语言模型在解决数学推导、符号逻辑与多跳常识等复杂任务时,以思维树(Tree of Thoughts, ToT)为代表的显式结构化搜索框架展现出了超越单路径链式思考(Chain of Thought, CoT)的解题上限。然而,现有的 ToT 及其各类变体面临着严重的吞吐量瓶颈与高昂的推理成本。这一困境的底层根源在于其普遍采用的“先生成后打分(generate-then-score)”范式:在搜索树的每一个扩展节点上,模型都必须将所有候选推理分支完整解码为显式自然语言文本,随后再调用独立的过程判别器或通过提示词让大模型进行自我评估与剪枝。即使后续工作引入动态剪枝、状态摘要或受限扩展来缩小搜索宽度,每个保留候选节点的单步显式文本解码与验证开销仍然分毫未减,导致整体推理时延随搜索深度呈指数级累积。
这种效率瓶颈的核心矛盾在于:显式树搜索试图利用自然语言空间的多分支探索来规避单一推理路径的局部最优与幻觉,但大模型本身的自回归解码机制决定了“多分支文本生成”具有极高的计算代价;与此同时,现有研究表明模型的深层隐藏状态中已经内嵌了丰富的任务级语义与逻辑有效性几何线索。如果模型在解码当前推理步时其隐藏激活已然显现出成功与失败轨迹的系统性差异,那么强行要求模型把所有死胡同与候选步骤全翻译成文字再评估,便构成了极其严重的计算冗余与算力浪费。
本文的切入角度是打破离散文本空间的分支评估范式,将整套思维树的探索、打分与剪枝机制完全下沉并闭环在模型的连续隐状态流之中。核心 idea:通过正负推理轨迹离线提取层级对比原型作为内在质量度向导,将解码窗口映射为搜索深度、隐状态扰动映射为分支扩展,并利用 CMA-ES 与动量累积实现在前向传播中“只思不说”的连续隐式树搜索。
方法详解¶
整体框架¶
IToT 的整体架构划分为两个阶段:离线原型校准(Offline Prototype Calibration)与在线隐式引导(Inference-Time Latent Steering)。在离线阶段,框架收集少量配对的高质量成功推理轨迹与高采样温度下生成的逻辑混淆失败轨迹,提取高层 Transformer 块最终 token 的表征差异并归一化,形成具有几何指向性的层级对比原型向量;在在线推理阶段,自回归解码序列按固定大小的 token 窗口划分为多个阶段(对应树搜索深度),每个受控层维护一个隐向导候选种群(对应搜索分支),在窗口内部以最高累计得分的分支实施软凸混合引导,在窗口边界则利用无导数进化算法(CMA-ES)基于与对比原型的余弦对齐度进行局部变异优化与 Top-\(K\) 束搜索剪枝。全流程直接在隐状态流内完成分支评估与决策,最终自回归解码输出的只有最终胜出的单条逻辑严谨路径。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入 Prompt 与离线正负轨迹"] --> B["阶段 1:离线对比原型校准<br/>计算正负轨迹高层隐藏表征差并单位化"]
B --> C["阶段 2:窗口化自回归解码<br/>按每 W 个 Token 划分连续树搜索深度"]
C --> D["阶段 3:连续隐式软凸引导<br/>挑选最优分支方向注入高层自注意力后表征"]
D --> E["阶段 4:CMA-ES 局部进化扩展<br/>在隐状态空间以原型余弦相似度无导数优化"]
E --> F["阶段 5:动量轨迹更新与隐式束剪枝<br/>保留 Top-K 优质隐向导并平滑历史方向"]
F -->|未生成 EOS| C
F -->|生成 EOS| G["输出最终单条高质量推理路径"]
关键设计¶
1. 离线对比原型校准:提取逻辑正确性的内在几何罗盘
针对传统显式检验器需要额外调用验证模型或产生大量评审 token 的痛点,该设计旨在无需额外训练的前提下,直接从模型深层激活中提炼出区分逻辑自洽与推导混乱的几何方向。针对预训练解码器 Transformer 模型的 \(L\) 个层,将分析与干预严格限制在编码高阶任务语义的高层集合 \(\mathcal{L}_{\text{high}} = \{l_{\text{start}}, \dots, L\}\)。给定由 \(N\) 组配对样本构成的校准集 \(\mathcal{D}_{\text{cal}} = \{(x_i, y_i^+, y_i^-)\}_{i=1}^N\),其中 \(y_i^+\) 采用标准参考解轨迹,而 \(y_i^-\) 则是保持相同前缀但在高采样温度下诱导模型自回归生成的包含混淆推理步骤的冗长轨迹。通过抵消输入上下文与特定领域的表征偏置,在各受控层提取两类轨迹终止 token 表征 \(z^{(l)}(x_i, y)\) 的残差向量并进行平均与 \(\ell_2\) 归一化: $\(p^{(l)} = \text{Norm}\left( \frac{1}{N} \sum_{i=1}^N \left( z^{(l)}(x_i, y_i^+) - z^{(l)}(x_i, y_i^-) \right) \right)\)$ 该向量 \(p^{(l)}\) 构成了固定不变的隐空间罗盘,为后续在线步骤提供了计算代价近乎为零的免解码质量代理评分函数。
2. 周期性隐空间分支扩展与束剪枝:映射树搜索到连续参数演化
针对显式 ToT 离散分支扩展导致组合爆炸与显存暴增的缺陷,IToT 将离散树的扩展与剪枝投射到隐空间的连续优化空间中。自回归生成过程被切分为长度为 \(W\) 个 token 的固定窗口,窗口序列天然对应于传统搜索树的深度。在每个受控层 \(l \in \mathcal{L}_{\text{high}}\) 上,维护一个规模为 \(B\) 的隐式候选分支池 \(\mathcal{B}^{(l)} = \{(m_b^{(l)}, v_b^{(l)})\}_{b=1}^B\),其中 \(m_b^{(l)}\) 为单位模长的隐向导方向向量,\(v_b^{(l)}\) 为累积质量得分。在每个窗口边界处,各个分支通过协方差矩阵自适应进化策略(CMA-ES)在其当前动量方向邻域内生成采样候选向量,并以最小化与对比原型 \(p^{(l)}\) 的负余弦相似度为目标函数进行无导数局部极值搜索: $\(J^{(l)}(z_i) = - \cos(z_i, p^{(l)}) = - \frac{z_i}{\|z_i\|_2} \cdot p^{(l)}\)$ 获得最优变异方向 \(d_b^{(l)}\) 后,算法利用动量衰减系数 \(\beta \in [0, 1]\) 平滑历史方向以防止跨窗口搜索轨迹震荡,并累加当前步对齐奖励: $\(m_b^{(l)} \leftarrow \text{Norm}(\beta m_b^{(l)} + (1-\beta) d_b^{(l)}), \quad v_b^{(l)} \leftarrow v_b^{(l)} + \cos(d_b^{(l)}, p^{(l)})\)$ 随后,按照累积值 \(v_b^{(l)}\) 严格降序排序,仅保留前 \(K\) 个分支(Beam Width \(B_w = K\))并补充扰动以恢复分支总数,在隐空间无缝复现了 ToT 的宽度剪枝逻辑。
3. 连续平滑软凸隐状态干预:兼顾逻辑纠偏与语言建模稳定性
硬性覆盖或强力篡改语言模型的激活极易破坏其局部的语法表征和生成连贯性,导致模型输出乱码或逻辑崩溃。为了在引导高阶推理朝向正确流形的同时保持自然语言解码能力,IToT 采用了受控层逐 token 的软凸引导机制。在每一个时间步 \(t\) 及受控层 \(l\),选择当前累积价值最高的分支 \(b^*(l) = \arg\max_b v_b^{(l)}\)。干预点设置在自注意力与层归一化之后,干预强度与该位置隐状态的模长自适应挂钩以保持流形尺度一致: $\(\tilde{h}_t^{(l)} = h_t^{(l)} + \lambda^{(l)} \|h_t^{(l)}\|_2 m_{b^*(l)}^{(l)}\)$ 其中 \(\lambda^{(l)}\) 是预设的层级干预强度系数,从较低受控层向最高受控层由浅入深递增。最后通过凸组合权重 \(\alpha \in [0, 1]\) 进行平滑混合: $\(h_t'^{(l)} = (1 - \alpha) h_t^{(l)} + \alpha \tilde{h}_t^{(l)}\)$ 修正后的隐状态 \(h_t'^{(l)}\) 随后无缝输入至后续层,从而在没有发射任何额外检验 token 的情况下将推理轨迹主动锚定在严谨推导流形上。
损失函数 / 训练策略¶
IToT 属于完全免训练(training-free)的测试时控制框架,不改变底座大模型的任何权重参数。其优化完全由 CMA-ES 进化算法在推理期动态执行。受控层集合 \(\mathcal{L}_{\text{high}}\) 设定为模型后 8 层 Transformer 块,各层干预强度 \(\lambda^{(l)}\) 依次线性递增设置为 \(\{0.01, 0.02, \dots, 0.08\}\);凸混合系数 \(\alpha\) 设为 0.5;离线校准集仅需 \(N=10\) 对问答样本即可获得高泛化性的原型向量;默认搜索超参设定为分支数 \(B_f = 4\)、束宽 \(B_w = 2\)、更新窗口大小 \(W = 128\)、CMA-ES 种群大小 \(\lambda = 8\)、迭代代数 \(G = 4\) 以及动量衰减系数 \(\beta = 0.9\)。
实验关键数据¶
主实验¶
论文在五类主流开源大模型架构(Qwen2.5-1.5B/3B-Instruct、DeepSeek-R1-Distill-Qwen-1.5B、Qwen2.5-Math-1.5B-Instruct 及 Gemma-3-1B-IT)与涵盖数学(GSM8K、MATH500)、常识(CommonsenseQA)、多跳图逻辑(ProsQA)、综合知识(MMLU)和阅读理解(Belebele)的 6 个基准数据集上进行了详尽评测。各模型默认采用 \(P@5\) 指标衡量(5 次生成命中),基线包含标准单链 CoT、多次采样自洽性 CoT-SC、经典显式树搜索 ToT、图搜索 GoT,以及前沿高效树搜索剪枝算法 DPTS 与 SSDP。
| 数据集 | 评估指标 | IToT (本文) | 显式树搜索 (ToT) | 最强单链基线 (CoT) | 提升幅度 (对比 ToT / CoT) |
|---|---|---|---|---|---|
| GSM8K | 准确率 / 时延(s) / Token数 | 0.853 / 46.06 / 2,509.89 | 0.745 / 46.63 / 22,926.30 | 0.871 / 52.37 / 2,357.34 | +10.8 pts (vs ToT) / Token 减少 89.1% |
| MATH500 | 准确率 / 时延(s) / Token数 | 0.701 / 69.80 / 3,358.39 | 0.636 / 173.10 / 30,446.82 | 0.620 / 80.89 / 3,294.66 | +6.5 pts / +8.1 pts / Token 减少 89.0% |
| CommonsenseQA | 准确率 / 时延(s) / Token数 | 0.757 / 38.90 / 1,874.71 | 0.699 / 55.49 / 6,733.52 | 0.734 / 47.20 / 2,453.71 | +5.8 pts / +2.3 pts / Token 减少 72.2% |
| Belebele | 准确率 / 时延(s) / Token数 | 0.775 / 52.05 / 1,544.50 | 0.719 / 71.31 / 11,576.48 | 0.763 / 33.50 / 1,517.68 | +5.6 pts / +1.2 pts / Token 减少 86.7% |
| ProsQA | 准确率 / 时延(s) / Token数 | 0.812 / 90.03 / 3,413.70 | 0.469 / 178.80 / 41,473.18 | 0.211 / 93.37 / 4,057.96 | +34.3 pts / +60.1 pts / Token 减少 91.8% |
| MMLU | 准确率 / 时延(s) / Token数 | 0.689 / 47.79 / 2,289.79 | 0.664 / 73.58 / 11,583.82 | 0.668 / 79.16 / 3,144.92 | +2.5 pts / +2.1 pts / Token 减少 80.2% |
消融实验¶
在 GSM8K 基准上针对 IToT 各核心组件的系统消融结果如下表所示(基础测试包含默认配置 \(T_{\max}=1024, W=128, B_f=4, B_w=2\)):
| 实验配置 | 准确率 (Acc. ↑) | 单样本 Token 消耗 (↓) | 单样本推理耗时 (s ↓) | 说明与核心发现 |
|---|---|---|---|---|
| IToT (Full 完整模型) | 0.871 | 301.01 | 5.358 | 默认完整系统,准确率最高且保持极佳时延平衡 |
| w/o Tree (去树结构) | 0.859 | 300.13 | 3.777 | 去除多分支候选池,准确率大幅下滑 1.2 pts,证明分层探索必不可少 |
| w/o Steering (去隐式引导) | 0.870 | 298.78 | 5.841 | 去除在线隐状态扰动注入,无法纠偏潜在错误路径 |
| w/o Pruning (去束剪枝) | 0.867 | 299.20 | 7.454 | 全部分支无序保留,显存计算膨胀使时延激增 39.1% 且噪声稀释精度 |
| w/o CMA (去进化优化) | 0.868 | 298.91 | 4.121 | 去除无导数局部变异,缺乏向对比原型的适应性对齐能力 |
| w/o Momentum (去动量累积) | 0.867 | 300.86 | 5.378 | 去除历史方向衰减累加,跨窗口引导发生震荡,长程推理稳定性降低 |
| Single-layer (单层干预) | 0.866 | 297.92 | 5.694 | 仅在单一顶层注入引导向量,语义调控深度不足导致表现变差 |
| w/o Calibration (无配对校准) | 0.866 | 299.22 | 5.910 | 随机方向或无差别原型难以提供有效的逻辑正向几何梯度 |
关键发现¶
- 复杂图结构推理(ProsQA)呈现断崖式优势:在强调多步因果逻辑链的 ProsQA 上,传统树/图显式搜索基线因过度文本扩展与判别幻觉出现性能崩溃(DPTS 仅 0.097,SSDP 仅 0.057,ToT 耗费 41,473 个 token 却仅获 0.469 准确率)。而 IToT 达到 0.812 的平均准确率,消耗 token 仅为 3,413,相比 ToT 在准确率提升 34.3 个百分点的同时 token 骤减 12 倍。
- Token 消耗比肩单链 CoT:传统 ToT 平均单题消耗 20,000~40,000 个 token,而 IToT 在 6 个数据集上的平均 token 消耗处于 1,544 至 3,413 区间,与单链 CoT(1,517~4,057)基本持平甚至更少,成功打破了“树搜索必带来 Token 爆炸”的固有定律。
- 小模型鲁棒性显著增强:在能力较弱的轻量模型 Gemma-3-1B 上,传统依赖文本自我评估的剪枝方法(DPTS / SSDP)在 GSM8K 和 MMLU 上几乎完全失效(准确率跌入 0.02~0.13 区间);而 IToT 依托底座原本的隐状态差异几何结构进行内部引导,分别稳健取得了 0.813 与 0.464 的成绩。
亮点与洞察¶
- 将离散树搜索闭环至连续隐空间:绝大多数思维树优化局限于“如何少生成几个文本分支”,而 IToT 首次完全摒弃了中间文本分支的生成与判别,把树的深度映射为 token 窗口、分支映射为表征摄动、评分映射为余弦对齐,设计极其巧妙。
- 免训练的原型几何罗盘:通过极其廉价的离线对比提取(仅需 10 对同问答下的正确与错误轨迹相减),即可从高层激活中纯化出跨越具体话题偏置的通用“逻辑纠偏向量”,无需昂贵的奖励模型训练或强化学习对齐。
- 软凸注入的微创控制学:将隐状态自适应模长缩放与凸组合平滑结合,使得外加的隐向导仅施加轻微的流形牵引,完全不破坏 Transformer 解码底座固有的语言与句法流利度。
局限与展望¶
- 跨领域原型的泛化漂移:当前对比原型依赖于同任务校准集的样本抽取,在遇到极其剧烈的分布外(OOD)提示词或陌生领域时,可能引入一定的引导偏差;未来可通过多任务混合蒸馏提取更加通用的域无关原型。
- 隐空间连续度量的间接性:与自然语言形式的形式化定理证明器或执行器相比,隐状态与原型的余弦相似度仅是逻辑正确性的代理信号,极端情况下可能存在表征伪对齐;未来可探索隐式引导与稀疏终端显式检验相结合的混合验证架构。
- 单步前向的多分支计算开销:尽管彻底省去了显式解码 token,但在每个窗口内对分支候选进行局部进化更新仍会引入少量张量运算耗时;未来可通过批处理并行化以及置信度自适应跳过机制(Dynamic Skipping)进一步榨干推理吞吐。
相关工作与启发¶
- vs Tree-of-Thoughts (ToT) / Graph-of-Thoughts (GoT):ToT 和 GoT 依赖显式的文本分支生成与外置评分器或 Self-Refine,吞吐受限于巨大的解码时延与平方级 Token 增长;IToT 将搜索全流程下沉至隐藏层,输出零冗余显式 Token,计算成本降了一个数量级。
- vs Coconut / CODI 等隐式 CoT 方法:现有的隐式 CoT 方案通常需要复杂的逐步蒸馏或持续预训练将 CoT 压缩进连续概念空间;IToT 属于完全免训练(training-free)的测试时控制方法,即插即用且能兼容多种异构模型架构。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将免训练的连续隐状态空间优化引入思维树推理,彻底消除中间分支的显式解码。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 5 种参数量从 1B 到 7B 的模型架构、6 个主流多维基准、详尽的消融与参数敏感性分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰,数学形式化表述自然,图文呼应紧密。
- 价值: ⭐⭐⭐⭐⭐ 为轻量级大模型在低时延边缘或实时交互场景下实现高阶多分支探索提供了极具实用价值的全新范式。