Extracting Search Trees from LLM Reasoning Traces Reveals Myopic Planning¶

会议: NeurIPS 2026
arXiv: 2605.06840
领域: Reasoning
关键词: 大语言模型推理, 搜索树提取, 认知计算建模, 近视规划, 因果干预

一句话总结¶

通过从四子棋博弈的大模型思维链中提取显式搜索树并结合认知计算模型与因果剪枝干预，发现大模型决策由候选动作的即时广度而非深层前瞻驱动，揭示出其表面深入搜索而实质近视规划（Myopic Planning）的决策机制。

研究背景与动机¶

近年来以 OpenAI o1、DeepSeek-R1 为代表的大语言模型在复杂长思维链（CoT）推理上取得了突破性进展，模型在给出最终答案前往往会生成数千 token 的思考过程，其中频繁出现对未来可能行动和局面的推演。在认知科学与传统人工智能领域，规划能力一直被形式化为树搜索过程，以 AlphaGo 为代表的决策智能体以及高水平人类棋手都依赖深层前瞻模拟（Deep Forward Search）来实现高超的决策表现。然而，学术界对于大语言模型是否真正具备前瞻规划能力存在尖锐争议：一派观点认为自回归生成的架构本质上无法支持系统的搜索与回溯，模型展现出的规划行为只是表面模式补全；另一派则通过编程和数学基准测试坚称模型展现出了涌现的多步规划能力。

争论悬而未决的核心根源在于以往评估大多依赖行为级基准测试（输入局面看最终输出走法或准确率），这一黑盒视角无法窥见模型生成推理轨迹内部的深层计算结构。即便模型的思维链在字面上展开了详尽的博弈树推演，这一深层推演到底在多大程度上真正因果影响了模型的走子决策，在以往文献中始终未被厘清。此外，象棋、围棋等传统棋盘在预训练语料中存在大量先验走法记忆，容易混淆模型到底是在即时规划还是复述记忆。

为了解构这一黑盒难题，本文将四子棋（four-in-a-row）作为战略测试基准，通过提示优化的大模型裁判从自然语言思维链中系统提取出显式搜索树结构，并引入认知计算建模与因果文本剪枝实验。核心 idea：从长思维链轨迹中结构化还原显式搜索树并拟合极小化极大与近视认知模型，证实大模型博弈虽然生成了深层搜索节点，但其最终决策实质由候选动作的浅层广度即时启发式驱动，而非深层价值反向传播。

方法详解¶

核心机制 / Core Mechanism¶

本文核心机制在于“推演轨迹解构与认知价值回传逆向检验”。研究将大语言模型在博弈过程中的非结构化思维链视为一种潜在搜索算法的外化产物。为了验证这种外化搜索是否参与了决策，机制分为两步：第一，将自然语言表述显式映射为博弈树 $T=(V, E)$，其中节点表示棋盘状态，边表示走法动作；第二，假设模型走法依据某种状态价值函数 $V(s)$ 并在第一步动作集合上执行 Softmax 选择： $$P(s_i \mid s) = \frac{\exp(V(s_i))}{\sum_{s_j \in \mathcal{A}} \exp(V(s_j))}$$ 通过固定棋盘启发评价函数 $h(s)$，对比“深层叶节点极小化极大逐层回传（Full-tree Minimax）”与“仅依赖第一步走子局面启发值（Myopic）”对模型真实走法的预测对数似然。若全树模型占优，则说明模型执行了真实的前瞻规划；反之若近视模型占优，则揭示出深层推演与决策动作的脱节。

整体框架与流程 / Pipeline & Flowchart¶

整体框架包含四个串行模块：在四子棋环境下进行多模型自动化对弈收集思维链数据；通过 DSPy 优化的抽取裁判解析博弈搜索树；在提取的树结构上拟合认知计算模型；最后通过段落级因果剪枝验证不同深度的实际因果效应。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    A["棋盘状态 (FEN)<br/>4x9 零和博弈"] --> B["思维链推理生成<br/>长文本推演与候选着法"]
    B --> C["搜索树结构提取<br/>裁判解析为显式博弈树"]
    C --> D["认知计算建模拟合<br/>对比全树/折现/近视价值回传"]
    D --> E["段落级因果剪枝干预<br/>按深度与分支切除/重采样"]
    E --> F["决策机制发现<br/>广度驱动而非深层价值回传"]

关键设计（带序号的紧凑段落）¶

1. 提示优化的思维链搜索树精准解析：解决长文本推演不可量化的痛点

自然语言思考轨迹具有高度多样性和跳跃性，规则解析极易失效。研究采用 GPT-5 作为提取器，将文本中明确分析的走法解析为坐标 $(r,c)$ 形式的嵌套列表（深度 1 代表模型首步候选，深度 2 代表假想对手应对）。为防止大模型裁判无中生有，研究借助 DSPy 配合 GEPA 优化器在人工标注验证集上持续调优提示词，确保仅提取文本中明确审视的合法走法，成功在 1092 场对战中提取出 9696 棵规范化搜索树。

2. 认知价值回传模型对比：解耦深层前瞻与即时局部评估

研究拓展了人类认知层面的启发搜索建模，定义包含中心位置权重与连子威胁特征的启发函数： $$h(s)=w_{\text{centre}}\bigl(\phi_{\text{centre}}(s,\text{self})-\phi_{\text{centre}}(s,\text{opp})\bigr)+\sum_{i=1}^{4}w_{i}\bigl(C\,\phi_{i}(s,\text{self})-\phi_{i}(s,\text{opp})\bigr)$$ 其中 $C$ 刻画进攻与防守的相对权重。在此基础上对比四种回传规则：全树模型自底向上递归极小化极大回传；近视模型直接取 $V(s_i)=h(s_i)$ 忽略所有后续分支；折现模型引入参数 $\gamma \in [0, 1]$ 权衡局部启发值与子节点最大值 $V(s) = (1-\gamma)h(s) + \gamma \max_{s'} V(s')$；无树基线模型则对全部合法位置直接计算 $h(s)$。所有模型通过 L-BFGS-B 最小化负对数似然进行参数估计。

3. 段落级外科手术因果剪枝：验证深层思考对最终行动的因果效应

针对单纯参数拟合无法排除虚假相关的问题，研究引入基于因果干预的剪枝实验。使用 Claude Opus 4.7 将思维链段落标注为前言（PREAMBLE）、分支展开（BRANCH_START/ANALYSIS/CONCLUSION）、跨分支比较（COMPARISON）、最终决策（FINAL_DECISION）与元思考（META），并记录每段提及的走法深度。在剔除最终决策段的前提下，分别测试整枝切除、仅保留深度 1 段落、以及叠加恢复深度 2 及以上段落，重新运行模型并量化最终选点的改变率（Move Change Rate）。

理论分析与设计权衡¶

在经典博弈理论中，搜索深度是降低博弈树叶节点估值不确定性的核心手段，人类专业棋手在四子棋中的搜索深度随水平提升稳定在 4 至 6 步。然而，自回归大语言模型受限于两大理论瓶颈：其一是注意力机制在上下文序列中执行多步递归极值回传（Bellman-style Minimax Backup）的算法能力受限，注意力难以精准模拟跨多分支的回溯累积；其二是自回归幻觉在模拟远期对局时带来误差累积（Compounding Error），导致深层节点状态失真。因此，在有限的推理预算下，模型自然演化出优先拓展第一步候选动作覆盖面（搜索广度）、并在第一手即时启发式上做决策的近视策略。这揭示出算力扩展并不等同于深度前瞻能力的认知脱节。

实验关键数据¶

主实验¶

在 27 款模型循环赛中，针对可完整获取思考轨迹的 14 款代表性模型（如 DeepSeek-R1、DeepSeek-V3.1/V3.2、Qwen3 系列、GLM 系列、Kimi-K2、GPT-OSS-120B 等）开展分析。

评估维度 / 效应量	统计值 / 指标表现	科学发现与统计检验
平均最大搜索深度	$1.78 \pm 0.71$ plies (范围 1.00 至 3.48)	显著浅于人类棋手的 4-6 步推演深度
胜率回归预测：搜索深度	$\beta = -0.015, \; p = 0.82$	控制搜索广度后，深度对胜率无显著贡献
胜率回归预测：搜索广度	$\beta = 0.075, \; p = 0.0025$	第一手候选动作数量是胜率的核心正向预测源
胜率 vs 广度/深度比率	正相关显著 ($p < 0.01$)	宽而浅的搜索结构胜率显著优于深而窄
近视模型 vs 全树模型走法预测	独占命中 1236 轮 vs 512 轮	近视模型独占预测正确率达全树模型的 2.4 倍
折现因子拟合值 $\gamma$	所有模型均收敛至 $\gamma \approx 0$	价值回传权重完全塌缩至即时评估
进攻偏好系数 $C$ 与胜率	显著正相关 ($p < 0.05$)	赋权自身进攻威胁高于对手防守的模型表现更好

消融实验¶

在 Qwen3-Next-80B-Thinking 上开展的细粒度因果段落剪枝干预结果如下：

剪枝实验干预条件	走法改变率 (%)	实验说明与因果推论
仅移除最终决策段 (Remove Final Decision)	2.1%	基线对照：移除末尾总结词不影响模型决策
移除未选中的最大候选分支 (Remove Unchosen Branch)	1.2%	负对照：修剪未采纳分支几乎不诱发走子变动
移除最终选中动作的完整推演分支 (Remove Chosen Branch)	32.0%	证明思考轨迹对动作产生极强的主干因果驱动
仅加回深度 1 段落 (Add back depth-1 only)	4.1%	仅恢复动作第一步评估，走法改变率骤降 27.9%
叠加加回深度 2+ 更深推演段落 (Add back depth-1 + depth-2+)	3.7%	恢复深层推演仅带来 0.4% 的边际变动，无实质因果效应

关键发现¶

搜索努力程度驱动胜率：在同模型家族及 GPT-OSS-120B 的 medium 与 high 推理强度对比中，高推理算力分配生成了更大的搜索树，带来了因果上的胜率提升。
广度主导而非深度主导：虽然大模型在思维链中常常写出深度达到 3-4 步甚至更深的推演文本，但胜率差异完全由第一手考虑的候选动作广度解释；无树模型向近视模型演进时的负对数似然增益（Candidate Gain）随广度增加而迅速衰减，表明候选动作提议阶段（Candidate Generation）完成了绝大部分关键决策过滤。
深层推演具有负效用（Depth Harm）：在认知模型预测中，使用全树极小化极大回传的预测误差（NLL）系统性高于仅评估一步的近视模型，且该差距随搜索深度的增加而显著放大。

亮点与洞察¶

研究视角的认知转向：不同于以往单纯评估“LLM 在某任务上是否解决规划”的行为级黑盒测试，本文首创将认知科学计算模型与树提取相结合，回答了“LLM 生成的推理轨迹到底反映了何种决策算法”。
思维链推演与决策机制的脱节（Faithfulness Gap）：揭示了长 CoT 模型中普遍存在的“表面深入推演、决策实则近视”的虚假前瞻现象，提示未来的可扩展监督（Scalable Oversight）不能仅凭看似严谨的推演文字来判定模型的决策逻辑。
对测试期计算扩展（Test-Time Compute）的启示：盲目增加生成 token 长度以促使模型进行深度模拟可能边际效用递减，关键瓶颈在于训练目标如何诱导自回归模型学会利用其推演出的未来结果反哺即时决策。

局限与展望¶

单一博弈域的泛化性：实验完全基于四子棋这一完备信息棋盘游戏，在规则更复杂、状态空间更庞大的环境（如现代数独、定理证明、代码规划）中是否同样存在近视现象有待进一步检验。
预设参数化启发函数的局限：认知拟合依赖基于人类棋力设计的特征工程启发式函数，未来可考虑采用神经网络表征或直接探针表征进一步揭示大语言模型内部潜在的隐式价值函数。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从长 CoT 中反向重构搜索树并与认知计算模型对齐，开创了 LLM 规划的机制性分析范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 27 款主流模型、千局对战、万棵搜索树，兼备统计建模拟合与细粒度因果剪枝实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层次分明，研究问题聚焦，实验验证环环相扣。
价值: ⭐⭐⭐⭐⭐ 为理解 Test-Time Compute 的有效边界、LLM 规划能力的对齐与可信可解释性提供了极具启发性的实证基石。

评估维度 / 效应量	统计值 / 指标表现	科学发现与统计检验
平均最大搜索深度	\(1.78 \pm 0.71\) plies (范围 1.00 至 3.48)	显著浅于人类棋手的 4-6 步推演深度
胜率回归预测：搜索深度	\(\beta = -0.015, \; p = 0.82\)	控制搜索广度后，深度对胜率无显著贡献
胜率回归预测：搜索广度	\(\beta = 0.075, \; p = 0.0025\)	第一手候选动作数量是胜率的核心正向预测源
胜率 vs 广度/深度比率	正相关显著 (\(p < 0.01\))	宽而浅的搜索结构胜率显著优于深而窄
近视模型 vs 全树模型走法预测	独占命中 1236 轮 vs 512 轮	近视模型独占预测正确率达全树模型的 2.4 倍
折现因子拟合值 \(\gamma\)	所有模型均收敛至 \(\gamma \approx 0\)	价值回传权重完全塌缩至即时评估
进攻偏好系数 \(C\) 与胜率	显著正相关 (\(p < 0.05\))	赋权自身进攻威胁高于对手防守的模型表现更好