跳转至

Observable Patterns Are Not Explanations: A Causal-Geometric Analysis of Latent Reasoning Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/darpanaswal/InterpretingLatents
领域: 可解释性
关键词: 隐式推理模型, 机制可解释性, 因果干预, 梯度子空间, 几何分析

一句话总结

针对隐式推理模型中“可观测隐状态模式(如广度优先搜索、草稿本计算)即推理机制”的流行假设,本文通过设计严密的控制基线、因果追踪与梯度子空间干预,揭示可观测表象并非隐式推理所独有且不能反映真实因果影响,证明隐状态利用率呈现连续梯度分布,且因果效应高度集中于低维几何子空间中。

研究背景与动机

大语言模型的思维链(Chain-of-Thought, CoT)提示在激发复杂推理能力的同时,带来了巨大的计算开销与离散自然语言符号空间的表达瓶颈。为了打破离散生成的束缚,隐式推理模型(Latent Reasoning Models, LRMs,如 COCONUT 与 CODI)尝试将中间推理过程迁移至连续隐状态空间,通过递归隐藏状态或软 token 隐式传递中间计算。然而,放弃显式自然语言 CoT 也彻底剥离了模型监控与对齐审计所依赖的表层文本线索,使得隐式推理的内部机制成为了一个亟待探明的黑盒。

近期的机制可解释性研究试图通过探测隐状态寻找推理痕迹,并得出了引人注目的结论:例如利用 Logit-Lens 解码发现隐状态展现出类似于广度优先搜索(BFS)的多路径重叠(Superposition)探索,或是展现出存储操作数并逐步计算的“草稿本(Scratchpad)”行为。然而,这类结论存在致命的方法论漏洞:可观测的探测模式究竟源自隐式推理模型独有的循环与课程学习机制,还是无监督探针自身的假象?这些在几何空间中显现的结构究竟是在因果上真正驱动了下游预测,还是仅仅与结果相关的附带现象(Epiphenomena)?若不厘清表象与机制的区别,可解释性研究极易陷入类似于认知神经科学中“死三文鱼效应”的虚假解释陷阱。

为了打破对可观测表象的盲目归因,本文跳出将隐式思维视为“隐藏解释”的传统视角,主张将其严格视为“扩展的隐藏计算状态”,并建立了一套从因果干预到几何动力学的系统性审验框架。核心 idea:隐状态中解码出的可读模式并非推理机制的充要解释,必须先通过对齐控制组与因果干预(因果追踪与梯度敏感子空间干预)测定隐思维对预测行为的真实影响程度,进而在承载因果效应的低维子空间中刻画其动力学演化与几何稳定性。

方法详解

整体框架

本文构建了一套“控制对比 → 因果探测与子空间局域化 → 动力学与几何刻画”的三阶段反思与分析范式。首先,设计消除循环机制(Pause-as-thought)与扰动训练课程(\(\text{COCONUT}_u\))的严格控制模型,以及无隐状态训练的普通 GPT-2 与显式 CoT 基线,验证可观测模式(BFS 树搜索、草稿本交替)是否为隐式推理独有;其次,通过测试期思维消融、逐位置因果追踪(Causal Tracing)评估隐状态行为影响,并利用损失梯度矩阵奇异值分解提取承载因果影响的低维梯度子空间(Gradient-Subspace);最后,在完整隐状态与梯度子空间中,利用马尔可夫阶次拟合与主角度余弦相似度分析表征动力学演化与几何稳定性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 prompt 与隐状态序列<br/>(LRM 与对照组模型)"] --> B["阶段 1:可观测表象对照检验<br/>BFS 探测与 Logit-Lens 草稿本解码"]
    B --> C["阶段 2:因果效应测定与定位<br/>测试期消融与逐位置因果追踪"]
    C --> D["阶段 3:梯度子空间局域化<br/>损失敏感低维子空间提取与缩放干预"]
    D --> E["阶段 4:动力学与几何稳定性分析<br/>马尔可夫动力学拟合与主角度投影"]
    E --> F["输出因果几何结论:<br/>表象不等于解释,效应集中于低维动态子空间"]

关键设计

1. 严格对照基线设计:剥离循环机制与训练课程的表象伪影 针对以往研究直接在单一模型上寻找可视化模式的缺陷,本文设计了正交的对照系统以隔离诱发可观测模式的真正变量。核心是对照两个目标 LRM 模型(通过阶段课程逐步替换 CoT 为隐向量的 COCONUT,以及通过自蒸馏将文本理由压缩为隐向量的 CODI),构建了两个关键控制模型:其一是循环控制组 Pause-as-thought (PaT),它沿用 COCONUT 的格式与课程,但用可学习的静止思维 token 替换递归隐藏状态传递,剥离了内部循环架构;其二是课程控制组 \(\text{COCONUT}_u\),在训练中引入扰动采样(\(u=0.3\) 概率采样其他阶段),打乱阶段渐进递增结构;同时引入未经隐式推理训练的 Base GPT-2 与 Explicit-CoT GPT-2。若 BFS 或草稿本模式是由循环反馈驱动的独有机制,则 PaT 不应展现该模式,而保留循环的 \(\text{COCONUT}_u\) 应当维持该模式。

2. 逐位置因果追踪:解耦表层关联与行为因果恢复力 为检验隐状态在推理生成中是否具有实际因果必要性与充分性,本文将因果追踪(Causal Tracing)扩展至隐状态推理模型。设定残差流的干预位置 \(s = (\ell, p)\)(网络层 \(\ell\) 与序列位置 \(p\))。对输入样本执行无扰动的洁净前向传播(clean pass)、输入不同答案样本的扰动前向传播(corrupted pass, \(cp\)),以及将位置 \(s\) 的洁净激活注入扰动前向传播的修补前向传播(patched pass, \(pp\))。在答案生成边界贪婪解码 \(N\) 个 token,计算相对洁净输出分布的 KL 散度恢复比例: $\(IE(s) = 1 - \frac{KL(P_{\text{clean}} \parallel P_{pp})}{KL(P_{\text{clean}} \parallel P_{cp})}\)$ 其中 \(IE(s) \in (-\infty, 1]\) 表示间接效应,取值为 1 代表完全恢复纯净行为。通过在 prompt token、各隐式思维位置 \(T_1, \dots, T_K\)、全思维聚合 \(T_{\text{full}}\) 及答案边界分别进行 patch,能够定量解耦提示词与隐状态对输出决策的实际因果主导权。

3. 梯度子空间局域化干预:捕捉连续非二元的低维因果影响 现有研究通常将隐状态利用粗暴地二元化为“使用”或“旁路欺骗”,忽视了模型在过度确定性系统中的多回路冗余机制。本文提出在隐状态内部几何空间中定位因果效应集中的子空间。对于第 \(i\) 个样本在第 \(t\) 步的隐思维向量 \(h_{i,t} \in \mathbb{R}^D\) 及答案损失 \(L_i\),计算梯度 \(g_{i,t} = \nabla_{h_{i,t}} L_i\) 并构建批量梯度矩阵 \(G_t = [g_{1,t}; \dots; g_{N,t}]\)。对 \(G_t\) 执行奇异值分解,提取覆盖 95% 累积能量的前 \(k_t\) 个右奇异向量构成正交基 \(B_t \in \mathbb{R}^{D \times k_t}\)。将隐状态投影分解为梯度相关分量与正交残差分量,并通过强度参数 \(\alpha\) 进行定向缩放干预: $\(h_{i,t} \leftarrow h_{i,t} + (\alpha - 1) B_t B_t^\top h_{i,t}\)$ 当 \(\alpha = 0\) 时实现子空间定向消融,\(\alpha > 1\) 时实现特征放大;并引入基于高斯噪声 QR 分解生成的等秩正交随机基 \(B_t^{\text{rand}}\) 作为对照。通过监测预测翻转率(Flip Rate),证明模型对隐思维的利用并非离散开关,而是沿着损失敏感方向连续梯级调节。

4. 隐动力学马尔可夫拟合与几何角度稳定性度量 为探究具有因果影响力的隐状态在时间步维度的演化规律,本文采用马尔可夫动力学拟合与主角度投影分析。在全隐状态表征与梯度子空间投影向量 \(h_{i,t}^{\parallel} = B_t B_t^\top h_{i,t}\) 上,以阶次 \(n \in \{1, \dots, 5\}\) 构建历史上下文与当前步对 \((X_{i,t}, Y_{i,t})\),分别拟合线性回归模型与双层 MLP 模型,并与平庸基准(上一时刻恒等复制 \(\hat{h}_t = h_{t-1}\) 及训练均值 \(\hat{h}_t = \bar{h}_{\text{train}}\))对比测试集解释方差 \(R^2\)。进一步,通过计算相邻时间步梯度子空间的正交主角度平方余弦均值: $\(s_t = \text{mean} \, \sigma(B_t^\top B_{t+1})^2\)$ 其中 \(s_t \to 1\) 表示因果几何方向随时间高度稳定保持,\(s_t \to 0\) 表示因果子空间发生强烈旋转。该度量直接揭示了行为影响力微弱的隐思维与高度影响行为的隐思维在底层几何演化上的本质差异。

实验关键数据

主实验

论文在图跳跃多步推理任务 ProsQA 与算术多步推理任务 GSM8K 上系统评估各模型表现及思维移除消融效果,基础骨干涵盖 GPT-2-small 与 Llama-3.2-1B-Instruct。

任务 / 场景 模型类别 完整模型准确率 (%) 移除全部隐状态后准确率 (%) 准确率变化量 (%)
Graph-Hopping (GPT-2) Base GPT-2 (B) 2.4 ± 1.3 – –
Explicit-CoT (CoT) 79.0 ± 3.6 – –
Pause-as-thought (PaT) 95.4 ± 1.8 95.6 ± 1.7 +0.2
COCONUT (C) 98.0 ± 1.3 97.8 ± 1.3 -0.2
\(\text{COCONUT}_u\) (Cu) 96.0 ± 1.7 91.8 ± 2.4 -4.2
CODI 80.0 ± 3.5 80.0 ± 3.5 0.0
Arithmetic-Reasoning (GPT-2) Base GPT-2 (B) 1.4 ± 0.6 – –
Explicit-CoT (CoT) 41.9 ± 2.7 – –
Pause-as-thought (PaT) 26.4 ± 2.4 21.4 ± 2.2 -5.0
COCONUT (C) 35.7 ± 2.5 7.7 ± 1.4 -28.0
\(\text{COCONUT}_u\) (Cu) 30.8 ± 2.5 39.1 ± 2.6 +8.3
CODI 41.8 ± 2.7 25.6 ± 2.4 -16.2
Arithmetic-Reasoning (Llama-3.2) Pause-as-thought (PaT) 26.8 ± 2.4 3.9 ± 1.0 -22.9
COCONUT (C) 33.2 ± 2.4 12.1 ± 1.7 -21.1
\(\text{COCONUT}_u\) (Cu) 51.7 ± 2.6 49.4 ± 2.7 -2.3
CODI 44.6 ± 2.6 23.5 ± 2.3 -21.1

梯度子空间维度与几何稳定性分析

任务 模型 平均秩 \(\bar{k}\) (95% 能量) 相邻步子空间稳定性 \(\text{Adj.} \cos^2\) 非对角稳定性 \(\text{Off-diag.} \cos^2\) 子空间范数占比 \(\|h_c\|/\|h\|\)
Graph-Hopping (GPT-2) PaT 16.3 0.871 0.697 ± 0.026 0.353
COCONUT (C) 11.8 0.972 0.671 ± 0.024 0.026
\(\text{COCONUT}_u\) (Cu) 15.5 0.486 0.197 ± 0.012 0.045
CODI 32.8 0.898 0.587 ± 0.008 0.100
Arithmetic-Reasoning (GPT-2) PaT 141.6 0.711 0.623 ± 0.019 0.378
COCONUT (C) 127.0 0.512 0.394 ± 0.021 0.369
\(\text{COCONUT}_u\) (Cu) 121.7 0.574 0.404 ± 0.014 0.297
CODI 36.2 0.271 0.351 ± 0.016 0.306
Graph-Hopping (Llama-3.2) COCONUT (C) 2.0 0.863 0.469 ± 0.020 0.022
Arithmetic-Reasoning (Llama-3.2) COCONUT (C) 302.5 0.934 0.590 ± 0.004 0.574

关键发现

  • 可观测模式并非机制证据:在图跳跃任务中,完全没有递归循环机制的 PaT 模型在候选概念概率 \(P(\text{correct})\) 与熵值演化曲线上完美复现了 COCONUT 的 BFS 探索与多路径重叠特征;而在算术推理中,未经隐式推理微调的显式 CoT 基线也能产生与 CODI 高度相似的 Logit-Lens 步进交替解码现象,且各模型的单步对齐率随深度急剧下降,证明可读模式主要来自探针设置或预训练残余。
  • 因果必要性的任务极化:在图跳跃任务中,移除全部隐状态对 COCONUT(98.0% \(\to\) 97.8%)、PaT 与 CODI 的准确率毫无影响,因果追踪显示前缀 Prompt 占据了绝大部分恢复力;然而在算术推理中,消融隐状态导致 COCONUT 准确率暴跌 28.0%(35.7% \(\to\) 7.7%),Llama-3.2 下各模型同样出现 20%+ 的性能崩塌,表明隐思维的计算必要性高度依赖于任务的结构复杂度。
  • 低维子空间承载核心因果效应:梯度子空间消融(\(\alpha = 0\))与放大(\(\alpha > 1\))实验表明,尽管图跳跃任务在宏观消融下性能不变,但在梯度子空间施加高强度扰动时预测翻转率达到 100%,远超随机正交基(Rand),证明隐状态并非完全旁路,而是存在微弱但真实的因果调控通路;在算术推理中,平均仅占总维度一部分的低维子空间(GPT-2 下秩约 120-140)几乎主导了模型的全部输出翻转。
  • 静态表象下暗藏演化动力学:在图跳跃任务中,全隐状态在各时间步几乎是静止的(上一时刻恒等复制 baseline 占优),但投影至梯度子空间后,MLP 动力学拟合显著优于恒等基准;而在算术推理中,全状态与子空间均呈现出强烈的非线性演化,且时间步间的子空间呈现显著的主角度旋转(稳定性降至 0.27-0.57)。

亮点与洞察

  • 方法论警钟:明确指出机制可解释性领域中将“表层可解码/可视化结构”等同于“内部因果机制”的根本缺陷,为大模型隐式推理研究树立了“因果优先(Causal-First)”的方法论典范。
  • 死三文鱼效应的反思:通过精巧的无循环(PaT)与无隐式微调对照组,实锤了以往多篇顶会论文所声称的“BFS 树搜索”和“草稿本计算”均为观测工具诱发的附带现象,具有极高的去伪存真价值。
  • 梯度子空间因果局域化:创造性地将损失敏感梯度矩阵与奇异值分解引入隐式思维分析,不仅打破了“使用 vs 绕过”的粗糙二元对立,还为后续隐式思维的高效压缩(如低秩提纯)和安全监控指明了可操作的目标几何空间。

局限与展望

  • 线性子空间假设的局限:本研究主要通过奇异值分解(SVD)线性提取梯度子空间,若隐状态中的因果计算高度流形化或高度非线性,线性子空间可能抹平高阶交互,未来需结合非线性自编码器或稀疏自编码器(SAE)拓展。
  • 因果干预的分布外偏移:局部修补(Patching)与梯度放大干预不可避免地引入了离流形(off-manifold)激活扰动,使得干预结果具备多重合理解释的可能性,属于因果必要但非充分证据。
  • 模型体量与多任务泛化:实验主要覆盖参数较小的模型(GPT-2-small 与 Llama-3.2-1B)及固定步长(\(K=6\)),且模型针对单一任务独立训练,尚未探讨大规模多任务预训练下隐式推理的动力学演化与语义可解释坐标(如 J-space)的对齐。

相关工作与启发

  • vs COCONUT (Hao et al., 2025):COCONUT 提出连续隐思维并在图任务上依据熵和概念概率曲线声称模型具备 BFS 式的广度搜索机制;本文通过设计非循环 PaT 对照基线与扰动课程 \(\text{COCONUT}_u\),证明该曲线模式在无循环模型中同样存在,且测试期直接移除隐状态准确率完全不降,否定了其 BFS 推理机制的主张。
  • vs CODI (Shen et al., 2025):CODI 声称自蒸馏使得隐状态学到了存储与交替计算的“草稿本”功能;本文通过 Logit-Lens 探测与因果追踪指出,即使没有隐式推理训练的普通 CoT 模型也能解码出交替模式,且步对齐率随深度迅速衰减,草稿本表象并不构成机制解释。
  • vs 隐式推理二元论 (Zhang et al., 2025a; Cui et al., 2026):先前研究通过全消融判断隐思维被“使用”还是“绕过”;本文指出大模型存在因果过度确定性与备用回路,提出梯度子空间放大干预,证明隐思维利用率是连续谱,并在极低维度的子空间中捕捉到了被全消融掩盖的真实因果调节作用。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从因果-几何联合视角系统解构隐式推理模型,彻底反思了观测表象与机制解释的关系。
  • 实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大主流 LRM 家族及四种控制基线、跨任务跨模型尺度,因果追踪、子空间扰动与几何动力学形成完整证据闭环。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证逻辑极其严密,层层推进,批判性思考深入透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为快速发展的隐式思维大模型可解释性与安全审计奠定了坚实的科学方法论基石。