Large Language Models Develop Belief State Geometry In-Context¶

会议: NeurIPS 2026
arXiv: 2609.17376
领域: 可解释性
关键词: 上下文学习, 计算力学, 隐马尔可夫模型, 信念状态几何, 机制可解释性

一句话总结¶

本文基于计算力学理论框架，证明开源大语言模型在上下文预测隐马尔可夫模型序列时，其残差流激活能够线性解码出最优贝叶斯后验信念状态几何，并通过因果干预证实该表征直接驱动下游下一词元预测。

研究背景与动机¶

大语言模型基于下一词元预测预训练展现出惊人的上下文学习能力，但支撑其在提示中快速适应全新任务的内部表征机制仍不清晰。现有关于上下文学习的研究大多停留在宏观行为刻画，或仅针对特定线性回归等玩具模型进行事后表征探测，普遍缺乏先验的、可证伪的理论预测，无法严密回答模型内部表征的数学语义、几何结构以及动态演化根源。

在贝叶斯推断视角下，上下文学习包含两层层级推断：第一层是跨上下文推断潜在的生成模型类别，第二层是在确定候选过程后，随着词元逐步输入实时推断其内部隐藏状态分布。由于隐马尔可夫模型（HMM）是研究自然语言底层序列结构的经典生成过程，且拥有严格定义的统计充分量——信念状态（即给定历史观测后隐藏状态的后验概率分布），计算力学理论曾明确预测：追求最优预测的系统内部必须表征信念状态几何。然而，这一预测以往仅在专门针对特定 HMM 数据从头训练的微型玩具 Transformer 中获得初步验证，现代生产级大语言模型在面对全新随机过程分布时，内部究竟是否以及如何自发组织出这种最优贝叶斯推断结构，一直是未解之谜。

本文的核心切入点是将计算力学关于信念状态几何的假说直接推向开源大语言模型。研究选取了具有非平凡几何结构的 40 种 HMM 过程，横跨 6 款主流开源大语言模型，系统性检验残差流激活是否自发编码后验隐藏状态分布，并严格排除了马尔可夫短后缀启发式与下一词元概率表征等竞争假设。核心 idea：大语言模型在提示由隐马尔可夫模型生成的数据时，残差流激活内部自发构建出与真实隐状态后验分布高度吻合的信念状态几何，且该表征在因果上处于下一词元概率的上游，直接支配下游生成预测。

方法详解¶

整体框架¶

本文构建了一套用于检验与因果控制大语言模型上下文信念状态表征的闭环评估框架。输入为根据 HMM 转移矩阵 $T(x)$ 生成的由单字符词元（如 F、Q、V）组成的离散符号序列，全长 20,000 个词元；输出为模型逐位置预测的下一词元概率分布（NTP）。整体机制分为四个阶段：首先测量大模型在无参数微调下的上下文预测收敛轨迹与等效马尔可夫阶数；随后在模型预测收敛的后部窗口（$t \ge 15{,}000$）抽取各层残差流激活，利用岭回归与普通最小二乘法探针拟合后验信念状态几何，并与洗牌控制组及随机狄利克雷控制组严密对比；接着设计沿发射矩阵零空间（$\ker(M^\top)$）的 $\delta$ 偏置方向探针，解耦纯 NTP 表征与真实隐状态信念；最后在残差流子空间中执行激活引导与激活修补，量化因果干预对后续层表示及最终生成的调控效果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["HMM 生成序列输入<br/>长度 20,000 词元"] --> B["阶段 1：行为收敛与阶数估计<br/>KL 散度评估与 k-HMM 交叉匹配"]
    B --> C["阶段 2：残差流激活线性探测<br/>提取各层激活，拟合信念状态几何"]
    C --> D["阶段 3：竞争假说与零空间解耦<br/>对比短后缀与 Ker(Mᵀ) δ 偏置方向"]
    D --> E["阶段 4：子空间因果干预与调控<br/>执行激活修补与引导，改写下游预测"]

关键设计¶

1. 行为收敛性检验与等效马尔可夫阶数交叉匹配
为了判定大模型是否真的具备预测 HMM 的上下文推理能力，而非盲目猜测，研究首先在离散符号序列上跟踪模型逐位置输出与真实 HMM 下一词元概率 $p(x_{1:t})$ 之间的 KL 散度： $$D_{\mathrm{KL}}(p(x_{1:t}) \parallel p_{\mathrm{LLM}}(x_{1:t})) = \sum_{k=1}^n p(x_{1:t})_k \log \frac{p(x_{1:t})_k}{p_{\mathrm{LLM}}(x_{1:t})_k}$$ 随着上下文长度延伸至 5,000–10,000 词元，各大模型的 KL 散度迅速下降并进入平台收敛期。为了直观度量该预测质量的高度，研究将其与马尔可夫 $k$ 阶近邻近似（$k$-HMM，即仅利用最近 $k$ 个词元计算后验概率的最优预测器）进行交叉对齐，寻找使 $k$-HMM 的收敛 KL 散度与大模型相等的交叉阶数 $k$。结果表明大模型的收敛精度显著超越了 0-HMM（i.i.d. 基线）与 1-HMM（一阶马尔可夫），等效于依赖长历史的最优非马尔可夫预测，为进一步探究内部表征奠定了行为学基础。

2. 残差流线性探测与统计控制组校验
针对模型在行为上达到的高精度是否源于内部隐式跟踪隐状态后验分布这一核心疑问，研究在残差流激活 $h_{\ell,t}(x_{1:N}) \in \mathbb{R}^d$（取自各 Transformer 层中 MLP 之后、LayerNorm 之前的向量）上训练线性回归探针，拟合理论上的真实信念状态 $\eta(x_{1:t}) \in \mathbb{R}^m$： $$\eta(x_{1:t}) = \frac{\eta(\emptyset) T(x_{1:t})}{\eta(\emptyset) T(x_{1:t}) \mathbf{1}}$$ 其中 $\eta(\emptyset) = \pi$ 为平稳初始分布，$T(x_{1:t})$ 为序列转移矩阵连乘积。探针在后 5,000 词元中随机抽取 20%（1,000 个位置）训练，在剩余 80%（4,000 个位置）上测试，以决定系数 $R^2$ 衡量表征拟合度。为彻底排除高维残差流中随机虚假相关性或低维投影假象，实验设置了洗牌信念控制组（保持激活不变，随机打乱对应标签）以及随机狄利克雷控制组（将标签替换为对称狄利克雷分布采样值）。实验证实控制组在所有层中的 $R^2$ 均崩溃至零附近或负值，确证大模型自发学到了真实信念几何。

3. 发射矩阵零空间正交解耦与特异性跨参数泛化验证
由于信念状态通过发射矩阵 $M \in \mathbb{R}^{m \times n}$（满足 $M_{ik} = \sum_{j=1}^m T(x_k)_{ij}$）线性映射至下一词元概率 $p(x_{1:t}) = \eta(x_{1:t}) M$，线性可解码性可能仅是模型单纯表征 NTP 或 log-NTP 的附带产物。为了解耦这两个概念，研究利用了 $M^\top$ 的核空间 $\ker(M^\top)$。当存在非零方向 $\delta \in \ker(M^\top)$ 时，沿着 $\delta$ 方向位移信念状态 $\eta_{\mathrm{target},t} = \eta(x_{1:t}) + \gamma_t \delta$ 可以改变隐状态后验分布，但保持其向 NTP 的投影完全不变。研究在残差流中训练针对该 $\delta$ 方向的探针，并在特定层施加 $\delta$ 偏置引导。此外，研究构建了跨参数转移评估矩阵，通过比对模型在不同动力学参数下的跨探针表现与纯理论跨参数相关性，证实激活中的信念信息具备强烈的 HMM 参数特异性，而非仅包含粗糙的族群通用特征。

4. 潜空间激活引导与修补因果干预
为了确立信念状态表征在模型生成计算中的因果枢纽地位，研究定义了从低维信念空间到残差流的仿射嵌入映射 $\mathrm{emb}_\ell: \mathbb{R}^m \to \mathbb{R}^d$。在序列末尾连续 $k$ 个词元位置（$k \in \{1, 5, 10, 5000\}$），通过两种方式实施因果干预： - 激活引导（Steering）：保持正交空间激活不变，仅在信念子空间叠加目标增量 $\Delta_{\ell,t} = \mathrm{emb}_\ell(\eta_{\mathrm{target},t}) - \mathrm{emb}_\ell(\eta(x_{1:t}))$； - 激活修补（Patching）：直接将该子空间对应的激活向量完全替换为目标嵌入向量 $\mathrm{emb}_\ell(\eta_{\mathrm{target},t})$。干预分别测试了“历史一致”（目标后验来自拼接合理后缀的同一历史）与“历史冲突”（目标后验来自完全不同的前缀历史）两种极端设定。实验检验了干预能否将后续层中的 log-NTP 解码结果及最终词元输出强行拉向注入的目标信念分布，从而在因果闭环上证实模型依赖该子空间做出预测。

实验关键数据¶

主实验¶

主实验在 4 种典型 HMM 过程（Mess3、Arch、Wing、Strata）上，系统评测 Qwen3.5-9B 的预测能力收敛 KL 散度、匹配的等效马尔可夫阶数 $k$，以及各层残差流线性探针的最高 $R^2$ 拟合值。

HMM 族群与参数配置	隐状态数 $m$ / 词元数 $n$	收敛 KL 散度 (nats)	交叉马尔可夫阶数 $k$	探针最佳层 (Layer)	最佳层探针 $R^2$	洗牌控制组 $R^2$
Mess3 ($\alpha=0.01, x=0.02$)	3 / 3	0.012	4.2	Layer 5	0.99	-0.61
Arch ($\alpha=0.99$)	4 / 3	0.009	11.0	Layer 30	0.88	-0.77
Wing ($\alpha=0.98, x=0.4$)	3 / 2	0.018	5.4	Layer 22	0.99	-1.42
Strata ($\alpha=0.97, t_0=0.38, t_1=0.54$)	3 / 2	0.015	5.3	Layer 30	0.98	-0.78

消融实验¶

消融与因果干预实验分析了在残差流中实施激活修补（Patching）和激活引导（Steering）时，针对历史冲突设定下不同干预跨度 $k$ 对最终词元 KL 散度的影响，以及对不同候选表征（NTP、log-NTP）解码能力的调控表现。

干预配置与评估目标	Wing (L22, $k=10$) 目标 KL	Wing (L22, $k=1$) 目标 KL	Strata (L30, $k=10$) 目标 KL	随机信念控制组 KL	原始模型基线 KL
完整模型未干预基准	—	—	—	—	0.018
激活修补 (Patching, 目标序列)	0.021	0.185	0.019	1.840	—
激活修补 (Patching, 原始序列)	1.620	0.420	1.550	0.022	—
激活引导 (Steering, 目标序列)	0.024	0.210	0.022	1.790	—
$\delta$ 偏置引导 (零空间解码 $R^2$)	0.890	—	0.860	-0.450 (随机方向)	—

关键发现¶

跨模型普适性：在全部 6 款开源模型（Qwen3.5-9B/4B、Llama-3.1-8B、Llama-3.2-3B、Gemma-4-E4B/E2B）中，除参数量极小的 Gemma-4-E2B 在部分长程依赖上退化至 1-HMM 外，其余模型均在线性探针下取得 $R^2 \ge 0.83$ 的极高重构精度，平均峰值达 0.95–0.99。
零空间特异性：在排除 Mess3（其发射矩阵可逆）的 Arch、Wing、Strata 过程中，针对 $\ker(M^\top)$ 内的 $\delta$ 偏置方向实施干预时，后续网络层成功维持了被注入的 $\delta$ 信念增量，且呈现出不同于随机几何方向的局部自愈机制（Self-repair），证明模型确立了超越一阶可观测发射的完整隐状态信念表征。
上下文重写能力：在后 10 个词元注入与前 19,990 个词元完全冲突的全新隐状态目标时，模型的输出分布被强行重定向至注入的目标分布，表明残差流后部信念状态对当前词元预测具有决定性支配地位。

亮点与洞察¶

理论先验指导机制可解释性：打破了过去纯事后寻找注意头或探测特征的经验主义做法，直接将物理统计领域的计算力学理论作为大语言模型表征几何的先验预测目标，严丝合缝地验证了复杂神经网络内部的最优贝叶斯推断机制。
巧妙的正交零空间干预技术：巧妙利用发射矩阵 $M^\top$ 的核空间构建纯粹的隐状态信念扰动，在不破坏当前词元瞬时发射概率的前提下检验内部状态因果链，为解耦潜在状态变量与可观测预测提供了极具参考价值的分析范式。

局限与展望¶

任务分布的纯净度局限：作者选取的 40 个 HMM 过程均满足低熵与慢混合率条件（基于 Dai et al., 2025 的收敛区域），尚未覆盖高维隐状态或快速混合的高熵退化过程。
线性探针假象的潜在风险：尽管设计了详尽的洗牌与狄利克雷控制，但高维线性探针依然可能捕捉到与信念状态偶然共线的其他未知语义特征，未来有待结合稀疏自编码器（SAE）等无监督流形学习工具进行无监督几何发现。
动力学演化与训练涌现：本项研究集中于预训练既成模型上的上下文涌现几何分析，未来需进一步探究预训练优化轨迹中，注意力头何时以及如何学会维护贝叶斯后验的物理热力学过程。
符号与多模态通用性：当前实验受限于一维离散符号序列，在连续感知流或复杂结构化图数据中的因果隐变量追踪机制仍待验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论先验出发在真实生产级大模型中确证最优贝叶斯信念状态几何的存在性。
实验充分度: ⭐⭐⭐⭐⭐ 跨越 6 种主流开源模型、40 种 HMM 过程，兼顾线性探测、正交零空间解耦与全套因果修补实验。
写作质量: ⭐⭐⭐⭐⭐ 概念阐述极其清晰严密，数学符号体系完备，逻辑链条扎实连贯。
价值: ⭐⭐⭐⭐⭐ 为大模型上下文学习的内在机制可解释性提供了极具说服力的统计力学理论基石。
综合评分: 9.6 / 10（机制可解释性方向标杆性工作）

HMM 族群与参数配置	隐状态数 \(m\) / 词元数 \(n\)	收敛 KL 散度 (nats)	交叉马尔可夫阶数 \(k\)	探针最佳层 (Layer)	最佳层探针 \(R^2\)	洗牌控制组 \(R^2\)
Mess3 (\(\alpha=0.01, x=0.02\))	3 / 3	0.012	4.2	Layer 5	0.99	-0.61
Arch (\(\alpha=0.99\))	4 / 3	0.009	11.0	Layer 30	0.88	-0.77
Wing (\(\alpha=0.98, x=0.4\))	3 / 2	0.018	5.4	Layer 22	0.99	-1.42
Strata (\(\alpha=0.97, t_0=0.38, t_1=0.54\))	3 / 2	0.015	5.3	Layer 30	0.98	-0.78