Phase Transitions in Attention: A Bayesian Theory of Copy Head Emergence¶
会议: NeurIPS 2026
arXiv: 2606.12058
OpenReview: https://openreview.net/forum?id=vB716nAsNr
论文: https://arxiv.org/abs/2606.12058
领域: 其他
关键词: 注意力机制, 诱导头, 相变理论, 贝叶斯特征学习, 可解释性
一句话总结¶
本文提出了一种基于统计场论的注意力贝叶斯特征学习理论，将单层注意力网络在复制任务上的后验分布精确约化为低维序参量空间，从第一性原理证明了 Softmax 注意力经历一阶相变诱发复制头突现，而线性注意力则遵循二阶相变与平滑交叉的演化机制。
研究背景与动机¶
大语言模型与基于 Transformer 的自主智能体之所以展现出卓越的上下文学习（In-Context Learning, ICL）能力，在机理上高度依赖于网络中特殊子电路——诱导头（Induction Heads）的形成。经验研究表明，大模型在预训练过程中，诱导头以及相关上下文推理能力的获得往往表现出急剧、非线性的“突现”（Emergence）特征，并伴随着评估损失的断崖式下跌。然而，现有的缩放法则（Scaling Laws）只能对宏观平滑演化的交叉熵损失给出唯象拟合，根本无法预测能力突现的具体拐点与微观机制；学术界关于这种能力突现究竟是真实发生的动力学物理相变，还是非线性评估指标引入的度量假象，亦长期存在激烈争论。如果模型能力的获得完全缺乏前兆信号，将对 AI 安全与前瞻性风险治理构成严峻挑战。
在机理可解释性研究中，诱导头的底层核心是其第一层所执行的“前序词元复制”（Copy Subcircuit）操作。现有理论工作在分析这一过程时陷入了两难困境：基于神经正切核（NTK）或惰性机制（Lazy Training）的无穷宽极限理论完全冻结了内部注意力矩阵，无法解释数据驱动的特征学习过程；而现有的基于简化线形注意力或离散动力学分析的方法，往往只能给出渐近时间尺度的粗粒度上界，既无法在统计热力学层面上区分真正的相变奇点与平滑交叉（Crossover），也未能揭示非线性激活函数（Softmax）与线性激活在能力突现形态上的本质分野。
本文的切入视角是将统计物理中的朗道相变理论与场论贝叶斯推断相结合，通过在无限特征维度极限下将模型权重的微观自由度精确积分滤除，直接建立关于注意力矩阵宏观构型的连续有效作用量。核心 idea：将注意力特征学习形式化为贝叶斯场论推断，利用置换对称性将高维注意力后验精确投影到“均匀池化”与“位移复制”双模态序参量空间，从第一性原理证明 Softmax 激活的双极小值共存导致非连续的一阶相变（突现且无前兆），而线性注意力则遵循连续的二阶对称破缺与平滑交叉。
方法详解¶
整体框架¶
本文构建了一个研究诱导头复制子电路涌现的最小自洽理论模型。考虑一个由长度为 \(L\)、词表大小为 \(V\) 的独立同分布独热编码序列构成的复制任务，输入为序列 \(x^a \in \{0, 1\}^V\)（\(1 \le a \le L\)），监督目标为前序位置词元 \(y^a(x) = x^{a-1}\)（施加周期性边界条件）。在该任务下，单层单头注意力网络接收输入嵌入与位置编码并计算注意力输出，整个网络在数学上对应一个目标注意力模式为 \(G^*_{ab} = \delta^{a-1, b}\) 的教师-学生学习框架。
整个理论推导流程分为三个阶段：首先在 \(\mu\text{P}\) 参数化尺度与等效核（Equivalent-Kernel, EK）近似下，将词元嵌入矩阵、位置偏置、键值投影矩阵以及读出矩阵作为微观高维变量进行高斯积分，导出仅依赖于注意力矩阵 \(G\) 的有效负对数后验（即场论作用量 \(\mathcal{S}(G)\)）；随后利用任务在词元置换群下的不可约表示对称性，将无限维注意力后验严格约化为由均匀池化强度与前序复制强度构成的二维标量序参量空间；最后推导注意力激活函数的推前映射（Pushforward），比较线性注意力与 Softmax 注意力在有效势能面上的极值拓扑演化。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入序列 x 与复制目标 y<br/>单层自注意力网络架构"] --> D1["贝叶斯特征学习与后验作用量推导<br/>边缘化网络权重导出注意力矩阵有效作用量"]
D1 --> D2["对称性群表示与序参量降维约化<br/>分解为均匀池化 c1 与复制头 cG 二维子空间"]
D2 --> D3["注意力激活映射与相变分型判决<br/>线性注意力二阶相变与 Softmax 一阶突变"]
D3 --> Out["理论预测与实证验证<br/>Adam/SGLD 相图边界与涌现可预测性"]关键设计¶
1. 贝叶斯特征学习与后验作用量推导：将离散参数空间的特征学习转化为注意力连续作用量
为克服传统优化动力学求解非凸轨迹的数学困难，该设计跳出梯度轨迹分析，将焦点转移到数据驱动下的贝叶斯后验概率。在模型特征维度 \(d_{\text{model}} \to \infty\) 的极限下，词元嵌入向量 \(h_{\alpha}^a\) 经边缘化后服从以数据协方差核 \(C^{(xx)}\) 为协方差的零均值高斯过程。进一步将融合后的键值交互矩阵 \(W^G = W^{Q\top} W^K\) 边缘化，注意力矩阵 \(G\) 获得了一个由神经元网络高斯过程（NNGP）所规定的连续高斯先验分布。结合高斯观测噪声似然并积除输出投影权重 \(W^O\)，推导出负对数后验作用量 \(\mathcal{S}(G)\)：
该式清晰展现了数据拟合项（前两项）与网络先验正则化项（后两项）的对立博弈。在重整化尺度因子 \(\chi L \gg 1\) 下，后验测度高度尖锐化并完全收敛于作用量 \(\mathcal{S}(G)\) 的鞍点极小值，从而使得最大后验估计（MAP）精准支配宏观注意力行为。
2. 对称性群表示与序参量降维约化：基于置换对称性提取均匀池化与位置复制双模态
由于高维矩阵 \(G\) 包含 \(L \times L\) 个自由度，直接求解变分极值极度复杂。针对词元在序列位置上的循环置换对称性，该设计依据对称群的不可约表示，提出了正交归一化的双模态拟设分解：
其中 \(\mathbf{1}_L\) 为全 1 矩阵，\(G^*_{ab} = \delta^{a-1, b}\) 为精确复制算子，标量 \((\hat{c}_1, \hat{c}_G)\) 即为支配注意力宏观相变的低维序参量。\(\hat{c}_1\) 表征上下文全局均匀池化强度（对应无序或一元统计量捕获），而 \(\hat{c}_G\) 表征对前一词元的选择性注意力（对应二元转移统计量捕获）。通过构建适配该复制任务的离散傅里叶基底向量，利用 Sherman-Morrison 公式显式求逆，将包含海量高维矩阵运算的先验项与数据拟合项完整化简为关于 \((\hat{c}_1, \hat{c}_G)\) 的闭式解析标量势能面。
3. 注意力激活映射与相变分型判决：非线性行归一化诱发一阶相变与平滑交叉的本质分野
在线性注意力机制下，作用量具备严格的对角符号翻转对称性 \((\hat{c}_1, \hat{c}_G) \to (-\hat{c}_1, -\hat{c}_G)\)。当训练样本量 \(P\) 跨越第一临界点 \(P^*_{\hat{c}_1} \sim V^2\) 时，原点处的曲率变号，触发对称性自发破缺，产生类似朗道二级相变的连续转变，模型率先进入均匀池化相；当样本量继续增大到 \(P^*_{\hat{c}_G} \sim L^{3/2} V^{1/2}\) 时，由于原有对称性已被破缺，系统不会发生第二次奇点相变，而是沿着势能谷底平滑演化为复制头，表现为受阻的二次相变（Avoided Transition）或平滑交叉。
相比之下，Softmax 注意力施加了严格的逐行归一化约束，天然消除了常数平移自由度，迫使均匀序参量在有效鞍点处固定为 \(\hat{a}_1 = 1 - \hat{a}_G / \sqrt{L}\)。对后验分布施加 Softmax 推前映射后，诱导出包含对数修正项的非线性有效作用量：
该作用量拓扑在临界样本量 \(P^*_{\hat{a}_G} \sim L \ln^2(L)\) 附近展现出两个共存的局部极小值（弱复制亚稳相与强复制稳态相）。当 \(P\) 增加使深层能量超越浅层势阱时，全局最优解发生离散阶跃，引发典型的一阶相变。该理论严格证明了 Softmax 注意力的复制能力突现具有本征的不可预测性，且在样本复杂度上相较线性注意力实现了 \(O(\sqrt{LV})\) 的显著优势。
损失函数 / 训练策略¶
实验采用标准均方误差损失（MSE）进行网络监督：\(\mathcal{L}(\Theta) = \frac{1}{2} \sum_{\alpha=1}^P \| f_\alpha(\Theta) - y_\alpha \|_2^2\)。在数值优化与理论验证方面，为确认解析预测的 MAP 解与随机梯度动力学的契合性，采用两阶段训练策略： 1. Adam 预热与极值筛选：采用 Adam 优化器在初始阶段进行 2,000 轮预热训练（学习率 \(10^{-5}\)，Softmax 包含前 10% 步数的预热调度），并使用早停机制（patience=100）。由于线性注意力存在多重鞍点结构，针对每个实验点训练 10 个随机种子，根据全局收敛损失聚合有效轨迹（Softmax 实验中所有种子均 100% 自动收敛至全局最优）。 2. 朗之万动力学（SGLD）后验采样：从预热检查点出发，启动随机梯度朗之万动力学（学习率 \(5 \times 10^{-10}\)，噪声水平 \(\sigma^2 = 30\)），确保系统以极小步长遍历真实贝叶斯后验的稳态测度。
实验关键数据¶
主实验¶
论文对单层注意力模型在合成复制序列任务上的相变行为进行了系统评估（固定配置：序列长度 \(L=25\)，词汇表大小 \(V=5\)，隐层维度 \(d_{\text{model}} = 10,000\)，先验噪声系数 \(\sigma^2=30, \chi=30\)）。理论预测值与 Adam 优化模型及 SGLD 采样结果在不同数据量下高度吻合：
| 注意力机制 | 关键相变临界点 \(P^*\) 理论标度 | 实验观测拐点 \(P\) | 相变阶数与物理特征 | 损失演化模式 | 突现可预测性 (前兆信号) |
|---|---|---|---|---|---|
| 线性注意力 (Linear) | \(P^*_{\hat{c}_1} \sim V^2\) (转为池化) \(P^*_{\hat{c}_G} \sim L^{3/2} V^{1/2}\) (转为复制) |
\(P \approx 23\) (一级转变) \(P \approx 322\) (交叉区域) |
二阶相变 + 平滑交叉 (Crossover) | 快速连续下降 \(\to\) 平台期 \(\to\) 缓慢下移 | 强 (临界点前序参量涨落发散) |
| Softmax 注意力 | \(P^*_{\hat{a}_G} \sim L \ln^2(L)\) | \(P \approx 300\) | 一阶相变 (First-Order Transition) | 极窄区间内损失突变断崖式下跌 | 极弱 (亚稳态共存，无预警信号) |
消融实验¶
为验证理论序参量拟设的完备性与相图缩放律，论文系统测试了注意力空间投影覆盖率以及相变边界对任务参数 \((L, V)\) 的依赖关系：
| 实验配置 / 变量 | 测试条件 | 序参量子空间覆盖率 (Cosine Sim / Norm) | 相边界预测吻合度 | 核心观察说明 |
|---|---|---|---|---|
| Softmax 注意力全域 | \(P \in [1, 800], L=25, V=5\) | \(> 99.8\%\) (Adam 与 SGLD 完全重合) | 误差 \(< 2\%\) | 序参量 \(\hat{a}_G\) 完美刻画全部微观注意力度规自由度 |
| 线性注意力无序相与深复制相 | \(P \le 100\) 或 \(P \ge 600\) | \(> 98.5\%\) | 误差 \(< 3\%\) | 双序参量 \((\hat{c}_1, \hat{c}_G)\) 充分张成注意力宏观行为空间 |
| 线性注意力交叉涨落区 (SGLD) | \(300 \le P \le 600\) | \(82.4\% \sim 91.0\%\) | 理论中心线重合 | 交叉区势阱展宽，随机动力学短暂探索高维正交扰动 |
| 序列长度缩放 \(L \in [10, 60]\) | 固定 \(V=5\), 扫描 \(P \in [1, 1000]\) | 全程 \(> 95\%\) | 严格符合 \(L^{3/2}\) 与 \(L\ln^2 L\) 渐近线 | 理论边界精准划分了无注意力/池化/复制三相损失阶梯 |
| 词表大小缩放 \(V \in [2, 12]\) | 固定 \(L=25\), 扫描 \(P \in [1, 1000]\) | 全程 \(> 95\%\) | 严格符合 \(V^2\) 与 \(V^{1/2}\) 曲线 | 词表膨胀显著推迟一元均匀池化相的破缺启动 |
关键发现¶
- 非线性激活决定相变级数：Softmax 的行归一化竞争破坏了连续对称破缺路径，产生了两个局域势阱并列共存的非凸拓扑，导致模型在宏观表现上经历剧烈的“全或无”跳跃；而线性注意力仅有连续势能凹陷平移，演化过程始终平滑。
- 样本复杂度显著分化：Softmax 注意力形成有效复制头的理论样本复杂度为 \(O(L \ln^2 L)\)，相比线性注意力的 \(O(L^{3/2} V^{1/2})\) 节约了 \(O(\sqrt{LV})\) 的数据量，从信息论与统计力学角度解释了工业界 LLM 为何普遍依赖 Softmax 结构。
- 突现可预测性的本质边界：对于 Softmax 结构，由于一阶相变发生前弱复制相始终保持局部亚稳态，常规的梯度或输出统计量在相变前几乎没有任何斜率异动，说明大模型能力的突现无法通过平滑外推简单预测；而线性架构由于二阶相变伴随序参量涨落发散，提供了理论上的早期预警窗口。
亮点与洞察¶
- 高维微观参数到低维序参量的无损投影：巧妙地利用任务在对称群下的不可约表示，将原本包含 \(L \times L\) 矩阵甚至数万个权重的推断问题，严格降维为两个可解的标量参数，构建了连接微观权重积分与宏观表征模式的坚实桥梁。
- 避开真实相变的场论玩具模型解释：利用双标量场耦合模型，深刻阐明了线性注意力在二阶段并未发生第二次真正相变的原因——由于对角 \(\mathbb{Z}_2\) 对称性已在初次相变中破缺，后续复制态的增强本质上是由已凝结场显式激发的交叉现象。
- 理论 MAP 解与 Adam 经验收敛的自洽统一：证明了在先验噪声极限与权重衰减正则下，梯度流动力学与贝叶斯负对数后验极小值的等价性，打破了“理论假设只适用于理想采样、无法对应实际优化器”的认知壁垒。
局限与展望¶
- 单层无因果掩码的简化约束：当前理论推导专注于单层单头无因果掩码的复制任务，尽管成功隔离了诱导头的第一层核心子电路，但尚未建立起针对两层因果 Transformer 中“前序位置检索”与“前缀匹配”双头协同的完整场论解析。
- 输入序列独立同分布假设：设定词元为均匀独立分布，而实际预训练语料具备丰富的马尔可夫链转移概率与长程语义相关性，高阶统计结构对有效核与临界相变点的影响仍待进一步探索。
- 无穷维度等效核近似的阶数截断：推导依赖于 \(d_{\text{model}} \to \infty\) 与强正则等效核假设，对于小尺寸嵌入或有限词元长度中的高阶有限尺度修正（Finite-Size Corrections）尚未给出闭式高阶修正。
相关工作与启发¶
- vs. 惰性机制理论 (Lazy Training / NNGP / NTK)：传统无限宽极限理论假设内部表征不发生变化（无特征学习），而本文建立了超越高斯特征的非高斯注意力特征学习理论，能够显式捕捉数据驱动下内部注意力权重的重组过程。
- vs. 启发式能力突现争论 (Schaeffer et al.)：部分学者认为能力突现纯粹是评估指标非线性带来的度量假象，而本文在绝对平方损失与连续序参量空间下，直接证明了 Softmax 内部物理作用量发生了一阶热力学相变，为突现的客观存在性提供了第一性原理证据。
- vs. 马尔可夫两层统计分析 (Edelman et al., Musat et al.)：前人通过动态时间尺度刻画了从“不使用上下文”到“一元词频统计”再到“二元诱导”的三阶段，但无法判定奇点与交叉属性；本文从场论对称破缺给出了微观物理机制判定，并量化了激活函数在其中的决定性作用。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将朗道相变场论框架与贝叶斯特征学习完备引入注意力微观机制研究，理论严谨优美。
- 实验充分度: ⭐⭐⭐⭐⭐ 理论解析预测与 SGLD 后验采样、Adam 优化轨迹在相图边界与关键数据上高度契合。
- 写作质量: ⭐⭐⭐⭐⭐ 概念铺垫层层递进，统计物理图像生动具象，数学附录完备自洽。
- 价值: ⭐⭐⭐⭐⭐ 为理解大模型复杂能力涌现的不可预测性提供了坚实的第一性原理理论基础。