Finding Interpretable Prompt-Specific Circuits in Language Models¶

会议: NeurIPS 2026
arXiv: 2602.13483
领域: 可解释性
关键词: 机械可解释性, 注意力因果通信, 提示词特定回路, 间接宾语识别, 奇异值分解

一句话总结¶

提出了无需补丁或替换模型、单次前向即可抽取提示词特定紧凑回路的 ACC++，通过 QK 矩阵分解将注意力因果归因于可自然语言解释的低维信号，并揭示了语言模型在不同模板及跨语言下复用组件却使用相异信号的机制。

研究背景与动机¶

机械可解释性（Mechanistic Interpretability）的核心目标是将大语言模型的黑盒行为分解为人类可理解的计算回路（Circuits）。传统回路发现方法（如 Activation Patching、ACDC、EAP 等）通常依赖大量反事实干预、多次前向传播或学习替换代理模型（如跨层 Transcoders、稀疏自编码器 SAE）。这些方法不仅开销高昂、难以规模化扩展到单提示词粒度的微观分析，而且往往只能定位到“哪些组件相连”，无法解释注意力头“为什么”会精确注意到特定源位置，忽略了注意力子空间内部具体的通信载荷。

上一代注意力因果通信方法（ACC）虽然利用 QK 矩阵的奇异值分解（SVD）来寻找因果子空间，但存在两个严重瓶颈：第一，它独立确定注意力子空间与上游模型组件，导致抽取出的信号维度偏高、难以进行语义化解释；第二，它使用线性代理指标替代非线性 Softmax，无法捕捉注意力在所有源候选位置之间的非线性竞争归一化，从而在回路上引入了大量虚假冗余节点与连接。此外，各模型多变的 RoPE 旋转位置编码和偏置项，也给通用的 QK 子空间分析造成了极大的工程与数学割裂。

本文的切入角度是：将残差流分解与 QK 奇异方向严格构成“组件-方向”秩-1 候选信号，并直接在 Softmax 注意力概率空间下利用积分梯度（Integrated Gradients）进行贪心反事实搜索。核心 idea：将注意力因果通信（ACC++）形式化为非线性 Softmax 下的贪心反事实剪枝，将偏置与 RoPE 折叠进统一的双线性 QK 形式，从而在单次前向中抽取节点数精简 50%–90%、大量具有自然语言可解释性的单提示词回路。

方法详解¶

整体框架¶

ACC++ 的核心目标是分析任意目标注意力头 $(\ell, a)$ 在给定目标-源 token 对 $(d, s)$ 上的注意力决策 $A_{ds}$，定位是哪些上游组件沿着哪些具体的低维子空间写入了关键通信信号。方法整体分为统一 QK 双线性变换、残差分解与候选生成、基于非线性 Softmax 的积分梯度归因与贪心反事实移除四个阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单次前向输入序列与残差流"] --> B["统一双线性 QK 形式化<br/>折叠偏置与 RoPE 旋转"]
    B --> C["精细化信号候选生成<br/>组件与奇异向量笛卡尔积"]
    C --> D["非线性 Softmax 积分梯度归因<br/>显式建模跨源位置竞争"]
    D --> E["贪心反事实反向回路追踪<br/>剪枝候选至注意力低于阈值"]
    E --> F["输出紧凑且可解释的提示词特定回路"]

关键设计¶

1. 统一双线性 QK 形式化：无缝吸收偏置与 RoPE 旋转变换 不同现代大模型在注意力机制实现上存在异质性（如 GPT-2 含有注意力偏置，Gemma-2 含有 RoPE 旋转位置编码，Pythia 二者兼具），这破坏了将注意力原始分数表示为固定矩阵双线性形式 $\mathbf{x}^{d\top} \Omega \mathbf{x}^s$ 的前提。以往 ACC 为此引入了齐次坐标扩展或位置特定的多套 $\Omega^{(d-s)}$ 矩阵，使 SVD 分析变得异常冗杂。ACC++ 证明在投影矩阵 $W_Q, W_K$ 满足满列秩的温和条件下（实测条件数均远小于 1000），可以利用伪逆 $W_Q^\dagger W_Q = I_R$ 和 $W_K^\top (W_K^\top)^\dagger = I_R$，将偏置向量与 RoPE 旋转线性算子直接折叠进输入 token 表示中： $$A'_{ds} = \left[(\mathbf{x}^{d\top} + \mathbf{c}^{d\top}) M_d\right] \Omega \left[M_s (\mathbf{x}^s + \mathbf{c}^s)\right]$$ 其中 $\Omega = W_Q W_K^\top$ 是每头全局唯一的固定矩阵，$\mathbf{c}^d = (W_Q^\dagger)^\top \mathbf{b}_Q$、$\mathbf{c}^s = (W_K^\dagger)^\top \mathbf{b}_K$ 为常数偏置折叠项，$M_d = W_Q \mathcal{R}^d W_Q^\dagger$、$M_s = (W_K^\top)^\dagger \mathcal{R}^{s\top} W_K^\top$ 分别为对应的旋转变换算子。由此，每个头仅需做一次标准的 SVD 分解 $\Omega = \sum_{k=1}^R \mathbf{u}_k \sigma_k \mathbf{v}_k^\top$，即可完全统一所有架构。

2. 精细化信号候选生成：组件输出与奇异向量的严格解耦与匹配 以往 ACC 将上游贡献组件与奇异子空间分开处理，导致提取的子空间往往跨越多个奇异维度，混杂了多种语义。ACC++ 将候选信号严格定义为“单个上游组件 $c$ 在单个奇异向量方向上的正交投影”：在目标端，候选信号为 $\mathbf{s}_c^{dk} = \mathbf{u}_k \mathbf{u}_k^\top \mathbf{o}_c^d$；在源端，候选信号为 $\mathbf{s}_c^{jk} = \mathbf{v}_k \mathbf{v}_k^\top \mathbf{o}_c^j$（其中 $\mathbf{o}_c$ 为组件输出，$j \le d$）。由此，总共有 $Q = |\mathcal{C}(\ell)| \times R$ 个显式的秩-1（Rank-1）候选信号。每一个候选信号在目标位置与各候选源位置 $j$ 之间诱导一个确定的 pre-Softmax 贡献向量 $\mathbf{c}_i \in \mathbb{R}^d$，使得整个未归一化注意力得分行实现严格的完全加和重构：$A'_d = \sum_{i=1}^Q \mathbf{c}_i$。

3. 非线性 Softmax 积分梯度归因：精确捕捉归一化下的源位置竞争 Softmax 函数是一个全局非线性归一化算子，$A_{ds} = \frac{\exp(A'_{ds}/\sqrt{R})}{\sum_{j \le d} \exp(A'_{dj}/\sqrt{R})}$。一个候选信号之所以对头注意到源位置 $s$ 至关重要，不仅在于它绝对提高了 $A'_{ds}$，还在于它相对于其他竞争源位置 $j$ 拉开了差距。以往 ACC 采用线性代理，忽略了这种相对竞争，选出了大量对最终注意力无实际影响的虚假成分。ACC++ 沿着基线到实际状态的路径 $\mathbf{z}(t) = t A'_d$（$t \in [0, 1]$），采用积分梯度（Integrated Gradients）直接对后 Softmax 概率标量 $g(\mathbf{z}) = [\operatorname{Softmax}(\mathbf{z})]_s$ 进行严格归因： $$\operatorname{IG}_i = \int_0^1 p_s(t) \Big( C_{is} - \langle \mathbf{c}_i, \mathbf{p}(t) \rangle \Big) \, dt$$ 公式中的减项 $\langle \mathbf{c}_i, \mathbf{p}(t) \rangle = \sum_{j \le d} C_{ij} p_j(t)$ 直观展示了全局竞争惩罚：如果某个信号在增加 $s$ 得分的同时也等量增加了其他竞争位置的得分，其对最终注意力概率的有效因果归因就会被削弱。

4. 贪心反事实反向回路追踪：最小因果解释集与递归构图 在得到所有候选信号的固定归因分值 $\operatorname{IG}_i$ 后，ACC++ 从全量候选集合 $S$ 出发执行贪心剔除。每次选取当前归因贡献最大的候选 $i^\star = \arg\max_{i \in S} \operatorname{IG}_i$ 移除，重新计算经 Softmax 归一化后的注意力权重 $A_{ds}(S)$，直到其跌破预设的自适应因果阈值 $\tau(d) = k/d$（其中 $k \in [1.5, 2.5]$，适配上下文长度变化）。所有被剔除的候选即构成了该注意力决策的因果信号集合。算法从直接对输出 logit 有显著效应的组件出发，对每一个激活的注意力触发反向递归执行该过程，最终拼接成一个以模型组件为节点、以具体低维因果信号为有向边的完整计算图。

5. 信号配对与自动化自然语言解释：将机械因果连接转化为人类可读语义 由于单侧信号（如目标端向量 $\mathbf{p} \in \operatorname{Span}\{\mathbf{u}_k\}$）仅表征单边投影，无法具象化它在注意力中到底与什么样的源特征发生匹配，ACC++ 证明并求解了最优配对向量 $\mathbf{q}^\star = \arg\max_{\|\mathbf{q}\|=1} \mathbf{p}^\top \Omega \mathbf{q} = \frac{\Omega^\top \mathbf{p}}{\|\Omega^\top \mathbf{p}\|}$。随后，在包含 10,000 个文本切片的 Pile 数据集中，利用打分函数 $\operatorname{score}(d,s;\mathbf{p},\mathbf{q}) = \mathbf{x}^{d\top} \mathbf{p} \mathbf{q}^\top \mathbf{x}^s$ 检索激活最高的前 40 个上下文，标注出目标 token << >> 与源 token [[ ]]，利用 LLM（DeepSeek-R1-Distill-Llama-70B）归纳出简短的自然语言模式描述，并采用独立大模型（Gemma-3-27B-IT）在混合真实与随机控制样本中进行 Fuzzing 判别和 Fisher 精确检验（FDR $\le 5\%$），实现信号层面的自动化语义标注。

实验关键数据¶

主实验：回路图规模与精简度对比¶

在经典间接宾语识别（IOI）、性别代词预测（GP）与大于比较（GT）任务上，对比了原始 ACC 与 ACC++ 抽取的计算图规模（均值 $\pm$ 标准误）。

任务	模型	ACC 节点数	ACC++ 节点数 (本文)	节点减少	ACC 边数	ACC++ 边数 (本文)	边数压缩比
IOI	Gemma-2 2B	688 $\pm$ 12	87 $\pm$ 3	-87.4%	7086 $\pm$ 200	215 $\pm$ 11	33.0×
IOI	GPT-2 Small	205 $\pm$ 2	85 $\pm$ 1	-58.5%	639 $\pm$ 9	154 $\pm$ 3	4.1×
IOI	Pythia-160M	123 $\pm$ 2	76 $\pm$ 1	-38.2%	354 $\pm$ 8	147 $\pm$ 4	2.4×
GP	Gemma-2 2B	121 $\pm$ 20	8 $\pm$ 0	-93.4%	806 $\pm$ 159	7 $\pm$ 1	115.1×
GP	GPT-2 Small	114 $\pm$ 3	27 $\pm$ 1	-76.3%	263 $\pm$ 10	28 $\pm$ 1	9.4×
GP	Pythia-160M	63 $\pm$ 3	33 $\pm$ 2	-47.6%	132 $\pm$ 8	52 $\pm$ 4	2.5×
GT	GPT-2 Small	176 $\pm$ 3	45 $\pm$ 1	-74.4%	594 $\pm$ 12	81 $\pm$ 2	7.3×
GT	Pythia-160M	78 $\pm$ 4	43 $\pm$ 5	-44.9%	177 $\pm$ 13	88 $\pm$ 12	2.0×

信号可解释性与自动化评估¶

在 100 个随机采样的 IOI 提示词上，对抽取的数万条因果通信信号进行全自动自然语言解释生成与基于 LLM-as-a-judge 的 Fuzzing 评测（报告中位数与四分位距 IQR，基线为 SAE 显式训练特征）：

评测指标	显式训练的 SAE 特征	GPT-2 Small 信号	Pythia-160M 信号	Gemma-2 2B 信号
判别准确率 (Accuracy)	0.76 (0.67–0.86)	0.70 (0.60–0.80)	0.65 (0.53–0.76)	0.60 (0.53–0.70)
判别精确率 (Precision)	—	0.68 (0.57–0.79)	0.62 (0.52–0.75)	0.58 (0.51–0.68)
判别召回率 (Recall)	—	0.85 (0.70–0.95)	0.85 (0.65–0.95)	0.80 (0.65–0.90)
可解释信号占比 (FDR $\le$ 5%)	—	63% (CI: 62–64%)	50% (CI: 49–51%)	31% (CI: 30–32%)

关键发现¶

信号极端紧凑低维：ACC++ 抽取的因果信号中，绝大多数（80% 以上）维度严格为 Rank-1（即仅依靠单个奇异方向），彻底摆脱了上一代 ACC 混合高维子空间难以解释的问题。
因果介入效应显著且对残差扰动极小：在消融实验中，敲除 ACC++ 选出的信号会导致模型 IOI 预测能力显著崩溃（甚至强于随机信号对照），但残差向量的余弦相似度保持在 0.99 附近、范数比接近 1.0，证实了选出信号具备极其纯粹且集中的因果有效性，而非大尺度分布漂移导致的破坏。
提示词结构的敏感情态存在模型分化：IOI 回路聚类显示，GPT-2 对名字出现的宏观顺序极度敏感（ABBA 与 BABA 完全分裂为两大簇），而 Pythia-160M 则对底层句式连接词（如 "While..." vs "Then..."）更为敏感。深入信号分析揭示，GPT-2 的核心名字转移头 (9, 9) 在 ABBA 与 BABA 间虽然复用，但输入信号余弦相似度呈现负相关：BABA 中它依赖“平行对中的第二项”特征匹配，而在 ABBA 中它依赖“并列对称重复”等宏观句法特征。
多语言机制共享与语言特异性信号共存：多语言 IOI（mGPT 与 Gemma-2 2B 跨英、西、法、葡四语）实验显示，各语言高度复用了相同的注意力头与 MLP 拓扑；但回路距离的聚类呈现出次级语言聚类，且跨语言回路的 Jaccard 距离与 URIEL+ 语言学特征库中的句法距离（Pearson $r = 0.83$）和谱系亲缘距离（$r = 0.88$）呈现出强正相关，西班牙语与葡萄牙语在回路信号层面显著共享更多通道。

亮点与洞察¶

将注意力非线性竞争与积分梯度结合：避免了以往线性代理对 Softmax 归一化稀释效应的误判，是回路图规模下降 50%–90% 的数学基石。
双线性 QK 形式下的偏置与 RoPE 折叠：通过构造输入端矩阵算子 $M_d, M_s$ 和等效偏置，用代数推导抹平了不同模型在位置编码与偏置上的结构碎片，使单次 SVD 分解跨架构通用。
从“组件连通图”跃迁到“可解释语义信号流”：不仅回答了哪两个神经元相连，更揭示了连接通道传递的语义载荷（如“第二项标记”、“专有名词延续”），展示了机械可解释性从拓扑定位向机制语义理解的关键跨越。

局限与展望¶

因果阈值依赖经验启发式设定：当前阈值 $\tau(d) = k/d$ 依赖经验累积分布函数（ECDF）拐点选取，尚缺乏全自动、数据集无关的统一理论准则。
未能深入追踪 MLP 内部激活因果链：ACC++ 能够定位 MLP 输出写入了何种注意力因果信号，但尚未将追踪过程递归穿透进 MLP 的两层非线性神经元内部。
LLM 自动化解释裁判存在潜在偏差：信号解释与 Fuzzing 评测依赖外部开源大模型作为裁判，评测结果具有强参考性但并非绝对完备的因果证明。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出统一 QK 吸收 RoPE/偏置推导，并将非线性 Softmax 积分梯度引入注意力因果回路发现。
实验充分度: ⭐⭐⭐⭐⭐ 跨 GPT-2、Pythia、Gemma-2 等多个模型与多个基准任务，系统验证了规模压缩、可解释性评测及语言学距离相关性。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，附录理论完备，图表信息充实且定性示例具象生动。
价值: ⭐⭐⭐⭐⭐ 为单提示词微观回路分析提供了极低开销、高解释性的全新实用工具范式。

任务	模型	ACC 节点数	ACC++ 节点数 (本文)	节点减少	ACC 边数	ACC++ 边数 (本文)	边数压缩比
IOI	Gemma-2 2B	688 \(\pm\) 12	87 \(\pm\) 3	-87.4%	7086 \(\pm\) 200	215 \(\pm\) 11	33.0×
IOI	GPT-2 Small	205 \(\pm\) 2	85 \(\pm\) 1	-58.5%	639 \(\pm\) 9	154 \(\pm\) 3	4.1×
IOI	Pythia-160M	123 \(\pm\) 2	76 \(\pm\) 1	-38.2%	354 \(\pm\) 8	147 \(\pm\) 4	2.4×
GP	Gemma-2 2B	121 \(\pm\) 20	8 \(\pm\) 0	-93.4%	806 \(\pm\) 159	7 \(\pm\) 1	115.1×
GP	GPT-2 Small	114 \(\pm\) 3	27 \(\pm\) 1	-76.3%	263 \(\pm\) 10	28 \(\pm\) 1	9.4×
GP	Pythia-160M	63 \(\pm\) 3	33 \(\pm\) 2	-47.6%	132 \(\pm\) 8	52 \(\pm\) 4	2.5×
GT	GPT-2 Small	176 \(\pm\) 3	45 \(\pm\) 1	-74.4%	594 \(\pm\) 12	81 \(\pm\) 2	7.3×
GT	Pythia-160M	78 \(\pm\) 4	43 \(\pm\) 5	-44.9%	177 \(\pm\) 13	88 \(\pm\) 12	2.0×