Circuit Claims Depend on What Is Extracted and How It Is Compared¶

会议: NeurIPS 2026
arXiv: 2607.18921
代码: https://github.com/Stepuuu/circuit-extraction-stability
领域: 可解释性
关键词: 机制可解释性、回路提取、电路稳定性、Lean定理证明、模型剪枝

一句话总结¶

本文在控制严密的合成 Lean 战术预测基准上系统评估了回路提取的稳健性，揭示出回路一致性结论高度受制于所报告的回路对象定义、Q/K注意力表示方式、选头平局判定及对比度量层级，但跨强化学习初始化条件的回路规模排序与桥接组件特性保持了稳健规律。

研究背景与动机¶

机制可解释性（Mechanistic Interpretability）的核心目标之一是确定神经网络中实现特定行为的具体计算组件。回路提取（Circuit Extraction）作为该领域的主流范式，通常通过连续掩码剪枝或消融实验识别出一组足以维持目标行为的极小子网络，并将提取出的回路解释为该行为背后的因果机制。然而，在自然语言任务中，“保持行为”并不能唯一定位出一个唯一的回路解释；由于自然语言往往混合了词汇表面线索、语法格式与多种潜在子技能，且缺少精确构造的原子分解，评估方法论决策对回路结论的扰动往往与任务本身的真实机制变化交织在一起。

现有回路提取文献中存在大量隐式的方法论选择：报告的是极其精简的预测保持核心回路，还是包含周围读写与路由结构的扩展支撑图；提取时设定的消融损失预算是多少；注意力头的 Query 和 Key 侧支持是作为一个联合节点表示还是拆分为独立节点；以及对比两个回路时是比对具体的组件间连接束（Edge Bundles）还是粗粒度的注意力头集合。这些方法论维度的选择往往导致截然相反的结论——同一对模型检查点可能在某一规则下显得高度共享回路，而在另一看似合理的对比规则下却重叠极低。

为了彻底解耦“回路提取/对比方法带来的度量伪影”与“任务数据本身的真实机制变化”，本文构建了一个生成规则完全固定、表面符号完全随机的合成 Lean 战术预测基准。本文的核心 idea 是：通过形式化证明步骤已知且解耦的合成 Lean 任务，系统控制模型稀疏度、Q/K 拆分表示、消融损失预算与 RL 初始化分布，证明回路级别的因果主张不仅依赖于模型行为，更根本地取决于提取了何种图对象以及如何在度量层面进行比对。

方法详解¶

整体框架¶

本文的研究框架围绕合成 Lean 战术预测任务构建。整个评估流水线包括四个关键环节：形式化命题证明状态生成、多稀疏度变体与强化学习初始化检查点训练、多粒度回路对象提取、以及多维度度量比对与干预验证。整体流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["形式化命题输入<br/>假设与目标状态"] --> B["受控模型家族训练<br/>Dense与权重稀疏 + SFT/GRPO"]
    B --> C["多粒度回路对象提取<br/>Core / Support / Pruning"]
    C --> D["注意力Q/K解耦与表示<br/>Coupled Q/K vs Factorized Q/K"]
    D --> E["多层次回路对比与度量<br/>Edge Bundle vs Head Set & Tie Break"]
    E --> F["因果消融与桥接验证<br/>Bridge Node Ablation"]

关键设计¶

1. 受控合成 Lean 战术预测基准：消除自然语言任务中的表面特征混淆

在自然语言任务（例如间接宾语识别 IOI）中，改变消融参考分布或模板常常会改变被选中的注意力头，难以区分这是模型机制的真实反应还是对表面模式的过拟合。为解决该痛点，本文设计了基于命题逻辑的 Lean 战术预测基准，包含 4 个原子任务（Atomic Tasks，如单步合取 AND、析取 OR-L、恒等 ID）和 5 个复合任务（Compositional Tasks，如 AND-OR、OR-AND、嵌套结构等）。每个样本的证明规则和原子到复合的分解结构由系统严密构造且完全已知，但命题符号（如 \(p, q, r, d\)）、假设标识符（如 \(h_p, h_q, h_d\)）以及无效干扰项（Distractor Premises）均动态随机采样生成。模型输入形式化证明状态（例如 \(p,q,d:\mathrm{Prop};\ h_p:p, h_q:q, h_d:d \vdash p \land q\)），目标输出为推进证明的第一条具体战术字符串（如 exact And.intro h_p h_q）。由于监督目标为严格的字符匹配，提供了无歧义且硬性的评估与回路选择信号。

2. 三类回路提取对象与注意力 Q/K 支撑解耦：统一不同粒度下的机制表示

针对文献中提取目标定义模糊、组件粒度不一的问题，本文形式化并对比了三种不同宽度的回路图对象： - 核心回路（Core Circuit）：基于可微硬 Concrete 连续掩码优化（Hard-Concrete Masking），直接在注意力输出通道与 MLP 神经元上进行稀疏剪枝，以保持消融后目标战术的严格 Exact-Match 准确率为第一准则，掩码交叉熵与 \(\lambda_{\ell_0}=0.05\) 惩罚项作为平局决策项，产出极简的预测保持子图。 - 扩展支撑图（Extended Support Graph）：在保持核心行为的基础上，显式纳入围绕预测路径的所有上下文读（Read）、查询/键（Q/K）、值（Value）、写（Write）及 MLP 读写中间路由节点，构成包含信息流支撑路径的完整宽图。 - 固定损失剪枝图（Fixed-Loss Pruning Graph）：模拟基于排序的剪枝算法，通过优化连续 top-\(k\) 剪枝评分，在给定的消融后损失预算 \(\tau\)（如 \(\tau=0.12\)）约束下选择最小的前 \(k\) 个组件集合 \(k^\star = \min \{k \in \mathcal{K}_{\text{tested}}: \mathcal{L}_{\text{abl}}(C_k) \le \tau\}\)。

在图的表示粒度上，针对注意力头设计了两种对比范式：联合表示（Coupled Q/K，将注意力头的 Query 与 Key 支撑合为单一 attn_qk 节点家族）与解耦表示（Factorized Q/K，将查询流 attn_q 与键流 attn_k 显式分为两个独立的拓扑节点家族），从而评估图结构先验对回路结论的影响。

3. 多层级回路度量体系与平局敏感性审计：辨析重叠度假象

在回路对比方法上，本文深入剖析了两种常用的集合重叠度量： - 结构边束重叠度（Structural Edge-Bundle Overlap）：将底层连接按层号、源与目标组件类型、以及在原子/复合任务回路中的成员属性归组为“结构边束”（例如 L0::shared->shared::mlp_neuron->mlp_write），计算 top-10 边束集合在两个模型间的 Jaccard 相似度 \(J_{10}(A, B) = \frac{|\mathrm{Top}_{10}(A) \cap \mathrm{Top}_{10}(B)|}{|\mathrm{Top}_{10}(A) \cup \mathrm{Top}_{10}(B)|}\)，并设置严格的打分加权随机基线。 - 路由注意力头重叠度（Routing-Head Set Overlap）：统计各注意力头所承载的路由连接总数，选取连接数前 10 名的注意力头计算 Jaccard 系数。关键机制在于对分数相同的注意力头如何打破平局（Tie-Breaking）：确定性枚举顺序（Deterministic Selection）与随机打破平局（Random Tie Handling）对比，揭示由枚举偏置引发的虚假高重叠。

4. 复合桥接节点理论与因果消融验证：连接回路拓扑与复合行为

针对复合任务与原子任务之间的关系，本文形式化定义了复合回路中的桥接比例（Bridge Fraction）。设复合任务 \(t\) 提取出的回路为 \(C_t\)，其对应的原子任务回路集合为 \(\{C_t^{(i)}\}\)，则桥接节点集合定义为复合回路中超出所有原子回路并集的组件部分：

\[\mathrm{BridgeFrac}(t) = \frac{\left|C_t \setminus \bigcup_i C_t^{(i)}\right|}{\left|C_t\right|}\]

这些桥接节点（Bridge Nodes）代表了模型在复合多步推理过程中独立于原子规则的协调与胶水计算模块。通过在模型推理中对桥接节点进行均值消融（Mean Ablation），验证它们是否对复合任务准确率构成特异性因果影响，同时保持原子任务能力不变。

损失函数 / 训练策略¶

基础模型采用 8 层 Transformer 架构（隐藏维度 \(d_{\text{model}}=2048\)，注意力头数 \(n_{\text{head}}=128\)，头维度 \(d_{\text{head}}=16\)，MLP 隐藏层 \(d_{\text{mlp}}=8192\)，参数量约 415.7M）。训练覆盖 5 种稀疏度水平：Dense（密集）、25%、50%、75% 和 90% 权重稀疏（Weight-Sparse，遵循 Top-\(k\) 稀疏投影训练）。监督微调（SFT）阶段消耗 5B token；强化学习阶段采用组相对策略优化（GRPO），使用 500 个仅包含复合任务的 Prompt，每个 Prompt 生成 8 条候选轨迹，采用严格的 Exact-Match 战术正确性作为奖励信号进行策略更新。

实验关键数据¶

主实验¶

主实验首先系统比较了密集（Dense）RL 模型与 75% 稀疏 RL 模型在不同比对层级下的回路重叠度，并在成功预测样本（Success Split）与非成功但最接近正确的样本（Near-miss Split）上进行了统计检验与基线对比。

比对方式 / 度量类型	样本切分 (Split)	观察到的 Jaccard@10	随机基准均值 (Random Baseline)	随机基准 95% 置信区间	\(p\) 值	核心发现
路由头集合 (确定性平局打破)	Success	0.666	0.199	[0.156, 0.245]	<0.001	展现出极高的注意力头重叠表象
路由头集合 (随机平局打破)	Success	0.028	0.199	—	—	平局随机化后重叠急剧崩溃
结构边束 (Structural Bundles)	Success	0.163	0.126 (分数加权 0.155)	[0.087, 0.168]	0.040 (加权 \(p=0.32\))	细粒度连接重叠极低，接近加权随机
语义边束 (Semantic Bundles)	Success	0.163	0.126	[0.088, 0.168]	0.039	与结构边束数值不可区分
路由头集合 (确定性平局打破)	Near-miss	0.554	0.185	[0.143, 0.230]	<0.001	确定性规则下仍显著偏高
路由头集合 (随机平局打破)	Near-miss	0.027	0.185	—	—	再次跌落至接近 0
结构边束 (Structural Bundles)	Near-miss	0.142	0.117 (分数加权 0.137)	[0.080, 0.158]	0.105 (加权 \(p=0.39\))	无显著差异，与随机基线持平

在强化学习初始化条件（Curriculum、Atomic-only、Composition-only）下，模型表现出显著的性能跃迁与回路结构差异：

训练分布家族	RL 初始化条件	SFT Suite 1 整体准确率	RL Suite 1 整体准确率	复合任务增益 (\(\Delta\) Comp.)	核心回路节点占比 (Core Fraction)	核心回路桥接比例 (Bridge Fraction)
中度扩展分布	Curriculum (课程学习)	58.19%	73.47%	+24.64% (43.83% \(\to\) 68.47%)	0.514	0.343
中度扩展分布	Atomic-only (仅原子)	—	29.94%	\(\le\) 4.27%	0.773	0.054
中度扩展分布	Composition-only (仅复合)	—	29.74%	+14.20% (36.36% \(\to\) 50.56%)	0.721	0.021
高度扩展分布	Curriculum (课程学习)	58.19%	76.95%	+31.27% (46.73% \(\to\) 78.00%)	0.674	0.161
高度扩展分布	Atomic-only (仅原子)	—	28.29%	\(\le\) 5.59%	0.776	0.023
高度扩展分布	Composition-only (仅复合)	—	33.37%	+18.11% (39.69% \(\to\) 57.80%)	0.710	0.028

消融实验¶

为了验证“桥接节点”是否真正承载了复合多步逻辑而非冗余噪声，论文在 75% 稀疏 RL 模型以及 Dense RL 模型上执行了针对复合回路桥接节点的因果均值消融（Full Bridge Ablation），在 200 个固定测试样本上测量复合任务与对应原子任务的 Teacher-Forced 严格匹配准确率（Exact Match, EM）。

模型检查点配置	复合测试任务	完整模型复合任务 EM	桥接消融后复合任务 EM	桥接消融后对应原子任务 EM	桥接节点总数 \(N\)	匹配控制节点数 \(n\)	结果说明
RL 75% 稀疏	T_and_or	1.000	0.930	1.000	3,726	3,102	复合略有下降，原子完美保持
RL 75% 稀疏	T_or_and	0.995	0.940	0.995–1.000	3,080	2,914	复合下降，原子基本无损
RL 75% 稀疏	T_and_or_and	0.990	0.460	0.995–1.000	20,415	5,959	复合断崖式下跌 (-53.0%)，原子不受影响
RL 75% 稀疏	T_nested_and	0.995	0.405	1.000	6,675	4,115	复合大幅下跌 (-59.0%)，原子保持 100%
RL 75% 稀疏	T_nested_or	0.975	0.295	1.000	20,509	5,010	复合性能崩塌 (-68.0%)，原子完全保持
RL Dense (密集)	T_and_or_and	0.535	0.045	0.995	51,407	11,585	复合几乎完全丧失，原子依然维持 99.5%
RL Dense (密集)	T_nested_and	0.995	0.990	1.000	2,694	2,517	单一规则复用较好，影响轻微

此外，在提取一致性方面： - Q/K 表示稳定性：在 \(\tau=0.12\) 的固定损失剪枝图中，Coupled Q/K 与 Factorized Q/K 的节点占比差异极小（中度扩展分布下差距仅 0.015，高度扩展分布下差距 0.024）。在所有 3 组两两 RL 条件排序中，Coupled 与 Factorized 呈现 100% (3/3) 的严格排序一致性。 - 损失预算扫描稳定性：在 \(\tau \in \{0.04, 0.08, 0.12, 0.16, 0.20\}\) 的剪枝阈值全范围扫描中，Q/K 排序一致性在所有测试点上始终保持 3/3。

关键发现¶

确定性选头规则制造虚假的一致性表象：当基于路由连接数筛选前 10 个注意力头时，许多头具有完全相同的连接数。默认按照索引顺序（Deterministic）打破平局会造成高达 0.666 的重叠度；一旦使用随机平局打破（Random Tie Handling），重叠度骤降至 0.028，甚至显著低于随机采样基准（0.199）。
细粒度连接缺乏跨检查点的一致性：在权重和结构级别，密集模型与稀疏模型之间、甚至不同训练检查点之间的细粒度连接束重叠度极低（0.142–0.163），经打分加权基准检验后无统计学显著差异（\(p > 0.3\)），说明网络实现同一种逻辑战术的具体突触路径具有高度各向异性（Anisotropy）与多解性。
复合泛化能力的跃迁伴随桥接结构的出现：只有经历了完整课程学习初始化的 RL 模型才能在复合证明任务上取得显著增益（+24.6% 至 +31.3%），而这一行为跃迁严格对应着回路中桥接比例的激增（0.343 与 0.161，而单阶段初始化条件均 \(\le 0.054\)）。消融这些桥接节点会特异性摧毁复合证明能力，却对原子任务的准确率毫无损伤。

亮点与洞察¶

揭示了回路可解释性中的“测量决定结论”悖论：论文令人信服地证明了“网络是否共享回路”不仅取决于模型本身的行为表现，更严重取决于研究者报告的是节点集合还是连接束、选头时如何破除平局、以及采用何种图提取目标。
受控形式化逻辑作为可解释性基准的独特价值：通过使用 Lean 战术预测这一命题形式化语言，作者创造了一个原子/复合边界完全已知、形式严格受控而表面词法完全随机的沙盒，为可解释性方法论提供了极具说服力的“黄金受控实验”。
桥接节点（Bridge Nodes）度量的迁移性：提出将复合回路中超出原子回路并集的部分量化为桥接节点，这种拓扑集合运算可以直接推广到自然语言多跳推理（Multi-hop Reasoning）、工具调用代理（Tool-use Agents）以及复杂代码生成的回路结构分析中。

局限与展望¶

任务领域的合成属性：论文的全部结论建立在合成命题逻辑 Lean 基准上。尽管这提供了严密的因果控制，但真实自然语言场景中的长上下文检索、语义联想和开放词表生成可能具备更复杂的回路复用模式。
模型规模与层深限制：主要实验集中在 8 层 415M 参数的 Transformer 上，尽管补充了 4 层模型验证，但未在百亿（10B+）以上规模的现代开源大语言模型上完整验证高权重稀疏度与回路平局现象。
未来方向：作者呼吁制定机制可解释性论文的“标准报告规范”（Reporting Practice），明确要求研究者声明所报告的图类型、剪枝阈值、平局解决规则、基准随机对照及图的对比层级。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从实验方法论与比对度量层级系统解构回路提取的确定性，视角深刻且发人深省。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 种稀疏度、2 种评估套件、3 种初始化条件、多种图对象及成千上万次消融与统计基线检验，证据链极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，术语定义清晰，图表与附录对照严谨。
价值: ⭐⭐⭐⭐⭐ 为整个机制可解释性社区敲响了方法论警钟，具有极高的元研究（Meta-Science）与方法学指导价值。