跳转至

Mechanistic Circuit Identification for Controllable Data Generation

会议: NeurIPS 2026
arXiv: 2608.24065
OpenReview: https://openreview.net/forum?id=C7XxHZycp6
代码: https://github.com/nakyungLee20/circuit_datagen
领域: 可解释性
关键词: 机制可解释性、可控数据合成、回路发现、特征工程、阶段感知调度

一句话总结

通过 EAP-IG 反向解析大模型内部表征易学性、挑战度与梯度对齐的三类专用计算回路，并以此为控制接口实施激活叠加与注意力干涉生成目标效用样本，配合阶段感知动态调度实现学生模型的高效微调与校准。

研究背景与动机

高质量训练数据是决定语言模型泛化与推理能力的核心要素，引发了数据合成、指令调优筛选与数据配比优化等方向的大量探索。然而，现有的合成数据生成范式依然高度依赖基于自然语言提示词的黑箱引导，仅凭下游最终微调指标进行后验评估，完全无法解释特定训练样本究竟如何与模型内部的学习动态产生因果交互。传统的数据质量评估代理（如困惑度、句法合规性或 LLM 自评打分）不仅停留在表层语法与风格分布，而且基于梯度的影响力函数等方法往往将复杂样本作用压缩成单一标量，极易导致合成数据在单一属性上过拟合，忽视了数据质量本身具有多维动态效用的本质特征。

近期研究表明，优质训练数据不能简单归结为孤立的质量分数，而应从样本是否“易于学习（learnable）”、“未被掌握（not yet learnt）”以及“值得学习（worth learning）”三个互补的效用维度进行综合刻画。在训练动态中，这三者分别对应三大成熟的效用度量指标：反映稳定裕度与学习一致性的边界下面积（AUM）、捕捉早期优化压力与高预测误差的误差 L2 范数（EL2N），以及衡量样本更新梯度与验证集目标一致性的梯度对齐度（GradAlign）。然而，即便构建了涵盖这三维度的多轴质量剖面，该体系依然仅能起到事后筛选与聚类作用，无法揭示模型内部究竟是通过哪些具体计算通路产生这些学习行为的。

如果高低效用样本在微调过程中确实持续驱动着截然不同的模型行为，那么模型内部必然存在与之对应的因果回路。机制可解释性（Mechanistic Interpretability）为定位此类子图提供了严密工具，但传统回路研究大多局限于局部浅层玩具任务（如代词指代消歧 IOI），鲜少涉及复杂训练动态层面的因果机制。本文的核心 idea 是：将机制可解释性从被动的后验分析工具转化为主动的因果生成接口，利用积分梯度归因补丁定位表征易学性、挑战度与梯度对齐的模型内部回路，通过跨层激活叠加与稀疏注意力干涉直接操控生成动态，并提出 SAMS 框架将回路引导数据按模型优化阶段动态调度以实现精准微调。

方法详解

整体框架

本文提出的框架包含三个核心阶段：训练效用回路发现与因果验证、回路干涉的可控数据合成，以及阶段感知机制调度（SAMS）。首先，在 Qwen2.5-1.5B-Instruct 模型上根据 AUM、EL2N 和 GradAlign 的极值分位（Top-15% 与 Bottom-15%）构建对比样本对，利用针对分组查询注意力（GQA）扩展的积分梯度边归因补丁（EAP-IG）定位高低效用极稀疏子图（Top-250 边，仅占全网 0.3%）；随后，提取核心模块的表征差异与路由偏置，在解码阶段联合施加激活叠加（Activation Addition）与稀疏注意力偏置干涉，生成分别富集易学性（\(\mathcal{D}_{\text{learnable}}\)）、挑战度（\(\mathcal{D}_{\text{challenging}}\)）与目标对齐（\(\mathcal{D}_{\text{aligned}}\)）的合成数据，并经过内部兼容性重打分过滤；最后，在下游小模型微调时，按优化进程划分预热、过渡与挑战阶段，动态调度三类数据的混合比例。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["训练动态指标评估<br/>计算样本 AUM / EL2N / GradAlign 标量剖面"] --> B["对比构建极值分位样本对<br/>选取 Top-15% 与 Bottom-15% 高低效用子集"]
    B --> C["EAP-IG 回路发现与因果验证<br/>支持 GQA 梯度的积分归因定位 Top-250 核心边"]

    subgraph S1["回路引导的多轴数据合成"]
        direction TB
        D["双重机制回路干涉<br/>跨层激活叠加 + 稀疏注意力路由偏置调制"] --> E["内部兼容性重打分过滤<br/>基于诊断通路对数似然增益剔除漂移样本"]
    end
    C --> S1

    subgraph S2["SAMS 阶段感知动态调度微调"]
        direction TB
        F["阶段 1 预热期: 60% 易学 + 15% 挑战 + 25% 对齐"] --> G["阶段 2 过渡期: 25% 易学 + 45% 挑战 + 30% 对齐"]
        G --> H["阶段 3 挑战期: 10% 易学 + 60% 挑战 + 30% 对齐"]
    end
    S1 --> S2
    S2 --> I["下游模型鲁棒微调产出<br/>准确率提升并显著压低 ECE / NLL 校准误差"]

关键设计

1. 支持 GQA 的 EAP-IG 对比回路定位：跨模态连续扰动与反向梯度追溯 传统边缘归因补丁（EAP）通常要求成对的离散文本标记替换作为反事实输入，但在样本级数据效用评估中，单一词替换难以颠覆整体学习动态。为此，作者将整句文本嵌入 \(\mathcal{E}(z_i)\) 作为干净输入，注入连续高斯噪声 \(\epsilon \sim \mathcal{N}(0, \sigma^2 I)\) 构建保持序列长度严格对齐的反事实扰动输入。针对开源模型普遍采用的分组查询注意力（GQA，如 Qwen2.5-1.5B 含 12 个 Query 头但仅有 2 个 KV 头），传统 EAP 无法直接匹配一对多的计算拓扑。本文拓展了反向传播图的路由规则，将多个 Query 头的梯度精确归因并反向聚合至共享的 Key/Value 头。以真实类别的最大对数裕度 \(T(x_i) = \log p_\theta(y_{\text{true}} \mid x_i) - \max_{y_{\text{false}}} \log p_\theta(y_{\text{false}} \mid x_i)\) 为优化目标，沿 \(M=5\) 个插值步长计算积分梯度归因：

\[\mathrm{Attr}_e(x_i) = \left| (a_e^{\text{clean}} - a_e^{\text{corr}})^\top \left( \frac{1}{M} \sum_{j=1}^M \nabla_{a_e^{(j)}} T(x_i) \right) \right|\]

通过在各效用指标的 Top-15%（\(\mathcal{B}_{\text{hi}}^m\)）与 Bottom-15%（\(\mathcal{B}_{\text{lo}}^m\)）上分别累加归因幅值并截断 Top-250 条边（仅占 84,715 条有效候选边的 0.3%），实现了对高低效用子通路的极稀疏、高信噪比分离。

2. 效用回路的功能拓扑解构与模块化映射 结构分析显示，不同效用指标在深层表现出显著的解剖学功能分化。浅层（Layer 0）的 Value 头（如 \(a_0.h[6-11]\langle V \rangle\)）与中浅层 MLP（\(m_1, m_2\)）构成所有回路共享的初始证据加载底座；但在中深层，回路发生了高度分化： - 规范锚点（Canonical Anchor）：主要由 AUM-High（富集度 \(z=+1.03\)）和 EL2N-Low（\(z=+1.18\)）主导，依赖早期 Key 头（\(a_6\langle K \rangle\)）与中间层，直接提取明确的事实证据完成快速决策，代表稳定默认通路。 - 信息重路由（Informative Rerouting）：由 EL2N-High 强力主导（\(z=+1.81\)）且受到 AUM-High 的主动抑制（\(z=-1.33\)），其在遭遇决策边界模糊的困难样本时，绕开默认通道，将计算流重路由至中层注意力分支（\(a_2, a_4, a_5\langle K \rangle\)）与更深层的 MLP（\(m_4, m_6, m_{13}\)）以化解概念歧义。 - 目标对齐控制（Target-Aligned Control）：由 GradAlign-High 独家富集（\(z=+1.73\)），并在中深层注意力（\(a_{14}\langle K \rangle\) 及 \(a_{17}-a_{20}\)）施加抑制，依托 \(m_{13}\) 等深层 MLP 节点对梯度方向实施精确纠偏，抑制非必要捷径特征。

3. 双重机制回路干涉生成与内部兼容性过滤 为了克服自然语言 Prompt 只能施加表层风格约束的缺陷，生成阶段使用固定的中立提示词，在模型内部同时施加状态与路由层面的双重因果干涉。 在状态层面，基于表征工程（RepE）在目标回路模块 \(m \in \mathcal{M}(c)\) 提取高低效用子集的激活均值差向量 \(u_c^{(m)} = \mathbb{E}[h_\theta^{(m)}(x_{\text{hi}})] - \mathbb{E}[h_\theta^{(m)}(x_{\text{lo}})]\)，于自回归解码的每一步对隐藏层施加偏移：\(h_t^{(m)} \leftarrow h_t^{(m)} + \sum_c \lambda_c u_c^{(m)}\)。 在路由层面，针对关键注意力头 \(A_{\ell, h, t, j}\)，利用结构化掩码 \(\mathcal{M}(t, j)\) 与有界温度调节函数 \(\tau(s)\) 进行稀疏对数偏置扰动：

\[\widetilde{A}_{\ell, h, t, j} = \frac{A_{\ell, h, t, j}}{\tau(s_{r, \ell, h})} + s_{r, \ell, h} \cdot \mathcal{M}(t, j)\]

针对生成过程中的随机漂移，设计了内部兼容性重打分策略（Internal Compatibility Selection）：计算候选样本 \(\tilde{y}\) 在指定诊断回路介入下的平均词对数似然 \(\ell_k(\tilde{y} \mid x)\) 相对于未干涉基准模型 \(\ell_0(\tilde{y} \mid x)\) 的增益 \(s_k(x, \tilde{y}) = \ell_k - \ell_0\)。通过构建难度代理指标 \(\text{Difficulty Proxy} = s_{\text{challenging}} - s_{\text{learnable}}\)，精准筛除与目标效用偏离的候选样本。

4. 阶段感知机制调度（SAMS）：契合优化动力学的渐进式课程 即便获得了高质量的回路控制数据池，若采用固定比例均匀混合（Uniform-Mix），仍违背深度学习初期需要低方差稳定锚点、后期需要高优化压力信号的客观规律。SAMS 框架将学生模型的整个微调过程解构为三阶段机制课程： - 预热阶段（Warm-up，步数 \(t \le t_1\)）：采样比例为 \((\mathcal{D}_{\text{lrn}}, \mathcal{D}_{\text{chl}}, \mathcal{D}_{\text{alg}}) = (60\%, 15\%, 25\%)\)，以易学样本奠定基础模式识别能力，避免早期大梯度冲击引起表征崩塌。 - 过渡阶段（Transition，\(t_1 < t \le t_2\)）：采样比例动态调整为 \((25\%, 45\%, 30\%)\)，逐步加大挑战样本的输入，暴露更丰富的决策边界结构。 - 挑战阶段（Challenge，\(t > t_2\)）：采样比例设定为 \((10\%, 60\%, 30\%)\)，由高挑战样本驱动深度推理，并由持续保持在 30% 的目标对齐数据牵引参数更新方向，防止发生灾难性漂移。

实验关键数据

主实验

在 Qwen2.5-0.5B-Instruct 学生模型上进行下游微调，评测领域内（SciQ 测试集）及跨领域（ARC-Easy 零样本迁移）表现。固定总训练步数下，考察 50%、60% 与 70% 原生源数据（Source Data）配比环境，评估准确率（Accuracy）、期望校准误差（ECE）及负对数似然（NLL）。

评估基准 / 数据集 方法配置 原生源数据比例 (50% / 60% / 70%) ACC (↑) ECE (↓) (50% / 60% / 70%) NLL (↓) (50% / 60% / 70%)
SciQ (领域内) 纯源数据基线 (Full Source) 83.4 (100% 源数据单点) 0.157 1.408
SciQ (领域内) Prompt-Uniform (提示词均匀混合) 82.9 / 83.7 / 82.8 0.070 / 0.078 / 0.093 0.541 / 0.551 / 0.588
SciQ (领域内) Prompt-Sched (提示词阶段调度) 83.4 / 83.1 / 83.2 0.074 / 0.079 / 0.090 0.525 / 0.568 / 0.594
SciQ (领域内) Circuit-Uniform (回路干涉均匀混合) 83.9 / 84.5 / 84.9 0.060 / 0.071 / 0.069 0.513 / 0.544 / 0.540
SciQ (领域内) SAMS (回路干涉 + 阶段调度, 本文) 84.8 / 85.8 / 84.4 0.056 / 0.055 / 0.084 0.491 / 0.511 / 0.541
ARC-Easy (跨领域) 纯源数据基线 (Full Source) 76.2 (100% 源数据单点) 0.211 1.692
ARC-Easy (跨领域) Prompt-Uniform (提示词均匀混合) 72.6 / 72.8 / 72.9 0.047 / 0.043 / 0.061 0.741 / 0.750 / 0.769
ARC-Easy (跨领域) Prompt-Sched (提示词阶段调度) 72.4 / 72.1 / 72.4 0.060 / 0.052 / 0.072 0.768 / 0.772 / 0.793
ARC-Easy (跨领域) Circuit-Uniform (回路干涉均匀混合) 73.6 / 73.5 / 74.4 0.037 / 0.037 / 0.048 0.728 / 0.733 / 0.733
ARC-Easy (跨领域) SAMS (回路干涉 + 阶段调度, 本文) 74.1 / 74.6 / 74.9 0.058 / 0.039 / 0.047 0.724 / 0.712 / 0.717

消融实验

在 SciQ 上对生成管线组件（干涉 vs. 筛选）、调度策略以及效用回路轴的必要性进行消融。

组件隔离消融（均匀调度下，Qwen2.5-0.5B）：

配置 SciQ 准确率 (↑) ECE (↓) NLL (↓) 说明
未干预 + 随机采样 (Unsteered + Random) \(82.80 \pm 0.46\) \(0.077 \pm 0.057\) \(0.487 \pm 0.050\) 传统黑箱 Prompt 基线
未干预 + 兼容过滤 (Unsteered + Filter) \(82.27 \pm 0.97\) \(0.057 \pm 0.035\) \(0.507 \pm 0.065\) 缺乏回路干预时过滤反致模式塌缩
回路干预 + 随机采样 (Steered + Random) \(83.10 \pm 0.17\) \(0.057 \pm 0.015\) \(0.480 \pm 0.020\) 证明回路干涉提升候选池基底质量
回路干预 + 多样性采样 (Steered + Diversity) \(83.23 \pm 0.31\) \(0.050 \pm 0.020\) \(0.477 \pm 0.015\) 结合常规文本多样性筛选
回路干预 + 兼容过滤 (Steered + Filter) \(\mathbf{84.77 \pm 0.38}\) \(\mathbf{0.063 \pm 0.006}\) \(\mathbf{0.510 \pm 0.026}\) 两者高度互补，较纯随机提升 1.97%

调度机制对比（相同回路干涉数据池）：

调度方案 SciQ 准确率 (↑) SciQ ECE (↓) ARC-Easy 跨域准确率 (↑)
Bengio 经典课程 (基于裕度从易到难) \(82.63 \pm 0.23\) \(0.060 \pm 0.026\) \(75.38 \pm 0.34\)
均匀混合 (Uniform, 33:33:34) \(84.77 \pm 0.38\) \(0.063 \pm 0.006\) \(76.09 \pm 0.25\)
线性逐 Batch 插值 (Linear Interpolation) \(84.43 \pm 0.91\) \(0.063 \pm 0.015\) \(74.55 \pm 0.99\)
倒序 SAMS 调度 (Reversed SAMS) \(84.83 \pm 0.38\) \(0.057 \pm 0.025\) \(75.56 \pm 0.68\)
SAMS 阶梯调度 (本文) \(\mathbf{85.20 \pm 0.56}\) \(\mathbf{0.057 \pm 0.023}\) \(\mathbf{76.15 \pm 0.30}\)

关键发现

  • 因果回路去关联的绝对性：在零消融（Zero-Ablation）实验中，剔除 AUM-High 与 EL2N-High 的 Top-250 边后，模型对样本的效用打分相关系数骤降至接近 0（Pearson \(r < 0.03\)，而随机删边保持 \(r > 0.89\)），高低分桶差距消除率（GapRed）超过 98%，严格证实提取的子网络即为支配训练效用打分的因果瓶颈。
  • 效用回路轴的不可替代性：逐轴去除生成干预后，缺乏 AUM 会破坏生成样本的语义覆盖度（Recall）与梯度多样性（G-Vendi）；缺少 EL2N 会导致生成的思维链解释退化（R-Gain 显著下滑），无法提供高信息量挑战；缺少 GradAlign 则直接削弱解题正确率与裕度。
  • 梯度空间多样性（G-Vendi）优势：回路干预生成的样本在词汇层面的 BLEU-1 / Jaccard 相似度显著低于 Prompt 基线（如易学样本 Jaccard 由 0.1725 降至 0.1507），而在基于梯度的 G-Vendi 指标上远超 Prompt 数据，说明回路干涉驱动了多样化的内部优化轨迹而非表层措辞重述。
  • 跨模型架构强泛化性：在由 Qwen2.5-1.5B 发现回路并生成的合成数据上，训练 Gemma-3-1B-it 与 Llama-3.2-1B-Instruct 同样取得全面超越 Prompt 数据的效果（Gemma 准确率提升至 85.75%，Llama 提升至 88.15%），证实数据效用特征具有通用性。

亮点与洞察

  • 将机制可解释性从后验分析升格为主动生成接口：打破了过去 MI 仅用于解析小规模简单行为（如 IOI、少样本归纳头）的研究藩篱，开创性地将训练动态标量指标反向映射为内部拓扑回路，并直接作为生成控制旋钮。
  • 软硬兼施的双重因果干涉机制：通过激活叠加改变潜空间语义倾向，再利用稀疏注意力路由偏置改变信息汇聚路径，无需反复微调或修改生成器权重即可诱导不同难度的内容生成。
  • 微调动态与阶段调度有机融合：SAMS 避免了合成数据训练中常出现的早期过拟合或晚期梯度漂移，持续保留 30% 目标对齐数据（\(\mathcal{D}_{\text{aligned}}\)）作为泛化锚点的做法，极具工程借鉴价值。

局限与展望

  • 回路发现的计算开销与离散度：EAP-IG 依赖反向传播与多次积分插值，在十亿至百亿级参数模型上遍历完整训练集的代价较高，目前仅针对二元极值分位（Top/Bottom 15%）构建回路，未来需扩展至连续效用谱系。
  • 启发式阶段切换阈值：SAMS 目前采用等分三阶段的固定时间步长与预设经验配比（60:15:25 \(\rightarrow\) 25:45:30 \(\rightarrow\) 10:60:30），尚未实现根据训练实时梯度动态自适应调节的强化学习或闭环反馈策略。
  • 任务形式目前受限于选择题形式：所有因果验证与数据生成均在单选科学问答（MCQA）上开展，评估依赖选项对数概率；将该套机制推广至开放式长文本推理与代码生成需要重新设计可微归因目标。

相关工作与启发

  • vs. EAP-IG / MI 基础分析工作 (Hanna et al., 2024; Mueller et al., 2025)：以往工作专注于发现语法特征或固定逻辑任务对应的孤立回路，本文首次将可解释性与宏观数据训练动态结合，把回路拓展为可执行、可干预的数据生成界面。
  • vs. 启发式指令合成 (WizardLM / Magpie; Xu et al., 2024, 2025)：常规工作通过提示词增加复杂度指令或空上下文提示，输出往往充斥客套废话或表层语义冗长；本文通过模型底层回路介入，实现了内部梯度多样性提升与更凝练高质的推理过程。
  • vs. 基于梯度的样本选择 (LESS / MATES; Xia et al., 2024; Yu et al., 2024)：传统数据选择方法在大规模候选池中做被动单标量剪枝，本文则从源头直接白盒合成具备指定优化特性的高质量样本。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次打通机制可解释性与数据合成回路控制，从分析转向控制的视角极具开拓性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖因果消融、拓扑解析、下游多比例评测、跨模型泛化及校准度指标，论据极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，从数学表达到拓扑可视化的表达极为清晰规范。
  • 价值: ⭐⭐⭐⭐⭐ 为解决大模型合成数据“近亲繁殖”与黑箱不可控问题指明了通往白盒可控调控的全新路径。

相关论文