跳转至

Mechanism Shift During Post-training from Autoregressive to Masked Diffusion Language Models

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM推理
关键词: 掩码扩散模型, 自回归模型后训练, 机制可解释性, 边归因补丁, 电路重组

一句话总结

论文通过边缘归因补丁(EAP-IG)和 Logit Lens 等机制可解释性工具,对比自回归模型与后训练掩码扩散模型,揭示出扩散后训练并非全盘重写或均匀继承底层回路,而是依据任务结构发生“任务依赖型机制重组”:前缀主导任务保留继承路径,全局约束任务则显著向浅层重组。

研究背景与动机

近年来,自回归语言模型(ARMs)在各类自然语言理解与生成任务中展现出卓越性能,但因受限于因果掩码的单向生成机制,早期的局部决策误差极易沿时间步长累积放大,且模型天然难以满足序列级或双向全局约束。作为非自回归范式的代表,掩码扩散模型(MDMs)凭借全序列双向上下文与迭代去噪修正能力,为解决全局规划与双向填充难题提供了全新路径。然而,从零预训练大规模离散掩码扩散模型的收敛开销极为高昂,近期诸如 DiffuLLaMA 和 Dream 等工作通过将预训练好的自回归模型直接后训练(Post-training)为掩码扩散模型,在显著压缩计算成本的同时继承了基础模型的语言理解能力。

尽管这一自回归向掩码扩散迁移的后训练工程路线取得了显著经验收益,但后训练过程中模型内部算法与计算机制的变化依然是一个黑盒。改变训练目标与去噪接口并不等同于内部机制的自然转换;目前尚不清楚扩散后训练究竟是一刀切地保留了继承自因果骨干的自回归推理通路,还是根据不同任务的结构需求对内部计算回路进行了选择性重构。面对这种自回归向非自回归范式的跃迁,学术界亟需严谨的细粒度可解释性探针,以解耦模型内部特征表示与信息流动通路的演进规律。

针对上述关键疑问,本文以同一预训练骨干对齐的模型家族为研究对象,深入探讨后训练掩码扩散模型在不同任务结构下的计算重组规律。研究团队界定了前缀因果主导任务与全序列全局约束任务两种机制范式,并结合集成梯度边缘归因补丁(EAP-IG)与 Logit Lens 深入微观层级。核心 idea:扩散后训练不会全局覆写继承的因果回路,而是根据任务结构发生选择性的机制重组(Mechanism Shift)——在前缀主导任务中高度复用中后层因果通路,而在全局约束任务中将任务关键计算大幅前置至浅层网络,并展现出弱化单组件特化、走向分布式对齐的表示重塑。

方法详解

整体框架

本文构建了一个端到端的跨范式回路对比与可解释性分析流水线,系统性解剖从预训练自回归模型(ARMs)向后训练掩码扩散模型(MDMs)过渡时的内部计算重组机制。为了消除模型规模、架构差异与权重初始化的干扰,实验选用了两对严格同源的 7B 模型对:Qwen2.5-7B 对齐 Dream-Base-7B,以及 LLaMA-2-7B 对齐 DiffuLLaMA-7B。分析流水线包含三个严格控制的阶段:首先,利用任务定义的反事实干净-损坏输入对,通过集成梯度边缘归因补丁(EAP-IG)在同等稀疏度预算下抽取关键归因计算子图;其次,在边(Jaccard 相似度)、组件重要性得分以及网络深度(重心 Center of Gravity, CoG)三个层级量化回路复用与重排;最后,结合组件级 Logit Lens 投射与浅层神经元激活语义探测,揭示任务关键组件在词表空间的语义特化度与分布式表征规律。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["同源 ARM-MDM 模型对输入<br/>Qwen/Dream & LLaMA/DiffuLLaMA"] --> B["反事实干预与 EAP-IG 子图提取<br/>基于等边预算筛选Top-1000归因边"]
    B --> C["多层级归因子图对比<br/>边重叠率 Jaccard 与深度重心 CoG"]
    C --> D["组件级 Logit Lens 探针<br/>LogitGap 与 Delta-LME 语义特化度"]
    D --> E["浅层神经元激活语义解释<br/>跨层概念分布与因果消融验证"]

关键设计

1. 反事实干预与 EAP-IG 子图提取:解决跨范式因果图稀疏化与公平对比问题
为了在不同推理接口(因果单向 vs 离散掩码双向去噪)间抽取公平衡量的高归因计算回路,该设计对每一对模型使用相同的语义干预逻辑构建反事实输入对(干净与损坏样本),且不将 [MASK] 标记本身作为破坏语义的手段。对于自回归模型,直接在可见前缀上下文中干预关键实体;对于掩码扩散模型,干净与损坏样本保持相同的掩码位置、步长调度和时间步聚合,仅改变未掩码的上下文语义。通过集成梯度边缘归因补丁(EAP-IG),计算每个注意力头与 MLP 模块之间计算边 \(u \to v\) 对输出对比差异的归因得分 \(a_{u \to v}\),并在严格对齐的 1000 条边预算下抽取稀疏子图 \(S^{(1000)}\),彻底避免了子图基数不同对重叠率评估带来的统计偏差。

2. 多层级归因子图对比:量化模型间计算路径与深度的重组规律
为了从不同宏观维度捕捉计算通路的重塑,该设计引入了三个层级的量化标量指标。在边层级计算 Jaccard 重叠率 \(J(E_{\text{top}}^{\text{ARM}}, E_{\text{top}}^{\text{MDM}})\),评估具体连接通路的复用程度;在组件层级,通过对每个节点 \(v\) 关联的所有出入高归因边权重求和,得到节点重要性得分 \(s(v) = \sum_{(u,v) \in E_{\text{top}}} a_{u \to v} + \sum_{(v,u) \in E_{\text{top}}} a_{v \to u}\),筛选出 Top-100 关键组件;在层级维度,定义归因重心(Center of Gravity, CoG)作为网络深度的标量指标,直观展示归因质量在 Transformer 各层之间的迁移分布: $$ \text{CoG} = \frac{\sum_l l \cdot A_l}{\sum_l A_l} $$ 其中 \(l\) 为层数索引,\(A_l = \sum_{v:\ell(v)=l} s(v)\) 表示第 \(l\) 层吸收的总归因质量。CoG 的显著前移成为判定全局规划任务中计算前置的核心数学依据。

3. 组件级 Logit Lens 探针:度量组件在词表空间的语义对齐与特化坍缩
为了剖析回路差异背后的微观计算策略,该设计将关键组件的中间隐状态通过各自的无偏 Unembedding 矩阵直接投射到共享词表空间,计算输出空间上的 Logit 分布。针对自回归模型沿 token 位置追踪,掩码扩散模型则在目标位置沿去噪时间步追踪。通过构建选择性放大差距指标 \(\text{LogitGap}(c) = l_{(1)}(c) - l_{(2)}(c)\)、实体对齐频率 \(\text{NameFrac@}K(c) = \frac{|T_K(c) \cap \mathcal{N}|}{|T_K(c)|}\) 以及 Log-Mean-Exp 支配差距: $$ \Delta\text{LME}(c) = \text{LME}(T_K(c) \cap \mathcal{N}) - \text{LME}(T_K(c) \setminus \mathcal{N}) $$ 配合归一化熵值 \(H(c) = -\sum_{i \in T_K(c)} p_i \log p_i\),精准揭示出自回归模型依赖少数极端尖锐的特化组件(如特定人名头或操作符组件),而后训练扩散模型则将计算分散至更大规模的组件集合中,呈现出高熵、低 LogitGap 的分布式表征特质。

4. 浅层神经元激活语义解释:揭示深层计算向前网络迁移后的微观组织方式
针对全局约束任务中 CoG 骤降至网络底层(第 0–4 层)的现象,该设计深入残差流标量坐标提取最大激活上下文,并结合自动化大模型神经元解释框架,将激活单元归纳至特定语义类别。通过对比不同模型浅层神经元的激活分布方差 \(\sigma\),发现自回归模型在浅层高度集中于特定句法修饰语或离散数字特征(类别分布极其不均,\(\sigma=369.78\)),而掩码扩散模型在底层激活更多可解释神经元(426 个 vs 266 个),但方差大幅下降(\(\sigma=202.52\)),展示出一种更加平坦、通用的领域级特征提取表征,验证了底层以分布式协同方式吸纳复杂规划计算的新机制。

评估基准与实验设计

为了建立稳健的机制对比,研究在四个典型诊断任务上开展评估,通过条件熵差距 \(\Delta H := H_{\text{MDM}}(x_t \mid x_{<t}) - H_{\text{MDM}}(x_t \mid x_{\setminus t})\) 严格划分因果主导机制与全局规划机制。因果机制任务包含间接宾语识别(IOI)和大于比较(Greater-Than, GT),输出完全可从前缀推导;全局约束任务包含算术倒计时(Countdown)与语义填空(Semantic Infilling, SI),需要满足双向约束。所有回路提取与诊断探针严格在各模型对的共享成功子集(Common-correct pool,各采样 500 个样本)上执行,消除了模型本身准确率差异对中间表示的污染。同时,在倒计时任务的浅层结构(第 2–8 层)上实施精准零向量消融,并与中高层随机消融基线对照,验证重组回路的功能因果有效性。

实验关键数据

主实验

在严格对齐的 Top-1000 归因子图预算下,模型对在四项任务中的边重叠率(Edge Jaccard)、Top-K 组件重叠率以及归因深度重心(CoG)对比结果如下所示(括号内为 95% Bootstrap 置信区间):

任务范式 评估任务 模型对 (ARM / MDM) 边 Jaccard 重叠率 Top-100 组件重叠率 ARM 深度重心 (CoG) MDM 深度重心 (CoG)
前缀因果主导 IOI Qwen2.5 / Dream 0.193 [0.174, 0.214] 0.105 [0.091, 0.121] 17.5 [17.2, 17.9] 20.4 [20.0, 20.9]
前缀因果主导 IOI LLaMA-2 / DiffuLLaMA 0.088 [0.074, 0.104] 0.124 [0.108, 0.143] 18.2 [17.8, 18.6] 19.8 [19.3, 20.3]
前缀因果主导 GT Qwen2.5 / Dream 0.290 [0.268, 0.313] 0.515 [0.489, 0.542] 18.7 [18.3, 19.1] 14.4 [14.0, 14.9]
前缀因果主导 GT LLaMA-2 / DiffuLLaMA 0.054 [0.044, 0.066] 0.117 [0.101, 0.135] 17.3 [16.9, 17.8] 11.7 [11.2, 12.1]
全局约束规划 Countdown Qwen2.5 / Dream 0.008 [0.005, 0.012] 0.093 [0.079, 0.109] 16.5 [16.1, 16.9] 4.8 [4.5, 5.1]
全局约束规划 Countdown LLaMA-2 / DiffuLLaMA 0.032 [0.025, 0.041] 0.081 [0.067, 0.098] 17.1 [16.6, 17.5] 5.3 [4.9, 5.7]
全局约束规划 SI Qwen2.5 / Dream 0.225 [0.191, 0.263] 0.429 [0.386, 0.471] 13.7 [13.0, 14.4] 3.8 [3.4, 4.3]
全局约束规划 SI LLaMA-2 / DiffuLLaMA 0.018 [0.010, 0.031] 0.124 [0.096, 0.158] 13.1 [12.4, 13.8] 3.9 [3.4, 4.5]

消融与微观探针实验

通过在 Countdown 任务上对浅层关键结构执行因果干预消融,以及测量 IOI 任务中组件级 Logit Lens 的语义特化指标,展现机制重组的功能必要性与表示特征:

评估维度 实验配置 / 被测模型 关键评测指标 观测数值 机制意义与结论说明
因果干预消融 MDM 原始无消融基线 任务最终完成率 (%) 91.2% 模型在测试子集上的正常推理求解基线
因果干预消融 消融 MDM 识别的浅层组件 (L2–L8) 任务最终完成率 (%) 35.2% 浅层核心回路阻断导致性能大幅暴跌 56.0%
因果干预消融 随机消融中后层等量组件 (L16–L24) 任务最终完成率 (%) 89.4% 中后层消融仅轻微扰动性能,证明浅层存在关键因果功能
Logit Lens 探针 Qwen2.5-7B (ARM) Median \(\Delta\text{LME}\) / LogitGap 0.90 / 2.12 极高的支配差距与低熵 (0.97),呈高度尖锐的人名特化头
Logit Lens 探针 LLaMA-2-7B (ARM) Median \(\Delta\text{LME}\) / LogitGap 0.89 / 0.70 明显的单组件选择性放大效应,熵值 1.81
Logit Lens 探针 Dream-Base-7B (MDM) Median \(\Delta\text{LME}\) / LogitGap 0.31 / 未检出明显单峰 支配差距收缩至 0.31,人名信号分布于广泛语义组件中
Logit Lens 探针 DiffuLLaMA-7B (MDM) Median \(\Delta\text{LME}\) / LogitGap 0.05 / 0.49 支配差距剧降且熵值最高 (2.01),呈现多组件弥散表征

关键发现

  • 任务依赖的深度重心前移:在倒计时(Countdown)与语义填空(SI)等全局约束任务中,MDM 的归因重心从 ARM 的 16–17 层剧烈向浅层前置(Dream 的 CoG 降至 4.8,DiffuLLaMA 降至 5.3)。而在因果任务(IOI)中,CoG 几乎不发生浅层迁移(保持在 19–20 层)。
  • 特化组件的解耦与弥散化:自回归模型高度依赖具有极端选择性放大能力的单一主力组件(如 Qwen 中的 a27.h5 在 IOI 产生高达 21.14 的平均 Logit),而掩码扩散模型将同一任务信号摊薄至更多弱特化组件中,组件级输出分布熵显著增高。
  • 浅层表征从特化转向通用:浅层残差流神经元分析显示,LLaMA 在底层分配多达 2,821 个神经元表征描述性形容词,而 DiffuLLaMA 将各类别激活神经元均匀平铺在 50–200 个之间,以领域无关的分布式表示承接前置的复杂规划。

亮点与洞察

  • 任务兼容性假说(Task-Compatibility Hypothesis):研究首次系统性证实了后训练过程具有“选择性重构”特征,否定了扩散后训练全局重写网络或机械复制因果计算的简单猜测。模型能够自适应判断任务对双向信息的依赖程度,实现继承通路与全新通路的动态权衡。
  • 计算前置(Front-loading)与全序列协同机制:对于需要双向协调的全局约束任务,MDM 倾向于在网络最底部的几层(Layer 0–4)提前完成全局上下文的约束整合,使得后续深层网络能够专注于去噪精炼,这种层级功能解耦极富启发性。
  • 可解释性方法论的范式升级:揭示了单一组件尖锐对齐在非自回归架构下的局限性,证明未来针对非自回归或扩散大模型的机制分析,必须从“寻找关键头”转向“探测分布式子网络协同与路由模式”。

局限与展望

  • 受控任务与开放生成差距:目前实验仅在四个结构约束极为清晰的短序列诊断任务(IOI、GT、Countdown、SI)上完成闭环,尚无法直接推广至开放式多轮对话或长文本自由生成任务中。
  • 后训练多变量耦合:实验对比的是整体适配过程的结果,未能细粒度解耦扩散损失函数、去噪调度表、后训练数据分布以及优化器轨迹对机制演进的独立因果贡献。
  • 长思维链与更复杂语种探索:作者指出未来需要将回路分析进一步扩展至复杂的多步推理链(Long CoT),并在动词后置型语言(如日语、韩语、土耳其语、巴斯克语)等天然需要双向长程依赖的语料上复核该机制重组假说。

相关工作与启发

  • vs ACDC / EAP 传统自回归回路发现 (Bhaskar et al., 2024; Wang et al., 2023):传统工作主要在 GPT-2 或 LLaMA 等自回归单向模型中定位诱导头(Induction Heads)与实体追踪电路;本文将 EAP-IG 拓展至离散掩码扩散推理接口,开创了因果与非自回归跨范式回路对齐研究。
  • vs DiffuLLaMA / Dream 后训练实践 (Gong et al., 2025; Ye et al., 2025b):前期模型工作聚焦于如何提升非自回归采样效率与下游准确率指标,将后训练视为一种工程加速手段;本文则首次从机制可解释性层面打开后训练黑盒,为理解扩散模型如何消化自回归先验提供了底层理论支撑。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次跨越自回归与离散掩码扩散两种生成范式,开展同源权重的微观电路重构对比。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖两对主流 7B 架构、四类典型诊断任务,结合了子图重叠、重心 CoG、Logit Lens 与因果零消融多重验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯,数学指标定义完备清晰,可解释性可视化与微观证据详实。
  • 价值: ⭐⭐⭐⭐⭐ 深入揭示了非自回归后训练模型的内部表示迁移机制,为下一代离散扩散架构设计提供了宝贵的机理洞见。