跳转至

SAEExplainer: Interpreting SAE Features with Activation-Guided Preference Optimization

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/he-jingyi/SAEExplainer
领域: 可解释性
关键词: 稀疏自编码器 (SAE), 特征解释, 直接偏好优化 (DPO), 激活引导奖励, 机制可解释性

一句话总结

针对传统稀疏自编码器(SAE)特征解释采用开环生成导致的概念泛化与解释幻觉问题,SAEExplainer 将目标模型客观激活值转化为可验证的奖励信号,通过两轮迭代直接偏好优化(DPO)挖掘真实激活正例与具有迷惑性的难负例,实现了自校验与因果触发能力的持续自演进。

研究背景与动机

近年来,稀疏自编码器(SAE)已成为大语言模型机制可解释性(Mechanistic Interpretability)研究的核心工具。通过将 Transformer 内部密集、多义性(polysemantic)的隐藏激活解耦为高维稀疏的单义性(monosemantic)特征向量,SAE 为观察和干预模型内部表征提供了清晰的视角。然而,SAE 解耦出的特征向量本质上仍是高维连续的潜空间向量,必须将其映射为人类可读的自然语言描述才能真正转化为可解释的知识。现有解释范式主要分为两类:一类是像 AutoInterp 和 Neuronpedia 那样,利用外部 LLM 总结高激活文本片段;另一类是像 LatentQA 或 Activation Oracles 那样,将特征向量直接与文本配对训练端到端的解释器模型。

尽管这些方法取得了初步成效,但它们普遍遵循一种开环单遍(open-loop, single-pass)的生成范式,潜藏着严重的可靠性缺陷。现有体系缺乏机制性的反馈回环来验证解释的真实因果性——模型生成的解释往往看似语义通顺、逻辑合理,但依据该解释生成的文本在目标模型中根本无法激发目标 SAE 特征,或者只能引发极弱的漫散激活。这种现象导致了解释幻觉(hallucination)与过度泛化(over-generalization),例如将专门响应特定编程语言框架调用(如 Dart package:flutter)的特征笼统概括为宽泛的“网页开发指令”。此外,现存的评估机制仅停留在打分或过滤层面,未能转化为可用于训练的直接学习信号,阻碍了解释器生成质量的自我迭代与提升。

为了打破开环生成的桎梏,本研究探索能否将目标模型的机制性反馈引入训练闭环中,以客观激活为基准对候选解释进行自校正。我们认为,一个真正忠实且准确的自然语言解释,必须具备充足的因果有效性——即根据该解释合成的文本能够高置信、特异性地触发目标 SAE 特征;反之,若生成文本无法激活特征,说明该解释存在语义漂移或过度概括。核心 idea:将目标 LLM 的客观 SAE 激活值转化为偏好优化奖励信号,通过开环解释器预热、真实激活评分筛选与难负例挖掘构建机制偏好对,并在两轮迭代 DPO 闭环中实现从基础语义对齐到高精度因果边界判别的自我进化。

方法详解

整体框架

SAEExplainer 的核心目标是构建一个端到端的解释器大模型,能够直接接收目标模型的 SAE 特征向量并输出精准的自然语言解释。整个流程分为三个有序阶段:首先,通过残差流范数匹配注入机制将目标特征向量无缝嵌入解释器,并基于监督微调(SFT)完成冷启动;随后,解释器在高温下针对未见特征采样多个候选解释,利用文本生成器合成对应的测试文本并输入目标 LLM 测算真实 SAE 激活值,构建包含高激活正例与高迷惑性难负例的偏好对数据集;最后,执行两轮迭代直接偏好优化(Iterative DPO),利用首轮对齐模型重新生成更高质量的候选池以更新偏好数据,通过持续的对比学习消除幻觉并锚定锐利的激活边界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:目标模型 SAE 解码特征向量 $v_i$"] --> B["激活注入与解释器冷启动<br/>残差流范数匹配注入 + SFT 预热对齐"]
    B --> C["机制偏好对构建<br/>候选生成 + 文本合成 + 真实激活评分与难负例筛选"]
    C --> D["两轮迭代式直接偏好优化<br/>首轮基座对齐 + 次轮策略自生成数据自演化"]
    D --> E["输出:具备因果触发能力的精确自然语言解释 $e_i$"]

关键设计

1. 激活注入与解释器冷启动:模态失配与未对齐隐空间 -> 残差流范数匹配注入与SFT预热 -> 赋予基础解释能力 直接将高维连续的 SAE 特征向量作为 token 嵌入送入解释器会导致严重的模态失配,并在早期自注意力层中造成注意力权重崩塌。为了让解释器模型真正理解特征向量的内在几何语义,本文采用残差流动态注入策略。在输入文本提示中设置特定的占位符标记 ⟨ACT⟩(位于序列位置 \(p\)),在解释器前向传播至第二层 Transformer(Layer 1)时,将经过 \(\ell_2\) 范数动态缩放匹配的特征向量直接叠加到残差流隐藏状态上: $\(h'_p = h_p + \frac{\|h_p\|}{\|v_i\|} v_i\)$ 其中 \(h_p\) 为第 1 层在位置 \(p\) 处的原始隐藏状态,\(v_i \in \mathbb{R}^{d_{\text{model}}}\) 为目标 SAE 解码矩阵的列向量。这种缩放确保了外来注入信号与宿主模型内部激活处于同一能量量级,使得修改后的隐藏状态 \(h'_p\) 能够自然参与后续层级的解码计算。在此基础上,从目标模型层级采样子集特征 \(V_1\),利用已有的基线解释标注(如 Neuronpedia)进行监督微调(SFT),使解释器快速掌握遵循指令格式以及从激活向量解码基础自然语言语义的能力。

2. 机制偏好对构建:开环幻觉与缺乏难负例 -> 真实激活评分筛选与相对边际难负例挖掘 -> 构建高对比度机制偏好数据 经过 SFT 的解释器往往能生成行文流畅但因果边界模糊的描述,现有方法由于缺乏反馈无法辨别这类“伪合理”假说。为此,SAEExplainer 建立了一套客观激活反馈评估流水线。针对未见特征子集 \(V_2\) 中的每个特征 \(v_j\),令当前解释器以高温采样生成 \(M\) 个候选解释 \(E_j = \{e_m^j\}_{m=1}^M\)。随后调用生成器 LLM,根据每个候选解释合成 \(W\) 条能够体现该语义的测试文本 \(T_m^j = \{t_1, \dots, t_W\}\)。将每条文本输入目标 LLM,以目标 SAE 特征在文本序列中的最大 token 激活值作为该候选解释的机制有效性评分: $\(s(e_m^j) = \max_{t \in T_m^j} \max_{\text{token } \tau \in t} a_t(\tau)\)$ 为了保证偏好对具有明确的鉴别信号,样本首先经过两道质量过滤门槛:最高候选分需达到基础激活阈值 \(\tau_{\text{act}}\),且极差相对比例需达到 \(\tau_{\text{diff}}\)。在通过筛选的特征中,选取得分最高的候选作为正例(chosen sample)\(y_w^{(j)} = \arg\max_{e \in E_j} s(e)\)。而在构建负例(rejected sample)时,若随意选取最低分样本往往只能得到语法劣质或语义完全无关的平凡样本,难以提供有效的对比学习梯度。因此,本文定义了一个具有相对衰减下限的候选子集 \(E_j^- = \{e \in E_j \mid \frac{s(y_w^{(j)}) - s(e)}{s(y_w^{(j)})} \ge \tau_{\text{margin}}\}\),并从中选取得分最高者作为难负例 \(y_l^{(j)}\)。这一难负例在语言表达上与正例高度相近,却因微小的语义偏差或过度概括导致激活显著受阻,为模型提供了极高密度的辨别学习信号。

3. 两轮迭代式直接偏好优化:单轮优化上限与策略演化漂移 -> 首轮策略对齐与次轮策略自生成数据自演进 -> 持续逼近因果真实触发条件 单次偏好对齐受限于初始 SFT 模型的生成分布,难以突破初始候选池的多样性与精度瓶颈。SAEExplainer 采用了两轮串行演进的迭代式 DPO 机制。第一轮 DPO 以 SFT 模型作为初始策略 \(\pi_\theta\) 和参考模型 \(\pi_{\text{ref}} = \pi_{\text{sft}}\),在初版偏好数据集 \(D_{\text{DPO}}^{(1)}\) 上进行优化,得到中间策略 \(\pi_{\text{DPO1}}\)。经过首轮对齐后,解释器的特征解析精度与因果敏感度显著跃升。此时,不再停留在离线静态数据上,而是直接利用 \(\pi_{\text{DPO1}}\) 对相同的特征池重新执行高温候选采样、文本合成及真实激活评分,构建第二轮在策略(on-policy)偏好数据集 \(D_{\text{DPO}}^{(2)}\)。第二轮 DPO 训练将参考模型更新为 \(\pi_{\text{ref}} = \pi_{\text{DPO1}}\),并在 \(D_{\text{DPO}}^{(2)}\) 上继续优化收敛为最终模型 \(\pi_{\text{DPO2}}\)。这种模型解释能力提升与偏好数据质量提高之间的正向强化回环,有效抵御了优化过程中的策略崩溃与过拟合,使解释器能够由粗到细精准锚定特征的真实激活条件。

损失函数 / 训练策略

在 DPO 训练阶段,模型优化标准直接偏好优化损失函数: $\(\mathcal{L}_{\text{DPO}}(\pi_\theta; \pi_{\text{ref}}) = -\mathbb{E}_{(X, y_w, y_l) \sim \mathcal{D}_{\text{DPO}}} \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y_w \mid X)}{\pi_{\text{ref}}(y_w \mid X)} - \beta \log \frac{\pi_\theta(y_l \mid X)}{\pi_{\text{ref}}(y_l \mid X)} \right) \right]\)$ 在超参数设置上,第一轮 DPO 采用 \(\beta = 0.1\),学习率设定为 \(5\times 10^{-6}\);第二轮 DPO 设定 \(\beta = 0.15\),学习率降至 \(3\times 10^{-6}\)。候选池规模统一设为 \(M = 6\),测试文本数 \(W = 4\),相对极差过滤阈值 \(\tau_{\text{diff}} = 0.1\),难负例边际阈值 \(\tau_{\text{margin}} = 0.15\)。SFT 阶段采用 LoRA 进行高效微调,秩 \(r = 32\),\(\alpha = 64\),学习率 \(5\times 10^{-5}\)。

实验关键数据

主实验

论文在三个代表性开源模型家族及其主流 SAE 字典上进行了跨层综合评测:Gemma-2-9B(Gemmascope-16k)、Llama-3.1-8B(LlamaScope-32k)和 Gemma-2-27B(Gemmascope-131k)。评估指标涵盖生成准确率(GEN,由解释驱动文本激发特征超过 50% 历史最大激活的比例)、输入/输出评分(INP、OUT,分别检验输入端对齐度与输出干预因果度)、以及高低激活对比度指标(\(A_{\text{high}}\)、\(A_{\text{low}}\) 及其差值 \(\Delta A\))。下表展示了全量对比结果:

目标模型及 SAE 配置 方法 GEN (↑) INP (↑) OUT (↑) \(A_{\text{high}}\) (↑) \(A_{\text{low}}\) (↓) \(\Delta A\) (↑)
Gemma-2-9B (Layer 20) Activation Oracles 20.33 58.67 61.67 17.77 0.49 17.28
Neuronpedia (GPT-4o-mini) 21.03 62.67 62.67 19.01 0.62 18.39
Neuronpedia w/ Claude 4.5 40.00 71.33 63.33 24.68 0.70 23.98
Neuronpedia w/ GPT-5 38.87 77.00 63.33 26.22 0.55 25.67
SAEExplainer (本文) 46.13 77.33 71.00 28.72 0.47 28.25
Gemma-2-9B (Layer 31) Activation Oracles 26.97 64.67 62.67 47.41 1.21 46.20
Neuronpedia (GPT-4o-mini) 27.77 70.33 57.33 50.13 1.42 48.71
Neuronpedia w/ Claude 4.5 49.43 86.33 63.00 69.01 0.99 68.02
Neuronpedia w/ GPT-5 49.33 86.33 64.00 72.46 1.42 71.04
SAEExplainer (本文) 54.50 84.33 72.33 75.49 1.19 74.30
Llama-3.1-8B (Layer 15) Activation Oracles 31.17 41.67 70.67 3.89 0.06 3.83
Neuronpedia (GPT-4o-mini) 33.93 49.00 69.33 4.56 0.02 4.54
Neuronpedia w/ Claude 4.5 55.67 61.33 71.66 6.52 0.03 6.49
Neuronpedia w/ GPT-5 54.47 63.33 70.00 6.50 0.02 6.48
SAEExplainer (本文) 58.40 68.00 76.00 7.19 0.01 7.18
Llama-3.1-8B (Layer 25) Activation Oracles 21.77 50.66 70.00 5.00 0.04 4.96
Neuronpedia (GPT-4o-mini) 27.87 56.00 69.00 5.81 0.06 5.75
Neuronpedia w/ Claude 4.5 49.67 75.00 73.33 8.79 0.10 8.69
Neuronpedia w/ GPT-5 46.70 77.33 75.67 8.49 0.04 8.45
SAEExplainer (本文) 52.33 77.67 77.00 9.08 0.09 8.99
Gemma-2-27B (Layer 10) Activation Oracles 29.67 55.33 60.67 113.53 0.29 113.24
Neuronpedia (GPT-4o-mini) 37.63 67.33 64.00 132.27 0.24 132.03
Neuronpedia w/ Claude 4.5 44.37 73.33 62.33 143.03 2.71 140.32
Neuronpedia w/ GPT-5 35.27 72.67 62.00 132.18 0.13 132.05
SAEExplainer (本文) 53.63 82.67 67.67 163.69 0.13 163.56
Gemma-2-27B (Layer 22) Activation Oracles 10.23 27.00 35.33 102.37 1.11 101.26
Neuronpedia (GPT-4o-mini) 16.17 38.33 33.00 144.01 0.61 143.40
Neuronpedia w/ Claude 4.5 18.80 42.00 39.33 158.19 5.39 152.80
Neuronpedia w/ GPT-5 18.60 46.67 40.00 177.21 4.80 172.41
SAEExplainer (本文) 26.63 51.00 38.33 216.60 0.29 216.31

消融实验

为了剖析 SAEExplainer 内部模块及训练阶段的累积收益,以及验证其解释是否具备消除语义冲突(Semantic Collision)的细粒度判别力,进行了以下两组实验:

1. 训练阶段渐进消融(Llama-3.1-8B Layer 15) 通过追踪模型在 SFT 基线、首轮 DPO(DPO1)和次轮 DPO(DPO2)不同阶段的性能跳变,量化闭环机制与迭代自演化带来的净收益:

训练阶段 Generative Accuracy (%) Input Score (%) Output Score (%) 阶段机制解释
SFT (基线) 26.10 51.30 70.33 仅模仿 Neuronpedia 标签,缺乏激活反馈,极易泛化
DPO1 52.40 (+26.30) 71.63 (+20.33) 75.00 (+4.67) 引入真实激活偏好对,强迫区分假象,因果准确率翻倍
DPO2 (完整) 58.40 (+6.00) 77.00 (+5.37) 76.00 (+1.00) 依托第一轮强化策略自生成更高质量偏好对,持续推高上限

2. 语义碰撞率分析(Llama-3.1-8B Layer 15,2000 个测试特征) 度量 SAE 向量空间中相隔遥远的特征是否被赋予了高度相似的文本描述(FSSR 越低越好,文本间相似度 Distant Text Sim 越低越好):

解释生成方法 特征语义碰撞率 FSSR (%) (↓) 远距离文本相似度 Distant Text Sim (↓)
Neuronpedia (GPT-4o-mini) 15.92 0.475
Neuronpedia w/ Claude 4.5 6.66 0.406
SAEExplainer (本文) 3.74 0.383

关键发现

  • 迭代闭环实现超越训练标签质量的自进化:SAEExplainer 的初始 SFT 训练集全部采集自 Neuronpedia,但经过两轮基于激活反馈的 DPO 优化后,模型在 Gemma-2-27B Layer 10 上的生成准确率从基线的 37.63% 跃升至 53.63%,甚至大幅超越了调用超大闭源模型(GPT-5 的 35.27% 与 Claude 4.5 的 44.37%)生成的高成本基线。这证明闭环强化学习能够摆脱对先验伪标签的依赖。
  • 显著抑制特征语义碰撞与虚假抽象:FSSR 指标相比 Neuronpedia 相对下降了 76.5%(从 15.92% 降至 3.74%)。在案例定性分析中,Neuronpedia 将特征 31936 抽象为“以-s结尾的第三人称单数动词”(测试激活为 0),而 SAEExplainer 准确抓取到真实触发关键词为电影片名中的“Hates”(实测激活达到 12.44)。
  • 候选池大小的精度与全局语义权衡:候选池规模实验表明,\(M=6\) 取得了最优的综合平衡。较小的 \(M=2\) 因选项匮乏使生成准确率受限,而过大的 \(M=10\) 虽然微幅推高生成准确率,但导致辨别边际 \(\Delta A\) 下降并损害了 Output 评分。这说明过于极端地追求最大单点激活容易使解释滑向局部的过窄描述,适度的探索与难负例边际才能维系解释的完整度。

亮点与洞察

  • 客观激活作为强化学习的自然奖励:将神经网络内部真实的标量激活强度作为偏好优化评判的准绳,巧妙规避了传统文本生成中主观奖励模型(Reward Model)存在的欺骗与奖励黑客(Reward Hacking)风险。
  • 相对边际难负例挖掘机制:负例选择并非简单挑取最低分候选,而是从激活严重衰减的子集中挑出得分最高的样本,确保了被惩罚的假说在语言表达上高度逼真、仅在机制因果上失效,提供了极具判别力的对比梯度。
  • 可迁移的机制自解释范式:该框架不仅适用于 SAE 特征的自然语言标注,其“生成假设 \(\rightarrow\) 引导文本生成 \(\rightarrow\) 测量神经元/隐状态反馈 \(\rightarrow\) DPO 强化”的闭环方法,可直接推广至注意力头功能解析、回路(Circuits)功能验证等更广泛的机制可解释性领域。

局限与展望

  • 计算开销显著增加:相较于传统单遍前向提示工程,SAEExplainer 在构建偏好数据时需要经历多候选生成、多文本合成与前向激活遍历等耗时环节,在面对千万级超大特征库时可能面临扩展瓶颈。
  • 跨模型架构泛化尚未打通:为确保残差流激活注入的维度严格对齐,当前实验限定解释器模型必须与目标模型保持同源架构及隐藏维度(如使用 Gemma-2-9b-it 解释 Gemma-2-9B)。未来需探索跨模型、跨维度的投影适配器,以支持异构甚至更小型的通用解释器。
  • 深层表征的下游因果映射衰减:层级深度分析表明,随着层深增加至 90%,虽然输入端激活命中率保持稳定,但 Output Score 显著下降。这表明深层特征在网络复杂的非线性级联中对最终生成的影响变得高度扩散,需要更加精细的下游干预评估协议。

相关工作与启发

  • vs Neuronpedia / AutoInterp: 后者利用外部 LLM 总结若干高激活 token 片段,属于纯文本层面的启发式总结,无法感知模型内部真正的激活条件,极易产生过度概括;SAEExplainer 将真实激活作为反馈信号,通过 DPO 惩罚未激活的伪解释,因果触发精度大幅提升。
  • vs Activation Oracles / LatentQA: 后者直接利用残差流或激活微调问答模型,但在训练目标上仍局限于监督式极大似然估计(SFT),没有利用模型生成的错误假设进行对比反思;SAEExplainer 引入闭环两轮 DPO,利用对抗性的难负例引导模型厘清特征判别边界。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将真实 SAE 激活值作为客观奖励信号引入 DPO,构建了特征解释的自我进化闭环。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主力模型、多个层级、因果触发/干预评分/语义碰撞/消融等立体化评测体系。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,理论建模与实现细节交代极其详尽清晰。
  • 价值: ⭐⭐⭐⭐⭐ 为解决大规模可解释性特征自动注释中的幻觉与泛化瓶颈提供了高可信度的全新基石。