SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks¶

会议: ICLR2026
arXiv: 2512.15938
代码: 待确认
领域: 可解释性
关键词: 机制可解释性, 稀疏自编码器, 模型编辑, 特征可视化, 权重空间干预

一句话总结¶

提出 SALVE 框架——"发现-验证-控制"三阶段流程：用 L1 正则化稀疏自编码器发现模型的可解释特征基，用 Grad-FAM 可视化验证特征语义，再利用 SAE 解码器矩阵引导永久性权重空间编辑。在 ResNet-18 和 ViT-B/16 上验证了从类别抑制到跨类特征调控的精确、持久、低副作用控制。

研究背景与动机¶

机制可解释性(mechanistic interpretability)近年取得长足进展，SAE(稀疏自编码器)成为发现神经网络内部特征的主流工具（Anthropic "Mapping the Mind" 等标志性工作）
但现有工作多停留在"发现并可视化特征"阶段——知道模型在"想什么"，但无法精确修改它的行为
模型编辑领域（如ROME、MEMIT）可以修改模型，但缺乏可解释性支撑，修改是黑盒的
SALVE的核心愿景：理解(interpretability) → 控制(editing)，先用SAE理解模型学到了什么特征，再精确编辑这些特征
推理时干预(activation steering)是临时的，SALVE追求的是永久性权重修改

方法详解¶

整体框架¶

"发现-验证-控制" 三阶段流程：(1) 在目标层（ResNet 平均池化层 / ViT [CLS] token）训练 L1-正则化线性 SAE → 得到稀疏、可解释的特征基；(2) 用激活最大化和 Grad-FAM 可视化验证特征语义；(3) 利用 SAE 解码器矩阵 \(D\) 引导永久性权重空间编辑。

关键设计¶

稀疏特征发现（SAE 阶段）：
- 在目标层训练线性自编码器：\(Z = \text{Encoder}(x)\)，带 L1 正则鼓励稀疏
- 计算类条件均值潜在激活 \(\mu_k = \frac{1}{|C_k|}\sum_{n \in C_k} Z_n\)，按 \(|\mu_k|\) 排序识别各类主导特征
- 稀疏性确保每个特征是独立可操作的——非频繁激活的特征在均值中趋近于零
Grad-FAM 特征可视化：
- 类似 Grad-CAM 但作用于 SAE 潜在空间而非 CNN 特征图
- 对每个 SAE 特征生成空间热力图，显示其在输入图像中"关注"的区域
- 与激活最大化互补：后者展示特征的抽象概念，Grad-FAM 展示其在具体图像中的定位
永久性权重空间编辑：
- 编辑公式：\(w_{ij}' = w_{ij} \cdot \max(0, 1 \pm \alpha \cdot |c_j|)\)，其中 \(c_j = D[j, l]\) 是特征 \(l\) 对激活维度 \(j\) 的贡献
- \(\alpha\) 控制干预强度，\(\pm\) 控制增强/抑制方向
- 设计动机：乘法式编辑保留了学习到的分类器权重的符号结构，效果依赖样本激活模式而非全局覆盖
\(\alpha_{crit}\) 临界抑制阈值：
- 线性近似：\(\alpha_{crit}^{(n)} \approx \frac{z_i^{(n)}}{R_i(\mathbf{x}^{(n)})}\)，其中 \(R_i\) 量化沿特征方向的抑制敏感度
- 物理意义：使目标类 logit 降至零所需的最小抑制强度
- 低 \(\alpha_{crit}\) 表示高依赖度（脆弱表征），高 \(\alpha_{crit}\) 表示该类有多个冗余特征支撑

损失函数 / 训练策略¶

SAE 训练：重建损失 + L1 正则。权重编辑为后处理步骤，不涉及额外训练。

实验关键数据¶

主实验（ResNet-18 on Imagenette, ViT-B/16 验证）¶

操作	目标类准确率	非目标类准确率	说明
原始模型	~95%	~95%	基线
抑制 "Church" 特征	~0%	~95%	精准禁用目标类，零溢出
增强 "Golf ball" 特征	保持 ~95%	~95%	增强不影响其他类
抑制 "Tower" 跨类特征	Petrol Pump↓, Church 不变	轻微变化	揭示特征共享和纠缠

消融与分析¶

分析	结果	说明
αcrit 分布（解析 vs 数值 vs 经验）	三者一致	解析估计提供下界，数值计算精确
跨类特征 "Tower" 编辑	Petrol Pump 依赖高，Church 冗余大	不同类对同一特征的依赖度差异揭示表征结构
SAE 初始化鲁棒性	10 次随机初始化结果一致	编辑效果不依赖 SAE 的特定基
ViT-B/16 验证	类似的抑制曲线和编辑精度	CNN 和 Transformer 架构通用
CIFAR-100 扩展	有效但跨类共享更多	高类别多样性下简单 L1 SAE 的局限

关键发现¶

永久性权重编辑实现了与推理时激活 steering 和 ROME 类似的目标类零化效果
\(\alpha_{crit}\) 成功识别出"脆弱"类别——依赖单一主导特征、缺乏冗余的类更容易被抑制
跨类特征编辑揭示了隐藏的特征纠缠："Tower" 特征的抑制/增强与 "Chain Saw" 类呈反向效应，暗示学习到的虚假负相关

亮点与洞察¶

首次系统性地将 SAE 可解释性发现转化为永久性权重编辑，填补了"理解→控制"的关键缺环
Grad-FAM 是 SAE 特征可视化的有用工具——比直接看激活分布更直观，与 Grad-CAM 互补
\(\alpha_{crit}\) 阈值概念优雅——用一个标量量化"特征对类别有多重要"，可用于鲁棒性诊断和对抗脆弱性预测
永久性权重编辑 vs 推理时干预的对比论述清晰——持久性修改在合规场景中更有价值
跨类特征编辑揭示了模型内部的特征纠缠结构——"Tower" 特征与 "Chain Saw" 的反向关系是仅通过 SALVE 才能发现的

局限与展望¶

仅在图像分类任务（Imagenette、CIFAR-100）上验证，LLM 上的适用性是更重要也更困难的方向——LLM 的内部表征更高维、更纠缠
SAE 的训练质量直接决定了下游编辑的质量——如果特征不够 disentangled，编辑会有副作用（CIFAR-100 实验已初步显示这个问题）
权重空间反投影可能在深层网络中因非线性累积而失真——当前仅编辑最后一层
与模型编辑领域方法（ROME、MEMIT）的直接定量对比不够充分——目前仅在类抑制上做了定性比较
扩展到更大模型（如 ViT-L、ResNet-101）和更大数据集时稀疏基的质量需要验证——可能需要 Gated/Top-k SAE 等更先进变体

评分¶

新颖性: ⭐⭐⭐⭐ 理解→控制的桥梁概念新颖，永久性权重编辑 vs 推理时 steering 的定位清晰
实验充分度: ⭐⭐⭐ 仅图像分类（Imagenette + CIFAR-100），缺 LLM 和大规模模型实验
写作质量: ⭐⭐⭐⭐ "发现-验证-控制" pipeline 框架动机清晰，消融和定性分析完整
价值: ⭐⭐⭐⭐ AI safety 方向有长期价值，SAE+权重编辑的范式值得关注