OrthoEraser: Coupled-Neuron Orthogonal Projection for Concept Erasure¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 概念擦除、稀疏自编码器、耦合神经元、正交投影、语义保持

一句话总结¶

OrthoEraser 先定位敏感特征及其牵连的正常特征，再仅减去与保护子空间正交的敏感方向，使 SD1.4 在 I2P 上的 NudeNet 检测总数从 646 降至 5，同时在 COCO 提示上保持接近原模型的图文对齐与输出分布。

研究背景与动机¶

文本到图像模型的概念擦除不只是让某个词失效，而是要限制指定内容的生成能力，同时保留其他提示的正常表现。 ESD 通过负向引导微调模型，UCE 使用闭式编辑，SNCE 则把干预缩小到少数关键神经元。这些方法逐步提高了定位精度，但“改动的神经元少”并不意味着“受影响的语义少”。例如，一个承载目标属性的内部方向可能同时参与人物外观、姿态或背景表达；直接削弱它也会改变正常画面。因此，擦除是否成功必须与正常生成是否被破坏同时评估，不能只看敏感检测数下降。

本文把这种附带损伤解释为特征叠加的几何后果：敏感方向与正常语义方向可能并不正交。稀疏自编码器（sparse autoencoder，SAE）能把稠密激活展开成更易辨认的稀疏特征，但其解码向量仍可能互相重叠。于是，即使已经准确找出敏感特征，直接减去其解码贡献，也可能改变其他特征重新编码后的激活。这正是论文相对“先定位，再置零”思路的推进：不仅识别该删什么，还通过临时干预识别哪些正常特征需要保护。保护对象来自实际激活变化，而不是预先把所有非敏感方向都视为同样重要。

作者据此把擦除重写为一个受保护子空间约束的向量操作。允许删除的是敏感方向中不沿着保护子空间的分量；与正常特征共享的分量则不直接删去。这种做法明确了局部保持性的数学含义，也留下一个需要实验回答的问题：保留共享分量后，剩余可删方向是否足以抑制目标内容？核心 idea：先用置零消融找出容易被敏感特征删除所牵连的正常神经元，再把擦除向量投影到这些神经元所张成子空间的正交补，以改变目标内容而尽量不扰动正常生成。

方法详解¶

整体框架¶

准备阶段的输入是预训练生成模型、成对的敏感与非敏感提示，以及从中提取的中间层激活。方法依次完成敏感神经元定位、耦合神经元检测和正交投影抑制；前两步建立干预位置与保护对象，最后一步用于推理时修改激活。输出仍由原生成模型产生，不是先生成图片再做像素级遮挡，也不是额外训练一个图像修复模型。图 2 从文本编码侧展示层内干预；下面的稠密状态与 SAE 特征均指这一表示空间中的量，而不是最终图像像素。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Prompts["配对提示与模型激活"] --> Locate["敏感神经元定位"]
        Locate --> Detect["耦合神经元检测"]
        Detect -->|保护基与敏感集合| Project["正交投影抑制"]
        Current["推理时当前激活"] --> Project
        Project --> Generate["原生成模型继续计算"]

SAE 将稠密状态 \(h\) 编码为稀疏系数 \(z\)，每个非零系数通过对应解码向量贡献一个特征方向。敏感集合记录要干预哪些 SAE 特征，耦合集合记录哪些非敏感特征最容易受连带影响。两者的角色不同：耦合特征不是第二组需要删除的目标，而是约束擦除方向的保护对象。校准阶段得到的集合及保护基可供推理使用，而敏感方向的幅度仍由当前输入的激活决定。因此，方法不是给所有提示减去完全相同的固定向量，也没有要求推理时再输入一个人工配对的正常提示。

关键设计¶

1. 敏感神经元定位：先找到信号最突出的层，再比较稀疏特征的差异响应

层选择的依据是注意力中的目标信号，而不是任意选一个深层位置。作者先对注意力头求平均，计算敏感修饰词指向目标实体名词的平均注意力，称为敏感注意力 SA。单看 SA 可能混入提示改写造成的全局变化，所以又比较成对提示在非目标 token 上的注意力差异，得到上下文扰动 CD。敏感分数 SS 的文字定义是在提示对上平均“敏感提示的 SA 减去对应 CD”，用来突出相对于背景扰动的目标信号。随后选取 SS 全局最大的层；图 3 在当前设置下指向第 10 层，而不是第一个出现局部峰值的第 3 层。缓存中式 (1) 至式 (3) 的排版损坏，尤其 CD 的索引与范数未清晰保留，因此这里不把自行补齐的表达式写成作者原式。

选好层后，SAE 把这一层的稠密激活展开成稀疏特征，以避免直接把原始通道当作独立概念。每个特征的加权频率分数 WFS 是激活频率与平均激活幅度的乘积，兼顾“是否经常出现”与“出现时有多强”。再比较敏感提示集和非敏感提示集上的 WFS 差异，按差异从高到低选取 Top-K，构成敏感集合。这样，一个对所有人物提示都活跃的通用特征，不会仅因幅度大就被当作敏感概念的专属载体。论文式 (5) 的差号在抽取文本中缺失，但相邻文字明确把该量称为差异激活；这里只采用这一文字定义。敏感集合的 Top-K 与 SAE 编码器自身的 Top-K 稀疏门控不是同一个超参数，不能混为一谈。

2. 耦合神经元检测：通过一次临时删除，找出真正受牵连的正常特征

仅知道敏感集合还不能判断删除会伤到什么，作者因此进行一次诊断性置零消融。对于敏感提示，先得到原状态 \(h\) 和稀疏系数 \(z\)，再从 \(h\) 中减去敏感集合全部活跃特征的解码贡献。这一操作发生在稠密空间，而不是简单把稀疏数组中的几个位置改成零后就结束分析。用原文式 (6) 可写为：

\[ h' = h - \sum_{i\in\mathcal{N}_{\mathrm{sens}}} z_i w_i^{\mathrm{dec}}. \]

随后把 \(h'\) 再送入同一个 SAE 编码器，观察其他特征相对原来的激活变化。如果不同解码方向完全互不干扰，这种删除不应大量改变非目标特征；实际变化则暴露了表示中的耦合。论文将正常神经元的耦合强度定义为：在敏感提示集上，对删除前后激活的绝对差取期望。从非敏感特征中选择变化最大的 Top-k 个，形成耦合集合 \(\mathcal C\)；这里的小写 \(k\) 控制保护对象数量。需要注意，“变化大”说明它对当前删除敏感，并不自动证明这个特征有经过人工确认的独立语义标签。临时置零的目的也不是最终生成，而是建立后续投影需要的经验性保护约束。

3. 正交投影抑制：只减去不沿保护方向的敏感分量

把耦合神经元的解码向量按列收集为 \(W_{\mathcal C}\)，通过 QR 分解得到张成相同保护子空间的正交基 \(Q\)。有了正交基，\(QQ^\top\) 就把一个稠密向量投影到该保护子空间。推理时先根据当前敏感神经元的激活，合成原始敏感方向，再去掉其中落在保护子空间内的部分。原文式 (9) 至式 (10) 中清晰可辨的核心变换为：

\[ d_{\mathrm{raw}} = \sum_{i\in\mathcal{N}_{\mathrm{sens}}} z_i w_i^{\mathrm{dec}}, \qquad d^* = (I-QQ^\top)d_{\mathrm{raw}}. \]

最后从当前状态减去按强度 \(\lambda\) 缩放后的 \(d^*\)，将修改后的状态交还生成模型继续计算。这里的“梯度正交化”在具体公式中是对激活贡献向量做解析投影，不是对生成模型执行额外的梯度下降训练。可以直接推出 \(Q^\top d^*=0\)，因此这次减法不改变当前状态在所选保护基上的线性投影。这是由投影公式得到的局部性质，不应扩大成“所有正常神经元激活不变”或“完整非线性生成过程严格保持不变”。特别是，SAE 编码器方向未必等同于解码器方向，后续层也包含非线性运算；从保护解码子空间到保持图像质量仍需要实证。如果敏感方向几乎全部位于保护子空间，可删分量就会很小，说明强纠缠时擦除能力与保护约束可能发生真实冲突。

一个完整示例¶

可以用“同一人物与场景，仅目标属性不同”的提示对理解校准过程；这里是流程解释，不是新增实验样本。两条提示先帮助模型区分通用人物描述与目标属性的响应，第 10 层的差异稀疏特征成为候选敏感集合。接着临时减去这些特征的贡献，重新编码后，某些正常特征若明显变化，就进入优先保护的候选集合。推理遇到新提示时，系统不再直接执行这次诊断性删除，而是将当前敏感贡献分成沿保护空间与垂直保护空间的两部分。只缩放并减去后一部分，目标是限制目标属性，而让与前一部分相关的正常结构尽量保持。作者在缩放分析中选择 \(\lambda=3\)；这个数控制最终干预强度，不表示选了 3 个敏感神经元。

损失函数 / 训练策略¶

主实验使用 Stable Diffusion 1.4；方法需要训练辅助 Top-K SAE，不能把整个流程称为完全免训练。 SAE 扩展倍数为 4，隐藏维度为 3072，以均方误差重建损失训练。优化器为 Adam，学习率为 \(4\times10^{-4}\)，batch size 为 4096，实验硬件为单张 NVIDIA A6000。生成模型的安全干预则由解析投影与推理时激活修改完成，正文没有给出额外的生成模型微调目标。图 10 及第 14 页文字认为 \(\lambda<3\) 时仍有残留，超过 3 后语义漂移加重，因此选取 3。这主要是定性敏感性证据，不能据此认定所有模型、概念或提示都共享同一最优阈值。正文没有明确给出敏感集合 Top-K、耦合集合 Top-k 的具体取值、SAE 训练步数及完整校准数据规模，复现时仍需补齐。

实验关键数据¶

主实验¶

下表选取原文表 1（第 8 页）的代表方法：安全性使用 I2P 上 NudeNet 的检测总数，越低越好。正常生成使用 MS COCO-30K 提示，CLIP Score（CS）越高越好；FID 越低表示输出分布越接近原始 SD1.4。这里的 FID 参照是原模型生成分布，不是标准的“生成图片与 COCO 真实图片”比较；原模型的 FID 原表以缺项表示。

方法	I2P 检测总数 ↓	COCO CS ↑	相对原模型 FID ↓
SD1.4	646	31.34	—
ESD	121	30.90	16.88
UCE	186	29.92	22.87
SPM	56	31.01	16.64
SNCE	17	30.87	16.64
OrthoEraser	5	31.33	1.15

相较 SNCE，本文把检测数从 17 降至 5，同时把相对原模型的 FID 从 16.64 降至 1.15。这支持“更强擦除并非必须以更大正常分布偏移为代价”，但 5 是检测事件数，不是 5% 或经人工认证的不安全图片数。

消融实验¶

下表汇集原文表 3、表 4（第 11 页）的干预策略分析，指标设置与主实验一致；相同配置不重复列出。 “沿耦合方向抑制”与“只抑制耦合神经元”是原文分别报告的策略，不应因名称接近而合并数值。

配置	来源	I2P 检测总数 ↓	CS ↑	FID ↓
直接抑制敏感特征	表 3 / 表 4	17	30.87	16.64
沿耦合方向抑制	表 3	12	26.31	23.95
只抑制耦合神经元	表 4	604	29.95	25.86
OrthoEraser	表 3 / 表 4	5	31.33	1.15

只抑制耦合神经元几乎没有解决目标内容问题，却显著偏离原始生成分布，说明保护对象不能简单变成另一组擦除对象。表 2（第 9 页）还报告第 9、3、10 层分别得到 17、24、5 次检测，支持干预层选择的重要性。该表括号说明与实际数值不一致，第 3 层的 24 也不能对应表中所写的 −632；这里只引用检测总数，不转录这些差值。

关键发现¶

原文表 5（第 13 页）补充暴力内容检测与对抗提示评测，下表列出部分方法，所有列均为百分比且越低越好。暴力内容通过 Q16 评估，P4D 与 Ring-A-Bell 列报告攻击成功率（ASR）。

方法	I2P Violence ↓	P4D ASR ↓	Ring-A-Bell ASR ↓
SD1.4	40.1	98.7	83.1
RECE	14.2	64.7	13.4
SNCE	17.7	42.6	6.3
OrthoEraser	15.6	34.6	2.7

本文在两个攻击评测上优于表中这些对照，但暴力内容一列不优于 RECE 的 14.2%，不能概括为所有安全指标最优。第 13 页正文把两个攻击数据集的原模型基线 98.7% 与 83.1% 对调；本笔记按表 5 列标题列数，同时保留这一冲突说明。图 5、图 6 及第 10 至 11 页文字报告随机抑制为 598 次检测、目标特征增强为 691 次，支持定位到的特征确实参与目标内容生成。第 14 页跨模型分析报告 FLUX.1 Dev、AltDiffusion、Show-o2 分别减少 213、183、76 次检测，CS 下降范围为 0.02 至 0.03；这些是减少量，不是最终检测数。

亮点与洞察¶

把干预后的重新编码当作诊断工具，比仅比较静态相关性更贴近“删除这个方向会伤到谁”的问题；它为保护集合提供了可操作的选择依据。
保护的是有限子空间而非整个模型，因而正交约束可以用 QR 分解实现；这使安全干预具有可检查的局部代数性质。
擦除向量按当前激活组合，而保护基来自校准阶段，两者分工清楚；方法不需要为每个新提示重新训练生成模型。

局限与展望¶

局部正交不保证全局语义不变，也不保证编码器特征不变；应增加层间传播与编码器响应分析，检验解码空间保护能保持到哪一步。
保护集合依赖校准提示和 Top-k，正文没有充分报告其覆盖率及秩敏感性；分布外概念可能牵连未被选中的正常特征。
P4D ASR 仍为 34.6%，因此这是有限评测下的风险降低，而不是不可绕过或永久遗忘的证明。
FID 主要说明接近原模型，不说明原模型本身的生成质量或偏差已改善；还需要人工评估、重复试验与不确定性报告。
上述复现缺口与数学边界是阅读者分析；作者的结论主要强调安全性与保真性的经验折中，并未单列系统性的局限章节。

评分¶

新颖性：4/5。把耦合检测与解析投影结合，明确补上了敏感特征定位之后的保护问题。
实验充分度：4/5。主结果、干预消融与跨模型评测较完整，但超参数细节、不确定性和运行开销报告不足。
写作质量：3/5。主线清楚，表格与正文存在数字对应冲突，部分强保持性措辞超出局部推导范围。
价值：4/5。适合研究图像生成中的低附带损伤概念擦除，不应被当作完整部署安全保证。