CGCE: Classifier-Guided Concept Erasure in Generative Models¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4668
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6950.pdf
作者: Viet Nguyen, Vishal M. Patel
项目: https://viettmab.github.io/cgce-page/
领域: 图像生成
关键词: 概念擦除、文本嵌入、分类器引导、效用保留、跨模型防护

一句话总结¶

CGCE 把概念擦除放在生成器之前：学习一个概念条件分类器，仅对被检出的文本嵌入做加权梯度修正，在不改生成器权重的情况下，将 SD-v1.4 上 MMAD 的攻击成功率从 63.60% 降至 1.90%，并保留接近原模型的通用生成效用。

研究背景与动机¶

概念擦除要求生成器不再输出指定内容，同时尽量保持其他生成能力。直接微调或编辑生成器权重可以改变模型行为，却也可能牵连无关概念；在采样阶段引入额外引导则受生成架构约束，例如依赖负向提示或标准无分类器引导的方案，不容易直接迁移到 FLUX 或视觉自回归模型。因此，本文关注的是一种前置防护接口，而不是重新训练每一种图像、视频生成器。

文本嵌入看似是统一接口，但在这个接口上做简单线性投影也有问题。SAFREE 根据词元与目标子空间的关系筛选并投影词元；本文认为，这种做法在 T5 中更容易漏掉分散于上下文的概念信息。表面上不含目标词的词元，也可能通过双向注意力携带目标语义。论文进一步比较了去掉负向提示的 SAFREE，提醒读者区分“嵌入处理有效”与“后续采样机制帮忙抑制了内容”，不能把两者的效果混为一谈。

CGCE 的切入点不是寻找一个所有编码器都适用的固定擦除方向，而是从有无目标概念的成对提示中学习可微判别边界，再利用这个边界修正输入。核心 idea：让同一个概念分类器既负责判断哪些提示需要处理，又提供词元级重要性与梯度，使擦除发生在文本条件上，而非生成器参数中。

方法详解¶

整体框架¶

输入是一条用户提示及一个指定待擦除概念，输出是交给原生成器的文本嵌入。离线阶段先构造语义相近、仅在目标概念上有差异的提示对，再训练概念条件分类器；在线阶段，分类器对提示嵌入打分，通过检测的嵌入直接放行，被检出的嵌入则经过词元加权修正。

整个流程由“成对提示构建”“概念条件分类器”“词元加权修正”串联。图中的生成器不参与分类器训练，也不在修正时更新权重；所谓即插即用，是在兼容的文本嵌入接口上接入防护，不是一个分类器可以不加适配地处理任意编码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对提示构建"] --> B["概念条件分类器"]
    P["提示与目标概念<br/>文本编码"] --> B
    B -->|未检出| G["冻结生成器<br/>图像或视频"]
    B -->|检出| C["词元加权修正"]
    C -->|重新评分| B
    C -->|达到步数上限| G

关键设计¶

1. 成对提示构建：让分类边界围绕目标概念，而非无关场景划分

如果正负提示来自完全不同的场景，分类器很容易把背景、人物或物体类别当作判断依据。CGCE 因而让大语言模型生成成对样本：一条包含待擦除概念，另一条尽量保留相同内容但移除该概念，并覆盖不同场景。每项任务使用 1000 对提示，不需要先用生成器合成训练图像，训练成本集中在文本数据及轻量分类器上。

这种配对首先是一种数据构造约束，而不是额外的成对损失：训练时仍把两条提示分别标记为包含或不包含概念，用二元分类目标监督。它希望分类器把“场景仍相近、目标概念发生变化”学成判别信号，但不能保证合成数据覆盖所有隐含表达或分布外输入。

2. 概念条件分类器：保留词元级关联，再聚合成整句判断

用户提示和目标概念都经过文本编码器，得到各自的词元嵌入，再投影到较低维空间。交叉注意力以提示词元为查询，以概念词元为键和值；因此，每个提示词元都能得到它与目标概念的关联，而不是只用一个概念查询把整句压成一个向量。这个方向选择既服务于检测，也为后面的局部修正保留依据。

设交叉注意力权重为 \(A\)，分类器取每个提示词元对所有概念词元的最大注意力权重作为重要性分数 \(s_i=\max_j A_{ij}\)。随后对这些分数做 softmax，用所得权重汇聚交叉注意力输出，再经过 MLP 与 sigmoid 产生整句概念概率。这里需要区分两个用途：分类汇聚用归一化后的权重，下一步梯度加权使用论文定义的词元重要性分数 \(s\)。

默认检测阈值为 \(\tau=0.5\)。概率没有超过阈值时，原嵌入原样交给生成器；这条旁路解释了为什么方法可以保留许多正常提示的输出，但“不修改被判为正常的提示”并不等于“所有正常提示都不会受影响”。论文在 COCO-30K 上报告的误报率分别为 CLIP-L/14 的 7.18% 和 T5-XXL 的 11.32%，误报样本仍会进入修正流程。

3. 词元加权修正：沿分类器梯度改变条件，而不更新生成模型

当分类器检出目标概念，CGCE 固定分类器和生成器参数，把提示嵌入本身作为优化变量。它先计算概念概率对嵌入的梯度，再按词元重要性加权，使与目标概念关联较强的位置获得更强的更新。与直接对所有位置使用原始梯度相比，这一步旨在减少对无关语义的干扰；重要性不是硬掩码，因此也不意味着其他词元绝对不变。

随后，方法用嵌入范数与加权梯度范数之比缩放更新，使更新量相对于当前嵌入幅度受控，而不是由原始梯度大小独自决定。下式依据正文对式 (3) 的说明重排；本地文本抽取中的原公式排版损坏，具体符号以原论文为准：

\[ g^{(k)}=s^{(k)}\odot\nabla_{\varepsilon^{(k)}}f_\theta(\varepsilon^{(k)},\varepsilon_c),\qquad \varepsilon^{(k+1)}=\varepsilon^{(k)}-\eta\frac{\|\varepsilon^{(k)}\|_2}{\|g^{(k)}\|_2}g^{(k)}. \]

其中，\(\varepsilon^{(k)}\) 是当前提示嵌入，\(\varepsilon_c\) 是固定目标概念嵌入，\(\eta\) 控制修正强度，\(\odot\) 表示按词元广播的逐元素乘法。每次更新后重新评估，直到分类概率低于阈值或达到步数上限，再把最终嵌入送入生成器。论文称通常只需一两次更新，但当前缓存没有附录中的完整算法，不能据此补写统一的最大迭代次数或数值稳定项。

这一机制不依赖扩散去噪内部结构，也不需要生成图像后再做优化，因此可以接入图像与视频模型。作者分别讨论 CLIP、T5 嵌入上的分类器复用；可迁移性的关键是文本表示接口兼容，而不是删除了基础模型内部的概念知识。移除这个前置模块后，原生成器能力仍然存在。

一个完整示例¶

以论文测试的“church”概念擦除为例：离线构造包含目标物体及不包含该物体、其余场景相近的提示对，训练分类器。在线输入一条建筑场景提示后，文本编码器产生嵌入，分类器结合目标概念计算概率与各词元的重要性。

若概率不超过 0.5，生成器收到的仍是原嵌入；否则按重要性加权梯度，并使用该任务在 SD-v1.4 上的步长 0.5 迭代修正。重新评分达到停止条件后，原生成器利用修正后的条件生成图像。这是机制示例，不预设最终图像一定变成某种具体建筑，也不把检测通过当作真实擦除必然成功的证明。

损失函数 / 训练策略¶

分类器使用二元交叉熵，包含目标概念的提示标为 1，对应不含目标概念的提示标为 0。低维投影、交叉注意力与最终分类层共同训练；文本编码器提供嵌入，生成器权重保持不变。这里的“无需修改生成器权重”不能简写成“完全无需训练”。

每项任务采用 1000 对合成提示，Adam 训练 10 个 epoch，学习率为 \(10^{-4}\)，批量大小为 32。SD-v1.4 上，内容安全、艺术风格、物体三种擦除任务的修正步长分别为 1.0、0.15、0.5，不能把其中一个值视为跨任务通用默认值。

实验关键数据¶

主实验¶

主表使用 SD-v1.4，报告内容安全概念擦除。ASR 是攻击后仍生成目标内容的比例，越低越好；该任务采用阈值 0.45 的 NudeNet 检测结果判定。COCO-30K 的 FID 越低越好，CLIP Score 越高越好，两者衡量通用生成效用而非擦除率。以下摘录原表 2 中最能体现折中的对照，不把不同基准上的 ASR 当成同一难度的测试。

方法	I2P ASR ↓ (%)	SixCD ASR ↓ (%)	P4D ASR ↓ (%)	RAB ASR ↓ (%)	MMAD ASR ↓ (%)	UDA ASR ↓ (%)	FID ↓	CLIP ↑
原始 SD-v1.4	36.41	82.13	75.74	97.19	63.60	97.18	16.79	31.31
STEREO	0.75	4.74	5.15	4.21	7.90	28.17	17.98	30.16
SLD-Max	15.68	46.46	40.81	64.21	35.60	21.83	26.63	29.20
SAFREE	12.35	39.18	48.90	74.74	44.70	80.99	19.55	30.69
CGCE	4.62	2.47	4.41	3.87	1.90	27.46	16.10	31.03

CGCE 在 SixCD、P4D、RAB、MMAD 四项上最优，但并非全面第一：I2P 上 STEREO 更低，UDA 上 SLD-Max 更低。相较 STEREO，CGCE 的 MMAD ASR 低 6.00 个百分点，FID 从 17.98 改善至 16.10，CLIP 从 30.16 提高至 31.03；这支持的是更好的总体折中，不是每个攻击下都更强。

艺术风格擦除进一步检查是否影响其他风格。论文定义 \(\mathrm{LPIPS}_d=\mathrm{LPIPS}_e-\mathrm{LPIPS}_u\)：前者衡量被擦除风格相对原 SD 输出的变化，后者衡量未擦除风格的变化。CGCE 的三项值分别为 0.43、0.00、0.43，普通风格测试 ASR 为 0.00%；但在 UDA 下，Van Gogh 风格 ASR 仍为 24.00%，church 物体 ASR 为 16.00%，不能把普通测试的零值解释为不可恢复的擦除。

跨架构结果中，FLUX 的 RAB ASR 从 97.19% 降至 0.70%，SAFREE 为 87.89%。视频采用“被检出目标内容的帧数除以全部生成帧数”的帧级 ASR，而不是整段视频失败率：Hunyuan 在 Gen 上原始值为 59.87%，T2VU 为 9.18%，CGCE 为 6.53%。这些结果支持接口迁移能力，但图像 ASR 与视频帧级 ASR 不能直接横向比较。

消融实验¶

以下来自原表 7、8，均在 SD-v1.4 内容安全任务上进行。前两行隔离词元重要性的作用；后两行展示步长取值带来的变化，不能当作另一个独立模块的增益。

配置	P4D ASR ↓ (%)	RAB ASR ↓ (%)	MMAD ASR ↓ (%)	FID ↓	CLIP ↑
不用词元重要性	6.99	5.26	2.20	16.67	30.99
完整模型，步长 1.0	4.41	3.87	1.90	16.10	31.03
完整模型，步长 0.5	11.03	13.68	5.50	16.61	31.23
完整模型，步长 1.5	1.10	0.00	0.10	16.96	30.64

关键发现¶

词元加权不是单纯提高擦除强度：去掉它后，UDA ASR 从 27.46% 升至 40.14%，同时 FID 和 CLIP 均变差，说明定位更新位置有助于兼顾擦除与效用。
更大的步长不总是更好。1.5 的步长把 RAB ASR 降为 0.00%，但相较 1.0，FID 从 16.10 升至 16.96，CLIP 从 31.03 降至 30.64。
检测阈值相对不敏感，但不是结果完全相同：原表 9 将阈值从 0.25 改到 0.75 时，I2P ASR 从 4.62% 变为 4.73%，SixCD 从 2.28% 变为 2.67%。

亮点与洞察¶

同一个分类器同时承担检测、词元关联建模与修正方向计算，避免再训练一个嵌入重写器。交叉注意力方向之所以重要，正是因为它必须为后续更新保留提示词元级信息。
旁路机制把“保留原能力”落实为具体操作：未检出时不修改嵌入。它比只报告平均质量更易解释，但实际保护范围仍由分类器的误报、漏报决定。
把干预放在文本接口上，使扩散模型、视觉自回归模型和视频模型共享同一种处理思路。实验的价值在于检验不同生成后端，而不是声称内部表征已经被永久遗忘。

局限与展望¶

概念擦除并不彻底：UDA 下仍有较高残余 ASR，分类器低分也不是输出安全的形式化保证。该方法应被理解为前置防护，而非已证明不可绕过的遗忘。
正常提示也可能被误报并修改，尤其 T5-XXL 的 COCO-30K 误报率为 11.32%。“保留效用”有实测支持，但不等同于每条正常提示都保持原输出。
当前证据主要覆盖每个任务的单一目标概念，以及列出的攻击和生成器；不能外推为任意概念组合、任何编码器或所有新攻击下都有效。视频部分侧重帧级安全检测，没有同等充分的时间一致性与效用量化。
本地缓存包含完整正文与参考文献，但没有正文提及的附录，式 (1) 至式 (3) 的文本抽取也存在损坏。因此分类器具体宽度、注意力头数、迭代上限与端到端耗时无法在此核实，部署复现仍需完整实现或附录。

评分¶

新颖性: 4/5。把概念条件检测、词元重要性和梯度修正连成同一前置模块，设计有清晰针对性，但组件本身较成熟。
实验充分度: 4/5。覆盖多种攻击、生成架构与关键消融，仍欠缺当前缓存可核实的效率和视频效用细节。
写作质量: 4/5。方法动机与消融对应明确，但“安全提示不变”需要结合误报率理解，公式抽取损坏影响离线复核。
价值: 4/5。对不便修改生成器权重的场景有实用意义，残余攻击成功率要求保留审慎的部署边界。