Achieving Subcategorical Erasure in Text-to-Image Models¶

会议: ECCV 2026
作者: Pranav Singh Chib、Pravendra Singh
Paper: https://eccv.ecva.net/virtual/2026/poster/4524
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6326.pdf
领域: 图像生成 / 扩散模型 / 概念擦除
关键词: 子类别遗忘、中性概念保留、对抗式概念检索、Lipschitz 正则

一句话总结¶

SURE 用单个父类标签启动概念擦除，将父类与检索到的相关子概念映射到空提示，同时保留中性预测并约束局部潜空间变化，在 Guns 测试中将子类残留检测率降至 10.00%，但并未证明所有子类都被完全遗忘。

研究背景与动机¶

文生图模型的概念擦除通常通过微调来减少指定内容的生成，不必从头训练模型。然而，删去一个名称对应的生成能力，不等于删去它涵盖的所有细分概念。训练只指定一个父类，评测却改用具体子类名称时，模型仍可能生成目标内容。论文依据 WordNet 3.1 的上下位关系区分类别与子类别：例如 flower 是父类，rose、tulip、daisy 是子类；同义词覆盖和上下位语义覆盖并不是同一件事。

逐个罗列子类可以把问题改写成多概念擦除，但列表可能很长，也未必完整。另一方面，擦除越强，模型越容易连带损失无关内容的生成能力。显式保存大量无关图文对也不理想，因为预训练模型覆盖的语义范围远大于任何手工保留集。本文想要同时减少两种人工枚举：用户不必列出全部待删子类，也不必列出全部应当保留的类别。

SURE 因而把中性条件作为共同参照：需要遗忘的预测向它靠拢，而中性条件本身尽量维持原模型行为；再用对抗检索和局部平滑扩大单个父类标签的作用范围。核心 idea：把父类擦除扩展为“发现仍未被中性化的相关概念，并平滑目标附近的生成响应”，同时用原模型的空提示预测约束整体漂移。

方法详解¶

整体框架¶

SURE 的输入是预训练扩散模型、一个待擦除父类标签和候选概念空间，输出是更新后的擦除模型。原模型提供参照噪声预测，更新模型接受四项约束：父类中性映射、中性预测保留、对抗式子概念检索对应的擦除目标，以及 Lipschitz 局部平滑。

这不是先训练四个独立模型再串联推理，而是在微调中让四种信号共同约束同一个模型。下图展示各约束的依赖关系；检索侧寻找当前仍偏离中性输出的候选，擦除侧则缩小这种偏离。平滑分支从目标条件生成的图像出发，经扰动与固定 VAE 编码获得正则信号。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["父类标签、原模型<br/>与候选概念空间"] --> Erase["父类中性映射"]
    Input --> Preserve["中性预测保留"]
    Erase --> Retrieve["对抗式子概念检索"]
    Erase --> Smooth["Lipschitz 局部平滑"]
    Preserve --> Update["联合更新擦除模型"]
    Retrieve --> Update
    Smooth --> Update
    Update --> Output["子类残留与无关能力评测"]

关键设计¶

1. 父类中性映射：让目标条件接近原模型的空提示预测

单纯要求模型“不要生成这个类别”没有明确的学习方向。SURE 为它指定一个中性终点：实现中采用空字符串作为中性概念，在相同扩散状态和时间步下，让更新模型在父类条件下的噪声预测接近原模型在空提示下的预测。这是论文的第一项损失，使用两者的平方 L2 距离。

这里被对齐的是去噪网络的预测，不是把最终图片像素替换为空白，也不是仅在用户输入中删除关键词。空提示代表原模型不受该目标文本条件引导时的行为，因此学习目标是削弱父类特有的生成方向。原模型充当参照，避免模型自己改变“中性”的含义后仍轻易满足擦除目标。

2. 中性预测保留：用固定参照限制无关生成能力漂移

只有父类映射损失时，优化可以通过广泛改变模型输出来达到目标，非目标类别也可能受损。SURE 的第二项损失比较原模型和更新模型在同一个空提示条件下的噪声预测，要求更新后的中性行为维持原状。它和第一项损失的差别在于：第一项比较“新模型的父类”与“旧模型的空提示”，第二项比较“两模型的空提示”。

这种做法省去了显式枚举大量保留类别的步骤，用一个共享中性参照约束参数更新。它是降低分布漂移的实用正则，不是所有非目标概念都被保留的数学保证。因此，论文仍需用无关类别检测率、COCO 图像分布指标和未擦除艺术家风格相似度检查保留效果，不能把空提示损失低直接等同于全局能力不变。

3. 对抗式子概念检索：找出最难被当前擦除模型中性化的候选

父类标签只提供一个入口，不能自动列出所有子类。SURE 在待擦除集合之外的候选概念空间中，搜索当前更新模型输出与原模型中性输出差异较大的相关概念。检索变量要最大化这项距离；模型参数更新则最小化同一候选对应的距离，把搜索找到的残留生成方向也推向中性。这两个方向分别作用于候选选择和模型参数，不能混写成模型同时最大化、最小化同一个目标。

为了让离散候选选择参与优化，论文学习嵌入分布并使用低温 Gumbel-Softmax 近似硬选择。直觉上，优先追踪一个最难处理的候选，比把多个候选平均后得到一个较弱的擦除信号更直接；表 5 也支持其优于若干替代算子的经验结论。不过，单个父类作为用户输入不等于方法没有候选空间依赖：主文没有完整交代候选库构造、相关性约束和搜索日程，不能据最大距离目标推断它一定找回所有真正的下位词。

4. Lipschitz 局部平滑：减少目标图像附近的潜表示变化

只对若干文本条件做映射，仍可能留下局部生成变体。SURE 对目标类别条件生成的图像加入小幅高斯噪声，再将原图和扰动图送入第一阶段 VAE 编码器，比较两者潜表示的变化相对于输入扰动大小的比例，并对多次扰动采样求估计。减少这个比例，就是约束目标附近的局部敏感度，使擦除不只落在单个精确输入上。

这里的扰动施加在图像上，不是对提示词替换同义词；相似潜表示也不等于列举了语义树中的全部子类。论文说明 VAE 编码器作为固定映射处理，但缓存没有补充材料，主文对采样链路和梯度传播细节的描述不足以完整复现实现。局部平滑本身也不知道什么内容应被删去，必须与中性映射联合使用，否则模型可能只是对扰动不敏感，却仍保留目标生成能力。

一个完整示例¶

以论文的 Musical Instruments 为例，微调时用户只指定这个父类，不显式提交 Trumpet、Guitar、Drums、Saxophone、Piano 五个评测子类。模型先学习让父类条件的去噪预测接近原模型空提示，同时保留新模型的空提示预测；候选检索再寻找当前仍明显偏离中性的相关概念，将其加入擦除约束；图像扰动分支则抑制目标附近的局部敏感度。

评测时用这五个子类各 50 条提示，共 250 条，检查目标是否仍出现；另用 CIFAR-10 的十个非目标类别检查连带影响。SURE 在该父类上的残留检测率为 8.40%，非目标准确率为 66.40%。这说明评测中的子类生成明显受到抑制，而不是证明训练过程显式找到了这五个名称，更不是零残留。

损失函数 / 训练策略¶

联合目标包含父类映射损失、中性保留损失、相关概念擦除损失和 Lipschitz 正则。前三项的比较对象和优化方向如上；为避免把缓存中损坏的公式符号误抄成正式推导，这里不重建原文式 (5) 至式 (9) 的完整表达式，也不补写未知系数、优化器或训练步数。

Guns 消融中的最佳已测配置使用 5 个扰动样本、高斯噪声标准差 0.10、Lipschitz 正则强度 0.01，以及 Gumbel-Softmax。它们是该测试下的经验配置，不是所有类别的通用最优值。样本数从 1、3、5 增至 7 时效果并不单调；原文把大样本数退化解释为过度平滑，但它同时把该项描述为期望的 Monte Carlo 估计，实际归一化和权重实现仍需补充材料或代码核查。

实验关键数据¶

主实验¶

物体评测包含四个父类，每类五个子类、每子类 50 条提示。保留集用 CIFAR-10 十个非目标类别，每类 50 条改写提示。GroundingDINO 衡量目标是否出现在图像中：\(\mathrm{Acc}_E\) 是目标子类残留检测百分比，越低越好；\(\mathrm{Acc}_L\) 是非目标准确率，越高越好。论文用以下调和平均汇总擦除与保留，指标以百分数计：

\[ H=\frac{2(100-\mathrm{Acc}_E)\mathrm{Acc}_L}{(100-\mathrm{Acc}_E)+\mathrm{Acc}_L}. \]

下表节选原文表 1，保留统一的 ESD 参照和 SURE；不是只挑每列最弱基线。\(H\) 按原表保留其舍入结果。

父类	方法	AccE，低为好	AccL，高为好	H，高为好
Guns	ESD	52.80	66.20	55.11
Guns	SURE	10.00	67.20	76.94
Blade Weapons	ESD	18.80	68.60	74.37
Blade Weapons	SURE	2.40	64.60	77.74
Musical Instruments	ESD	51.60	68.80	56.82
Musical Instruments	SURE	8.40	66.40	76.99
Toys	ESD	49.20	66.20	57.48
Toys	SURE	14.80	66.40	74.63

消融与敏感性分析¶

以下数据来自原文表 4 至表 7，均为 Guns 测试。不同分组是各自的消融或超参数扫描，不能把跨组行解释为累积删除组件。

分组	配置	AccE，低为好	AccL，高为好
完整配置	SURE	10.00	67.20
组件消融	去掉 Lipschitz	25.20	65.80
组件消融	去掉保留损失	30.00	64.80
扰动样本数	n = 1	19.60	65.40
扰动样本数	n = 3	30.40	67.00
扰动样本数	n = 7	27.60	66.60
检索算子	Straight-Through Estimator	44.80	67.20
检索算子	Entmax	38.40	67.00
检索算子	Sparsemax	46.80	64.20
扰动标准差	sigma = 0.01	20.00	63.60
扰动标准差	sigma = 0.30	11.20	65.00
正则强度	lambda = 0.1	41.60	66.40
正则强度	lambda = 1	22.32	65.80

跨任务分析¶

风格实验基于 Stable Diffusion v1.4，指定五个艺术家名称，用详细提示与五个随机种子为每位艺术家生成 200 张图。下表节选原文表 3：目标 CLIP 越低表示与目标提示越不相似；目标 LPIPS 越高表示相较原模型图片变化越大；保留 CLIP 越高表示未删除艺术家上的提示一致性越好。LPIPS 高不能单独证明视觉质量更高。

方法	目标 CLIP，低为好	目标 LPIPS，高为好	保留 CLIP，高为好
ESD	23.56 ± 4.73	0.72 ± 0.11	29.63 ± 3.57
MACE	27.96 ± 4.22	0.60 ± 0.10	31.52 ± 2.91
AP	21.57 ± 5.46	0.78 ± 0.10	30.13 ± 3.44
SURE	18.02 ± 5.96	0.85 ± 0.10	30.91 ± 3.45

论文另在 I2P 的 4,703 条提示上评测内容安全擦除，使用检测器阈值化的暴露率作为残留指标；在 COCO-30K 上测得 SURE 的 FID 为 14.02，AGE 为 14.20。该实验说明方法也被用于物体类别之外，但与 WordNet 子类评测的任务定义不同，不应视作同一种泛化证据。

关键发现¶

主表四个父类的最高 H 均来自 SURE，但保留能力不是逐项最优：Blade Weapons 的 AccL 从 ESD 的 68.60 降到 64.60。提高的是综合折中，不是擦除和保留两项都严格占优。
去掉 Lipschitz 后 AccE 上升 15.20 个百分点，去掉保留损失上升 20.00 个百分点。保留约束也帮助擦除，可能通过稳定参照与优化减少漂移；消融没有证明唯一因果机制。
检索算子与正则强度影响很大。原文正文部分“相对提升”数字无法按常规基线相对变化从表格复得，本笔记不沿用这些百分比，只引用表格值和明确的百分点差。

亮点与洞察¶

评测从“删除指定名称”转向“能否覆盖其子类”。这迫使方法面对语义覆盖问题，而不只是适应某一个训练词。
中性预测同时承担擦除终点和保留参照，但两项约束比较的条件不同。这种对照关系比笼统的“加一个保留正则”更值得迁移到其他模型编辑任务。
对抗式候选检索和图像局部平滑处理不同层面的残留：前者追踪概念条件，后者约束输入邻域。二者是互补的经验机制，不能互相替代成语义完备性证明。

局限与展望¶

作者在结论中将进一步增强非目标保留作为未来工作。现有表格也显示，综合指标领先不意味着每个保留指标都最好。
本笔记的评估：四个父类、每类五个子类不足以支撑“任意父类的全部子类均被删除”；目标残留率非零，检测器本身也会有漏检和误检。需要更深的层级、更多长尾子类及人工核验。
候选概念空间的来源、相关性限制、搜索更新细节，以及固定 VAE 下正则信号的梯度路径，不能仅凭当前主文缓存完整还原。补充材料提到的 Stable Diffusion 2 和多子类实验未包含在此缓存中，因而不报告其结果。
风格 CLIP 下降和 LPIPS 上升可能混入内容偏离或一般性图像改变；它们不是专门隔离风格身份的完美指标。后续可增加内容保持评估、盲评和跨随机种子的置信区间。
目前只能把 Lipschitz 项视为基于有限扰动的局部平滑正则，不能推断全局 Lipschitz 界、不可恢复遗忘或完整对抗鲁棒性。更明确的梯度实现与严格攻击评测是合理后续方向。

评分¶

新颖性: 4/5。父类驱动的子类擦除目标有价值，方法主要是已有中性映射、对抗检索和局部正则的针对性组合。
实验充分度: 3/5。覆盖三类任务且有多组消融，但类别范围、检测器依赖及缺少完整实现细节限制结论强度。
写作质量: 3/5。任务动机和模块分工清楚，部分提升数字与平滑解释需要审慎核查；缓存公式损坏另属材料可读性问题。
价值: 4/5。适合作为层级语义遗忘与擦除保留折中研究的基线，不宜直接当作完全删除或部署安全保证。