EMMA: Concept Erasure Benchmark with Comprehensive Semantic Metrics and Diverse Categories¶

会议: CVPR 2026
arXiv: 2512.17320
代码: https://github.com/lobsterlulu/EMMA
领域: 扩散模型 / AI安全
关键词: 概念擦除, 文本到图像生成, 基准测试, 隐式提示, 偏见评估

一句话总结¶

提出 EMMA 基准，从五个维度（擦除能力、保留能力、效率、质量、偏见）共 12 个指标系统评估 T2I 模型的概念擦除方法，覆盖 206 个概念类别和 5 个领域，首次揭示现有方法在隐式提示下的浅层擦除本质和偏见放大问题。

研究背景与动机¶

领域现状：文本到图像（T2I）生成模型（如 Stable Diffusion）的广泛采用引发了隐私、偏见和版权问题。概念擦除（Concept Erasure）作为一种轻量级解决方案被提出，它通过选择性地从预训练模型中删除不需要的概念（如特定名人脸、NSFW 内容、版权品牌），无需完全重新训练模型。

现有痛点：当前概念擦除方法的评估存在严重不足——(1) 概念覆盖范围窄，多数方法仅在 5-20 个概念上测试；(2) 评测维度单一，主要使用包含目标概念显式名称的直接提示（如"a photo of a dog"）来检验擦除效果；(3) 缺乏对偏见影响的评估。这导致我们无法知道这些方法是否真正从模型表征中删除了目标概念，还是仅仅切断了概念名称与生成结果之间的表面关联。

核心矛盾：现有评估只检测了"是否能用名字生成目标概念"，而忽略了"是否能用间接描述（如描述性文字）来绕过擦除"。实验证明，即使概念名称被成功擦除，模型仍然可以通过描述性提示生成该概念，说明概念的语义表征并未被真正删除。

本文目标：构建一个全面的概念擦除评估基准，回答关键问题——现有评测方法是在检测概念是否真正从模型表征中移除，还是仅仅检测其表面级别的隐藏？

切入角度：设计多层次、多粒度的测试提示（从显式名称到隐式描述），结合视觉相似概念的保留测试和社会偏见分析，构建 5 维度 12 指标的综合评估体系。

核心 idea：通过隐式提示（不使用概念名称的描述性提示）来测试概念是否被真正擦除，同时评测擦除对相似概念的附带损害和对性别/种族偏见的影响。

方法详解¶

整体框架¶

EMMA 要回答一个被以往评估忽略的问题：概念擦除究竟是把目标概念从模型表征里删掉了，还是只切断了"概念名称→生成结果"的表面关联。为此它由两块拼成。一块是概念与类别体系，覆盖物体、名人、艺术风格、NSFW、版权五个领域共 206 个概念类别，规模远超以往方法常用的 5–20 个；另一块是评估维度与指标体系，把擦除能力、保留能力、效率、质量、偏见五个维度拆成 12 个指标。运行时，对每个"概念 × 指标"的组合，EMMA 先按该指标的设计造一组测试提示，让被评测模型生成图像，再用领域专用的分类器判定目标概念是否还出现在图里，最后把命中率折算成分数。整套流程的关键不在生成本身，而在提示怎么造——它决定了你测的是浅层映射还是深层表征。

关键设计¶

1. 多层次擦除能力评估（Erasing Ability, EA）：从显式名称到隐式描述递进测真实删除深度

以往评估几乎只用一种提示——带概念名字的直接提示（如 "a photo of a dog"），于是只能验证"用名字能不能召回目标概念"。但擦除方法若只是切断了"名称→生成"的映射、没动语义表征，模型完全可以绕过名字、用描述性文字把概念重新画出来。EA 把测试提示按显式程度排成五档逐级逼近：Name 直接用概念名；Prefix 在名字前加修饰词（如 "cute dog"）；Variant 换同义词或别名（如用 kitten 代 cat）；Short 用一句简短描述替掉名字（如 "a loyal companion with a wagging tail"）；Long 则用一整段详细描述。每一档都算成功擦除图像占提示总数的比例 \(S_{EA} = N_{SE} / N_P\)。Name 档高、Long 档却塌下来，正好暴露擦除停在了名称这一层、并没碰到底层语义。

2. 视觉相似概念保留测试（Retaining Ability, RA）：用最像的邻居概念逼出附带损害

一个干净的擦除应当只删目标概念、不殃及其他概念，可旧评估常拿完全无关的概念做保留测试——擦掉"猫"后去测"飞机"，几乎测不出问题，因为风马牛不相及的概念本就不共享表征。RA 把保留测试分成两个难度：Random 从同领域随机抽非目标概念，确认模型基本功能没坏；Similar 则专挑与被擦概念视觉上最像的 5 个邻居（由 ChatGPT 给出候选），看擦除有没有顺手把它们也削弱了。两者都按成功保留图像占提示数的比例计分。擦掉"自行车"后还能不能正常画"摩托车"，才是真正有区分度的考验，而 Similar 这一档正是为此设计。

3. 社会偏见分析（Bias Evaluation）：量化擦除对人物生成中性别与种族倾向的扰动

参数高效的擦除会改权重，而改权重可能无意间挪动模型在人物生成上的偏见倾向，这一点几乎没人量化过。做法是同时造中性提示（如 "a person"）和属性特定提示（如 "a man"/"a woman"/"a Black person"），看擦除前后中性提示生成的图更"靠近"哪个属性组。用 CLIP 和 SSIM 度量中性图与各属性组图、以及与参考图之间的相似度差：

\[B_a^M = \frac{1}{N}\sum_i \left[ f_{sim}(I_n^M(i), I_{ref}^M(i)) - f_{sim}(I_n^M(i), I_a^M(i)) \right]\]

若擦掉某概念后中性提示明显偏向某性别或种族，就说明这次擦除引入了偏见——在实际部署里这是不能忽视的副作用。

损失函数 / 训练策略¶

EMMA 是评测基准，不涉及训练。评估的 5 种概念擦除方法分两类：(1) 概念重映射（MACE、ESD、UCE）：修改交叉注意力权重，将目标概念映射到替代概念；(2) 优化方法（CA、FMN）：通过迭代微调使模型忽略目标概念。

实验关键数据¶

主实验（物体领域，部分数据）¶

方法	Name EA↑	Long EA↑	Random RA↑	Similar RA↑	FID↓
SD v1.4 原始	5.7	23.2	94.4	94.5	42.85
+CA	16.5	21.2	94.4	94.2	45.04
+ESD	89.7	61.7	87.8	74.6	34.81
+UCE	82.6	73.8	93.4	86.0	34.64
+MACE	98.6	70.5	91.6	79.4	43.90

概念擦除方法在名人领域的表现¶

方法	Name EA↑	Short EA↑	Long EA↑	Random RA↑	Similar RA↑
+CA	71.0	90.7	89.2	89.6	87.2
+ESD	96.8	99.2	97.9	78.1	68.6
+UCE	99.7	99.7	99.7	86.6	81.4
+MACE	97.3	97.9	97.6	89.9	89.5

关键发现¶

概念重映射方法全面优于优化方法：ESD、UCE、MACE 在 EA 和 RA 上都大幅领先 CA 和 FMN。FMN 在物体领域的擦除效果几乎等于未擦除的原始模型
隐式提示下擦除效果大幅下降：MACE 在物体领域的 EA 从 Name 的 98.6% 降至 Long 的 70.5%，说明被"擦除"的概念在描述性提示下会重新出现
相似概念保留更困难：所有方法在保留视觉相似概念时表现显著差于保留随机概念，如 MACE 在物体领域的 RA 从 Random 的 91.6% 降至 Similar 的 79.4%
推理效率代价巨大：所有方法的推理时间比原始模型增加 2-10 倍
ESD 一致性地放大性别和种族偏见，FMN 是唯一能缓解偏见的方法（可能因其基础模型 SD 2.1 本身偏见更重）

亮点与洞察¶

隐式提示测试的引入开创性地揭示了概念擦除的浅层本质：这是本文最重要的贡献。证明现有方法只是切断了"名称→生成"的映射而非删除语义表征，这对安全性声明是严重挑战
视觉相似概念的保留测试：比随机概念的保留测试更具挑战性和实用意义。擦除"自行车"后无法生成"摩托车"在实际应用中是不可接受的
偏见评估的系统化引入：首次量化概念擦除对性别/种族偏见的影响，为安全合规部署提供了必要的评估框架

局限与展望¶

视觉相似概念的选择依赖 ChatGPT 的判断，可能遗漏真正具有挑战性的相似概念
偏见放大的根本原因尚不清楚——为什么参数高效的擦除方法会改变模型在人物生成上的偏见倾向
当前仅评测了 SD v1.4/v2.1，未覆盖 SDXL、FLUX 等新一代模型
未来应探索更强的概念擦除方法——能够真正删除概念语义表征而非仅切断名称映射

评分¶

新颖性: ⭐⭐⭐⭐ 隐式提示测试和偏见评估是重要贡献，但基准本身的技术创新相对有限
实验充分度: ⭐⭐⭐⭐⭐ 5个领域×5个维度×12个指标×5种方法，极为全面
写作质量: ⭐⭐⭐⭐⭐ 结构清晰、数据翔实、分析深入
价值: ⭐⭐⭐⭐⭐ 对概念擦除领域的评估标准有标杆意义，揭示了重要的安全问题