Consistency-Preserving Concept Erasure via Unsafe–Safe Pairing and Directional Fisher-weighted Adaptation¶

会议: NeurIPS 2026
arXiv: 2602.05339
领域: 安全
关键词: 概念消除 (Concept Erasure), 扩散模型 (Diffusion Models), 模型解学习 (Machine Unlearning), 低秩自适应 (DoRA), 安全生成 (Safe Generation)

一句话总结¶

针对文生图扩散模型概念消除破坏未目标属性与生成一致性的痛点，本文提出 PAIR 框架，通过构建不安全-安全多模态配对数据引导语义重对齐，并结合方向 Fisher 加权的 DoRA 初始化（FiDoRA），实现了高保真、结构一致且参数极简的外科手术式精准消除。

研究背景与动机¶

基于大规模未过滤网络语料训练的文生图扩散模型在具备惊人生成能力的同时，也深度记忆并容易生成不安全或受侵权内容，例如露骨色情画面、特定艺术家版权风格或恶意敏感目标。从头重新训练十亿级参数模型的计算成本极其高昂，这促使机器解学习与概念消除（Concept Erasure）技术成为大模型负责任部署的关键手段。以 Erased Stable Diffusion (ESD) 为代表的传统方法，通常采用否定式引导目标，通过微调 U-Net 全参数将待消除概念强行推向无条件的空提示词（null prompt）空间。

然而，这种基于空空间的盲目否定策略存在根本性缺陷：空空间完全缺乏结构先验与语义几何约束，将概念推向虚无不仅容易导致概念消除不彻底或易受对抗性提示词绕过，更会粗暴破坏与目标概念交织的非目标语义。例如在消除“裸露”时，模型不仅抹掉了衣物属性，连带人体的姿态、面部特征甚至整个场景的构图布局都被剧烈扭曲，造成生成质量劣化与严重的内容不一致。此外，现有方案动辄依赖全量参数微调，不仅计算开销大，更因权重向量剧烈的方向漂移而加剧灾难性遗忘。

为了打破这种“消除概念必伤及无辜”的困境，本文主张概念消除不应是向无意义空空间的简单抹除，而应被重构为有锚定目标的语义重对齐。核心 idea：通过构建结构与视觉高度对齐的不安全-安全多模态配对数据（unsafe-safe pairs），以安全视觉锚点引导扩散模型进行定向语义重对齐，并设计基于方向 Fisher 信息加权的低秩分解初始化策略（FiDoRA），在仅更新 0.05% 跨注意力参数的前提下实现结构无损的外科手术式精准概念消除。

方法详解¶

整体框架¶

PAIR（PAIRed Erasing）由三个相互支撑的核心环节构成：首先是配对数据集构建（Controllable Paired Dataset Construction），利用受控图像编辑工具构建几何与背景高度一致、仅在目标敏感属性上存在差异的不安全与安全配对三元组；其次是方向 Fisher 加权初始化（Directional Fisher-weighted Initialization, FiDoRA），针对权重分解低秩自适应（DoRA）的方向敏感性，计算不安全与安全集合上的经验方向 Fisher 矩阵，将可学习适配器对齐到对敏感概念方向极度敏感的子空间；最后是两阶段优化的配对语义重对齐（Paired Semantic Realignment, PSR），通过多模态视觉锚定引导与文本泛化两阶段微调，驱动模型将不安全轨迹精准迁移至安全锚点。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 概念提示词与预训练扩散模型"] --> B["配对数据集构建<br/>生成不安全样本→分类器过滤→编辑生成安全对应锚点"]
    B --> C["方向 Fisher 加权初始化<br/>正交投影梯度→计算方向Fisher→加权SVD分解"]
    C --> D["配对语义重对齐<br/>阶段1多模态视觉引导 + 阶段2纯文本空间泛化"]
    D --> E["输出: 保持结构与语义一致性的安全扩散模型"]

关键设计¶

1. 配对数据集构建：从盲目推离转向语义对齐安全锚点 传统方法之所以破坏图像布局，根源在于只告诉模型“不要生成什么”，而从未告诉模型“应该替换成什么”。本文通过三步流水线合成结构严密对齐的遗忘集 $\mathcal{D}_f = \{(\mathbf{x}_f, \mathbf{c}_f)\}$ 与保留集 $\mathcal{D}_r = \{(\mathbf{x}_r, \mathbf{c}_r)\}$。第一步以目标概念提示词（如“A photo of a nude person”）生成候选不安全图像 $\mathbf{x}_f$；第二步引入领域专用判别器（如 ImageGuard 过滤裸露、专用风格分类器过滤梵高风格、ResNet-50 过滤目标物体），剔除语义不达标的模糊生成，锁定真实不安全目标；第三步使用指令引导的保结构编辑模型（消除裸露采用 RealEdit 为主体添加合适衣物并冻结人物身份与背景，消除风格或物体采用 ICEdit 转换为通用中性风格或背景无缝修补），最终通过 SSIM 和 DINO 结构相似度过滤，得到仅在目标属性上存在精准差异的 $1\text{K}$ 组高质量多模态配对样本。

2. 方向 Fisher 加权初始化：锁定敏感子空间以消除方向漂移 直接在解学习任务中使用标准 LoRA 或全量微调极易引起权重向量的剧烈旋转，导致原有的语义几何崩塌。DoRA 将预训练权重分解为幅度向量 $m \in \mathbb{R}^{1 \times k}$ 与方向矩阵 $V \in \mathbb{R}^{d \times k}$，参数化为 $W = m \frac{V}{\|V\|_c}$。由于方向分量承载了特征的语义朝向，本文推导了损失函数对方向分量 $V$ 的正交投影梯度： $$ \nabla_V \mathcal{L} = \frac{m}{|V|_c} \left( \mathbf{I} - \frac{V V^T}{|V|c^2} \right) \nabla_W \mathcal{L} $$ 基于该方向梯度，分别在遗忘集 $\mathcal{D}_f$ 和保留集 $\mathcal{D}_r$ 上计算经验方向 Fisher 信息矩阵 $\hat{F}_V^f$ 与 $\hat{F}_V^r$。为了筛选出对遗忘概念极其敏感、同时对保留概念不敏感的方向维度，定义行级相对重要性向量 $I \in \mathbb{R}^d$，其第 $i$ 维为 $I_i = \sqrt{\sum_j (\hat{F}_V^f / (\hat{F}_V^r + \epsilon))_{ij}}$。随后通过加权奇异值分解（SVD）求解带权重的最优低秩重构： $$ \min(I)(W_0 - B A)|_F^2 $$ 令 } |\text{diag$\text{diag}(I) W_0$ 的秩 $r$ SVD 分解为 $U \Sigma V^T$，适配器初始化为 $B^* = \text{diag}(I)^{-1} U \Sigma^{1/2}$，$A^* = \Sigma^{1/2} V^T$，冻结基座更新为 $V_{\text{base}} = W_0 - B^* A^*$，幅度初始化为 $m = \|W_0\|_c$。这一初始化使得模型从第一次迭代起便沿着针对不安全概念的敏感正交方向转动，在极小参数更新下完美维持了整体稳定性和可塑性的平衡。

3. 配对语义重对齐：多模态引导与纯文本空间泛化两阶段微调 在微调目标上，PAIR 摒弃了推向空嵌入 $\emptyset$ 的传统 ESD 损失，采用包含安全视觉嵌入与文本提示词的配对重对齐目标。在计算开销上，PAIR 直接将不安全真实图像 $\mathbf{x}_f$ 编码并加噪构造潜变量 $z_{f, t} = \text{AddNoise}(\mathcal{E}_{\text{vae}}(\mathbf{x}_f), t, \boldsymbol{\epsilon})$，避免了传统方法耗时的迭代去噪。第一阶段（多模态锚定）借助预训练 IP-Adapter 提取图像特征 $x_f = \mathcal{E}_{\text{img}}(\mathbf{x}_f)$ 和 $x_r = \mathcal{E}_{\text{img}}(\mathbf{x}_r)$，以冻结参考模型计算安全锚点预测 $\hat{\boldsymbol{\epsilon}}_{\text{safe}} = \epsilon_{\theta^*}(z_{f, t}, c_r, x_r, t)$ 与不安全预测 $\hat{\boldsymbol{\epsilon}}_{\text{unsafe}} = \epsilon_{\theta^*}(z_{f, t}, c_f, x_f, t)$，构造负向对比引导目标： $$ \mathbf{y}{\text{target}} = \hat{\boldsymbol{\epsilon}}}} - \eta \cdot (\hat{\boldsymbol{\epsilon}{\text{unsafe}} - \hat{\boldsymbol{\epsilon}}) $$ 驱动可训练适配器最小化 }$\|\epsilon_\theta(z_{f, t}, c_f, t) - \mathbf{y}_{\text{target}}\|_2^2$。第二阶段（文本泛化）移除视觉特征注入，仅在文本条件 $c_r$ 与 $c_f$ 下重复上述对齐目标，将第一阶段学到的多模态局部视觉替换能力顺利迁移并泛化到开放的文本提示词隐空间中。

损失函数 / 训练策略¶

整个微调仅施加于扩散模型 U-Net 的跨注意力（Cross-Attention）层，可训练参数量仅占全模型的 0.05%（秩 $r=4$）。优化器采用 Adam，学习率固定为 $5 \times 10^{-5}$，批量大小为 1，共迭代 1,000 步，引导强度超参设置为 $\eta = 7.0$。所有配对数据量仅需 1,000 对即可在单张 NVIDIA RTX A6000 GPU 上极速收敛。

实验关键数据¶

主实验¶

论文在三项代表性概念消除任务上展开了详尽评估：裸露概念消除（Nudity Removal，使用 I2P 测试集及 MMA、RAB、UD 对抗攻击）、艺术风格消除（梵高风格，测试特定高层抽象表现）以及特定物体消除（Tench 鱼）。基准对比涵盖了原版 Stable Diffusion (SD)、全参数微调基线 ESD、轻量适配方法 SPM 与 RECE、多模态消除方案 Co-Erasing 以及基于文本锚点的 AGE。评估维度涵盖攻击成功率（ASR，越低越好）、良性提示词生成保真度（COCO-10K 上的 FID 与 CLIP Score）、原图结构一致性（Consistency，越靠近 100 越好）以及调和均值综合得分（Harmonic Mean, HM）。

表 1：裸露概念消除综合对比（I2P 与对抗攻击）

方法	可训练参数比 (%)	ASR-IG ↓	ASR-NN ↓	UD (对抗) ↓	MMA (多模态) ↓	RAB (探针) ↓	FID (COCO) ↓	CLIP ↑	Consistency (SSIM) ↑	综合评分 HM ↑
原始 SD	-	51.00	29.67	70.53	88.00	100.00	17.56	26.48	-	-
ESD	94.65	8.00	3.00	12.63	30.10	67.37	18.65	25.32	74.61	56.04
SPM	0.05	25.00	14.00	41.05	70.50	40.00	18.15	26.35	80.69	51.60
RECE	2.23	6.33	4.67	3.16	40.60	8.42	17.52	26.00	72.00	64.66
Co-Erasing	100.00	8.33	3.67	8.42	25.10	51.58	21.94	25.40	67.17	60.03
AGE	94.65	8.00	4.33	9.47	19.10	25.26	24.01	25.20	71.33	64.02
PAIR (本文)	0.05	2.67	1.33	7.37	7.50	20.00	16.93	25.10	75.11	66.83

注：SPM 虽呈现较高的 Consistency 分数，但其 ASR-IG 高达 25.00%，实为未能有效消除目标概念所致的虚高；在实现彻底消除（ASR-IG < 10%）的所有有效方法中，PAIR 的一致性得分最高，且 FID 达到 16.93，优于原始 SD。

表 2：艺术风格消除表现对比（梵高风格）

方法	ASR (分类器) ↓	UD (对抗) ↓	FID (COCO) ↓	CLIP ↑	Consistency (DINO) ↑	AugCLIP ↑	综合评分 HM ↑
原始 SD	59.67	74.74	17.56	26.48	-	-	-
ESD	0.67	1.05	19.24	25.63	74.28	70.60	60.48
SPM	7.00	24.21	17.51	26.45	87.25	81.80	61.50
RECE	2.33	12.63	17.27	26.49	82.89	77.30	62.16
Co-Erasing	1.00	3.16	20.26	24.87	68.99	67.00	58.48
AGE	0.00	2.11	18.81	25.98	76.60	71.70	61.21
PAIR (本文)	1.00	4.21	16.90	26.43	83.56	78.40	63.07

消融实验¶

表 3：微调机制与损失目标组件消融（裸露消除任务）

微调架构 / 初始化	优化目标 (Obj.)	ASR-IG ↓	FID ↓	CLIP ↑	Consistency (SSIM) ↑
全量微调 (FT)	ESD (空空间映射)	8.00	18.65	25.32	74.61
标准 LoRA	ESD (空空间映射)	12.00	20.89	25.08	74.78
标准 LoRA	PSR (配对语义重对齐)	4.33	19.06	24.74	73.50
FiDoRA (本文初始化)	ESD (空空间映射)	6.33	18.63	25.44	75.01
FiDoRA (本文完整)	PSR (配对语义重对齐)	2.67	16.93	25.10	75.11

关键发现¶

两模块协同增益明显：从表 3 可见，在传统 ESD 目标下，仅将初始化替换为 FiDoRA 即可使 ASR 从标准 LoRA 的 12.00% 骤降至 6.33%，并改善生成画质；而在 FiDoRA 基础上引入配对语义重对齐目标（PSR），ASR 进一步压低至 2.67%，FID 更是大幅优化至 16.93，验证了结构引导与敏感正交初始化的强大协同效能。
微调层级与秩选择规律：消融表明将适配器限制在跨注意力（Cross-Attention）层可取得最佳综合效能（ASR 2.67%，FID 16.93）；盲目微调全部层或非注意力层会导致概念过度擦除及画质崩溃（全部层 FID 恶化至 22.14）。同时，低秩参数 $r=4$ 构成了必要的容量瓶颈，提高秩（如 $r=32$）不仅未明显提升画质，反而使 ASR 恶化。
直接加噪的高效与优越性：直接利用真实不安全图像 $\mathbf{x}_f$ 构造潜变量 $z_{f, t}$ 的加噪策略（Table 7），相比传统耗时的多步迭代去噪基线，ASR 从 6.33% 降至 2.67%，且训练速度大幅加快。
感知与评测偏好：在包含 50 名受试者（Fleiss' $\kappa = 0.462$）的人工偏好盲测中，PAIR 以 49.2% 的高胜率大幅领先基线（ESD 18.8%, RECE 19.8%, AGE 12.2%）；在基于 GPT-5.2 Thinking 的严格链式思考自动化裁判中，PAIR 的胜率更是高达 74.0%。

亮点与洞察¶

概念重对齐超越概念否定：传统方法将不安全概念推向无条件空空间，如同盲目涂黑；PAIR 证明了通过指令可控编辑构建“安全锚点”，让模型学会将不安全特征定向替换为合理安全特征，才能从数学和直觉上同时守住画面的结构一致性。
正交方向 Fisher 初始化的精妙设计：DoRA 将权重解耦为幅度和方向后，常规的全权重 Fisher 矩阵无法区分方向敏感性。本文巧妙利用正交投影梯度精准度量方向敏感度，把低秩适配器直接嵌入到对遗忘概念最敏感的子空间，使模型在第一步训练时就具备正确的旋转倾向，兼顾了解学习的塑性与稳定性。
极简参数与极低开销：在仅仅微调 0.05% 跨注意力层参数的前提下，全面战胜了微调 94%~100% 参数的全量模型，不仅极具实用落地价值，更表明特定概念知识在扩散模型中高度局域化存在于跨注意力层的特定正交方向上。

局限与展望¶

依赖预构建配对质量：PAIR 的效果高度依仗第一步编辑模型（如 RealEdit、ICEdit）生成的配对质量。如果编辑工具出现严重的幻觉伪影或未能精准替换目标属性，重对齐目标可能会引入次优先验。
复杂抽象组合概念的泛化边界：目前实验主要集中在裸露、单一艺术家风格和单类别物体上，对于多实体纠缠的复杂复合敏感场景（如涉及文化偏见、抽象隐喻图意），构建自然配对的难度增加。
未来方向：探索无须离线编辑工具介入的自监督在线对抗配对生成，以及将 FiDoRA 的方向感知解学习思想拓展到现代大规模 Diffusion Transformer (DiT) 架构与多模态大语言模型中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将概念消除重新诠释为基于多模态配对的语义重对齐，并首创基于方向投影 Fisher 信息的 DoRA 初始化]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 大代表性消除场景，结合 3 种红队对抗基准、人工盲测与 GPT-5.2 思维链评测，消融周密扎实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严谨，逻辑链路完备，图表质量上乘且分析深入到位]
价值: ⭐⭐⭐⭐⭐ [攻克了生成式模型安全消除长期存在的结构破坏与计算开销瓶颈，为工业级扩散模型合规治理提供了极优范式]