Enabling Preference-driven Unlearning in Few-step Distilled Text-to-Image Diffusion Models¶
会议: NeurIPS 2026
arXiv: 2610.10859
代码: https://github.com/GauravPatel-99/CePU
领域: 图像生成
关键词: 扩散模型遗忘、少步蒸馏、直接偏好优化、一致性误差、生成安全
一句话总结¶
针对少步蒸馏扩散模型参数化与短轨迹破坏传统噪声预测误差假设的问题，本文提出了基于一致性误差的偏好驱动遗忘框架 CePU，在无需昂贵重新蒸馏的前提下，仅用单卡 15 分钟即可实现高效的概念与有害内容擦除并保持非目标生成效用。
研究背景与动机¶
文生图（Text-to-Image, T2I）扩散模型的广泛应用伴随着严重的生成安全隐患，大规模非结构化训练数据使得开源模型容易被诱导生成特定名人肖像、侵权概念或未经许可的裸露（NSFW）等有害内容。由于推理阶段的提示词混淆或多语言越狱攻击能够轻易穿透外部安全过滤网，基于模型内部权重调整的数据驱动概念遗忘（Machine Unlearning）已成为建立内生安全屏障的关键路径。
与此同时，为了满足实际部署对于实时低延迟推理的严苛需求，研究界普遍通过蒸馏技术（如 Latent Consistency Models, LCM 以及基于对抗和分数蒸馏的 SD-Turbo 等）将基础模型压缩为只需 2 到 8 步采样的少步蒸馏（Few-Step Distilled, FSD）模型。然而，现有主流基于偏好优化的遗忘方法（如 DUO、SafetyDPO）均建立在 Diffusion-DPO 之上，其数学推导高度依赖基础扩散模型的长去噪轨迹与后验均值预测器（PMP）的噪声预测误差（\(\epsilon\)-error）代理。这一理论等价性在少步蒸馏模型的跳跃连接参数化与极度压缩的去噪动态下被彻底打破，导致噪声误差与样本重建目标严重脱节。
若退回先在全步基础模型上进行概念遗忘再重新蒸馏的朴素方案，不仅需要耗费数十甚至数百卡时的大规模计算资源，而且蒸馏过程中遗忘效果往往无法保真转移。本文的核心 idea 是：抛弃失真失效的噪声预测代理，将成对偏好学习重新锚定在衡量相邻时间步预测不变性的一致性误差（Consistency Error）上，构建贴合少步动态的一致性偏好遗忘目标与保留正则项，实现对已部署 FSD 模型的直接、快速且保真概念擦除。
方法详解¶
整体框架¶
CePU（Consistency-enforced Preference-driven Unlearning）旨在直接在少步蒸馏模型上执行端到端的参数微调，绕过高昂的基础模型再蒸馏流程。该流程由偏好样本构建、一致性代理奖励计算以及联合优化三大模块组成。
首先，针对给定的目标擦除概念提示词 \(\bm{c}^{-}\)，模型生成包含有害/不当属性的图像 \(\bm{x}_0^{-}\)，随后在预设噪声强度 \(\tau\) 下利用 SDEdit 结合中性偏好提示词 \(\bm{c}^{+}\) 反向去噪生成布局与上下文高度一致的偏好对偶图像 \(\bm{x}_0^{+}\)。接着，在训练阶段从噪声调度中采样时间步 \(t_j\) 与其相邻步 \(t_{j-1}=t_j-k\)（共享相同的前向噪声注入实现同轨迹耦合），分别计算可学习模型 \(\bm{f}_\theta\) 与冻结参考模型 \(\bm{f}_\phi\) 的单步自一致性差值 \(\Delta_\theta^{\mathrm{C}}\)。最后，将该步进一致性代理奖励代入偏好优化目标 \(\mathcal{L}_{\text{C-DPO}}\)，并结合作用于偏好图像的保留正则项 \(\mathcal{L}_{\text{RET}}\) 完成低秩自适应（LoRA）权重更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["偏好数据对构建<br/>SDEdit基于c-生成x0-与偏好对偶x0+"] --> B["时间步轨迹采样与噪声耦合<br/>采样相邻步tj与tj-1=tj-k共享噪声"]
B --> C["单步一致性代理奖励构建<br/>计算f_theta与参考模型f_phi的步进差值增量"]
C --> D["一致性偏好遗忘优化<br/>针对c-最大化负样本一致性误差并抑制有害属性"]
C --> E["一致性保留正则约束<br/>基于c+锚定非目标生成到参考模型轨迹"]
D --> F["联合损失更新LoRA权重<br/>兼顾概念遗忘与生成效用保留"]
E --> F关键设计¶
1. 目标失配解构与单步一致性代理奖励构建
传统 Diffusion-DPO 之所以能在全步模型上成功，依赖于后验均值预测器下噪声预测均方误差与样本空间误差 \(\|\bm{x}_0 - \bm{f}_\theta^{(t)}(\bm{x}_t)\|_2^2\) 在标量倍数意义下的完全等价。然而在 LCM 等 FSD 架构中，模型输出采用跳跃连接参数化 \(\bm{f}_\theta^{(t)}(\bm{x}_t) = c_{\text{skip}}(t)\bm{x}_t + c_{\text{out}}(t)\bm{F}_\theta^{(t)}(\bm{x}_t)\)，等价条件不再成立，使得噪声预测误差无法正确指引偏好方向；而直接优化全步样本误差又无法保留蒸馏模型跨步自一致的归纳偏置。
作者证明了样本预测偏差可被严密展开为相邻时间步预测差 \(\delta_\theta(\bm{x}_{t_j}) := \bm{f}_\theta^{(t_j)}(\bm{x}_{t_j}) - \bm{f}_\theta^{(t_{j-1})}(\bm{x}_{t_{j-1}})\) 的望远累加和，且样本误差受一致性误差平方和的开方上界严格约束。进而，对数似然隐式奖励被精确解构为时间步局部一致性项与跨时间步二阶交互项之和。为避免 \(\mathcal{O}(m^2)\) 的全轨迹对偶计算开销并恢复单步随机训练，CePU 丢弃高阶交叉项，构建了直接衡量模型相对于参考模型步进一致性变化的代理度量： $\(\Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}, \bm{c}) = \|\bm{f}_\theta^{(t_j)}(\bm{x}_{t_j}, \bm{c}) - \bm{f}_\theta^{(t_{j-1})}(\bm{x}_{t_{j-1}}, \bm{c})\|_2^2 - \|\bm{f}_\phi^{(t_j)}(\bm{x}_{t_j}, \bm{c}) - \bm{f}_\phi^{(t_{j-1})}(\bm{x}_{t_{j-1}}, \bm{c})\|_2^2\)$ 该度量直接贴合了少步蒸馏模型的核心动力学特征。
2. 随机单步偏好遗忘目标函数推导
在将一致性代理奖励代入 DPO 的对数 Sigmoid 目标后，求和项仍被包含在非线性 Sigmoid 内部，直接计算仍需遍历整条轨迹。为彻底实现高效的随机单步训练，作者利用目标函数 \(f(u) = -\log(\text{sig}(-u))\) 在实数域上的严格凸性，引入 Jensen 不等式建立了单步上界： $\(-\log\left(\text{sig}\left(-\beta c_t \sum_{j=1}^m \left(\Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^+) - \Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^-)\right)\right)\right) \leq -\frac{1}{m}\sum_{j=1}^m \log\left(\text{sig}\left(-\beta m c_t \left(\Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^+) - \Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^-)\right)\right)\right)\)$ 将常数吸收进温度超参数 \(\beta\)，并将求和视作时间步期望，最终导出单步一致性偏好遗忘目标（\(\mathcal{L}_{\text{C-DPO}}\)）： $\(\mathcal{L}_{\text{C-DPO}}(\theta) = -\mathbb{E}_{(\bm{x}_{t_j}^+, \bm{x}_{t_j}^-, \bm{c}^-, t_j)} \left[ \log \text{sig} \left( -\beta \left( \Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^+, \bm{c}^-) - \Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^-, \bm{c}^-) \right) \right) \right]\)$ 在相同触发提示词 \(\bm{c}^{-}\) 下，该目标引导模型对不当生成 \(\bm{x}_0^-\) 产生更大的一致性惩罚，从而在少步采样中迅速逃离有害表征区域。
3. 一致性保留正则化与梯度阻断机制
纯粹的偏好遗忘极易导致灾难性语义遗忘，使模型在生成正常良性概念时质量崩塌。CePU 设计了互补的一致性保留正则项（\(\mathcal{L}_{\text{RET}}\)），利用安全对偶提示词 \(\bm{c}^{+}\) 与无害图像 \(\bm{x}_0^+\)，强制约束可学习模型在相邻时间步的演化轨迹紧跟冻结参考模型 \(\bm{f}_\phi\)： $\(\mathcal{L}_{\text{RET}}(\theta) = \mathbb{E}_{(\bm{x}_{t_j}^+, \bm{c}^+, t_j)} \left\| \bm{f}_\theta^{(t_j)}(\bm{x}_{t_j}^+, \bm{c}^+) - \text{sg}\left[\bm{f}_\phi^{(t_{j-1})}(\bm{x}_{t_{j-1}}^+, \bm{c}^+)\right] \right\|_2^2\)$ 在工程实现中，低噪声时间步 \(t_{j-1}\) 的预测值被施加梯度阻断（stop-gradient, \(\text{sg}[\cdot]\)），确保优化过程始终是将高噪声步 \(t_j\) 锚定到稳定的目标上，避免两侧参数同向漂移导致训练震荡。最终联合优化目标定义为： $\(\mathcal{L}_{\text{CePU}}(\theta) = \mathcal{L}_{\text{C-DPO}}(\theta) + \lambda \mathcal{L}_{\text{RET}}(\theta)\)$ 超参数 \(\lambda\) 灵活调节着擦除强度与通用生成保真度之间的 Pareto 前沿。
4. 面向类别级无对偶样本的负偏好拓展机制
在将概念擦除推广至通用物体或 ImageNet 类别时，无法像人脸或裸露任务那样自然构建语义对齐的正向偏好对偶图像（例如擦除“电锯”不存在对应的“标准中性替换物”）。针对这一痛点，CePU 借鉴负偏好优化（NPO）思想，直接从 \(\mathcal{L}_{\text{C-DPO}}\) 中裁剪掉正样本差分项 \(\Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^+, \bm{c}^-)\)，将其转化为仅针对负样本的单边遗忘损失： $\(\mathcal{L}_{\text{C-DPO}}^{\text{object}}(\theta) = -\mathbb{E}_{(\bm{x}_{t_j}^-, \bm{c}^-, t_j)} \left[ \log \text{sig} \left( \beta \Delta_\theta^{\mathrm{C}}(\bm{x}_{t_j}^-, \bm{c}^-) \right) \right]\)$ 该设计直接最大化目标物体的步进一致性误差，迫使模型在该类概念下无法形成稳定采样收敛，彻底瓦解了对成对对偶数据的依赖，使偏好驱动遗忘能够无缝拓展至任意独立类别。
实验关键数据¶
实验基于主流少步蒸馏模型 DreamShaper-V8-LCM、DreamShaper-V7-LCM 以及对抗蒸馏模型 SD-Turbo 进行，所有评估在禁用分类器自由引导（CFG=0）的 4 步 LCM 调度器下执行。
主实验：名人肖像遗忘与感知保真度对比¶
在针对 Angelina Jolie 与 Brad Pitt 的身份遗忘评估中，使用 Giphy 肖像检测器测试目标身份准确率 \(\mathcal{A}_{\text{target}}\)（越低越好）、非目标名人保留准确率 \(\mathcal{A}_{\text{others}}\)（越高越好）、二者调和平均 \(\mathcal{H}_{\text{mean}}\) 以及在无关提示词上的感知距离 LPIPS（越低越好）。
| 方法 | 模型 (目标) | \(\mathcal{A}_{\text{target}}\downarrow\) (%) | \(\mathcal{A}_{\text{others}}\uparrow\) (%) | \(\mathcal{H}_{\text{mean}}\uparrow\) (%) | LPIPS\(\downarrow\) |
|---|---|---|---|---|---|
| FSD 原始基线 | DS-V8-LCM (A. Jolie) | 60.94 | 67.97 | 49.61 | 0.0000 |
| ESD-all (Gandikota 等) | DS-V8-LCM (A. Jolie) | 0.00 | 0.39 | 0.78 | 0.2032 |
| UCE (Gandikota 等) | DS-V8-LCM (A. Jolie) | 0.00 | 26.17 | 41.49 | 0.2346 |
| DPO (Wallace 等) | DS-V8-LCM (A. Jolie) | 0.00 | 8.59 | 15.83 | 0.1003 |
| DUO (Park 等) | DS-V8-LCM (A. Jolie) | 0.00 | 26.17 | 41.48 | 0.0351 |
| SafetyDPO (Liu 等) | DS-V8-LCM (A. Jolie) | 0.00 | 32.81 | 49.41 | 0.0595 |
| CePU (本文) | DS-V8-LCM (A. Jolie) | 0.00 | 55.08 | 71.03 | 0.0287 |
| FSD 原始基线 | DS-V8-LCM (B. Pitt) | 57.81 | 67.97 | 52.06 | 0.0000 |
| SafetyDPO (Liu 等) | DS-V8-LCM (B. Pitt) | 1.56 | 46.88 | 63.51 | 0.0414 |
| CePU (本文) | DS-V8-LCM (B. Pitt) | 0.00 | 58.59 | 73.89 | 0.0290 |
| FSD 原始基线 | DS-V7-LCM (A. Jolie) | 79.69 | 69.14 | 31.40 | 0.0000 |
| SafetyDPO (Liu 等) | DS-V7-LCM (A. Jolie) | 34.38 | 54.30 | 59.42 | 0.0323 |
| CePU (本文) | DS-V7-LCM (A. Jolie) | 18.75 | 49.61 | 61.60 | 0.0176 |
| FSD 原始基线 | DS-V7-LCM (B. Pitt) | 62.50 | 69.14 | 48.63 | 0.0000 |
| SafetyDPO (Liu 等) | DS-V7-LCM (B. Pitt) | 18.75 | 55.86 | 66.20 | 0.0277 |
| CePU (本文) | DS-V7-LCM (B. Pitt) | 7.81 | 57.03 | 70.47 | 0.0158 |
主实验：裸露敏感内容抑制与对抗红队提示词评测¶
在包含 I2P、P4D、MMA（对抗/语义子集）、RAB 以及 SP 等多种未经训练暴露的强对抗红队基准下，采用 NudeNet 检测人体敏感部位泄露数量，以防御成功率（Defense Success Rate, DSR%）、通用提示词 LPIPS 以及 CLIP 分数（CS）进行综合评定。
| 评估基准 / 模型 | 评价指标 | 原始 FSD | UCE | FADE | DPO | DUO | SafetyDPO | CePU (本文) |
|---|---|---|---|---|---|---|---|---|
| DS-V8-LCM | 总检测数 \(\downarrow\) | 3120 | 922 | 57 | 260 | 301 | 217 | 130 |
| 平均 DSR (%) \(\uparrow\) | 0.00 | 70.45 | 98.17 | 91.67 | 90.35 | 93.04 | 95.83 | |
| LPIPS (效用) \(\downarrow\) | 0.0000 | 0.1918 | 0.4130 | 0.0766 | 0.0542 | 0.1011 | 0.0834 | |
| CLIP 分数 \(\uparrow\) | 0.3061 | 0.3076 | 0.2861 | 0.3042 | 0.3042 | 0.3027 | 0.3040 | |
| SD-Turbo | 总检测数 \(\downarrow\) | 876 | 533 | 147 | 60 | 98 | 16 | 6 |
| 平均 DSR (%) \(\uparrow\) | 0.00 | 39.16 | 83.22 | 93.15 | 88.81 | 98.17 | 99.32 | |
| LPIPS (效用) \(\downarrow\) | 0.0000 | 0.0769 | 0.1101 | 0.1570 | 0.0835 | 0.1368 | 0.0794 | |
| CLIP 分数 \(\uparrow\) | 0.3132 | 0.3112 | 0.3123 | 0.3103 | 0.3117 | 0.3099 | 0.3122 |
消融与拓展实验关键发现¶
- 计算成本与性能等价性：先在 SD1.5 全步基础模型上用 DUO 遗忘再重新蒸馏需花费约 24 小时（4 张 24GB A5000 GPU），而 CePU 直接在 FSD 模型上优化仅需约 15 分钟（单张 A5000 GPU），且在 I2P 敏感检出（21 次 vs. 19 次）和 CLIP 语义保真度（0.3127 vs. 0.3023）上实现了匹敌甚至更优的综合表现。
- 跨蒸馏体系的通用泛化：虽然理论建立在一致性模型特性上，但 CePU 在基于判别对抗训练与分数蒸馏采样的 SD-Turbo 上同样展现出碾压基线的遗忘能力（DSR 达 99.32%，仅残留 6 处检出），验证了一致性损失有效捕捉了少步生成轨迹的内在共性。
- 极少步采样的超强鲁棒性：步数敏感度消融显示，即使在极端激进的 1 步前向采样模式下，CePU 依然维持了陡峭优异的 DSR-LPIPS Pareto 前沿，未发生崩溃。
亮点与洞察¶
- 理论破局精准：敏锐指出了长轨迹扩散模型与少步蒸馏模型在参数化形式与去噪空间上的核心张力，严格证明了噪声预测误差在跳跃连接少步模型中的失效机理。
- 一致性代偿优雅：借助自一致性函数的望远展开与 Jensen 不等式，严谨推导出可单步采样的随机上界损失，将高深的一致性轨迹几何约束巧妙转化为低廉的显存开销。
- 工程实用性极高：通过单卡 15 分钟的 LoRA 微调即可替代卡时数以万计的重新蒸馏，为生成式端侧/云端轻量模型的安全合规上线铺平了道路。
局限与展望¶
- 依赖步间偏移先验：计算一致性误差时需人工设定固定的时间步偏移量 \(k\)（文中取 20），在不同模型结构或极端多变的调度表下可能存在进一步自适应优化的空间。
- 无对偶物体遗忘仍具挑战：在物体级别擦除中，虽然借助 NPO 机制绕过了正样本需求，但在非目标相近物体（如特定犬种与车辆）上的分类准确率仍存在轻微的溢出抑制。