跳转至

Asymptotically Exact Negative Guidance of Diffusion Models via Positive-Unlabeled Learning

会议: NeurIPS 2026
arXiv: 2610.19802
代码: https://github.com/htkg/pu-steering
领域: 图像生成
关键词: 扩散模型、负向引导、正类无标签学习、序贯蒙特卡洛、测试时对齐

一句话总结

提出 PU Steering 框架，将扩散模型负向引导重构为针对显式规避目标密度的渐近精确采样问题，利用粒子系统在线训练正类无标签（PU）分类器估计后验几率，并结合序贯蒙特卡洛（SMC）重采样消除局部排斥偏差。

研究背景与动机

扩散模型在图像生成与多模态合成中已成为主导范式，其基于分类器引导（CG）与无分类器引导（CFG）的条件控制机制得到了广泛应用。然而在安全合规（如滤除暴力、血腥或敏感视觉概念）、版权保护（防止复现训练集中的记忆化或版权图像）以及细粒度可控生成场景中，负向引导（Negative Guidance）扮演着至关重要的角色，旨在从预训练先验中剔除不需要的条件概念 \(c\)，同时完好保留补集条件 \(\neg c\) 下的数据几何流形与生成多样性。

现有的负向引导方法——如符号反转 CFG（NegCFG）、动态负向引导（DNG）以及安全去噪器（Safe Denoiser）——主要在反向扩散动力学中直接注入单样本局部的排斥力项。这些方法依赖局部分数差分、高斯转移核局部近似或邻近参考粒子启发式位移，存在两个根本性结构缺陷：第一，局部的排斥采样动力学并不对应任何数学上显式定义的目标概率密度函数；第二，其引入的分布漂移与近似偏差无法通过分配额外的推理计算资源（如增加粒子规模或优化步数）进行系统性消除。当调大排斥系数以提高违规概念规避率时，往往迅速引发严重的模式坍缩或生成质量（FID）急剧劣化。

本文的切入角度是：如果从测度论视角将负向引导直接定义为带避让强度超参的显式目标密度采样，那么对未知中间时间步后验概率的估计就可以巧妙地转化为正类-无标签（Positive-Unlabeled, PU）学习问题。核心 idea：将负向引导形式化为显式目标密度采样，通过在线 PU 学习在反向扩散轨迹上估计条件后验，并以序贯蒙特卡洛（SMC）重要性重加权与重采样修正粒子漂移，使任意现有负向引导核升级为渐近精确的采样器。

方法详解

整体框架

PU Steering 将负向引导的目标显式定义为在无条件先验 \(p(x)\) 上以退火指数 \(\lambda \ge 0\) 抑制非期望条件 \(c\) 后验概率的目标密度： $\(p_{\mathrm{target}}(x) \propto p(x)\,(1 - p(c \mid x))^{\lambda}\)$ 其中 \(\lambda=0\) 对应原始无条件分布，\(\lambda \to \infty\) 则将概率测度完全集中在补集概念 \(\neg c\) 的支撑集上。

在反向扩散扩散步 \(t=T, T-1, \dots, 0\) 的有限步离散过程中，PU Steering 构建了一个回火目标测度序列 \(\gamma_t(x_t) \propto p_{\theta,t}(x_t)(1 - f_t(x_t))^{\lambda_t}\)，其中回火参数满足 \(0 = \lambda_T \le \dots \le \lambda_0 = \lambda\)。在每个时间步，系统维护包含 \(M\) 个粒子的加权粒子系统，经历三个核心模块协同推进：提议核演进、双重权重递推与在线 PU 分类器更新，最后按需触发自适应重采样。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["先验初值粒子群<br/>x_T ~ N(0, I), 权重初始化为 1"] --> B["负向引导提议演进<br/>执行现有负向引导或梯度偏置提议核"]
    B --> C["双重重要性权重递推<br/>同步更新目标权重 w_q 与无条件校正权重 w_empty"]
    C --> D["在线 PU 分类器拟合<br/>利用 Tweedie 投影重加权样本极小化 uPU 风险"]
    D --> E{"有效样本量 ESS 诊断<br/>ESS(w_q) < ESS_min ?"}
    E -->|是| F["自适应多项式重采样<br/>祖先抽取并重置粒子权重，消除简并"]
    E -->|否| G["保持当前粒子系统"]
    F --> H["时间步循环 t -> t-1<br/>若 t=0 则输出最终生成图像集合"]
    G --> H

关键设计

1. 显式避让目标与序贯蒙特卡洛（SMC）回火路径

针对现有负向引导无显式目标分布的问题，本文构造了从无条件先验高斯噪声平滑过渡到目标避让分布的 SMC 退火测度族 \(\gamma_t\)。在每个逆向扩散步 \(t \to t-1\)，粒子 \(x_{t-1}^j\) 由高斯提议分布 \(m_{t-1}(\cdot \mid x_t^j) = \mathcal{N}(\mu_t^{\mathrm{prop}}, \sigma_t^2 I)\) 生成，目标测度权重更新遵循严格的闭式递推： $\(w_{q,t-1}^j = w_{q,t}^j \cdot r_t^j \cdot \frac{(1 - f_{t-1}(x_{t-1}^j))^{\lambda_{t-1}}}{(1 - f_t(x_t^j))^{\lambda_t}}, \quad \text{其中 } r_t^j := \frac{p_\theta(x_{t-1}^j \mid x_t^j)}{m_{t-1}(x_{t-1}^j \mid x_t^j)}\)$ 由于回火因子的分子分母在时间步上形成望远镜乘积（telescoping product），中间时间步分类器 \(f_t\) 的微小误差不会在累积过程中破坏收敛性，采样测度最终完全收敛于终端目标 \(p_{\mathrm{target}}\)。

2. 基于重要性重加权的粒子流无偏 PU 学习

为了评估 \(p_{\theta,t}(c \mid x_t)\)，由于缺乏补集 \(\neg c\) 的显式负样本，无法直接采用监督分类器。PU Steering 发现无条件数据本质上以先验先验率 \(\pi = p(c)\) 混合了正类与负类 \(p_{\theta,t} = \pi p_{\theta,t}(\cdot \mid c) + (1-\pi) p_{\theta,t}(\cdot \mid \neg c)\)，因此可采用无偏 PU（uPU）风险函数： $\(\mathcal{L}_{\mathrm{uPU}}(f) = \pi\, \mathbb{E}_{p(x \mid c)}[\ell(f(x), +1)] + \mathbb{E}_{p(x)}[\ell(f(x), -1)] - \pi\, \mathbb{E}_{p(x \mid c)}[\ell(f(x), -1)]\)$ 然而，正在被引导的 SMC 粒子已经偏离了无条件边际分布 \(p_{\theta,t}\)，若直接当作无标签数据会导致严重估计偏差。该设计的关键创新在于引入了平行的无条件重要性权重 \(w_{\emptyset,t}\)，其递推公式为 \(w_{\emptyset,t-1} = w_{\emptyset,t} \cdot r_t\)。利用加权经验测度 \(\{(x_{t-1}^j, w_{\emptyset,t-1}^j)\}_{j=1}^M\) 逼近 \(\mathbb{E}_{p(x)}\)，精确消除了粒子引导造成的选择偏差，保证了在线分类器训练的无偏性。

3. Tweedie 投影分类器与两类引导规格的统一实例化

考虑到扩散加噪核在高噪声步 \(t \to T\) 会彻底破坏细粒度语义可分性，本文将所有时间步的分类器统一参数化为干净数据空间中的判决器 \(f_t(x_t) := g_0(\hat{x}_0(x_t))\)，其中 \(\hat{x}_0(x_t)\) 为通过 Tweedie 公式计算的一步去噪均值。针对不同的负向引导形式，框架给出了优雅的统一实现： - 参考样本规格（Reference-Based）：给定 \(N\) 个干净参考样本 \(\{x_c^i\}_{i=1}^N\)，将其正向加噪再经 Tweedie 投影得到正样本池 \(\mathcal{P}_{t-1} = \{\hat{x}_0(\tilde{x}_{t-1}^i)\}_{i=1}^N\)。提议核可选用 Tweedie 引导或直接将 Safe Denoiser 作为提议均值。 - 条件分数规格（Score-Based）：当只有条件噪声预测器 \(\hat{\epsilon}_\theta(x_t, t \mid c)\) 时，框架构建第三套权重 \(w_{c,t-1} \propto p_{\theta,t-1}(x_{t-1} \mid c) / \hat{\gamma}_{t-1}(x_{t-1})\)，使得同一批粒子在权重 \(w_c\) 下充当正样本、在权重 \(w_\emptyset\) 下充当无标签数据，零外部样本实现双路重加权 uPU 拟合。

4. 自适应 ESS 触发重采样与任意引导核即插即用

加权蒙特卡洛粒子系统在多步递推中不可避免地会出现权重退化。PU Steering 实时监控粒子权重的有效样本量 \(\mathrm{ESS}(\{w_{q,t-1}^j\}) = (\sum_j w_{q,t-1}^j)^2 / \sum_j (w_{q,t-1}^j)^2\)。仅当 \(\mathrm{ESS} < \mathrm{ESS}_{\min}\) 时触发多项式重采样，并重置 \(w_{q,t-1}^j \leftarrow 1\)，同时调整辅助权重 \(w_{\emptyset,t-1}^j \leftarrow w_{\emptyset,t-1}^{a(j)} / w_{q,t-1}^{a(j)}\) 以保持密度比一致性。这不仅防止了少数高权粒子垄断，更使得 NegCFG、DNG、SLD 或 Safe Denoiser 等任何现有启发式负向引导方法均可直接作为提议均值 \(\mu_t^{\mathrm{prop}}\) 接入，由 SMC 外层统一消除残余偏差。

损失函数 / 训练策略

在线分类器 \(g_0\) 在每个扩散时间步 \(t\) 执行少量预热梯度下降步（warm-started gradient steps）。在小样本与少量粒子设置（如 CIFAR-10 上 \(M=128\)）下，由于重采样使得被规避类别粒子迅速耗尽，无标签粒子集趋近于真实负样本，可采用带 \(L_2\) 正则化的交叉熵损失（BCE）作为计算代理；而在大模型条件分数设置（如 Stable Diffusion）下，正样本与无标签样本共享图像语义结构，直接采用式 (7) 的 uPU 逻辑斯蒂损失： $\(\ell_1(z) = \log(1 + e^{-z}), \quad \ell_0(z) = \log(1 + e^z)\)$ 结合正则化项 \(\frac{\lambda_{\mathrm{reg}}}{2}\|\theta_g\|^2\)，实现快速收敛与数值稳定。

实验关键数据

主实验

在 3 维高斯混合模型（GMM，12 个高斯分量，其中 3 个设为规避条件 \(c\)）上对各类方法进行严格量化评估（\(T=100, M=1024\)，50 次随机试验均值±标准差）。评估指标包括后验泄漏率 \(\mathbb{E}[p(c \mid x_0)]\)（越低越好）以及与真实 \(\neg c\) 分布的 2-Wasserstein 距离 \(W_2\)（越低越好）。

方法 排斥强度配置 后验泄漏率 \(\mathbb{E}[p(c \mid x_0)] \downarrow\) \(W_2\) 距离 \(\downarrow\)
Oracle (真分数上限) - 0.012 ± 0.010 1.5 ± 0.3
Uncond (无条件 DDPM) \(\eta = 0\) 0.253 ± 0.016 3.6 ± 0.6
NegCFG \(\eta = 0.5\) 0.068 ± 0.008 9.7 ± 2.4
NegCFG \(\eta = 1.0\) 0.018 ± 0.005 20.5 ± 6.3
DNG \(\eta = 1.0\) 0.052 ± 0.010 1.6 ± 0.3
DNG \(\eta = 2.0\) 0.015 ± 0.005 3.5 ± 0.7
PU Steering (本文) 自适应 \(\lambda\) 0.012 ± 0.013 1.8 ± 0.6

在 Stable Diffusion v1.4 文生图实验中，针对提示词生成的梵高风格进行规避，生成高质量夜景咖啡馆场景图像（2048 张独立生成评估）：

方法 配置 规避风格检出率 \(\downarrow\) 图像质量 FID \(\downarrow\) 真实核多样性 KID \(\downarrow\)
Oracle floor (过滤理想参考) 2048 vs. 2048 0.238 18.52 0.0002
无规避提示基线 - 0.409 60.98 0.0552
梵高风格提示正向生成 - 0.645 164.32 0.1982
SLD max 0.334 43.08 0.0294
SLD x3max 0.296 43.70 0.0284
NegCFG \(\eta = 3.0\) 0.224 82.75 0.0608
DNG \(\eta = 260\) 0.277 63.84 0.0411
PU Steering (本文) \(M=64, \lambda=16\) 0.276 33.46 0.0105
PU Steering (本文) \(M=128, \lambda=16\) 0.235 28.10 0.0054

消融实验

在 CIFAR-10 参考样本规避任务上，固定引导强度 \(\eta=0.3\) 并研究在线 PU 分类器 \(L_2\) 正则化强度 \(\lambda_{\mathrm{reg}}\) 对规避率与质量的影响（每个设定 80 个随机种子，共计 \(80 \times 128\) 个样本），并与 Safe Denoiser 基线进行对比：

规避类别 评估方法与配置 目标类别留存率 (%) \(\downarrow\) FID \(\downarrow\) 类别分布 KL 散度 \(\downarrow\) 样本多样性 LPIPS \(\uparrow\)
Plane Safe Denoiser (\(\eta=0.3\)) 4.78 20.75 0.127 0.200
Plane Safe Denoiser (\(\eta=0.5\)) 2.95 45.96 0.279 0.175
Plane Ours (\(\lambda=1.5, \lambda_{\mathrm{reg}}=10^{-3}\)) 3.50 24.65 0.148 0.197
Plane Ours (\(\lambda=1.5, \lambda_{\mathrm{reg}}=1.0\)) 4.39 23.66 0.136 0.198
Cat Safe Denoiser (\(\eta=0.3\)) 7.16 20.63 0.150 0.207
Cat Safe Denoiser (\(\eta=0.5\)) 6.10 44.53 0.282 0.183
Cat Ours (\(\lambda=1.5, \lambda_{\mathrm{reg}}=10^{-3}\)) 5.66 24.95 0.163 0.203
Cat Ours (\(\lambda=1.5, \lambda_{\mathrm{reg}}=1.0\)) 6.17 25.38 0.200 0.205
Frog Safe Denoiser (\(\eta=0.3\)) 2.55 41.53 0.181 0.183
Frog Safe Denoiser (\(\eta=0.5\)) 0.87 93.59 0.503 0.162
Frog Ours (\(\lambda=1.5, \lambda_{\mathrm{reg}}=1.0\)) 1.96 49.25 0.249 0.183
Frog Ours (\(\lambda=1.5, \lambda_{\mathrm{reg}}=10^{-3}\)) 1.90 50.31 0.245 0.185

关键发现

  • 基线方法的局部排斥困境：NegCFG 在加大规避强度时虽能降低后验泄漏，但会导致 \(W_2\) 剧烈恶化并在 GMM 上发生严重的模式塌缩；DNG 无法有效清除规避模式上的残留样本；Safe Denoiser 在强排斥参数（\(\eta=0.5\)）下 FID 会断崖式劣化 24~52 点。
  • 帕累托前沿全面占优：PU Steering 将温和的局部引导作为提议核，辅以分类器驱动的全局 SMC 重采样，在所有设置中均严格主导了现存基线的“规避率-生成质量”帕累托前沿。
  • 粒子扩展性（Particle Scaling）与渐近精确性：在 Stable Diffusion 上，将粒子数由 \(M=64\) 扩增至 \(M=128\) 时，规避风格率从 0.276 进一步降低至 0.235（达到甚至超越 Oracle floor 0.238），同时 FID 从 33.46 显著优化至 28.10，充分验证了理论上的渐近精确性。

亮点与洞察

  • 将负向引导转化为带理论保证的目标密度采样：摆脱了以往启发式修改分数项导致的无目标无界漂移，严格证明了在粒子与样本趋于无穷时的渐近精确性。
  • 巧妙利用双重重要性权重化解 PU 学习的分布偏移：正在演进的粒子群并不服从无条件分布，作者通过同步跟踪无条件权重 \(w_\emptyset\) 构建无偏无标签数据集，闭环统一了 SMC 与 uPU 风险。
  • 将现有负向引导算法转化为提议核的高通用性框架：不需要重训扩散模型底座，支持将 NegCFG、DNG、SLD 等直接用作提议核，无痛提升下游图像生成安全性与合规性。

局限与展望

  • 计算开销依赖粒子规模：由于依赖 SMC 粒子系统（如 \(M=64\) 或 \(128\)），在文生图扩散模型推理阶段的显存占用和计算时间显著高于单样本扩散采样。
  • 高维分类器在线拟合稳定性：在极小批量或类别概念高度复杂时，在线 PU 分类器对特征提取器表征质量和超参数（如类别先验 \(\pi\)）具有一定敏感度。
  • 扩展至更广泛多模态与控制任务：未来工作可进一步探索流匹配（Flow Matching）框架下的连续时间 PU 引导，以及视频生成、三维点云和分子构型负向约束中的轻量化采样。

相关工作与启发

  • vs NegCFG & Negative Prompting: NegCFG 简单地反转无条件与条件分数的差值向量，缺乏显式密度目标，高增益时极易引起局部伪影与几何流形畸变；本文以显式密度为导向，由 SMC 重采样代替单纯的梯度排斥。
  • vs Dynamic Negative Guidance (DNG): DNG 试图递归推断时间步后验比值，但在反向扩散中采用了无界误差的高斯单步近似；本文采用全局粒子在线 PU 分类器直接估计后验，从根源上消除了近似偏差。
  • vs Safe Denoiser & Shielded Diffusion: Safe Denoiser 依赖局部近邻参考粒子的欧氏斥力，存在敏感的手动半径与时间窗超参；本文将参考粒子无缝投影为 PU 学习的正类池，实现原理一致的渐近收敛。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从 PU 学习与 SMC 结合的角度解决负向引导的显式密度建模与理论渐近精确性。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3D-GMM 解析解评估、CIFAR-10 类别规避及 Stable Diffusion 艺术风格剥离，指标体系完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，测度论定义与算法闭环逻辑自洽。
  • 价值: ⭐⭐⭐⭐⭐ 对扩散模型的安全合规生成、抗侵权过滤和精确负向控制提供了坚实的理论基石与实用算法工具。

相关论文