Specificity-Aware Diffusion Steering via Variance-Reduced Sequential Monte Carlo¶

会议: NeurIPS 2026
arXiv: 2610.00395
OpenReview: https://openreview.net/forum?id=oIBOJ76wYl
代码: https://github.com/WangLuran/Specificity-Aware-Diffusion-Steering
领域: 图像生成
关键词: 扩散模型引导, 特异性生成, 序贯蒙特卡洛, 方差缩减, 似然比门控

一句话总结¶

本文针对扩散模型负向引导中易侵蚀正向重叠密度、引发模式漂移的问题，基于重叠度变分目标推导了可解耦截断锐度与惩罚强度的幂次似然比目标分布，并构建了基于固定噪声雅可比-向量积（JVP）在线优化提议分布的方差缩减序贯蒙特卡洛采样器，在无需微调的前提下实现了高保真特异性生成。

研究背景与动机¶

扩散模型与基于分数的生成模型已成为连续高维分布建模的中流砥柱。这类模型最引人注目的优势之一在于其灵活的推理阶段可控性：用户无需耗费高昂算力微调或重新训练网络权重，仅凭分类器引导、无分类器引导（CFG）或负向提示词（negative prompting）修改反向去噪漂移，便能在测试期迫使采样轨迹遵从特定的条件属性。在诸多实际生成场景中，模型往往需要同时满足正向期望与负向规避双重约束——例如在文生图过程中保持特定主体细节并定向剔除指定负向概念，或在生物大分子设计中要求配体精准结合靶标蛋白而严禁识别高度同源的脱靶分子。此类任务的核心要求是“特异性”（specificity），即在样本空间中仅保留正向分布独有的有效概率质量，同时彻底滤除与负向分布重叠的潜在危险区域。

然而，现存的负向引导机制普遍缺乏显式定义的全局目标分布，通常仅依赖经验性的局部排斥力修正反向扩散方向。当正向参考分布 $p^A$ 与负向参考分布 $p^B$ 存在实质性几何重叠时，这种盲目的排斥力会产生灾难性的副反应：它在驱散负向样本的同时，无差别地损耗了重叠邻域内原本合法的正向概率质量，从而引发严重的模式丢失（mode dropping）或整体分布的系统性模式漂移（mode shift）。诸如安全去噪器（Safe Denoiser）等方案单纯依据负向密度的绝对大小施加排斥，极易在负向密度密集的区域过度反弹，抹杀紧邻负向簇的正向峰值；而动态负向引导（DNG）虽然引入后验重赋权，却将似然比截断的锐度与加权强度僵硬绑定，无法根据重叠程度灵活调控引导边界。

根本症结在于：若要在抑制负向重叠密度的同时最小化对正向模式的几何扭曲，就必须摆脱局部启发式规则，建立以相对似然证据为核心的显式目标分布，并设计能在扩散时变路径上维持数值稳定性的全局采样体系。核心 idea：将特异性扩散引导严格建模为重叠度极小化的显式目标分布构建问题，导出解耦截断锐度与惩罚强度的幂次似然比门控，并构建前后向核匹配的序贯蒙特卡洛（SMC）采样器，利用共享噪声下的固定位移 JVP 评估在单次前向内在线优化提议分布方差，实现免重训的低漂移特异性采样。

方法详解¶

整体框架¶

本文提出的特异性扩散引导框架无需改动任何预训练模型参数，完全在测试期以粒子滤波的形式驱动。整个系统紧密咬合为两大核心阶段：在目标构建阶段，从显式的分布重叠度（Overlap, OVL）泛函出发，导出唯一最小化正向 KL 散度的最优硬截断目标，并通过引入伯努利熵正则化与其幂次项，将其平滑松弛为由时变幂次似然比门控调控的目标分布路径 $q_t(x)$；在连续反向采样阶段，针对时变目标分布在序贯蒙特卡洛（SMC）中容易引发重要性权重退化（weight collapse）的病态问题，引入融合正负分数差与目标修正梯度的双场前向辅助核，并严谨推导与之对偶的匹配后向漂移项以抹除首阶权重涨落。进一步地，算法在每一扩散步复用单组高斯噪声，通过一次联合雅可比-向量积（JVP）在低维网格上直接在线优化提议分布的残余方差（等价于最大化有效样本量 ESS），最终驱动带权粒子群稳健收敛至目标几何。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["正负参考模型与粒子初始化<br/>p^A, p^B 分数网络与初始粒子集合"] --> B["目标分布设计<br/>重叠度变分目标与幂次似然比门控"]
    B --> C["前后向核匹配提议<br/>双场前向扩散与消除首阶涨落后向漂移"]
    C --> D["固定位移 JVP 评估<br/>共享噪声复用与高效网格方差优化"]
    D --> E["粒子状态更新与自适应重采样<br/>累积 ESS 最大化与稳健权重传递"]
    E --> F["输出高特异性生成样本<br/>消除模式漂移与保持高保真度"]

关键设计¶

1. 目标分布设计：从重叠度变分目标导出解耦截断与强度的幂次似然比门控 针对传统负向引导仅靠经验排斥公式而缺乏数学支撑、极易引发全局模式漂移的痛点，本文首先将特异性生成确立为一个基于分布重叠度（Overlap）的变分优化问题。对于正向参考密度 $p^A$ 与负向参考密度 $p^B$，定义重叠泛函 $\mathrm{OVL}(q, p) := \int \min\{q(x), p(x)\} dx$，并构建特异性优化目标： $$J(q) := \mathrm{OVL}(q, p^A) - \gamma \mathrm{OVL}(q, p^B), \quad \gamma > 1$$ 论文在理论上证明：在所有使得 $J(q)$ 达到极大值的归一化概率密度中，使得相对正向参考分布的 KL 散度 $D_{\mathrm{KL}}(q \| p^A)$ 最小的唯一最优解，是由似然比阈值集合 $\mathcal{A}_\gamma := \{x: p^A(x) > \gamma p^B(x)\}$ 定义的硬截断分布 $q^*(x) \propto p^A(x) \mathbf{1}_{\mathcal{A}_\gamma}(x)$。为了在离散时间扩散过程中提供平滑连续的引导梯度，本文在对数似然比差值 $s_t(x) := \log \frac{p_t^A(x)}{p_t^B(x)} - \log \gamma$ 上引入逆温度参数 $\eta_t$ 进行逐点伯努利熵正则化，将不连续的指示函数松弛为连续 Sigmoid 门控 $1 - \theta_t(x) = \sigma(\eta_t s_t(x))$；并进一步引入指数幂次 $m_t > 0$，定义时变幂次软目标分布： $$q_t^{\eta, m}(x) \propto p_t^A(x) (1 - \theta_t(x))^{m_t} = p_t^A(x) \left[ \frac{(p_t^A(x))^{\eta_t}}{(p_t^A(x))^{\eta_t} + \gamma^{\eta_t} (p_t^B(x))^{\eta_t}} \right]^{m_t}$$ 该设计的关键优势在于实现了截断锐度与惩罚强度的双参数解耦。相较之下，前人代表作 DNG 在数学上恰好受限于 $\eta_t = 1$ 的特殊退化情形，无法独立调节过渡边界的陡峭程度；而本文构造中，$\eta_t$ 单独控制相对优势边界的判别敏感度（当 $\eta_t \to \infty$ 时严格恢复为最优硬目标 $q^*$），$m_t$ 则自适应调节下权重的整体刚度，既能在两分布交界处精准保护 $p^A$ 的边缘模式，又能在 $p^B$ 主导区执行近乎全零的概率压制。

2. 前后向核匹配提议：通过双场前向漂移与匹配后向漂移消除首阶权重涨落 当采用序贯蒙特卡洛（SMC）追踪上述时变目标分布路径时，核心难题在于高维反向扩散过程中离散重要性增量权重 $\omega(x, y) = \frac{q_t(x) K_t(y|x)}{q_\tau(y) L_\tau(x|y)}$ 的方差极易爆炸，造成粒子家系迅速崩溃（weight collapse）。为稳定粒子滤波，本文从局部高斯转移核比的几何视角出发，构建前向辅助核 $K_t^b(y|x) = \mathcal{N}(y; x + h b_t(x), h s_t I)$ 与后向提议核 $L_\tau^a(x|y) = \mathcal{N}(x; y - h a_\tau(y), h s_\tau I)$。在前向漂移中，显式融合正负模型分数差场 $d_r(z) := \nabla_z \log p_r^A(z) - \nabla_z \log p_r^B(z)$ 与软目标奖励梯度场 $g_r(z) := \nabla_z \mathcal{R}_r(z) = \zeta_r(z) d_r(z)$（其中 $\zeta_r(z) = m_r \eta_r \theta_r(z)$），构建参数化双场前向漂移： $$b_t^{(\rho_1, \rho_2)}(z) = \mu_t^A(z) + s_t (\rho_1 d_t(z) + \rho_2 g_t(z))$$ 在此基础上，通过严谨的局部高斯对数权重泰勒展开，本文导出了唯一能够精确消除 $O_p(h^{1/2})$ 阶随机涨落的最优匹配后向漂移项： $$a_{\rho_1, \rho_2}^\star(y) = \nu_\tau^A(y) + s_\tau \left( \rho_1 d_\tau(y) + (\rho_2 - 1) g_\tau(y) \right)$$ 这一匹配选择彻底抵消了由布朗噪声主导的局部领先扰动，使单步增量对数权重降阶为确定性漂移项与二次型曲率项的纯净组合：$\log \omega_{\rho_1, \rho_2}^{\mathrm{G}} = h \alpha_{\rho_1, \rho_2}(y) + \Delta y^\top \Gamma_{\rho_1, \rho_2}(y) \Delta y + O_p(h^{3/2})$。其中张量 $\Gamma_{\rho_1, \rho_2}(y) = -(\rho_1 + \rho_2 \zeta_\tau) J d_\tau(y) + \chi_\tau (\rho_2 - \frac{1}{2}) d_\tau d_\tau^\top$ 直接反映了分数对比场的雅可比曲率 $J d_\tau$ 以及非线性门控引起的曲率畸变，为后续在线方差最小化提供了显式的解析结构。

3. 固定位移 JVP 评估：基于共享随机噪声的一阶精度复用与在线 ESS 最大化 虽然匹配后向核消除了首阶权重方差，但要进一步搜索最优提议参数 $\rho_2$ 以压制二阶二次型波动，常规做法需要对候选网格中的每一个 $\rho_2$ 分别进行包含雅可比矩阵的粒子位移采样与网络前向，在高维扩散模型中其计算成本完全不可承受。为此，本文设计了精巧的固定位移复用机制：在当前粒子状态 $y_i$ 下独立抽取标准高斯噪声 $\xi_i \sim \mathcal{N}(0, I)$，预先构造基准参数（$\rho_2 = 0$）对应的位移向量 $\Delta y_{0,i} = -h a_{0,i}^\star + \sqrt{h s_\tau} \xi_i$。数学推导表明，任意候选 $\rho_2$ 引起的实际位移偏移量与基准位移之差仅为 $O(h)$，将其直接代入二次曲率项 $\Delta y^\top \Gamma \Delta y$ 所产生的代换误差严格受控于 $O_p(h^{3/2})$，完全不破坏渐近精度。

这一数学特性使得粒子群在评估一维连续候选网格 $\rho_2 \in \mathcal{R}_2$ 时，所有候选能够共享同一次由分数网络反向模式或前向模式完成的雅可比-向量积（JVP）计算：$J d_\tau(y_i)[\Delta y_{0,i}] = \nabla_{y} (\nabla \log p_\tau^A - \nabla \log p_\tau^B)[\Delta y_{0,i}]$，每个模型每步仅需额外消耗一次 JVP。在得到每个粒子的解析对数权重代理后，算法直接计算粒子群更新后的累积权重经验相对方差，并在网格上解析选取极小化相对方差的参数点，这在代数上严格等价于最大化归一化累积有效样本量： $$\rho_{2,t}^\star = \arg\min_{\rho_2 \in \mathcal{R}_2} \frac{1}{N} \sum_{i=1}^N \left( \frac{V_i(\rho_2)}{\bar{V}(\rho_2)} - 1 \right)^2 = \arg\max_{\rho_2 \in \mathcal{R}_2} \widehat{\mathrm{nESS}}_t(\rho_2)$$ 在实现层面，为防止极端高维残差导致粒子权重畸变，算法对门控项、JVP 贡献与核项实施基于中位数中心化的温莎化截断（Winsorization），并在触发重采样时使用截断权重选取祖先、将残余差值结转至后续步。整套机制以极低的计算代价彻底稳固了粒子滤波过程，消除了 SMC 常见的粒子多样性崩塌。

损失函数 / 训练策略¶

本方法为全流程免训练（training-free）的测试期对齐算法，直接加载预训练好的正向与负向分数网络（或无条件模型与带负向提示词的条件分支）。在具体的推理离散化调度策略中： - 时间步推进与门控退火：在总步长 $K$（如文生图 $K=100$，分子生成 $K=200$）的反向扩散中，引入进程比例因子 $\lambda_k = \frac{k}{K-1} \in [0, 1]$。软目标幂次参数随时间线性提升（如文生图任务中 $m_k = 26 \lambda_k$），使得模型在去噪早期保持宽广的探索空间，在接近收敛时强力收紧特异性约束。门控阈值偏置 $\log c_k$ 则配备平滑的余弦升降窗函数，动态补偿隐空间对数密度比尺度的漂移。 - 网格搜索与固定系数：通常固定分数对比先验系数 $\rho_1 \in \{-1, -2\}$，在线激活优化时在均匀网格（例如 $\rho_2 \in [0, 1.2]$ 划分 101 个离散点）中选取使得累积 ESS 最大的 $\rho_{2,t}^\star$；在去噪最后一步冻结优化以保底最终图像细节。 - 重采样自适应触发：设定重采样门槛为归一化 $\mathrm{ESS} < 0.3$，并设置 10 步强制冷却窗口，确保整个反向轨迹上重采样发生次数通常不超过 10 次，且末尾 10 步严禁重采样以规避近终点处的粒子克隆失真。

实验关键数据¶

主实验¶

论文在四项涵盖低维至超高维、连续至结构化的代表性基准上展开了全面检验：40 分量二维高斯混合模型（40-MoG）、CIFAR-10 类别移除与多类别选择、Stable Diffusion v1.4 文生图特异性去噪、以及生物医药前沿的特异性 pMHC 蛋白结合物（binder）生成。下表汇报了基于 Stable Diffusion v1.4（100 步采样，32 个粒子）在 DNG 基准 10 组正负提示词对上的主实验量化对比（涵盖语义相关负向与无关负向）：

方法 (Method)	相关负向 CLIP+ (↑)	相关负向 CLIP- (↓)	相关负向 Margin (↑)	无关负向 CLIP+ (↑)	无关负向 CLIP- (↓)	无关负向 Margin (↑)	总体 Margin (↑)
Ours (Proposition 2)	0.2722	0.1413	0.1309	0.2679	0.0655	0.2024	0.1666
CFG (Negative Prompt)	0.2475	0.1473	0.1002	0.2561	0.0632	0.1928	0.1465
DNG (Koulischer et al.)	0.2758	0.1766	0.0992	0.2748	0.0812	0.1937	0.1465
FKC (Feynman-Kac Corr.)	0.2788	0.1652	0.1136	0.2796	0.0822	0.1974	0.1555
FK steering	0.2695	0.1758	0.0937	0.2727	0.0843	0.1884	0.1411
DriftLite	0.2700	0.1472	0.1228	0.2652	0.0737	0.1915	0.1572
DAS	0.2721	0.1607	0.1114	0.2800	0.0694	0.2107	0.1611

消融实验¶

为孤立验证本文提议分布方差优化机制（在线选取 $\rho_2$ 最大化累积 ESS）对粒子滤波稳定性和多样性的决定性贡献，论文在 Prompt 1（"Medieval feast" 场景配合相关负提示词 "Chalices, candles"）上使用 5 个固定成对随机种子展开消融评测（单次采样 8 个粒子）：

提议配置 (Proposal Config)	Margin (↑)	$R_{\mathrm{eff}}$ 有效根数 (↑)	独立存活根数 (↑)	$F_{\max}$ 最大家族比 (↓)	重采样次数 (↓)	说明
固定提议 ($\rho_2 = 0$)	0.1294 ± 0.0130	3.49 ± 1.41	4.20 ± 1.64	0.425 ± 0.143	1.80 ± 0.84	仅消除首阶漂移，无在线曲率方差自适应
Full-ESS 优化 (Ours)	0.1363 ± 0.0080	5.07 ± 1.74	5.80 ± 1.30	0.300 ± 0.112	0.80 ± 0.45	完整模型：单步固定位移 JVP 在线方差最小化

此外，针对固定位移 JVP 代理对真实一阶高斯增量权重近似程度的消融（附录表 4，单步粒子居中统计）显示：引入 JVP 修正使代理权重与严格二次评估真实权重的 Pearson 相关系数从 0.689 骤升至 0.804，中心化绝对平均误差（MAE）降低了 22.0%（从 2.094 降至 1.633），归一化 ESS 预测误差亦下降了 7.4%，有力证明了单次 JVP 跨参数复用的一致性与必要性。

关键发现¶

相关负向概念抑制实现显著突破：在文生图实验中，当负向提示词与正向场景存在强语义关联（如中世纪宴会与高脚杯/蜡烛）时，本文方法的特异性裕度（Margin = CLIP+ - CLIP-）达到 0.1309，比基线最优的 DriftLite（0.1228）高出 6.6%，相比经典 CFG 和 DNG 的提升幅度超 30%，同时相关负向的 CLIP 相似度压制到了全场最低的 0.1413。
提议方差优化从根本上遏制 SMC 粒子退化：消融数据显示，开启在线 $\rho_2$ 优化后，最终存活的有效祖先根数（$R_{\mathrm{eff}}$）提升了 45.0%（从 3.49 跃升至 5.07），独立存活根数提高 38.1%，单一大粒子家族所占据的极端比例（$F_{\max}$）从 42.5% 骤降至 30.0%，因权重塌缩触发的重采样次数减少了 55.6%（从 1.80 次压减至 0.80 次），彻底扭转了传统 SMC 在无在线提议控制下出现的视觉结构严重溃缩问题。
跨模态生物大分子特异性设计的优越泛化：在极具挑战的 HLA-A*02:01–NLVPMVATV 对比 P4F 突变脱靶靶标（NLVFMVATV）的 80 残基蛋白设计中，由于两靶标骨架完全相同、仅肽段第 4 位单个氨基酸差异，基于 Boltz-2 验证的界面特异性裕度（$\Delta_i = A_{\mathrm{desired}} - A_{\mathrm{undesired}}$）显示：本文生成的 64 个分子达到 0.1856 的均值与 0.1822 的中位数，显著击败未施加负向引导的 BoltzGen 原版（均值 0.1786，中位数 0.1587）与经典 DNG（均值 0.1483），证明了该数学架构不仅限于像素生成，更适用于微观分子相互作用设计。

亮点与洞察¶

似然比门控与幂次分离在数学上统一了负向引导的理论谱系：以往负向引导常被视为 heuristic trick，本文证明了无约束排斥必然引发模式漂移，而将目标回溯至分布重叠泛函可严格推导出截断边界。将 DNG 归约为 $\eta=1$ 的特例，为后续生成控制中门控函数的设计树立了严谨的理论标杆。
固定位移一阶复用巧妙绕开高维雅可比矩阵的计算死穴：在扩散模型中计算 score 网络的 Hessian 或多次 JVP 极其昂贵。本文利用候选参数扰动所致位移差为 $O(h)$、代入二次型后误差为 $O_p(h^{3/2})$ 的渐近阶数特性，实现了一次 JVP 计算即可评测全网格候选，是高维粒子控制工程中极其精彩的提速技巧。
算法设计具备跨模态、免训练的强大即插即用性：全篇理论仅依赖正负两套参考模型的局部漂移与得分函数，对网络骨架（无论是 DDPM UNet、Latent Diffusion 还是蛋白质 3D 扩散模型 BoltzGen）均保持黑盒，展现出在复杂科学计算与多概念生成对齐领域的巨大迁移潜力。

局限与展望¶

计算开销依然受限于粒子滤波与双模型前向：尽管通过共享噪声复用 JVP 大幅减少了额外开销，但由于运行 SMC 粒子群（通常需 8 至 32 个粒子）并在每步需分别查询正负两套模型前向，其显存与采样耗时仍数倍于单次确定性 DDIM 采样，限制了其实时交互部署。
当前理论强依赖随机 SDE 去噪机制：整个匹配后向核抵消 $O_p(h^{1/2})$ 涨落与二次型方差展开均严格建立在随机扩散 SDE（带有限扩散项 $s_t > 0$）的伊藤微积分框架下，目前尚无法直接平移到确定性常微分方程（ODE / Flow Matching / EDM）求解器中。
超参数在跨领域迁移时仍需校准：门控退火函数偏置 $\log c_t$、基础对比系数 $\rho_1$ 以及初始逆温度 $\eta_t$ 在图像隐空间与三维分子构象空间中的尺度差异巨大，目前仍依赖少量的经验试探，缺乏通用的数据驱动自适应机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从重叠度极小化变分泛函严格导出特异性扩散目标分布，并推导了抵消领先涨落的核匹配 SMC 提议与固定位移 JVP 评估方案，理论与工程设计极富启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 40-MoG 理论验证、CIFAR-10 严格 Pareto 曲线、Stable Diffusion 文生图 10 组场景、以及微观生物医药 pMHC 突变识别，指标扎实、消融完备。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严丝合缝，附录提供了完备的随机微积分证明与工程实现细节，图表清晰。
价值: ⭐⭐⭐⭐☆ 为扩散模型概念擦除、细粒度负向控制及高灵敏度分子设计提供了理论完备且免微调的全新基准工具，若能进一步拓展至 ODE 求解器将更具普适实用性。

提议配置 (Proposal Config)	Margin (↑)	\(R_{\mathrm{eff}}\) 有效根数 (↑)	独立存活根数 (↑)	\(F_{\max}\) 最大家族比 (↓)	重采样次数 (↓)	说明
固定提议 (\(\rho_2 = 0\))	0.1294 ± 0.0130	3.49 ± 1.41	4.20 ± 1.64	0.425 ± 0.143	1.80 ± 0.84	仅消除首阶漂移，无在线曲率方差自适应
Full-ESS 优化 (Ours)	0.1363 ± 0.0080	5.07 ± 1.74	5.80 ± 1.30	0.300 ± 0.112	0.80 ± 0.45	完整模型：单步固定位移 JVP 在线方差最小化