Slowly Annealed Langevin Dynamics: Theory and Applications to Training-Free Guided Generation¶

会议: NeurIPS 2026
arXiv: 2605.07950
OpenReview: https://openreview.net/forum?id=8vtlOA7wij
代码: https://github.com/anitan0925/sald
领域: 其他
关键词: 朗之万动力学, 无训练引导采样, 时间降速, 对数索伯列夫不等式, 速度感知动力学

一句话总结¶

本文提出了缓慢退火朗之万动力学（SALD）的边际逆向 KL 微分不等式非渐进收敛理论，并进一步针对扩散与流匹配模型设计了速度感知动力学（VA-SALD），将先验传输速度与引导残差解耦，实现了理论有界且高质量的无训练引导采样。

研究背景与动机¶

高维复杂概率分布的精确采样是统计物理、贝叶斯推断与现代生成建模的基石。在扩散模型与基于分数的生成模型中，算法本质上沿着一系列平滑变形的中间边际分布构成的路径推进，通过时变分数函数引导粒子从简单参考分布演化至目标数据分布。为了提高非对数凹复杂分布的采样探索能力，退火朗之万方法被广泛应用。近期理论研究开始关注算法时间尺度的减速（slowdown）效应，例如通过 Girsanov 定理进行路径测度比较，揭示了路径几何复杂度对采样的约束。然而，现有的路径测度理论框架严重依赖初始分布与目标路径起点的严格匹配假设，难以刻画中间目标分布泛函不等式（如对数索伯列夫不等式 LSI）在边际分布层面上所诱导的动态收缩，无法直接解释降速如何协同消除初始化分布偏差。

在实际下游生成任务中，研究者往往希望利用预训练分数模型在测试阶段实现引导采样，使生成样本符合特定的奖励偏好、下游属性约束或黑盒评分。经典的 Doob h-变换虽然提供了严格的测度倾斜理论支撑，但其实施高度依赖难以获取的时变条件期望网络，需要付出昂贵的网络重训练成本或大量的推理期蒙特卡洛评估。若直接对加权后的倾斜目标路径运行退火朗之万动力学，算法则必须为追踪整条全新目标路径承担全部复杂的几何动作代价，极大地牺牲了采样效率，并在强引导下极易导致样本偏离真实数据流形，产生严重的视觉伪影。

针对上述矛盾，本文的切入角度是将动力学跟踪分析深入到边际分布的微分演化层面，并在动力学漂移项中显式保留预训练模型的固有传输速度，从而让退火修正聚焦于引导本身带来的局部分布扰动。核心 idea：通过边际逆向 KL 微分不等式建立融合中间 LSI 收缩与路径能量复杂度的非渐进收敛界，并构造融合预训练边际传输速度的速度感知朗之万动力学（VA-SALD），使得时间降速仅需补偿引导项诱发的动力学残差，实现免训练、有理论保证的稳定引导采样。

方法详解¶

整体框架¶

本文的方法体系分为两层：基础理论层 SALD 与算法拓展层 VA-SALD。基础 SALD 针对随时间演化的连续目标分布路径 $\pi_t$（$t \in [0, T]$），通过引入单调递增的时间重参数化映射 $t = t(s)$（例如线性降速 $t(s) = s/r$，$r \ge 1$ 为降速倍率，$s \in [0, rT]$），以更平缓的分数场驱动朗之万扩散过程。算法拓展层 VA-SALD 则立足于预训练扩散模型与流匹配模型，识别出预训练边缘分布自身的正向与反向传输速度场 $u_t$。在面对由引导函数 $f_t$ 倾斜的时变目标 $\pi_t \propto p_t \exp(-f_t)$ 时，VA-SALD 将预训练传输速度显式并入漂移项构造参考场 $c_t$，而朗之万随机扰动仅用于纠正引导项所导致的残差向量场 $m_t$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["预训练扩散/流匹配模型 + 引导函数 f"] --> B["时间降速重参数化<br/>t = s/r 扩大采样时间尺度"]
    B --> C["速度感知参考场分解<br/>提取预训练边缘速度 ut 构造漂移"]
    C --> D["Doob 一致性缺陷刻画与残差修正<br/>朗之万噪声补偿引导偏差 mt"]
    D --> E["欧拉-马鲁山离散化采样<br/>零阶梯度估计黑盒引导"]
    E --> F["倾斜目标分布采样输出<br/>πT ∝ p_data exp(-f)"]

关键设计¶

1. 边际逆向 KL 微分不等式分析：建立降速与 LSI 收缩的非渐进误差界

以往基于 Girsanov 变换的路径空间分析仅能在初始分布与路径起点完全重合（$\rho_0 = \pi_0$）时导出前向 KL 散度界，无法反映边缘测度沿几何流收缩的物理本质。本文直接对边际分布逆向 KL 散度 $\mathrm{KL}(\rho_s \| \tilde{\pi}_s)$ 关于算法时间 $s$ 求导，利用朗之万过程对应的 Fokker-Planck 方程展开时间导数： $$ \frac{\mathrm{d}}{\mathrm{d}s}\mathrm{KL}(\rho_s|\tilde{\pi}_s) \le -\frac{1}{2}\mathrm{FI}(\rho_s|\tilde{\pi}s) + \frac{1}{2}|\tilde{v}s|^2 $$ 其中 $\mathrm{FI}$ 为相对 Fisher 信息量，$\tilde{v}_s = \dot{t}(s) v_{t(s)}$ 为生成变动目标分布的传输速度场。结合中间分布满足的对数索伯列夫不等式（LSI，常数为 $C_t^{\mathrm{LSI}}$），将耗散性的 Fisher 信息转化为指数收缩项 $-C_{t(s)}^{\mathrm{LSI}}\mathrm{KL}$。进一步引入速度场的 $\alpha$-能量复杂度 $\mathfrak{E}_\alpha(\pi_t, v_t) = \frac{1}{\alpha}\log \mathbb{E}_{\pi_t}[\exp(\alpha \|v_t\|^2)]$ 及路径总动作 $\mathcal{A}_\alpha(\pi, v) = \int_0^T \mathfrak{E}_\alpha(\pi_t, v_t) \mathrm{d}t$。在线性降速 $t(s) = s/r$ 下，最终终端误差严格受控于： $$ \mathrm{KL}(\rho_S|\pi_T) \le \exp\left(-r\int_0^T C_t^{\mathrm{LSI}}\mathrm{d}t\right)\exp\left(\frac{T}{2r\alpha}\right)\mathrm{KL}(\rho_0|\pi_0) + \frac{1}{2r}\exp\left(\frac{T}{2r\alpha}\right)\mathcal{A}\alpha(\pi, v) $$ 该界首次清晰地揭示了降速的双重作用机制：只要路径前期累积 LSI 常数大于零，初始分布失配误差便随降速倍率 $r$ 呈指数级快速衰减；同时路径动态转移的几何误差也随 $1/r$ 呈线性收敛。

2. 速度感知参考场分解：将先验传输速度与引导修正解耦

在预训练生成模型引导采样中，如果直接将 SALD 应用于引导目标 $\pi_t \propto p_t \exp(-f_t)$，采样器必须承担跟踪整条移动路径的全部动作复杂度 $\mathcal{A}_\alpha(\pi, v)$。本文注意到预训练边缘路径 $p_t$ 自身具有明确的连续性传输速度 $u_t = -B_t + \frac{\sigma_t^2}{2}\nabla \log p_t$。VA-SALD 将参考速度场 $c_t$ 显式纳入动力学中： $$ \mathrm{d}X_s = \left(\dot{t}(s) c_{t(s)}(X_s) + \frac{\sigma_{t(s)}^2}{2}\nabla \log \pi_{t(s)}(X_s)\right)\mathrm{d}s + \sigma_{t(s)}\mathrm{d}W_s $$ 在无引导（$f_t \equiv 0$）情况下，当粒子的概率密度达到当前边缘 $p_{t(s)}$ 时，分数漂移与扩散噪声完全抵消，动力学完全由速度场 $\dot{t}(s)u_{t(s)}$ 驱动，其 Fokker-Planck 方程的解恰好是降速后的预训练边缘分布，无论降速倍率 $r$ 为何值均不引入系统性偏差。在存在引导时，全传输速度分解为 $v_t = c_t + m_t$，其中 $m_t$ 为修正场。收敛理论（Theorem 3 与 Corollary 2）证明，VA-SALD 的跟踪误差复杂度完全由相对修正场的能量 $\mathcal{A}_\alpha(\pi, m)$ 决定，而非全速度场 $v_t$。针对参考场设置，本文提供了两种选择：Option I 直接令 $c_t^I = u_t$；Option II 进一步将显式引导梯度纳入参考场 $c_t^{\mathrm{II}} = u_t - \frac{\sigma_t^2}{2}\nabla f_t$。

3. Doob 一致性缺陷刻画与离散化实现：支撑黑盒无训练引导采样

针对 Option II，若引入理想 Doob 变换的调和势能 $F_t^h = -\log \mathbb{E}[\exp(-f(X_T)) \mid X_t = x]$，则当预设引导 $f_t = F_t^h$ 时，修正场完全归零（$m_t^{\mathrm{II}} = 0$）。对于任意实用的启发式引导函数 $f_t$，修正场的庞加莱不等式界受控于引导势差 $\delta_t = f_t - F_t^h$ 的动态不一致残差： $$ \mathcal{R}_t(f) = (\partial_t + \mathcal{L}_t^h)\delta_t - \frac{\sigma_t^2}{2}|\nabla \delta_t|^2, \quad \mathcal{A}0(\pi, m^{\mathrm{II}}) \le \int_0^T \frac{1}{C_t^{\mathrm{PI}}}\mathrm{Var}t $$ 在离散化实现中，针对黑盒或不可微的奖励函数，本文采用高斯平滑与零阶梯度估计器构建有效引导梯度 }[\mathcal{R}_t(f)]\mathrm{d$\nabla f_t(x) \approx \frac{1}{N \bar{\sigma}_t}\sum_{i=1}^N f(x + \bar{\sigma}_t \epsilon^i)\epsilon^i$。结合 Euler-Maruyama 离散化方案，定理 2 与定理 4 证明，在有界时间与空间 Lipschitz 条件下，离散采样器在达到 $\varepsilon^2$ 逆向 KL 误差时的时间步复杂度为 $\mathcal{O}(\varepsilon^{-6})$。这使得 VA-SALD 无需反向伴随求解或复杂的神经网络显式拟合，即可稳健落地于工业级文生图骨干网络。

损失函数 / 训练策略¶

VA-SALD 属于完全无训练（Training-Free）的测试期推理采样算法，其核心执行流程采用基于流匹配或 SDE 的离散单步迭代规则。以流匹配预训练模型为例，采样更新公式为： $$ X_{(k+1)\eta} = \left(1 - \frac{\sigma_t^2}{2(1-t)}\eta\right)X_{k\eta} - \left(\frac{1}{r} + \frac{t\sigma_t^2}{2(1-t)}\right)\eta v_t(X_{k\eta}) - \frac{c\sigma_t\sqrt{\eta}}{2N}\sum_{i=1}^N \hat{f}(X_{k\eta} + \sigma_t\sqrt{\eta}\epsilon^i)\epsilon^i + \sigma_t\sqrt{\eta}w $$ 其中 $t = k\eta / r$，$r$ 为降速参数，$\eta$ 为离散步长，$w \sim \mathcal{N}(0, I)$，$\hat{f}$ 为群体归一化后的黑盒奖励评分，$c$ 为引导强度系数。算法无需更新预训练骨干网络权重，仅在推理步进中增加局部零阶扰动评估。

实验关键数据¶

主实验¶

合成实验在二维方差保持（VP）扩散模型上开展，测试两组高难度非对数凹引导任务：两高斯分布受双月函数（Two moons）引导，以及八高斯环形混合分布受左半平面模式惩罚（Eight Gaussian）引导。对比基线包括 SALD、VA-SALD 以及代表性的推理期 Doob 近似方法 DOIT。在对齐粒子数和步数计算预算下，评估各预算倍率 $r \in \{1, 2, 4, 10, 50, 100\}$ 下终端生成测度与真实目标倾斜测度之间的逆向 KL 散度（越小越好）。

任务	方法	r=1	r=2	r=4	r=10	r=50	r=100
Two moons	SALD	0.715	0.592	0.525	0.516	0.523	0.511
Two moons	VA-SALD	0.556	0.549	0.546	0.528	0.527	0.518
Two moons	DOIT	1.267	1.272	1.265	1.257	1.268	1.270
Eight Gaussian	SALD	1.547	1.239	1.057	1.005	1.013	1.032
Eight Gaussian	VA-SALD	1.015	1.020	1.023	1.014	1.014	1.022
Eight Gaussian	DOIT	2.198	2.191	2.192	2.222	2.190	2.181

消融实验¶

在真实高分辨率文生图任务中，以 Stable Diffusion 3.5 Medium（Flow Matching 骨干）为底座，接入黑盒美学评分（Aesthetic Score）、人类偏好评分（PickScore）和文本对齐评分（CLIPscore），引导系数设为强引导 $c=8$，降速因子 $r=4$（总步数 $K=160$），与经典零阶引导流匹配基线 FM-ZG 及 FM-Evolv 进行对比。

Prompt 任务	指标 / 方法	FM-Evolv	FM-ZG	VA-SALD (本文)	增益对比
Task 1 (装饰艺术黄铜狐狸)	Aesthetic Score (↑)	5.547 ± 0.323	5.977 ± 0.258	6.061 ± 0.479	+0.084 vs FM-ZG
Task 1 (装饰艺术黄铜狐狸)	PickScore (↑)	20.795 ± 0.688	23.079 ± 0.467	24.207 ± 0.764	+1.128 vs FM-ZG
Task 1 (装饰艺术黄铜狐狸)	CLIPscore (↑)	32.089 ± 3.086	33.733 ± 2.941	35.264 ± 3.441	+1.531 vs FM-ZG
Task 2 (浮空岛发光巨龙)	Aesthetic Score (↑)	5.633 ± 0.590	6.291 ± 0.325	6.586 ± 0.140	+0.295 vs FM-ZG
Task 2 (浮空岛发光巨龙)	PickScore (↑)	21.420 ± 0.528	22.201 ± 0.537	24.526 ± 0.433	+2.325 vs FM-ZG
Task 2 (浮空岛发光巨龙)	CLIPscore (↑)	31.794 ± 1.916	29.729 ± 0.714	29.619 ± 1.187	-0.110 vs FM-ZG

关键发现¶

VA-SALD 在小预算下即展现卓越跟踪精度：在两维合成任务中，当 $r=1$ 时，SALD 的 KL 误差因缺乏先验速度补偿而显著偏高（0.715 与 1.547），而 VA-SALD 在 $r=1$ 时便直接达到 0.556 与 1.015，几乎提前锁定了极限精度，充分证明先验传输速度承担了绝大部分动力学转移开销。
降速单调性符合理论预言：SALD 的 KL 误差随着降速倍率 $r$ 的增加从 0.715 持续收敛至 0.511，验证了 Theorem 1 与 Theorem 2 中路径动作项随 $1/r$ 衰减的结论。
强引导下防止语义坍缩与伪影：在强引导系数 $c=8$ 的图像生成测试中，FM-ZG 与 FM-Evolv 等启发式引导方法由于破坏了底层扩散轨道，生成图像出现严重的结构过饱和与肢体畸变；VA-SALD 依靠先验速度场支撑与有理论保证的正则化平衡，在取得更高美学与人类偏好分值的同时，保持了完整的图像语义与纹理细节。

亮点与洞察¶

从路径空间到边际微分的理论跃升：打破了此前 SALD 依赖 Girsanov 定理的理论局限，巧妙地使用逆向 KL 散度与 Fokker-Planck 方程构建微分不等式，证明了中间分布的 LSI 能够以指数速率清洗掉初始分布的不匹配误差。
速度场分解的工程优雅性：将先验生成模型的概率流速度场直接复用为参考场，不仅使得无引导动力学严格无偏，更把有引导采样的难度从全状态转移降维至引导项诱发的动力学残差，大幅节省了引导采样的计算预算。
黑盒即插即用的通用适配力：结合零阶梯度估计与高斯平滑，该方法无需对评分函数进行可微求导，亦无需训练昂贵的时间依赖指导网络，可无缝嵌入 SD-3.5M 等最新流匹配扩散底座。

局限与展望¶

采样步数开销增加：时间降速本质上是以增加算法时间与计算迭代步数为代价来换取高精度跟踪，在算力受限的低延迟生成场景中缺乏直接加速手段，未来需探索与模型蒸馏或预测校正步数压缩算法的结合。
时变引导排程的设计仍属启发式：尽管理论界定了修正场 $m_t$ 的能量上界，但在给定终端奖励函数 $f$ 时，如何设计最优的中间退火引导路径 $f_t$ 以最小化整个轨迹的残差复杂度 $\mathcal{A}_\alpha(\pi, m)$，在数学上仍是一个开放问题。
理论分析依赖精确预训练分数假设：当前所有非渐进收敛证明均基于获得真实分数网络与引导梯度的 Oracle 设定，未显式建模实际神经网络的分数匹配估计误差与方差传播。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出边际逆向 KL 微分不等式分析框架，并开创性地设计了将预训练先验速度与引导残差解耦的 VA-SALD。
实验充分度: ⭐⭐⭐⭐☆ 涵盖严密的二维高斯混合分布理论定量测定与高维真实图像生成，若能覆盖更全面的多样性与人工主观评测则更佳。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密精炼，定理体系层层递进，概念阐述清晰透彻。
价值: ⭐⭐⭐⭐⭐ 为扩散模型与连续吸引动力学的测试期无训练对齐提供了坚实的理论基石与极具实用价值的算法原型。