Diffusion Models without Classifier-free Guidance¶

会议: NeurIPS 2026
arXiv: 2502.12154
代码: https://github.com/tzco/Diffusion-wo-CFG
领域: 图像生成
关键词: 扩散模型, 无分类器引导, 模型引导, 生成加速, 流匹配

一句话总结¶

提出模型引导（Model-guidance, MG），将原本在推理阶段通过两阶段外推实现的无分类器引导（CFG）转化为训练期隐式贝叶斯后验分数的端到端学习，彻底移除推理阶段的无条件前向计算，将推理吞吐提升一倍并在 ImageNet 256×256 上创下 1.34 FID 的 SOTA 记录。

研究背景与动机¶

扩散模型与流匹配（Flow Matching）模型已成为现代视觉内容生成的核心支柱，但在条件生成中普遍面临“低温采样”困境与条件对齐不足的难题。为了提高样本保真度并强化条件控制，无分类器引导（Classifier-free Guidance, CFG）几乎成为现代扩散系统的标准配置。在常规流程中，网络在训练阶段以一定概率随机丢弃条件标签并替换为空类别（empty class $\varnothing$），而在推理阶段的每一个去噪步内，模型必须分别执行一次条件前向预测 $\epsilon_\theta(x_t, t, c)$ 和一次无条件前向预测 $\epsilon_\theta(x_t, t, \varnothing)$，再通过线性外推组合二者得分。

然而，这种普遍采纳的 CFG 范式在带来质量提升的同时伴随着显著的结构性代价。在计算效率上，每个去噪步必须进行双倍的网络前向评估（NFEs），直接使推理延迟翻倍且显存与计算开销急剧增长。在优化机制上，强制单一网络同时学习有条件与无条件两个不同分布，构成了多任务竞争，不仅分散了模型的表征容量，还容易导致空类别伪分布的过度拟合。更严峻的是理论上的非自洽性：CFG 在推理阶段由外推构建的人工向量场并不是任意真实热扩散过程的有效得分函数，盲目沿着后验极大方向推动轨迹会导致去噪路径扭曲、严重的模式坍塌（mode dropping）以及样本颜色过饱和与细节单调。

针对这一核心矛盾，本文提出抛弃推理期的两路打补丁外推，将引导机制前置内化到训练阶段。扩散模型自身对条件与无条件得分的预测能力，本质上蕴含了条件后验概率的信息；通过贝叶斯定理，完全可以将模型本身作为隐式分类器，在单次前向目标中直接拟合校准后的后验联合分布。核心 idea：提出模型引导（Model-guidance, MG），利用模型自身的 EMA 预测在线估计条件后验分数并校准训练目标，实现单分支端到端学习，在推理阶段彻底去除 CFG 并使吞吐翻倍，同时大幅加速训练收敛与生成质量。

方法详解¶

整体框架¶

模型引导（Model-guidance, MG）旨在构建一种全新的扩散与流模型训练目标，使得训练收敛后的模型在推理采样时无需依赖任何额外的引导计算或无条件分支，仅需单次前向即可直接输出高保真、对齐准确的去噪方向。整个方法在输入端接收加噪隐变量 $x_t$ 与条件 $c$，通过网络自身的 EMA 影子副本在线提供无条件与条件预测的分数差分作为后验估计，并借助停止梯度操作将该偏置量叠加至监督目标中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据 (x_0, c) 与高斯噪声 ε<br/>前向加噪生成潜变量 x_t"] --> B["隐式贝叶斯后验与单分支引导目标<br/>利用模型估计 ∇log p(c|x_t)"]
    B --> C["停止梯度与 EMA 影子模型更新<br/>sg(ε̃_θ(x_t,t,c) - ε̃_θ(x_t,t,∅)) 提供稳定目标"]
    C --> D["构造校准目标与单次反向传播<br/>L_MG = ||ε_θ(x_t,t,c) - ε'||²"]
    D --> E["自适应引导权重与尺度感知注入<br/>动态调度 w 或注入标量条件"]
    E --> F["推理采样：单次前向无引导生成<br/>完全丢弃无条件前向，推理加速 2×"]

在训练阶段，给定加噪数据 $x_t$，MG 构造修正后的目标 $\epsilon'$（扩散模型）或 $u'$（流模型），并计算均方误差损失以更新网络参数；在推理阶段，网络退化为标准的单分支常微分方程（ODE）或随机微分方程（SDE）解算器，每一次采样仅执行一次神经网络计算。

关键设计¶

1. 隐式贝叶斯后验与单分支引导目标：将 CFG 引导偏移内化到训练目标

传统条件扩散模型的目标是最大化条件分布对数似然 $\nabla_{x_t} \log p_\theta(x_t|c)$，但训练时网络往往忽视弱条件信号；而分类器引导通过后验项修正联合分布 $\tilde{p}_\theta(x_t|c) \propto p_\theta(x_t|c) p_\theta(c|x_t)^w$。本文的关键突破在于直接求解该联合分布得分的闭式表达，并转化为训练期损失： $$\nabla_{x_t}\log\tilde{p}_\theta(x_t|c) = \nabla_{x_t}\log p_\theta(x_t|c) + w \cdot \nabla_{x_t}\log p_\theta(c|x_t)$$ 由于噪声输入下的显式分类器 $p_\theta(c|x_t)$ 难以获取，本文借助贝叶斯法则展开后验对数几率：$\log p_\theta(c|x_t) = \log p_\theta(x_t|c) - \log p_\theta(x_t) + \log p(c) \propto \log p_\theta(x_t|c) - \log p_\theta(x_t)$。由于扩散模型的条件输出与无条件输出分别拟合 $-\sigma_t \nabla_{x_t} \log p_t(x_t|c)$ 与 $-\sigma_t \nabla_{x_t} \log p_t(x_t)$，后验梯度的得分项即可由模型自身的输出差值直接表示： $$\nabla_{x_t}\log p_\theta(c|x_t) \propto \frac{1}{\sigma_t}\left(\epsilon_\theta(x_t, t, \varnothing) - \epsilon_\theta(x_t, t, c)\right)$$ 基于此，MG 不再在推理阶段组合两路输出，而是直接修正训练的重参数化回归目标： $$\epsilon' = \epsilon + w \cdot (\tilde{\epsilon}_\theta(x_t, t, c) - \tilde{\epsilon}_\theta(x_t, t, \varnothing))$$ 通过让网络在训练期拟合校准后的得分目标 $\epsilon'$，模型在推理时天然生成受后验校准的高质量轨迹，彻底免除了推理阶段计算无条件分支的开销。

2. 停止梯度与 EMA 影子模型更新：防止自举反馈引发模型崩溃

在上述修正目标中，目标 $\epsilon'$ 依赖于模型自身当前参数对条件与无条件输入的预测。如果直接将这一依赖纳入自动微分的反向传播流图，模型会陷入自指的自强化循环，迅速导致预测方差发散或模式坍塌。借鉴自监督对比学习（如 BYOL）中非对称架构的设计哲学，本文在目标构造中显式引入了停止梯度算子 $\text{sg}(\cdot)$。同时，差分信号由在线网络参数的指数移动平均（EMA）影子模型 $\tilde{\epsilon}_\theta$ 计算得出： $$\epsilon' = \epsilon + w \cdot \text{sg}\left(\tilde{\epsilon}_\theta(x_t, t, c) - \tilde{\epsilon}_\theta(x_t, t, \varnothing)\right)$$ 这一设计阻断了目标项向自身的梯度回传，使 EMA 模型充当了渐进式优化的隐式教师，平滑了批次内部的得分估计噪声，确保了在线学习过程的严格数值稳定性。

3. 自适应引导权重与尺度感知注入：摆脱手动搜索并赋予灵活调节能力

在固定权重的基线设置中，引导超参数 $w$ 对生成质量与多样性的折中至关重要，但传统的网格搜索在大型模型预训练中极其昂贵。为此，本文设计了双重机制。其一是自适应动态调度：训练初期初始化 $w=0$（即标准无引导扩散扩散），随后在训练进程中根据验证集生成质量指标动态使用 EMA 步进更新 $w$；当质量指标提升变缓时自动增加 $w$，收敛时平稳收敛到最优折中点。其二是尺度感知网络（Scale-aware Network）：将采样强度 $w$ 作为标量条件与时间步 $t$ 一同编码并注入 DiT 的自适应归一化层（AdaLN）： $$\mathcal{L}_{\text{MG}} = \mathbb{E}_{t, (x_0, c), \epsilon, w} \|\epsilon_\theta(x_t, t, c, w) - (\epsilon + w \cdot \text{sg}(\epsilon_\theta(x_t, t, c, 1) - \epsilon_\theta(x_t, t, \varnothing, 0)))\|^2$$ 此举赋予了单一权重模型在推理时任意调节采样多样性与保真度的能力，且在任意 $w$ 下均保持严格的单次前向推理。

4. 基于全概率公式的无条件分数近似：彻底消除空标签多任务干扰

在常规 CFG 与标准 MG 实现中，估计无条件边际似然 $\nabla_{x_t}\log p_t(x_t)$ 依赖于训练集随机丢弃条件的空标签（$\varnothing$）。为了彻底终结空标签带来的多任务容量分散与分布畸变，本文提出了基于全概率公式的完全无标签扩展。利用边际密度的边缘化积分： $$\nabla_{x_t}\log p_t(x_t) = \nabla_{x_t}\log \sum_c p_t(x_t|c)p(c) \approx -\frac{1}{N\sigma_t}\sum_{i=1}^N \epsilon_\theta(x_t, t, c_i)$$ 在训练批次中，通过采样 $N$ 个随机类别并聚合条件输出均值，即可无偏逼近无条件先验。该机制彻底移除了人工构造的空类别 $\varnothing$，让网络权重 $100\%$ 专注于真实条件分布的拟合。

一个完整示例¶

以 ImageNet 条件生成训练中的单个迭代步为例： 1. 数据采样：从数据集抽取真实图像 $x_0 \in \mathbb{R}^{32 \times 32 \times 4}$ 及类别标签 $c \in \{0, \dots, 999\}$，采样高斯白噪声 $\epsilon \sim \mathcal{N}(0, I)$ 与随机时间步 $t \sim \mathcal{U}(0, 1)$。 2. 前向加噪：计算加噪潜变量 $x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$。 3. EMA 影子推断与目标校准：使用 EMA 影子模型分别评估条件预测 $\tilde{\epsilon}_\theta(x_t, t, c)$ 与空类别预测 $\tilde{\epsilon}_\theta(x_t, t, \varnothing)$（若采用全概率公式则聚合批次内其他类别预测）。设定引导系数 $w=1.5$，计算修正目标： $$\epsilon' = \epsilon + 1.5 \cdot \text{sg}\left(\tilde{\epsilon}_\theta(x_t, t, c) - \tilde{\epsilon}_\theta(x_t, t, \varnothing)\right)$$ 4. 损失与梯度更新：将加噪张量 $x_t$ 与条件 $c$ 送入在线网络，计算前向输出 $\epsilon_\theta(x_t, t, c)$，并通过 MSE 损失 $\mathcal{L}_{\text{MG}} = \|\epsilon_\theta(x_t, t, c) - \epsilon'\|^2$ 仅对在线网络参数进行单次反向传播与 AdamW 优化。 5. 推理采样：采样时从标准高斯噪声出发，解算 ODE 时每一步仅调用一次 $\epsilon_\theta(x_t, t, c)$，在 50 或 250 步内即可直出高清图像，总计前向评估次数仅为常规 CFG 的 $50\%$。

损失函数 / 训练策略¶

针对扩散模型（Diffusion）与流匹配模型（Flow Matching），损失函数统一表达为加权对齐损失： - 扩散模型目标： $$\mathcal{L}_{\text{MG-Diffusion}} = \mathbb{E}_{t, (x_0, c), \epsilon} \left\| \epsilon_\theta(x_t, t, c) - \left( \epsilon + w \cdot \text{sg}(\tilde{\epsilon}_\theta(x_t, t, c) - \tilde{\epsilon}_\theta(x_t, t, \varnothing)) \right) \right\|^2$$ - 流模型（Flow Matching）目标： $$\mathcal{L}_{\text{MG-Flow}} = \mathbb{E}_{t, (x_0, c), \epsilon} \left\| u_\theta(x_t, t, c) - \left( u + w \cdot \text{sg}(u_\theta(x_t, t, c) - u_\theta(x_t, t, \varnothing)) \right) \right\|^2$$ 其中真实向量场目标为 $u = x_0 - \epsilon$。优化器采用 AdamW（学习率 $1\times 10^{-4}$，权重衰减 0），批大小设为 256。条件丢弃率 $\lambda$ 设为 0.10，EMA 衰减系数设为 0.9999。该训练方式仅需在原始扩散损失计算中增加一行代码即可即插即用。

实验关键数据¶

主实验¶

在 ImageNet $256 \times 256$ 条件图像生成基准上，作者评估了主流扩散模型和自回归模型在无 CFG 及带 CFG 条件下的表现（50K 样本）：

表 1：ImageNet 256×256 无 CFG 推理下的性能对比

模型	FID $\downarrow$	sFID $\downarrow$	IS $\uparrow$	Precision $\uparrow$	Recall $\uparrow$	推理吞吐 (img/s) $\uparrow$
ADM	10.9	-	101.0	0.69	0.63	-
VDM++	2.40	-	225.3	0.78	0.66	-
LDM-4	10.5	-	103.5	0.71	0.62	-
U-ViT-H	8.97	-	136.7	0.69	0.63	-
MDTv2	5.06	-	155.6	0.72	0.66	0.20
REPA	5.90	6.33	162.1	0.71	0.56	0.76
L-DiT	2.17	4.36	205.6	0.77	0.65	0.06
VAR-d30	2.16	-	288.7	0.81	0.61	11.2
RAR-XXL	3.83	-	274.5	0.79	0.61	3.90
MAR-H	2.35	-	227.8	0.79	0.62	0.60
DiT-XL/2 (Baseline)	9.62	6.85	121.5	0.67	0.67	0.20
DiT-XL/2 + MG (Ours)	2.03	4.36	292.1	0.81	0.66	0.20
相对提升幅度	+78.9%	+36.4%	+140%	+20.9%	-1.49%	0.0%
SiT-XL/2 (Baseline)	8.61	6.32	131.7	0.68	0.67	0.76
SiT-XL/2 + MG (Ours)	1.34	4.58	321.5	0.81	0.65	0.76
相对提升幅度	+84.4%	+27.5%	+144%	+19.1%	-2.99%	0.0%

表 2：ImageNet 256×256 与常规 CFG 模型对比

模型	使用 CFG	FID $\downarrow$	sFID $\downarrow$	IS $\uparrow$	Precision $\uparrow$	Recall $\uparrow$	推理吞吐 (img/s) $\uparrow$
ADM	是	4.59	5.25	186.7	0.82	0.52	-
VDM++	是	2.12	-	267.7	0.81	0.65	-
LDM	是	3.60	-	247.7	0.87	0.48	-
U-ViT-H	是	2.29	5.68	263.9	0.82	0.57	-
MDTv2	是	1.58	4.52	314.7	0.79	0.65	0.10
REPA	是	1.42	4.70	305.7	0.80	0.65	0.39
L-DiT	是	1.35	4.15	295.3	0.79	0.65	0.03
DiT-XL/2	是	2.27	4.60	278.2	0.83	0.57	0.10
DiT-XL/2 + MG (Ours)	否	2.03	4.36	292.1	0.81	0.66	0.20 (+100%)
SiT-XL/2	是	2.06	4.49	277.5	0.83	0.59	0.39
SiT-XL/2 + MG (Ours)	否	1.34	4.58	321.5	0.81	0.65	0.76 (+94.9%)

消融实验¶

在 DiT-B/2 与 SiT-B/2 架构上（400K 迭代），作者系统分析了引导尺度 $w$ 及超参数设定的敏感性：

表 3：引导权重超参数 $w$ 消融结果 (DiT-B/2 与 SiT-B/2)

模型架构	引导尺度 $w$ 设置	FID $\downarrow$	sFID $\downarrow$	IS $\uparrow$	Precision $\uparrow$	Recall $\uparrow$	说明
DiT-B/2	1.00 (Vanilla)	43.5	36.7	39.23	0.62	0.34	基线无引导设置
+ MG	1.25	9.86	8.87	176.1	0.81	0.37	显著改善质量
+ MG	1.50	7.24	5.56	189.2	0.84	0.38	人工搜索最优值
+ MG	1.75	8.21	6.63	197.2	0.86	0.38	保真度进一步升高
+ MG	2.00	9.66	7.90	224.7	0.85	0.39	多样性稍有牺牲
+ MG	Auto (动态调度)	7.60	6.29	192.4	0.85	0.38	免人工调参，逼近最优
SiT-B/2	1.00 (Vanilla)	33.0	27.8	65.24	0.68	0.35	流匹配基线
+ MG	1.25	8.94	7.87	194.3	0.83	0.38	质量大幅跃升
+ MG	1.50	6.49	5.69	212.3	0.86	0.38	人工搜索最优值
+ MG	1.75	8.03	6.91	221.0	0.86	0.39	较高 IS 指标
+ MG	2.00	9.14	7.99	236.7	0.88	0.40	极端保真度偏向
+ MG	Auto (动态调度)	6.86	5.88	219.1	0.87	0.38	表现优异且免调参

关键发现¶

生成质量与吞吐量双赢：在无 CFG 模式下，MG 分别为 DiT-XL/2 和 SiT-XL/2 带来 78.9% 与 84.4% 的巨幅 FID 下降；在绝对表现上超越了依赖 CFG 的基线，且直接将推理吞吐提升了近一倍（DiT-XL/2 从 0.10 提升至 0.20 img/s，SiT-XL/2 从 0.39 提升至 0.76 img/s）。
训练收敛速度暴增：如图 5 所示，在达到相同的生成质量阈值下，MG 相较于原版扩散模型展现出 $\ge 6.5\times$ 的收敛加速，且训练阶段性能指标比标准无条件+条件混合训练高出约 60%。
保留生成多样性：传统 CFG 由于在推理阶段盲目增大外推倍数，导致生成样本陷入高概率中心模式，Recall 急剧降低（如常规 CFG 下 DiT-XL/2 的 Recall 仅为 0.57）；而 MG 模型在保持 0.81 高 Precision 的同时，Recall 维持在 0.65-0.66，有效避免了模式遗忘和色彩失真。
优异的跨尺度泛化：在 DiT-B/2、L/2、XL/2 以及 ImageNet $512 \times 512$ 分辨率上（SiT-XL/2 + MG 达成 2.24 FID），MG 均展现出一贯的显著性能增益。

亮点与洞察¶

将推理技巧内化为单步监督信号：传统思路将 CFG 视为采样算法层面的外推 heuristic，而本文深刻洞察到其本质是对后验对数梯度的近似，通过数学变换巧妙融入训练损失，实现了“训练一次内化，推理直接享受”。
极简工程实现下的即插即用性：算法核心公式仅需在现有扩散训练管道中插入一行包含 EMA 差分和 stop_gradient 的目标修正代码，不改变模型参数结构与前向签名，具备极佳的工业落地价值。
从两阶段蒸馏转向端到端单阶段训练：相较于此前必须先训练教师模型、再进行轨迹蒸馏的复杂多阶段管线（如 Rectified Flow 蒸馏），MG 完全实现了从零开始的端到端单阶段收敛，节省了海量存储与离线训练算力。

局限与展望¶

训练期计算开销略微增加：尽管推理阶段完全省去了无条件前向计算，但在训练的每个批次中，为了构造后验监督目标，仍需要前向评估一次 EMA 模型的条件与无条件输出（尽管无反向传播计算量），使得训练步耗时略有增加。
高阶控制任务泛化待验证：当前实验主要集中在类别条件（Class-conditioned）图像生成上，对于多模态文本提示词（Text-to-Image）以及长视频时空生成中的复杂上下文对齐效果，仍需进一步在大规模开放域数据集上开展深入验证。
未来方向：探索结合多步自洽性正则化（Consistency Training）或进一步结合无空标签的全概率聚合策略，构建原生支持文本生成图像的基础模型架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了沿用多年的推理期 CFG 惯例，从贝叶斯后验视角开创了模型引导训练新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 ImageNet 256/512、B/L/XL 多规模骨干、详实的超参数消融与采样耗时统计。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，数学推导简洁优美，算法逻辑闭环严谨。
价值: ⭐⭐⭐⭐⭐ 兼具重大学术洞察与极高工业工程价值，有望成为下一代扩散模型的基础训练标配。