SCALE: Improving Guidance-Free Visual Generation via Self-Contrastive Alignment for Likelihood Estimation

会议: NeurIPS 2026
arXiv: 2610.23263
论文: https://arxiv.org/abs/2610.23263
领域: 图像生成
关键词: 无引导生成 (Guidance-Free Generation), 自对比引导 (Self-Contrastive Guidance), 似然对齐, 扩散模型, 自回归模型

一句话总结

提出自对比对齐框架 SCALE，通过对比模型对真实样本与自生成样本的预测误差构建流形修正信号，并重参数化为单次前向的似然训练目标，在无需采样引导开销的前提下超越现有拟合 CFG 的无引导方法与引导采样基线。

研究背景与动机

分类器自由引导（Classifier-Free Guidance, CFG）已成为扩散模型与自回归视觉生成模型提升样本生成质量的标准范式。然而，CFG 在每次采样步中都需要分别计算条件预测与无条件预测，使整体推理计算量翻倍。近期诸如引导蒸馏（Guidance Distillation）、条件对比对齐（CCA）以及无引导训练（GFT）等方法，试图通过单一网络前向推理来拟合 CFG 的输出分布以节省计算开销。然而，这些方法本质上以 CFG 分布为目标上限，不可避免地继承了 CFG 本身的结构性缺陷。

深入分析表明，CFG 将条件对齐（Condition Alignment）与生成保真度（Sample Fidelity）机械地绑定在同一引导轴线上。当提高引导尺度以追求更高保真度时，条件信号往往被过度放大，导致采样轨迹剧烈偏移真实数据流形，产生严重的截断效应并发生模式塌陷（Mode Collapse），使生成结果退化为狭窄的类别模板。虽然信息引导方法（如 SAG）能够通过惩罚退化输入来针对性优化质量维度，但其依赖启发式的人工先验（如高斯模糊），且采样时需要进行多达三次模型评估。如何在完全免除采样时额外推理的前提下，让单一模型摆脱 CFG 固有局限并主动向真实数据流形对齐，成为当前视觉生成领域的重要瓶颈。

本文的切入点是直接利用模型自身的预测差异构建修正方向：通过对比模型在真实数据样本与自身生成样本上的预测差异，能够内生获得衡量模型拟合误差的显式信号，沿该方向外推即可推动采样流形向真实高密度区域靠拢。核心 idea：提出自对比引导机制（SCG），并通过重参数化与 PatchMix 正则化将其内化为似然估计目标 SCALE，使扩散与自回归模型仅需单次前向传播即可输出融合自对比修正与条件引导的高保真样本。

方法详解

整体框架

SCALE 的核心目标是在训练阶段利用真实样本与自生成样本构建自对比引导信号（Self-Contrastive Guidance, SCG），并将其与分类器自由引导（CFG）联合重参数化为统一的训练目标。在模型训练过程中，网络以连续伪温度参数为条件，无条件自生成分支采用梯度截断（stop-gradient）作为稳定锚点；在推理阶段，模型仅需单次前向传播并设定特定推断参数，即可直接生成经自对比修正的高质量图像，无需执行额外的无条件前向计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练输入：真实样本 x 与条件 c"] --> B["自生成参考与 PatchMix 插值<br/>无条件采样生成样本并按比例混合真实块"]
    B --> C["自对比似然估计重参数化<br/>伪温度参数控制梯度截断下的单向误差拟合"]
    C --> D["嵌套式条件引导集成<br/>将 SCG 叠加于 CFG 之上构建联合优化目标"]
    D --> E["推理部署：单次前向输出 SCG+CFG 增强样本"]

关键设计

1. 自生成参考与 PatchMix 插值：构建稳定的流形差异参考点

为了度量模型偏离真实数据流形的程度，SCG 需要对比真实样本输入 \(x_t\) 与模型自生成样本 \(\tilde{x}_t\) 的预测结果。在扩散模型中，\(\tilde{x}_t\) 是利用当前模型通过 Tweedie 公式从 \(x_t\) 估算出预测原图 \(\tilde{x}_0\) 并重新加噪至时间步 \(t\) 得到的样本；在自回归模型中则直接从无条件输出分布中进行类别采样。由于有限模型容量以及早期扩散时间步（\(t \ll T\)）的随机性，纯自生成的样本往往具有严重退化，直接对比会导致目标方差剧烈震荡。为此，方法引入局部块混叠操作（PatchMix）对真实样本与生成样本进行空间插值：

\[\tilde{x}_{t,\lambda} = \text{PatchMix}(x_t, \tilde{x}_t; \lambda) = M_\lambda \odot \tilde{x}_t + (1 - M_\lambda) \odot x_t\]

其中 \(M_\lambda \sim \text{Bernoulli}(\lambda)\) 为按 patch 粒度独立采样的伯努利掩码，\(\lambda \in [0, 1]\) 控制混合比例。PatchMix 保持了密集视觉数据的局部语义结构，同时在连续隐空间（如 DiT）与离散离散 token（如 LlamaGen）中天然通用。理论证明，PatchMix 能将有限容量模型的参考输入偏移误差界降低 \(\sqrt{\lambda}\) 倍，为自对比信号提供了平滑可靠的几何锚点。

2. 自对比似然估计重参数化：将双分支对比内化为单模型前向学习

标准 SCG 外推形式为 \(f_\theta^{\text{scg}}(x_t) = f_\theta(x_t) + s_{\text{scg}} (f_\theta(x_t) - f_\theta(\tilde{x}_{t,\lambda}))\)，这在测试阶段需要依赖不可见的真实样本 \(x_t\)。为了将其转化为训练期目标并消除推理开销，SCALE 引入伪温度系数 \(\alpha := 1 / (1 + s_{\text{scg}})\)，将基础预测重参数化为目标 SCG 输出与自生成分支的凸组合：

\[f_\theta(x_t \mid \alpha) = \alpha f_\theta^{\text{scg}}(x_t \mid \alpha) + (1 - \alpha) \text{sg}[f_\theta(\tilde{x}_{t,\lambda} \mid 1)]\]

在此结构中，\(\alpha = 1\) 对应无 SCG 引导的基础预测，降低 \(\alpha\) 则线性放大自对比修正强度。通过对参考分支施加截断梯度（stop-gradient）并将 \(\alpha\) 约束为固定值 1，使得参数更新链呈单向无环依赖（真实数据 \(\to \alpha=1 \to \alpha < 1\)）。理论推导证明（Theorem 4.1），在理想回归最优解下，该目标学习到的扩散模型预测器精准逼近显式得分差：\(-\sigma_t [\frac{1}{\alpha}\nabla_{x_t}\log p_t(x_t) - (\frac{1}{\alpha}-1)\mathbb{E}[\nabla_{\tilde{x}_{t,\lambda}}\log p_t(\tilde{x}_{t,\lambda}) \mid x_t]]\)；在自回归模型中，则严格还原离散条件分布的信息比率增强。网络只需在输入端接收 Fourier 编码的 \(\alpha\) 条件，即可在测试阶段通过设定 \(\alpha < 1\) 单步直接输出流形增强结果。

3. 嵌套式条件引导集成：兼顾语义对齐与流形修正的正交解耦

基础 SCG 能够修正生成流形但无法显式强化条件控制，而原生 CFG 增强了提示词对齐却容易扭曲高密度分布。为此，SCALE 将 SCG 建立在 CFG 预测之上，直接对 CFG 输出实施自对比修正，定义统一目标 \(f_\theta^{\text{scg-cfg}}(x_t \mid c) = f_\theta^{\text{cfg}}(x_t \mid c) + s_{\text{scg}} (f_\theta^{\text{cfg}}(x_t \mid c) - f_\theta^{\text{cfg}}(\tilde{x}_{t,\lambda} \mid c))\)。进一步引入表征 CFG 权重的参数 \(\beta := 1 / (1 + s_{\text{cfg}})\)，推导出全封闭训练目标：

\[f^c_\theta(x_t \mid c, \alpha, \beta) = \beta \left\{ \alpha f_\theta^{\text{scg-cfg}}(x_t \mid c, \alpha, \beta) + (1 - \alpha) \text{sg}[f_\theta^{\text{cfg}}(\tilde{x}_{t,\lambda} \mid c, 1, \beta)] \right\} + (1 - \beta) \text{sg}[f^u_\theta(x_t \mid \varnothing, 1, 1)]\]

该嵌套设计实现了两维度的正交调控：\(\beta\) 调节类间条件区分度，\(\alpha\) 则专注于推向真实流形，两者互不干扰。在实现层面，无条件参考样本 \(\tilde{x}_t\) 直接复用无条件分支 \(f^u_\theta\) 的前向预测，完全不增加额外计算图。当 \(\beta=1\) 时退化为纯 SCALE，当 \(\alpha=1\) 时退化为拟合 CFG 的 GFT。模型借此习得了一整个连续引导超参空间，测试时使用者可自由滑动 \((\alpha, \beta)\) 寻找最优保真度与多样性折中。

损失函数 / 训练策略

在训练阶段，SCALE 仅需将常规得分匹配或交叉熵中的模型输出替换为重参数化预测 \(f^c_\theta(x_t \mid c, \alpha, \beta)\)。由于参考分支和无条件分支均处于评估模式且被截断梯度（无需反向传播图），显存占用相比标准微调完全持平，每步计算开销仅小幅增加约 12%（比引导蒸馏和 CCA 更轻量）。超参数采样时，\(t\) 与 \(\beta \sim U(0, 1)\)，而 \(\alpha\) 在类别条件任务中采样自 \(U(0.5, 1)\)，在文生图任务中采样自 \(U(0.25, 1)\)，PatchMix 混合比例固定为 \(\lambda = 0.2\)。微调训练开销不到基础模型预训练预算的 5%，并支持利用极轻量 Fourier 嵌入（仅增 0.0012% 参数）对预训练权重直接适配。

实验关键数据

主实验

在 ImageNet \(256 \times 256\) 类别条件图像生成上，SCALE 分别在扩散架构（DiT-XL/2）与自回归架构（LlamaGen-L）上与无引导基线进行对比（NFEs 分别为 50 与 256，无需采样引导）；同时在文生图任务（SD1.5）上进行了定量评测。

模型类型	方法	引导模式	FID-50k ↓	IS ↑	Precision ↑	Recall ↑
Diffusion (DiT-XL/2)	基线 (无引导)	Free (50)	9.62	121.5	0.67	0.67
Diffusion (DiT-XL/2)	+ Guid. Distill	Free (50)	2.11	–	–	–
Diffusion (DiT-XL/2)	+ GFT	Free (50)	1.99	266.6	0.81	0.60
Diffusion (DiT-XL/2)	+ SCALE (本文)	Free (50)	1.87	268.0	0.81	0.60
AR (LlamaGen-L)	基线 (无引导)	Free (256)	19.00	61.7	0.60	0.66
AR (LlamaGen-L)	+ CCA	Free (256)	3.43	288.2	0.81	0.52
AR (LlamaGen-L)	+ GFT	Free (256)	2.88	238.4	–	–
AR (LlamaGen-L)	+ SCALE (本文)	Free (256)	2.58	253.0	0.82	0.55

在文生图任务（SD1.5，LAION-Aesthetics 5+ 微调，DPM-Solver++ 50 步，无采样引导）对比中： - SD 1.5 原始无引导：PickScore 18.90, CLIP 0.252, HPSv2.1 0.187, FID-30k 22.47 - GFT 无引导基线：PickScore 20.50, CLIP 0.321, HPSv2.1 0.248, FID-30k 12.50 - SCALE (\(\alpha=0.8\))：PickScore 20.58, CLIP 0.324, HPSv2.1 0.253, FID-30k 12.83 - SCALE (\(\alpha=0.25\))：PickScore 20.73, CLIP 0.324, HPSv2.1 0.261, FID-30k 16.52

同时，在无需采样引导的条件下，SCALE 在 DiT-XL/2 上的 FID（1.87）超越了需要双倍/三倍 NFE 的经典采样引导方法（CFG 2.17, SAG 2.17, G++ 2.14）。

消融实验

在 DiT-B/2 与 LlamaGen-L 上验证 PatchMix 空间插值形式与混合比例 \(\lambda\) 的设计有效性。

模型	插值机制 / 比例 \(\lambda\)	FID ↓	IS ↑	说明
DiT-B/2	Baseline (无引导)	44.80	30.7	未加入引导对齐
DiT-B/2	线性插值 (Linear)	8.67	171.8	连续向量插值，易破坏结构
DiT-B/2	PatchMix (Patch)	8.60	172.4	保持局部语义块，泛化性最优
LlamaGen-L	\(\lambda = 1.0\)	2.59	245.9	纯自生成参考，方差较大
LlamaGen-L	\(\lambda = 0.5\)	2.58	245.2	半数块混叠
LlamaGen-L	\(\lambda = 0.2\)	2.58	253.0	少量噪声扰动，生成稳定度与 IS 最优

关键发现

• 跳出 CFG 性能天花板：相比仅简单拟合 CFG 的 GFT 和蒸馏方案，SCALE 引入自对比项后在扩散和自回归网络上均显著降低 FID（DiT-XL/2 达到 1.87，LlamaGen-L 降至 2.58），证明真实与生成样本的对比信号带来了超越 CFG 的流形增益。
• 与 DPO 偏好对齐正交互补：在无引导生成实验中，直接在 SD 1.5 上跑 DPO 几乎无法带来提升，说明现有视觉 DPO 严重依赖 CFG 采样；而将 DPO 作用于 SCALE 之上能在 PickScore 与 HPSv2.1 上带来二次大幅跃升，表明流形似然对齐与人类偏好对齐完全正交。
• PatchMix 的必要性与稳健性：较小的插值比（\(\lambda=0.2\)）在自回归和扩散模型上均取得最佳 IS（253.0），验证了理论分析中将参考输入偏移降低 \(\sqrt{\lambda}\) 倍对控制梯度更新方差的核心作用。

亮点与洞察

• 将自对比流形误差内生化为单步推理：巧妙避开了信息引导（SAG 等）在推理时需要额外前向或启发式模糊核的痛点，通过重参数化使模型在训练期学习如何“自我纠偏”，推理效率与质量实现双赢。
• 对扩散与自回归的双重统一：从连续得分匹配到离散下一 Token 预测，数学形式在对数几率空间和得分空间完全对应，且 PatchMix 完美规避了离散 Token 无法线性插值的难题。
• 与人类偏好后训练（DPO）的正交结合：澄清了生成模型对齐的两大支柱——SCALE 解决的是模型自身对真实数据几何流形的对齐，DPO 解决的是对人类审美偏好的对齐，两者叠加为免引导高质量生成提供了坚实路线。

局限与展望

• 训练步计算开销略有增加：虽然无梯度反向传播且不增加显存，但训练时仍需计算自生成参考前向，使单步训练时间增加约 12%。
• 从头训练的大规模验证有待拓展：论文验证了微调（<5% 预训练预算）以及 DiT-B/2 的冷启动训练，但尚未在千亿参数或前沿的大规模自回归模型上进行完全从头训练的完整验证。
• 未来方向：探索在视频生成以及 Flow Matching 等新型架构中的自对比流形约束，并与在线强化学习（如 GRPO）做更深度的多模态协同。

相关工作与启发

• vs GFT (Guidance-Free Training): GFT 仅将标准 CFG 进行单模型重参数化蒸馏，其生成质量严格受制于 CFG；SCALE 在其基础上引入真实与自生成样本的自对比流形修正项，突破了 CFG 的模式塌陷局限。
• vs SAG (Self-Attention Guidance): SAG 属于推断期自引导，需在采样过程中增加额外的高斯模糊前向传播；SCALE 将自对比信号转移至训练期，推断时 NFE 仅为 1，速度翻倍且不依赖启发式退化设计。
• vs Diffusion-DPO: DPO 需要人类或奖励模型偏好的正负配对样本，且严重依赖推理期 CFG 才能展现优势；SCALE 无需任何外生偏好数据即可完成内生流形对齐，并可作为 DPO 后训练的高质量底层基座。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次提出将真实与生成样本的自对比信号内化为似然重参数化目标，理论推导扎实。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖扩散（DiT/SD）与自回归（LlamaGen）、类别条件与文生图、从头训练与后训练。
• 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨（涵盖扩散得分与自回归对数几率两套推导），框架图与理论分析清晰。
• 价值: ⭐⭐⭐⭐⭐ 为无引导高速高质量生成提供了普适且正交的新方向，极具工程落地价值。

相关论文

• [NeurIPS 2026] Diffusion Models without Classifier-free Guidance
• [NeurIPS 2026] Temporal Alignment Guidance: On-manifold Sampling in Diffusion Models
• [ICLR 2026] Self-Improving Loops for Visual Robotic Planning
• [AAAI 2026] Diffusion Reconstruction-Based Data Likelihood Estimation for Core-Set Selection
• [ICLR 2026] Stochastic Self-Guidance for Training-Free Enhancement of Diffusion Models