Generative Modeling via Drifting

会议: NeurIPS 2026
arXiv: 2602.04770
OpenReview: https://openreview.net/forum?id=FCkkBolf4o
代码: 待确认
领域: 图像生成
关键词: 漂移模型, 单步生成, 推进分布演化, 漂移场, 特征空间损失

一句话总结

本文提出漂移模型（Drifting Models），跳出扩散/流动模型在推理端迭代求解的范式，将分布推进过程转移到训练期动态演化，借助反对称漂移场驱动生成样本趋向真实数据平衡态，实现了原生的高质量单步（1-NFE）图像生成。

研究背景与动机

生成式建模的核心目标是学习一个映射函数，使其将简单的先验分布（如高斯分布）推进到复杂的数据分布。当前主流的扩散模型（Diffusion Models）与流匹配（Flow Matching）模型在本质上都采用“推理期迭代分解”哲学：通过将难以一步完成的复杂推进映射，拆解为推理阶段沿微分方程（SDE/ODE）轨迹展开的多步去噪或速度积分链条。尽管蒸馏技术或一致性模型能够在一定程度上压缩采样步数，但其训练依然受制于对多步 ODE/SDE 轨迹的依赖与数值逼近误差。

这种范式长期面临的核心矛盾在于：生成模型为了达到高质量生成，普遍将分布演化的计算开销压在推理阶段（如 50-250 步网络前向评估），而传统的单步生成范式（如 GAN）又面临对抗训练不稳定、模式坍塌等优化难题。既然深度神经网络的参数优化过程（如 SGD 或 AdamW）本身就是逐步迭代的，且优化过程自然对应着生成分布序列在训练时间轴上的动态演化，为何不能直接将分布推进的过程转移到训练期完成，从而在推理阶段恢复纯粹的单步前向推理？

本文的切入角度是打破对时间积分轨迹的路径依赖，将分布匹配直接形式化为动力学系统在样本空间中的漂移与平衡。核心 idea：将分布推进的演化完全交由训练期优化器承担，构建一个在真实分布与生成分布吻合时自动归零的反对称漂移场（Drifting Field），驱动单步生成器在参数迭代更新中将先验噪声推至数据流形平衡态。

方法详解

整体框架

漂移模型的生成器是一个非迭代的单前向网络 \(f_\theta\)。在训练阶段，输入先验分布 \(\boldsymbol{\epsilon} \sim p_{\boldsymbol{\epsilon}}\)，生成器输出样本 \(\mathbf{x} = f_\theta(\boldsymbol{\epsilon}) \sim q\)；同时从真实数据分布中采样正样本 \(\mathbf{y}^+ \sim p_{\text{data}}\)，并将当前批次的生成样本直接复用为负样本 \(\mathbf{y}^- \sim q\)。随后，系统在一个预训练的多尺度特征空间（如自监督 latent-MAE 或 MoCo）中计算作用于每个样本的漂移场 \(\mathbf{V}\)。该漂移场由吸引项与排斥项组成，计算生成样本的目标漂移位置并通过停止梯度（stop-gradient）构建回归目标，利用普通回归损失引导生成器参数更新。在推理阶段，生成器无需任何 ODE 积分器或多步去噪，直接执行一次前向计算即可输出目标数据。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入先验噪声<br/>Gaussian Noise"] --> B["单步生成器前向<br/>DiT Transformer"]
    B --> C["生成样本分布 q<br/>x = f(ε)"]
    C --> D["特征空间提取<br/>多尺度特征映射"]
    D --> E["反对称漂移场构建<br/>正吸引 - 负排斥"]
    E --> F["冻结目标回归更新<br/>stopgrad(x + V) 损失"]
    F -->|训练收敛 V=0| G["推理阶段单步生成<br/>1-NFE 最终图像"]

关键设计

1. 反对称漂移场与平衡态准则：建立无对抗的稳定分布匹配动力学

为了在无需判别器进行对抗博弈的前提下驱动分布演化，本文引入反对称漂移场 \(\mathbf{V}_{p,q}(\mathbf{x})\)。该场度量当前生成分布 \(q\) 与目标分布 \(p\) 下样本的受力方向。反对称性定义为交换两个分布时场矢量严格反号：\(\mathbf{V}_{p,q}(\mathbf{x}) = -\mathbf{V}_{q,p}(\mathbf{x})\)。由此可得核心性质：当且仅当生成分布与真实分布完全重合时（\(q = p\)），所有样本点处受力完全抵消，漂移场处处归零（\(\mathbf{V}_{p,p}(\mathbf{x}) = \mathbf{0}\)），系统达到动态平衡。在离散迭代下，样本漂移通过均值漂移（Mean-shift）机制解耦为数据正样本对生成的吸引向量 \(\mathbf{V}^+_p(\mathbf{x})\) 与生成负样本之间的排斥向量 \(\mathbf{V}^-_q(\mathbf{x})\)：

\[\mathbf{V}_{p,q}(\mathbf{x}) = \mathbf{V}^+_p(\mathbf{x}) - \mathbf{V}^-_q(\mathbf{x}) = \frac{1}{Z_p Z_q} \mathbb{E}_{\mathbf{y}^+\sim p, \mathbf{y}^-\sim q} \left[ k(\mathbf{x}, \mathbf{y}^+) k(\mathbf{x}, \mathbf{y}^-) (\mathbf{y}^+ - \mathbf{y}^-) \right]\]

该形式使得每个样本沿着正样本吸引与负样本排斥的合力方向移动，天然避免了模式坍塌——一旦生成样本塌缩到某一局部模态，其余未覆盖模态的正样本将施加强大的远距离引力拉动样本漂移。

2. 冻结目标不动点回归损失：规避分布反传的数值难题

直接对包含分布期望的漂移场进行梯度反传极其复杂，因为漂移场本身依赖于参数决定的分布 \(q_\theta\)。本文将其转化为不动点迭代机制，将当前步计算出的漂移目标 \(\mathbf{x} + \mathbf{V}(\mathbf{x})\) 进行梯度截断（stop-gradient），作为网络在下一状态的收敛靶点：

\[\mathcal{L} = \mathbb{E}_{\boldsymbol{\epsilon}} \left[ \left\| f_\theta(\boldsymbol{\epsilon}) - \text{stopgrad}\big( f_\theta(\boldsymbol{\epsilon}) + \mathbf{V}_{p,q_\theta}(f_\theta(\boldsymbol{\epsilon})) \big) \right\|^2 \right]\]

在数值上，该损失函数的取值严格等于漂移场模长的平方 \(\mathbb{E}[\|\mathbf{V}\|^2]\)。通过把带漂移的样本视为静态监督信号，优化器在最小化预测残差的过程中，自然推动生成分布沿着漂移场演进，直至漂移场归零达到平衡。

3. 多尺度特征空间漂移：克服高维像素核平坦化与语义失效

在原始高维图像像素空间中，欧氏距离核极易出现“维数灾难”，导致距离过远而核权重几乎处处平坦，无法提供有效的局域漂移梯度。为此，本文将漂移场计算转移至预训练特征编码器 \(\phi\) 的多尺度空间。模型采用自监督训练的卷积网络（如针对潜空间定制的 latent-MAE 或像素空间的 MoCo/ConvNeXt-V2），并在特征图中引入力度自适应的全局方差归一化 \(\tilde{\phi}_j = \phi_j / S_j\) 与漂移归一化 \(\tilde{\mathbf{V}}_j = \mathbf{V}_j / \lambda_j\)，结合多温度系数组合 \(\tau \in \{0.02, 0.05, 0.2\}\)：

\[\mathcal{L} = \sum_j \text{MSE}\left( \tilde{\phi}_j(\mathbf{x}) - \text{stopgrad}(\tilde{\phi}_j(\mathbf{x}) + \tilde{\mathbf{V}}_j) \right)\]

这种在深浅层特征图（包含各尺度局部特征向量、全局均值方差以及通道平方均值）上联合漂移的策略，为网络提供了兼顾全局语义布局与局部高频纹理的丰富监督梯度。

4. 训练期分类器自由引导（CFG）：保持单步推理特性的条件外推

传统的分类器自由引导（CFG）需要在推理时分别评估条件与无条件网络并进行插值外推，增加了至少两倍的推理计算开销。本文将 CFG 重构为训练期负样本分布的混合重构。在生成特定类别 \(c\) 的图像时，将负样本分布定义为生成条件样本与真实无条件样本的凸组合：\(\tilde{q}(\cdot|c) = (1-\gamma)q_\theta(\cdot|c) + \gamma p_{\text{data}}(\cdot|\varnothing)\)。当漂移场达到平衡时，生成分布自动满足：

\[q_\theta(\cdot|c) = \alpha p_{\text{data}}(\cdot|c) - (\alpha - 1) p_{\text{data}}(\cdot|\varnothing), \quad \text{其中} \quad \alpha = \frac{1}{1-\gamma} \ge 1\]

通过在训练阶段随机采样引导强度 \(\alpha\) 并作为条件嵌入注入生成器网络，生成器在推理时仅需直接输入目标 \(\alpha\) 即可在单次前向（1-NFE）中生成具备外推效果的高保真图像，彻底消除了推理期的双倍前向负担。

实验关键数据

主实验

在 ImageNet 256×256 基准上，漂移模型在潜空间（Latent Space）与纯像素空间（Pixel Space）均刷新了从零训练（from scratch）的单步生成性能纪录。

方法	生成空间	参数量	推理步数 (NFE)	FID ↓	Inception Score (IS) ↑
DiT-XL/2 (Peebles & Xie, 2023)	SD-VAE	675M+49M	250×2	2.27	278.2
SiT-XL/2 (Ma et al., 2024)	SD-VAE	675M+49M	250×2	2.06	270.3
SiT-XL/2+REPA (Yu et al., 2024)	SD-VAE	675M+49M	250×2	1.42	305.7
Shortcut-XL/2 (Frans et al., 2024)	SD-VAE	675M+49M	1	10.60	–
MeanFlow-XL/2 (Geng et al., 2025a)	SD-VAE	676M+49M	1	3.43	–
AdvFlow-XL/2 (Lin et al., 2025)	SD-VAE	673M+49M	1	2.38	284.2
iMeanFlow-XL/2 (Geng et al., 2025b)	SD-VAE	610M+49M	1	1.72	282.0
Drifting Model, B/2 (本文)	SD-VAE	133M+49M	1	1.75	263.2
Drifting Model, L/2 (本文)	SD-VAE	463M+49M	1	1.54	258.9
StyleGAN-XL (Sauer et al., 2022)	Pixel	166M	1	2.30	265.1
GigaGAN (Kang et al., 2023)	Pixel	569M	1	3.45	225.5
EPG-L/16 (Lei et al., 2025)	Pixel	540M	1	8.82	–
Drifting Model, L/16 (本文像素版)	Pixel	464M	1	1.61	307.5

消融实验

消融实验基于 ImageNet 256×256 上的 B/2 潜空间模型（训练 100 epoch）展开，重点检验反对称性破坏实验与特征空间编码器选择。

配置 / 变体	漂移场形式 / 编码器结构	FID ↓	说明
反对称默认 (Full model)	\(\mathbf{V}^+ - \mathbf{V}^-\)	8.46	满足反演对称平衡条件
1.5× 吸引失衡	\(1.5\mathbf{V}^+ - \mathbf{V}^-\)	41.05	破坏对称性，平衡态偏离真实分布
1.5× 排斥失衡	\(\mathbf{V}^+ - 1.5\mathbf{V}^-\)	46.28	排斥过大导致样本发散
2.0× 吸引失衡	\(2.0\mathbf{V}^+ - \mathbf{V}^-\)	86.16	严重模式偏置
纯吸引无排斥	\(\mathbf{V}^+\)	177.14	失去斥力约束，严重模式塌缩
编码器: SimCLR (ResNet-50)	像素空间预训练 (800 ep)	11.05	需经过 VAE 解码器回传梯度
编码器: MoCo-v2 (ResNet-50)	像素空间预训练 (800 ep)	8.41	对比自监督特征提供有效引力
编码器: latent-MAE (宽度 256)	潜空间自监督 (192 ep)	8.46	潜空间原生特征，避免解码开销
编码器: latent-MAE (宽度 640)	潜空间自监督 (1280 ep)	4.28	扩展宽度与训练步数增益显著
编码器: latent-MAE + 分类微调	潜空间 (1280 ep + 3k cls)	3.36	语义强化使核度量更具区分度

关键发现

• 反对称平衡是收敛的基石：一旦人为改变吸引与排斥的比例（如 \(1.5\times\) 或仅保留吸引），模型平衡点彻底崩溃，FID 迅速退化至 40 以上乃至 177，证实了数学推导中平衡态依赖反对称性的严格性。
• 特征编码器的表征能力直接决定生成质量：在纯像素或潜空间原始向量上计算高维距离核会导致核函数平坦化，无法驱动生成；而使用更强大的自监督表征（如扩大容量的 latent-MAE 并辅以分类微调）能将 100-epoch FID 直接从 8.46 压降至 3.36。
• 正负样本采样池越大越优：在控制总批大小的前提下，增加每个类别内的正负样本数量（如 \(N_{\text{pos}}=N_{\text{neg}}\) 从 8 提升到 64）使 FID 从 11.82 稳步提升至 8.46，验证了蒙特卡洛积分估计漂移场精度的重要性。
• 跨领域通用性极佳：在机械臂模拟（Diffusion Policy 基准）中，将多步扩散替换为 1-NFE 漂移策略，在无需特征编码器的情况下，单步策略在多项任务（如 Lift, Can, BlockPush）上达到或超越了 100 步扩散策略的成功率。

亮点与洞察

• 训练演化替代推理演化：深刻认识到 SGD 优化轨迹本身就是自然的分布演进时间轴，成功将多步扩散在推理端耗费的 NFE 计算归还给单步前向，彻底根除了推理加速时对微分方程积分路径近似的依赖。
• 无判别器的确定性引斥平衡：不同于 GAN 脆弱的对抗性二元博弈，漂移场直接通过核加权均值漂移明确给出样本受力的物理方向，兼具流形吸引与防塌缩排斥，训练稳定性极强。
• 训练期内嵌的分类器自由引导：巧妙将 CFG 外推机制等价映射为引入无条件真实负样本的混合分布匹配，使得网络单步即可内生性地享受条件增强增益，无需额外采样开销。

局限与展望

• 理论逆命题尚存缺口：论文证明了分布完全吻合时漂移场归零（\(q=p \Rightarrow \mathbf{V}=\mathbf{0}\)），但在连续实数空间中，当漂移场趋向零时是否在任意非退化核下严格保证 \(q \to p\)，目前仅在有限维基底展开下给出了启发式证明。
• 对预训练特征提取器的高度依赖：若脱离强自监督特征空间（如直接在原始像素或未调优的潜空间中运行），高维核匹配会失效；这表明漂移模型在图像领域目前仍需依赖两阶段式的“特征先验”。
• 架构与超参仍具广阔优化空间：核函数形式（目前采用指数欧氏距离）、多尺度特征权重平衡以及非高斯先验噪声的组合方式仍处于初级探索阶段。

相关工作与启发

• vs 扩散模型与流匹配 (Diffusion / Flow Matching)：后者依赖推理阶段沿时间序列分步数值积分去噪（通常需 20~250 步前向），而漂移模型将分布推进卸载到训练期，推理阶段仅需 1 步计算且不依赖轨迹蒸馏。
• vs 生成对抗网络 (GANs)：二者在推理阶段均为单步映射，但 GAN 依靠判别器动态对抗博弈，容易产生梯度消失和模式坍塌；漂移模型利用核化漂移场的解析引斥平衡提供稳定的显式梯度。
• vs 最大均值差异网络 (MMD / GMMN)：MMD 仅度量标量分布间距，其反传产生的漂移无法自然引入非线性归一化核；漂移模型构建了独立的向量场视角，天然支持特征自适应归一化与训练期 CFG 机制。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 颠覆性地将生成推进转移到训练期动力学，提出极具优雅性的反对称漂移场范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 兼顾图像潜空间、高难度纯像素空间以及机器人控制任务，消融分析深入透彻。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次清晰，数学推演自洽，动机与机制阐述极具说服力。
• 价值: ⭐⭐⭐⭐⭐ 开辟了扩散/流/GAN 之外第四种极具潜力的单步生成基础范式，影响深远。

相关论文

• [NeurIPS 2026] Analytical Correction for Subsampling Bias in Drifting Models
• [NeurIPS 2026] Fixed-Point Masked Generative Modeling
• [NeurIPS 2026] Equilibrium Matching: Generative Modeling with Implicit Energy-Based Models
• [ECCV 2026] Drift-AR: Single-Step Visual Autoregressive Generation via Anti-Symmetric Drifting
• [NeurIPS 2026] Bernoulli Flow Models: Self-Consistent Generative Modeling for Binary Data