跳转至

Drift Flow Matching

会议: NeurIPS 2026
arXiv: 2605.17244
OpenReview: https://openreview.net/forum?id=2yXRWyxBfG
领域: 图像生成
关键词: 流匹配、漂移生成模型、双时间传输、平均速度场、测试时扩展

一句话总结

本文提出漂移流匹配（Drift Flow Matching, DFM），将漂移模型的分布级正负样本吸引-排斥监督机制引入流匹配的连续概率路径中，通过学习任意时间对 \((t,r)\) 之间的平均速度传输映射，在保持一步生成高效率的同时实现了无需 JVP 与自蒸馏的多步测试时扩展（Test-Time Scaling），在 ImageNet \(256\times 256\) 上仅用 463M 参数即取得 1 步 FID 1.52、10 步 FID 1.31 的优异表现。

核心贡献

  • 统一一步漂移生成与多步流匹配的生成范式：提出 Drift Flow Matching（DFM）框架，将原本局限于源分布到目标分布单步映射的漂移模型（Drift Models）推广到连续概率路径 \(\{p_t\}_{t\in[0,1]}\) 上的双时间边缘分布传输问题，使单个模型既能像漂移模型一样一步直达生成，又能像流匹配一样通过增加推理步数（NFE）持续提升样本质量与分布覆盖率。
  • 基于分组漂移场的分布级双时间监督机制：摒弃传统流匹配对逐点条件速度的回归以及平均速度模型（MeanFlow）中昂贵且不稳定的雅可比向量积（JVP）自蒸馏约束，直接利用核加权的吸引-排斥漂移场对预测分布 \(q_{t,r}^\theta\) 与目标边缘分布 \(p_r\) 进行分布级对齐，并设计了按时间对分组（Group-wise）计算经验漂移场的训练方案以防止不同时间对的边缘分布混杂。
  • 完备的几何与极限理论保证及跨任务泛化验证：从理论上证明了 DFM 路径继承了流匹配的 \(W_2\)-Lipschitz 连续性与离散 Wasserstein 作用量上界，且在无穷小步长极限（\(r \to t\)）下严格退化为标准流匹配的边缘速度场；在 2D 合成数据、MNIST、FFHQ、ImageNet \(256\times 256\) 图像生成以及 6 项机器人操作控制任务上全面验证了方法的高效性与测试时扩展能力。

研究背景与动机

流匹配（Flow Matching）与扩散模型（Diffusion Models）通过常微分方程（ODE）或随机微分方程（SDE）刻画从噪声分布 \(p_0\) 到数据分布 \(p_1\) 的连续概率演化路径。这类迭代式生成模型在推理阶段展现出强大的测试时扩展（Test-Time Scaling）特性：随着函数评估次数（NFE）的增加，生成图像的细节质量、可控性以及对复杂多模态分布的覆盖率都会显著提升。为了在少步甚至一步采样下保持高质量，近期的一致性模型（Consistency Models）和平均速度流匹配（Mean Velocity Flow Matching，如 MeanFlow、iMeanFlow）尝试直接学习跨时间区间的积分传输映射。然而，这类方法通常依赖复杂的自蒸馏（Self-distillation）机制或高代价的雅可比向量积（JVP）计算来强行约束局部瞬时速度与未来平均速度的一致性，不仅训练开销大、容易出现梯度不稳定，而且在不同任务与模型规模间的泛化能力受限。

与此同时，新兴的漂移生成模型（Drift Models，如 Generative Modeling via Drifting、Sinkhorn-Drifting）提出了另一种截然不同的思路：将多步迭代从推理阶段转移到训练阶段。漂移模型在目标空间定义一个由核函数加权的漂移速度场（包含朝向真实数据的吸引项和远离当前生成分布的排斥自校正项），通过带停止梯度（Stop-gradient）的回归损失直接推动单步生成器 \(f_\theta(\epsilon)\) 的推前分布逼近真实数据分布。尽管漂移模型天然具备极佳的一步生成能力，但它的映射被刚性绑定在固定的起点先验 \(p_0\) 与终点数据分布 \(p_1\) 之间，缺乏中间概率路径的概念，因而无法在推理时通过增加采样步数来进一步精炼生成结果或修正复杂轨迹。

这两类范式之间的核心矛盾在于：流匹配拥有灵活的连续中间轨迹与测试时扩展能力，但其逐点条件速度回归无法支撑大步长跨时间跳跃；漂移模型通过分布级漂移监督实现了高质量的大步长直接传输，却丢失了连续时间路径上的多步迭代自由度。本文切入的角度是：流匹配的条件线性插值实际上为任意两个中间时刻 \((t, r)\) 提供了可直接采样的边缘分布对 \((p_t, p_r)\)，如果将漂移模型的分布级监督机制嫁接到任意中间边缘分布对之间的传输上，就能同时集两家之所长。核心 idea：沿流匹配的插值概率路径构造任意双时间边缘分布对 \((p_t, p_r)\)，利用分组计算的核加权正负漂移场直接监督平均速度参数化的双时间传输映射 \(T_{t,r}^\theta\)，从而在不依赖 JVP 或自蒸馏的前提下，将一步漂移生成与多步流匹配统一到同一个可按需扩展计算量的生成框架中。

方法详解

整体框架

Drift Flow Matching（DFM）的整体目标是学习一个由参数 \(\theta\) 控制的双时间传输映射 \(T_{t,r}^\theta(x_t)\)，使其能够将任意当前时刻 \(t\) 的边缘分布样本 \(X_t \sim p_t\)，以任意步长 \((r-t)\) 直接传输到未来时刻 \(r \ge t\) 的目标边缘分布 \(p_r\)。在训练阶段，系统首先从时间单纯形 \(\Delta = \{(t,r) \in [0,1]^2 : 0 \le t \le r \le 1\}\) 中采样 \(G\) 组时间对 \(\{(t_g, r_g)\}_{g=1}^G\)，并在每组内通过流匹配的条件插值公式构造当前状态样本 \(x_{t,i}^{(g)}\) 与目标状态正样本 \(x_{r,i}^{(g)}\)；随后模型预测平均速度并将 \(x_{t,i}^{(g)}\) 推前得到负样本 \(\widehat{x}_{r,i}^{(g)}\)；最后在每个时间组内部独立计算核加权的正负样本漂移修正向量 \(V_{q_{t,r}^\theta, p_r}^{(g)}\)，通过停止梯度损失驱动预测分布向目标边缘分布对齐。在推理阶段，给定任意划分的时间网格 \(0 = t_0 < t_1 < \dots < t_N = 1\)，模型既可以取 \(N=1\)（即 \(t_0=0, t_1=1\)）执行单步漂移生成，也可以取 \(N > 1\) 沿时间网格逐步迭代调用 \(T_{t_m, t_{m+1}}^\theta\) 实现多步精细化生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["源样本 X0 ~ p0 与目标样本 X1 ~ p1<br/>采样 G 组时间对 (tg, rg)"] --> B["双时间边缘分布构造<br/>沿条件插值路径生成 Xt(g) ~ pt 与正样本 Xr(g) ~ pr"]
    B --> C["平均速度传输参数化<br/>网络预测 uθ(xt, tg, rg) 并推前生成负样本 X̂r(g) ~ qt,rθ"]
    C --> D["分组漂移场分布级监督<br/>组内独立计算 Gibbs 核吸引项 V+ 与排斥项 V- 合成漂移场"]
    D --> E["停止梯度目标更新与多步推理<br/>最小化 ||X̂r - sg(X̂r + V)||²，推理支持 NFE=1 至多步网格迭代"]

关键设计

1. 双时间边缘分布构造：复用流匹配插值路径将全局生成拆解为可控的局部边缘传输

传统漂移模型只在噪声先验 \(p_0\) 与最终数据分布 \(p_1\) 之间建立单步映射，跨越距离大且没有中间状态；而标准流匹配虽然定义了中间路径，但仅用它来推导逐点条件速度 \(v(X_t, t \mid Z) = X_1 - X_0\) 的回归目标。DFM 保留了流匹配的条件插值路径构造，但彻底改变了它的用途——不再回归逐点条件速度，而是将其作为任意双时间边缘分布对 \((p_t, p_r)\) 的联合采样器。具体而言，设条件变量 \(Z = (X_0, X_1)\) 服从独立耦合分布 \(\pi(x_0, x_1) = p_0(x_0)p_1(x_1)\)，给定满足边界条件 \(\alpha(0)=1, \beta(0)=0\) 及 \(\alpha(1)=0, \beta(1)=1\) 的标量调度函数（默认采用线性插值 \(\alpha(t)=1-t, \beta(t)=t\)），对任意满足 \(0 \le t \le r \le 1\) 的时间对 \((t, r) \in \Delta\)，同时在两个时刻对同一对端点 \((X_0, X_1)\) 进行插值：

\[X_t^Z = \alpha(t)X_0^Z + \beta(t)X_1^Z, \qquad X_r^Z = \alpha(r)X_0^Z + \beta(r)X_1^Z\]

通过对多个独立采样的 \(Z\) 计算上述插值，即可直接获得服从边缘分布 \(p_t\) 的样本集合 \(\{X_t\}\) 和服从边缘分布 \(p_r\) 的样本集合 \(\{X_r\}\)。理论分析（命题 1 与附录 E）表明，这种构造天然诱导了 \(p_t\) 与 \(p_r\) 之间的可行耦合 \(\gamma_{t,r}\)，使得任意中间边缘分布对之间的二次传输代价满足 \(W_2(p_t, p_r) \le |r-t|(\mathbb{E}\|X_1 - X_0\|^2)^{1/2}\)，且沿任意离散时间网格 \(0=t_0 < t_1 < \dots < t_N=1\) 的总离散 Wasserstein 作用量被端点代价严格控制：

\[\sum_{m=0}^{N-1} \frac{W_2^2(p_{t_m}, p_{t_{m+1}})}{t_{m+1} - t_m} \le \mathbb{E}\|X_1 - X_0\|^2\]

这说明 DFM 在不增加总传输作用量的前提下，将困难的端到端分布匹配平滑拆解为一系列具有良好 \(W_2\) 几何控制的中短程边缘分布传输子问题。

2. 平均速度传输参数化：显式解耦步长尺度以兼容单步直达与无穷小流匹配极限

为了将当前状态 \(x_t \sim p_t\) 传输到未来时刻 \(r\)，如果让神经网络直接预测未来状态 \(X^\theta(x_t, t, r)\)，模型将难以感知不同步长区间 \((r-t)\) 的尺度差异，在切换推理步数（NFE）时极易失稳（消融实验表明直接预测状态会使 NFE=1 的 FID 从 29.06 恶化至 34.28）。为此，DFM 借鉴平均速度场（Mean Velocity）的思想，将从 \(t\) 到 \(r\) 的真实积分位移拆解为步长 \((r-t)\) 与区间平均速度 \(u(x_t, t, r) := \frac{1}{r-t}\int_t^r v(x_\tau, \tau)d\tau\) 的乘积，并用神经网络 \(u^\theta(x_t, t, r)\) 参数化该平均速度，从而定义双时间传输映射：

\[T_{t,r}^\theta(x_t) := x_t + (r - t)\,u^\theta(x_t, t, r)\]

在时间条件编码上，网络接收 \((t, t-r)\) 作为时间嵌入输入，显式感知当前绝对时刻与传输步长。当输入 \(X_t \sim p_t\) 时，经过 \(T_{t,r}^\theta\) 推前后的预测状态记为 \(\widehat{X}_r^\theta = T_{t,r}^\theta(X_t)\)，其对应的模型生成分布记为 \(q_{t,r}^\theta := (T_{t,r}^\theta)_{\#}p_t\)。这种参数化带来了两个核心优势：第一，因子 \((r-t)\) 的显式提取得到了天然的步长缩放相容性，当 \(t=0, r=1\) 时直接退化为单步漂移生成映射；第二，当步长趋于无穷小（\(r \to t\)）且学习到的映射与真实流映射具有一阶局部一致性时，定理 11 严格证明了双时间传输速度在极限下收敛于标准流匹配的瞬时边缘速度场：

\[\lim_{r \to t} u^\theta(x_t, t, r) = v(x_t, t)\]

但与 MeanFlow 等方法不同，DFM 不需要通过含 JVP 的微分恒等式去强行约束 \(u^\theta\) 与 \(v\) 的关系，而是直接通过下游的漂移场在分布层面学习 \(T_{t,r}^\theta\)。

3. 分组漂移场分布级监督：组内独立计算核加权吸引与排斥力，避免跨时间对边缘分布混淆

对于给定的时间对 \((t,r)\)，DFM 的训练目标是推动预测分布 \(q_{t,r}^\theta\) 逼近真实目标边缘分布 \(p_r\)。为此，DFM 在时刻 \(r\) 的状态空间上定义了漂移速度场 \(V_{q_{t,r}^\theta, p_r}(x) = V_{p_r}^+(x) - V_{q_{t,r}^\theta}^-(x)\)，其中正项计算样本向真实边缘分布 \(p_r\) 的核加权吸引位移，负项计算向当前预测分布 \(q_{t,r}^\theta\) 的核加权吸引位移并取反，起到排斥与防止模式坍塌的自校正作用。核函数采用基于平方欧氏代价的 Gibbs 核 \(k(x,y) = \exp(-\frac{\|x-y\|^2}{2\tau})\)，默认温度 \(\tau = 1.0\)。

在落地到小批量（Minibatch）训练时，本文发现了一个关键的实践陷阱：不同的时间对 \((t,r)\) 对应着截然不同的源边缘分布 \(p_t\)、目标边缘分布 \(p_r\) 以及模型推前分布 \(q_{t,r}^\theta\)（如图 1 所示，\((0.05, 0.30)\) 与 \((0.70, 0.95)\) 的分布形态完全不同）。如果在整个 Batch 内把不同时间对的样本混在一起计算核矩阵，漂移场估计就会严重失真。因此，DFM 提出了分组漂移（Grouped Drift）机制：每个训练 Batch 采样 \(G\) 个时间对 \(\{(t_g, r_g)\}_{g=1}^G\)，每个时间组 \(g\) 独立分配 \(n_g\) 对端点样本 \(\{(x_{0,i}^{(g)}, x_{1,i}^{(g)})\}_{i=1}^{n_g}\)，通过插值得到正样本集合 \(X_r^{(g)} = \{x_{r,i}^{(g)}\}_{i=1}^{n_g} \sim p_r^{(g)}\)，并通过模型推前 \(x_{t,i}^{(g)}\) 得到负样本集合 \(\widehat{X}_r^{(g)} = \{\widehat{x}_{r,i}^{(g)}\}_{i=1}^{n_g} \sim q_{t,r}^{\theta,(g)}\)。组内的离散漂移场仅在该组内部的第 \(i\) 个预测样本与同组样本之间计算：

\[V_{q_{t,r}^\theta, p_r}^{(g)}(\widehat{x}_{r,i}^{(g)}) = \sum_{j=1}^{n_g} P_{\widehat{X}_r X_r}^{(g)}[i,j]\,x_{r,j}^{(g)} - \sum_{j=1}^{n_g} P_{\widehat{X}_r \widehat{X}_r}^{(g)}[i,j]\,\widehat{x}_{r,j}^{(g)}\]

其中归一化核权重定义为 \(P_{\widehat{X}_r X_r}^{(g)}[i,j] := \frac{k(\widehat{x}_{r,i}^{(g)}, x_{r,j}^{(g)})}{\sum_{\ell=1}^{n_g} k(\widehat{x}_{r,i}^{(g)}, x_{r,\ell}^{(g)})}\)，\(P_{\widehat{X}_r \widehat{X}_r}^{(g)}[i,j] := \frac{k(\widehat{x}_{r,i}^{(g)}, \widehat{x}_{r,j}^{(g)})}{\sum_{\ell=1}^{n_g} k(\widehat{x}_{r,i}^{(g)}, \widehat{x}_{r,\ell}^{(g)})}\)。当每组样本数 \(n_g\) 足够大（如 \(n_g=64\)）时，经验漂移场能够准确刻画分布级传输方向；反之若 \(n_g=1\)，排斥项退化为零，目标便退化为类似流匹配的逐点条件监督，导致单步生成崩溃。这一设计从根本上解释并保障了大步长分布级传输的有效性。

损失函数 / 训练策略

在获得每个时间组 \(g\) 内部的经验漂移向量 \(V_{q_{t,r}^\theta, p_r}^{(g)}(\widehat{x}_{r,i}^{(g)})\) 后，DFM 构造一步显式欧拉漂移目标 \(\widehat{x}_{r,i}^{(g)} + V_{q_{t,r}^\theta, p_r}^{(g)}(\widehat{x}_{r,i}^{(g)})\)，并对其施加停止梯度算子 \(\operatorname{sg}(\cdot)\)，将总训练损失定义为所有 \(G\) 个时间对组的均方误差期望：

\[\mathcal{L}_{\mathrm{DFM}}(\theta) = \frac{1}{G} \sum_{g=1}^G \frac{1}{2n_g} \sum_{i=1}^{n_g} \left\| \widehat{x}_{r,i}^{(g)} - \operatorname{sg}\!\left( \widehat{x}_{r,i}^{(g)} + V_{q_{t,r}^\theta, p_r}^{(g)}(\widehat{x}_{r,i}^{(g)}) \right) \right\|^2\]

命题 12 与命题 13 证明了，对该停止梯度损失关于模型参数 \(\theta\) 求导，等价于将粒子空间上的漂移速度场通过传输映射的雅可比矩阵 \(J_{T_{t,r}}(\theta, X_t)^\top\) 拉回（Pullback）到参数空间：

\[\nabla_\theta \mathcal{L}_{\mathrm{DFM}}(\theta) = -\mathbb{E}_{(t,r)\sim\rho,\, X_t\sim p_t} \left[ J_{T_{t,r}}(\theta, X_t)^\top V_{q_{t,r}^\theta, p_r}\!\left(T_{t,r}^\theta(X_t)\right) \right]\]

在关键超参数与训练策略上： 1. 时间对采样分布 \(\rho\)：先独立从对数正态分布 \(\mathrm{lognorm}(-0.4, 1.0)\) 采样两个时间标量，再通过后处理交换顺序确保 \(t \le r\)。 2. 特征空间计算：在 MNIST、FFHQ 和机器人控制任务上，漂移损失直接在潜空间或原始动作状态空间计算；在大规模 ImageNet \(256\times 256\) 上，图像先经预训练 VAE 编码为 \(32\times 32\times 4\) 潜变量，DFM 损失与漂移核遵循 Drift Model 设定在预训练 latent-MAE 编码器的特征空间中计算。 3. 高维条件生成扩展（附录 D）：对于类别条件生成，每个条件 \(c\) 内自然有多个正样本；对于机器人控制等高维连续观测条件 \(c\)（往往每个特定观测 \(c\) 只有一个真实动作样本 \(x_1\)），DFM 将经验目标分布固定为单点测度 \(\widehat{p}_{\mathrm{data}}(\cdot \mid c) = \delta_{x_1}\)，同时从源分布采样多个独立噪声 \(x_{0,i} \sim p_0\) 与同一个 \(x_1\) 进行插值，构造出同一条件下的多个正负样本对 \(\{(x_{t,i}, x_{r,i}, \widehat{x}_{r,i})\}_{i=1}^{n_g}\)，从而在单目标样本条件下依然能稳定估计条件漂移场。

实验关键数据

本文在 2D 合成轨迹、MNIST（16 维 VAE 潜空间 + 3 层 MLP）、FFHQ（512 维 ALAE 潜空间 + 3 层 MLP，6 个人口统计学类别，解码至 \(1024\times 1024\)）、ImageNet-1k \(256\times 256\) 以及 6 个机器人控制基准上进行了系统评估。

表 1：MNIST 与 FFHQ 条件生成定量对比（对应原文 Table 1）

方法 推理步数 (NFE) MNIST EMD \(\downarrow\) MNIST Accuracy (%) \(\uparrow\) FFHQ EMD \(\downarrow\) FFHQ FID \(\downarrow\)
Flow Matching 50 37.2 100.0% 198.4 77.4
Mean Flow 1 68.6 96.7% 258.7 131.2
Mean Flow 2 48.1 99.1% 211.7 85.4
Mean Flow 5 37.5 100.0% 204.2 82.1
Drift Model 1 37.3 100.0% 225.5 116.2
DFM (本文) 1 37.3 100.0% 225.5 116.2
DFM (本文) 2 37.2 100.0% 215.7 80.4
DFM (本文) 5 37.2 100.0% 196.2 75.9

在 MNIST 和 FFHQ 上，DFM 在 NFE=1 时完全复现了单步 Drift Model 的强基线性能（FFHQ FID 116.2，大幅优于 Mean Flow 1 步的 131.2）；当推理步数增加到 2 步和 5 步时，FFHQ 的 FID 迅速降至 80.4 和 75.9，仅用 5 步即超越了 50 步的标准 Flow Matching（77.4）以及 5 步的 Mean Flow（82.1），PCA 与 UMAP 可视化证实多步迭代显著改善了潜空间边缘区域的分布覆盖度。

表 2：ImageNet \(256\times 256\) 类别条件生成对比（对应原文 Table 2，评估 50K 样本）

方法 参数量 (# Params) 推理步数 (NFE) FID \(\downarrow\) IS \(\uparrow\)
DiT-XL/2 675M \(250\times 2\) 2.27 278.2
SiT-XL/2 675M \(250\times 2\) 2.06 270.3
SiT-XL/2 + REPA 675M \(250\times 2\) 1.42 305.7
LightningDiT-XL/2 675M \(250\times 2\) 1.35 295.3
iCT-XL/2 675M 1 / 2 34.24 / 20.30 –
Shortcut-XL/2 675M 1 10.60 –
MeanFlow-XL/2 676M 1 / 2 3.43 / 2.93 –
S-VFM-XL/2 677M 1 / 2 3.31 / 2.86 –
AdvFlow-XL/2 673M 1 / 2 2.38 / 2.11 284.2 / 288.7
iMeanFlow-XL/2 610M 1 / 2 1.72 / 1.54 282.0 / 285.1
Drifting Model, L/2 463M 1 1.54 258.9
DFM, L/2 (本文) 463M 1 1.52 259.4
DFM, L/2 (本文) 463M 2 1.45 268.3
DFM, L/2 (本文) 463M 5 1.34 279.8
DFM, L/2 (本文) 463M 10 1.31 287.4

在 ImageNet \(256\times 256\) 上，DFM 采用与 Drifting Model 相同的 L/2 骨干网络（仅 463M 参数，少于 XL/2 系列的 610M–677M）。在 NFE=1 时，DFM 取得 1.52 的 FID，优于 Drifting Model（1.54）、iMeanFlow-XL/2（1.72）和 MeanFlow-XL/2（3.43）；随着 NFE 扩展至 2、5、10 步，DFM 的 FID 持续稳步下降至 1.45、1.34 和 1.31，IS 从 259.4 提升至 287.4，不仅实现了原版 Drifting Model 无法做到的多步质量跃升，还在 5 步内超越了 500 步的 SiT-XL/2+REPA（1.42）和 LightningDiT-XL/2（1.35）。

表 3：机器人操作控制任务成功率对比（对应原文 Table 3，最后 10 个检查点均值）

任务 (Task) 输入设定 (Setting) Diffusion Policy (NFE=100) Drift Policy (NFE=1) DFM Policy (NFE=1) DFM Policy (NFE=2) DFM Policy (NFE=5) DFM Policy (NFE=10)
Lift State / Visual 0.98 / 1.00 1.00 / 1.00 1.00 / 1.00 1.00 / 1.00 1.00 / 1.00 1.00 / 1.00
Can State / Visual 0.96 / 0.97 0.98 / 0.99 0.98 / 0.99 1.00 / 1.00 1.00 / 1.00 1.00 / 1.00
ToolHang State 0.30 0.38 0.41 0.77 0.81 0.86
ToolHang Visual 0.73 0.67 0.67 0.76 0.80 0.82
PushT State / Visual 0.91 / 0.84 0.86 / 0.86 0.86 / 0.86 0.91 / 0.87 0.93 / 0.89 0.94 / 0.90
BlockPush Phase 1 / Phase 2 0.36 / 0.11 0.56 / 0.16 0.56 / 0.16 0.61 / 0.24 0.62 / 0.29 0.65 / 0.33
Kitchen Phase 3 / Phase 4 1.00 / 0.99 0.99 / 0.96 0.99 / 0.98 1.00 / 0.98 1.00 / 1.00 1.00 / 1.00

在机器人控制任务中，高精度的单阶段装配任务 ToolHang 与多阶段任务 BlockPush 最能体现测试时扩展的价值：在 ToolHang（State）上，单步 Drift Policy 成功率仅为 0.38，DFM 在 NFE=1 时达到 0.41，而在 NFE=2 时直接跃升至 0.77，NFE=10 时高达 0.86（远超 100 步 Diffusion Policy 的 0.30）；在 BlockPush（Phase 2）上，DFM 从 1 步的 0.16 翻倍提升至 10 步的 0.33。

消融实验

作者在 ImageNet \(256\times 256\) 上使用 B/2 骨干网络训练 100 个 epoch（见附录 C，原文 Table 4），对时间嵌入形式、时间对采样分布、Gibbs 核温度 \(\tau\)、模型参数化方式、时间对组数 \(G\) 以及组内正负样本数 \(n_g\) 进行了全面消融，核心结果汇总如下：

表 4：ImageNet \(256\times 256\) (B/2, 100 epochs) 关键设计消融实验（指标为 FID \(\downarrow\)，对应原文 Table 4）

消融维度 变体配置 NFE=1 NFE=2 NFE=10 NFE=50 关键结论
(a) 时间嵌入 \((t, r)\) 29.73 27.84 23.91 21.36 直接嵌入起止时刻具有竞争力
\((t, t-r)\) [默认] 29.06 26.97 23.48 20.82 显式提供当前时刻与步长最优
\((t, r, t-r)\) 31.93 29.22 25.93 22.71 冗余拼接三个时间变量反而轻微退化
(b) 时间采样器 \(\mathrm{uniform}(0,1)\) 35.90 33.20 28.31 25.07 均匀采样对中间困难时刻覆盖不足
\(\mathrm{lognorm}(-0.2, 1.0)\) 33.83 31.92 27.15 24.01 优于均匀采样但偏移量非最优
\(\mathrm{lognorm}(-0.4, 1.0)\) [默认] 29.06 26.97 23.48 20.82 跨所有 NFE 均取得最佳 FID
\(\mathrm{lognorm}(-0.6, 1.0)\) 31.64 29.52 25.71 22.83 均值过度偏移导致性能回落
(c) 核温度 \(\tau\) \(\tau = 0.01\) / \(0.1\) 36.24 / 33.21 34.10 / 31.08 29.90 / 26.47 26.42 / 23.58 温度过小使核过于局部，对有限样本噪声敏感
\(\tau = 0.5\) 29.84 27.73 24.05 21.36 接近最优区间
\(\tau = 1.0\) [默认] 29.06 26.97 23.48 20.82 局部性与平滑度平衡最佳
\(\tau = 10.0\) 32.48 30.39 25.76 22.03 温度过大削弱样本特定的吸引-排斥结构
(d) 模型参数化 \(u^\theta(x_t, t, r)\) [默认] 29.06 26.97 23.48 20.82 显式提取 \((r-t)\) 天然适配不同步长
\(X^\theta(x_t, t, r)\) (直接预测状态) 34.28 32.10 27.74 24.61 缺乏步长结构约束，全 NFE 掉点逾 3.7 FID
(e) 时间对组数 \(G\) \(G = 1\) / \(2\) (\(n_g=64\)) 30.84 / 29.73 28.75 / 27.64 25.26 / 24.15 22.59 / 21.48 即使 \(G=1\) 依靠跨迭代采样依然有效
\(G = 4\) [默认] / \(16\) (\(n_g=64\)) 29.06 / 28.65 26.97 / 26.56 23.48 / 23.07 20.82 / 20.41 \(G=4\) 已充分覆盖批内时间对多样性，性价比最高
(f) 组内样本数 \(n_g\) \(n_g = 1\) (\(G=4\)) 220.31 178.42 57.08 26.04 退化为逐点条件回归，1 步生成彻底崩溃
\(n_g = 4\) / \(16\) (\(G=4\)) 191.26 / 125.43 38.92 / 32.96 32.71 / 27.46 24.88 / 22.54 小样本下 1 步仍差，但 2 步以上迅速恢复
\(n_g = 64\) [默认] / \(128\) (\(G=4\)) 29.06 / 27.42 26.97 / 25.83 23.48 / 22.95 20.82 / 20.61 \(n_g=64\) 时经验边缘漂移场估计趋于稳定饱和

消融实验中最核心的洞察来自表 4(f) 中组内样本数 \(n_g\) 的变化：当 \(n_g=1\) 时，每个时间对组内仅有一个正样本和一个负样本，此时核权重恒为 1，经验漂移场完全退化为逐点条件位移（类似于标准 Flow Matching 的条件速度监督），导致 NFE=1 的 FID 高达 220.31（生成彻底失败），而在 NFE=50 时 FID 仍能达到 26.04；当 \(n_g\) 增大到 64 时，NFE=1 的 FID 骤降至 29.06。这直接从实验上证明了：大步长（尤其是单步）生成之所以可行，核心在于较大 \(n_g\) 支撑下的分布级边缘漂移监督，而非逐点条件回归。

局限性与未来方向

  • 分组大样本对显存与批大小的依赖：为了准确估计每个时间对 \((t_g, r_g)\) 下的经验边缘漂移场，DFM 要求组内样本数 \(n_g\) 不能太小（消融表明 \(n_g \ge 64\) 才能保证单步生成质量），同时还需要采样 \(G \ge 4\) 个时间组，这意味着单次迭代的有效 Batch Size 至少需要 \(G \times n_g = 256\)；在超高分辨率图像或长视频生成等单样本显存开销极大的场景下，如何在小 Batch 限制下维持准确的分布级漂移估计（例如引入跨步动量队列或记忆库）仍有待探索。
  • 漂移场零点与分布匹配的可辨识性理论间隙：如正文 Remark 1 与附录 Remark 3 所述，虽然分布相等 \(q = p\) 必然推出漂移场 \(V_{q,p}(x) = 0\)，但反之并不总是成立，其逆命题依赖于核函数 \(k(x,y)\) 的非退化性与特征空间（如 ImageNet 上依赖预训练 latent-MAE 编码器）的表达能力。未来可将 DFM 与具备严格最优传输可辨识性的 Sinkhorn 漂移场（Sinkhorn-Drifting）或数据依赖耦合（Data-dependent Couplings）深度结合。
  • 固定步长网格与自适应采样策略：当前推理阶段主要采用预设的固定时间网格评估不同 NFE 下的扩展性，未来可以利用双时间传输映射的灵活性，研究根据当前状态局部曲率动态决定下一步跨越步长 \((r-t)\) 的自适应推理求解器。

关联工作

  • Flow Matching / Rectified Flow：构建从 \(p_0\) 到 \(p_1\) 的连续条件插值路径并通过回归逐点条件速度学习边缘瞬时速度场 \(v(x_t, t)\)，具备优秀的测试时多步扩展能力，但在 1–2 步大步长采样下会产生严重的轨迹截断误差；DFM 复用了其条件插值路径来构造边缘分布对 \((p_t, p_r)\)，但用分布级漂移监督替代了逐点速度回归，从而兼具单步直达与多步扩展能力。
  • Generative Modeling via Drifting / Sinkhorn-Drifting (Drift Models)：通过核加权的正负样本吸引-排斥漂移场训练单步生成映射 \(f_\theta(\epsilon)\)，实现了极强的单步生成性能（ImageNet L/2 NFE=1 FID 1.54），但由于缺乏中间时间轨迹，无法在测试时通过增加计算步数进一步提升质量；DFM 将单步漂移模型推广为双时间连续路径上的任意区间传输模型，当 NFE=1 时退化为漂移模型，当 NFE 增加时将 FID 进一步推低至 1.31。
  • MeanFlow / iMeanFlow (Mean Velocity Flow Matching)：同样采用双时间平均速度 \(u^\theta(x_t, t, r)\) 参数化跨时间传输，但依赖对时间求导的恒等式、昂贵的 JVP 计算以及自蒸馏策略来训练，容易出现训练不稳定；DFM 证明了无需任何 JVP 或自蒸馏一致性约束，仅凭分组经验漂移场即可直接且稳定地学习双时间平均速度传输。

代码与资源

相关论文