Midpoint Generative Models¶

会议: NeurIPS 2026
arXiv: 2605.29920
OpenReview: https://openreview.net/forum?id=Dbpj9Jvyqt
领域: 图像生成
关键词: 单步生成模型, 流匹配, 中点散度, 随机时间翻转, 对称随机插值

一句话总结¶

提出基于流匹配时间中点对称性的中点生成模型（MGM），通过随机时间翻转与对称随机插值构建严格非负判别的中点散度，推导出极小化极大变分训练目标，实现无需预训练教师模型直接从数据端到端学习高质量单步图像生成器。

研究背景与动机¶

扩散模型与连续归一化流（Flow Matching）已成为高质量图像、视频与音频生成的基础范式，但多步数值积分求解常微分方程（ODE）带来的高计算延迟极大地限制了其实际落地效率。为了实现单步极速生成，现有方案主要分为两类：一是基于教师蒸馏的离线压缩方案（如一致性蒸馏 CD、分布匹配蒸馏 DMD 及逆向蒸馏 UID 等），但这高度依赖已预训练好且权重开销巨大的多步教师模型；二是从零直接学习单步生成器，如一致性模型（Consistency Models）、均值流（Mean Flows）等，通过强制有限时间步长积分自洽性进行训练，然而这些方法本质上是学习跨时间步映射的数值积分器，优化目标构造复杂且对误差累积敏感。

这背后的核心矛盾在于：缺乏一种既具备严格统计判别力、又无需引入预训练教师引导的直接分布匹配目标。在线性流匹配（Linear Flow Matching）中存在一个极其简洁的物理对称性——当起始分布与目标分布完全相同时（$p_0 = p_1$），确定性线性插值轨迹上的平均漂移速度在时间中点 $t=1/2$ 处完全抵消并严格恒等于零；相反，若两分布不同，中点处则会出现非零的速度场漂移。然而，这一零速度场判据仅在孤立的中点 $t=1/2$ 成立；在任意非中点时刻 $t \neq 1/2$，由于样本与两个端点的距离固有不对称，后验去噪器天生存在方向偏差，即便两端点分布一致，速度场也绝不恒等于零，导致单时间步判据无法直接推广到连续时间积分。

本文切入的角度是：通过在插值路径中引入未观测的伯努利随机时间翻转，彻底恢复端点在任意中间时刻的统计对称性，进而将单点判据扩展为时间积分和广义对称随机插值框架。核心 idea：利用线性流匹配在相同端点分布下中点速度场严格为零的物理对称性，引入随机时间翻转构造出对分布一致性具有充要判据能力的广义中点散度（Generalized Midpoint Divergence），并推导出变分极小化极大目标，直接端到端训练单步生成器。

方法详解¶

整体框架¶

中点生成模型（Midpoint Generative Models, MGM）旨在训练一个单步生成器 $G_\theta(Z)$（其中潜在先验 $Z \sim p_z$），使得生成分布 $p_\theta$ 严格匹配真实数据分布 $p_{\mathrm{data}}$。整体流程端到端协同运行：生成器产生假样本 $X_0 \sim p_\theta$，与独立采样的真实数据 $X_1 \sim p_{\mathrm{data}}$ 配对；在随机时间 $t \sim \mathcal{U}[0, 1/2]$ 上构造对称随机插值，并引入隐式时间翻转变量 $B \sim \mathrm{Bernoulli}(1/2)$ 将插值对随机混淆，得到对称化观测样本 $\widetilde{X}_t$；由一个向量位移场网络 $f_\psi(t, \widetilde{X}_t)$ 回归预测端点位移差 $X_1 - X_0$；生成器 $G_\theta$ 则以对抗极大化极小的方式最小化该位移场所表征的中点散度，促使生成分布与真实数据分布完全重合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：潜在噪声 Z ~ p_z 与真实数据 X_1 ~ p_data"] --> B["单步生成器映射：X_0 = G_θ(Z)"]
    B --> C["对称随机插值构建：生成正反向插值对 (X_t, X_1-t)"]
    C --> D["随机时间翻转与端点混淆：隐式伯努利采样生成 X~_t"]
    D --> E["位移场网络拟合：f_ψ(t, X~_t) 回归位移向量差 X_1 - X_0"]
    E --> F["变分中点极小化极大优化：协同更新位移场 ψ 与生成器 θ"]

关键设计¶

1. 随机时间翻转与对称随机插值：消除非中点时刻的端点方向偏差 在线性流匹配中，$v_{1/2}(x) = \mathbb{E}[X_1 - X_0 \mid X_{1/2}=x] = 0$ 仅在 $t=1/2$ 成立。当 $t \neq 1/2$ 时，$X_t = (1-t)X_0 + tX_1$ 导致 $X_t$ 天然距某一个端点更近。例如在 $t \to 0$ 时，条件期望 $\mathbb{E}[X_0 \mid X_t=x] \to x$，而对另一端点的重构 $\mathbb{E}[X_1 \mid X_t=x] \to \mathbb{E}[X_1]$，这种固有不对称性使得即使 $p_0 = p_1$，未翻转的平均速度场 $v_t(x)$ 也必然非零，因而无法作为时域积分的差异度度量。为此，论文引入了未观测的伯努利随机变量 $B \sim \mathrm{Bernoulli}(1/2)$，在正向插值与反向插值之间随机选择： $$ \widetilde{X}t = (1-B) X_t + B X $$ 其中插值路径满足对称性条件 } = \begin{cases} I_t(X_0, X_1) + \sigma_t \epsilon, & B=0 \ I_{1-t}(X_0, X_1) + \sigma_{1-t} \epsilon, & B=1 \end{cases$I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ 以及扩散调度 $\sigma_t = \sigma_{1-t} = \sqrt{\sigma t(1-t)}$。由于下游条件推断仅依赖混合观测 $\widetilde{X}_t$ 而无法知晓具体的翻转分支 $B$，这从统计上完全抹平了两个端点对于观测样本的信息优势。

2. 广义中点散度的确定性判据：确立分布一致性的充要测度 基于对称翻转观测 $\widetilde{X}_t$，条件对称位移场定义为 $\widetilde{v}_t(x) := \mathbb{E}[X_1 - X_0 \mid \widetilde{X}_t = x]$。由于 $t$ 与 $1-t$ 的对称性，将该位移场的平方 $L_2$ 范数沿时间区间 $[0, 1/2]$ 进行积分，即定义出广义中点散度： $$ D_{\mathrm{t\text{-}mid}}^{I,\sigma}(p_0, p_1) := \int_0^{1/2} \mathbb{E}_{\widetilde{X}t} \left| \mathbb{E}_t] \right|_2^2 dt $$ 论文在理论上给出了严格的确定性定理证明：对于具有二阶矩的独立随机变量 } [X_1 - X_0 \mid \widetilde{X$X_0 \sim p_0$ 与 $X_1 \sim p_1$，$D_{\mathrm{t\text{-}mid}}^{I,\sigma}(p_0, p_1) \ge 0$ 恒成立，且 $D_{\mathrm{t\text{-}mid}}^{I,\sigma}(p_0, p_1) = 0 \iff p_0 = p_1$。该充要性保证了将散度极小化至零时，生成模型分布能够严格无偏地收敛至真实数据分布，为单步生成提供了坚实的理论根基。

3. 极小化极大变分目标推导：规避未知条件期望的端到端学习 在实际训练中，真实的条件位移场 $\mathbb{E}[X_1 - X_0 \mid \widetilde{X}_t]$ 解析形式未知，直接计算不可行。通过引入平方展开配方：$2\langle f_t, m_t \rangle - \|f_t\|_2^2 = \|m_t\|_2^2 - \|f_t - m_t\|_2^2$，利用条件期望的投影性质可将其转化为变分极大化问题。采用神经网络参数化位移场 $f_\psi(t, x)$ 后，整体模型归结为一个极具可操作性的 Minimax 优化目标： $$ \min_\theta \max_\psi \mathcal{L}{\mathrm{MGM}}(\theta, \psi) := \int_0^{1/2} \mathbb{E} \left[ 2 \langle f\psi(t, \widetilde{X}t), X_1 - X_0 \rangle - |f\psi(t, \widetilde{X}_t)|_2^2 \right] dt $$ 在更新判别位移场 $\psi$ 时，目标等价于最小二乘回归：$\|f_\psi(t, \widetilde{X}_t) - (X_1 - X_0)\|_2^2$；而在更新生成器参数 $\theta$ 时，梯度直接经由 $X_0 = G_\theta(Z)$ 反向传播，且不涉及标准 GAN 中的分类对抗概率饱和问题。

损失函数 / 训练策略¶

训练采用交替迭代策略。在训练开始前，为使单步生成器获得基础的图像分布感知，作者设计了一个轻量的去噪预热（Warmup）阶段：使用 EDM 框架在极窄的连续时间/噪声区间 $\tau \in (0, 2.5]$ 内进行预训练，并将 $\tau=2.5$ 处的状态初始化为生成器 $G_\theta$，位移场 $f_\psi$ 亦继承预热网络权重。该预热仅占总计算时间的约 18%，不依赖全量扩散模型的生成轨迹。在 MGM 极小化极大交替迭代时，位移场网络与生成器网络采用 1:1 的更新步数比例，使用 Adam 优化器（$\beta_1=0.0$，学习率 $10^{-5}$，批量大小 256），评估时对生成器权重维护衰减率为 0.999 的指数移动平均（EMA）。

实验关键数据¶

主实验¶

在 CIFAR-10 $32 \times 32$ 无条件单步生成（1-NFE）评估中，以生成 50K 样本与训练集计算的 FID 为主要指标。根据是否依赖预训练教师指导将基线划分为两类，MGM 在无需教师信号的方法中取得了最优性能。

数据集	评价指标 (1-NFE)	本文 (MGM)	次优无教师基线 (DiffRatio-DiJS)	经典流/一致性基线 (iCT-deep / MF)	相对增益
CIFAR-10 ($32\times32$)	FID-50K ↓	2.27	2.39	2.51 / 2.92	-0.12 (相比DiffRatio) / -0.24 (相比iCT-deep)

在更广泛的单步模型对比中，MGM（2.27）显著超越了同样无教师监督的一致性模型直接训练变体（如 CD 的 3.55、sCT 的 2.85、ECT 的 3.60）以及生成对抗网络 StyleGAN2 w/ ADA（2.92），且逼近了依赖重度多步扩散教师模型联合蒸馏的 SOTA 级别方法（如 SiD 的 1.92、CTM 的 1.87）。

消融实验¶

论文在 CIFAR-10 上对预热步数、随机插值噪声尺度、判别场独立噪声以及时间积分与单点中点差异进行了详尽的单变量消融研究。

配置维度	变体设置	FID-50K ↓	说明
预热步数 (Warmup)	5K 步	6.24	预热不足，初始分布与先验鸿沟过大
预热步数 (Warmup)	20K 步	2.69	逐步平稳收敛
预热步数 (Warmup)	50K 步	2.34	达到性能饱和阈值（占全训练耗时 ~18%）
预热步数 (Warmup)	200K 步	2.66	过长预热并不带来额外收益
插值随机性 $\sigma$	$\sigma = 0.00$（确定性）	5.87	确定性插值导致桥接分布坍塌，训练不稳定
插值随机性 $\sigma$	$\sigma = 0.01$	2.58	小扰动显著增强支撑集重叠度
判别场解耦噪声 (Critic $\sigma$)	Critic $\sigma = 0.00$	5.87	判别场缺乏随机平滑，泛化变差
判别场解耦噪声 (Critic $\sigma$)	Critic $\sigma = 0.01$（最优）	2.27	生成器无噪、判别场加噪解耦方案达最佳 FID
判别场解耦噪声 (Critic $\sigma$)	Critic $\sigma = 0.50$	56.58	噪声过大严重破坏高频细节回归
目标形态消融	中点固定 ($t=1/2$ only, $\sigma=0.01$)	13.55	仅用中点虽具理论判别性，但细粒度生成信号严重不足
目标形态消融	朴素未翻转时域积分 ($B \equiv 0$)	失败/发散	违反散度充要性，固有方向偏差导致优化崩溃

关键发现¶

时间积分相比孤立中点的决定性优势：仅保留 $t=1/2$ 时模型虽然理论上具备测度判据能力，但在图像生成上的 FID 大幅劣化至 13.55，生成的样本在轮廓边缘存在大量伪影与高频结构缺失；引入 $t \in [0, 1/2]$ 的时间积分后，由于小时间步 $t \to 0$ 赋予了位移场直接接触逼近真实数据和生成样本浅层流形的能力，FID 显著优化至 2.27。
随机翻转消除了分布坍塌：在 Swiss roll 玩具数据集与定量分析中，去掉随机翻转（$B \equiv 0$）的朴素时间积分由于非中点速度场的固有非对称性，优化方向完全偏离，导致生成分布崩溃；随机翻转是使得时域积分具备确定性散度性质的数学生命线。
解耦式噪声平滑机制：对比统一加噪与解耦加噪发现，在生成器前向采样时采用确定性插值 $X_t^{\mathrm{gen}}$、仅在判别网络观测时注入微小高斯扰动 $X_t^{\mathrm{critic}} + \sqrt{\sigma t(1-t)}Z$，能获得最低的 2.27 FID，这表明微量平滑能极大减轻高维流形不重合带来的判别场拟合病态。

亮点与洞察¶

将生成流物理对称性转化为测度判据：不同于以往将流匹配作为轨迹采样器的常规思路，本文洞察到了端点对称在时间中点所产生的速度抵消物理特性，创造性地将其提炼为一种全新且严格的概率散度工具。
极具启发性的随机翻转对称化技术：针对非中点时刻去噪器不对称的技术死锁，采用隐式伯努利时间对折（Time-Flip）以近乎零计算开销的方式恢复了全局时间积分的统计对称性，这一技巧可无缝推广至广义扩散薛定谔桥（Schrödinger Bridges）及条件生成领域。
规避预训练教师的大规模高效单步学习：突破了目前高性能单步模型严重依赖重型预训练教师（如 SD、EDM、Flux 等完整检查点）进行蒸馏的产业范式，证明了利用几何对称正则从纯数据端到端学习高质量单步生成的可行性。

局限与展望¶

对抗式极小化极大优化的固有脆弱性：变分目标形式上具有类似 GAN 的 Minimax 结构，需要精细平衡位移场与生成器的更新步长与学习率，面对更复杂的高分辨率数据集可能存在训练震荡。
超参数空间敏感性：实验表明插值噪声调度参数 $\sigma$ 对生成质量极度敏感，过大（如 $\sigma=0.50$ 时 FID 恶化到 56.58）或过小均会导致性能剧烈波动，针对不同模态的最佳调度仍需经验式搜索。
评估规模受限：目前验证主要停留在 CIFAR-10 $32 \times 32$ 小分辨率无条件生成任务上，尚未在 ImageNet $256 \times 256$、大规模文本生成图像（Text-to-Image）等工业级主流场景中进行验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将流匹配对称物理现象凝练为严格数学散度并结合时间翻转，理论构思极具原创性]
实验充分度: ⭐⭐⭐⭐☆ [理论证明完备，消融实验设计严谨深入，但评测数据集目前仅局限于 CIFAR-10]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严丝合缝，动机阐述极其清晰，图表与附录证明高度规范]
价值: ⭐⭐⭐⭐☆ [开辟了无教师单步生成模型全新范式，对扩散模型加速与生成测度理论具有重要学术参考价值]