VTV-FM: Flow Matching through Variational Terminal-Velocity Closure¶
会议: NeurIPS 2026
arXiv: 2610.00785
论文: https://arxiv.org/abs/2610.00785
代码: https://github.com/HaoyangJiang-WM/VTV-FM
领域: 图像生成
关键词: 流匹配、二阶相空间动力学、变分终端速度闭包、最优传输配对、加速度匹配
一句话总结¶
针对静态生成数据缺失终态速度导致二阶流匹配无法构建动力学桥梁的核心难题，提出基于最小加速度变分原理的变分终端速度闭包（VTV-FM），通过解析闭包推导终端速度并统一定义最优传输配对代价与加速度监督。
研究背景与动机¶
流匹配（Flow Matching, FM）通过在预设概率路径上回归连续时间向量场，已成为生成建模领域的重要范式。标准 FM 通常采用一阶线性桥（linear bridge），在给定的源分布与目标分布采样点对之间构建匀速直线插值。最优传输流匹配（OT-CFM）虽然通过求解极小化二阶动能作用量的源-汇耦合矩阵大幅缓解了向量场交叠与弯曲碰撞问题，但样本对内部的条件传输路径本质上依然被死死限制在恒定速度的直线段上。当目标数据流形具有复杂的内在流形曲率、分支分叉结构或分离的多峰分布时，直线路径不可避免地会强行穿过低数据密度的无效区域，且不同轨迹交叉会导致严重的速度监督冲突，迫使神经网络向量场在交汇点拟合相互抵消的方向均值。
将一阶运动学扩展到二阶相空间（phase-space）动力学是突破直线几何限制的自然路径，使生成轨迹具备时变切向与非均匀速率。然而，构建二阶相空间动力学桥梁面临一个根本性结构障碍：一阶桥仅需起点与终点的位置边界 \((x_0, x_1)\)，而二阶桥必须显式依赖相空间全边界状态 \((x_0, v_0, x_1, v_1)\)。在标准的静态数据集（如静态图像、单时刻点云）中，初始速度 \(v_0\) 可由相空间先验采样获得，但真实数据分布仅提供终点位置 \(x_1\)，其内在的终端速度 \(v_1\) 是完全缺失且无法直接观测的隐变量。以往高阶流方法要么人为强加零速度或弦速度假设，要么引入复杂的辅助回归网络估计速度，但这极易破坏动力学桥的加速度能量最小化几何特性，并在回归目标中引入外生偏差。
为了解决静态数据终态速度缺失与轨迹能量优化割裂的矛盾，本文的切入角度是将终点速度视为待优化的隐边界变量，直接从第二阶最优传输的最小加速度能量作用量出发进行变分投影。核心 idea：基于最小平方加速度变分原理，在相空间中解析推导终端速度的闭式极小化解，从而将缺失的终端速度闭包、最优传输配对代价与加速度网络回归目标三者统一在完全自洽的二阶变分框架下。
方法详解¶
整体框架¶
VTV-FM 构建于相空间状态 \(z_t = (x_t, v_t) \in \mathbb{R}^d \times \mathbb{R}^d\) 之上。当给定静态目标样本 \(x_1\) 与源样本 \((x_0, v_0)\) 时，框架首先利用最小加速度原理投影消除未观测的 \(v_1\)，解析获得闭式终端速度补偿 \(v_1^\star\) 与降维投影配对代价 \(C_T^\star\)；随后通过 Sinkhorn 算法求解极小化配对代价的小批量最优传输计划；最后将配对样本代入三次 Hermite 动力学桥提取中间状态与精确加速度目标，训练神经网络加速度场 \(a_\theta(x_t, v_t, t/T)\)。在推理阶段，利用保辛几何性质的 Velocity Verlet 或 Heun 积分器进行相空间数值求解。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入边界状态<br/>源相空间 (x0, v0) 与静态目标 x1"] --> B["变分终端速度闭包<br/>最小加速度作用量导出解析 v1* 与投影代价 CT*"]
B --> C["小批量最优传输配对<br/>基于 CT* 构造代价矩阵并通过 Sinkhorn 求解配对"]
C --> D["三次 Hermite 动力学桥监督<br/>生成轨迹位置、速度及目标加速度 (xt*, vt*, at*)"]
D --> E["加速度匹配与辅助一致性优化<br/>主加速度匹配 + 局部积分一致性 + 加速度散度对齐"]
E --> F["相空间数值积分采样<br/>采用 Velocity Verlet / Heun 求解输出最终生成样本 xT"]关键设计¶
1. 变分终端速度闭包与投影最优传输代价：解析消除未观测终态速度 静态数据无法提供终态物理导数，若人为设定固定速度（如 \(v_1=0\) 或割线速度 \((x_1-x_0)/T\)）会向相空间注入额外的加速度扰动。VTV-FM 首先考虑全边界条件下的二次加速度作用量极小化问题：在 Sobolev 空间 \(H^2([0,T]; \mathbb{R}^d)\) 中，极小化 \(\mathcal{A}_T[\gamma] = \int_0^T \|\ddot{\gamma}(t)\|_2^2 \, dt\) 的唯一解析解为三次 Hermite 样条曲线，其对应的全边界传输能量代价具有封闭形式： $\(C_T(x_0, v_0, x_1, v_1) = \frac{1}{T}\left[12\left\|\frac{x_1 - x_0}{T} - \frac{v_0 + v_1}{2}\right\|_2^2 + \|v_1 - v_0\|_2^2\right]\)$ 通过将 \(C_T\) 对未知的隐变量 \(v_1\) 完成配方极小化，定理 3.2 证明了该二次泛函具有全局唯一的解析极小值点，给出了变分终端速度闭包 \(v_1^\star\) 及其对应的投影传输代价 \(C_T^\star\)： $\(v_1^\star(x_0, v_0, x_1) = \frac{3}{2T}(x_1 - x_0) - \frac{1}{2}v_0, \qquad C_T^\star(x_0, v_0, x_1) = \frac{3}{T}\left\|\frac{x_1 - x_0}{T} - v_0\right\|_2^2\)$ 这一结果从理论上保证了将 \(C_T^\star\) 用于可观测变量的小批量 OT 配对，严格等价于在提升相空间中联合优化所有潜在终点速度测度的下确界，使静态数据的配对与路径构建具有内在的变分自洽性。对于 PDE 或时间序列等终态导数天然可测的场景，则直接退化使用全边界代价 \(C_T\)。
2. 三次 Hermite 动力学桥与精确加速度匹配：构建自洽的时空监督目标 在完成样本匹配并利用 \(v_1^\star\)（或观测的 \(v_1\)）补全全边界条件后，系统的运动轨迹严格沿着三次 Hermite 多项式基函数演化。引入归一化时间 \(\tau = t/T \in [0, 1]\) 与标准 Hermite 基函数 \(h_{00}(\tau)=2\tau^3-3\tau^2+1\)、\(h_{10}(\tau)=\tau^3-2\tau^2+\tau\)、\(h_{01}(\tau)=-2\tau^3+3\tau^2\) 以及 \(h_{11}(\tau)=\tau^3-\tau^2\)，轨迹的位移、速度与加速度均可无歧义解析求出： $\(x_t^\star = h_{00}(\tau)x_0 + h_{10}(\tau)Tv_0 + h_{01}(\tau)x_1 + h_{11}(\tau)T\widetilde{v}_1\)$ 神经网络模型 \(a_\theta(x_t, v_t, \tau)\) 仅需以当前相空间状态 \((x_t^\star, v_t^\star)\) 和时间为输入，通过均方误差回归精确的瞬时物理加速度： $\(\mathcal{L}_{\mathrm{acc}}(\theta) = \mathbb{E}\left[\left\|a_\theta(x_t^\star, v_t^\star, \tau) - a_t^\star\right\|_2^2\right]\)$ 该设计使模型直接学习相空间力场，相比一阶模型强行在位置空间拟合直线割线速度，二阶力场天然允许轨迹在相空间发生顺滑弯曲与速度重定向，有效避免了不同路径交汇导致的均值模糊。
3. 相空间局部积分一致性与加速度散度匹配：多尺度收敛与局部压缩正则化 为抑制网络积分误差在离散推断时的发散累积，框架引入了基于短时间窗口 \(\Delta t = T/N\) 的局部运动学增量一致性损失。根据泰勒展开与动力学积分关系，强加一阶速度更新与二阶位移更新约束： $\(\mathcal{L}_{\mathrm{va}} = \mathbb{E}\left[\left\|v_{t+\Delta t}^\star - v_t^\star - \Delta t \, a_\theta(x_t^\star, v_t^\star, \tau)\right\|_2^2\right]\)$ $\(\mathcal{L}_{\mathrm{xv}} = \mathbb{E}\left[\left\|x_{t+\Delta t}^\star - x_t^\star - \Delta t \, v_t^\star - \frac{1}{2}\Delta t^2 a_\theta(x_t^\star, v_t^\star, \tau)\right\|_2^2\right]\)$ 进一步，为了对齐生成流在相空间的连续性方程微元收缩结构，论文从相空间漂移项散度出发推导出加速度散度匹配（ADM）。利用条件延续场在终态固定和终态自由时的解析散度性质，构建散度惩罚项： $\(\mathcal{L}_{\mathrm{ADM}} = \mathbb{E}\left[\left(\frac{T-t}{d}\nabla_v \cdot a_\theta(x_t^\star, v_t^\star, \tau) + c\right)^2\right]\)$ 其中自由终端速度（静态数据）对应常数 \(c=3\)，已知终端速度（PDE）对应 \(c=4\)。在高维图像空间中，通过 Hutchinson 迹估计器结合向量-雅可比积（VJP）实现无显式 Jacobian 构造的快速近似，引导学习到的动力学具备与最优变分桥完全相同的相空间体积收缩速率。
损失函数 / 训练策略¶
模型的全量训练损失函数由加速度主损失与三项辅助正则项线性加权构成： $\(\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{acc}} + \lambda_{\mathrm{va}}\mathcal{L}_{\mathrm{va}} + \lambda_{\mathrm{xv}}\mathcal{L}_{\mathrm{xv}} + \lambda_{\mathrm{ADM}}\mathcal{L}_{\mathrm{ADM}}\)$ 在标准设置下，权重均取固定值 \(\lambda_{\mathrm{va}} = \lambda_{\mathrm{xv}} = \lambda_{\mathrm{ADM}} = 0.1\)，主损失权重为 1。局部时间步长 \(\Delta t = T/N\) 直接与推断采样步长保持一致，无需独立网格搜索。源相空间先验采样采用独立的高斯分布 \(x_0 \sim \mathcal{N}(0, I), v_0 \sim \mathcal{N}(0, \sigma^2 I)\)（默认 \(\sigma=1\)）。推理阶段采用针对二阶相空间设计的 Velocity Verlet 预测-校正器，在每步先外推半步速度更新位置，计算下一时刻加速度后再校正速度，显著优于通用一阶欧拉法。
实验关键数据¶
主实验¶
论文在 7 个二维复杂几何数据集、2 个偏微分方程场生成任务（Navier-Stokes 与 Kuramoto-Sivashinsky）以及 CIFAR-10 图像基准上进行了全面评测。在 PDE 任务中，利用微分方程右端项作为已知终态速度；在二维数据与 CIFAR-10 中使用变分闭包求解。
| 数据集 / 任务 | 评估指标 | CFM (一阶) | OT-CFM (一阶OT) | HOFM (高阶) | CurveFlow | VTV-FM (本文) |
|---|---|---|---|---|---|---|
| 2D Avg. (7个数据集) | \(W_2\) 距离 (\(\downarrow\)) | 0.1104 | 0.1077 | 0.1039 | 0.1029 | 0.1004 |
| 2D Radar Score | 相对得分 (\(\uparrow\)) | 0.912 | 0.935 | 0.955 | 0.963 | 0.987 |
| NS2D (Navier-Stokes) | MMD (\(\downarrow\)) | - | 0.017 | 0.015 | - | 0.014 |
| NS2D | PSD log-\(L_2\) (\(\downarrow\)) | - | 5.08 | 4.22 | - | 3.48 |
| NS2D | 导数敏感间隙 (\(\downarrow\)) | - | \(6.93 \times 10^{-3}\) | \(1.06 \times 10^{-3}\) | - | \(\mathbf{2.80 \times 10^{-4}}\) |
| KS2D (Kuramoto-Siv.) | MMD (\(\downarrow\)) | - | 0.035 | 0.015 | - | 0.010 |
| KS2D | PSD log-\(L_2\) (\(\downarrow\)) | - | 9.00 | 8.13 | - | 7.52 |
| KS2D | 导数敏感间隙 (\(\downarrow\)) | - | \(5.50 \times 10^{-1}\) | \(9.17 \times 10^{-2}\) | - | \(\mathbf{1.30 \times 10^{-2}}\) |
| CIFAR-10 (Heun-100) | FID (\(\downarrow\)) | 3.62 | 3.48 | - | 3.40 | 3.17 |
| CIFAR-10 (Dopri5 自适应) | FID (NFE) (\(\downarrow\)) | 3.73 (147) | 3.60 (134) | - | 3.41 (130) | 3.23 (81) |
| CIFAR-10 (Verlet-100) | FID (\(\downarrow\)) | - | - | - | - | 3.10 |
在 CIFAR-10 的跨方法严格公平对照中（仅使用 \(\mathcal{L}_{\mathrm{acc}}\)），VTV-FM 在通用 Heun 求解器下达到 3.17 FID，显著超越 OT-CFM 的 3.48 与 CurveFlow 的 3.40。在 Dopri5 自适应步长下，不仅 FID 降低至 3.23，NFE 调用次数更从 OT-CFM 的 134 次骤降至 81 次，验证了其动力学轨迹极其平滑、截断误差极小的数学性质。
消融实验¶
论文在 CIFAR-10 上对各损失项进行了详细消融分析，并对比了三种二阶数值求解器（Verlet、Heun、Taylor2）：
| 训练目标组合 | Velocity Verlet FID | Heun FID | Taylor2 FID | 说明 |
|---|---|---|---|---|
| Acc. (仅加速度匹配) | 3.10 | 3.17 | 3.25 | 核心变分监督已大幅领先一阶基线 |
| Acc. + Cons. (加入积分一致性) | 3.06 | 3.16 | 3.23 | 局部微元约束减少离散步长积累漂移 |
| Acc. + ADM (加入加速度散度匹配) | 3.05 | 3.14 | 3.19 | 单独引入散度正则收益大于一致性损失 |
| Acc. + Cons. + ADM (全量模型) | 2.99 | 3.13 | 3.18 | 突破 3.0 大关，取得全场最佳生成质量 |
关键发现¶
- 核心增益来源于变分动力学桥本身：消融表明，仅采用 \(\mathcal{L}_{\mathrm{acc}}\) 的纯粹二阶变分模型在 Verlet 求解下即取得了 3.10 FID，足以击败所有现有高阶和一阶流匹配模型。辅助正则项（Cons. 与 ADM）提供了精细修正，二者结合使最终 FID 压进 2.99。
- 物理导数保持能力呈数量级提升：在 NS2D 和 KS2D 等偏微分方程任务中，VTV-FM 在高阶导数敏感性间隙上相比 OT-CFM 分别降低了 96.0% 和 97.6%，相比高阶流匹配 HOFM 也降低了 73.6% 和 85.8%，表明显式建模二阶相空间对捕捉物理系统的扩散与湍流微元演化具有决定性作用。
- 求解器适应性广且自适应开销更低：在通用自适应步长积分器 Dopri5 下，VTV-FM 仅需 81 次 NFE 即可高质量收敛，相比 CFM 系列节省了 40% 以上的步数计算量，表明极小化加速度能量从根本上拉直了相空间的曲率漂移。
亮点与洞察¶
- 变分投影闭包理论优雅严密：面对静态数据缺失终态速度的死局，论文没有采用启发式猜测或增加额外预测网络，而是通过求解最小加速度二次作用量的内生下确界，推导出极其简洁优雅的解析表达式 \(v_1^\star = \frac{3}{2T}(x_1-x_0) - \frac{1}{2}v_0\)。这一推导同时闭合了轨迹与最优传输代价，数学自洽性极强。
- 配对代价与动力学桥完全内在统一：传统 OT-FM 的配对距离与生成路径常存在脱节（如用欧式距离配对却跑弯曲路径），而 VTV-FM 的投影配对代价 \(C_T^\star\) 本身就是最优三次 Hermite 轨迹的总加速度作用量，实现了微观匹配与宏观动力学的同源同构。
- 散度正则与物理守恒的可迁移性：通过将相空间漂移场速度散度与局部收缩率绑定，提出了可由 Hutchinson 迹估计高效求解的二阶 ADM 正则化。这一机制不仅适用于相空间流匹配，对哈密顿生成系统或神经 ODE 保持相空间测度守恒同样具备重要借鉴意义。
局限与展望¶
- 单峰速度假设与确定性闭包局限：当前的变分终端速度闭包 \(v_1^\star\) 是通过全局二次能量最小化导出的唯一确定性解。然而在复杂的真实数据流形中，到达相同位置终点 \(x_1\) 对应的实际速度场可能是多模态或随机分布的，确定性闭式解可能平滑掉局部细粒度的动态多样性。
- 更高分辨率高维数据扩展挑战：实验虽然包含了低维几何流形、PDE 物理场以及 CIFAR-10 和 ImageNet-256 探索，但尚未在超高分辨率大图像生成（如 \(512 \times 512\) 及以上 DiT 架构）或视频生成等重算力场景进行大规模评测。
- 相空间倍增的参数与显存开销：由于模型必须额外输入速度向量 \(v_t\) 并预测加速度 \(a_t\)，在高维连续潜空间（Latent Space）中相空间状态维度翻倍，对特征通道投影与显存占用提出了更高要求。
相关工作与启发¶
- vs OT-CFM / Multisample FM: OT-CFM 通过一阶动能作用量导出配对代价与常速度直线桥；VTV-FM 将理论体系提升至二阶相空间，用最小加速度作用量导出配对代价与三次 Hermite 弯曲桥，解决了复杂多模态与弯曲流形上的交叉碰撞。
- vs HOFM (High-Order Flow Matching): HOFM 探索了任意高阶导数监督，但依赖高阶导数连续性约束与通用多项式假定；VTV-FM 专门深耕二阶相空间物理系统，通过变分投影解析推导出了静态数据缺失终端速度的根本闭包解，并配套了二阶辛几何积分求解器。
- vs OAT-FM / CurveFlow: OAT-FM 与 CurveFlow 尝试通过加速度或曲率引导调整流路径；VTV-FM 的不同之处在于它从变分原理统一了配对代价矩阵、终点速度推导与时空监督目标，整个理论链条无外生启发式规则。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次从最小加速度变分投影角度解析推导出静态数据终态速度闭包与自洽 OT 代价]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7 个 2D 流形、2 个真实物理 PDE 系统以及 CIFAR-10 严格跨求解器消融]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密规范，问题定义高度精准，理论到算法过渡清晰]
- 价值: ⭐⭐⭐⭐⭐ [彻底打通了二阶流匹配在无速度标注静态生成领域的工程落地瓶颈]