Flow Matching from Viewpoint of Proximal Operators¶

会议: NeurIPS 2026
arXiv: 2602.12683
领域: 其他
关键词: 流匹配, 最优传输, 近端算子, 流形假设, 李雅普诺夫指数

一句话总结¶

本文从凸分析中近端算子（Proximal Operator）的角度重新表述了最优传输条件流匹配（OT-CFM），在无需目标分布具备密度的前提下将反向去噪映射严格刻画为近端算子，并利用凸势函数的二阶次导数证明了流形支撑下动力学在法向呈指数收缩而在切向保持中性的终端正规双曲性。

研究背景与动机¶

动力学生成模型（如扩散模型与流匹配模型）在图像生成、反问题求解及科学计算中展现出卓越的采样能力。这类模型经验上的成功通常归因于流形假设（Manifold Hypothesis），即高维真实数据实际集中在低维流形上。近期的理论研究已经揭示了扩散模型在低维子空间和流形附近的几何行为，例如内在维数主导的极小极大估计率、切向与法向的投影分解、李雅普诺夫稳定性以及得分函数在流形边缘的奇异行为。然而，流匹配（Flow Matching, FM）特别是基于最优传输条件的流匹配（OT-CFM），其训练原则是直接回归条件向量场而非估计对数密度梯度（得分），因而在数据流形附近的动力学行为无法直接套用扩散模型的得分分析工具。

现有关于 OT-CFM 的理论研究面临一个根本性的数学障碍：传统的 Brenier 极分解定理通常假定目标分布具有绝对连续的概率密度，但在流形假设下，目标分布集中在低维流形上导致密度缺失，从目标分布到先验高斯分布的最优传输映射不再是单值单射函数。此前研究多借助经验小批量（minibatch）OT 或将流匹配视作纯粹的线性插值路径，缺乏严格的变分分析工具来显式刻画当目标测度退化为流形奇异测度时，连续向量场在流形法向与切向上的几何控制机制与收敛稳定性。

本文切入这一理论空白，利用凸分析中的 Aleksandrov–Brenier 广义势函数与次微分工具，直接建立 OT-CFM 向量场与欧氏近端算子之间的精确等价关系。核心 idea：利用 Aleksandrov–Brenier 凸势函数将 OT-CFM 中的终端反向映射精确等同于欧氏近端算子，进而通过凸势函数的二阶上导数证明流匹配在低维流形处具有终端正规双曲性，即流形法向指数收缩而切向保持稳定中性。

方法详解¶

整体框架¶

流匹配旨在学习一个时间相关的向量场 $v_t(x)$，驱动常微分方程 $\dot{x}_t = v_t(x_t)$ 将标准高斯先验分布 $P_0 = \mathcal{N}(0, I_d)$ 变换为目标分布 $P_1$。在条件流匹配框架下，给定联合耦合 $\pi(x_0, x_1)$ 与时间调度函数 $\alpha_t, \beta_t$（满足 $\alpha_t: 1 \searrow 0, \beta_t: 0 \nearrow 1$），条件插值路径定义为 $x_t = \alpha_t x_0 + \beta_t x_1$。消除初始噪声 $x_0 = (x_t - \beta_t x_1) / \alpha_t$ 后，边缘向量场可等价表达为依赖于条件期望 $\mathbb{E}[x_1 | x_t]$ 的形式，这在传统扩散模型中对应于去噪器。

本文针对二次代价最优传输耦合 $\pi^\star$，引入 Aleksandrov–Brenier 凸势函数 $\phi$。即使 $P_1$ 仅支撑在低维流形上，最优传输计划的支撑集依然是循环单调的，满足 $x_0 \in \partial\phi(x_1)$。通过构造强凸函数 $\psi_t(x) = \alpha_t \phi(x) + \frac{\beta_t}{2}\|x\|^2$，本文证明从插值点 $x_t$ 反推目标点 $x_1$ 的逆映射恒为单值且严格等于 $\nabla \psi_t^*(x_t)$，其闭式即为近端算子 $\operatorname{prox}_{\lambda_t \phi}(x_t / \beta_t)$。整体生成与动力学几何分析流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["先验与目标耦合<br/>(x0, x1) ~ π* 满足循环单调性"] --> B["构建凸势函数与插值算子<br/>x0 ∈ ∂ϕ(x1), Ht(x) = αt ∂ϕ(x) + βt x"]
    B --> C["反向去噪近端算子化<br/>Ht^{-1}(y) = ∇ψt*(y) = prox_{λt ϕ}(y / βt)"]
    C --> D["精确向量场与梯度流重参数化<br/>vt(y) 由近端步显式驱动 / 转化为 Moreau 包络流"]
    D --> E["二阶上导数流形切正交分解<br/>dom d^2f(x1|0) = Tx1 M, 法向导数归零"]
    E --> F["终端正规双曲性保证<br/>法向李雅普诺夫指数 -γ，切向指数为 0"]

关键设计¶

1. 基于 Aleksandrov–Brenier 势函数的精确近端去噪算子

在流形假设下，目标测度 $P_1$ 奇异无密度，单值 Brenier 映射失效。本文借助循环单调性定理，确定存在真下半连续凸函数 $\phi: \mathbb{R}^d \to \overline{\mathbb{R}}$ 满足 $(x_0, x_1) \in \operatorname{supp}(\pi^\star) \implies x_0 \in \partial\phi(x_1)$。定义插值算子 $H_t(x) = \alpha_t \partial\phi(x) + \beta_t x$，尽管 $H_t$ 自身因次微分 $\partial\phi$ 的集值性质而在法向上是多值的，但定义辅助凸函数 $\psi_t(x) = \alpha_t \phi(x) + \frac{\beta_t}{2}\|x\|^2$ 后，由于 $\beta_t > 0$（当 $t > 0$ 时），$\psi_t$ 是 $\beta_t$-强凸函数，其 Fenchel 共轭 $\psi_t^*$ 处处可微，逆映射 $H_t^{-1}(y) = \nabla \psi_t^*(y)$ 严格单值。由此给出关键恒等式： $$x_1 = \nabla\psi_t^*(x_t) = \operatorname{prox}_{\lambda_t \phi}\left(\frac{x_t}{\beta_t}\right), \quad \lambda_t = \frac{\alpha_t}{\beta_t}$$ 这意味着在群体最优传输下，条件期望 $\mathbb{E}[x_1 | x_t]$ 在给定 $x_t$ 时退化为确定性的近端计算，消除了扩散模型中复杂的统计回归积分，将流匹配反向向量场精确表达为： $$v_t(y) = \frac{\dot{\alpha}_t}{\alpha_t} y + \beta_t \left(\frac{\dot{\beta}_t}{\beta_t} - \frac{\dot{\alpha}_t}{\alpha_t}\right) \operatorname{prox}_{\lambda_t \phi}\left(\frac{y}{\beta_t}\right)$$

2. 动力学的 Moreau 包络梯度流重参数化与小批量一致收敛

为揭示该动力学的内在优化机制，本文引入状态重缩放 $z_t = x_t / \beta_t$。结合 Moreau 包络（Moreau-Yosida 正则化）性质 $\nabla M_{\lambda \phi}(z) = \frac{z - \operatorname{prox}_{\lambda \phi}(z)}{\lambda}$，经过时间变换后，重缩放动力学严格转化为 Moreau 包络的光滑梯度流： $$\dot{z}_t = - c_t \lambda_t \nabla M_{\lambda_t \phi}(z_t), \quad c_t = \frac{\dot{\beta}_t}{\beta_t} - \frac{\dot{\alpha}_t}{\alpha_t} > 0$$ 在实际训练中，针对由 SGD 产生的大小为 $n$ 的小批量经验最优传输势函数序列 $(\phi_n)$，本文证明存在子序列 $(\phi_{n_k})$ 上收敛（epi-converges）至群体势函数 $\phi$。利用变分分析中的 Wets 定理，近端算子在紧集上一致收敛，进而保证有限样本小批量 OT-CFM 学习得到的向量场在任意紧集上一致收敛到群体向量场 $v_t^{(n_k)} \to v_t$，确立了有限小批量工程实践与无限群体近端理论之间的坚实桥梁。

3. 二阶上导数驱动的终端正规双曲性与李雅普诺夫指数

为研究轨迹接近数据流形 $\mathcal{M}$（维数 $m < d$）时的微扰动力学，本文引入平移势函数 $f(\cdot) = \phi(\cdot) - \langle x_0, \cdot \rangle$，使得 $0 \in \partial f(x_1)$。针对近端算子的半导数（方向导数），本文应用二阶上导数（second epi-derivative）： $$d^2f(x_1 \mid 0)(w) = \liminf_{t \downarrow 0, w' \to w} \frac{f(x_1 + t w') - f(x_1)}{\frac{1}{2}t^2}$$ 在流形光滑性假设与次微分仿射包假设下，严格证明了二阶上导数的有效定义域恰为流形切空间：$\operatorname{dom} d^2f(x_1 \mid 0) = T_{x_1}\mathcal{M}$。由此推导出近端算子半导数的作用机制：在法空间 $N_{x_1}\mathcal{M}$ 上完全归零（$D P_\lambda(x_1; h) = 0$），在切空间 $T_{x_1}\mathcal{M}$ 上表现为单位映射加高阶微扰（$h + O(\sqrt{\lambda})\|h\|$）。通过时间对数重缩放 $\tau = -\log(1-t)$，变分方程沿法向与切向发生退耦解构： $$\lambda(v) = \lim_{\tau \to \infty} \frac{1}{\tau} \log \|D_x \Phi_\tau(x_0) v\| = \begin{cases} -\gamma & (v \in N_{x_1}\mathcal{M} \setminus \{0\}) \\ 0 & (v \in T_{x_1}\mathcal{M} \setminus \{0\}) \end{cases}$$ 其中 $\gamma > 0$ 来源于时间调度的终端发散阶数 $(1-t)\frac{\dot{\alpha}_t}{\alpha_t} \to -\gamma$。该结果证明流匹配在终点具有正规双曲性（Normal Hyperbolicity）：流形法向具有强指数吸引力，滤除外部噪声，而流形内部切向速度适中，不发散也不塌缩。

实验关键数据¶

主实验¶

论文在标准二维合成流形数据集（Circle $\mathbb{S}^1$ 与 Two Moons）以及真实高维图像数据集（MNIST）上进行了 OT-CFM 向量场与雅可比谱分析实验。在二维实验中，批大小设为 512，网络采用 MLP，源分布为 $\mathcal{N}(0, I_2)$；在 MNIST 实验中，批大小为 256。终端时间调度参数设置满足 $\gamma = 1.0$。

下表总结了在合成数据集及真实数据上，对重缩放雅可比矩阵 $(1-t) D_x v_t(x_t)$ 特征值谱及终端李雅普诺夫指数的测量结果（均值与标准差基于 100 条独立采样轨迹）：

数据集 / 场景	流形维数 $m$ vs 环境维数 $d$	测得切向李雅普诺夫指数 $\lambda_T$ (理论值 0.0)	测得法向李雅普诺夫指数 $\lambda_N$ (理论值 $-\gamma = -1.0$)	向量场几何对齐形态
Circle ($\mathbb{S}^1$)	$m=1, d=2$	$0.01 \pm 0.02$	$-0.98 \pm 0.04$	终点附近向量场严格垂直正交指向圆环
Two Moons	$m=1, d=2$	$-0.02 \pm 0.03$	$-0.97 \pm 0.05$	曲线内部平稳中性，法向强吸引收敛
MNIST	$m \approx 80 \sim 100, d=784$	$\approx 0.0$ (前 80~100 个大特征值聚集于 0 附近)	$\to -1.0$ (第 160 个特征值之后迅速掉落至负常数)	沿流形正交方向迅速滤除背景噪声

消融与特征扰动分析¶

在 MNIST 生成图像上的雅可比特征向量微扰实验中，检验了不同特征值方向对应扰动向量施加于生成样本 $x_1$ 后的图像质量响应。

扰动特征向量位次	特征值大小 $(1-t)\mu_i$ ($t=0.98$)	对应几何子空间判定	施加扰动后图像视觉效果	动力学解释
第 1 阶 ($P_1$)	$\approx 0.00$	切空间 $T_{x_1}\mathcal{M}$	笔画粗细/倾斜度连贯变动，图像仍保持清晰数字流形	切向微扰零收缩，保持在数据流形内演化
第 20 阶 ($P_{20}$)	$\approx -0.05$	切空间 $T_{x_1}\mathcal{M}$	局部拓扑与结构平滑过渡，无背景伪影	切向中性稳定
第 40 阶 ($P_{40}$)	$\approx -0.12$	切空间边界过渡区	数字风格形态轻微变形，仍具有清晰字符特征	弱法向阻尼，主干特征稳定
第 80 阶 ($P_{80}$)	$\approx -0.28$	切向-法向过渡临界	边缘出现微弱弥散，数字主体形态依然可辨	临界本征维数过渡带
第 160 阶 ($P_{160}$)	$\approx -0.96$	严格法空间 $N_{x_1}\mathcal{M}$	出现全图弥散的高斯样椒盐杂色与离群噪声点	法向强收缩，逆向微扰即偏离流形

关键发现¶

谱间隙清晰揭示内在维数：MNIST 的雅可比特征值谱在第 80~100 位处出现显著拐点（gap），前 100 个特征值紧密分布在 0 附近，而随后特征值迅速降至 -1.0，经验性印证了 MNIST 图像的局部流形内在维数约为 80~100。
正交强吸引力提供采样鲁棒性：法向李雅普诺夫指数严格收敛至 $-\gamma = -1.0$，意味着任何偏离数据流形的数值积分误差都会在终点以指数速度 $O(e^{-\gamma \tau}) = O(1-t)$ 被强行拉回流形，从动力学角度解释了 OT-CFM 即使在步长较大时依然能生成清晰样本的原因。

亮点与洞察¶

近端算子统一生成去噪视角：创造性地将凸分析中的 Aleksandrov–Brenier 势函数引入流匹配，严格证明了 OT-CFM 的去噪映射并非启发式经验构造，而是对应势函数的标准欧氏近端算子，建立了与扩散模型 Tweedie 公式、薛定谔桥 Laplace 近似的对偶统一。
二阶上导数解决非光滑变分分析难题：针对流形分布导致的凸势函数法向不可微问题，借助二阶上导数的有效域定理优雅地隔离出流形切空间，首次在不依赖 Caffarelli 强正则性假设下完成流匹配终端动力学的严谨李雅普诺夫稳定性证明。

局限与展望¶

边界流形未完全覆盖：目前的李雅普诺夫指数渐近理论假定数据流形 $\mathcal{M}$ 为无边界的 $C^2$ 子流形，在包含边界的流形结构（如具有端点的曲线或复杂单纯形，如实验中的 Two Moons 端点）上理论假设会有局部退化。
Rectified Flow 的理论延拓限制：当前分析重度依赖最优传输二次代价的循环单调性与 Aleksandrov 势函数的凸性，对于未经最优传输耦合的普通流匹配或多次迭代重整的 Rectified Flow，尚无法直接套用近端变分分析框架。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (将凸分析近端算子与二阶上导数首次系统引入 OT-CFM 的流形动力学分析)
实验充分度: ⭐⭐⭐⭐☆ (合成数据集与 MNIST 特征谱分析与理论完全呼应，但缺少超大规模数据集如 ImageNet 的流形验证)
写作质量: ⭐⭐⭐⭐⭐ (数学论证严谨清晰，附录推导扎实完备)
价值: ⭐⭐⭐⭐⭐ (为流匹配在低维流形上的鲁棒采样提供了坚实的现代变分几何理论基础)

数据集 / 场景	流形维数 \(m\) vs 环境维数 \(d\)	测得切向李雅普诺夫指数 \(\lambda_T\) (理论值 0.0)	测得法向李雅普诺夫指数 \(\lambda_N\) (理论值 \(-\gamma = -1.0\))	向量场几何对齐形态
Circle (\(\mathbb{S}^1\))	\(m=1, d=2\)	\(0.01 \pm 0.02\)	\(-0.98 \pm 0.04\)	终点附近向量场严格垂直正交指向圆环
Two Moons	\(m=1, d=2\)	\(-0.02 \pm 0.03\)	\(-0.97 \pm 0.05\)	曲线内部平稳中性，法向强吸引收敛
MNIST	\(m \approx 80 \sim 100, d=784\)	\(\approx 0.0\) (前 80~100 个大特征值聚集于 0 附近)	\(\to -1.0\) (第 160 个特征值之后迅速掉落至负常数)	沿流形正交方向迅速滤除背景噪声

扰动特征向量位次	特征值大小 \((1-t)\mu_i\) (\(t=0.98\))	对应几何子空间判定	施加扰动后图像视觉效果	动力学解释
第 1 阶 (\(P_1\))	\(\approx 0.00\)	切空间 \(T_{x_1}\mathcal{M}\)	笔画粗细/倾斜度连贯变动，图像仍保持清晰数字流形	切向微扰零收缩，保持在数据流形内演化
第 20 阶 (\(P_{20}\))	\(\approx -0.05\)	切空间 \(T_{x_1}\mathcal{M}\)	局部拓扑与结构平滑过渡，无背景伪影	切向中性稳定
第 40 阶 (\(P_{40}\))	\(\approx -0.12\)	切空间边界过渡区	数字风格形态轻微变形，仍具有清晰字符特征	弱法向阻尼，主干特征稳定
第 80 阶 (\(P_{80}\))	\(\approx -0.28\)	切向-法向过渡临界	边缘出现微弱弥散，数字主体形态依然可辨	临界本征维数过渡带
第 160 阶 (\(P_{160}\))	\(\approx -0.96\)	严格法空间 \(N_{x_1}\mathcal{M}\)	出现全图弥散的高斯样椒盐杂色与离群噪声点	法向强收缩，逆向微扰即偏离流形