Heavy-Tailed Flow Matching via Random Clocks¶

会议: NeurIPS 2026
arXiv: 2607.13841
OpenReview: https://openreview.net/forum?id=CXUjf5ukqP
领域: 图像生成
关键词: 连续归一化流、重尾分布、随机时钟、路径签名、极端事件建模

一句话总结¶

本文提出基于随机时钟的重尾流匹配框架（HTFM），通过路径随机时钟将重尾源分布表示为条件高斯尺度混合，在保持高斯流匹配显式仿射目标与低步数采样优势的同时，通过截断对数签名实现时钟条件化速度场与多族重尾分布的精确校准生成。

研究背景与动机¶

在极端天气预报、金融极端风险评估以及高度不平衡的长尾图像生成等实际场景中，罕见且离群的稀有事件往往具有决定性的现实影响。然而，以扩散模型和流匹配为代表的现代生成模型通常从标准高斯噪声或轻尾源分布出发构建连续动力学系统。当真实数据具备显著的重尾特征（例如多项式衰减而非指数衰减）时，轻尾的高斯源分布形成了严重的不匹配归纳偏差，导致模型被迫完全依赖参数化输运流去“生硬拉扯”出极端离群样本，在有限样本下极难准确恢复尾部事件的发生频率和偏差幅度。

直接用重尾噪声（如 $\alpha$-稳定分布或 Student-$t$ 分布）替换高斯噪声是直观的解法，但现有重尾生成模型大多高度绑定于特定分布族。例如 Lévy 扩散模型依赖非局部的分数阶评分（fractional score）机制，且受限于特定稳定族；去噪 Lévy 概率模型（DLPM）需要针对稳定噪声设计带有外层鲁棒聚合的启发式去噪目标；而基于 Student-$t$ 的扩散与流模型则依赖特定的 $\gamma$-散度与方差有限约束（$\nu > 2$），无法覆盖更极端的无界方差场景。此外，重尾分布的二阶矩往往发散，若直接对重尾边际流使用均方误差回归，边际二次风险将面临梯度爆炸与优化极其不稳定的困境。

本文的切入角度是：如果将重尾分布在潜空间视作条件高斯尺度混合过程，则只需引入一个控制协方差与时间伸缩的非减随机时钟路径。只要在给定的单条时钟路径下做条件化，源分布与插值流便均退化为良好定义的高斯分布，从而完美继承高斯条件流匹配的解析速度目标与投影等价性。核心 idea：将重尾源分布建模为依赖路径随机时钟的高斯尺度混合，利用截断对数签名特征将无限维时钟紧凑编码并注入速度场，统一了高斯、$\alpha$-稳定与任意自由度 Student-$t$ 族在同一种流匹配框架下的可控生成。

方法详解¶

整体框架¶

HTFM 的核心逻辑是将重尾特性的无界波动性剥离至外层的随机时钟采样中，而在内层流匹配回归中维持条件高斯动力学。输入端首先从预设的时钟法则中抽取一条非降右连左极（càdlàg）时钟路径 $T_{[0,1]}$，该路径决定了源分布的条件协方差 $\Sigma(T_{[0,1]})$。网络接受时间 $t$、当前流动状态 $X_t^T$ 以及表征该时钟路径的紧凑对数签名特征 $\ell_m(T)$，通过单步 ODE 积分直接生成数据样本 $X_1$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["随机时钟路径采样<br/>T ~ P_T (稳定次协调过程 / 逆Gamma / 确定性)"] --> B["1. 条件高斯尺度混合与流匹配目标<br/>路径条件化高斯源 X_0^T 与端点解析速度目标"]
    A --> C["2. 截断对数签名时钟特征编码<br/>时间增广路径离散化与李代数紧凑降维"]
    B --> D["3. 统一重尾分布族恢复与尾部标定<br/>直线流 ODE 积分与尾部衰减参数 p_alpha / p_nu 控制"]
    C --> D
    D --> E["生成样本 X_1 (图像 / 极端天气场 / 混合样本)"]

关键设计¶

1. 条件高斯尺度混合与流匹配目标：消除重尾二次回归的无穷方差风险 重尾源分布在无条件边缘下的二次流匹配损失 $\mathbb{E}_{X_t}[\|u_\theta(X_t,t)-u_t^*(X_t)\|_2^2]$ 会因为重尾分布缺乏二阶矩而发散，造成训练严重不稳定。HTFM 通过引入随机时钟 $T = (T_t)_{t \in [0,1]} \in \mathbb{D}([0,1]; \mathbb{R}_+)$，在给定单条时钟路径 $T_{[0,1]}$ 条件下构建仿射输运流： $$X_t^T = \alpha_t^T X_1^T + \beta_t^T X_0^T, \quad X_0^T \sim \mathcal{N}\bigl(0, \Sigma(T_{[0,1]})\bigr)$$ 在条件高斯空间中，条件边缘分布严格服从高斯分布 $p_t^T(\cdot \mid x_1) = \mathcal{N}(\alpha_t^T x_1, (\beta_t^T)^2 \Sigma(T_{[0,1]}))$。由此导出的端点条件化速度目标形式与常规高斯流匹配完全一致： $$v_t^T(x \mid x_1) = \frac{\frac{\mathrm{d}\beta_t^T}{\mathrm{d}t}}{\beta_t^T} x + \left(\frac{\mathrm{d}\alpha_t^T}{\mathrm{d}t} - \frac{\frac{\mathrm{d}\beta_t^T}{\mathrm{d}t}}{\beta_t^T}\alpha_t^T\right)x_1$$ 针对常用的直线流动调度（Straight-line schedule）$\alpha_t = t, \beta_t = 1-t$，该目标进一步简化为 $v_t^T(x \mid x_1) = \frac{x_1 - x}{1-t}$。命题 3.1 证明了路径条件化下的边缘风险与条件风险满足 $L^2$ 投影等价性： $$\mathbb{E}\left[R_t^{\mathrm{cond}}(\theta; X_1^T, T) \mid T_{[0,1]}\right] = R_t^{\mathrm{marg}}(\theta; T) + C_t(T)$$ 这表明重尾性被完全转移到外层对时钟 $T$ 的期望积分中，内部回归目标处处解析且满足平方可积，彻底规避了分数阶导数与繁杂的非局域积分。

2. 截断对数签名时钟特征编码：高效表征无限维时钟路径 时钟路径 $T_{[0,1]}$ 本质上是无限维函数空间中的元素，若直接作为网络输入将演变为昂贵的神经算子学习问题。HTFM 引入粗糙路径理论中的截断对数签名（Truncated Logsignature）作为有限维结构化特征映射。定义时间增广时钟路径 $\mathbf{T}_s := (s, T_s) \in \mathbb{R}^2$，其在离散化网格 $0=t_0 < \dots < t_N=1$ 上的分段线性插值张量张成截断签名 $\phi_m(T) := S^{(\le m)}(\mathbf{T}^{\mathrm{lin}})$： $$\phi_m(T) = \left(1, \left(\int_{0 < u_1 < \dots < u_k < 1} \mathrm{d}\mathbf{T}_{u_1} \otimes \dots \otimes \mathrm{d}\mathbf{T}_{u_k}\right)_{k=1}^m\right)$$ 通过张量代数上的对数运算映射到自由李代数：$\ell_m(T) := \log_\otimes(\phi_m(T))$。对于 $q=2$ 维路径与 $m=3$ 阶截断，原始签名具有 15 个分量，而对数签名仅保留 5 个无冗余基底分量（例如一阶编码总增量 $(1, T_1)$，二阶编码时间与时钟坐标之间的李括号有向面积）。提取出的 $\ell_m(T)$ 经可学习线性层投影为 128 维特征向量，与正弦时间编码直接拼接后送入神经网络的每个残差块。整个算子计算复杂度仅为 $\mathcal{O}(N q^m)$，计算开销与数据空间维度完全解耦，以极低代价赋予了速度场感知局部物理时间伸缩与重尾尺度的能力。

3. 统一重尾分布族恢复与尾部标定：单架构覆盖多样化尾部衰减 HTFM 通过定制时钟协方差映射 $\Sigma_A(T_{[0,1]}) := 2 A(T) I_d$（其中 $A(T) := \int_0^1 T_s \mathrm{d}s$ 为时钟路径下面积），定理 3.2 严密证明了直线调度下对三大经典源分布族的统一恢复： - 高斯流匹配极限：取确定性时钟 $T_t = t$，此时 $A(T) = 1/2$，直接严格退化为标准高斯流匹配，尾部以次高斯速率极速衰减； - $\alpha$-稳定族恢复：令 $T$ 为参数 $\rho = \alpha/2 \in (0, 1)$ 的规范化稳定从属过程（$\rho$-stable subordinator），边际分布退化为位置平移的各向同性 $\alpha$-稳定分布，其径向尾部满足多项式衰减 $\mathbb{P}(\|X_t - \alpha_t x_1\|_2 > r \mid X_1 = x_1) = \Theta(r^{-\alpha})$； - Student-$t$ 族恢复：令 $V_\nu \sim \mathrm{InvGamma}(\nu/2, \nu/2)$ 且 $T_t = t V_\nu$，边际分布解析等价为多变量 Student-$t$ 分布，径向尾部满足多项式衰减 $\mathbb{P}(\|X_t - \alpha_t x_1\|_2 > r \mid X_1 = x_1) = \Theta(r^{-\nu})$。特别地，该机制对任意自由度 $\nu > 0$ 均成立，直接打破了传统 Student-$t$ 生成模型必须满足 $\nu > 2$ 的有限方差死穴。使用者只需切换外层时钟分布及其多项式衰减参数 $p$（即 $p_\alpha$ 或 $p_\nu$），无需修改骨干网络或损失函数即可实现端到端尾部外推强度的灵活校准。

损失函数 / 训练策略¶

训练时从均匀分布抽取时间步 $t \sim \mathrm{Unif}(0, 1)$，独立采样时钟路径 $T$ 并提取对数签名 $\ell_m(T)$，根据 $\mathcal{N}(0, \Sigma_A(T))$ 采样 $X_0^T$ 并插值得到 $X_t^T$。优化的端点目标函数为： $$\mathcal{L}_{\mathrm{CHTFM}}^{\mathrm{sig}}(\theta) = \mathbb{E}_{t, T, X_1^T, X_t^T \mid X_1^T}\left[\left\|u_\theta\bigl(X_t^T, t, \ell_m(T)\bigr) - \frac{X_1^T - X_t^T}{1-t}\right\|_2^2\right]$$ 优化器采用 AdamW，针对 CIFAR10-LT 采用步进衰减与学习率预热（Warmup），梯度裁剪范数设为 1.0，并配合 EMA（衰减率 0.9999）进行评估采样。采样阶段采用标准 Euler 或 Heun ODE 积分器求解逆向动力学，显著降低了传统扩散模型所需的采样步数。

实验关键数据¶

主实验¶

实验涵盖 2D 不平衡 $\alpha$-稳定高斯混合分布（精确检验重尾模态覆盖率 $f_1^{\mathrm{pr}}$）、CIFAR10-LT 不平衡长尾图像生成（不平衡比例 $\rho = 0.01$，度量综合图像质量 FID）以及真实高分辨率天气雷达垂直积分液态水场 HRRR VIL（128×128，度量极端强降水峰值分布的峰度比 KR、偏度比 SR 与尾部 Kolmogorov-Smirnov 统计量 KS）。

下表汇总了 HTFM 框架内不同时钟机制与多项式尾衰减指数 $p$ 的跨领域表现：

数据集 / 任务	评估指标	HTFM-G ($p=\infty$)	HTFM-$\alpha$ (最优)	HTFM-$t$ (最优)	性能增益
2D 混合 ($\alpha_D=1.5$)	$f_1^{\mathrm{pr}} \uparrow$ (NFE=10)	0.888	0.943 ($p_\alpha=1.6$)	0.962 ($p_\nu=1.7$)	+0.074 模态覆盖
2D 混合 ($\alpha_D=1.8$)	$f_1^{\mathrm{pr}} \uparrow$ (NFE=10)	0.893	0.934 ($p_\alpha=1.6$)	0.959 ($p_\nu=1.7$)	+0.066 模态覆盖
CIFAR10-LT	FID $\downarrow$ (NFE=100)	19.29	15.89 ($p_\alpha=1.8$)	16.14 ($p_\nu=3.0$)	-3.40 FID 提升
HRRR VIL 天气场	KR $\downarrow$ (NFE=50)	0.72	0.04 ($p_\alpha=1.6$)	0.16 ($p_\nu=3.0$)	-0.68 峰度偏差
HRRR VIL 天气场	SR $\downarrow$ (NFE=50)	0.68	0.06 ($p_\alpha=1.7$)	0.14 ($p_\nu=1.7$)	-0.62 偏度偏差
HRRR VIL 天气场	KS $\downarrow$ (NFE=50)	0.42	0.03 ($p_\alpha=1.8$)	0.14 ($p_\nu=1.7$)	-0.39 尾部距离

在 CIFAR10-LT 基准上与代表性重尾生成基线（Lévy 扩散模型 LIM、去噪 Lévy 概率模型 DLPM/DLIM、Student-$t$ 流模型 t-Flow）对比，展示不同 NFE 步数下的 FID 对比结果：

方法	噪声支持类型	NFE=20 (低步数)	NFE=100 (常规)	NFE=500 (渐近收敛)
LIM	$\alpha$-稳定	126.8 ($p_\alpha=1.8$)	32.40 ($p_\alpha=1.8$)	18.23 ($p_\alpha=1.8$)
DLPM	$\alpha$-稳定 / 高斯	28.55 ($p_\alpha=1.7$)	18.18 ($p_\alpha=1.6$)	14.91 ($p_\alpha=1.7$)
DLIM	$\alpha$-稳定 / 高斯	21.30 ($p_\alpha=1.6$)	18.46 ($p_\alpha=1.8$)	17.22 ($p_\alpha=1.6$)
t-Flow	Student-$t$ ($\nu>2$)	22.49 ($p_\nu=3.0$)	19.05 ($p_\nu=3.0$)	17.66 ($p_\nu=3.0$)
HTFM (Ours)	稳定 / $t$ / 高斯统一	16.76 ($p_\alpha=1.9$)	15.89 ($p_\alpha=1.8$)	14.99 ($p_\alpha=1.8$)

消融实验¶

在 CIFAR10-LT 上针对对数签名阶数 $m$ 进行消融分析（NFE=100，使用 Euler 求解器），验证显式时钟特征对速度场的引导作用：

模型变体	尾部衰减率 $p$	$m=0$ (无时钟特征输入)	$m=1$ (一阶增量特征)	$m=2$ (二阶面积特征)	核心说明
HTFM-$\alpha$	$p_\alpha = 1.6$	16.78	16.19	16.21	一阶已充分捕获尺度
HTFM-$\alpha$	$p_\alpha = 1.7$	16.65	16.10	16.46	引入时钟特征显著优于无条件
HTFM-$\alpha$	$p_\alpha = 1.8$	16.49	15.89	15.94	最佳综合生成表现
HTFM-$t$	$p_\nu = 1.7$	18.72	16.31	— (仿射时钟由一阶完全确定)	极度重尾下时钟特征收益尤大 (-2.41)
HTFM-$t$	$p_\nu = 2.0$	17.30	16.75	—	无穷方差边界点表现优异
HTFM-$t$	$p_\nu = 3.0$	16.58	16.14	—	轻微重尾依然带来增益

关键发现¶

重尾时钟归纳偏差的普适优势：无论是 2D 离群密度、复杂长尾自然图像还是具备强右偏物理极值的天气雷达场，引入重尾时钟的 HTFM 均全面碾压高斯流匹配基线 HTFM-G。
衰减率非唯一决定因素：在严格对齐多项式尾衰减指数 $p = 1.7$ 的控制变量下，HTFM-$t$ 在 2D 混合几何上最优，而 HTFM-$\alpha$ 在高维图像与天气连续场上表现更佳。这揭示了时钟分布的高阶几何特质（如从属过程的跃度结构对比逆伽马的尺度放缩）与具体任务空间有着深层交互。
低步数函数评估（NFE）压倒性领先：在 NFE=20 极少步数约束下，HTFM 取得 16.76 的超强 FID，相较于 LIM (126.8) 和 DLPM (28.55) 展现了流匹配直线轨迹在采样效率上的巨大飞跃；高 NFE 下依然能持平收敛上限极高的 DLPM。

亮点与洞察¶

将无穷维动力学降维至高斯投影：巧借随机时钟将不可积的重尾二阶矩发散风险解耦为“外层路径积分 + 内层标准条件高斯流匹配”，在数学上保留了连续流匹配优美的 $L^2$ 投影闭式解，避免了非局部积分方程。
对数签名的轻量接口适配：巧妙运用粗糙路径理论中的截断对数签名，仅凭 5 个特征标量即完整编码了时钟路径的时间分配与尺度跳跃，使通用骨干网络得以在几乎零额外开销下自适应条件高斯空间。
跨分布族统一接口与突破方差限制：首次在单一流匹配框架内无缝衔接了高斯、$\alpha$-稳定分布与 Student-$t$ 分布，并将 Student-$t$ 流模型从传统 $\nu > 2$ 的有限方差约束一举拓宽至 $\nu \le 2$ 的任意极端重尾域。

局限与展望¶

时钟法则预设依赖：当前时钟法则（稳定从属过程或逆伽马分布）仍需使用者根据领域先验进行先验指定或网格超参搜索，尚未实现依据数据样本自动反推/学习最优时钟分布的数据自适应机制。
非对称偏斜扩展仅停留在理论：论文主体专注于对称尺度混合模型，尽管附录给出了引入非零条件均值的均值-方差混合（Normal Variance-Mean Mixtures）理论扩展，但尚未在高维真实偏态图像数据中进行充分的大规模经验验证。
未来方向：探索端到端可学习的自适应时钟分布生成器，以及将 HTFM 应用于大尺度离散扩散/自回归极端值感知（如金融量化对冲与极端气候极端推演系统）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用随机时钟与粗糙路径签名将重尾流匹配严格收敛为条件高斯投影，理论优雅深刻。
实验充分度: ⭐⭐⭐⭐☆ 覆盖 2D 玩具实验、CIFAR10-LT 图像与真实地球物理雷达场，基线完备，消融透彻。
写作质量: ⭐⭐⭐⭐⭐ 概念引申严谨自洽，公式推导与几何物理直觉结合紧密，附录理论完备。
价值: ⭐⭐⭐⭐⭐ 为非高斯与极端长尾生成式建模开辟了极具通用性的全新路径，对气象、金融与长尾识别具有重要指导价值。

数据集 / 任务	评估指标	HTFM-G (\(p=\infty\))	HTFM-\(\alpha\) (最优)	HTFM-\(t\) (最优)	性能增益
2D 混合 (\(\alpha_D=1.5\))	\(f_1^{\mathrm{pr}} \uparrow\) (NFE=10)	0.888	0.943 (\(p_\alpha=1.6\))	0.962 (\(p_\nu=1.7\))	+0.074 模态覆盖
2D 混合 (\(\alpha_D=1.8\))	\(f_1^{\mathrm{pr}} \uparrow\) (NFE=10)	0.893	0.934 (\(p_\alpha=1.6\))	0.959 (\(p_\nu=1.7\))	+0.066 模态覆盖
CIFAR10-LT	FID \(\downarrow\) (NFE=100)	19.29	15.89 (\(p_\alpha=1.8\))	16.14 (\(p_\nu=3.0\))	-3.40 FID 提升
HRRR VIL 天气场	KR \(\downarrow\) (NFE=50)	0.72	0.04 (\(p_\alpha=1.6\))	0.16 (\(p_\nu=3.0\))	-0.68 峰度偏差
HRRR VIL 天气场	SR \(\downarrow\) (NFE=50)	0.68	0.06 (\(p_\alpha=1.7\))	0.14 (\(p_\nu=1.7\))	-0.62 偏度偏差
HRRR VIL 天气场	KS \(\downarrow\) (NFE=50)	0.42	0.03 (\(p_\alpha=1.8\))	0.14 (\(p_\nu=1.7\))	-0.39 尾部距离

方法	噪声支持类型	NFE=20 (低步数)	NFE=100 (常规)	NFE=500 (渐近收敛)
LIM	\(\alpha\)-稳定	126.8 (\(p_\alpha=1.8\))	32.40 (\(p_\alpha=1.8\))	18.23 (\(p_\alpha=1.8\))
DLPM	\(\alpha\)-稳定 / 高斯	28.55 (\(p_\alpha=1.7\))	18.18 (\(p_\alpha=1.6\))	14.91 (\(p_\alpha=1.7\))
DLIM	\(\alpha\)-稳定 / 高斯	21.30 (\(p_\alpha=1.6\))	18.46 (\(p_\alpha=1.8\))	17.22 (\(p_\alpha=1.6\))
t-Flow	Student-\(t\) (\(\nu>2\))	22.49 (\(p_\nu=3.0\))	19.05 (\(p_\nu=3.0\))	17.66 (\(p_\nu=3.0\))
HTFM (Ours)	稳定 / \(t\) / 高斯统一	16.76 (\(p_\alpha=1.9\))	15.89 (\(p_\alpha=1.8\))	14.99 (\(p_\alpha=1.8\))

模型变体	尾部衰减率 \(p\)	\(m=0\) (无时钟特征输入)	\(m=1\) (一阶增量特征)	\(m=2\) (二阶面积特征)	核心说明
HTFM-\(\alpha\)	\(p_\alpha = 1.6\)	16.78	16.19	16.21	一阶已充分捕获尺度
HTFM-\(\alpha\)	\(p_\alpha = 1.7\)	16.65	16.10	16.46	引入时钟特征显著优于无条件
HTFM-\(\alpha\)	\(p_\alpha = 1.8\)	16.49	15.89	15.94	最佳综合生成表现
HTFM-\(t\)	\(p_\nu = 1.7\)	18.72	16.31	— (仿射时钟由一阶完全确定)	极度重尾下时钟特征收益尤大 (-2.41)
HTFM-\(t\)	\(p_\nu = 2.0\)	17.30	16.75	—	无穷方差边界点表现优异
HTFM-\(t\)	\(p_\nu = 3.0\)	16.58	16.14	—	轻微重尾依然带来增益