ParaFlow: Parallel Sampling for Flow Matching Models¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/Jianrong-Lu/ParaFlow
领域: 图像生成
关键词: Flow Matching, 并行采样, 三角非线性方程组, 速度外推, 采样加速

一句话总结¶

ParaFlow 将流匹配（Flow Matching）的自回归常微分方程采样过程重构为三角非线性方程组，并提出基于牛顿一阶差商的速度外推机制，首次在单张 GPU 上以低于传统序列欧拉求解器的总网络评估次数（NFE）实现了高达 4.3 倍的端到端无损采样加速。

研究背景与动机¶

流匹配（Flow Matching, FM）作为前沿的连续时间生成建模范式，已成为 Stable Diffusion 3、Flux 和 HunyuanVideo 等尖端文本到图像与视频生成系统的核心驱动引擎。流匹配通过学习时间依赖的速度场，利用常微分方程（ODE）将简单的先验高斯分布平滑变换为复杂的数据分布。然而，在推理生成样本时，该过程在数值上高度依赖自回归的逐步数值积分，往往需要对参数量高达数十亿的大型神经网络进行数十次甚至上百次严格按时序串行推进的前向评估。这种固有的时序依赖性构成了实时生成与交互式部署的主要性能瓶颈。

针对这一瓶颈，现有的加速方案通常沿着数值求解器设计、模型蒸馏和并行采样三条技术路径展开，但各自存在显著局限。高阶专用数值求解器（如 DPM-Solver、Bespoke Solvers）虽然减少了离散化步数，却仍无法摆脱每一步串行依赖的基础结构；稠密蒸馏或一致性模型（如 LCM、Sana-Sprint）能够在较少步数内生成，但训练开销极为昂贵且往往伴随保真度与文本对齐精度的折损。最近出现的并行扩散采样方法（如 ParaDiGMS、ParaSolver）尝试引入 Picard 迭代将多步求解并行化，但这类方法不仅强绑定扩散模型的特定加噪调度，更面临严重的计算“税”（computational tax）——为了达到收敛，其总网络函数评估次数（NFE）往往膨胀至串行求解器的 2 至 3 倍，必须重度依赖多卡并行与昂贵的高互联带宽，在消费级或常规单 GPU 上反而会导致推理时间剧烈退化。

本文的切入视角是充分利用流匹配本身独特的动力学性质。与扩散模型高度曲折的漂移轨迹不同，流匹配倾向于学习出接近直线概率路径的平滑、准线性向量场，这为打破时序依赖并精确估计未来状态提供了极佳的数值几何条件。核心 idea：将流匹配自回归采样规约解耦为三角非线性方程组（TNEs），利用流匹配轨迹的高时间平滑性引入牛顿一阶差商速度外推，在单 GPU 上以少于串行采样的总 NFE 和严格有界的理论误差实现无损并行积分。

方法详解¶

整体框架¶

ParaFlow 的核心在于将传统流匹配采样中逐时步串行依赖的单向时间步进过程，转化为全轨迹或局部时间窗口内的非线性代数方程组联合求解问题，从而为 GPU 的并行硬件计算打开空间。整个流水线由三个紧密耦合的阶段构成：首先，将连续 ODE 离散轨迹重构为三角非线性方程组（TNEs），使得窗口内多个时步的状态预测能够通过不动点迭代（Fixed-Point Iteration, FPI）并行推演；其次，为了避免在不动点迭代中对所有并行步都调用沉重的神经网络计算，方法利用历史时步的差商进行牛顿一阶多项式外推，仅评估极少量关键时步即可高保真预测未来速度；最后，为了控制峰值显存并确保全局数值收敛，算法采用自适应滑动窗口与残差阈值判定策略，动态调整并行窗口的前进步长。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["先验初始噪声 x0 ~ p0<br/>与初始速度估计"] --> B["三角非线性方程组重构<br/>将串行ODE映射为TNEs"]
    B --> C["牛顿一阶差商速度外推<br/>评估r步并多项式外推窗口余步"]
    C --> D["自适应滑动窗口机制<br/>残差阈值截断与自适应步长位移"]
    D -->|未达到终止时步 tN| C
    D -->|达到终止时步 tN| E["输出最终生成图像 xtN"]

关键设计¶

1. 三角非线性方程组重构：将自回归积分转化为并行定点求解

传统的欧拉法采样具有严格的前后依赖：$x_{t_{i+1}} = x_{t_i} + h_i v(x_{t_i}, t_i, \theta)$。为了破除这一计算依赖，ParaFlow 将包含起始噪声 $x_{t_0}$ 在内的整个离散轨迹序列 $\{x_{t_0}, x_{t_1}, \dots, x_{t_N}\}$ 视为待求解的联合未知变量，构建包含 $N+1$ 个方程的非线性代数系统 $\mathcal{F}(\hat{x}_{t_0}, \dots, \hat{x}_{t_N}) = 0$。对于任意第 $i$ 个状态，方程定义为： $$ \hat{x}{t_i} = \hat{x}, t_j, \theta) $$ 由于下三角矩阵式的依赖拓扑，系统具备唯一的根且严格等价于原自回归 ODE 的真实积分轨迹。在此结构上，ParaFlow 采用不动点迭代法在迭代轮次 } + \sum_{j=0}^{i-1} h_j \cdot v(\hat{x}_{t_j$k$ 对所有未知状态执行同步更新。理论上，该迭代矩阵具有严格的幂零特性，保证在至多 $N$ 轮迭代内精确收敛至自回归真值，而在实际采样中，往往仅需远少于 $N$ 次的极少轮次迭代即可收敛到高精度区间。

2. 牛顿一阶差商速度外推：以极低计算开销预估窗口内未来速度

单纯在不动点迭代中并行计算所有并行时步的网络输出，虽然压平了时序依赖，却会导致计算量呈倍数暴增，产生高昂的计算“税”。针对这一瓶颈，ParaFlow 发掘了流匹配模型轨迹沿最优传输路径高度光滑、局部近乎线性的几何特征。ParaFlow 在每个并行窗口内仅显式调用神经网络计算 $r$ 个时步的真实速度场（在单 GPU 上设 $r=1$），其余 $p-r$ 个后续时步的速度场则通过历史参考时步计算差商并进行一阶外推： $$ D_1 = \frac{v_{t_{i+r-1}} - v_{t_{i+r-2}}}{t_{i+r-1} - t_{i+r-2}}, \quad v(\hat{x}{t) $$ 相比朴素的零阶速度复制，一阶牛顿差商精确刻画了局部加速度的一阶变化趋势。作者在理论上证明，在空间 Lipschitz 连续与时间导数有界的条件下，该外推带来的全局终态误差上界以立方速率 }}, t_{i+j}, \theta) \approx v_{t_{i+r-1}} + D_1 (t_{i+j} - t_{i+r-1$\mathcal{O}(1/N^3)$ 极速衰减。当总采样步数 $N \ge 25$ 时，分母的高阶项完全主导并压制了估计误差，使得轻量级外推完全抹去了并行采样的额外算力惩罚，甚至在总 NFE 上低于标准欧拉基线。

3. 自适应滑动窗口机制：基于局部收敛判据的分块并行推进

若在整个采样区间 $[0, 1]$ 上一次性并行展开全部 $N$ 步，会带来巨大的显存显式占用与早期状态误差的无谓累积。ParaFlow 引入了大小为 $p \ll N$（默认 $p=8$）的滑动窗口，将长轨迹解耦为局部 TNE 子系统。算法在新窗口进入时用上一个窗口已收敛的最终状态初始化内部潜变量，并在每次不动点迭代后计算相邻轮次状态的归一化均方误差：$e_j = \frac{1}{D} \|\hat{x}^{(k)}_{t_{i+j+1}} - \hat{x}^{(k-1)}_{t_{i+j+1}}\|^2$。通过设定误差容忍度阈值 $\delta$，算法从窗口前端开始检索首个未达到收敛条件的位置 $s$。当前端连续 $s$ 个状态满足 $e_j \le \delta^2$ 时，窗口向前动态滑动 $s$ 步并将这部分状态冻结锁定。这种机制既避免了显存溢出，又实现了“收敛多则大步前进、遇难点则精细迭代”的弹性自适应调度。

一个完整示例¶

以总步数 $N=50$、窗口尺寸 $p=8$、网络评估数 $r=1$ 的 FLUX 图像生成为例： 1. 窗口初始化：在初始阶段 $t \in [t_0, t_7]$，将窗口内 8 个时步的状态初始值均设为初始高斯噪声 $x_{t_0}$。 2. 混合计算与外推：第一轮迭代中，模型仅在单张 GPU 上调用一次神经网络前向计算当前步 $t_0$ 的真实速度 $v_{t_0}$；结合前序参考信息计算一阶差商 $D_1$，瞬间并行解析外推出后续时步 $t_1 \dots t_7$ 的预测速度向量。 3. 并行累加与残差判定：利用上述速度，8 个状态同时通过前向积分累加式完成一轮更新。计算各步残差，若前 3 步（$t_1, t_2, t_3$）的变量变化量均小于阈值 $\delta^2 = 1 \times 10^{-4}$，而第 4 步未收敛，则确定滑移步长 $s=3$。 4. 窗口滑动与推进：将 $t_1, t_2, t_3$ 锁定为已收敛结果，窗口整体向前推进 3 步覆盖至 $t_{10}$，新纳入的时步直接继承 $t_3$ 的当前估计值并继续下一轮计算。相比传统欧拉必须串行评估 50 次网络，整个过程仅需约 16 轮轻量迭代即可全部收敛完毕。

实验关键数据¶

主实验¶

在昇腾 Ascend 910B 硬件平台上，作者在 Stable Diffusion 3 Medium 与 FLUX.1-dev 两个业界顶尖的流匹配架构上进行了大规模评测，从 FluxPrompting 数据集抽取 5,000 个随机提示词生成 $1024 \times 1024$ 高分辨率图像。评价指标包括 Fréchet Inception Distance (FID)、CLIP Score、平均单张生成耗时（Time）以及加速比（Speedup）。

下表展示了在 Stable Diffusion 3 上不同采样步数下的主实验对比数据：

采样步数 $N$	方法与硬件配置	迭代轮次 (Iters)↓	评估次数 (NFE)↓	CLIP 得分↑	FID↓	单张耗时 (s)↓	加速比 (Speedup)↑
100 步	Euler 基线 (1 GPU)	100.00	100.00	32.38	61.54	18.22	1.0×
	Euler + ParaFlow ($r=100$, 无外推, 8 GPUs)	26.47	211.78	32.37	61.74	5.55	3.3×
	Euler + ParaFlow ($r=1$, 带外推, 1 GPU)	28.34	28.34	32.17	61.96	5.20	3.5×
75 步	Euler 基线 (1 GPU)	75.00	75.00	32.37	62.14	13.57	1.0×
	Euler + ParaFlow ($r=75$, 无外推, 8 GPUs)	22.96	183.66	32.37	62.78	4.95	2.7×
	Euler + ParaFlow ($r=1$, 带外推, 1 GPU)	26.61	26.61	32.17	62.77	4.81	2.8×
50 步	Euler 基线 (1 GPU)	50.00	50.00	32.37	62.24	9.37	1.0×
	Euler + ParaFlow ($r=50$, 无外推, 8 GPUs)	19.94	159.49	32.36	62.79	4.43	2.1×
	Euler + ParaFlow ($r=1$, 带外推, 1 GPU)	23.29	23.29	32.20	62.65	4.42	2.1×
25 步	Euler 基线 (1 GPU)	25.00	25.00	32.31	62.83	5.17	1.0×
	Euler + ParaFlow ($r=25$, 无外推, 8 GPUs)	16.02	128.12	32.32	62.61	3.73	1.4×
	Euler + ParaFlow ($r=1$, 带外推, 1 GPU)	15.97	15.97	31.86	62.64	3.23	1.6×

在超大参数量的 FLUX.1-dev 骨干网络上（100 步采样下），标准单卡 Euler 基线耗时高达 87.94s，而 ParaFlow ($r=1$, 1 GPU) 将耗时压缩至 20.45s，实现 4.3× 的端到端墙钟时间加速，且 NFE 从 100 骤降至 22.93，FID 变化极小（62.28 vs. 61.47）。

消融实验¶

为深入探究并行网络评估次数 $r$（即每个窗口内显式前向调用的步数）对系统计算负担与实际加速效果的根本影响，作者在 FLUX 模型上保持 50 步采样、$512 \times 512$ 分辨率、容忍度 $\delta=0.01$、窗口 $p=50$ 进行消融评测：

方法	模型评估数 $r$ (硬件配置)	迭代轮次 (Iters)↓	评估次数 (NFE)↓	CLIP 得分↑	FID↓	单张耗时 (s)↓	加速比 (Speedup)↑
传统欧拉	50 (1 GPU, 串行基线)	50.00	50.00	32.13	59.96	23.80	1.0×
ParaFlow	50 (8 GPUs, 完全无外推)	14.76	472.44	32.14	59.94	18.31	1.3×
ParaFlow	25 (8 GPUs)	14.32	368.02	32.15	59.97	12.53	1.9×
ParaFlow	8 (8 GPUs)	13.58	116.34	32.17	59.94	8.50	2.8×
ParaFlow	4 (4 GPUs)	15.34	64.98	32.16	59.95	7.93	3.0×
ParaFlow	1 (1 GPU, 极限外推)	16.00	16.00	32.14	59.96	7.44	3.2×

此外，窗口尺寸 $p$ 的消融表明，$p=8$ 在通信开销与并行收敛速度之间达到了最优权衡，在 FLUX 50 步下以 5.58s 的耗时取得了 2.8× 加速；容忍度 $\delta$ 从 0.005 放宽至 0.01 时，步数进一步压缩，提供了灵活的精度-速度调节旋钮。

关键发现¶

打破并行采样的“算力膨胀诅咒”：消融实验中最具突破性的发现是，将并行评估数 $r$ 从 50 缩减至 1 时，总 NFE 从 472.44 剧烈下降至 16.00，实际耗时反而从 18.31s（8 卡）缩减到 7.44s（单卡），加速比从 1.3× 跃升至 3.2×。这彻底证伪了“必须依靠多卡高并发暴力前向才能换取并行采样收益”的传统认知。
立方误差衰减保障生成质量稳定：在所有步数与配置下，无论是在 SD3 还是 FLUX 上，ParaFlow 生成图像的 FID 与 CLIP 指标均与串行欧拉方法高度一致（FID 波动均在 0.5 以内）。这充分印证了牛顿一阶外推误差随总步数呈 $\mathcal{O}(1/N^3)$ 立方衰减的数学推导，证明外推未引入不可逆的几何漂移。
大模型与高步数下加速收益呈超线性放大：网络参数量越大（FLUX vs. SD3）、预设采样步数越多（100 步 vs. 25 步），ParaFlow 抹平自回归等待的红利越显著。在 FLUX 100 步设置下，单卡加速比高达 4.3×，极大提升了重型扩散 Transformer 的可用性。

亮点与洞察¶

从动力学本质重塑数值求解器：巧妙利用流匹配模型相比传统扩散模型具备更平滑、接近直线的概率传输路径特性，避免了盲目套用传统扩散模型的重型 Picard 迭代，用极轻量的一阶差商外推取代昂贵的大模型推理。
单 GPU 硬件友好的零训练即插即用范式：以往并行扩散求解器因通信瓶颈与 NFE 翻倍而只能在多卡集群上展现微弱优势，ParaFlow 首次将并行采样的工作负载压缩至常规单卡可承载范畴，无需对下游基础模型执行微调或重训练，极具工程落地价值。
滑动窗口与自适应残差截断的工程优雅性：通过残差阈值 $\delta$ 动态判定状态收敛步长，兼顾了局部高曲率变化区间的精细校准与近线性区间的激进跳跃，形成数值自适应的推演波前。

局限与展望¶

极端少步数体制下的收益收敛：在极少采样步数（如 $N \le 10$）的场景下，流匹配轨迹的单步离散间隔大幅拉大，速度场的一阶光滑性假设变弱，同时因总迭代轮次基数小，并行窗口滑动的加速倍率逐步收窄至 1.4-1.6×。
二阶差商或高阶外推的潜力未完全释放：当前方法主要依赖一阶牛顿差商，对于强文本条件引导下可能存在的局部高阶非线性涡流，探索自适应切换的高阶多项式或 Hermite 插值外推可能进一步压缩误差。
跨模态与视频流匹配模型的拓展空间：论文主要在文本到图像任务上验证，未来可自然拓展至时空维度冗余度更高、自回归等待代价更为沉重的视频生成流匹配模型（如 Sora 类架构、HunyuanVideo）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立流匹配自回归采样的三角非线性方程组并行理论，并提出零计算负担的差商速度外推方案。
实验充分度: ⭐⭐⭐⭐⭐ 在 SD3 和 FLUX 两大顶会级生成模型上进行了覆盖多种步数、分辨率、窗口尺寸与参数评估数的详尽评测。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨，动机与实验脉络清晰连贯，算法与工程实现描述详实。
价值: ⭐⭐⭐⭐⭐ 彻底解决了并行生成采样中计算开销翻倍的痛点，为大模型交互式端侧与单卡加速提供了切实可行的高性能路径。