Accelerating Rectified Flow Models via Trajectory-Aware Caching¶

会议: NeurIPS 2026
arXiv: 2605.16789
论文: OpenReview
领域: 图像生成
关键词: 整流流模型、缓存加速、无训练推理加速、正交速度分解、文本到图像与视频生成

一句话总结¶

本文提出无训练缓存加速框架 TACache，通过对整流流（Rectified Flow）离散速度加速度进行平行-正交几何分解，在离线阶段基于幅值与方向累积变差双阈值确定安全跳步表，并在在线推理时结合离线统计量与样本自身历史正交方向递归重建跳步速度，在无需额外模型前向评估的前提下实现文本到图像最高 4.14×、文本到视频 2.11× 的高质量加速。

研究背景与动机¶

扩散模型与整流流（Rectified Flow, RF）模型显著提升了高分辨率图像与长视频生成的视觉质量，但其迭代式速度场求值带来了沉重的计算开销，单次生成往往需要数十步完整的大模型前向计算（例如在单张 A100 GPU 上用 HunyuanVideo 生成 5 秒视频耗时近一小时）。为了在不重训或蒸馏模型的前提下降低推理延迟，基于缓存（Cache-based）的无训练加速方法成为主流方向：模型仅在关键锚点步执行完整求值，而在被跳过的中间步直接利用历史计算结果近似当前输出。现有的代表性方案各有侧重，例如 TeaCache 与 EasyCache 直接复用历史特征或残差，TaylorSeer 与 DiCache 借助泰勒展开或多步浅层探针进行外推，MagCache 则拟合相邻残差范数的标量幅值比曲线来进行重缩放。

然而，这些现有缓存方法普遍在粗粒度上建模速度场的演化，将复杂的采样轨迹动力学压缩到单一近似通道中，未能将速度场的“幅值缩放变化”与“方向偏转漂移”解耦并分别施加独立控制。即使整流流在训练时旨在拉直噪声与数据之间的传输路径，实际学习到的速度场在采样过程中仍然存在不可忽略的方向转动。当为了追求高加速比而拉长跳步区间时，被耦合在一起的幅值误差与方向漂移会迅速累积，导致生成图像出现高频纹理丢失、细长结构扭曲，或生成视频出现运动不连贯与纹理崩塌。

作者通过分析整流流离散速度加速度的几何结构发现，将其沿当前速度方向分解为平行分量（刻画幅值变化率）和正交残差（刻画方向偏转强度）后，这两个标量指标在不同提示词样本间表现出高度一致性，且沿采样时间步平滑演化。这种“跨样本与跨时间步的双重稳定性”意味着幅值与方向的宏观变化规律完全可以在离线阶段用小规模校准集忠实刻画，而样本特有的具体偏转方向则可由在线历史轨迹锚定。核心 idea：沿着当前速度方向对离散速度加速度做平行-正交分解，离线用幅值与方向指标的独立累积变差阈值预计算跳步调度表，在线用离线标量统计量融合样本自身递归重正交化的历史正交方向来无代价重建跳步速度。

方法详解¶

整体框架¶

TACache 遵循“先决策跳步、再按分量补偿（skip-then-compensate）”的范式，由离线校准与在线推理两个阶段、三个协同模块组成。在离线阶段，框架首先在少量校准样本上运行完整采样，通过平行-正交速度分解（POVD）提取每个时间步的平行幅值指标与正交方向指标；随后由稳定步长计算器（SSC）分别限制两项指标在跳步区间内的累积变差，生成固定的全局跳步调度表。在在线推理阶段，模型按照预计算调度表交替执行锚点步完整求值与轨迹感知跳步更新（TASU）：每当进入跳步区间，TASU 利用锚点步提取的历史正交转弯方向并结合离线标量统计量，在平行轴与正交轴上递归更新速度并推进欧拉采样，直至下一个锚点步重新调用模型刷新速度基准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["校准集与在线采样轨迹<br/>离散速度场序列 v_n"] --> B["平行-正交速度分解（POVD）<br/>解耦平行幅值指标 k̃_n 与正交方向指标 d̃_n"]
    B --> C["稳定步长计算器（SSC）<br/>双阈值累积变差约束生成离线跳步表 h_n"]
    C -->|h_n = 1 锚点步| E["标准模型前向评估<br/>刷新速度基准与历史转弯锚点"]
    C -->|h_n > 1 跳步区间| D["轨迹感知跳步更新（TASU）<br/>指数幅值更新 + 历史方向递归重正交补偿"]
    D --> E
    E --> F["完成 N 步欧拉积分<br/>输出生成图像或视频 X_tN"]

关键设计¶

1. 平行-正交速度分解（POVD）：解耦速度场演化的幅值缩放与方向偏转

针对现有方法将速度变化混为一谈、无法单独量化方向漂移的痛点，POVD 从几何角度将相邻时间步的离散速度加速度 \(\mathbf{a}_n \coloneqq (\mathbf{v}_{n+1} - \mathbf{v}_n) / \Delta t_n\) 沿当前速度 \(\mathbf{v}_n\) 进行正交分解：

\[\mathbf{a}_n = k_n \mathbf{v}_n + \mathbf{r}_n^{\perp}, \qquad k_n \coloneqq \frac{\langle \mathbf{a}_n, \mathbf{v}_n \rangle}{\|\mathbf{v}_n\|^2}, \qquad d_n \coloneqq \frac{\|\mathbf{r}_n^{\perp}\|}{\|\mathbf{v}_n\|} \Delta t_n\]

其中平行标量 \(k_n\) 衡量速度范数沿当前轨迹方向的相对变化率，是纯粹的幅值信号；正交残差 \(\mathbf{r}_n^{\perp} = \mathbf{a}_n - k_n \mathbf{v}_n\) 与当前速度严格垂直，刻画速度场的内禀方向偏转；无量纲得分 \(d_n\) 则消去了局部速度模长与步长尺度的影响，直接度量单步内速度方向的偏转强度。由于 \(k_n\) 和 \(d_n\) 在不同样本间方差极小且随时间步平滑变化，POVD 在离线校准集 \(\mathcal{C}\) 上对二者取期望，得到群体级幅值指标 \(\mathrm{MI}_n = \widetilde{k}_n \coloneqq \mathbb{E}_{\mathcal{C}}[k_n]\) 与方向指标 \(\mathrm{DI}_n = \widetilde{d}_n \coloneqq \mathbb{E}_{\mathcal{C}}[d_n]\)。这样既把跨样本稳定的标量强度固化到离线缓存中，又将强样本相关的正交方向向量留给在线阶段恢复，为后续调度和补偿建立了统一的几何坐标系。

2. 稳定步长计算器（SSC）：基于幅值与方向独立累积变差阈值的离线跳步调度

在决定“何时可以安全跳步”时，由于幅值指标与方向指标在采样早、中、晚期的变化速率和稳定程度截然不同，单一耦合阈值必然顾此失彼（对稳定项过紧浪费加速空间，或对剧烈变化项过松引发失真）。SSC 对每个起始时间步 \(n\)，分别在单步幅值变差序列 \(\mathbf{K} = \{|\widetilde{k}_m| \Delta t_m\}\) 和单步方向变差序列 \(\mathbf{D} = \{\widetilde{d}_m\}\) 上计算累积和，在不超过全局最大跳步上限 \(H_{\max}\) 的前提下，寻找使区间累积变差分别不超过容忍阈值 \(\tau_k\) 和 \(\tau_d\) 的最大步长 \(h_n^{(k)}\) 与 \(h_n^{(d)}\)，并取二者的交集作为最终允许跳步长度：

\[h_n = \min\!\bigl(h_n^{(k)}, h_n^{(d)}\bigr), \qquad \text{其中 } h_n^{(z)} = \max\Bigl\{h \in \{1, \ldots, \min(H_{\max}, N-n)\} \;\Big|\; h=1 \vee \sum_{j=0}^{h-1} z_{n+j} \le \tau_z\Bigr\}\]

当 \(h_n = 1\) 时执行常规单步更新，当 \(h_n > 1\) 时则跳过接下来的 \(h_n - 1\) 次模型前向计算。通过取两个独立约束的最小值，SSC 保证每个跳步区间都受限于当前时刻更敏感的那个分量（\(\tau_d\) 锁死方向漂移上限，\(\tau_k\) 锁死幅值失配上限）。生成的预计算表 \(\mathcal{M} = \{(\widetilde{k}_n, \widetilde{d}_n, h_n)\}_{n=0}^{N-1}\) 在整个在线推理阶段一次性加载并复用，实现零运行时调度开销。

3. 轨迹感知跳步更新（TASU）：融合离线标量统计与历史正交方向递归重正交化的在线速度重建

在长度为 \(h_n\) 的跳步区间内，模型不再执行前向求值，TASU 需要仅凭锚点步信息与离线统计量 \((\widetilde{k}_{n+j}, \widetilde{d}_{n+j})\) 重建中间步速度。首先，针对平行分量，直接用线性因子 \((1 + k_n \Delta t_n)\) 累乘会在连续多步跳过时累积泰勒截断误差，因此 TASU 将其替换为可精确乘法复合的指数形式 \(\exp(\widetilde{k}_{n+j} \Delta t_{n+j})\)。其次，针对样本特有的正交偏转方向，TASU 利用跳步区间起点处最近两次真实评估的速度增量 \(\Delta \mathbf{v}_{n-1} = \mathbf{v}_n - \mathbf{v}_{n-1}\)，剔除其在 \(\mathbf{v}_{n-1}\) 上的平行投影，提取出初始正交转弯锚点 \(\mathbf{p}_{n-1}^{\perp} = \Delta \mathbf{v}_{n-1} - \operatorname{proj}_{\mathbf{v}_{n-1}}(\Delta \mathbf{v}_{n-1})\)。由于随着跳步内重建速度 \(\widehat{\mathbf{v}}_{n+j}\) 不断演进，初始锚点 \(\mathbf{p}_{n-1}^{\perp}\) 会逐渐丧失与当前速度的正交性，TASU 在每个跳步子步 \(j \in \{0, \ldots, h_n-1\}\) 先将 \(\mathbf{p}_{n-1}^{\perp}\) 对当前重建速度 \(\widehat{\mathbf{v}}_{n+j}\) 做递归重正交化与归一化得到单位正交方向 \(\widehat{\mathbf{u}}_{n+j}^{\perp}\)，再合成下一步速度：

\[\widehat{\mathbf{v}}_{n+j+1} \coloneqq \underbrace{\exp\!\left(\widetilde{k}_{n+j} \Delta t_{n+j}\right) \widehat{\mathbf{v}}_{n+j}}_{\text{平行幅值更新}} + \underbrace{\widetilde{d}_{n+j} \|\widehat{\mathbf{v}}_{n+j}\| \widehat{\mathbf{u}}_{n+j}^{\perp}}_{\text{正交方向更新}}, \qquad \widehat{\mathbf{u}}_{n+j}^{\perp} = \frac{\mathbf{p}_{n-1}^{\perp} - \operatorname{proj}_{\widehat{\mathbf{v}}_{n+j}}(\mathbf{p}_{n-1}^{\perp})}{\bigl\|\mathbf{p}_{n-1}^{\perp} - \operatorname{proj}_{\widehat{\mathbf{v}}_{n+j}}(\mathbf{p}_{n-1}^{\perp})\bigr\|}\]

这一设计不仅无需任何额外模型求值，还在理论上具有严格的单步相对误差上界保証：作者证明单步近似误差可精确正交分解为平行幅值替换误差 \(C_n^2 |\widetilde{k}_n - k_n|^2\)、正交强度替换误差 \((\widetilde{d}_n - d_n)^2\) 以及方向对齐误差 \(2 \widetilde{d}_n d_n (1 - \cos\theta_n)\) 三项之和的平方根。前两项由 SSC 的双阈值直接压制，第三项则由递归重正交化持续提供正向对齐信号（实测在 BAGEL 跳步步上 \(\cos\theta_n\) 在 89.3% 的记录中保持为正），并在到达下一锚点步 \(n + h_n\) 时通过真实模型评估彻底重置累积误差。

损失函数 / 训练策略¶

本文为完全无训练（training-free）的推理期加速框架，不涉及任何模型权重微调、蒸馏损失或反向传播优化。离线校准阶段仅需小规模提示词集合（文本到图像从 WISE 采样 60 条 prompt，文本到视频从 InternVid-10M-FLT 采样 30 条 prompt）跑完一次标准 \(N=50\) 步欧拉采样以统计 \((\widetilde{k}_n, \widetilde{d}_n)\)。全局最大跳步上限统一设为 \(H_{\max} = 12\)；默认容忍阈值 \((\tau_k, \tau_d)\) 在 BAGEL 上设为 \((0.06, 0.6)\)，在 FLUX.1-dev 上设为 \((0.04, 0.4)\)，在 Wan2.1-1.3B 上设为 \((0.03, 0.3)\)。

实验关键数据¶

主实验¶

作者在两个代表性文本到图像（T2I）整流流模型（BAGEL、FLUX.1-dev，分辨率 \(1024 \times 1024\)，默认 \(T=50\) 步）和一个文本到视频（T2V）整流流模型（Wan2.1-1.3B，分辨率 \(832 \times 480 \times 81\) 帧，默认 \(T=50\) 步）上评测了 TACache，并与步数截断（\(T=13\)）、TeaCache、TaylorSeer、A2S、MagCache 进行对比。下表汇总了全部三个主干模型上的推理效率、语义/视频基准（GenEval / VBench）以及相对完整 50 步基线的参考保真度指标（PSNR、SSIM、LPIPS）与无参考感知指标（CLIP-IQA、Q-Align）：

模型与方法	PFLOPs (↓)	加速比 (↑)	延迟 (s, ↓)	GenEval / VBench (↑)	PSNR (dB, ↑)	SSIM (↑)	LPIPS (↓)	CLIP-IQA (↑)	Q-Align (↑)
BAGEL (\(T=50\) 完整步基线)	5.25	1.00×	51.42	86.31%	\(\infty\)	1.0000	0.0000	0.8505	0.9488
BAGEL (\(T=13\) 步数截断)	1.29	4.01×	12.83	85.01%	13.82	0.6732	0.4180	0.8052	0.9404
BAGEL + TeaCache	1.18	3.87×	13.30	86.47%	14.74	0.6736	0.4168	0.7274	0.9291
BAGEL + TaylorSeer	2.04	2.17×	23.66	86.03%	12.36	0.6172	0.4779	0.8576	0.9591
BAGEL + A2S	1.39	3.90×	13.17	86.59%	13.75	0.6532	0.4450	0.7956	0.9605
BAGEL + MagCache	1.39	3.75×	13.73	87.29%	15.56	0.6836	0.3940	0.7690	0.9464
BAGEL + TACache (本文)	1.29	4.14×	12.42	87.32%	15.61	0.6856	0.3911	0.8081	0.9315
FLUX.1-dev (\(T=50\) 完整步基线)	3.72	1.00×	32.92	64.27%	\(\infty\)	1.0000	0.0000	0.9090	0.9623
FLUX.1-dev (\(T=13\) 步数截断)	0.98	3.99×	8.26	63.87%	16.11	0.6638	0.4321	0.8247	0.9495
FLUX.1-dev + TeaCache	1.12	3.13×	10.53	62.86%	15.49	0.6686	0.4282	0.8952	0.9603
FLUX.1-dev + TaylorSeer	1.84	3.32×	9.90	62.65%	9.20	0.3731	0.7530	0.9151	0.9694
FLUX.1-dev + A2S	0.90	3.98×	8.27	59.01%	18.41	0.6616	0.4752	0.7803	0.8662
FLUX.1-dev + MagCache	1.25	3.06×	10.76	64.61%	16.49	0.6970	0.3845	0.8946	0.9582
FLUX.1-dev + TACache (本文)	0.98	3.99×	8.26	63.71%	22.57	0.8371	0.1969	0.8808	0.9370
Wan2.1-1.3B (\(T=50\) 完整步基线)	8.21	1.00×	256.78	72.59	\(\infty\)	1.0000	0.0000	0.7118	0.9037
Wan2.1-1.3B + TeaCache	4.11	1.91×	134.57	72.38	21.74	0.7686	0.1361	0.6748	0.9016
Wan2.1-1.3B + TaylorSeer	3.29	2.10×	122.20	72.03	14.48	0.4680	0.3877	0.6103	0.8800
Wan2.1-1.3B + MagCache	3.45	1.97×	130.65	72.77	23.82	0.8293	0.1065	0.6687	0.9024
Wan2.1-1.3B + TACache (本文)	3.78	2.11×	121.60	72.64	25.19	0.8637	0.0746	0.7097	0.9096

消融实验¶

作者在 BAGEL 上围绕组件贡献（SSC 离线跳步调度、MI 平行幅值补偿、DI 正交方向补偿）、阈值 \((\tau_k, \tau_d)\) 敏感性以及离线校准集规模进行了系统消融（合并自原文 Table 3、Table 6、Table 7 与 Table 8）：

消融维度与配置	延迟 (s) / 加速比	GenEval (↑)	Accuracy (↑)	PSNR (dB, ↑)	SSIM (↑)	LPIPS (↓)	CLIP-IQA (↑)	说明
步数截断基线 (\(T=13\), 无模块)	12.83 / 4.01×	85.01%	84.81%	13.82	0.6732	0.4180	0.8052	均匀步长截断基准
仅 SSC	12.42 / 4.14×	86.15%	85.76%	15.86	0.6989	0.3833	0.7936	仅用离线跳步调度，PSNR 提升 +2.04 dB
SSC + MI	12.42 / 4.14×	86.06%	85.67%	15.85	0.6990	0.3832	0.7907	宏观幅值趋势已被 SSC 吸收，单独加 MI 增益有限
SSC + DI	12.42 / 4.14×	87.20%	86.84%	15.59	0.6846	0.3925	0.8105	正交方向补偿带来核心质量提升（GenEval +1.05%）
SSC + MI + DI (完整 TACache)	12.43 / 4.14×	87.32%	86.93%	15.61	0.6856	0.3911	0.8081	MI 稳定 DI 引入方向修正后的尺度，综合性能最优
阈值配置 \((\tau_k=0.05, \tau_d=0.6)\)	13.16 / 3.91×	87.05%	—	15.60	0.6846	0.3929	0.8041	较保守阈值，质量高于 50 步基线
阈值配置 \((\tau_k=0.05, \tau_d=0.8)\)	11.70 / 4.40×	83.80%	—	14.27	0.6447	0.4655	0.7015	过度放宽方向阈值 \(\tau_d\) 导致轨迹漂移与质量骤降
阈值配置 \((\tau_k=0.08, \tau_d=0.8)\)	10.71 / 4.80×	85.64%	—	13.18	0.6193	0.4888	0.7444	高加速比极限配置，PSNR 明显下降
校准集规模：WISE 6 条 (耗时 9.3 min)	11.48 / 4.48×	86.60%	—	—	—	—	—	仅 6 条样本校准即可超越 50 步基线 (86.31%)
校准集规模：WISE 30 条 (耗时 31.0 min)	11.48 / 4.48×	87.14%	—	—	—	—	—	样本增至 30 条进一步提升语义对齐准确率

关键发现¶

正交方向补偿（DI）是在线恢复生成质量的首要功臣，而 MI 起到尺度稳定器作用：从组件消融可见，仅启用 SSC 即可将 GenEval 从 85.01% 提升至 86.15%、PSNR 从 13.82 dB 提升至 15.86 dB；在此基础上单独加入 MI 几乎没有额外收益（因为全局幅值趋势已在离线校准时被 SSC 吸收），但加入 DI 后 GenEval 跃升至 87.20%，再配合 MI 校准方向补偿后的速度模长，最终达到最高的 87.32% GenEval（甚至反超 50 步原模型的 86.31%，主要得益于 Counting 从 82.50% 提升至 84.38%、Color Attr. 从 73.25% 提升至 78.75%）。
参考保真度（Reference Fidelity）全方位大幅领先现有缓存方法：在所有三个模型上，TACache 的 PSNR、SSIM 和 LPIPS 均取得加速方法中的绝对最优。尤其在 FLUX.1-dev 上，TACache 在 3.99× 加速比下达到 22.57 dB PSNR 和 0.1969 LPIPS，比次优的 A2S（18.41 dB）高出 4.16 dB，比 MagCache（16.49 dB，3.06× 加速）高出 6.08 dB，证明平行-正交双轴恢复能够真正贴合原始采样轨迹。
锚点步有效阻断累积漂移，小样本校准即具备高鲁棒性：轨迹级诊断实验（Appendix C.2，50 条 GenEval prompt）显示，TACache 跳过了 75.5% 的步数，虽然在跳步子步上的单步相对速度漂移（36.2%）高于跳步更保守的 MagCache（71.4% 跳步率，20.2% 跳步速度漂移），但锚点步及时将速度漂移拉回 17.0%，使最终生成状态漂移反而更低（13.9% vs. MagCache 14.5%）。此外，离线校准仅需 6 条 WISE 提示词（不到 10 分钟）就能实现 4.48× 加速与 86.60% GenEval，换成 CompBench 提示词同样稳定在 86.60%。

亮点与洞察¶

从“特征/幅值一维复用”升级为“速度场加速度的平行-正交几何解耦”：以 MagCache 为代表的前作认为相邻步残差主要差异在于标量幅值，忽略了速度方向的旋转；本文敏锐指出整流流在离散高加速跳步下同样存在显著的正交方向漂移，并通过 POVD 将“跨样本稳定的标量强度 \((\widetilde{k}_n, \widetilde{d}_n)\)”与“样本特异的正交单位方向 \(\mathbf{u}_n^{\perp}\)”拆开处理，在“何时跳”和“怎么补”两端实现闭环对应。
零额外前向开销的“历史转弯锚点 + 递归重正交化”巧思：在线跳步时无法获知未来真实速度，作者没有引入轻量预测网络或浅层探针，而是直接提取锚点步的速度二阶差分正交分量 \(\mathbf{p}_{n-1}^{\perp}\) 作为局部转弯惯性方向，并在每个跳步子步对当前估计速度做施密特正交化。这一纯向量代数操作耗时可忽略不计，却能在近 90% 的跳步上维持正向余弦对齐，成功抑制了多步外推的方向发散。
可迁移性强：这种“将高维特征/流场演化分解为群体稳定的标量速率 + 样本局部正交主方向”的混合离线-在线建模思路，可直接迁移到流匹配（Flow Matching）3D 生成、音频扩散采样以及自回归与扩散混合架构（如 BAGEL 这类统一多模态模型）的特征缓存加速中。

局限与展望¶

极端高加速比下方向锚点仍会过期失准：由于历史正交锚点 \(\mathbf{p}_{n-1}^{\perp}\) 仅在锚点步刷新，当方向容忍阈值 \(\tau_d\) 放得过宽（例如 BAGEL 上 \(\tau_d \ge 0.8\)、加速比推至 4.4×~4.8× 时），跳步区间过长会导致历史转弯方向与真实轨迹正交方向夹角增大（实验中平均 \(\cos\theta_n = 0.044\)，属于弱正相关信号），从而引起 PSNR 和 GenEval 明显回落。
静态离线调度表未考虑单个输入 prompt 的复杂度差异：SSC 基于校准集均值生成全局固定的跳步表 \(\mathcal{M}\)，所有测试样本共享同一套跳步位置；然而包含复杂空间关系或多物体计数的困难 prompt 往往比简单背景 prompt 具有更剧烈的方向转动，静态调度无法针对困难样本动态加密锚点步。
视频生成的加速上限受限于长序列细粒度时空动态：在 Wan2.1-1.3B 视频生成上，TACache 的加速比为 2.11×（低于图像生成的 4.14×），且 VBench 子项中 Imaging Quality 从 69.83% 小幅降至 69.35%，未来可探索将 TACache 与步数蒸馏采样器（如 Consistency / Reflow 蒸馏模型）结合，或针对长视频引入时空分块的自适应方向阈值。

评分¶

新颖性: ⭐⭐⭐⭐ 针对整流流缓存加速提出平行-正交加速度分解与历史方向递归重正交补偿，理论误差分解与模块设计严丝合缝。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 BAGEL、FLUX.1-dev（T2I）与 Wan2.1-1.3B（T2V）三大模型，包含详尽的组件消融、阈值扫描、帕累托前沿与轨迹漂移诊断。
写作质量: ⭐⭐⭐⭐⭐ 数学推导清晰严密，从几何直觉、单步误差上界定理到工程伪代码层层递进，图表信息密度高。
价值: ⭐⭐⭐⭐ 无训练、零在线调度开销且即插即用，仅需 6~60 条样本离线校准即可在主流整流流图像与视频基座上获得显著的无损级加速。