RhymeFlow: Training Free Acceleration for Video Generation with Asynchronous Denoising Flow Scheduling¶

会议: ECCV 2026
论文: ECCV 原文
领域: 视频生成
关键词: 视频扩散模型, 免训练加速, 异步去噪调度, 潜空间轨迹投影, DiT

一句话总结¶

RhymeFlow 打破了视频扩散模型中所有帧必须在全部时间步同步去噪的传统范式，通过内容感知的序贯关键帧筛选、渐进式异步跨步调度以及轻量级潜空间轨迹线性投影，在无需任何训练微调的前提下实现了 1.53× 至 1.78× 的端到端推理加速且几乎无感知画质损耗。

研究背景与动机¶

基于扩散 Transformer（DiT）的视频生成模型（如 Wan 2.1、CogVideoX、HunyuanVideo）凭借强大的时空建模能力取得了卓越的生成画质，但其实际落地面临严峻的推理延迟瓶颈。为捕捉视频帧内细节与跨帧运动，DiT 模型普遍采用全时空 3D 注意力机制，其计算复杂度随空间像素与时间帧数呈二次方激增；叠加数十步逆向去噪迭代，生成一段高清视频往往需要耗费数十秒乃至数分钟的高昂算力。现有的免训练加速工作主要聚焦于单一去噪步内的计算精简，例如利用局部性或重要性截断注意力的稀疏注意力方法（SVG、SAP），或者在相邻步间复用特征图的 KV 缓存与层级跳步方案（FasterCache、DeepCache）。

然而，上述方法均严格遵循经典扩散模型的同步去噪约束：在逆向扩散的每一个时间步，视频序列中的所有帧都必须经历完全一致、密集且同步的前向网络计算。这一均匀分配计算资源的设定在自然视频中存在极大的冗余性。由于物理世界运动与场景演变具有连续性，相邻视频帧在内容与运动轨迹上表现出强烈的时空一致性。当那些承载剧烈动作起伏或全局语义转折的少数关键帧被准确定位并锚定后，夹在其间的非关键帧在潜空间中的去噪演化路径往往高度平滑且具备极高的可预测性。

因此，对所有帧一视同仁地执行均匀密集去噪在本质上是不必要的，设计帧特异性（frame-specific）的非均匀调度方案构成了挖掘视频生成加速潜力的新维度。本文的切入角度是将视频序列中的帧按语义演化地位进行解耦，让关键帧主导高保真结构生成，而非关键帧按需跳步。核心 idea：提出异步去噪流调度框架 RhymeFlow，通过筛选主导语义转折的时序关键帧执行高保真逐步去噪，对非关键帧实施渐进式跨步跳跃，并借助流匹配的线性特性通过潜空间轨迹投影恢复跳步时序上下文，在保证全局时空一致性的同时最大化计算吞吐。

方法详解¶

整体框架¶

RhymeFlow 的核心工作流包含三个阶段：初始同步预热阶段、时序关键帧序贯筛选、以及交替推进的异步去噪流调度。在逆向扩散的前 $T_w$ 步，所有潜在帧保持同步密集去噪以稳固全局构图；随后，系统基于单步预测的纯净潜变量筛选出语义跳变的关键帧；进入异步调度后，仅关键帧执行密集单步演进，非关键帧按噪声阶段跨多步跳跃，而在关键帧需要全时空交互的跳步时刻，系统通过解析插值快速重构非关键帧的潜空间状态并动态生成临时 KV 特征。当异步步长推进至预设的节奏点时，所有帧重新聚拢执行全局同步校准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入高斯噪声<br/>N 帧视频潜变量序列"] --> B["初始同步预热<br/>前 Tw 步全帧执行标准 3D 密集去噪"]
    B --> C["序贯关键帧选择<br/>基于单步预测纯净潜变量筛选语义转折锚点"]
    C --> D["渐进式异步去噪调度<br/>关键帧逐步迭代 / 非关键帧按噪声阶段跨多步跳跃"]
    D -->|中间异步步| E["潜空间轨迹线性投影<br/>双端潜状态解析插值重构非关键帧时序上下文"]
    E --> F["层级滚动 KV 缓存管理<br/>仅缓存最近两步注意力输出，动态投影即用即弃"]
    D -->|周期性节奏同步点| G["全局 3D 注意力重同步<br/>全帧联合前向，校准积累误差并对齐轨迹"]
    F --> H["逆向去噪收敛潜变量<br/>3D-VAE 解码输出高保真连续视频"]
    G --> H

关键设计¶

1. 序贯关键帧选择：基于单步预测纯净潜变量的语义跳变锚定

视频扩散前期的原始加噪潜变量包含大量高斯噪声，若直接在其上计算帧间相似度，高频噪声分量会彻底掩盖真实的语义特征。为此，RhymeFlow 在预热阶段结束时对各帧潜变量 $\mathbf{z}_t^{(i)}$ 执行一次闭式单步去噪估计，推导出对应的纯净潜变量代理 $\hat{\mathbf{z}}_0^{(i)}$。鉴于视频首帧在建立全局色彩、长程上下文与视觉先验中具有不可替代的作用，算法强制将第一帧纳入关键帧集合 $\mathcal{K} = \{\hat{\mathbf{z}}_0^{(1)}\}$。随后，算法沿时间轴按序遍历后续候选帧，度量当前候选帧 $\hat{\mathbf{z}}_0^{(j)}$ 与其最近前驱关键帧 $\hat{\mathbf{z}}_0^{(k)}$ 之间的余弦相似度： $$\psi_{\text{sim}}(\hat{\mathbf{z}}_0^{(j)}, \hat{\mathbf{z}}_0^{(k)}) = \frac{\hat{\mathbf{z}}_0^{(j)} \cdot \hat{\mathbf{z}}_0^{(k)}}{\|\hat{\mathbf{z}}_0^{(j)}\|_2 \|\hat{\mathbf{z}}_0^{(k)}\|_2}$$ 若相似度低于预设阈值 $\tau$（意味着该帧发生了显著的内容变动或动作转折），则将其作为新的关键帧追加至集合 $\mathcal{K}$ 并更新前驱锚点。这一序贯更新机制避免了均匀抽样忽略局部高频运动的缺陷，确保有限的关键帧计算预算精准覆盖最重要的时空转折点。

2. 渐进式异步去噪调度：分阶段跨步跳跃与节奏点周期性重同步

扩散模型的去噪轨迹在不同噪声水平下呈现显著的非均匀敏感性。在去噪前期（大时间步 $t$），模型主要确立宏观结构与低频几何轮廓，轨迹敏感且极易因步长过大产生不可逆伪影；在去噪后期（小时间步 $t$），生成过程主要转向局部高频纹理的细化，潜变量轨迹演化高度平滑。静态的固定跳步步长无法兼顾前期保真与后期加速。因此，RhymeFlow 引入分段渐进跳步策略，根据当前时间步自适应调整非关键帧的跨步幅度 $n_{\text{skip}}(t)$： $$n_{\text{skip}}(t) = \begin{cases} n_{\text{small}}, & \text{if } T_{\text{mid}} < t \le T - T_w \\ n_{\text{large}}, & \text{if } t \le T_{\text{mid}} \end{cases}$$ 其中 $T_w$ 为初始同步预热步数，$T_{\text{mid}}$ 为分水岭阈值（通常取总步数的一半），设定 $n_{\text{small}} = 2, n_{\text{large}} = 3$。在非关键帧快速跳步的同时，关键帧仍严格维持单步前向迭代。为了防止长期跳步导致的误差无界累积，不同步长交汇的特定时间步被定义为“节奏点（Rhythmic Points）”。在节奏点上，系统暂停异步调度，强制所有潜帧共同参与一次标准的全局 3D 时空注意力计算，将非关键帧的轨迹强行拉回并校准至关键帧所锚定的基准流线，从机制上消除了帧间漂移。

3. 潜空间轨迹线性投影：解析插值重构非关键帧的瞬态注意力上下文

异步调度的核心瓶颈出现在中间跳跃步 $\tau \in [t - n_{\text{skip}} + 1, t - 1]$：此时关键帧 $\mathbf{z}_\tau^{(k)}$ 正在执行单步更新，需要全局 3D 注意力提供全序列的时空上下文，但非关键帧已被直接快进至时间步 $t - n_{\text{skip}}$，其中间状态 $\mathbf{z}_\tau^{(j)}$ 在物理上并未计算。直接丢弃非关键帧会导致注意力上下文缺失并破坏时序连贯性，而补算网络前向则会抵消加速红利。基于 Rectified Flow 体系中常微分方程（ODE）轨迹具有高度局部线性的特性，RhymeFlow 采用解析线性插值估算缺失的潜变量： $$\hat{\mathbf{z}}_\tau^{(j)} = (1 - \alpha) \mathbf{z}_{t_{\text{start}}}^{(j)} + \alpha \mathbf{z}_{t_{\text{end}}}^{(j)}, \quad \alpha = \frac{t_{\text{start}} - \tau}{t_{\text{start}} - t_{\text{end}}}$$ 由于插值仅涉及张量加权求和，计算开销近乎为零。模型利用插值得到的 $\hat{\mathbf{z}}_\tau^{(j)}$ 在各层动态投影生成瞬态 Key 和 Value 向量，使关键帧能够感知到平滑演化的全序列时序场，彻底解决了异步计算破坏 3D 时空注意力输入的结构性矛盾。

4. 层级滚动 KV 缓存管理：后注意力表征动态存取与显存峰值控制

若为了实现轨迹投影而在内存中完整驻留各历史步的输入 KV 对，长视频生成下的显存占用将迅速爆炸。RhymeFlow 为每个 DiT 层设计了一个轻量级滚动缓存池，仅维护非关键帧在最近两个更新时刻 $t_1 > t_2$ 的后注意力隐状态 $h_{t_1}^{(\ell)}$ 与 $h_{t_2}^{(\ell)}$。后注意力表征已经充分融合了帧内空间与跨帧全局上下文，在此表征上进行线性插值比在原始输入端重走投影层更加精确且轻量。当关键帧在跳步时刻 $\tau \in (t_1, t_2)$ 触发插值时，计算得到的瞬态 KV 向量仅供当前注意力操作单次读取，随后立即释放销毁，不持久占用显存。实验表明，该机制不仅避免了显存溢出，反而使推理峰值显存从原生密集采样的 44.3 GB 压降至 42.6 GB。

一个完整示例¶

假设总去噪步数 $T=50$，序列包含 21 帧潜变量，参数设置为 $T_w=8, T_{\text{mid}}=25, n_{\text{small}}=2, n_{\text{large}}=3$。在第 50 步至第 42 步（预热阶段），所有 21 帧同步执行密集单步去噪；在第 42 步结束时，通过单步预测代理推导纯净特征，算法以首帧为基准沿时序筛选出 4 个关键帧（如第 1、7、14、21 帧）。进入步长为 $n_{\text{small}}=2$ 的区间后，关键帧按步执行 $42 \to 41 \to 40$，而非关键帧在第 42 步直接一步跳向第 40 步。在处理第 41 步的关键帧前向时，非关键帧的第 41 步潜特征由第 42 步和第 40 步状态以 $\alpha=0.5$ 线性插值生成。到达第 40 步这一节奏点时，所有 21 帧重新执行全局 3D 注意力校准。跨过第 25 步后，跳步步长自动扩大为 $n_{\text{large}}=3$，非关键帧计算频次进一步降低，最终无缝完成高保真视频合成。

损失函数 / 训练策略¶

RhymeFlow 属于纯免训练（Training-Free）的推理加速框架，不需要对预训练 DiT 模型的任何权重进行微调，也不涉及后验蒸馏损失。所有核心逻辑（关键帧筛选阈值 $\tau$、预热步数 $T_w$、跳步分段点 $T_{\text{mid}}$）均为通用超参数。在正交加速场景下，该框架生成的帧级稀疏掩码 $\mathbf{M}_{\text{Rhyme}}$ 可与步内稀疏注意力掩码（如 SAP 的 $\mathbf{M}_{\text{SAP}}$）通过逐元素哈达玛积 $\mathbf{M}_{\text{combined}} = \mathbf{M}_{\text{Rhyme}} \odot \mathbf{M}_{\text{SAP}}$ 实现即插即用式的复合加速。

实验关键数据¶

主实验¶

论文在 Wan 2.1（1.3B，81 帧 720p，21 潜帧）和 CogVideoX-v1.5（81 帧 720p，11 潜帧）上进行了广泛的画质与加速对比，基准硬件为单卡 NVIDIA A800 GPU。

基础模型	加速方案	PSNR ↑	SSIM ↑	LPIPS ↓	主体一致性 ↑	图像质量 ↑	延迟 (s) ↓	加速比 ↑
Wan 2.1	原生密集采样	-	-	-	0.9102	0.6946	993.5	1.00×
Wan 2.1	SpargeAttn [45]	20.399	0.613	0.393	0.8632	0.7118	719.7	1.38×
Wan 2.1	SVG [36]	22.419	0.694	0.290	0.8758	0.6913	708.0	1.40×
Wan 2.1	SAP [40]	24.454	0.730	0.223	0.8789	0.6837	608.5	1.63×
Wan 2.1	Ours (RhymeFlow)	26.291	0.783	0.168	0.8831	0.6706	650.4	1.53×
Wan 2.1	Ours + SAP	24.586	0.737	0.221	0.8792	0.6806	596.8	1.66×
CogVideoX-v1.5	原生密集采样	-	-	-	0.987	0.624	625.0	1.00×
CogVideoX-v1.5	MInference [15]	22.490	0.743	0.264	0.874	0.589	422.3	1.48×
CogVideoX-v1.5	PAB [47]	23.230	0.782	0.145	0.978	0.573	443.3	1.41×
CogVideoX-v1.5	SVG [36]	24.130	0.811	0.171	0.982	0.597	385.8	1.62×
CogVideoX-v1.5	Ours (RhymeFlow)	26.890	0.852	0.142	0.986	0.623	351.1	1.78×
CogVideoX-v1.5	Ours + SAP	25.574	0.821	0.157	0.972	0.609	323.8	1.93×

在长序列大模型 HunyuanVideo 上，RhymeFlow 同样表现出优异的保真度与加速性能：Ours 单独达到 26.34 PSNR 和 0.918 SSIM（2.26× 加速，耗时 2939s vs 密集采样），大幅优于 EasyCache（23.51 PSNR）、DiCache（23.54 PSNR）与 VGDFR（19.49 PSNR）；与 SAP 组合后更达到 2.60× 极限加速（2555s），显著优于单一方法。

消融实验¶

在 Wan 2.1 上对关键算法组件、关键帧选择机制以及显存管理模块进行了严密剥离验证：

实验组别	具体配置 / 变体	PSNR ↑	SSIM ↑	LPIPS ↓	显存峰值 (GB) ↓	推理延迟 (s) ↓	加速比 ↑
核心架构组件	完整模型 (Ours)	26.291	0.783	0.168	42.6	650.4	1.53×
核心架构组件	去除渐进调度 (w/o Progressive)	25.399	0.753	0.172	-	708.0	1.40×
核心架构组件	去除轨迹投影 (w/o Projection)	20.630	0.525	0.383	-	622.2	1.60×
关键帧选择策略	随机选取 (Random)	20.630	0.525	0.383	-	650.0	1.53×
关键帧选择策略	仅取首部连续帧 (First)	19.220	0.515	0.402	-	651.0	1.53×
关键帧选择策略	等间距均匀选取 (Uniform)	24.293	0.643	0.183	-	649.0	1.53×
关键帧选择策略	内容感知序贯筛选 (Ours)	26.291	0.783	0.168	-	650.4	1.53×
KV 缓存机制	无显存管理原生跳步	26.291	0.783	0.168	49.9	653.6	1.52×
KV 缓存机制	层级滚动 KV 缓存 (Ours)	26.291	0.783	0.168	42.6	650.4	1.53×

关键发现¶

轨迹投影是维持时序稳定的生命线：一旦移除潜空间轨迹线性投影（w/o Projection），PSNR 由 26.291 骤降至 20.630，SSIM 暴跌至 0.525。潜变量误差分析显示，缺乏投影时关键帧误差激增 10 倍（$0.0019 \to 0.0190$），证明跳步破坏注意力完整序列会造成不可逆的视觉崩塌。
内容感知关键帧显著优于均匀抽样：在相同计算延迟（~650s）下，基于单步纯净估计的内容感知序贯筛选使 SSIM 相比均匀采样提升了 0.140（$0.643 \to 0.783$），证明在视频运动与语义突变处动态加密锚点能够有效约束全局几何结构。
预热与关键帧配额的帕累托平衡：当预热步数 $T_w=8$ 时，关键帧数 $M$ 从 3 增至 5，PSNR 从 23.742 攀升至 27.707，但加速比从 1.60× 降至 1.39×；将 $T_w=8, M=4$ 作为默认配置，能在仅损失极微弱客观指标的前提下获得 1.53× 的稳健加速。
双盲主观评测近乎无损：在 82 名受试者的双盲主观对比中，RhymeFlow 在视觉质量、时序连贯性和综合偏好上显著击败 SVG 和 SAP（$p < 0.05$）；而对比未经加速的密集基线，所有维度的差异均无统计学显著性（$p > 0.10$），受试者倾向平局比例超过 53%~58%。

亮点与洞察¶

步间异步调度与步内稀疏注意力的正交正和博弈：以往加速方法在单步 3D 注意力矩阵稀疏化上内卷，而 RhymeFlow 开拓了时间步间的跨帧异步调度维度；两者能够以哈达玛积形式天然复合成多级稀疏结构，在 CogVideoX-v1.5 上斩获近 2 倍（1.93×）的复合加速。
流匹配常微分轨迹的近线性红利转化为零成本投影：敏锐地捕捉到了现代 DiT（如 Rectified Flow）ODE 轨迹平滑近直线的物理特性，将复杂的缺失状态估计简化为两点间标量加权线性插值，以近乎零的浮点开销换取了完整的时序注意力图。
后注意力表征缓存化解显存瓶颈：不拘泥于传统的输入端 KV 缓存，转而在各层后注意力输出进行浅层滚动暂存与即用即弃式插值，不仅未引入额外存储惩罚，反而借助跳步节省了峰值激活显存。

局限与展望¶

作者承认的局限：当前的跳步步长 $n_{\text{skip}}$ 与节奏点同步间隔仍采用基于经验设定的分段常量超参数，未能针对视频场景动态复杂度和运动剧烈程度实现完全自适应的连续函数化自洽调节。
潜在不足：对于包含多次镜头切换（Cut transition）或极高频遮挡的非连续视频镜头，单步线性插值可能会在镜头切换边缘引入短暂的瞬态运动伪影；此外，关键帧的筛选依赖于单步 $\hat{\mathbf{z}}_0$ 预测，在极度嘈杂的最初几步若过早介入可能会造成误判。
改进方向：可进一步探索端到端的场景自适应调度器，利用轻量小型网络实时预测局部的 ODE 轨迹曲率，动态决定该区间的跳步跨度；将该异步范式延伸至长文本到视频的自回归级联架构中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次打破扩散模型中全帧同步去噪的铁律，开辟了免训练视频异步去噪调度新赛道]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Wan 2.1、CogVideoX、HunyuanVideo 三大主流开源 DiT，消融深入，含 82 人双盲主观实验]
写作质量: ⭐⭐⭐⭐⭐ [方法逻辑清晰严密，从流匹配轨迹特性切入提出线性投影，自洽有力]
价值: ⭐⭐⭐⭐⭐ [纯免训练且即插即用，峰值显存友好，能与现有稀疏加速无缝复合，工程落地潜力极大]