Dynamics-Aware Sparse Attention for Efficient Autoregressive Video Diffusion¶

会议: NeurIPS 2026
arXiv: 2610.26262
代码: https://yuanyu0.github.io/DASA/
领域: 视频生成
关键词: 自回归视频扩散、稀疏注意力、KV Cache 压缩、动态感知、早期退出

一句话总结¶

针对自回归视频扩散模型在长视频生成中面临的 KV Cache 显存暴涨与计算时延过高瓶颈，本文提出基于动静解耦的动态感知稀疏注意力（DASA），通过帧级分层记忆管理与区域级计算复用跳过冗余，并结合动态引导蒸馏消除静态偏置，在 1080P 分辨率下取得 2.16× 加速且视频质量无损。

研究背景与动机¶

自回归扩散 Transformer（AR Diffusion Transformers）通过分块（chunk-wise）顺序去噪逐步合成视频，已成为实现分钟级因果一致长视频合成与可交互世界模型的关键范式。然而，在向长时长和高分辨率扩展时，现存范式面临两大严峻的效率瓶颈：其一是历史 KV Cache 的显存爆炸。为维持长期因果连贯性，模型必须保留跨 chunk 的全量上下文，例如在生成 480P、60 秒视频时，LingBot-World 的 KV Cache 显存占用高达 300GB，远超模型权重自身的 56GB。其二是计算密集度过高带来的高时延。现有自回归架构在每个 chunk 内对所有空间 token 盲目分配均等稠密算力，完全忽视了真实世界视频中大量背景在时间维度上高度静态、物理运动仅局限于稀疏区域的自然冗余特性。

现有加速手段如 Dummy Forcing 或 Light Forcing 多从模型内部的注意力分布出发，静态剪枝不活跃的注意力头或 token，但往往破坏了跨帧上下文连贯性，且仅在 KV Cache 侧压缩，并未优化当前查询计算。更关键的是，若直接在自回归去噪中引入“静态区域特征跨 chunk 复用”以削减前向开销，网络在训练阶段极易学到一种取巧的优化捷径（optimization shortcut）——相比冒着重建误差增大的风险去生成复杂运动，模型倾向于直接复制历史静态特征，从而诱发运动迟缓和动作幅度收缩的“静态偏置”（static bias）。

本文的切入角度是回到视频数据的物理先验本源，将传统视频编码（如 H.264）中的动静分离思想融入自回归扩散生成，从存储管理、计算调度与训练对齐三个维度协同打破冗余。核心 idea：显式解耦视频的时空动态与静态区域，利用分层衰减与时效刷新动态压缩历史 KV Cache，借助跨 chunk 局部窗口对齐实现静态区域早期退出（Early Exit），并通过动态引导蒸馏重权惩罚懒惰预测，实现高保真度下的长视频自回归加速。

方法详解¶

整体框架¶

DASA 在自回归分块视频生成流水线中实现了存储与计算的双路优化。在存储端，通过帧级记忆管理模块对历史 chunk 的 KV Cache 进行动态剪枝与周期性校准；在计算端，利用区域级计算分配机制在首个去噪步预测运动掩码，对静态区域执行早期退出与特征复用；最后在训练阶段，引入动态引导蒸馏消除静态捷径。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入当前噪声块 Z_C 与前序块 X_{C-1}"] --> B["区域级计算分配<br/>首步去噪 + 局部窗口运动匹配"]
    B --> C["分层记忆管理<br/>层级阈值衰减剪枝 + 静态令牌刷新"]
    C --> D["动态引导蒸馏<br/>加权 DMD 损失重罚静态捷径"]
    D --> E["输出无损加速视频块 X_C 并更新紧凑 KV Cache"]

关键设计¶

1. 帧级记忆管理：分层相似度衰减剪枝与静态令牌强制刷新

为解决自回归模型沿时间轴滑动时 KV Cache 无节制膨胀的问题，DASA 避免使用简单粗暴的滑动窗口丢弃旧帧（否则当世界模型回访先前场景时会导致严重的因果失序）。模型以相邻帧空间对应 token 的余弦相似度为依据判别冗余： $$\text{sim}_t^k = \cos(x_t^k, x_{t+1}^k)$$ 与传统 H.264 以前序帧为参考不同，DASA 将每个 chunk 的最后一帧作为后续 chunk 的无条件全量锚点帧（Reference Frame），保证因果平滑度。进一步地，由于 Transformer 浅层关注快速变化的高频纹理、深层关注跨帧高度稳定的抽象低频语义，DASA 设计了随网络层深 $l \in [0, L-1]$ 线性递减的保留阈值： $$\sigma_l = \sigma_{\max} - \frac{\sigma_{\max} - \sigma_{\min}}{L} \cdot (l + 1)$$ 在深层采用更严苛的阈值以大幅挤出存储冗余。针对连续帧中完全静态的背景 token 因被持续裁剪而逐渐丢失细微光照、发生累积漂移的问题，模块为每个空间坐标 $k$ 维护老龄化计数器 $\Delta t^k = t - t_{\text{write}}^k$。一旦未落盘时长超过上限 $\tau$，即触发布尔掩码强制刷新： $$M_{\text{final}}^k = (\text{sim}_t^k < \sigma_l) \lor (\Delta t^k \ge \tau)$$ 从而在大幅压缩 KV Cache 显存的同时，杜绝背景高频细节褪色。

2. 区域级计算分配：局部窗口匹配引导的去噪早期退出

自回归生成通常在每个 chunk 内执行多步稠密去噪迭代（如 4 步）。实际上，当前 chunk $C$ 的大部分静态背景与平滑前景可直接沿用上一块 $C-1$ 的特征。为此，DASA 在当前 chunk 的首个去噪步（$s=0$）预测出单步干净状态 $\hat{X}_C$，并在上一块 $X_{C-1}$ 的局部 $w \times w$（实现中取 $3 \times 3$）空间邻域 $\mathcal{N}_w(i, j)$ 内执行受限运动搜索，计算局部最大对齐相似度： $$\tilde{x}_{C-1}^{(i,j)} = x_{C-1}^{(u^*, v^*)}, \quad (u^*, v^*) = \arg\max_{(u,v) \in \mathcal{N}_w(i,j)} \cos(\hat{x}_C^{(i,j)}, x_{C-1}^{(u,v)})$$ 局域搜索将全局匹配的 $O(L^2)$ 复杂度压至线性 $O(L)$。当对齐相似度超过阈值 $\gamma$ 时判定为静态冗余 token。所得动态掩码经过形态学膨胀算子（$3 \times 3$ 卷积核）平滑运动边缘后，在后续去噪迭代（$s > 0$）中，静态区域完全跳过昂贵的主干前向推理（Early Exit），仅由对齐特征直接空间混合拼接： $$\hat{X}_C^{\text{out}} = M_{\text{static}} \odot \tilde{X}_{C-1} + M_{\text{dyn}} \odot \mathcal{F}_\theta(\hat{X}_C)$$ 仅对活跃动态区域执行稀疏网络前向，大幅砍除冗余算力消耗。

3. 动态引导蒸馏：基于时空差异加权的抗静态偏置适配

当将区域级计算复用和早期退出机制直接接入端到端微调时，网络会出现明显的优化捷径：由于预测极小变动或静止状态在重构误差上极其安全，模型容易倾向于直接照搬历史 token，导致生成的动态实体行动僵硬、运动幅度严重缩水。为破除这一静态偏置，DASA 在分布匹配蒸馏（Distribution Matching Distillation, DMD）框架中构建了动态加权掩码： $$W_t^{(i,j)} = 1 + \alpha \cdot \max\left(0, 1 - \cos(z_t^{(i,j)}, z_{t+1}^{(i,j)})\right)$$ 并将该权重矩阵逐 token 作用于基础 DMD 损失上： $$\mathcal{L}_{\text{dynamic}} = \frac{1}{N} \sum_{t, i, j \in \Omega} W_t^{(i,j)} \cdot \mathcal{L}_{\text{base}}^{(t, i, j)}$$ 该加权机制自动对视频真实运动强烈的空间区域放大惩罚系数，强制学生模型在稀疏化推理下依然全力生成逼真的大幅度动态运动，实现高效性与动态保真度的兼得。

实验关键数据¶

主实验¶

在 VBench 基准测试上，评估 5 秒短视频（Table 1）以及 30 秒长视频与 720P/1080P 高分辨率生成（Table 2）。基准模型为 Self Forcing 与 LongLive（1.3B 参数量，单张 NVIDIA H100 测试吞吐量与加速比，H20 测试 VBench 指标）。

任务 / 分辨率	模型与配置	吞吐量 (FPS)	加速比	质量分 (Quality)	语义分 (Semantic)	总分 (Total Score)
5s 生成 (480P)	Self Forcing Baseline	18.42	1.00×	84.97	81.06	84.19
5s 生成 (480P)	+ TeaCache	21.69	1.18×	84.22	80.47	83.47
5s 生成 (480P)	+ Dummy Forcing	25.19	1.37×	84.47	81.08	83.79
5s 生成 (480P)	+ DASA (训练无感)	26.21	1.42×	84.57	80.79	83.81
5s 生成 (480P)	+ DASA w/ adaptation	27.58	1.50×	84.64	81.32	83.98
5s 生成 (480P)	LongLive Baseline	18.30	1.00×	83.77	80.73	83.16
5s 生成 (480P)	+ DASA w/ adaptation	27.91	1.53×	83.78	80.35	83.09
30s 长视频 (480P)	Self Forcing Baseline	18.42	1.00×	84.15	80.24	83.37
30s 长视频 (480P)	+ DASA	26.21	1.42×	84.05	79.78	83.20
30s 长视频 (480P)	LongLive Baseline	18.30	1.00×	83.57	80.96	83.05
30s 长视频 (480P)	+ DASA	26.50	1.45×	83.39	80.59	82.83
720P 高分辨率	Self Forcing Baseline	5.92	1.00×	84.30	81.21	83.68
720P 高分辨率	+ DASA	10.10	1.71×	84.40	80.92	83.71
1080P 高分辨率	Self Forcing Baseline	1.35	1.00×	84.12	79.42	83.18
1080P 高分辨率	+ Dummy Forcing	2.64	1.96×	83.10	79.89	82.46
1080P 高分辨率	+ DASA	2.81	2.08×	83.55	79.73	82.79
1080P 高分辨率	LongLive Baseline	1.36	1.00×	82.13	80.40	81.78
1080P 高分辨率	+ DASA	2.94	2.16×	81.90	80.55	81.63

消融实验¶

针对局部对齐与蒸馏适配机制（Table 4）以及分层剪枝阈值（Table 3）进行系统性消融。

配置变体	吞吐量 (FPS)	加速比	质量分 (Quality)	语义分 (Semantic)	总分 (Total Score)	说明
Self Forcing Baseline	18.42	1.00×	84.97	81.06	84.19	原始无剪枝基线
w/ local align (静态复用)	26.21	1.42×	84.57	80.77	83.81	加入局部对齐与早期退出
w/ adaptation (普通蒸馏)	26.32	1.43×	84.70	81.24	84.01	加入蒸馏但无动态重权
DASA (完整方案)	27.58	1.50×	84.64	81.32	83.98	动态引导蒸馏 + 对齐复用
固定阈值 $\sigma=0.8$	22.34	1.21×	84.89	81.00	84.11	无层间递减，剪枝保守
固定阈值 $\sigma=0.6$	24.11	1.31×	84.12	80.04	83.30	激进固定剪枝，深浅层均掉点
线性递减 $\sigma: 0.8 \to 0.2$	26.21	1.42×	84.57	80.79	83.81	浅层保留纹理，深层高度压缩

关键发现¶

分辨率越高，加速收益越显著：在 480P 下 DASA 加速比为 1.42×~1.53×，但在 1080P 下直接飙升至 2.16×（从 1.36 FPS 提升至 2.94 FPS）。这充分证明了高分辨率视频中存在海量的空间局部与时序静态冗余，DASA 的区域级跳过机制释放了巨大的计算红利。
动态引导蒸馏成功挽回运动质量：直接微调会导致动作迟缓，而加权动态蒸馏使语义得分提升至 81.32（超过基线的 81.06），总分恢复至 83.98，仅与完全未压缩的稠密模型相差 0.21 分（<0.25%），几乎完全无损。
老龄化刷新窗口 $\tau=4$ 与对齐阈值 $\gamma=0.92$ 达到最优平衡：消融表明，若不刷新（$\tau \ge 6$），静止背景会因累积量化与光照漂移崩溃；若过于频繁刷新（$\tau=1$），则吞吐量受限。$\tau=4$ 能以极小显存代价锁死长期背景保真度。

亮点与洞察¶

数据驱动的物理先验反哺模型压缩：与仅在 Transformer 结构内部排查“冷门注意力头”的 Dummy Forcing 不同，DASA 直接利用真实视频数据动静解耦的物理事实，将视频编解码（Video Codec）的宏块运动搜索思想转化为 Latent 空间的局部窗口匹配，切入点直击要害。
首步决策、全局复用的轻量调度：运动对齐与掩码计算仅在每个 chunk 的第 0 步执行一次，随后固定掩码供剩余 3 步去噪早期退出使用，将搜索额外开销压缩至极限，并配合 $3 \times 3$ 空间膨胀避免边缘撕裂伪影。
跨维度正交性与高可组合性：DASA 聚焦于 Token 粒度的时空动静稀疏化，与步数维度的步间缓存（如 TeaCache）以及注意力头维度的剪枝（如 Dummy Forcing）完全正交，具备未来在统一框架中实现 3D 联合加速的广阔潜力。

局限与展望¶

作者承认的局限：目前优化严格约束在空间-时序 Token 粒度上，尚未与注意力头维度或扩散去噪步数维度的压缩技术做深度端到端联合调优。
进一步局限分析：局部运动搜索窗口固定为 $3 \times 3$，在面对极大视差的剧烈全局镜头平移（Fast Camera Pan）或剧烈主体跳变时，局部窗口可能漏捕对齐，退化为保守的全量计算。
改进方向：可引入多尺度分层金字塔光流/运动估计器，动态缩放局部对齐搜索窗半径；同时探索与 TeaCache 的联合部署，根据局部运动动态自适应调节各区域的去噪步数。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙借鉴视频编码动静解耦理念，并将局部窗口搜索与去噪早期退出结合)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 VBench 16 个维度、5s/30s 长时、720P/1080P 高清以及多维度细致消融)
写作质量: ⭐⭐⭐⭐⭐ (动机清晰、形式化完备、算法步骤与架构图表表达严谨)
价值: ⭐⭐⭐⭐⭐ (切中可交互自回归视频大模型与世界模型在端侧和云端部署的显存与时延致命软肋)