DynamicRad: Content-Adaptive Sparse Attention for Long Video Diffusion¶

会议: NeurIPS 2026
arXiv: 2604.20470
代码: https://github.com/Adamlong3/DynamicRad
领域: 视频生成
关键词: 视频扩散模型, 稀疏注意力, 长视频生成, 贝叶斯优化, 语义运动路由

一句话总结¶

DynamicRad 将径向局部先验与内容自适应稀疏筛选深度结合，提出双模式候选块选择、离线贝叶斯优化与超轻量语义运动路由，在保持高保真度与时序连贯性的前提下，将长视频扩散模型自注意力稀疏度提升至 80% 以上并带来 1.7×–2.5× 的端到端推理加速。

研究背景与动机¶

基于 Diffusion Transformer (DiT) 架构的大规模视频扩散模型在画面质感、物理真实感与时序连贯性上取得了显著突破。然而，当生成帧数向数百帧延伸或分辨率达到 768p 以上时，全时空自注意力机制计算与显存访问开销随 Token 数量呈严格的二次方增长 $\mathcal{O}(S^2) = \mathcal{O}(N_f^2 N_t^2)$。即便采用高度优化的硬件感知算子如 FlashAttention，注意力侧的 GEMM 吞吐与高带宽显存 (HBM) 带宽瓶颈依然成为长视频实时生成难以逾越的障碍。

为了削减注意力开销，近期研究普遍利用视频扩散中时空注意力的自然衰减特性。现有方案通常走向两个极端：一类是纯静态结构化稀疏模式（如基于能量衰减的 Radial Attention），将时空注意力窗口按固定半径截断，这类方法硬件友好且执行开销低，但在高速摄像机运动、复杂大运动或前景物体周期性重现时，由于缺乏内容自适应性，会粗暴丢弃关键的长程依赖，造成画面严重闪烁或几何畸变；另一类则是完全动态的自适应稀疏方案（如 SVG、STA），通过在线打分和门控动态保留关联 Token，但在线逐层计算注意力权重的过程带来了极高的辅助计算开销与显存读写延迟，且动态不规则拓扑极大损害了底层硬件的分块 GEMM 算子效率。

面对「静态掩码僵化丢信息」与「动态路由算子低效、在线开销过重」的核心冲突，亟需一种既能兼容现代硬件分块计算、又能根据视频语义动态捕捉长程依赖的统一稀疏注意力范式。核心 idea：以对数分级径向衰减先验构建共享分块候选空间，通过离线贝叶斯优化与超轻量语义运动路由动态索引最佳稀疏配置，并以双模式候选块选择（吞吐优先静态比例 / 质量优先动态阈值）和掩码感知 LoRA 兼顾极致推理加速与长时序生成保真度。

方法详解¶

整体框架¶

DynamicRad 的核心设计是在硬件友好的分块局部性先验下注入内容自适应能力。整个框架可分为三个阶段：离线代理任务与贝叶斯优化、推理阶段文本驱动的超轻量语义运动路由、以及基于共享候选集的高效分块注意力计算与掩码感知微调。在离线阶段，系统利用基于物理光流漂移建模的代理任务，通过 TPE 贝叶斯优化算法在 15 分钟内完成针对不同运动体制的稀疏超参数搜索，构建结构化查找表；在线推理阶段，系统复用扩散模型已计算完成的 Prompt 文本嵌入，通过一层轻量 MLP 预测全局运动强度，检索对应超参并确定静态比例模式（static_ratio）或动态阈值模式（dynamic_threshold）；最后在 FlashInfer 内核中执行分块稀疏注意力计算，并可选配合 Mask-Aware LoRA 补偿深层时序关联。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 文本嵌入 e_text"] --> B["语义运动路由<br/>轻量 2 层 MLP 预测运动强度"]
    B --> C{"运动体制决策与检索<br/>Low / Mid / High Regime"}
    C -->|静态比例模式| D["对数分组径向候选集构建<br/>时间衰减与长程下采样步长控制"]
    C -->|动态阈值模式| D
    D --> E["双模式候选对筛选<br/>吞吐优先均匀采样 vs 融合头评分截断"]
    E --> F["列/块双级聚合与硬件对齐<br/>θ_c 与 θ_m 过滤噪声生成分块掩码"]
    F --> G["分块稀疏注意力计算<br/>FlashInfer / SageAttention 硬件执行"]
    G --> H["掩码感知 LoRA 细化<br/>冻结主干仅适配 Q/K 投影恢复连贯性"]

关键设计¶

1. 对数分组径向候选集构建与多维控制：以硬件分块粒度约束候选依赖空间

纯动态注意力通常在全序列范围内搜索高权重 Token 对，导致极其高昂的全局打分与访存开销。DynamicRad 借鉴时空局部能量衰减先验，在分块粒度 $B_s \in \{32, 64, 128\}$ 上对注意力的有效空间进行结构化剪枝。设帧数为 $N_f$、单帧 Token 数为 $N_t$，对时间距离为 $t = |i - j|$ 的跨帧对，定义对数组索引 $\mathcal{B}(t) = \lfloor\log_2 t\rfloor + 1$（对于相邻或远帧 $t \ge 1$）与空间基准跨度 $L_0 = 2^{\lceil \log_2 N_t \rceil}$。空间衰减半径以逆幂律受控于衰减因子 $\gamma$： $$\mathcal{L}(t) = \frac{L_0}{2^{\mathcal{B}(t)}} \cdot \gamma \approx \frac{L_0}{t} \cdot \gamma$$ 由此确定跨帧空间滑动窗口宽度：当 $t \le 1$ 时窗口覆盖全帧 $N_t$；当 $t > 1$ 时窗口截断为 $\max(B_s, \lfloor \mathcal{L}(t) \rceil)$。为了捕捉远距离运动中的周期性重现，DynamicRad 引入长程连续因子 $\lambda$ 控制帧间采样步长： $$\mathcal{L}_{\text{split}}(t) = \frac{L_0}{2^{\mathcal{B}(t)}} \cdot \lambda, \quad \mathrm{sf}(t) = \max\left(1, \left\lfloor \frac{B_s}{\mathcal{L}_{\text{split}}(t) + \epsilon} \right\rfloor\right)$$ 仅在 $t \bmod \mathrm{sf}(t) = 0$ 时保留对应帧对，并在此基础上构建 Token 级候选对空间 $\mathcal{P}(i, j) = \{(u, v) : |u - v| \le w(i, j)\}$。该设计使单 Query 的注意力接受域从传统全注意力的 $N_f$ 线性增长降至 $\mathcal{O}(L_0 \gamma \ln N_f)$ 对数增长，将计算复杂度从 $\mathcal{O}(N_f^2 N_t^2 D)$ 大幅降至 $\mathcal{O}(N_f N_t^2 \ln(N_f) D)$。

2. 双模式候选对筛选与列块双级聚合：吞吐优先与质量优先的解耦执行

针对不同应用场景对时延与画质的差异化诉求，DynamicRad 在确定的候选集合 $\mathcal{P}(i, j)$ 内提供两种互斥的选择机制：静态比例模式（static_ratio）专为高吞吐场景设计，避免一切依赖内容的打分计算，直接根据衰减状态保留固定比例 $\rho_1$（当 $\mathcal{L}(t) \ge B_s$）或 $\rho_2$（当 $\mathcal{L}(t) < B_s$）的 Token 对，由于掩码完全独立于激活，其索引结构可在离线阶段完全预编译；动态阈值模式（dynamic_threshold）专为极致画质设计，利用少量融合注意力头（$H_f = 2 \ll H = 32$）的前 Softmax Logits 快速计算代理重要性得分： $$s(u, v) = \frac{1}{H_f} \sum_{h=1}^{H_f} \frac{\mathbf{Q}_u^{(h)} \cdot (\mathbf{K}_v^{(h)})^\top}{\sqrt{d_k}}$$ 为消除不同网络层与不同去噪时间步之间的数值漂移，模型对候选集内的分数执行局部均值与方差归一化 $\tilde{s}(u, v) = (s(u, v) - \mu_{ij}) / (\sigma_{ij} + \epsilon)$，并与预设阈值 $\tau(i, j)$ 比较；若所有 Token 对均未达到阈值，触发回退机制保留得分最高的连接，防止信息通道断裂。筛选出的 Token 对最后经由列密度阈值 $\theta_c$（单列活跃 Token 占比）与块激活阈值 $\theta_m$（活跃列占比）双级聚合，紧凑投影为硬件原生支持的分块掩码矩阵 $\mathbf{M}_b$。

3. 离线物理代理贝叶斯优化与超轻量语义运动路由：零在线搜索开销的自适应控制

动态调整 $\mathbf{x} = [\gamma, \lambda, \theta_m, \theta_c]$ 若依赖在线多步搜索将产生无法承受的时延。DynamicRad 构建了模拟物理运动特征漂移的自回归代理任务：隐层状态按 $\mathbf{h}_t = \sqrt{1 - \delta^2}\mathbf{h}_{t-1} + \delta \bm{\epsilon}_t$ 演化，漂移率 $\delta \in \{0.02, 0.15, 0.40\}$ 精确对应低动量静态、中等运动以及高速动态场景。离线阶段利用 TPE 优化器在该轻量代理上最小化注意力矩阵重构均方误差（MSE）与稀疏度惩罚： $$\mathcal{L}(\mathbf{x}) = \frac{\|\mathbf{A}_{\text{dense}} - \mathbf{A}_{\text{sparse}}(\mathbf{x})\|_F^2}{\|\mathbf{A}_{\text{dense}}\|_F^2} + \alpha \cdot \mathrm{ReLU}(\mathcal{T} - \mathcal{S}(\mathbf{x}))$$ 整个搜索过程仅需 30 次迭代、15 分钟即可在单张 H100 上收敛（相比全尺寸视频调优加速超 20×）。在推理时，模型直接复用已有的 Prompt 文本嵌入 $\mathbf{e}_{\text{text}}$，经由单张 GPU 耗时小于 2ms 的两层 MLP 投射至全局运动标量 $s_{\text{motion}} \in [0, 1]$，自动分发到 Low、Mid、High 三种运动体制并索引预编译好的最佳参数。

4. 掩码感知 LoRA 细化：补偿激进稀疏下的长程时序连贯性

当稀疏度突破 80%–85% 时，长程弱连接的离散裁剪不可避免地会使扩散主干的注意力输出分布发生微小几何偏移，尤其在多帧长视频中易累积为时序连贯性微小退化。DynamicRad 引入非侵入式的 Mask-Aware LoRA 细化机制，冻结扩散主干的绝大部分权重，仅针对对注意力分数分布最敏感的 Query 和 Key 投影矩阵施加低秩适配器（$r = 16$）。适配器仅在包含预设稀疏掩码的去噪环境下使用少量视频数据（OpenVid-1M 的子集）微调 1,000 步。该模块在端到端推理中引入的额外延迟微乎其微（单层耗时几乎不可测），却能引导自注意力几何形态主动适应分块掩码截断，彻底恢复长序列中的时间维度一致性。

损失函数 / 训练策略¶

离线参数搜索与路由器训练完全解耦于扩散模型主干训练： 1. 语义路由器训练：在 OpenVid-1M 的 20k 视频文本对上，提取相邻帧由 RAFT 计算的真实平均光流幅值并归一化为标签 $y_{\text{flow}}$，轻量 MLP $\phi(\cdot)$ 以均方误差 $\mathcal{L}_{\text{router}} = \|s_{\text{motion}} - \mathrm{Norm}(y_{\text{flow}})\|_2^2$ 进行回归训练，单卡训练时间不足 1 小时。 2. 离线贝叶斯优化：在各漂移率 $\delta$ 代理空间中，以目标稀疏度 $\mathcal{T} = 0.80$ 和惩罚系数 $\alpha = 10.0$ 运行 TPE 算法搜索最佳组合 $(\gamma, \lambda, \theta_m, \theta_c, \rho, \tau)$。 3. 掩码感知 LoRA 微调：冻结 DiT 骨干网络，仅对 Q/K 投影挂载秩 $r=16$ 的 LoRA，在标准扩散去噪均方误差损失下对齐长程特征，微调仅需 1,000 步。

实验关键数据¶

主实验¶

在 768p 分辨率（$1280 \times 768$）的 HunyuanVideo 与 Wan2.1-14B 两个领先的大规模视频生成模型上，评估 DynamicRad 在标准帧数与超长视频（HunyuanVideo 241 帧需 8×H100 序列并行；Wan2.1 145 帧）下的画质与效率：

模型	帧数	方法	VisionReward ↑	VBench S.C. ↑	VBench A.Q. ↑	VBench I.Q. ↑	稀疏度 (%)	延迟 (s) ↓	加速比
HunyuanVideo	120	Original (Dense)	0.141	0.962	0.645	0.675	0.0	1705	1.00×
HunyuanVideo	120	PowerAttention (PA)	0.138	0.956	0.637	0.662	70.5	1024	1.67×
HunyuanVideo	120	SVG	0.144	0.965	0.651	0.679	78.2	872	1.96×
HunyuanVideo	120	Radial Attention	0.140	0.961	0.646	0.673	76.6	884	1.93×
HunyuanVideo	120	Ours (Static) †	0.138	0.959	0.642	0.668	84.8	861	1.98×
HunyuanVideo	120	Ours (Dynamic) †	0.146	0.969	0.659	0.687	81.6	917	1.86×
HunyuanVideo	241 ‡	Original (LoRA) ‡	0.116	0.948	0.592	0.597	0.0	824	1.00×
HunyuanVideo	241 ‡	Radial Attention	0.125	0.961	0.626	0.659	80.6	351	2.34×
HunyuanVideo	241 ‡	Ours (Static) †	0.118	0.951	0.612	0.668	86.8	324	2.54×
HunyuanVideo	241 ‡	Ours (Dynamic) †	0.131	0.969	0.659	0.687	83.6	378	2.17×
Wan2.1-14B	72	Original (Dense)	0.136	0.958	0.620	0.650	0.0	1680	1.00×
Wan2.1-14B	72	PowerAttention (PA)	0.126	0.944	0.594	0.620	66.3	1040	1.62×
Wan2.1-14B	72	SVG	0.116	0.938	0.580	0.605	70.2	990	1.70×
Wan2.1-14B	72	Radial Attention	0.129	0.952	0.610	0.641	70.4	945	1.78×
Wan2.1-14B	72	Ours (Static) †	0.127	0.949	0.606	0.637	78.8	875	1.92×
Wan2.1-14B	72	Ours (Dynamic) †	0.134	0.959	0.621	0.656	74.3	980	1.71×
Wan2.1-14B	145 ‡	Original (LoRA) ‡	0.098	0.921	0.573	0.585	0.0	5160	1.00×
Wan2.1-14B	145 ‡	Radial Attention	0.142	0.972	0.602	0.661	73.3	2560	2.02×
Wan2.1-14B	145 ‡	Ours (Static) †	0.137	0.969	0.606	0.647	81.6	2289	2.25×
Wan2.1-14B	145 ‡	Ours (Dynamic) †	0.148	0.979	0.621	0.686	77.0	2850	1.81×

(注：† 表示无微调纯算法推理加速；‡ 表示适配长上下文的微调主干；S.C. 为 Subject Consistency，A.Q. 为 Aesthetic Quality，I.Q. 为 Imaging Quality)

消融实验¶

在超长序列设置（HunyuanVideo-241f, 768p, 8×H100）下对各组件展开递进式消融评估：

变体 / 模块组合	稀疏度 (%) ↑	延迟 (s) ↓	VisionReward ↑	VBench S.C. ↑	说明
Radial Attention + 可配置参数	81.3%	351	0.123	0.956	基线配置
+ 双模式剪枝 (静态比例模式)	85.5%	338	0.117	0.946	引入静态分级保留，延迟进一步压缩
+ 双模式剪枝 (动态阈值模式)	82.3%	385	0.119	0.948	引入融合头得分过滤，保留细粒度细节
+ 离线预测器 (自动配置, 静态模式)	86.8%	324	0.122	0.956	BO 优化静态配置，大幅压缩低动态冗余
+ 离线预测器 (自动配置, 动态模式)	83.6%	378	0.127	0.963	BO 优化动态阈值，长程注意力自适应恢复
+ 掩码感知 LoRA (应用于动态模式)	83.6%	389	0.143	0.977	仅微调 Q/K 投影，时序一致性大幅跃升

此外，针对单层注意力的微基准测试（Wan2.1-14B，768p，72 帧，约 264K tokens）显示： - 稠密全注意力：单层 GEMM 耗时约 25.0 ms。 - 静态比例模式：Prompt 路由耗时平摊为 0 ms，掩码离线缓存耗时 0 ms，注意力 GEMM 降至 4.8 ms（单层净节省约 81%）。 - 动态阈值模式：Prompt 路由平摊为 0 ms，融合头打分（$H_f=2$）仅需 0.37 ms，分块掩码生成约 0.5 ms，注意力 GEMM 仅需 5.9 ms，单层总耗时 6.8 ms（单层净节省约 73%）。

关键发现¶

去噪效应带来反超 Dense 现象：在 HunyuanVideo-241f 和 Wan2.1-14B (145f) 等超长序列中，Ours (Dynamic) 的各项画质指标（如 VisionReward 0.131 vs. 0.116，VBench S.C. 0.979 vs. 0.921）不仅远超所有稀疏基线，甚至大幅反超了未经剪枝的 Dense 模型。深入分析表明，长视频中全注意力会吸纳大量无关时空分布外 (OOD) 的噪声 Token，动态局部化路由起到了滤除特征噪声的作用。
离线物理代理与在线调优高度一致：TPE 优化在仅模拟特征自回归衰减的代理任务上收敛出的参数，完美映射到了真实物理视频；在低运动 Prompt（如老人静坐读书）下自动分配极高衰减 $\gamma = 2.0$ 与激进稀疏度（86.6%），而在高动态场景（如穿越穿越机的 FPV 视角）下自动增大 $\lambda = 0.9$ 并放宽阈值 $\tau = -2.0$，保证了复杂运动轨迹不丢帧、无形变。
LoRA 的极佳性价比：掩码感知 LoRA 仅增加单序列约 11 秒（378s $\to$ 389s）的微小延迟，却使 VBench 主体连贯性从 0.963 跃迁至 0.977，证明轻量级适配投影层能完全愈合稀疏截断带来的特征分布轻微失真。

亮点与洞察¶

将物理运动先验与 Prompt 语义先验巧妙贯通：传统稀疏方法要么完全依赖无先验的在线特征打分，要么依赖纯几何手工截断。DynamicRad 利用文本固有编码的运动信息（如 "reading" 对应极低光流，"racing" 对应极高光流），零成本通过 Prompt 文本嵌入在视频生成前就决定好稀疏策略，思路极其敏锐。
以离线代理任务规避扩散模型参数调优的巨大黑洞：在长视频扩散模型上进行超参数网格搜索或 NAS 成本极高（单组 30 次评估需 5 个 H100 GPU 时）。本文建立的特征自回归漂移模型 $\mathbf{h}_t = \sqrt{1-\delta^2}\mathbf{h}_{t-1} + \delta \bm{\epsilon}_t$ 将评估成本缩减 20 倍以上，在 15 分钟内即可收敛出物理有效的超参数空间。
硬件分块与动态筛选的高效统一：不仅在算法层面定义 Token 级打分，而且通过列阈值 $\theta_c$ 和块阈值 $\theta_m$ 将筛选结果对齐至 $32 \times 32$ 硬件 Tile，无缝兼容 FlashInfer 与 SageAttention 等现代分块算子，避免了离散稀疏破坏 GPU 内存并发访问的常见缺陷。

局限与展望¶

极端剧烈与高度弥散运动下的边界受限：对于超高速相机剧烈旋转穿梭（如穿梭机极速穿越复杂迷宫）且全画幅发生非刚体剧烈形变时，基于块状与径向的局部候选窗仍可能遗漏部分分散的跨帧长程响应，造成极其细微的局部模糊。
单 Prompt 跨时间段多阶段运动表征不足：语义运动路由器目前针对整个 Prompt 进行全局单次判别，若 Prompt 包含「静止起跑而后急速冲刺」等时序多阶段复合运动，全局单一体制（Low/Mid/High）的选择可能无法在所有生成时间步达到最优。
未来方向：作者团队指出后续可将语义路由拓展至帧级（Frame-level Dynamic Routing），并将体制感知稀疏范式推广至图像生成视频（I2V）与长镜头多场景叙事生成中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将文本语义先验映射为物理运动体制，结合离线代理优化与双模式分块稀疏，构思精巧且落地性极强]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 HunyuanVideo-241f 与 Wan2.1-14B，单卡与 8 卡长序列详实对比，包含严谨的微基准、代理任务收敛分析与消融研究]
写作质量: ⭐⭐⭐⭐⭐ [数学推导清晰严密，从硬件分块约束到离线误差界分析逻辑自洽，图表与实验对照扎实]
价值: ⭐⭐⭐⭐⭐ [切实解决了 DiT 长视频生成的计算与带宽瓶颈，超 80% 稀疏度带来 2.5× 加速且代码开源，对视频生成领域工业化部署意义重大]