iCATS: Fast Video Generation via Interaction-Aware Sparse Attention and Timestep-Adaptive Sparsity¶

会议: NeurIPS 2026
arXiv: 2610.11302
领域: 视频理解 / Video Understanding
关键词: 扩散Transformer, 稀疏注意力, 交互感知聚类, 信噪比自适应稀疏度, 视频生成

一句话总结¶

iCATS 提出了一种无需微调的 Diffusion Transformer 视频生成加速框架，通过将 Q-K 交互重要性聚类重构为低秩二次型、设计基于信噪比（SNR）的动态反向 Sigmoid 稀疏调度以及执行 GPU 块感知的尾部合并策略，在保持高质量生成的同时实现了最高 2.03× 的实际端到端加速。

研究背景与动机¶

基于 Diffusion Transformers (DiTs) 的视频生成模型（如 HunyuanVideo、Wan2.1、Sora 等）近年来取得了显著突破，成为大模型视频合成的核心骨干架构。然而，生成长时程、高分辨率的视频需要将时空特征展平为极长的 token 序列（例如 Wan2.1-14B 的序列长度超过 75,000），这使得多头自注意力机制中计算复杂度随序列长度呈二次方膨胀，在推理阶段带来了极度沉重的计算负担与延迟瓶颈。

为了加速 DiT 推理，无需重新训练的免微调稀疏注意力（Training-free Sparse Attention）因其即插即用、不破坏预训练参数的灵活性而受到广泛关注。这类方法通常在注意力特征图上粗粒度估计 Query-Key 区域的重要性，并通过 Top-$p$ 阈值筛选关键候选块进行稀疏计算（如 SVG、SVG2）。然而，现有的聚类稀疏方案存在三大核心断裂：第一，现有方法（如基于 $k$-means 的 SVG2）在 Query 和 Key 空间中各自独立进行欧式特征聚类，这一做法隐式假设了 Query 空间各向同性，无法最小化真实的 Query-Key 点积交互误差；第二，传统的固定 Top-$p$ 阈值忽略了流匹配与扩散去噪过程在不同时间步上的信噪动态差异，而误差在去噪链条上是递归累积传播的；第三，聚类产生的动态簇尺寸参差不齐，直接映射到现代 GPU 块级 Kernel（如 FlashInfer）时会产生大量的 Padding 空白尾块，在 Query 侧被多次重复计算，造成严重的硬件算力浪费。

针对这一系列痛点，本文从注意力重要性估计、去噪动态稀疏调度以及底层硬件执行全链路进行协同重构。核心 idea：将 Query-Key 交互重要性估计重构为原特征空间上的低复杂度二次型聚类，配合基于对数信噪比（log-SNR）的反向 Sigmoid 步长级自适应稀疏调度，并在硬件执行端引入无损与相容尾部合并以消除 Padding 开销。

方法详解¶

整体框架¶

iCATS 的整体加速流水线围绕三大核心阶段展开：在每个 DiT 注意力层中，首先通过交替迭代的交互感知聚类对 Query 和 Key tokens 分组，利用簇中心低成本估计块级注意力得分；随后，根据当前去噪步的特征由信噪比引导稀疏度计算离线确定的自适应 Top-$p$ 阈值，动态选出最具信息量的核心注意力计算区域；最后，在将稀疏簇交付给底层 GPU Kernel 计算前，应用尾部合并策略重组 Query 簇，消除不规则簇长带来的尾块填充冗余。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列 tokens<br/>Query Q 与 Key K"] --> B["交互感知聚类<br/>二次型逼近 Q-K 真实点积误差"]
    B --> C["簇级注意力打分<br/>计算簇中心低阶相关度矩阵"]
    C --> D["信噪比引导稀疏度<br/>log-SNR 驱动反向 Sigmoid 动态 Top-p"]
    D --> E["尾部合并策略<br/>精确去重与对齐感知尾部重映射"]
    E --> F["FlashInfer 块级稀疏 Kernel 执行<br/>高硬件利用率无损视频输出"]

关键设计¶

1. 交互感知聚类：基于二次型重构真实 Q-K 交互误差 在基于聚类的稀疏注意力中，核心任务是用紧凑的簇中心代表原 token 集合，以构建缩小的粗粒度 Query-Key 矩阵。以往方法如 SVG2 分别在 Query 和 Key 空间进行独立的欧式距离 $k$-means 聚类，其优化的几何目标是最小化特征方差 $\hat{E}(G) = \sum_{t=1}^P \sum_{j \in B_t} \|k_j - \mu_t\|_2^2$。这一目标仅在假设 Query 自协方差矩阵各向同性（即 $Q^\top Q \propto I$）时才成立，与实际模型特征严重脱节。iCATS 揭示出，真正的目标应当是最小化近似前后 Query-Key 点积交互的真实误差： $$E(G) = \sum_{t=1}^P \sum_{j \in B_t} \|Q(k_j^\top - \mu_t^\top)\|_2^2 = \sum_{t=1}^P \sum_{j \in B_t} (k_j - \mu_t) Q^\top Q (k_j^\top - \mu_t^\top)$$ 若直接构造完整点积矩阵，不仅会导致序列长度 $n$ 维的向量运算，还会带来 $\mathcal{O}(n^2)$ 的不可承受代价。iCATS 将该目标巧妙重构为特征维度 $d$（$d \ll n$，如 Wan2.1 中 $d=128, n=75600$）上的二次型，并利用已聚类的簇中心与簇规模构造低成本的紧凑逼近矩阵 $M_Q = \sum_{r=1}^O |A_r| \mu_r^\top \mu_r$ 与 $M_K = \sum_{t=1}^P |B_t| \mu_t^\top \mu_t$。在聚类迭代中，展开项 $(k_j - \mu_t) M_Q (k_j^\top - \mu_t^\top) = k_j M_Q k_j^\top + \mu_t M_Q \mu_t^\top - 2 k_j M_Q \mu_t^\top$ 中的 token 侧统计量借助 Flash-Kmeans 在首轮前单次预计算，并在扩散步进过程中利用相邻步间的结构相似性交替推导 Query 与 Key 聚类，使得交互感知聚类的运行耗时与标准聚类几乎持平，但 Top-$p$ 重合度显著提升。

2. 信噪比引导稀疏度：基于反向 Sigmoid 的去噪动态计算分配 扩散与流匹配模型的采样生成是递归演化过程，中间隐状态满足 $x_t = a_t x_0 + b_t \epsilon$。在去噪前期，信号极弱而噪声占主导，此阶段引入的注意力近似误差会随着后续几十步求解累积扩散；而在去噪后期，视频结构与轮廓基本稳定，模型主要完善微小高频细节，对稀疏截断的容忍度反而截然不同。传统方法在所有时间步统一使用固定 Top-$p$（如 0.9），导致算力分配严重失衡。iCATS 引入信噪比 $\text{SNR}(t) = (a_t / b_t)^2$，并将其转换至对数域 $\ell_t = \log \text{SNR}(t)$。研究发现，$\ell_t$ 在采样轨迹中呈现明显的阶段性特征（两端陡峭，中段平缓）。据此，iCATS 构造了一个以关键平稳步 $t_{\text{pivot}}$ 为中心的反向 Sigmoid 函数，离线生成自适应时间步 Top-$p$ 曲线： $$\text{top-}p_t = p_{\min} + (1 - p_{\min}) \left(1 - \frac{1}{1 + \exp(-k x_t)}\right), \quad t \le t_{\text{sparse}}$$ 其中 $x_t = \ell_t - \ell_{t_{\text{pivot}}}$，$k$ 为由超参 $\tau$ 确定的陡度系数。该调度保证了在去噪初期保留充足的全局注意力注意力预算以锚定语义骨架，在过渡平缓期平滑收紧稀疏度，并在收敛期维持高稀疏度以换取极致速度。因为噪声调度预先给定，所有时间步的 Top-$p$ 均可离线瞬间计算完成，推理时零开销。

3. 尾部合并策略：消除不规则簇尺寸带来的 GPU Kernel 填充冗余 在底层部署中，现代稀疏注意力 Kernel（如 FlashInfer）基于固定的块大小调度（如 Query 块长 128，Key 块长 96）。聚类算法输出的 Query 簇长度通常无法整除块长，最后的未对齐“尾部块”即使只有少数几个有效 token，也必须执行完整的整块矩阵乘法运算；更为致命的是，Query 侧的该填充开销会沿着所有被选中的 Key 块成倍放大。为此，iCATS 设计了纯硬件层面的两阶段尾部合并算法。第一阶段执行“精确无损合并”：在多头注意力的每个注意力头内部，检索具有完全相同 Key 簇掩码的 Query 簇，直接合并其 token 并累加尺寸，不改变任何稀疏计算模式；第二阶段执行“相容尾部重映射”：对仍有非对齐尾部（$\tau_i = s_i \bmod b > 0$）的 Query 簇，通过计算二进制掩码的汉明距离（Hamming Distance），找出在 Key 关注集合上互为最近邻且尾部长之和满足 $\tau_i + \tau_j \le b$ 的簇对，将 $j$ 簇的尾部 token 划归 $i$ 簇并对二者掩码取并集。该优化在 Triton 中实现，两轮合并在 1222 秒的生成过程中仅耗时约 10 秒，却使执行块总数在早期降低高达 25%，直接换来实质性的硬件加速。

一个完整示例¶

以 Wan2.1-T2V-14B 上的一个注意力头为例，序列包含 75,600 个 tokens，划分 400 个 Query 簇与 1000 个 Key 簇，FlashInfer 的 Query 块大小 $b = 128$： 1. 聚类与掩码生成：在去噪步 $t$，基于当前 $\text{top-}p_t$ 筛选出每个 Query 簇需要计算的 Key 簇索引，将每个 Query 簇的稀疏访问掩码压缩打包为 64 位整型向量。 2. 第一阶段（精确合并）：发现 Query 簇 #12 与 #45 关注的 Key 簇集合完全一致，算法瞬间将其合并为新簇 #12，大小由原先的 210 与 180 累加为 390，计算拓扑毫无畸变。 3. 第二阶段（尾部重映射）：Query 簇 #3 大小为 300（对 128 取模余 44），Query 簇 #18 大小为 170（模 128 余 42）。计算二者 Key 掩码的汉明距离，发现它们语义高度重合且互为最近邻，且尾部之和 $44 + 42 = 86 \le 128$。算法将簇 #18 的最后 42 个 token 重新打标为簇 #3，掩码更新为二者的按位或（Bitwise OR）。 4. 硬件交付：重组后簇 #3 的尾部被规整填充，未对齐零散块消除，FlashInfer 的调度块数立即减少，内核算力几乎完全施加在真实有效数据上。

损失函数 / 训练策略¶

iCATS 完全属于免训练（Training-free）推理加速方案，不需要对原 DiT 模型的权重做任何微调，亦无额外的辅助损失函数。在推理部署时： - Warmup 设置：遵循基线标准设定，在前几个去噪步（如 Wan2.1-T2V 前 10/50 步，HunyuanVideo 前 5/50 步）以及前几个注意力层（第 1/40 或 1/60 层）保持全注意力（Dense Attention），以稳定初始生成分布。 - 超参配置：主要超参为最小 Top-$p$ 阈值 $p_{\min}$ 与 Sigmoid 饱和控制参数 $\tau$。提供两种开箱即用版本： - iCATS-Base（追求极高质量）：Wan2.1-T2V-14B 下取 $p_{\min}=0.7, \tau=0.999$； - iCATS-Turbo（追求极致吞吐）：Wan2.1-T2V-14B 下取 $p_{\min}=0.65, \tau=0.97$。

实验关键数据¶

主实验¶

在 8 卡 NVIDIA H100 GPU 上，针对 5 秒 720p 视频生成任务，在 HunyuanVideo-T2V-13B、Wan2.1-T2V-14B 和 Wan2.1-I2V-14B 上与前沿方法 SVG 和 SVG2 进行了系统评测（主论文表 1）：

模型与方法	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	VBench ↑	推理耗时 (s) ↓	稀疏度
HunyuanVideo-T2V-13B (Dense)	–	–	–	0.844	1730	–
SVG	20.362	0.725	0.235	0.843	874 (1.98×)	75.8%
SVG2	26.247	0.869	0.097	0.842	853 (2.03×)	71.5%
iCATS-Base (Ours)	31.017	0.926	0.050	0.844	854 (2.03×)	66.1%
iCATS-Turbo (Ours)	30.466	0.922	0.054	0.844	827 (2.10×)	70.3%
Wan2.1-T2V-14B (Dense)	–	–	–	0.839	1889	–
SVG	21.497	0.741	0.197	0.836	1220 (1.55×)	65.7%
SVG2	25.606	0.853	0.098	0.837	1226 (1.54×)	68.6%
iCATS-Base (Ours)	29.301	0.908	0.058	0.838	1222 (1.55×)	61.7%
iCATS-Turbo (Ours)	28.172	0.895	0.068	0.837	1176 (1.61×)	69.0%
Wan2.1-I2V-14B (Dense)	–	–	–	0.847	1519	–
SVG	26.533	0.847	0.101	0.844	1088 (1.40×)	65.7%
SVG2	29.082	0.890	0.067	0.845	1081 (1.41×)	69.9%
iCATS-Base (Ours)	30.606	0.911	0.056	0.846	1084 (1.41×)	63.2%
iCATS-Turbo (Ours)	30.097	0.905	0.060	0.846	1057 (1.44×)	68.9%

消融实验¶

在 Wan2.1-T2V-14B 上对交互感知聚类 (IC)、信噪比引导稀疏度 (SG) 与尾部合并策略 (TM) 进行逐步消融分析（主论文表 5）：

配置	PSNR (dB) ↑	SSIM ↑	LPIPS ↓	推理耗时 (s) ↓	稀疏度
Dense Baseline	–	–	–	1890	–
Anchor (基于 SVG2)	25.894	0.868	0.101	1227 (1.54×)	68.7%
+ IC (交互感知聚类)	26.435	0.878	0.093	1224 (1.54×)	69.9%
+ SG (信噪比调度)	27.309	0.890	0.085	1219 (1.55×)	69.5%
+ TM (尾部合并)	26.085	0.872	0.098	1223 (1.55×)	67.9%
+ IC & SG	28.283	0.903	0.074	1213 (1.56×)	70.0%
+ IC & SG & TM (完整 iCATS-Turbo)	28.372	0.905	0.072	1171 (1.61×)	69.0%

此外，针对聚类真实保真度的微观评测显示（主论文表 2），在 Wan2.1-T2V-14B 上： - Top-$p$ 重合度：从传统独立欧式聚类的 0.896 提高到 iCATS 的 0.913（+1.7%）； - 注意力输出 MSE：从 $8.99 \times 10^{-4}$ 大幅下降至 $5.75 \times 10^{-4}$（降低 36%）。

关键发现¶

模块互补性极佳：IC 负责“更准地挑选重要注意力位置”，SG 负责“更聪明地在时间轴上分配算力预算”，二者结合带来了超过 2.3 dB 的显著 PSNR 跃升；TM 则专注于“将理论算力转化为真实硬件吞吐”，虽然因掩码合并略微增加理论非零比，但大幅削减了 Kernel 空转填充，最终将速度从 1.56× 提速至 1.61×。
跨硬件平台极高泛化：除 H100 外，在阿里平头哥真武 M890P 专用 AI 加速芯片上部署 iCATS-Turbo，PSNR 达到 28.849 dB，加速比达到 1.36×（优于 SVG2 的 1.28× 与 26.321 dB），证明了 Triton 内核重组的工业级通用性。
盲测主观体验压倒性优势：在 11 位视频领域专业人员对 220 组生成对比的盲测中，iCATS-Base 获得了 54.1% 的偏好选票，而 SVG2 仅有 18.6%（27.3% 为质量相当）。

亮点与洞察¶

将点积矩阵聚类巧妙降阶为低维特征二次型：用 $d \times d$ 维度的紧凑低阶矩阵逼近 $Q^\top Q$ 并配合 Flash-Kmeans 预计算，打破了“交互感知聚类必然需要平方级序列点积”的传统思维定势。
从扩散物理学第一性原理出发的动态分配：通过 $\log\text{SNR}$ 识别出生成扩散步的敏感度断层，以反向 Sigmoid 替代死板的全局固定 Top-$p$，使高难度语义生成阶段与纯细节微调阶段各得其所。
软硬协同的尾部对齐重映射：跳出纯算法指标视角，深入到底层 GPU 块级 Kernel 的填充浪费痛点，利用汉明距离做近邻尾部重标，是极具工程启发性的软硬件协同设计。

局限与展望¶

多卡并行拓展：作者指出当前聚类过程尚未针对跨 GPU 分布式并行进行深度重叠优化，多卡环境下通信与聚类流水线仍有进一步挖掘空间。
Token 级精确稀疏算子支持：目前的执行单元受限于块级颗粒度，未来如果能结合定制的细粒度稀疏硬件指令，尾部合并与精细筛选的加速上限将更高。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将 Q-K 真实交互误差转化为紧凑二次型、提出信噪比自适应反向 Sigmoid 调度与硬件尾块合并，设计精妙]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 13B/14B T2V/I2V 多模型、H100 与平头哥芯片跨硬件验证、详尽消融与专业人评]
写作质量: ⭐⭐⭐⭐⭐ [动机层层递进，数学推导与硬件系统考量自洽完整，图表极其详实]
价值: ⭐⭐⭐⭐⭐ [极具实用价值的工业级 DiT 视频生成即插即用加速方案]