Q-ARVD: Quantizing Autoregressive Video Diffusion Models¶
会议: NeurIPS 2026
arXiv: 2605.21072
OpenReview: https://openreview.net/forum?id=RMJiMyWid7
论文: https://arxiv.org/abs/2605.21072
领域: 视频生成
关键词: 自回归视频扩散、模型量化、误差累积、自适应双尺度量化、离群通道隔离
一句话总结¶
针对自回归视频扩散模型在流式生成中误差级联累积与权重离群值异构的瓶颈，提出首个专为其定制的后训练量化框架 Q-ARVD，通过最终质量引导的帧敏感度加权与离群值感知自适应双尺度量化实现高质量 INT8/INT4 推理。
研究背景与动机¶
自回归视频扩散模型（ARVDs）通过分块或逐帧的因果时序去噪，打破了传统双向视频扩散模型依赖全局联合采样的计算范式，成为流式长视频生成、实时交互式渲染和通用世界模型构建的关键基础架构。然而，自回归去噪迭代所需的庞大计算开销构成了边缘端与低延迟交互部署的核心瓶颈。虽然模型量化是降低推理内存占用并提升吞吐量的标准路径，但直接将传统双向 Diffusion Transformer（DiT）或自回归大语言模型（LLM）的量化方案套用于 ARVDs 时，生成的视频往往会迅速崩溃、产生严重的语义漂移与结构失真。
这种量化退化的本质矛盾源于两个独有的系统性挑战。一方面，自回归视频去噪遵循连续高维潜空间的因果依赖链条，后续帧的去噪采样直接以之前生成的潜变量为条件。早期帧引入的微小量化误差会在随后的因果自回归滚动过程中呈指数级非线性累积，导致不同时间步对量化误差的敏感度极度失衡，在校准阶段对所有帧一视同仁必然破坏关键起步帧的精度。另一方面，ARVD 权重分布中存在破坏量化精度的极端离群通道（约占 2.1%），且这些离群通道的表现形式在不同层类型（如 FFN 与交叉注意力）和不同网络深度之间呈现高度的异构性，固定的全局通道缩放或粗暴的手工截断方案无法兼顾各层的特化分布。
面对这两大结构瓶颈，本文摆脱了通用量化忽略时序因果关联与层级异构性的常规假设，从误差演化物理规律与自适应统计检测出发构建量化目标。核心 idea：通过度量量化单帧对最终视频潜变量距离的退化效应构建指数衰减的帧敏感度损失加权，并结合修正 Z 分数自适应探测与隔离各层异构权重离群通道实施双尺度量化，以极低开销抑制自回归累积误差。
方法详解¶
整体框架¶
Q-ARVD 旨在为自回归视频扩散模型构建高保真的后训练量化（PTQ）重建流程。整个框架由两大部分深度协同构成：在时序演化维度上，建立最终质量引导的帧加权机制（Final-quality Guided Frame-weighting），测量每帧量化引起的全局视频退化量并转化为重构损失权重 \(\alpha_i\)；在网络内部参数维度上，建立离群值感知自适应双尺度量化（Outlier-aware Adaptive Dual-scale Quantization），通过稳健统计量自适应判定并分离离群通道与正常通道，分别配置独立的量化缩放因子，从而压缩正常通道的取值动态范围并降低舍入误差。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：校准视频潜变量序列与权重"] --> B["逐帧量化扰动评估<br/>计算全局潜变量退化距离"]
B --> C["最终质量引导帧加权<br/>导出时间敏感度损失权重"]
A --> D["修正 Z 分数与极值约束<br/>自适应检测各层权重离群通道"]
D --> E["离群感知自适应双尺度量化<br/>隔离离群与正常通道分别缩放"]
C --> F["加权块重构优化<br/>联合学习舍入参数与缩放因子"]
E --> F
F --> G["输出：低精度部署模型<br/>W8A8 / W4A8 Triton 加速引擎"]关键设计¶
1. 最终质量引导帧加权：建模自回归误差的时序非线性累积 针对自回归生成中误差随时间级联放大的痛点，传统重构均方误差（MSE）目标对各帧激活等权对待，忽视了早期帧对整体生成质量的决定性主导作用。Q-ARVD 提出直接通过“量化单个帧、全精度生成其余帧”的反事实扰动测试来量化每帧的全局敏感度。具体而言，在生成第 \(i\) 帧时激活量化算子 \(\hat{p}_\theta(\hat{\boldsymbol{x}}_0^i \mid \boldsymbol{x}_0^{<i})\)，而随后的 \(k > i\) 帧虽然使用全精度模型推理，但由于输入条件包含了受污染的先前潜变量，其最终生成的视频流仍会发生质量衰退。系统通过在潜空间测量原始全精度视频 \(P(\boldsymbol{x}_0^{1:N})\) 与扰动视频 \(\hat{P}_i(\hat{\boldsymbol{x}}_0^{1:N})\) 之间的均方误差距离，直接得出第 \(i\) 帧的敏感度标量 \(\alpha_i = d(P(\boldsymbol{x}_0^{1:N}), \hat{P}_i(\hat{\boldsymbol{x}}_0^{1:N}))\)。实证数据显示，首个 chunk 的敏感度占比高达 0.70，而末尾 chunk 小于 0.01，呈现显著的指数级衰减。将归一化后的 \(\alpha_i\) 引入块级重构优化目标，使得优化梯度全力优先保护前序关键时间步的表示精度： $$ \mathcal{L}{ours} = \mathbb{E}}\sim\mathcal{D{cal},\ i\sim\mathcal{U}(1,N)}\left[\alpha_i \left|\mathbf{X}^{(i)}\mathbf{W} - Q(\mathbf{X}^{(i)})Q(\mathbf{W})\right|\right] $$}}^{2
2. 离群感知自适应双尺度量化：依据稳健统计量隔离异构离群通道 针对权重通道存在幅值远超均值的离群特征且各层离群程度高度异构（例如第二层 FFN 离群剧烈而 cross-attention 平缓）的问题，统一量化会导致缩放因子 \(s = \frac{\max(|x|)}{2^{b-1}-1}\) 被少数离群峰值严重放大，致使绝大多数正常权重落入极宽的量化间隔内，剧烈增加期望舍入误差 \(\mathbb{E}[\epsilon] = \frac{1}{4}s\)。Q-ARVD 设计了一种自适应双尺度量化算子 \(Q_{\text{dual}}(\mathbf{W}) = [Q_{\text{outlier}}(\mathbf{W}_{\text{outliers}}) \mid Q_{\text{normal}}(\mathbf{W}_{\text{normal}})]\)。为了摆脱逐层手工调参的脆弱性，方法利用基于中位数绝对偏差（MAD）的修正 Z 分数（Modified Z-score）进行自适应离群通道判定，并引入相对中位数比率约束 \(\alpha=1.20\)，有效防止在平滑层因 MAD 过小而误检“伪离群通道”。通道范数 \(v_i\) 判定为离群通道的充要条件为： $$ v_i > \max\left(\tilde{v} + \frac{\tau}{0.6745}\cdot\text{MAD},\ \alpha\cdot\tilde{v}\right) $$ 判定出的离群通道数量会被进一步向上对齐至 32 的整数倍，以保证 GPU 硬件张量切分和 Triton 算子加速的硬件友好性；分离后的正常通道由于最大值大幅收敛，其缩放因子显著降低，直接压低了主要参数的舍入噪声。
损失函数 / 训练策略¶
Q-ARVD 采用校准集块重构（Block Reconstruction）优化策略，从扩展的 MovieGenVideoBench 中选取包含不同文本提示的视频潜变量作为校准数据 \(\mathcal{D}_{cal}\)。在参数微调阶段，固定预训练骨干参数，仅优化 AdaRound 自适应舍入参数与动态缩放因子。保留时间嵌入层、投影模块和输出头为 BFloat16 精度（因其参数量极小且对分布极为敏感）。训练 batch size 设为 8，舍入参数与缩放因子学习率分别设为 \(2\times 10^{-3}\) 和 \(4\times 10^{-5}\)，采用 Adam 优化器配合余弦退火策略进行 2000 次迭代更新。
实验关键数据¶
主实验¶
在主流自回归视频扩散基座模型 causal-forcing 与 self-forcing 上，采用针对 946 条扩展 VBench 文本提示生成的视频进行评测。由于参考自由度的标准 VBench 分数在量化模型评测中区分度极弱且存在位宽倒挂反常现象，实验采用全精度视频作为参考基准，以 FVD-FP 和 LPIPS-FP 作为核心评价指标。
| 模型基座 | 量化方案 | 位宽 | FVD-FP ↓ | LPIPS-FP ↓ | VBench 综合均分 |
|---|---|---|---|---|---|
| causal-forcing | Bfloat16 (FP) | 16/16 | 0.00 | 0.00 | 85.33 |
| causal-forcing | MinMax | W8A8 | 67.65 | 0.358 | 85.22 |
| causal-forcing | PTQ4DiT | W8A8 | 63.21 | 0.341 | 85.37 |
| causal-forcing | Q-ARVD (本文) | W8A8 | 61.67 | 0.335 | 85.36 |
| causal-forcing | MinMax | W4A8 | 279.61 | 0.505 | 83.41 |
| causal-forcing | PTQ4DiT | W4A8 | 141.03 | 0.470 | 84.96 |
| causal-forcing | SVDQuant | W4A8 | 135.62 | 0.492 | 84.26 |
| causal-forcing | Q-ARVD (本文) | W4A8 | 106.04 | 0.452 | 84.96 |
| causal-forcing | MinMax | W4A6 | 375.82 | 0.544 | 82.51 |
| causal-forcing | PTQ4DiT | W4A6 | 244.95 | 0.527 | 84.26 |
| causal-forcing | Q-ARVD (本文) | W4A6 | 140.38 | 0.486 | 85.24 |
| self-forcing | Bfloat16 (FP) | 16/16 | 0.00 | 0.00 | 85.35 |
| self-forcing | PTQ4DiT | W8A8 | 68.47 | 0.333 | 85.31 |
| self-forcing | Q-ARVD (本文) | W8A8 | 64.51 | 0.327 | 85.30 |
| self-forcing | PTQ4DiT | W4A8 | 124.20 | 0.477 | 84.95 |
| self-forcing | SVDQuant | W4A8 | 150.03 | 0.502 | 84.00 |
| self-forcing | Q-ARVD (本文) | W4A8 | 116.26 | 0.466 | 84.80 |
| self-forcing | PTQ4DiT | W4A6 | 174.17 | 0.515 | 84.58 |
| self-forcing | Q-ARVD (本文) | W4A6 | 146.01 | 0.498 | 84.77 |
在硬件实测中，基于 Triton 实现的 W8A8 算子在 NVIDIA A6000 GPU 上针对 self-forcing 实现了 1.30× 的端到端时延加速（从 18.02s 降低到 13.85s），显存占用减少 1.97×（从 2.64GB 压缩至 1.34GB）。
消融实验¶
在 self-forcing 基座上针对双尺度量化（Dual Scale）与帧敏感度加权（Frame Weighting）的核心组件进行剥离验证：
| 双尺度量化 (Dual Scale) | 帧敏感度加权 (Frame Weighting) | W4A8 FVD ↓ | W4A8 LPIPS ↓ | W8A8 FVD ↓ | W8A8 LPIPS ↓ |
|---|---|---|---|---|---|
| ✗ | ✗ | 156.70 | 0.474 | 68.24 | 0.334 |
| ✗ | ✓ | 147.16 | 0.465 | 65.39 | 0.325 |
| ✓ | ✗ | 121.83 | 0.469 | 67.48 | 0.332 |
| ✓ | ✓ (完整模型) | 116.26 | 0.466 | 64.51 | 0.327 |
不同帧加权衰减策略对比（W4A8 self-forcing）： - 均匀权重（无加权）：FVD 121.83，LPIPS 0.469 - 启发式指数衰减（\(2^{-i}\)）：FVD 119.61，LPIPS 0.471 - 反向衰减（加重后续帧）：FVD 123.72，LPIPS 0.476（错误强调后序帧导致性能急剧劣于均匀基线） - 质量退化引导的精确敏感度（本文方案）：FVD 116.26，LPIPS 0.466
关键发现¶
- 模块贡献互补性：帧加权机制在相对高精度的 W8A8 设置中收益更为显著（FVD 从 68.24 降至 65.39），因为此时舍入空间充裕，时序误差分配对时序一致性起到主控作用；而在极低位宽的 W4A8 场景下，离群通道导致的舍入间隔溢出成为主要矛盾，双尺度量化带来的收益占据主导地位（FVD 从 156.70 骤降至 121.83）。
- VBench 评估盲区：实测表明常用 VBench 无参考指标难以区分不同量化方法的保真度，甚至在运动平滑度与主体一致性上出现 W4A6 反超全精度的现象。作者提出的可区分度评分（Discriminability Score, 结合变异系数与位宽单调一致性）证实 FVD-FP 和 LPIPS-FP 才能真实反映时序退化。
- 超参数稳定性：修正 Z 分数阈值 \(\tau\) 在 2.5 到 4.5 范围变动时，FVD 仅在 114.39 到 117.41 窄幅浮动，证明自适应离群通道判别方案对阈值具备高度鲁棒性。
亮点与洞察¶
- 首次揭示自回归视频扩散时序敏感度呈现强烈的指数级衰减，将抽象的误差累积直观具象化为各生成块（chunk）对全序列潜变量的数值退化距离，为时序生成模型的重构优化开辟了非均匀加权的新范式。
- 提出的修正 Z 分数结合相对中位数下界的统计隔离策略，避免了传统 SmoothQuant 将激活难度转嫁至权重或旋转变换（如 QuaRot）在非线性与自适应 LayerNorm 处无法离线消除的系统缺陷，以纯离线切分实现了极低运行期开销的自适应双尺度量化。
局限与展望¶
- 论文目前仅将指数型帧敏感度应用于后训练重构损失的加权分配，尚未将其拓展为时序动态混合精度分配（例如给前两个关键 chunk 分配更高的 W8A8 甚至 FP16，而在不敏感的后续帧降至 W4A4）。
- 当前系统虽然基于 Triton 实现了可用的推理内核，但矩阵提取与拼接重排仍依赖通用 GPU 调度，针对异构通道切分定制手写深层融合 CUDA 算子或支持更灵活的非 32 对齐通道将进一步榨干硬件吞吐极限。
相关工作与启发¶
- vs PTQ4DiT / ViDiT-q: 现有基于 DiT 的扩散模型量化主要针对双向全序列注意力中的时空 Patch 特征分布设计，未考虑自回归模型固有的时间因果依赖链条与前向误差级联；Q-ARVD 填补了 ARVD 架构量化研究的空白。
- vs SVDQuant: SVDQuant 依赖计算开销较高的低秩全精度旁路分支来吸收离群值，且在自回归多帧推演下引起了明显的语义偏离（如沙滩背景与物体的视觉特征漂移）；Q-ARVD 通过自适应双尺度分离完全在低精度表示内部消化了离群值，在保持高保真语义结构的同时速度优势更显著。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次针对自回归视频扩散模型量化系统性揭示了时序敏感度非平衡与权重离群值异构性两大瓶颈，机制设计清晰贴合物理规律。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 causal-forcing 与 self-forcing 两大最前沿模型基座，从 W8A8 到 W4A6 多梯度验证，包含完整的 Triton 加速硬件实测与深度的评测指标可信度分析。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨，问题公式化完备，时序与通道维度的剖析图文对应清晰。
- 价值: ⭐⭐⭐⭐⭐ 为流式视频生成、实时人机交互和视频世界模型的端侧高吞吐落地提供了切实可行的加速方案。