TriTD: Tri-Partite Trajectory–Distribution Distillation for Real-Time Autoregressive Video Generation¶
会议: NeurIPS 2026
arXiv: 2610.26165
领域: 视频生成
关键词: 视频生成, 自回归扩散模型, 轨迹蒸馏, 分布匹配, 实时推理
一句话总结¶
针对自回归视频扩散模型在少步蒸馏中面临的质量与效率权衡难题，本文建立闭式累积误差上界并提出三方协同蒸馏框架 TriTD，在单卡 H100 上以 4 步无 KV-cache 额外刷新实现 26.8 FPS 实时生成与 SOTA 视频质量。
研究背景与动机¶
自回归（Autoregressive, AR）视频扩散模型因其因果分块（chunk-wise）解码机制，成为实时交互式视频生成的关键范式。然而，在追求少步数（few-step）超低延迟推理的过程中，现有方法往往陷入生成质量与推理吞吐的剧烈权衡。虽然近期研究（如 Self-Forcing、Causal-Forcing）通过自展开（self-rollout）训练缓解了曝光偏差，但模型在多 chunk 串联推流时仍普遍面临跨 chunk 累积误差失控，且每个 chunk 生成后必须额外执行一次前向推理刷新 KV Cache，导致宝贵的推理时间被结构性冗余开销侵蚀。
从误差传播的数学本质分析，AR 视频自回归生成的逐 chunk 推理误差主要由三部分构成：基础模型在理想上下文下的固有预测误差、训练与推理时上下文噪声分布的不匹配，以及沿因果注意力链向上游继承的历史误差传播。现有蒸馏方案（如端点一致性回归与标准分布匹配 DMD）忽视了逐 chunk 噪声强度的序贯演化，随机采样的训练时退避步长使得上下文噪声与真实推理完全脱节，并且 DMD 仅在单一方向提供 KL 散度梯度，在正交子空间缺乏约束，极易引发轴外漂移（off-axis drift）与训练震荡。
针对这一系统性瓶颈，本文建立闭式累积误差上界，揭示出“压缩基础误差底界”与“对齐上下文噪声分布”两个互补优化维度。核心 idea：提出三方轨迹-分布协同蒸馏框架 TriTD，通过下一节点轨迹蒸馏压缩基础误差、分块渐进加噪对齐推训噪声并免除推理 KV 刷新、正交-平行 DMD 抑制分布学习的轴外漂移，实现高质量零冗余的实时自回归视频推流。
方法详解¶
整体框架¶
TriTD 面向因果分块自回归视频生成，将整段视频划分为 \(C\) 个长度相等的 chunk \(\{X^{(1)}, \dots, X^{(C)}\}\)，基于条件分布 \(p(X^{(c)} | X^{(<c)})\) 逐块去噪展开。模型结构采用因果分块注意力并复用历史 KV Cache \(K^{(<c)}\)。针对 4 步少步学生模型，整个框架分为两阶段训练流水线，并在全局贯彻统一的上下文噪声重排机制：第一阶段利用下一节点轨迹蒸馏（NTD）重构 ODE 初始化；第二阶段利用正交-平行 DMD（OP-DMD）完成分布匹配优化。在推训全过程中，分块渐进加噪（CGN）确保训练上下文噪声单调非递减，使学生模型天生对噪声 KV Cache 具备鲁棒性，从而在推理阶段完全省去各 chunk 生成后的 KV Cache 重新前向计算。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入文本与前序分块上下文<br/>X<c, K<c"] --> B["分块渐进加噪 (CGN)<br/>首块干净+单调非降噪声约束"]
B --> C["阶段一：下一节点轨迹蒸馏 (NTD)<br/>教师 ODE 相邻节点 L1 监督"]
C --> D["阶段二：正交-平行 DMD (OP-DMD)<br/>主干 KL + 正交子空间 L1 正则约束"]
D --> E["4 步因果快速去噪输出<br/>直接复用末步 KV，免额外前向刷新"]关键设计¶
1. 下一节点轨迹蒸馏 (NTD)：压缩基础模型回归误差下界 传统 ODE 初始化阶段通常采用端点一致性目标（如 EDM / Consistency Models），强制学生模型在任意中间时刻 \(t_i\) 直接通过 MSE 损失拟合教师轨迹在 \(t=0\) 处的干净终点 \(x_0^\star\)。然而在长时步跨度下，中间态到终点的条件映射具有极大的条件方差，导致理论回归误差底界居高不下。TriTD 提出用教师 ODE 轨迹上的紧邻下一个节点 \(x_{t_{i+1}}^\star\) 代替终点目标，并采用对离群值鲁棒的 L1 损失进行轨迹单步回归： $$ \mathcal{L}{\text{NTD}} = \mathbb{E}^\star \right|_1 \right] $$ 理论分析表明，在局部仿射与高斯条件假设下，下一节点目标将方差缩放了因子 } \left[ \left| \Phi_\theta(x_{t_i}) - x_{t_{i+1}\(\lambda_i = 1 - t_{i+1}/t_i \in [0, 1]\)，使得最优条件平均绝对误差（MAE）严格低于端点回归的均方根误差（RMSE）下界（\(\varepsilon_{\text{NTD}, i}^{\text{lower}} = \lambda_i \sqrt{2/\pi} \cdot \varepsilon_{\text{init}, i}^{\text{lower}} < \varepsilon_{\text{init}, i}^{\text{lower}}\)）。这一设计大幅缩短了单步监督视距，直接降低了单步推理基础误差。
2. 分块渐进加噪 (CGN)：消除上下文噪声不匹配并省去 KV 刷新 在先前的自回归蒸馏（如 Self-Forcing）中，训练阶段各 chunk 的退避时刻 \(t_{\text{exit}}^c\) 独立均匀随机采样，导致跨 chunk 的上下文噪声分布 \(\sigma_{\text{tr}}(c)\) 与推理阶段全程完整去噪（\(t_{\text{exit}} = t_K\)）的稳定上下文产生严重偏离。为了消除推训分布间隙 \(\sum_{c=1}^C w_c \kappa |\sigma_{\text{inf}}(c) - \sigma_{\text{tr}}(c)|\)，CGN 引入双重约束：第一，干净起始（Clean Start）：视频第 1 个 chunk 前向无历史污染，在推训两阶段均强制设定其上下文噪声为零，由于几何误差权重 \(w_c = (1 - L^{C-c+1})/(1-L)\) 在序列头部最大，消弭首块偏差能极大削减累积误差；第二，单调排序（Sorted Noise）：对后续 chunk（\(c > 1\)），在采样各 chunk 的去噪起始步（阶段一）或退出步（阶段二）后按非递减排序，使训练时上下文噪声单调递增，天然吻合推理时误差逐步积累的物理规律。更关键的是，模型在此机制下学会了直接基于带噪 KV Cache 进行因果推理，推理端无需在每个 chunk 产生结果后再耗费一次完整前向计算重构干净 KV，将每个 chunk 的网络评估次数（NFE）由 5-NFE 纯化为 4-NFE。
3. 正交-平行 DMD (OP-DMD)：约束正交子空间漂移稳定分布优化 在第二阶段分布匹配蒸馏中，标准 DMD 依赖判别梯度 \(r = \hat{x}_0^{\text{real}} - \hat{x}_0^{\text{fake}}\) 沿单位方向 \(\hat{\mu}_{\text{DMD}} = r / \|r\|\) 施加逆向 KL 散度更新。然而，高维潜在空间中垂直于 \(\hat{\mu}_{\text{DMD}}\) 的正交子空间处于完全无监督状态，极易由于梯度随机性产生与主方向解耦的轴外漂移（off-axis drift），导致生成视频出现结构性伪影与饱和失真。OP-DMD 将学生与教师预测残差 \(\delta = \hat{x}_0^{\text{student}} - \hat{x}_0^{\text{real}}\) 分解为平行分量 \(\delta_\parallel = \langle \hat{\mu}_{\text{DMD}}, \delta \rangle \hat{\mu}_{\text{DMD}}\) 与正交分量 \(\delta_\perp = \delta - \delta_\parallel\)，并在总损失中引入非对称的点级 L1 正则约束： $$ \mathcal{L}{\text{OP-DMD}} = \mathcal{L} + \lambda_\perp |\delta_\perp|}1 + \lambda\parallel |\langle \hat{\mu}{\text{DMD}}, \delta \rangle|1, \quad (\lambda\parallel \ll \lambda\perp) $$ 实验中取 \(\lambda_\perp = 0.01, \lambda_\parallel = 0.0001\)。正交约束项在不破坏主干分布匹配方向的前提下强力收缩垂直扰动，有效平抑优化抖动，将整体质量评分提升至全新高位。
损失函数 / 训练策略¶
训练采用三阶段递进策略： - 阶段 1（离线轨迹生成）：基于 Wan2.1-1.3B 双向教师模型，在 MixKit 的 6,000 条 prompt 上进行 48 步双向去噪求解，完整缓存 49 个节点状态（含 \(x_0\)）。学生推理步长选取对应时刻 \(\{1000.0, 923.913, 750.0, 500.0\}\)。 - 阶段 2（ODE 回归初始化）：以 batch size 64、学习率 \(5 \times 10^{-6}\)（AdamW, \(\beta_1=0.9, \beta_2=0.999\)）训练 2,700 步，运行 NTD L1 损失结合 CGN 时序排序。 - 阶段 3（OP-DMD 分布对齐）：执行带 12 帧滑动因果注意力的学生自展开。生成器与 Critic 学习率分别设为 \(2 \times 10^{-6}\) 和 \(4 \times 10^{-7}\)（\(\beta_1=0.0, \beta_2=0.999\)），训练 700 步（8× A100 耗时约 2 天）。
实验关键数据¶
主实验¶
基于 VBench 基准与 MovieGen 前 128 条 prompt，在单张 NVIDIA H100 GPU 上评估 5 秒视频生成性能（分辨率 832×480）。
| 方法 | FPS (编译) | FPS (未编译) | 主体一致性 | 背景一致性 | 动态程度 | 图像质量 | 动作平滑度 | 美学质量 | 时间闪烁 | 综合质量分 |
|---|---|---|---|---|---|---|---|---|---|---|
| 双向模型 | ||||||||||
| Wan2.1 | 1.0 | 0.8 | 94.16 | 96.21 | 57.03 | 66.64 | 98.19 | 64.71 | 96.88 | 82.17 |
| LTX-Video | 10.8 | 9.0 | 92.69 | 95.04 | 41.41 | 63.07 | 98.92 | 55.22 | 97.49 | 79.10 |
| 自回归基线 | ||||||||||
| SkyReels-V2 | 0.6 | 0.5 | 95.87 | 96.86 | 32.81 | 62.51 | 98.72 | 63.45 | 97.91 | 80.63 |
| MAGI-1 | 0.3 | 0.2 | 96.29 | 96.50 | 35.94 | 61.71 | 99.22 | 64.76 | 98.39 | 81.42 |
| 蒸馏自回归 | ||||||||||
| CausVid (5 NFE) | 20.3 | 16.9 | 94.65 | 94.51 | 45.31 | 68.00 | 98.27 | 62.10 | 97.06 | 80.93 |
| Self-Forcing (5 NFE) | 20.3 | 16.9 | 93.53 | 94.62 | 63.28 | 69.04 | 98.27 | 63.36 | 96.70 | 82.33 |
| Causal-Forcing (5 NFE) | 20.3 | 16.9 | 93.99 | 94.93 | 78.91 | 70.73 | 97.43 | 64.03 | 95.02 | 82.91 |
| TriTD (本文, 4 NFE) | 26.8 | 22.2 | 94.25 | 94.66 | 82.03 | 69.25 | 98.26 | 63.46 | 95.82 | 83.59 |
消融实验¶
在 MovieGen 测试集上逐步验证三项核心创新对综合质量分的贡献。
| 配置 | NTD 初始化 | CGN 加噪 | OP-DMD | 综合质量分 | 说明 |
|---|---|---|---|---|---|
| M0 (Baseline) | ✗ | ✗ | ✗ | 81.82 | 端点回归初始化 + 随机采样 + 标准 DMD |
| M1 (+ NTD init) | ✓ | ✗ | ✗ | 82.07 | 替换端点回归为下一节点轨迹蒸馏，提升 +0.25 |
| M2 (+ CGN) | ✓ | ✓ | ✗ | 82.10 | 引入分块渐进加噪，免除 KV 刷新并保持高画质 |
| M3 (+ OP-DMD, Full) | ✓ | ✓ | ✓ | 83.59 | 施加正交子空间正则抑制漂移，跃升 +1.49 |
关键发现¶
- 去冗余加速显著：各自回归基线实际均为 4 步去噪加 1 步 KV 刷新（5 NFE），TriTD 依托 CGN 对噪声上下文的适应力彻底去除第 5 步，无编译即达到 22.2 FPS（超越编译后基线的 20.3 FPS），经
torch.compile进一步飙升至 26.8 FPS，实现 1.32× 的端到端推理提速。 - 正交子空间正则决定质量上限：消融表明 OP-DMD 带来了最显著的质的飞跃（+1.49 分），有效清除了先前因 DMD 无约束漂移所导致的画面色彩过饱和与结构塌陷问题。
- 60 秒长视频泛化极其稳固：在拓展至 60 秒极长自回归推流测试中，Self-Forcing 发生运动静止坍塌（动态度跌至 33.26），Causal-Forcing 发生画质崩解（画质跌至 64.26、质量分跌至 77.01），而 TriTD 依然保持 85.23 动态度与 82.64 的全场最高质量分。
亮点与洞察¶
- 闭式误差分解指路系统设计：文章不仅做工程蒸馏，更推导出将单步误差分解为基础误差、分布失配与历史传播的数学上界，以理论推导证明了 NTD 与 CGN 的必然优势。
- 算法重构战胜工程黑盒：传统加速依赖算子融合与编译器，TriTD 通过重构加噪时序消除了跨模块的伪依赖，使未编译版本跑得比编译优化过的 SOTA 基线还要快。
- 正交分解对高维生成具有普适借鉴价值：DMD 类逆向 KL 方法普遍存在无监督子空间游离的顽疾，OP-DMD 将残差沿梯度主方向与正交空间解耦施加非对称正则的思路，可直接迁移至图像加速、3D 生成等其他蒸馏领域。
局限与展望¶
- 训练数据规模相对受限：当前实验仅使用了 MixKit 的 6,000 条 prompt，明显少于 Self-Forcing 所使用的 16,000 条规模，未来在超大规模数据集上继续扩大训练有望释放更大潜力。
- 主干架构验证较为集中：全篇实验主要锚定在 Wan2.1-1.3B 扩散基座上展开，尚未在更大尺度（如 Wan2.1-14B）或其他非扩散流匹配视频模型上进行充分的跨架构泛化验证。
- 超长视距策略待协同探索：TriTD 着重解决分块蒸馏的稳定与实时效率，对于数十分钟级的视距延伸，仍需与 Deep Forcing 等上下文显存压缩和循环吸收机制相互结合。
相关工作与启发¶
- vs. Self-Forcing (NeurIPS 2025): Self-Forcing 引入自展开训练缓解自回归暴露偏差，但仍采用端点回归与完全随机退避加噪，依赖每块 5-NFE（含 1 步 KV 刷新）；TriTD 从数学上推导并重构为下一节点蒸馏与单调加噪，用 4-NFE 实现了更高 FPS 与更优画质。
- vs. Causal-Forcing (2026): Causal-Forcing 引入因果自回归教师增强动态度，但容易引发严重的色彩过饱和与伪影；TriTD 通过 OP-DMD 约束正交轴漂移，在取得更高动态度（82.03 vs 78.91）的同时保持了极高的时间与色彩一致性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次建立自回归视频扩散误差上界闭式分解，提出三方协同蒸馏机制
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 秒到 60 秒长视频、VBench 全维度、主观盲测与算力耗时剖析
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密、问题定位精准、图表表达清晰直观
- 价值: ⭐⭐⭐⭐⭐ 真正将 832×480 高清自回归视频生成推升至 26.8 FPS 实时交互可用水平