HiAR: Efficient Autoregressive Long Video Generation via Hierarchical Denoising¶

会议: ECCV2026
论文: ECCV 原文
项目: HiAR
领域: 视频生成
关键词: 自回归扩散、层次去噪、噪声上下文、分布匹配蒸馏、运动多样性

一句话总结¶

HiAR 让视频块依赖前序块在当前去噪步的输出，而非完全干净的预测，并用双向注意力下的教师轨迹正则防止运动坍缩，在 20 秒视频上取得 VBench 总分 0.821、Drift 0.257 和报告的 30 fps 吞吐量。

研究背景与动机¶

自回归视频扩散把长视频拆成多个块，每次参考已经生成的历史继续向后延伸，因此不必一次对整段视频做双向注意力。Self-Forcing 进一步在训练时使用学生自己生成的上下文，缓解真实历史与生成历史之间的暴露偏差。然而，训练和推理都使用自生成历史，并不意味着历史里的误差消失了：若前一块已经出现过饱和、过锐化或语义偏移，下一块会把这些错误当作可靠条件继续继承。

问题集中在“先彻底完成前一块，再开始下一块”的顺序。当前块还处于高噪声状态时，它看到的历史已经是完全去噪的确定结果。HiAR 借鉴固定窗口双向扩散的现象：多个画面即使尚未干净，也可以共同形成连贯运动。作者因此研究，历史究竟需要比当前块清楚多少，才足以维持因果延续，而又不把预测错误以最高置信度传递下去。

改变生成顺序后，模型还必须重新学习噪声历史下的延续；更长的自展开训练又容易暴露反向 KL 蒸馏偏爱低运动输出的问题。核心 idea：让历史只清楚到当前去噪步的输出噪声级，以层次去噪减轻误差传播，再用双向教师轨迹正则约束运动多样性，而不是靠近乎静止的视频换取低漂移。

方法详解¶

整体框架¶

输入是文本条件和各视频块的初始噪声，输出是可逐块延伸的视频。匹配噪声上下文确定历史应处于哪个噪声级，层次去噪落实相应的因果执行顺序；训练时加入双向轨迹正则，部署时利用流水线并行执行同一依赖图。

这里“匹配”指历史噪声级等于当前步骤的输出噪声级，不是输入噪声级。下图按设计构建、训练和部署组织，正则分支只在训练使用，不会成为在线生成时的额外教师调用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["文本条件与块噪声"] --> B["匹配噪声上下文"]
        B --> C["层次去噪"]
        C -->|训练| D["双向轨迹正则"]
        T["教师去噪轨迹"] --> D
        D -->|训练后部署| E["流水线并行"]
        E --> F["逐块输出长视频"]

关键设计¶

1. 匹配噪声上下文

设前一块的预测等于真实干净潜变量加上累积误差。把它呈现为带噪上下文时，有效信号和预测误差都乘以相同的信号系数，另外加入随机噪声。因此，增加噪声并不会选择性消除错误，而是同时降低错误和有用信息的影响。完全干净的历史保留全部误差；过于嘈杂的历史则可能无法约束下一块的运动。这是噪声级选择的实际依据，而不是笼统地宣称“加噪提高鲁棒性”。

论文假设，历史的信噪比至少要达到当前块完成这一步后的信噪比，才能提供充分的延续信息。在这一约束下，选择允许的最大噪声级可减轻误差项，得到如下边界选择；\(t_j\) 是当前步输入级，\(t_{j+1}\) 是输出级，\(t_c\) 是历史级。这个结论依赖作者的信噪比充分性假设，不是对所有视频分布的普适最优性证明。

\[ \operatorname{SNR}(t_c)\geq\operatorname{SNR}(t_{j+1}) \quad\Longrightarrow\quad t_c\leq t_{j+1}, \qquad t_c^*=t_{j+1}. \]

2. 层次去噪

传统执行方式是先让块 1 走完所有去噪步，再让块 2 走完所有步。HiAR 交换两层循环：在第一个去噪步内按时间顺序处理各块，再进入下一去噪步。处理块 \(n\) 时，较早的块已经完成当前步，因此可直接提供噪声级为 \(t_{j+1}\) 的状态；它们不需要先走到完全干净。关键是复用对应层级的真实中间状态，而非把已生成的干净历史随意重新加噪。

算法 1 的更新可整理为下式，\(x\) 表示视频潜变量，\(v_\theta\) 是速度预测网络，\(\sigma_t\) 是噪声调度系数。条件中的 \(x_{t_{j+1}}^{(<n)}\) 保留了“前序块已完成本步”的依赖，这也说明所有块不能在同一层完全独立生成。KV cache 保存相应历史表征，推理时再用固定时长的滑动窗口限制历史规模。

\[ x_{t_{j+1}}^{(n)}=x_{t_j}^{(n)}+ v_\theta\!\left(x_{t_j}^{(n)},t_j\mid x_{t_{j+1}}^{(<n)}\right) \left(\sigma_{t_{j+1}}-\sigma_{t_j}\right). \]

3. 双向轨迹正则

层次去噪需要重新训练，否则旧模型不熟悉这些多噪声级历史，会在减轻漂移的同时破坏连续性。训练仍沿用因果自展开和分布匹配蒸馏（DMD），但仅靠其反向 KL 方向目标，学生可能偏向容易去噪、容易延续的低运动模式。作者将这种现象称为低运动捷径；它是训练中观察到的模式覆盖不足，并不意味着反向 KL 的全局最优解必然是静态视频。

为此，另用教师的密集 ODE 轨迹提供样本，在与学生步数对齐的相邻检查点之间监督单步预测，使学生覆盖教师展示的运动。论文将其解释为前向 KL 方向的正则，具体实现是轨迹蒸馏，不宜理解为直接计算完整分布的精确 KL。正则只在双向注意力模式下、仅对第一个去噪步施加，因果自展开的 DMD 路径保持不变；共享模型参数让运动约束影响部署时的因果生成。两种模式的运动分数在未加正则的训练检查点上具有 Pearson \(r=0.968\)，为这种代理约束提供经验支持，而非证明梯度完全不干扰。

4. 流水线并行

逐层扫描并不要求等整段视频全部完成一层，才能启动下一层。把块序号和去噪步序号排成网格，每个位置只依赖本块上一去噪步，以及前序块在当前步的状态。同一反对角线上的位置因而可以并行。实现为每个去噪步分配专用进程，以异步点对点通信传递潜变量，沿 \(N+S-1\) 条反对角线推进，\(N\) 为块数、\(S\) 为去噪步数。

作者进一步把“写入前一块的上下文 KV”和“去噪下一块”合并为一次前向调用：在帧维拼接两段潜变量，分别标注 \(t_{j+1}\) 和 \(t_j\) 的时间步，因果注意力让后一段读取刚写入的历史。这样减少重复调用，配合流水线在 4 步设置下获得约 1.8 倍墙钟加速。原文将每阶段调用数写为 \(N+2\)，但其列出的首块一次、\(N-1\) 次融合和末尾一次相加为 \(N+1\)；这处计数不一致需核对实现，不能据此声称精确算力节省。

一个完整示例¶

以连续海浪的文本条件、3 个视频块和 4 个去噪步作示意，数字用于解释调度，并非新增实验。

第一层先处理块 1；它从 \(t_1\) 更新到 \(t_2\)，此时仍有噪声，但已包含粗略场景结构。
块 2 从 \(t_1\) 更新到 \(t_2\) 时，读取块 1 在 \(t_2\) 的状态；块 3 同样读取已经完成本步的前序块。
下一层把各块从 \(t_2\) 推进到 \(t_3\)，历史也随本层推进逐步变清楚。这个过程重复到最后一层，而不是先把块 1 的海浪纹理完全固定。
流水线允许“块 1 的下一层”和“块 2 的当前层”重叠执行；双向轨迹正则已经在训练阶段约束运动，不参与这次推理。

这样既保留了相邻块之间的前后依赖，又不要求所有后续块在高噪声阶段服从某个已经完全定型、可能含错的历史画面。

损失函数 / 训练策略¶

总目标保留 DMD 蒸馏，同时加入轨迹正则；默认只约束 \(S=4\) 个去噪步中的前 \(K=1\) 步。

\[ \mathcal{L}=\mathcal{L}_{\mathrm{DMD}}+ \lambda\mathcal{L}_{\mathrm{FKL}},\qquad \lambda=0.1. \]

学生基座是 Wan2.1-1.3B，先用基座采样的 16k 个 ODE 解对进行因果注意力微调。DMD critic 所用教师是 Wan2.1-14B；前向正则的轨迹则来自 Wan2.1-1.3B，共 20k 条、每条 50 个 ODE 步，二者不能混为同一个教师来源。

每块含 3 个潜变量帧，critic 与生成器更新比例为 5:1。训练使用 5 秒片段、学习率 \(2\times10^{-6}\)、总 batch size 64，共 20k 步；推理的滑动 KV 注意力窗口固定为 5 秒。有限历史窗口支持持续输出，但不等价于保留整段长视频的全部记忆。

实验关键数据¶

主实验¶

以下摘录原文表 1 的蒸馏自回归模型，生成时长为 20 秒；VBench 分数采用 0–1 标度，吞吐量单位为 fps，延迟为每块秒数。各模型共享 Wan2.1-1.3B 基座及 4 步调度，但论文未在这些实验设置中明确给出足以复核并行资源公平性的硬件配置。

方法	吞吐量	延迟	Total	Quality	Semantic	Dynamic	Drift ↓
CausVid	17	0.69	0.764	0.771	0.740	0.621	0.842
Self-Forcing	17	0.69	0.805	0.829	0.708	0.542	0.355
Causal Forcing	17	0.69	0.810	0.837	0.701	0.672	0.615
HiAR	30	0.30	0.821	0.846	0.723	0.686	0.257

Drift 的构造是将每段 20 秒视频均分为 5 个时间段，分别计算 MUSIQ、CLIP-IQA、相邻帧 DINOv2 余弦相似度、相邻帧 LPIPS 距离、HSV 饱和度均值及拉普拉斯方差。对每项统计量随时间拟合直线，以斜率衡量变化，再归一化并加权求和，越低表示漂移越小。原文未给出具体权重和完整归一化细节，因此这里不补造可复现的精确公式。

原文总体表还包含双向模型，但评测设置明确注明其生成时长为 5 秒。不能把它们与 20 秒自回归结果当作严格等长对照；上表因此只呈现更直接可比的蒸馏自回归组。

消融实验¶

原文表 2 检验上下文噪声选择，除另有注明外均按对应推理调度重新训练。Smooth 是 VBench 运动平滑度，不是运动幅度或多样性。

上下文设置	Quality ↑	Semantic ↑	Smooth ↑	Drift ↓
\(t_c=t_j\)，输入噪声级	0.799	0.692	0.978	0.184
\(t_c=t_{j+1}\)，输出噪声级	0.846	0.723	0.988	0.257
\(t_c=0\)，Self-Forcing	0.829	0.708	0.991	0.355

原文表 3 检验正则与训练路径；下面保留能解释核心取舍的配置。

配置	Quality ↑	Semantic ↑	Dynamic ↑	Drift ↓
双向注意力 + 1 步，默认	0.846	0.723	0.686	0.257
因果注意力 + 1 步	0.828	0.701	0.625	0.271
双向注意力 + 2 步	0.835	0.708	0.693	0.296
双向注意力 + 4 步	0.813	0.684	0.691	0.306
不加前向正则	0.839	0.732	0.445	0.218
不重新训练	0.767	0.559	0.512	0.309

关键发现¶

相对 Self-Forcing，Drift 从 0.355 降到 0.257，原文报告相对降低 27.6%；总分从 0.805 增至 0.821，而不是所有单项都最优。
输入噪声级产生更低的 Drift 0.184，却损失质量和平滑度。低漂移不能单独证明视频连贯、运动丰富。
去掉正则后 Dynamic 从 0.686 降为 0.445，Drift 反而降至 0.218，直接展示了“少动所以稳定”的评测陷阱。
增加正则覆盖步数对 Dynamic 略有帮助，却降低 Quality 并提高 Drift；最早一步的约束已提供主要收益。

亮点与洞察¶

历史上下文的可靠程度也是生成调度的设计变量。关键不是尽快做干净，而是在每一步只提供足够的因果信息，减少错误被过早固定。
同一依赖图同时解释质量和速度收益。改变时间块与去噪步的嵌套顺序，既产生合适的历史状态，也暴露可并行的反对角线。
正则放在双向模式而部署使用因果模式，展示了共享参数下跨执行模式约束的价值。可迁移之处是选择更适合教师监督的训练路径，但需要重新检验两种模式的相关性。

局限与展望¶

主证据覆盖 20 秒生成，注意力窗口为 5 秒；理论上可持续延伸，不等于已验证分钟级身份保持、剧情记忆或长期物理一致性。
匹配噪声的推导把信噪比视为延续信息是否充分的代理。复杂遮挡、快速运动和长距离依赖是否服从这一条件，仍需更针对性的检验。
Drift 的权重和归一化细节不足，且较静态的输出可能得低分。应联合报告运动、语义和更长时域质量，避免只优化单一漂移指标。
流水线的专用进程、通信开销与硬件资源需要复核；约 1.8 倍是该实现报告的墙钟收益，不是已证明的单卡或等总算力加速。调用数公式也存在上述计数不一致。
缓存中的部分公式排版有损坏，笔记仅整理了能由相邻文字和算法确认的关系，没有补造轨迹正则的范数形式。复现应进一步核对原始排版和代码。

评分¶

新颖性: 4/5。输出噪声级匹配、调度重排和跨注意力模式正则形成明确组合，但带噪历史已有先例。
实验充分度: 3/5。核心设计消融完整，长期评测、Drift 定义及硬件可比性仍有缺口。
写作质量: 4/5。问题与机制关系清晰，但调用计数和评测时长的表述需要更严谨。
价值: 4/5。对少步自回归视频生成的质量稳定、运动保持及流水线实现都有参考意义。