End-to-End Training for Autoregressive Video Diffusion via Self-Resampling¶

会议: ECCV2026
论文: ECCV 原文
作者: Yuwei Guo, Ceyuan Yang, Hao He, Yang Zhao, Meng Wei, Zhenheng Yang, Weilin Huang, Dahua Lin
领域: 视频生成
关键词: 自回归视频扩散、暴露偏差、自重采样、因果注意力、历史路由

一句话总结¶

Resampling Forcing 用模型自身重采样得到带真实模型误差的历史，再以干净视频为目标训练因果扩散预测器，无需额外教师或判别器，并在原生 15 秒训练下改善长视频时间质量。

研究背景与动机¶

自回归视频扩散把生成拆成“沿时间推进”和“在当前帧内去噪”：当前画面只能依赖已经生成的过去。这种结构适合交互式内容与世界模拟，但它的训练输入常常比实际部署干净得多。 Teacher Forcing 给模型真实历史，推理却只能给它自己生成的历史，纹理、颜色和物体状态的细小偏差便可能逐帧扩大。简单给历史加高斯噪声只能模拟一种扰动，未必复现模型去噪误差，更无法完整模拟前一帧错误影响后一帧的过程。

Self Forcing 等方法通过训练时自回归展开，再用分布匹配目标约束生成结果，直接处理训练与推理不一致。但双向教师或在线判别器增加了训练组件；短视频教师提供的监督也不天然覆盖长时间依赖。本文于是追问：能否保留逐帧扩散回归这种直接监督，同时让条件历史带上当前模型实际会犯的错误？关键并非要求有限容量模型不再犯错，而是让预测器学会从有瑕疵的历史恢复到干净目标，而不是不断复制瑕疵。

作者选择只重采样真实视频去噪轨迹的后半段，使历史既保留样本内容，又受到当前模型误差的扰动。这样不必从纯噪声重新生成整段训练视频，也不必请另一个网络定义什么是“好视频”。长历史的成本则交给内容相关的历史路由处理，而不是把记忆硬截成最近几帧。核心 idea：让在线模型自回归地产生“带错但仍可辨认”的训练历史，并用停止梯度的历史条件预测原始干净目标，把误差鲁棒性直接学进因果视频扩散模型。

方法详解¶

整体框架¶

输入是干净训练视频及条件 \(c\)，主干采用 Wan2.1-1.3B 架构并改为因果注意力，输出是当前自回归单元的速度场预测。原文为简洁把一个生成块也称为“帧”；实际每次自回归生成 3 个潜空间帧，不能把所有文中的帧数直接当成像素视频帧数。训练先用在线权重自回归重采样历史，再把重采样视频作为条件，给原始视频独立加噪后并行计算逐帧扩散损失。可选历史路由在注意力内部选择需要读取的历史，不改变“预测目标仍来自原始干净视频”这一原则。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        SOURCE["干净视频 + 条件"] --> RESAMPLE["自回归自重采样"]
        SOURCE -->|独立加噪的当前块| CAUSAL["并行因果学习"]
        RESAMPLE -->|停止梯度的历史| CAUSAL
        CAUSAL -->|可选注意力实现| ROUTE["历史路由"]
        CAUSAL -->|密集注意力| OUTPUT["速度场预测"]
        ROUTE --> OUTPUT
        OUTPUT --> LOSS["逐帧扩散损失"]
        SOURCE -.->|干净目标与采样噪声| LOSS

图中是训练数据流，损失不会反向穿过自重采样分支。推理时没有真实视频供重采样，也不计算训练损失：模型从噪声生成当前块，把完成的块放入历史，再生成下一块。因果掩码与可选历史路由仍然使用，但训练用的历史扰动步骤不会被误当成额外推理模块。

关键设计¶

1. 自回归自重采样：用当前模型制造与推理相近的历史误差

首先把真实块加噪到一个中间时刻 \(t_s\)，再用在线模型完成从该时刻到干净端的去噪。由于从真实数据附近出发，重采样结果通常保留视频的语义与布局；由于剩余轨迹由模型完成，结果又包含该模型自身的生成偏差。作者特别关注后段去噪中的高频细节误差，而不是把所有误差都视为像素独立高斯噪声。各块不是同时独立重采样：后面的块要依赖前面已经重采样的历史，因此也能暴露跨块传播的误差。在线权重意味着误差分布会随模型能力更新，训练不会始终围绕一个固定旧模型的缺陷展开。整个过程停止梯度，避免模型通过改写条件构造过程走捷径；它产出的历史只作为随后学习阶段的输入。

重采样强度决定一个实际矛盾：太弱时条件近乎完美，仍像 Teacher Forcing；太强时样本内容漂移，历史与干净目标不再充分对应。作者从 LogitNormal(0, 1) 采样初始时刻，再做偏移，实验使用 \(s=0.6\)。下面把 Algorithm 1 中的偏移操作改写为区分偏移前后的记号，避免直接照抄抽取损坏的式 (7)：

\[ u\sim\operatorname{LogitNormal}(0,1),\qquad t_s=\frac{s u}{1+(s-1)u}. \]

\(s<1\) 更偏向低噪声区域；较强模型通常可使用较弱扰动，因为它自身带来的误差已经较小。原文定性比较 \(s=0.1,0.6,3.0\)：极弱扰动容易累积错误，极强扰动增加内容漂移，中间强度更合适。这不是把模型生成历史当作正确答案，而是故意让输入不完美，同时保留另一条干净监督路径。

2. 并行因果学习：让退化历史与干净目标分工明确

完成历史重采样后，对原始视频各块分别采样训练噪声时刻，得到当前预测分支的含噪输入。这些含噪块与重采样历史是两套不同序列：前者承载需要回归的训练任务，后者提供时间条件。稀疏因果掩码允许当前块内部的信息交互，但时间条件只来自已经完成的历史块，不能访问未来历史或自己的干净答案。因此所有块的监督预测可以在同一次并行前向中完成，不需要把梯度计算也串成完整自回归展开。这里的“干净历史”是去噪端的历史表示，不意味着它等于真实数据；重采样历史正是带有模型误差的去噪结果。条件受损但监督不受损，使模型学习容忍历史扰动，而不是把历史错误固化为新的目标。

这种分工解释了为什么该方法仍是直接的扩散回归，而不是视频级蒸馏或对抗训练。自重采样负责暴露模型会遇到的输入分布，因果预测负责把这种输入重新映射到原始数据对应的下一状态。 “端到端”在这里指无需辅助教师或判别器的目标模型训练方案，不代表梯度贯穿历史生成的每一步。训练开始时还要先做 Teacher Forcing 预热，否则模型没有基本生成能力，重采样产生的历史可能只提供无意义扰动。论文强调框架支持从头训练；实验描述使用 Wan2.1-1.3B 架构，但不应据此额外推断所有组件、权重和数据均从零构建。

3. 历史路由：按查询选择远近历史，而不是固定截断记忆

长视频的历史 KV 持续增长，密集因果注意力需要读取越来越多的历史 token。路由先对每个历史块的 key 做均值池化得到描述符，再用当前 query 与描述符的点积挑选 top-\(k\) 历史块。随后真正的细粒度注意力只读取选中历史块的 key/value，而不是只读取池化后的描述符。这个路由没有新增可学习参数，而且选择发生在每个注意力头、每个查询 token 上，并非整帧共用一组固定历史。不同空间位置与注意力头可以读取不同过去，因此单个查询只选少量历史时，整个模型仍可形成更广的联合感受野。原文的频率分析发现，初始帧与最近帧更常被选中，中间历史也会随着更大的 \(k\) 被纳入。

实现上，当前块内部注意力和稀疏历史注意力分别计算，再通过全局 log-sum-exp 对齐合并。这样等价于在两路 key 的并集上做一次 softmax，而不是把两个独立归一化的输出简单平均。若共有 \(L\) 个历史块，选 \(k\) 个的历史注意力稀疏度是 \(1-k/L\)；选 20 个历史中的 5 个对应 75%。论文所说从 \(O(L)\) 降到 \(O(k)\)，针对选中历史的细粒度注意力读取，不能直接解释为完整系统时间与 KV 存储都变成常数。描述符打分仍要处理候选历史，原文也没有给出完整长时长吞吐或显存曲线来证明无限长度的固定成本。因此路由解决的是“读取哪些历史”，并不自动等于“历史可以不存”。

一个完整示例¶

考虑训练视频包含连续倒牛奶的过程，下面只用连续 3 个生成块说明计算顺序，不把它当成额外实验。首先从真实的第一个块出发加少量噪声，再去噪得到略有纹理偏差的重采样版本。第二个块的重采样依赖这个版本，第三个块再依赖前面两个版本，因而历史内包含模型误差沿时间传播后的状态。下一阶段重新给原始 3 个块加噪，同时预测它们各自的速度场；预测第三块时读取前两块重采样历史，而不是未来信息。目标仍由真实第三块与其采样噪声定义，所以模型不必把历史中的瑕疵原样延续到下一块。真实推理中则从噪声逐块生成并缓存历史，不再使用真实视频或人为构造的重采样起点。若历史已增长到 20 个块且 \(k=5\)，不同查询可以选到开始时的容器外观及最近的液面状态，而非仅限最近 5 个块。这种记忆选择有助于保持一致性，但单靠它并不能保证液体守恒或其他物理定律。

损失函数 / 训练策略¶

Algorithm 1 的训练目标是 Flow Matching 速度场均方误差；为避免损坏公式的歧义，下面直接据其完整伪代码表述。其中 \(x^i\) 是原始干净块，\(\tilde{x}^{<i}\) 是停止梯度的重采样历史，\(\epsilon^i\) 是训练噪声，\(t_i\) 是逐块采样时刻。

\[ x^i_{t_i}=(1-t_i)x^i+t_i\epsilon^i,\qquad \mathcal{L}=\mathbb{E}\left[\left\|v_\theta(x^i_{t_i},\tilde{x}^{<i},t_i,c)-(\epsilon^i-x^i)\right\|_2^2\right]. \]

损失中被扰动的是条件历史，回归目标 \(\epsilon^i-x^i\) 不使用重采样块替代真实块。训练先在 5 秒视频上做 10K 步 Teacher Forcing，再分别在 5 秒和 15 秒视频上做 15K、5K 步 Resampling Forcing。 15 秒训练视频包含 249 个像素帧；随后启用历史路由，在 15 秒视频上再微调 1.5K 步。优化器为 AdamW，学习率 \(5\times10^{-5}\)，batch size 为 64，历史路由使用 \(k=5\)。训练历史重采样仅用 1 步 Euler，目的是以较低代价获得模型特有的条件误差，不是追求完整高质量视频采样。正式推理使用 32 步 Euler，推理时刻偏移因子为 5.0，classifier-free guidance scale 为 5.0，所有帧设置一致。训练重采样的 \(s=0.6\) 与推理偏移 5.0 属于不同过程，不能混用，也不能把 1 步重采样写成 1 步视频生成。

实验关键数据¶

主实验¶

原文表 1（第 12 页）对生成的 15 秒视频分别评估 0–5、5–10、10–15 秒三个区间。下表摘录同为 1.3B 参数的主要比较，保留开头和末段；Temp. 为时间质量，Visual 为视觉质量，Text 为文本匹配，均按原表数值报告、越高越好。原文引用 VBench，但未在此表给出三个汇总列的完整指标组合与权重，因此不能把它们误称为 VBench 总分或物理正确率。

方法	教师	0–5 s Temp.	0–5 s Visual	0–5 s Text	10–15 s Temp.	10–15 s Visual	10–15 s Text
CausVid	Wan-14B (5 s)	89.35	65.80	23.95	87.14	64.90	22.81
Self Forcing	Wan-14B (5 s)	90.03	67.12	25.02	84.26	63.04	24.29
LongLive	Wan-14B (5 s)	81.84	66.56	24.41	84.57	67.17	24.44
本文，75% 稀疏	无	90.18	63.95	24.12	87.03	61.01	23.35
本文，密集	无	91.20	64.72	25.79	89.74	63.99	24.39

本文密集模型末段时间质量比 Self Forcing 高 5.48 分，但末段视觉质量低于 LongLive 的 67.17，不能概括成所有维度全面领先。本文密集模型时间质量从 91.20 变为 89.74，说明长时段仍有下降，只是比部分对照的下降更小。不同方法的训练长度与教师条件并不一致，这个表比较完整系统，而不是仅控制训练损失的单变量实验。

消融实验¶

原文表 2（第 13 页）在完整 0–15 秒区间比较误差模拟策略；其评价区间不同于上表的分段列，不能逐格混比。

历史误差模拟策略	Temp.	Visual	Text
高斯噪声增强	87.15	61.90	21.44
并行重采样	88.01	62.51	24.51
自回归重采样	90.46	64.25	25.26

自回归重采样相对并行重采样提高 2.45 分时间质量、1.74 分视觉质量，支持跨帧传播误差也需要在训练中被模拟。相对高斯噪声增强，其文本匹配由 21.44 提升到 25.26，说明扰动分布的选择还影响内容保持，而不只是局部画质。表中未报告重复运行方差或置信区间，差值是点估计，不是统计显著性结论。

关键发现¶

表 1 的 75% 稀疏版本在末段视觉质量上从密集版本的 63.99 降至 61.01，代价为 2.98 分；作者称损失较小，但实际存在质量与稀疏度交换。
图 7（第 13 页）支持适中重采样强度，属于定性展示，不提供各个 \(s\) 的完整分数曲线。
图 8–9（第 14 页）展示动态路由优于相同稀疏度的局部窗口，以及初始帧和近期帧受到偏好；不是分钟级稳定性的量化证明。

亮点与洞察¶

条件质量与目标质量分离。 训练不必同时保持输入完美与输出正确；对输入有针对性地造错，反而能让逐帧监督更贴近部署情形。
误差模拟包含时间依赖。 并行重采样已经比高斯噪声更接近模型误差，但自回归版本进一步模拟“错误如何传下去”，这是消融最有解释力的部分。
内容寻址的历史读取。 路由不规定“只记开头加最近”，而让这种模式从查询与历史内容的匹配中出现，适合研究更自适应的视频记忆。

局限与展望¶

因果注意力不等于物理因果正确。 倒牛奶例子支持更合理的时间变化，但不足以证明教师蒸馏必然造成物理错误，或本文保证守恒律。
长时长证据有限。 核心量化结果集中在 15 秒；原生长视频训练有效，但不能直接推导无限长度无漂移。
效率缺少系统级核算。 重采样增加训练前向，路由也有选择成本；所读正文未提供完整训练算力、吞吐和显存对照。
复现信息仍有空缺。 正文给出主要优化参数，但没有在所读实验部分明确训练数据规模、完整评估聚合细节及所有初始化来源。
可检验的后续方向。 在同一主干、数据与时长预算下比较直接训练和蒸馏，再报告更长视频的漂移曲线、路由检索成本及物理状态误差。

评分¶

新颖性: 4/5。自回归条件误差模拟与直接扩散监督的组合清晰，历史路由主要继承已有稀疏注意力思想。
实验充分度: 3/5。提供多基线、误差模拟消融与路由分析，但缺少更长时域、系统成本和统计稳定性结果。
写作质量: 4/5。方法流程与伪代码清楚，因果性及“损失很小”等表述需要结合实际证据克制理解。
价值: 4/5。为减少教师依赖的视频自回归训练提供可复用方案，不代表已经解决通用世界模型的物理一致性。