RAVEN: Real-time Autoregressive Video Extrapolation with Consistency-model GRPO¶

会议: NeurIPS 2026
arXiv: 2605.15190
论文: https://arxiv.org/abs/2605.15190
代码: https://yanzuo.lu/raven
领域: 视频生成
关键词: 自回归视频生成, 视频扩散模型, 渐进一致性模型, GRPO, 训练期推断对齐

一句话总结¶

针对因果自回归视频扩散蒸馏中训练与推断历史分布失配及历史表征缺乏端到端监督的问题，RAVEN 通过重排自展开序列实现端到端跨块监督，并提出直接作用于一致性高斯转移核的 CM-GRPO 在线强化学习算法，在 1.3B 规模上实现高质量实时自回归流式视频生成。

研究背景与动机¶

双向视频扩散模型凭借全序列全局上下文建模和密集去噪步数，在近年确立了高保真视频生成的主流地位。然而，双向上下文依赖和数十步的采样开销使其无法满足实时流式生成的需求，促使社区转向因果自回归架构——基于前面已生成的视频块实时向后外推新块。当前最强大的生成先验仍然存在于高质量的双向教师模型中，研究者普遍采用非对称蒸馏策略将双向教师的知识迁移至单向因果学生模型，从而构建出兼顾少步采样与实时流式输出的视频生成器。

然而，因果自回归视频扩散蒸馏面临着核心瓶颈：模型如何在训练中表征并复用历史视频块。在真实推断场景中，每一个生成块都会进入 KV 缓存并构成后续所有预测的上下文；但现有的训练范式在历史来源与端到端可导性上均存在割裂。传统的 Teacher Forcing 依赖真实干净历史块，无法让模型感知自身的自回归推断误差；Diffusion Forcing（如 CausVid）给历史前缀加入独立采样的随机噪声，使因果上下文严重偏离推断时的实际分布并导致误差级联积累；而 Self Forcing 虽让生成器自展开生成历史，却以 stop-gradient 方式将历史缓存视作静态脱机上下文，后续视频块的生成损失无法反向传播以优化早期的历史表征构建。

本研究的切入点在于消解这一历史表征监督缺失的鸿沟：自回归蒸馏应当在训练阶段就让生成器直接面对自身生成的真实上下文，同时允许未来块的去噪监督信号直接回传塑形历史表示，且无需承担对完整自回归多步采样轨迹展开反传的灾难性计算开销。核心 idea：将伪评分步骤中已生成的学生自展开轨迹重排为“干净历史终点”与“加噪去噪状态”交替穿插的序列，在因果注意力下使后续块的去噪损失能够端到端反向传播至历史缓存表征；并直接基于一致性采样诱导的高斯转移核构建 CM-GRPO 在线强化学习，彻底摆脱传统流模型强化学习引入的 Euler-Maruyama 辅助随机过程。

方法详解¶

整体框架¶

RAVEN 整体围绕双向教师到因果学生的非对称蒸馏管线构建，采用交替迭代的训练范式：在伪评分步骤中，冻结因果学生生成器，令其通过少步一致性采样器自回归生成完整的视频块轨迹与干净终点，并对终点加噪更新双向伪评分判别器；在生成器步骤中，复用该自展开轨迹，将其重排为交替序列送入因果学生网络，利用双向真评分教师与判别器计算逆向 KL 散度评分梯度，并通过分块损失加权反向传播。随后，在收敛的蒸馏生成器基础上，CM-GRPO 引入多奖励组合与一致性转移核策略优化，进一步对齐动态与画质偏好。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文本提示词 + 因果KV缓存"] --> B["自展开阶段<br/>因果生成器产生多块去噪轨迹与终点"]
    B --> C["交替序列重排与因果注意力<br/>干净历史端点与加噪去噪状态交错输入"]
    C --> D["按块损失加权与逆向KL蒸馏<br/>基于未来参与度得分的非均匀梯度分配"]
    D --> E["一致性转移核强化学习 CM-GRPO<br/>基于条件高斯策略核与组内相对优势更新"]
    E --> F["实时流式自回归视频外推输出"]

关键设计¶

1. 交替序列重排与因果注意力：打通推断级历史构建的端到端梯度

以往方法要么因使用真实/加噪数据而引发分布偏移，要么像 Self Forcing 那样切断历史梯度的传递。RAVEN 的核心观察是：伪评分判别器训练阶段已经要求因果学生执行自回归展开，这一现成的展开轨迹正是最贴近推断分布的上下文。对于采样时间步序列 $\tau_1 > \cdots > \tau_K = 0$，生成器对各块生成了去噪状态 $\{\hat{z}_t^{(\tau_k)}\}_{k=1}^K$ 及干净终点 $\hat{x}_t = \hat{z}_t^{(0)}$。RAVEN 抽取某一中间去噪级别 $u \in \{\tau_1, \dots, \tau_{K-1}\}$ 的加噪状态 $\hat{z}_t^{(u)}$ 与干净终点 $\hat{x}_t$，构造交替序列： $$\mathcal{I}_u = \bigl(\hat{z}_1^{(u)}, \hat{x}_1, \hat{z}_2^{(u)}, \hat{x}_2, \ldots, \hat{z}_{T-1}^{(u)}, \hat{x}_{T-1}, \hat{z}_T^{(u)}\bigr)$$ 在该序列中，干净终点充当后续块的历史上下文 $h_t^{\mathrm{RAVEN}} = \mathcal{H}(\hat{x}_{<t})$，而加噪状态作为监督去噪目标。模型在一个单向因果注意力掩码下完成单次前向传递，后续块的损失梯度能够无阻碍地流经早期干净终点所生成的缓存表征，使模型学会生成“更利于未来长程外推”的历史特征，同时彻底避免了跨时间步展开反传的庞大内存开销。

2. 按块损失加权：按未来参与度平衡前后时序位置的不对称性

在交替自回归序列中，靠前的视频块面临上下文匮乏且需要为较长未来充当基石，而靠后的视频块则享有充沛历史信息但极易受累积误差干扰。为避免静态平均损失导致的前后梯度失衡，RAVEN 引入了未来参与度得分。对包含 $J$ 块的序列，定义第 $j$ 块的未来参与度得分为其自身与后续所有块的标量元素总和占全序列的比例： $$p_j = \frac{\sum_{k=j}^J m_k}{\sum_{k=1}^J m_k}$$ 该得分从第 1 块单调递减至最后一块。将得分向量输入加权映射函数 $g_\eta$，生成非负权重 $\tilde{w}_{1:J} = g_\eta(\mathcal{P})$。论文采用时间步平移变换参数化 $\pi_\alpha(p) = \alpha p / [1 + (\alpha - 1) p]$，并在反转坐标 $p_J / p_j$ 上应用 $\alpha = -1$ 的配置，在保留元素平均权重归一化的同时，将监督重心向更容易发生漂移的后段块动态倾斜，显著抑制自回归长程外推中的质量衰退。

3. 一致性转移核强化学习 CM-GRPO：消除扩散推断与策略优化的接口分歧

现有的流模型强化学习方法（如 Flow-GRPO）需要借助反向 SDE 和 Euler-Maruyama 离散化注入随机扰动以推导策略梯度，但这与推断阶段确定性/一致性采样规则不一致，引入了额外的训练-推断漂移。RAVEN 发现，一致性少步采样从噪声级别 $u$ 到更低级别 $s$ 时，根据模型预测的干净端点 $\hat{x}_\theta = f_\theta(\tilde{z}^{(u)}, u, c)$ 采样下一状态 $\tilde{z}^{(s)} = \alpha_s \hat{x}_\theta + \sigma_s \epsilon$，本身就天然诱导了一个条件各向同性高斯转移核： $$\pi_\theta\bigl(\tilde{z}^{(s)} \mid \tilde{z}^{(u)}, c\bigr) = \mathcal{N}\bigl(\tilde{z}^{(s)}; \alpha_s \hat{x}_\theta, \sigma_s^2 I\bigr)$$ CM-GRPO 直接将该固有采样核作为 RL 策略接口。在采样一组 $G$ 条轨迹并计算组内相对优势 $\hat{A}_i$ 后，通过停止梯度的均方回归目标实现优势加权更新： $$\mathcal{L}_{\mathrm{CM\text{-}GRPO}} = \mathbb{E}_{i,u,s}\left[\left\|\hat{x}_\theta - \operatorname{sg}\!\left(\hat{x}_\theta + \frac{\hat{A}_i \alpha_s}{2\sigma_s^2} \bigl(\tilde{z}_i^{(s)} - \alpha_s \hat{x}_\theta\bigr)\right)\right\|^2\right]$$ 该损失关于 $\hat{x}_\theta$ 的梯度精确恢复了策略梯度，完全摒弃了辅助扩散过程，使得策略探索分布与推断生成过程完全同构。

损失函数 / 训练策略¶

在 RAVEN 蒸馏阶段，学生网络基于交替序列 $\mathcal{I}_u$ 计算预测，通过扰动后由双向教师 $f_\psi$ 和伪评分判别器 $f_\phi$ 联合计算每元素 DMD 损失： $$\ell = \left\|\hat{x}_\theta - \operatorname{sg}\!\left(\hat{x}_\theta + \frac{\hat{x}_\psi - \hat{x}_\phi}{\|\hat{x}_\theta - \hat{x}_\psi\|_1}\right)\right\|^2$$ 结合块权重 $w_t \propto g_\eta(p_t)$ 构成块加权蒸馏总损失 $\mathcal{L}_{\mathrm{DMD}} = \frac{\sum_t w_t \ell_t}{\sum_t w_t m_t}$，采用双时间尺度更新率（判别器与生成器更新频率比设为 2）。在后续 CM-GRPO 阶段，冻结基础权重，仅对所有线性层注入 rank=256 的 LoRA 进行参数高效微调，复合奖励结合了 RAFT 动态幅度、AMT 运动平滑度、LAION 美学评分、MUSIQ 成像质量与 VideoReward 文本对齐度，通过组内各维度 Z-score 归一化后加权合成。

实验关键数据¶

主实验¶

基于开源基座 Wan2.1-T2V-1.3B（每块 3 个潜在帧）在 VBench 官方套件（6,220 条视频）及 UnifiedReward-32B 动态度评估下的主要对比结果如下：

方法	综合总分 (Total Score)	画面质量 (Qual. Score)	语义对齐 (Sem. Score)	动态程度 (Dyn. Deg.)
CausVid (CVPR 2025)	83.01	84.18	78.34	2.340
LongLive (ICLR 2026)	83.05	83.70	80.46	2.277
Rolling Forcing (ICLR 2026)	83.25	84.00	80.25	2.536
Self Forcing (NeurIPS 2025)	84.27	85.10	80.97	2.543
Reward Forcing (CVPR 2026)	84.39	85.27	80.87	2.508
Causal Forcing (ICML 2026)	84.96	86.00	80.76	2.669
Causal Forcing + CM-GRPO	85.08	86.12	80.96	2.829
RAVEN (本文)	85.15	86.18	81.04	2.951
RAVEN + CM-GRPO (本文)	85.46	86.54	81.17	2.962

消融实验¶

训练期测试（历史构造与监督机制）消融（均采用相同初始化与块加权）：

配置 / 历史构造方式	综合总分	画面质量	语义对齐	动态程度	说明
Teacher Forcing (TF)	82.64	83.11	80.73	3.000	真实历史输入；缺乏自展开误差感知，画面崩塌
Diffusion Forcing (DF)	84.09	84.75	81.45	2.743	独立加噪真实前缀；历史分布与推断严重失配
Self Forcing (SF)	84.06	84.68	81.56	2.347	自展开历史但截断梯度 (`stop-gradient`)，动态极低
DF w/ Self Rollout	83.30	83.96	80.65	2.979	仅对齐历史分布但不监督历史，误差重新分配
RAVEN (交替序列重排)	85.15	86.18	81.04	2.951	端到端传递监督信号，各维度全面最优

一致性策略核 vs Euler-Maruyama 离散化消融（在相同 RAVEN 检查点与奖励下）：

策略接口形式	综合总分	画面质量	语义对齐	动态程度	说明
RAVEN 基础模型	85.15	86.18	81.04	2.951	未经在线强化学习微调
+ EM ($\sigma=0.1, \beta=0$)	85.06	86.10	80.92	2.949	辅助随机扩散过程导致优化目标失配
+ EM ($\sigma=0.4, \beta=0$)	85.15	86.20	80.95	2.949	性能基本停滞
+ EM ($\sigma=0.8, \beta=0$)	85.22	86.31	80.84	2.951	大扰动略微提升画质但损失语义
+ EM ($\sigma=0.8, \beta=0.004$)	85.27	86.26	81.29	2.950	加入参考策略 KL 正则化
+ CM-GRPO (本文原生核)	85.46	86.54	81.17	2.962	策略核与采样接口完全一致，无需调节 $\sigma$ 与 $\beta$

关键发现¶

历史表征端到端可导的决定性作用：对比 Self Forcing 与 RAVEN 可以发现，虽然两者都基于自展开历史，但 Self Forcing 截断梯度的做法使模型动态程度大幅落后（2.347 vs 2.951），生成的视频趋于静态僵死；而 RAVEN 让后续块的 DMD 损失反传穿透历史端点，成功在保持高保真度（86.18）的同时释放了强劲运动自由度。
一致性策略核消除了超参数敏感性：将 Flow-GRPO 的 Euler-Maruyama 离散化迁移到少步一致性模型时，对扩散噪声 $\sigma$ 和参考策略正则系数 $\beta$ 极为敏感且收益微弱；而 CM-GRPO 原生贴合确定性/少步转移核，直接以闭式高斯条件更新打破了画质-动态度的权衡壁垒。
损失加权倾斜有效抑制长程漂移：在按块损失加权消融中，采用 $\alpha=-1$ 的向后偏移函数将训练重心向后置块倾斜，使总分提升了 1.33 分，证明了在长程外推中对高误差风险位置赋予更大监督权重的必要性。

亮点与洞察¶

训练期推断对齐的优雅降维：将看似需要展开整个计算图进行 BPTT 反传的自回归多步蒸馏问题，巧妙通过伪评分中已计算的自展开状态构建“交替穿插序列”，仅用单次因果前向传播便达成了端到端历史监督，计算代价几乎为零。
即插即用的一致性模型策略优化闭式解：证明了一致性采样转移在数学上严格等价于一个以预测干净端点为均值的各向同性高斯策略，从而推导出简洁的停止梯度回归损失，为少步生成模型的 RL 对齐奠定了理论基础。
多维度奖励归一化平衡策略：针对视频生成中运动与画质此消彼长的痛点，通过组内 Z-score 归一化解耦了不同尺度与来源的奖励信号，避免了单一高方差奖励绑架优势估计。

局限与展望¶

历史表征形式仍局限于干净端点：当前交替序列设计中历史上下文采用的是完全去噪后的干净潜变量，尚未将中间加噪潜变量或压缩 memory token 纳入可微历史前向中。
缺乏参考策略一致性模型的实时 KL 约束：由于双向教师模型无法直接通过因果一致性接口采样，导致 CM-GRPO 阶段无法直接计算闭式参考策略 KL 惩罚，存在长轮次微调下策略漂移的理论风险。
高阶动作控制与交互性评估待拓展：当前实验主要针对文本驱动的通用视频外推，在实时交互式推断（如基于键盘或鼠标连续控制的即时世界模型）中的因果响应延迟与动作敏捷度仍有进一步探索空间。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙的交替序列重排机制实现免 BPTT 的端到端历史监督，且首创了一致性转移核的原生 GRPO 范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 VBench 全套指标、UnifiedReward 针对性评估、主观用户调研及极其详尽的历史构造与 RL 核消融。
写作质量: ⭐⭐⭐⭐⭐ 理论推导扎实优雅，问题痛点剖析深入透彻，图表与实验设计紧密呼应。
价值: ⭐⭐⭐⭐⭐ 极大推动了实时自回归流式视频生成的生成质量与动态表现，为端到端蒸馏与后训练对齐树立了新标杆。