CanvasMAR: Improving Masked Autoregressive Video Prediction With Canvas¶

会议: NeurIPS 2026
arXiv: 2510.13669
领域: 视频生成
关键词: 视频预测, 掩码自回归模型, 画布机制, 运动感知采样, 组合式分类器免引导

一句话总结¶

针对掩码自回归（MAR）视频预测在极少步数采样下缺乏全局结构先验而产生严重畸变的问题，CanvasMAR 提出单步预测模糊全局“画布”作为非均匀掩码，并结合运动感知自适应采样与组合式 CFG，在显著减少空间自回归步数的同时匹敌先进扩散模型画质。

研究背景与动机¶

掩码生成模型通过将图像划分为连续或离散 token 并以随机或置信度顺序逐步生成，在图像与视频生成中展现出强大的表达力。特别是以 MAR 为代表的模型，摒弃了离散 VQ-VAE 带来的量化误差，直接借助轻量扩散头生成连续 token，在单图像生成上兼具扩展性与高保真度。将这一范式延伸至视频生成，通常采用分步掩码自回归策略：在时间维度上序列化自回归推进，在单帧内部进行空间尺度的集合式（set-by-set）掩码生成。然而，标准 MAR 沿袭自 MaskGIT 的采样范式在处理动态视频帧时暴露出严重瓶颈：生成过程从完全随机或均匀的掩码起步，在采样初期模型缺乏关于整帧画面的宏观轮廓与运动先验，被迫在早期的每一步中只能生成极少量的 token；一旦在预算受限下强行采用激进的少步数采样（例如单帧 8 步甚至更少），预测帧往往会出现严重的结构解体、物体畸形以及跨帧累积误差。

这种采样速度与生成保真度之间的核心矛盾，本质上源于“快速的时序自回归”与“缓慢的无先验空间随机采样”之间的结构性脱节。在扩散模型中，虽然全视频同时去噪延迟极高，但帧级预测模型通常能直接依赖整幅画面的迭代去噪获得整体轮廓；而掩码自回归模型若要保持全局一致性，就必须耗费大量的自回归步数去试探性填充未知区域，这在需要低延迟、强交互的视频模拟与连续预测任务中难以承受。此外，视频中各区域的动态幅度差异巨大，纯随机采样盲目地将平稳背景与剧烈运动的前景赋予相同采样概率，进一步加剧了高动态区域的伪影。

本文的切入角度是打破掩码生成中“从无到有、均匀掩蔽”的假设，在精细空间自回归展开之前先建立一层廉价但具有全局时空结构约束的初始假设。核心 idea：引入单步确定性预测的模糊全局“画布”作为动态非均匀掩码替代初始空白掩码，并构建“由易到难”的运动感知自适应采样序列与组合式时空无分类器引导，以极少自回归步数实现高保真视频预测。

方法详解¶

整体框架¶

CanvasMAR 将视频预测解耦为时间与空间两级自回归结构，并在其间插入轻量级画布生成模块作为纽带。模型由三个核心组件构成：负责提取历史帧时序因果表征的 Temporal ViT、负责单步预测未来帧全局轮廓的 Canvas ViT，以及负责最终细粒度 token 合成的 Spatial MAR。给定历史帧序列 $f^{(<i)}$，Temporal ViT 采用跨帧因果、帧内双向的混合注意力机制提取时序嵌入向量 $z_t^{(i)}$，同时支持帧级 KV 缓存以加速长时序推理。随后，Canvas ViT 结合该时序嵌入与上一时刻真实/已生成帧 $f^{(i-1)}$，通过单次前向传播确定性预测出未来帧的粗糙期望表征——即画布（Canvas）$z_c^{(i)}$，并同步估计每个补丁（patch）的静态度评分。最后，Spatial MAR 将该画布作为非均匀空间条件注入未掩码区域，依据运动感知顺序由静至动、分步去噪并恢复出高质量的高保真视频帧 $f^{(i)}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史帧序列与上一帧<br/>f(&lt;i) 与 f(i-1)"] --> B["时序特征编码<br/>Temporal ViT + 因果混合注意力"]
    B --> C["画布先验生成与非均匀掩码替换<br/>Canvas ViT 单步推断粗糙全局期望"]
    C --> D["运动感知自适应采样序列<br/>静态度评估由静至动确定采样调度"]
    D --> E["组合式分类器免引导机制<br/>联合强化时序条件与空间画布先验"]
    E --> F["空间自回归去噪合成<br/>Spatial MAR 极少步输出目标帧 f(i)"]

关键设计¶

1. 画布先验生成与非均匀掩码替换：以单步确定性期望桥接时空自回归并提供全局结构约束 针对传统掩码自回归模型在采样初期因缺乏全局轮廓而陷入细节盲猜、迫使步长极小的问题，CanvasMAR 在进入随机去噪前引入了显式的单步画布预测。该模块并不试图一步生成包含丰富高频细节的真实样本，而是直接逼近未来帧在历史条件下的数学期望 $\mathbb{E}_{f^{(i)} \sim p(f^{(i)} \mid f^{(<i)})}[f^{(i)}]$。这一期望虽然在视觉上呈现模糊状态，但凝聚了物体位移、粗粒度形变及全局几何构型的统计叠加。在具体实现中，Canvas ViT 输入时序表征 $z_t^{(i)}$ 和前一帧 $f^{(i-1)}$，输出特征 $z_c^{(i)}$，并通过简单的线性投影层与真值帧进行均方误差对齐。在 Spatial MAR 的训练与推断过程中，传统方法使用的全图统一样本掩码 token（如全零或可学习向量）被该补丁级画布特征全面替换。这种非均匀掩码机制为后续扩散预测头提供了坚实的结构锚点，使得模型在仅执行 2 到 4 个空间自回归步数时，即可迅速“坍缩”并收敛至某一个合理的高清未来帧状态，避免了累积形变。此外，为防止上一帧误差或画布模糊在长时序滚动中形成错误传播，模型还在训练时对输入上一帧和输出画布向量分别施加了高斯噪声扰动增强，显著强化了架构容错性。

2. 运动感知自适应采样序列：构建由静态到高动态的由易到难课程学习调度 针对画布在动态变化剧烈区域呈现更高模糊度与不确定性、若与静态背景同时大批量生成容易导致伪影放大的缺陷，CanvasMAR 设计了一套基于运动感知的自适应采样顺序。在视频场景中，静态背景的未来状态确定性极高，而高速运动物体则具有多模态不确定性。模型在 Canvas ViT 顶端接入一个轻量级静态度预测头 $f_\theta^{\text{static}}$（由线性层与 Sigmoid 构成），直接为每个画布补丁预测介于 0 到 1 之间的静态置信度。训练阶段该头部通过感知实际重构误差的指数衰减进行自监督学习，目标静态度定义为 $s_j^{(i)} = \exp(-\ell_j^{(i)})$，其中 $\ell_j^{(i)} = \|f_\theta^{\text{canvas}}(z_{c,j}^{(i)}) - x_j^{(i)}\|_2^2$ 为对应 patch 的均方差。推断时，这些静态度分值直接映射为采样优先级：算法在早期的空间自回归步数中优先生成高静态（低运动）区域的 token，将最易确定的背景与轮廓先行固化；在后续步数中再逐步聚焦于低静态（高运动）的复杂区域。结合类 MaskGIT 的温度退火调度，该机制既保留了生成随机性，又成功建立了“由易到难”的渐进式生成流程，大幅抑制了运动交界处的扭曲伪影。

3. 组合式分类器免引导机制：联合解耦并放大空间画布约束与跨帧时序一致性 针对同时引入空间画布先验 $z_c^{(i)}$ 和时序历史嵌入 $z_t^{(i)}$ 后条件空间复杂度剧增、常规单一 CFG 难以均衡引导强度的挑战，CanvasMAR 引入了时空解耦的组合式无分类器引导（Compositional CFG）。在概率建模层面，目标帧的条件分布被因子化为无条件先验、时序边际后验以及时空联合后验的乘积，并分别赋予时序引导系数 $w_t$ 与空间画布引导系数 $w_s$。由此导出的分数函数合成规则为： $$ \mathbf{s}^{(w_s, w_t)} = \mathbf{s}\varnothing + w_t (\mathbf{s}t - \mathbf{s}\varnothing) + w_s (\mathbf{s}_t) $$ 式中 } - \mathbf{s$\mathbf{s}_\varnothing$ 表示完全丢弃条件的无条件得分，$\mathbf{s}_t$ 表示仅输入时序嵌入的时序约束得分，而 $\mathbf{s}_{t,s}$ 则为同时输入时序与画布特征的全条件得分。在训练期间，模型通过 5% 的概率随机独立丢弃画布先验（退化为常规均匀掩码）、5% 的概率丢弃时序嵌入（替换为可学习变量）、5% 的概率同时丢弃二者，从而使得单套 Spatial MAR 网络在推理阶段能够通过三次差异化前向传播精准评估三种分数。这一设计使得生成过程既不会因时序约束过弱而出现闪烁漂移，也不会因空间画布约束过死而丧失生成高频纹理的自由度。

一个完整示例¶

以 UCF-101 上分辨率为 $256 \times 256$、潜空间划分成 $32 \times 32 = 1024$ 个 token 的视频帧预测为例，说明 8 步自回归生成的全过程： 1. 时序与画布初始化：Temporal ViT 接收前序帧序列后，借助 KV 缓存毫秒级生成时序表征 $z_t^{(i)} \in \mathbb{R}^{1024 \times 1024}$；随后 Canvas ViT 单步推断输出画布特征 $z_c^{(i)}$ 及各补丁静态度得分向量 $s \in [0, 1]^{1024}$。 2. 生成步 1-3（固化静态背景）：静态度排序处于前 40% 的 patch（主要为看台、天空与平稳地面）获得最高置信度。Spatial MAR 依据公式融合时序与画布 CFG 信号，在每一步并行采样解掩码约 130 个 token，快速还原并锁定大范围清晰背景。 3. 生成步 4-6（推进中间过渡区域）：随着退火温度降低，置信度排序中段的躯干与次级运动物体被激活，每步解掩码约 150 个 token，依托已固化的背景空间上下文精准补充肢体主要形态。 4. 生成步 7-8（攻坚高动态细节）：最后两步集中处理高速摆动的四肢与器械等高运动区域（约剩余 200 个 token）。由于全局轮廓与周围参照物已完全确定，模型在较小搜索空间内迅速合成细致高频边缘。整个过程仅需 8 次自回归迭代，耗时仅为对应扩散模型的极小比例，即输出了时空一致的清晰目标帧。

损失函数 / 训练策略¶

CanvasMAR 采用端到端多任务联合监督目标进行训练，总损失函数定义为： $$ \mathcal{L}{\text{total}} = \mathcal{L}}} + \lambda_c \mathcal{L{\text{canvas}} + \lambda_s \mathcal{L} $$ 其中 }$\mathcal{L}_{\text{MAR}}$ 为 Spatial MAR 扩散预测头的流匹配（Flow Matching）重建损失；$\mathcal{L}_{\text{canvas}}$ 为画布重构均方误差损失： $$ \mathcal{L}{\text{canvas}} = \mathbb{E}|}} \left[ \sum_{j=1}^n |f_\theta^{\text{canvas}}(z_{c,j}^{(i)}) - x_j^{(i)2^2 \right] $$ $\mathcal{L}_{\text{static}}$ 为停止梯度的静态度均方预测损失： $$ \mathcal{L}}} = \mathbb{E{f^{(<i+1)}} \left[ \sum) \right)^2 \right] $$ 在全量实验中，平衡权重固定设为 }^n \left( f_\theta^{\text{static}}(z_{c,j}^{(i)}) - \text{stop}(s_j^{(i)$\lambda_c = 0.1, \lambda_s = 0.1$。扩散头采用 Rectified Flow / Flow Matching 替代标准 DDPM 目标。此外，在训练与推断中引入噪声增强策略：输入上一帧添加噪声系数 $r \in [0.2, 0.6]$（推断时固定为 0.3~0.4），画布嵌入添加噪声系数 $r' \in [0.0, 0.3]$（推断时固定为 0.2），进一步强化跨帧滚动鲁棒性。

实验关键数据¶

主实验¶

论文在极具挑战性的大规模通用视频基准 Kinetics-600 与机器人臂操作数据集 BAIR 上开展了系统级性能评估。

表 1：Kinetics-600 数据集系统级对比结果（评估分辨率 $64 \times 64$，FVD 越低越好）

方法类型	代表性方法	自回归/去噪步数	FVD $\downarrow$	备注
GAN	DVD-GAN-FP	-	69.1	非自回归对抗生成
GAN	TrIVD-GAN-FP	-	25.74	基于变换的对抗预测
Diffusion	VDM	多步迭代	16.2	基础视频扩散模型
Diffusion	RaMViD	多步迭代	16.5	条件视频填充模型
Diffusion	Rolling Diffusion	多步迭代	5.2	自回归滚动扩散
Diffusion	DFoT*	多步迭代	4.3	先进历史引导扩散SOTA
Autoregressive	Video Transformer	逐 token 栅格	170.0	早期自回归模型
Autoregressive	CogVideo	逐 token 栅格	109.2	离散自回归大模型
Autoregressive	Video VQ-VAE	逐 token 栅格	64.3	离散量化标记模型
Autoregressive	CCVS	离散 token	55.0	上下文可控视频合成
Autoregressive	Phenaki*	离散 token	36.4	变长视频生成模型
Autoregressive	Transframer	离散 token	25.4	任意帧预测框架
Autoregressive	MAGVIT	掩码并行	9.9	全视频非因果掩码
Autoregressive	MAGVIT-v2	掩码并行	4.3	高级分词器+非因果
Autoregressive	MAGI	掩码并行	11.5	无画布掩码自回归基线
Ours (CanvasMAR)	CanvasMAR	$N_{AR} = 10$ 步	6.3	因果时序自回归
Ours (CanvasMAR)	CanvasMAR	$N_{AR} = 11$ 步	6.3	因果时序自回归
Ours (CanvasMAR)	CanvasMAR	$N_{AR} = 12$ 步	6.2	因果时序自回归

表 2：BAIR 机器人臂数据集对比结果（评估分辨率 $64 \times 64$）

方法类型	模型方法	标准 FVD $\downarrow$	去偏 FVD (DFVD) $\downarrow$	说明
GAN	DVD-GAN-FP	109.8	-	对抗生成基线
GAN	TrIVD-GAN-FP	103.0	-	对抗生成基线
Diffusion	MCVD	90.0	-	掩码条件视频扩散
Diffusion	RaMViD	84.0	-	视频补全扩散
Diffusion	VDM	66.9	-	视频扩散模型
Autoregressive	Transframer	100.0	-	通用帧预测模型
Autoregressive	MaskViT	94.0	-	掩码视觉预训练模型
Autoregressive	NÜWA	87.0	-	多模态预训练视觉模型
Autoregressive	MAGVIT-B	76.0	48.0	非因果全帧掩码生成
Autoregressive	MAGVIT-L	62.0	31.0	非因果全帧大模型
Ours (CanvasMAR)	CanvasMAR ($N_{AR} = 4$)	66.0	26.6	因果时序自回归，仅4步
Ours (CanvasMAR)	CanvasMAR ($N_{AR} = 6$)	65.3	26.5	因果时序自回归，仅6步
Ours (CanvasMAR)	CanvasMAR ($N_{AR} = 8$)	65.2	26.4	因果时序自回归，仅8步

消融实验¶

为了严格厘清画布机制、运动感知调度与时空组合引导的具体贡献，论文在 BAIR 与 UCF-101 数据集上进行了细致的组件消融分析。

表 3：组合式分类器免引导（Compositional CFG）消融分析（FVD $\downarrow$）

空间画布引导 (sCFG)	时序引导 (tCFG)	BAIR (FVD $\downarrow$)	UCF-101 (FVD $\downarrow$)	配置分析说明
✓	✓	29.58	86.03	完整模型：时空双重强化
✗	✓	30.08	92.60	缺失画布引导：结构约束削弱
✓	✗	30.01	100.90	缺失时序引导：跨帧一致性下降明显
✗	✗	31.54	114.07	无引导基线：性能出现大幅退化

关键发现¶

极少步数下的决定性优势：在少步数采样设定下（BAIR 上 2~4 步，UCF-101 上 2~8 步），引入画布先验相比无画布基线带来跨越式的画质提升。没有画布的模型由于早期随机猜解导致整体结构迅速崩溃，而 CanvasMAR 在极少步数下即可锁定全局形态。
因果生成超越非因果模型：在 BAIR 去偏指标 DFVD 上，CanvasMAR（26.4）显著领先此前最强基线 MAGVIT-L（31.0）。需要强调的是，MAGVIT 采用非因果全视频联合预测，无法支持交互式流式展开，而严格遵循时间因果性的 CanvasMAR 在面对长期外推误差累积时依然保持了更优的分布逼近。
卓越的推理效率与低首帧延迟：在 Kinetics-600 吞吐测试中，CanvasMAR 相比高精度扩散模型 SOTA（DFoT）在满载 GPU 时实现约 5.7 倍的延迟降低（交互场景至关重要的首帧出现时间），整段视频总生成耗时亦缩减为 DFoT 的 2.7 倍以上。
步数饱和特性：将 CanvasMAR 的采样步数从 10 步继续增至 12 步时，FVD 仅有微弱变化（6.3 降至 6.2），证实该模型在极低步数下已完全收敛，无需耗费额外算力。

亮点与洞察¶

将单步期望映射巧妙作为非均匀掩码：传统级联架构通常需要单独训练级联扩散网络分阶段去噪，而 CanvasMAR 洞察到单步前向均方误差最小化的确定性输出正是条件分布的数学期望，以此作为非均匀特征掩码直插现有 MAR 结构，既不引入多阶段训练负担，又在结构上彻底解开无先验困境。
AlphaFold 式置信度用于采样课程：将静态度预测建模为自监督重构残差的负指数并推导为无梯度损失，使得模型仅需极轻量的前向探测头即可自主识别动态不确定区域，自然形成从确定性背景到复杂前景的由易到难采样课程。
可迁移至次群组帧预测（Next-Group Prediction）：论文进一步证实画布先验天然支持跨帧扩展，仅需微调少量参数即可将模型扩展至一次并行预测 2 帧，在小批量实时交互生成中带来更可观的计算加速。

局限与展望¶

大幅度运动下的过度模糊误导：当视频中存在极大视差或剧烈复杂动作时，单步画布预测因多模态分布平均效应呈现过度模糊，此时给出的空间先验容易误导 Spatial MAR，导致后续去噪步骤难以纠正大范围畸变。
纯预测任务对历史帧的强依赖：CanvasMAR 的核心优势建立在已有历史帧提供的时空约束上，目前未直接拓展至无条件的文生视频从零生成任务（尽管第一帧理论上可用通用 MAR 生成，但全流水线尚未端到端打通）。
模型参数规模仍具上升空间：当前实验中 Spatial MAR 的层数仅为同期先进模型 NOVA 的一半，未来可探索扩增模型容量以增强其对模糊画布的自校正容错能力，并进一步接入多模态文本条件。

评分¶

新颖性: ⭐⭐⭐⭐☆ 创造性地以单步确定性期望画布替代均匀掩码，并融合动态感知采样课程，设计精巧且符合直觉。
实验充分度: ⭐⭐⭐⭐⭐ 在 BAIR、UCF-101 与大型 Kinetics-600 上提供了详尽的消融、对比与时延基准测试。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学推导严谨自洽，时空因子化分析透彻。
价值: ⭐⭐⭐⭐☆ 为离散/连续自回归视频生成提供了全新的高效率采样思路，极大推动了交互式自回归视频模型的实用化。