Recurrent Autoregressive Diffusion: Global Memory Meets Local Attention¶

会议: ECCV2026
论文: ECCV 原文
领域: 视频生成
关键词: 自回归扩散、循环记忆、重叠注意力、隐状态预取、世界模型

一句话总结¶

RAD 在视频 DiT 的局部注意力之后加入循环记忆，用逐帧重叠窗口传递细节、用干净隐状态预取加速训练；Minecraft 上 LSTM-f 相比 LSTM-c 将 PSNR 从 14.24 提高至 16.59，但优势并不覆盖所有数据集和指标。

研究背景与动机¶

交互式视频世界模型不仅要生成好看的下一帧，还要在相机离开某个位置、过一段时间再次返回时，恢复先前见过的场景。标准视频扩散 Transformer 可以直接关注近期帧，但把所有历史帧都留在注意力上下文中，存储和计算会随序列变长而增长。滑动窗口使开销可控，却把窗外历史一起丢弃，因此局部连贯不等于长期记得住。

循环神经网络提供了一条固定大小的记忆通道，但把它接进 DiT 并不足以解决问题。如果每次处理不重叠的视频块，上一块的墙面纹理、物体边界和场景布局都只能通过压缩状态传给下一块，记忆模块同时承担长期语义和高频像素细节，压力很大。另一个问题出现在训练：如果每个窗口必须等上一个窗口完成注意力和状态更新，原本可以并行的注意力就被串行循环拖慢；训练与推理若采用不同的记忆输入，还会出现流程错配。

本文因此不是单纯寻找更强的 RNN，而是先调整信息应该走哪条通道。近期细节通过高度重叠的注意力窗口直接传递，较远历史才交给循环状态压缩，同时让记忆写入始终使用干净帧。核心 idea：把局部连续性与长期记忆分开承担，再提前计算干净历史状态，使训练中的注意力能够并行、推理中的记忆更新规则保持一致。

方法详解¶

整体框架¶

RAD 面向动作条件视频预测：输入已观察的视频上下文和动作序列，输出后续视频帧。视频先经预训练 VAE 编码到潜空间，每个 DiT 层依次执行空间注意力、时间注意力和时间维 RNN；最后将生成的潜变量解码回视频。空间注意力负责帧内关系，时间注意力处理窗口内近期帧，额外的 RNN 则提供跨窗口历史信息。

主要逐帧版本每次仅生成一个新帧，并把窗口向前移动一帧。训练另有一条干净序列预取支路：先得到各层、各时间位置的历史状态，再供正常窗口大小的扩散训练使用。下图实线表示主要数据流，虚线表示训练状态供给和监督；预取支路不是推理时读取未来真实帧的额外条件。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    I["近期帧、动作<br/>与新帧噪声"] --> A["逐帧重叠注意力"]
    A --> R["动作条件循环记忆"]
    R --> O["迭代去噪<br/>输出当前帧"]
    O -->|窗口前移一帧| I
    T["训练干净序列"] --> P["干净隐状态预取"]
    P -.->|训练时按位置供给历史| R
    O -.->|训练预测| L["扩散监督损失"]
    T -.->|构造监督目标| L

这是一种同时保留局部显式上下文和全局压缩状态的模型，而不是把注意力完全替换成 RNN。推理时循环状态大小不随已生成时长持续增长，但近期窗口仍占用存储；训练预取还会保存整条样本的状态库，因此不能把“固定大小推理记忆”误写成“训练内存与序列长度无关”。

关键设计¶

1. 逐帧重叠注意力：让近期细节绕过压缩瓶颈

论文比较两个自回归粒度。Chunk-wise 将视频分成不重叠的窗口，块内时间注意力使用因果掩码，块间只传循环状态；Frame-wise 则把窗口步长设为 1，让相邻预测共享绝大部分上下文。预测当前帧时，输入包含最近的干净帧和当前帧噪声，模型通过多步去噪生成新帧，再滑动窗口。这里的窗口内注意力不意味着开放未来真实帧：模型可用的信息仍受自回归生成顺序约束。

重叠的关键作用是让最近的纹理、轮廓和运动线索直接进入下一次预测。RNN 不必为跨块边界重建所有像素细节，才有余力承载较远历史。作者在 Minecraft 中观察到，所有 chunk-wise RNN 都弱于无 RNN 的 Diffusion Forcing，而改为逐帧后均明显改善；但在较简单的 Maze 中，LSTM-c 的 PSNR 和 SSIM 仍高于 LSTM-f。因此证据支持“高信息密度场景尤其需要直接局部通路”，不支持“步长越小，所有指标必然越好”。

2. 动作条件循环记忆：在注意力之后补充历史信息

每层 RNN 接收已经过空间和时间注意力处理的特征，沿时间轴更新和读取状态，而不是把一帧内的所有 patch 当作额外的自回归时间步。空间和时间注意力均使用 RoPE；去噪时间步与动作条件经 MLP 后通过自适应层归一化作用于模块，RNN 也接受动作条件。这使记忆读取与当前交互关联，而不是提供一个不区分运动操作的历史摘要。

RAD 比较 LSTM、Mamba2 和 TTT 三种记忆实现。LSTM 的输出与 cell state 分别提供较直接的短期通路和长期状态；Mamba2 使用状态空间递推；TTT 通过测试时学习式更新把历史写入记忆权重。作者认为 LSTM 的双通路更适合没有重叠注意力的情况，而一旦注意力接管局部传输，三者差距就明显缩小。这个解释与表中趋势相符，但不是对记忆内部表征的直接测量，也不能推出 LSTM 在一般视频生成任务上优于另外两类模型。

3. 干净隐状态预取：先构造历史状态，再并行训练注意力

朴素逐帧训练在长度为 \(L\)、窗口为 \(l\) 的序列上，需要依次执行 \(L-l+1\) 次窗口注意力，因为后续窗口依赖前面的循环状态。RAD 先用窗口大小为 1 的同一模型扫描干净训练序列，记录每层每个时刻的状态；随后给扩散训练输入逐帧加入噪声，将预取状态按对应历史位置送入 RNN，使正常窗口大小的注意力可以并行计算。递推本身并没有消失，消除的是反复等待完整滑窗注意力的串行链。

训练预取只让干净帧进入持久记忆，推理也遵守这一规则：每个窗口只有首帧负责持久状态更新，而且只在最后一个 DDIM 去噪步骤提交状态。不能把每个中间噪声版本都写进历史，否则同一内容会以不同噪声水平反复污染记忆。论文对预取状态等价性的论述有“此前状态已累积充分上下文”的假设，因此这里更准确的理解是对齐记忆输入和操作规则，而不是已严格证明整个训练分布与自由生成分布相同。

一个完整示例¶

以论文 Maze 消融使用的 20 帧窗口作机制说明：假设模型已经看过走廊，需要在转身后重建刚才见过的墙面。逐帧预测时，一个窗口放入最近 19 帧与 1 个待生成帧的噪声，先通过注意力查看近期视觉细节，再从循环状态读取更早的场景信息。动作条件告诉各层当前应如何改变视角，去噪结束后输出新帧。

窗口随后前移 1 帧。两个相邻窗口共享 19 个位置，刚生成的画面进入下一次预测的局部上下文；按首帧规则提交的干净状态则延续到下一窗口。离开显式窗口的内容以后只能依赖压缩记忆，所以固定状态仍可能遗忘。这个例子解释的是信息流，不是新增实验轨迹或对精确记忆容量的测量。

训练对应地先用窗口大小 1 扫描真实干净视频，构造历史状态库，再从正常长度窗口中采样进行扩散学习。预取状态必须与相应历史位置匹配，而不是把整段真实未来内容作为当前生成条件；与推理的对应点正是“干净帧更新历史、局部窗口处理当前预测”。

损失函数 / 训练策略¶

模型沿用 Diffusion Forcing：各帧独立采样扩散噪声水平，以动作序列和带噪潜变量为条件学习去噪，训练目标是扩散预测的均方误差，没有另加独立的长期记忆重建损失。缓存中的公式排版有损坏，且算法 2 使用目标符号 vgt；这里保留可确认的训练机制，不把损坏表达式重建成作者精确的预测参数化。

第二阶段不对长样本中的每个子窗口都计算损失，而是随机抽取部分子序列以减少计算。Maze 的 RNN 对比从头训练 3 个 epoch；Minecraft 先在同一训练集上训练标准 Diffusion Forcing 基座，各 RAD 变体再统一微调 5000 步。这样的对照有助于区分结构和窗口策略影响，但各 RNN 参数量不同，不能称为严格等参数比较。

实验关键数据¶

主实验¶

Memory Maze 训练集约 30000 段，每段 1000 帧、环境为 15×15 迷宫；另收集 200 段 100–300 帧的往返轨迹评测，前 60% 为上下文、后 40% 为预测目标。Minecraft 使用 MineRL 生成的 20000 段 1200 帧训练视频及 60 段记忆测试序列，包含原地转向等动作。两组测试规模与场景不同，不跨数据集直接比较分数。

表 1 摘录原文表 2、3。PSNR 衡量像素重建保真度，单位 dB，越高越好；SSIM 衡量结构相似度，越高越好；LPIPS 衡量感知差异，越低越好。三项均与真实视频比较，适合本文的场景重访任务，但不等于通用开放域生成质量或物理正确性。

数据集	模型	PSNR ↑	SSIM ↑	LPIPS ↓
Maze	Diffusion Forcing	14.73	0.32	0.51
Maze	VRAG	15.55	0.41	0.43
Maze	RAD LSTM-c	15.64	0.43	0.47
Maze	RAD LSTM-f	15.50	0.41	0.45
Minecraft	Diffusion Forcing	15.65	0.45	0.53
Minecraft	VRAG	16.11	0.49	0.50
Minecraft	RAD LSTM-c	14.24	0.39	0.55
Minecraft	RAD LSTM-f	16.59	0.46	0.46
Minecraft	RAD TTT-f	16.72	0.46	0.47

Minecraft 中 LSTM-f 比自身 chunk-wise 版本提高 2.35 dB，LPIPS 减少 0.09；但其 SSIM 0.46 低于 VRAG 的 0.49。Maze 上 LSTM-f 也未超越 VRAG 的 PSNR 或 LPIPS，因而不应概括为所有任务全面领先。

消融实验¶

表 2 合并原文表 7 的记忆噪声实验和表 8 的 Maze 步长实验。表 7 未在相邻正文明确交代数据集与完整训练预算，且其干净记忆结果不等于主表 LSTM-f，故仅在该组内部比较，不将两组绝对值混为同一设置。

实验组	配置	PSNR ↑	SSIM ↑	LPIPS ↓
记忆噪声，原文表 7	LSTM-f，带噪记忆	14.70	0.38	0.52
记忆噪声，原文表 7	LSTM-f，干净记忆	15.30	0.41	0.50
Maze 步长，原文表 8	LSTM-c，步长 20	15.64	0.43	0.47
Maze 步长，原文表 8	LSTM-f，步长 1	15.50	0.41	0.45
Maze 步长，原文表 8	LSTM，部分重叠，步长 10	15.06	0.40	0.55

表 3 摘录原文表 5：Minecraft、相同 DiT、8 张 NVIDIA L40、报告 batch size 为 3；原文未明确该 batch size 是每卡还是全局值。显存是论文报告的 GPU Mem，时间为 RAD 单次训练步耗时，参数量仅指 RNN 模块，不是完整模型。

RNN	显存 GB	秒/训练步	RNN 参数量 M
LSTM	10.0	3.7	195
Mamba2	11.1	3.6	153
TTT	16.0	12.9	118

关键发现¶

干净记忆在表 7 内提高 PSNR 0.60 dB，说明持久状态的输入噪声是实际训练因素，而不只是实现细节。
局部连续性与长期记忆不能只看一个综合分数：原文表 4 中 Minecraft LSTM-f 的运动平滑度为 95.3，高于 LSTM-c 的 95.12，但成像质量为 66.72，低于 69.34。
预取不是免费加速。原文表 6 中第一阶段 RNN 占总前向 FLOPs 的 35.7%，第一阶段注意力占 17.5%，扩散阶段占 46.9%；“额外注意力不足 20%”不能当成整个预取阶段的额外开销。

亮点与洞察¶

贡献主要在信息通道分工，而非新型循环单元。先给近期细节直接传输路径，再比较记忆架构，比让所有历史都挤进固定状态更能解释性能变化。
对齐的是记忆写入规则。训练和推理都使用干净帧提交状态，这个原则可迁移到其他有噪声迭代过程的记忆增强生成器。
简单 LSTM 是有竞争力的工程参照。在本文实现中它参数更多却显存更低、速度接近 Mamba2，说明实际效率还取决于算子优化，不能只按参数量选模型。

局限与展望¶

作者明确承认：RNN 增加训练和推理开销，固定大小状态存在存储上限，超长上下文仍可能失去信息。
本笔记观察：实验证据集中于 Maze 和 Minecraft，未证明对开放域真实视频、大规模文本条件模型或任意长度生成同样有效；表中也未提供误差条。
本笔记观察：所谓训练与推理无 gap 主要指结构和状态更新一致，自由生成历史与真实训练历史仍可能不同，预取的等价性也带有状态充分性的假设。
可进一步检验：在更长的场景重访间隔下测量记忆退化，固定总计算预算比较各架构，并区分预取总成本、训练吞吐与在线生成延迟。

评分¶

新颖性: 4/5，价值在记忆、滑窗和并行训练的联合设计，而非循环单元本身。
实验充分度: 3/5，包含两类环境、三类 RNN 与多项消融，但规模、误差分析和等预算对比仍有限。
写作质量: 3/5，核心机制清楚，但部分“最好”“无 gap”的措辞需要结合表格和假设限定。
价值: 4/5，为有限内存下的交互式长视频建模提供了可解释的架构参照。