Addressable Memory for Video World Models¶

会议: NeurIPS 2026
arXiv: 2608.07408
论文: https://arxiv.org/abs/2608.07408
代码: https://research.nvidia.com/labs/sil/projects/WorldTrace/
领域: 视频生成
关键词: 视频世界模型, 键值缓存压缩, 旋转位置编码, 视觉持久性, 情节性召回

一句话总结¶

针对自回归视频世界模型长程生成中时序 RoPE 越界导致历史不可寻址以及旋转空间压缩相位抵消的问题，提出免训练记忆框架 WorldTrace，通过虚拟位置分配与规范空间键写入，在恒定显存下大幅提升时序连贯性与长程场景回访召回率。

研究背景与动机¶

构建可交互自回归视频世界模型的核心愿景，是让智能体能够在自由探索虚拟环境并重访先前区域时，保证所生成场景具有视觉持久性（Visual Persistence），即重访点必须精确复原最初观察到的场景外观，而非凭空生成视觉上合理却不一致的替代内容。当前的自回归视频世界模型通常以自回归块（AR chunk）为单位生成视频，依赖不断累积的键值（Key-Value, KV）缓存提供上下文支撑。为了避免显存随生成步数线性爆炸，业界自然的做法是将线性增长的 KV 缓存压缩至固定大小的窗口内。

然而，现有方法在生成步数超出训练上下文长度后，视觉持久性迅速崩溃。本文深入剖析发现，长程退化的根本瓶颈并非仅仅在于过去的内容是否物理驻留在缓存中，而在于这些内容是否依然「可寻址（Addressable）」。现有模型普遍采用旋转位置编码（RoPE），当生成范围延伸超出训练长度 $\Delta t_{\mathrm{train}}$ 时，查询与久远键之间的相对时间偏移落入分布外（OOD）区间，导致注意力机制彻底失效；若采用粗暴截断偏移（如 Block-relative RoPE），又会使所有压缩摘要槽塌陷在同一个边界位置上无法区分。同时，直接在经过 RoPE 旋转的高维空间中对历史键做时序平均压缩，不同时间戳的方向向量会导致严重的相位抵消（Phase Cancellation），使得摘要键丢失承载的语义信号。

面对寻址位置越界与内容压缩相位抵消的双重耦合矛盾，单纯改变存储内容或调整位置偏移均无法根治长程遗忘。本文的切入角度是解耦位置寻址与内容存储：将有限的压缩槽映射到训练分布内的虚拟位置确保可检索性，并在去除 RoPE 旋转的规范空间中实现无损的内容聚合与特征冻结。核心 idea：提出免训练可寻址记忆框架 WorldTrace，将 KV 缓存划分为即时窗口与摘要槽，为摘要槽赋予基于排名的在分布虚拟 RoPE 位置以保障可寻址性，并在规范（未旋转）空间中分别通过时序组平均（WorldTrace-Field）维持连贯流场、通过冻结地标键（WorldTrace-Landmark）实现情节性场景召回。

方法详解¶

整体框架¶

WorldTrace 是一种完全免训练的推理期 KV 缓存管理机制，在不改变预训练模型权重、不引入外挂存储库的前提下，将自回归视频生成过程中的注意力缓存大小严格限制在训练时上下文预算 $L_{\mathrm{attn}}$ 内。整体流水线将容量为 $L_{\mathrm{attn}}$ 的缓存划分为两个互补区域：保存最新 $N_r$ 帧未压缩原始上下文的即时窗口 $\mathcal{R}$，以及包含 $N_s$ 个槽位、专门用于存储久远历史压缩痕迹的摘要缓存 $\mathcal{S}$（满足 $N_s + N_r = L_{\mathrm{attn}}$）。

在自回归解码推进过程中，每当新生成的帧将旧帧挤出即时窗口 $\mathcal{R}$ 时，系统将逐帧转移的键逆旋转至去除时序 RoPE 相位的规范空间（Canonical Space）。根据当前任务对「平滑时序连贯性」或「稀疏长程重访召回」的不同需求，系统调用不同的内容写入算子组织记忆：WorldTrace-Field 将逐出历史按时序均匀划分子集并在规范空间计算均值键；WorldTrace-Landmark 则监测规范键的余弦距离突变，捕捉场景切换事件并冻结关键地标帧的规范键。最终在注意力计算前，系统依照每个摘要槽在缓存中的相对排名，为其统一注入处于训练分布内的虚拟 RoPE 旋转，保证当前查询能够精确寻址并提取久远记忆。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询帧与历史自回归块"] --> B["缓存分区机制<br/>即时窗口 R 与摘要缓存 S"]
    B --> C["规范空间逆旋转<br/>消除源时间戳 RoPE 相位偏差"]
    C --> D{"记忆写入算子选择"}
    D -->|连续平滑演化| E["规范键均值场<br/>WorldTrace-Field 组平均"]
    D -->|场景切换突变| F["冻结地标追踪<br/>WorldTrace-Landmark 单帧锁存"]
    E --> G["槽位虚拟位置赋值<br/>赋予在分布虚拟时间戳"]
    F --> G
    G --> H["注意力检索与一致性视频生成"]

关键设计¶

1. 槽位虚拟位置赋值：消除时序 RoPE 越界与槽位塌陷

该设计针对长程生成时查询-键相对时间偏移超额导致注意力检索失效的痛点。传统自回归生成中，时间偏移 $\delta_{q, k} = q - k$ 随着步数累积远远超过预训练最大窗口 $\Delta t_{\mathrm{train}}$，使得 RoPE 高频分量发生剧烈相位缠绕演变为随机噪声。现有的块相对重索引（Block-relative RoPE）虽然将偏移强行截断在 $\Delta t_{\mathrm{train}}$，但导致所有历史摘要槽共享同一个边界偏移，在注意力矩阵中彻底丧失位置辨识度。

为解决该问题，WorldTrace 提出基于槽位排名的虚拟时间戳分配机制。对于当前位于 $q$ 处的查询帧，大小为 $N_s$ 的摘要缓存中第 $s$ 个槽位（$s \in \{0, \dots, N_s - 1\}$，0 代表最旧槽）所被赋予的虚拟时间戳定义为： $$t_s^v = q - (L_{\mathrm{attn}} - 1 - s)$$ 由于 $L_{\mathrm{attn}} = \Delta t_{\mathrm{train}} + 1$，该分配机制天然保证了任意时刻 $t_s^v$ 均严格落在训练分布内区间 $[q - \Delta t_{\mathrm{train}}, q - N_r]$。更重要的是，偏移量 $(L_{\mathrm{attn}} - 1 - s)$ 仅由槽位自身的物理排序决定，与绝对生成步长 $N$ 无关。这种设计既完全避免了 RoPE 外推带来的高频崩溃，又确保了全部 $N_s$ 个摘要槽在注意力读取时始终拥有互不重叠、离散可辨的在分布相对位置。

2. 规范空间键均值场：规避相位抵消并维持时序连贯性

该设计针对长历史压缩时直接在旋转空间求均值导致信息被破坏的痛点。若直接对带有不同 RoPE 旋转的键向量进行加权平均，由于不同时间戳 $t_m$ 的旋转角 $\theta_f t_m$ 彼此交错甚至方向相反，向量相加会产生灾难性的相位抵消，尤其是低频时序特征被大幅削弱，使得提取出的摘要键无法代表历史。

WorldTrace-Field 提出在规范（未旋转）空间中执行内容压缩。对于被逐出即时窗口的 $T - N_r$ 帧历史，系统将其划分为 $N_s$ 个连续的时间子群（每个子群包含 $M \approx T / N_s$ 帧），首先通过乘以逆旋转矩阵 $R(-\theta_f t_m)$ 剥离其原始时间戳携带的 RoPE 相位，在规范空间中对这 $M$ 个源帧的键向量取平均，随后在注意力计算前统一施加目标虚拟位置 $t^v$ 处的正向 RoPE 旋转： $$K_{\mathrm{field}}^f(t^v) = R(\theta_f t^v) \frac{1}{M} \sum_{m=1}^M R(-\theta_f t_m) K_{t_m}^f$$ 这一设计在数学上满足均值注意力保持（Mean Attention Preservation）性质，即该压缩键与任意查询的内积，精确等于全部 $M$ 个源帧在虚拟位置处与该查询所产生注意力得分的算术平均值，彻底消除了由相位抵消带来的历史偏置衰减。

3. 冻结规范地标键：长程情节性场景无损召回

该设计针对智能体长程漫游后重访先前区域时均值特征模糊化导致场景结构无法还原的痛点。均值场压缩本质上更适合注意力弥散的平滑过渡段，而当智能体经历迂回路径重新回到特定地点时，模型需要精确检索当初进入该场景时的瞬时特征。此外，若在每一步自回归滑动中反复对历史槽进行“逆旋转-再旋转”，在 bfloat16 浮点精度下累积的数值漂移会导致特征不可逆退化。

WorldTrace-Landmark 采用基于规范键变化率的场景切入点检测与特征冻结策略。系统实时计算相邻帧在规范空间中键向量的余弦距离，一旦距离超过预设阈值 $\tau$，即判定发生显著场景切换（Scene-entry Event），将该帧识别为关键地标。被选中的地标帧规范键 $R(-\theta_f t_{\ell^*}) K_{t_{\ell^*}}^f$ 在存入摘要槽后被永久冻结，无论经过多少轮自回归步进，其内部规范表征均不再反复解算，仅在当前计算注意力时施加对应槽位虚拟位置 $t_s^v$ 的单次即时旋转： $$K_{\mathrm{land}}^f(t_s^v) = R(\theta_f t_s^v) R(-\theta_f t_{\ell^*}) K_{t_{\ell^*}}^f$$ 当检测到的地标数超过 $N_s$ 时，系统采用先进先出淘汰策略丢弃最旧地标。这种设计完全隔绝了浮点误差累积，并在稀疏注意力分布下使投影逼近误差趋近于零，为长程闭环重访提供了极其保真的视觉针脚。

一个完整示例¶

以 $L_{\mathrm{attn}}=6$（$N_s=4$ 个摘要槽，$N_r=2$ 个即时槽）、单块含 3 帧隐变量的自回归生成为例。当智能体执行 $A \to B \to A$ 的长程折返轨迹时： 1. 初始阶段（场景 A）：智能体在 $n=1$ 块记录场景 A 外观，规范键余弦距离剧烈跳变触发地标阈值 $\tau$，场景 A 的规范键被存入地标槽 $\mathcal{S}[0]$ 并冻结； 2. 长程漫游（探索 B）：随着生成推进至 $n=16$，即时窗口 $\mathcal{R}$ 仅保留最新探索视野。由于槽位虚拟索引机制，$t_s^v = q - (5 - s)$，地标槽 $\mathcal{S}[0]$ 始终稳定映射在在分布的时间偏移 $q - 5$ 处； 3. 闭环重访（重返 A）：当智能体重新回到地点 A 时，当前查询帧向历史寻址，地标槽 $\mathcal{S}[0]$ 在虚拟位置 $q - 5$ 处施加单次旋转后激活强烈的注意力响应，直接提取出最初在场景 A 记录的高保真规范特征，从而完美复现最初建筑与纹理细节，避免滑动窗口基线发生的幻觉漂移。

实验关键数据¶

主实验¶

评估基于开源实时自回归世界模型 Matrix-Game-2（MG2-1.3B，3D-RoPE，训练窗口 $\Delta t_{\mathrm{train}}=5$），并在本文构建的场景重访基准 LoopBench 上系统评测。评估指标包括时序一致性 TempSSIM（相邻解码帧 SSIM）和重访场景一致性 PAC（Position-Aligned CLIP，几何匹配点间的 CLIP 特征余弦相似度）。

下表展示了在长程生成连贯性以及 LoopBench 拓扑重访任务（ABA 折返、ABCA 三角迂回、ABCDA 矩形闭环）中的表现：

评估任务 / 配置	评估指标	滑动窗口基线 (Sliding Window)	WorldTrace (本文)	相对增益 / 优势
长程推演 $N=32$ 块	TempSSIM (↑)	0.571	0.613 (Field)	+7.4% 连贯性提升
长程推演 $N=48$ 块	TempSSIM (↑)	0.472	0.545 (Field)	+15.5% 连贯性提升
长程推演 $N=48$ 块	Scene Drift (↓)	0.0305	0.0295 (Field)	场景漂移最低
LoopBench ABA 拓扑 ($N=16$)	PAC / TempSSIM	0.723 / 0.761	0.864 / 0.786 (Landmark)	PAC 提升 +19.5%
LoopBench ABCA 拓扑 ($N=17$)	PAC / TempSSIM	0.673 / 0.740	0.792 / 0.758 (Landmark)	PAC 提升 +17.7%
LoopBench ABCDA 拓扑 ($N=16$)	PAC / TempSSIM	0.666 / 0.748	0.799 / 0.771 (Landmark)	PAC 提升 +20.0%

消融实验¶

1. 位置分配策略与键压缩空间消融（ABA 协议，固定内容压缩策略为时序平均）

位置分配机制	键压缩空间	TempSSIM ($N=8$) ↑	TempSSIM ($N=16$) ↑	TempSSIM ($N=48$) ↑	PAC ($N=64$) ↑
Block-relative	Naive (旋转空间平均)	0.390	0.530	-	0.443
Block-relative	Canonical (规范空间平均)	0.390	0.530	0.530	0.412
Centroid-linear	Canonical (规范空间平均)	0.377	0.479	0.479	-
WorldTrace (本文排名分配)	Canonical (规范空间平均)	0.413	0.545	0.545	0.442

2. 相位抵消验证：旋转空间 vs 规范空间平均（LatentDiff 隐变量重构误差，越低越好，$N=16$）

摘要槽数量 $N_s$	旋转空间平均 (Naive LatentDiff ↓)	规范空间平均 (Canonical LatentDiff ↓)	误差相对变化
1	0.257	0.224	-12.8%
2	0.261	0.257	-1.5%
4	0.312	0.233	-25.3%

关键发现¶

位置可寻址性是首要瓶颈：消融实验清晰证明，即使采用规范空间键平均，若搭配 Block-relative 位置分配，由于远距离槽位全部塌缩至边界位置，其注意力表现迅速退化至与普通滑动窗口无异；Centroid-linear 随生成长度改变虚拟偏移，同样会在超长程时打破训练分布。只有基于槽位物理排名的固定虚拟赋值能保持一致增益。
规范空间平均消除相位抵消：直接在 RoPE 旋转空间做均值（Naive），随着摘要槽数量 $N_s$ 增加，混合的时间跨度变宽，相位抵消加剧导致 LatentDiff 从 0.257 恶化至 0.312；而在规范空间中平均再施加单次旋转，误差在 $N_s=4$ 时降至 0.233，性能稳定提升。
情节召回的极度持久性：在超长步长探索实验中（$N=256$ 块，相当于数分钟生成），滑动窗口基线与各类平均压缩方法 PAC 仅为 0.5~0.6 左右，而 WorldTrace-Landmark 凭借冻结的规范地标键，PAC 高达 0.989，证实对于非平滑重访，单帧高保真地标显著优于多帧混合压缩。

亮点与洞察¶

解耦「可寻址性」与「可信息性」：敏锐指出了长程自回归视频世界模型的失败本质不是缓存放不下，而是模型在 RoPE 外推下根本无法读取远端缓存，将位置映射与特征表示解耦，给出了优雅的即插即用闭环解。
纯推理期免训练特性：无需对 10 亿级视频扩散主干进行昂贵的长上下文微调或蒸馏，仅通过拦截 KV 缓存的读写逻辑，便以近乎零的额外显存和极低推理延迟（单步仅增加约 4%~5% 耗时）实现了长程一致性。
统一的结构化稀疏注意力视角：从数学上证明了连续平均场与稀疏地标是结构化稀疏注意力投影矩阵在不同查询分布下的两极最优解，为后续记忆机制设计奠定了坚实理论框架。

局限与展望¶

受限于预训练主干本身的单步能力：WorldTrace 作为推理期缓存优化手段，生成的单帧清晰度、物理碰撞逻辑与动作遵循完全受限于底层模型，无法修复基础主干固有的运动模糊或几何瑕疵。
地标容量受限与淘汰策略简陋：固定 $N_s$ 个槽位使得系统在极长且复杂的漫游路径中只能保留有限数量的地标，FIFO 淘汰机制可能会过早遗弃初始场景。未来可引入基于相机位姿几何关联或重访概率预测的智能地标自适应更新机制。
缺乏几何显式约束：目前检测依赖规范键余弦距离，在相机纯旋转或弱纹理快速移动场景下可能出现地标漏检或冗余记录，结合 SLAM 或 3D 点云的几何感知键有望进一步突破界限。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示自回归视频世界模型中 RoPE 寻址越界与相位抵消耦合瓶颈，提出免训练虚拟位置赋权机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖长程推演、LoopBench 多拓扑重访、四维消融以及跨模型跨尺度架构验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学论证与物理直觉衔接自然，问题定位极具启发性。
价值: ⭐⭐⭐⭐⭐ 为解决交互式世界模型、游戏引擎与具身机器人模拟器长程视觉漂移难题提供了关键通用范式。

评估任务 / 配置	评估指标	滑动窗口基线 (Sliding Window)	WorldTrace (本文)	相对增益 / 优势
长程推演 \(N=32\) 块	TempSSIM (↑)	0.571	0.613 (Field)	+7.4% 连贯性提升
长程推演 \(N=48\) 块	TempSSIM (↑)	0.472	0.545 (Field)	+15.5% 连贯性提升
长程推演 \(N=48\) 块	Scene Drift (↓)	0.0305	0.0295 (Field)	场景漂移最低
LoopBench ABA 拓扑 (\(N=16\))	PAC / TempSSIM	0.723 / 0.761	0.864 / 0.786 (Landmark)	PAC 提升 +19.5%
LoopBench ABCA 拓扑 (\(N=17\))	PAC / TempSSIM	0.673 / 0.740	0.792 / 0.758 (Landmark)	PAC 提升 +17.7%
LoopBench ABCDA 拓扑 (\(N=16\))	PAC / TempSSIM	0.666 / 0.748	0.799 / 0.771 (Landmark)	PAC 提升 +20.0%