RAE-NWM: Navigation World Model in Dense Visual Representation Space¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/20robo/raenwm
领域: 机器人/具身智能
关键词: 导航世界模型、密集视觉表示、流匹配、时间门控、图像目标导航

一句话总结¶

RAE-NWM 把动作条件导航预测搬到冻结的 DINOv2 空间，以 CDiT-DH 和随生成时间变化的动作门控改善长时结构稳定性，在 Habitat 达到 78.95% 成功率，但路径效率和纹理敏感场景仍有取舍。

研究背景与动机¶

机器人用世界模型导航时，预测视频不是最终产品，而是评价动作的依据：向前走或转弯后，门口、墙边和目标位置是否变化得合理，比单帧是否漂亮更重要。NWM 这类方法通常在 VAE 潜在空间中模拟动作后的观察，再用预测结果进行规划。VAE 以重建图像为目标，压缩过程中保留下来的信息未必最适合递推运动；短时重建不错，也可能在多次预测后出现结构漂移，使规划器依据错误的未来选择动作。

本文沿着表示选择来改进这一基线。DINOv2 的空间 patch 特征包含较强的语义与几何信息，但它们维度高，也不能仅凭语义识别能力就断言适合动力学。作者先冻结不同编码器，只训练线性动力学探针，用当前特征及相对动作预测未来特征，并以全局决定系数 \(R^2\) 衡量可预测性。DINOv2 优于 VAE、MAE、SigLIP 和 ResNet50；打乱 DINOv2 token 的空间顺序后，优势明显缩小。这提供了与空间结构相关的经验依据，而不是宣称 DINOv2 已经拥有精确的物理模型。

因此，问题转为如何在高维特征中稳定地生成未来，并让动作约束在不同生成阶段发挥适当作用。单纯换编码器仍会留下高维预测难优化、控制信号与细节生成相互干扰的问题。核心 idea：保留密集空间表示，在其中训练动作条件生成动力学，并用解耦预测头和时间门控支持连续滚动；规划直接比较特征，不把像素重建误差再带回状态循环。

方法详解¶

整体框架¶

输入是若干历史第一人称 RGB 帧、相对平面运动和预测间隔；输出是未来观察对应的 DINOv2 patch tokens。动作包含两个平移分量和偏航角，预测间隔则说明该动作跨越多长的未来范围。模型先建立密集状态表示，经时间门控动作条件控制 CDiT-DH 特征生成，最后在表示空间内滚动与规划。

编码器和预训练 RAE 解码器始终冻结，学习发生在二者之间的动力学网络。解码器只服务于可视化与像素指标，生成状态送回历史窗口、候选动作评分等步骤均不需要它。因此，“生成未来图像”与“用未来状态控制机器人”共享预测器，却不是同一条必须逐帧解码的计算路径。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史 RGB 帧"] --> B["密集状态表示"]
    U["动作与预测间隔<br/>生成时间"] --> C["时间门控动作条件"]
    B --> D["CDiT-DH 特征生成"]
    C --> D
    N["高斯噪声与<br/>ODE 积分"] --> D
    T["真实未来特征<br/>与噪声构成的速度"] -.->|仅训练监督| D
    D --> E["表示空间滚动与规划"]
    E -->|更新历史窗口| D
    E --> F["候选轨迹评分<br/>执行动作"]
    E --> G["冻结 RAE 解码器<br/>仅可视化与像素评测"]

图中的训练监督不是推理输入：测试时看不到真实未来帧，必须由预测 token 持续更新上下文。生成时间与机器人运动时间也要分开理解，前者表示当前去噪过程处于哪个阶段，后者由预测间隔描述。

关键设计¶

1. 密集状态表示：让预测器保留空间位置上的语义与几何线索

冻结 DINOv2，舍弃全局分类 token，仅保留 \(16\times16=256\) 个 patch tokens，每个 token 为 768 维，再把历史帧的这些特征组织为上下文。这里的“未压缩”指沿用视觉编码器的密集 patch 表示，不再经过 VAE 式潜在压缩；它不表示逐像素无损，也不意味着 token 数一定多于 VAE。事实上，作者配置中动力学 token 数少于 NWM，但每个 token 的表示维度较高。

线性探针的作用是检验这一步是否值得：只允许对当前状态和动作做可学习线性变换，再预测未来状态，避免让一个强生成器掩盖表示本身的差别。\(R^2\) 衡量预测残差相对于目标总变异的大小，越高表示线性模型能解释越多未来变化；空间打乱对照进一步提示优势不能只归因于“知道这是走廊”。不过，这仍是数据上的可预测性证据，不能代替闭环成功率，也没有证明所有场景中的真实动力学都是线性的。

2. 时间门控动作条件：随生成阶段调整运动信号的注入强度

相对动作、预测间隔和连续生成时间分别经过 Gaussian Fourier embedding。动作与间隔嵌入拼接后送入 MLP，形成描述“要怎样移动、预测多远”的动力学条件；生成时间另走一条分支，经过线性层、SiLU 和 Sigmoid 产生逐元素门控，再与时间嵌入相加形成全局条件。它通过自适应层归一化（AdaLN）影响生成网络，而历史视觉上下文通过交叉注意力进入，两种条件各有入口。

\[ \mathbf{c}=\mathbf{t}_{\mathrm{emb}}+g(\mathbf{t}_{\mathrm{emb}})\odot\mathbf{c}_{\mathrm{dyn}}. \]

直观上，高噪声阶段应先确定机器人动作导致的整体布局变化，低噪声阶段再细化局部结构；若整个过程使用固定强度相加，动作条件可能过弱或持续干扰细节。门控值被限制在 0 与 1 之间，但由训练学习，而不是人为规定必须单调变化。论文的“先强后弱”是设计动机，正文没有足够的门控曲线细节支持把它写成已经证明的普遍规律。

3. CDiT-DH 特征生成：把深层条件建模与高维速度预测分开

CDiT 接收带噪的未来 token，加入二维正弦余弦位置编码，利用自注意力建模空间依赖，并以历史帧 token 为键和值做交叉注意力。上一步得到的全局条件经 AdaLN 注入各层，使网络既知道过去看到了什么，也知道当前假设的动作。深层主干输出的是上下文化特征，不直接承担高维 token 空间的最终速度回归。

最终预测交给浅而宽的解耦扩散 Transformer 头（DDT head）。该头重新嵌入带噪输入，由主干特征通过空间 AdaLN 调制，并结合生成时间输出速度场。这样分工的理由并不是额外模块总能提高性能，而是直接让常规主干预测高维 DINOv2 特征难以优化：移除 DDT 后，长时 LPIPS 甚至超过使用 SD-VAE 编码器的消融版本。本文借用 RAE/DDT 的结构原则，将其适配到历史观察与动作条件下的导航动力学。

4. 表示空间滚动与规划：预测状态直接续写，也直接用于评价动作

每次预测从高斯噪声开始，在历史上下文与动作条件引导下，通过常微分方程（ODE）求解器得到干净的未来表示；新表示加入滑动历史窗口，再预测下一步。这里没有“解码成图像，再编码回特征”的循环，因而不会在每轮引入额外的重建损失。需要展示预测视频时，才调用冻结 RAE 解码器。这也使特征空间中的误差评测能够检查改善是否仅来自解码器。

规划使用交叉熵方法（CEM）：每轮采样 120 条候选动作序列，为每条执行 8 步表示空间滚动，以预测特征和目标图像特征的距离评价候选，再选出轨迹执行。距离定义为对应 patch 的归一化 DINOv2 token 之间余弦距离的平均值，越低表示特征越接近目标。它不是距离目标的米数，也不是显式碰撞概率，因此特征目标一致性仍须用闭环导航验证；正文未给出全部 CEM 迭代和候选重拟合超参数，不据此猜测完整实现。

一个完整示例¶

设机器人位于走廊，目标图像拍摄于前方转角之后。当前若干 RGB 帧先变为每帧 256 个、每个 768 维的 token；CEM 的某一轮提出 120 条未来动作序列，其中一条先向前，再转弯。这是帮助理解的数据流示例，不是论文新增的测试案例。

对该候选的第 1 个预测间隔，模型同时接收当前历史、相对平移与偏航、预测间隔，并从噪声积分生成下一状态。生成时间控制的门控决定动作条件如何影响这一轮去噪，DDT 头则完成高维速度预测。输出 token 加入历史窗口后，第 2 步看到的是包含预测状态的上下文；按同样方式完成 8 步，误差也可能逐次累积，因此表示稳定性才与规划直接相关。

其他候选走完同样流程后，以目标图像的 DINO 特征进行评分，选出动作并执行。闭环场景中，下一环境步会获得新的真实观察，再次规划，而不是执行前一直相信整段虚拟未来。整个动作选择过程无需生成可供人观看的 RGB 视频，解码只是旁路。

损失函数 / 训练策略¶

流匹配训练把真实未来特征与标准高斯噪声进行线性插值，让网络预测沿该路径的速度。用原文可读部分的记号表示，干净目标位于 \(t=0\)，纯噪声位于 \(t=1\)：

\[ \mathbf{z}^{(t)}=(1-t)\mathbf{z}^{(0)}+t\mathbf{z}^{(1)},\qquad \mathbf{u}^{(t)}=\mathbf{z}^{(1)}-\mathbf{z}^{(0)}. \]

训练要求条件预测速度匹配这个目标速度；推理则从 \(t=1\) 向 \(t=0\) 反向积分。缓存中的原文公式 (6) 排版损坏，因此这里不把猜补的完整期望损失写成作者精确公式。确定性 DINO-Reg 对照改为直接对未来 DINO tokens 做均方误差（MSE）回归，用来区分“选择了好表示”和“使用生成式转移目标”各自的作用。

真实数据实验将 SACSoN/HuRoN、RECON、SCAND 的训练划分合并训练一个模型，并分别在留出的轨迹上测试。Habitat 另用 Matterport3D 中收集的 1,000 条轨迹训练，测试未见轨迹；划分以轨迹为单位，不能进一步解读为已证明跨场景零样本泛化。编码器与解码器均冻结，只优化中间转移模型。详细训练超参数被正文指向补充材料 A，而当前缓存没有该补充材料，因此不补写训练步数、学习率或 ODE 步数。

实验关键数据¶

主实验¶

表 1 摘录原文表 2，比较上述真实数据留出轨迹上至多 2 秒的轨迹预测/规划。ATE 衡量整条预测轨迹的绝对偏差，RPE 衡量相对运动误差，均越低越好；原表未在表头标明单位，以下保留原值，不擅自标成米或角度。DINO-Reg 与本文保持表示空间及导航协议一致，但它不是完整的 DINO-WM 复现。

模型	SACSoN ATE	SACSoN RPE	RECON ATE	RECON RPE	SCAND ATE	SCAND RPE
GNM	3.71	1.00	1.87	0.73	2.12	0.61
NoMaD	3.73	0.96	1.95	0.53	2.24	0.49
NWM	4.12	0.96	1.13	0.35	1.28	0.33
DINO-Reg	3.14	0.75	1.46	0.36	1.44	0.33
RAE-NWM	2.91	0.70	1.36	0.37	1.14	0.28

SACSoN 的 ATE 从 NWM 的 4.12 降至 2.91，约下降 29.4%；但 RECON 上 NWM 的 1.13/0.35 优于本文的 1.36/0.37。不能把 SACSoN 的收益概括为所有数据集上的一致领先。

表 2 摘录原文表 3，为 Habitat/Matterport3D 图像目标导航。回合平均长度为 8 米，停止位置在目标 1 米内算成功。SR 是成功比例，SPL 是按路径长度加权的成功率，同时惩罚失败与绕路；二者均越高越好。

方法	SR (%)	SPL (%)
NoMaD	16.67	15.13
OmniVLA	36.67	34.78
NWM	43.33	38.66
One-Step WM	72.67	69.10
RAE-NWM	78.95	63.58

相对 One-Step WM，本文 SR 高 6.28 个百分点，但 SPL 低 5.52 个百分点。作者认为单步生成在固定计算预算下更容易评估较长规划轨迹，而本文的迭代生成更偏向提高成功率；这是解释，不是已隔离所有规划预算变量的因果结论。

开放环路还区分了两种设置：原文表 1 直接跳到 SACSoN 的 16 秒未来，RAE-NWM 的 LPIPS/FID 为 0.349/15.90，NWM 为 0.470/33.06；原文图 6 则按 4 FPS 逐步滚动至 16 秒。前者绕过中间状态，用于考察远期动作控制，不能与后者的累计误差混为一谈。LPIPS 是感知距离，FID 比较生成与真实图像的特征分布，均越低越好。

消融实验¶

表 3 摘录原文表 4，在 SACSoN 上固定主体模型，比较动力学条件注入方式；ATE/RPE 的含义与表 1 相同。结果支持学习门控的贡献，而不是仅由 DINOv2 表示带来全部改善。

条件注入方式	ATE	RPE
Simple Addition	3.34	0.79
MLP Fusion	3.54	0.83
Scheduled Gate	3.31	0.78
Learned Gate	2.91	0.70

相对 Simple Addition，学习门控将 ATE 减少 0.43、RPE 减少 0.09。表 1 的 DINO-Reg 对照则表明，生成式目标在三个数据集上都降低 ATE，但 RECON RPE 为 0.37，略差于确定性回归的 0.36；不能宣称流匹配在全部指标上占优。

关键发现¶

长时结构稳定性不等于高频纹理保真度。RECON 静态编码解码的 FID 为 SD-VAE 4.14、DINOv2+RAE 5.47，说明即使不预测动力学，后者也存在纹理重建代价。
计算统计有明确边界：生成主干为 350M 对 NWM 的 1B，动力学 token 为 256 对 784；单张 A800 上动力学前向耗时 19.4 对 28.8 ms。这不是包含 CEM 多候选、多步积分的端到端控制时延。
原文 RECON 的 16 秒滚动 LPIPS 存在口径未解释的差异：第 5.2 节写 0.458，第 6 节写终点 0.472；笔记保留该差异，不替作者统一为单个精确数值。

亮点与洞察¶

先用便宜的动力学探针筛选表示，再训练昂贵生成器。空间打乱对照把“语义强”与“空间排列有助于预测”区分开，提供了比重建图像好看更贴近控制需求的设计依据。
生成表示、评价表示和递推状态使用同一空间。这样能减少解码误差在规划闭环中的传播，但仍需独立任务指标检验该空间是否偏爱自身输出。
动作条件不必在整个生成过程中固定强度。门控把生成时间变成调度控制信息的依据，是可迁移到其他动作条件特征生成任务的设计，而非导航专用动作编码。

局限与展望¶

作者明确指出高频随机纹理的损失，RECON 短时轨迹结果也暴露了这种取舍；未来可研究保留局部纹理线索而不破坏长期结构的表示。
作者承认没有完全匹配模型规模训练。表示、架构与容量同时变化，350M 模型优于 1B 基线不等于已单独证明表示选择是全部收益来源。
作者将加速迭代滚动列为未来方向。更高 SR 伴随低于 One-Step WM 的 SPL，意味着控制系统不能只优化单一成功率。
笔记观察：DINO 距离既用于规划又用于部分评测，可能偏向本文表示；LPIPS、FID 和闭环导航缓解了这一担忧，但不能替代更全面的真实机器人闭环与独立几何评测。当前正文没有报告可据以估计显著性的置信区间。

评分¶

新颖性: 4/5。表示空间、生成动力学与时间门控结合得合理，但关键基础组件已有前作。
实验充分度: 4/5。覆盖真实轨迹、模拟闭环及多项消融，仍缺规模完全匹配和真实机器人闭环证据。
写作质量: 4/5。动机到架构的链条清楚，但部分数值口径和补充材料依赖影响复核。
价值: 4/5。对视觉导航世界模型的状态选择很有参考价值，部署仍需权衡时延、路径效率和纹理损失。