Predicting Consequences and Reinforcing Navigation Policies with Latent World Models

会议: ECCV 2026
论文: ECCV 原文
代码: https://wzm206.github.io/latent-world-model-nav/
领域: 机器人/具身智能
关键词: 潜在世界模型, 机器人视觉导航, 反事实推演, 隐空间兼容性预测, 策略强化学习

一句话总结

本文提出了一种基于隐空间兼容性预测的潜在世界模型（LWM），摒弃高成本的未来像素/特征重构，直接预测动作后果与目标状态的几何兼容性，并在世界模型内部实现了无标注视频监督学习与无交互策略强化（GRPO）。

研究背景与动机

自主机器人视觉导航要求智能体在物理执行动作前预先推演其未来后果。世界模型（World Models）通过从离线交互数据中学习环境动态转移先验，为智能体提供了在内部“试错推演”、策略评估与无交互优化的有效途径。然而，当前主流的导航世界模型大多走生成式重构路线（如 NWM 等基于视频扩散模型的方法，或 Dino-WM 等特征重构方法），其核心目标是根据历史观察与当前动作去复现未来高维画面或特征图。这种重构范式不仅计算极其昂贵、存在长程自回归误差累积，更关键的是将宝贵表征容量浪费在了任务无关的环境背景细节上。

现有生成式世界模型的另一核心矛盾在于离线数据的“单动作事实性”与决策规划所需的“反事实评估”之间的结构性脱节。在离线轨迹数据集中，给定时刻的当前观察在事实上只对应一条真实的执行动作轨迹；但导航规划的核心要求是评估未曾发生的备选动作序列（反事实推演）。传统的重构目标无法直接对跨轨迹采样的备选动作给予有效的监督信号，容易在未见动作分布上产生幻觉，同时难以捕捉微小的空间位移与几何约束。

本文切入的角度基于机器人导航的一个基础物理先验：在空间度量上距离目标越近的物理状态，其潜在特征相似度越高。因此，世界模型根本无需重构逼真的未来像素，只需预测任意动作序列执行后所达状态与目标在隐空间的兼容度（Compatibility）。核心 idea：摒弃未来观测重构，构建以跨轨迹反事实动作为输入的隐空间兼容性预测世界模型（LWM），利用对数空间距离映射引导自回归推演，并将世界模型内化为奖励函数，直接在无标注视频上实现策略伪标签监督与纯隐空间 GRPO 强化学习。

方法详解

整体框架

LWM 的整体框架涵盖三大阶段：潜在世界模型的反事实训练、利用世界模型对无标签视频赋予动作伪标签进行模仿学习，以及在世界模型内部利用 GRPO 进行纯“想象”策略强化。在世界模型推演时，输入当前观测图像 \(o_t\)、候选动作序列 \(A_{t:t+K-1}\) 以及目标图像 \(o_g\)。视觉编码器抽取特征后，因果 Transformer 解码器在隐空间自回归预测动作执行后的未来隐状态，最后由判别模块输出与目标的兼容性分数 \(C\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前观测 ot + 目标 og + 动作序列 A"] --> B["1. 隐空间兼容性预测<br/>自回归解码器预测未来状态特征"]
    B --> C["2. 跨轨迹反事实训练<br/>负对数欧氏距离映射伪标签回归"]
    C --> D["3. 无标注视频伪标签策略监督<br/>聚类动作库检索最优兼容序列"]
    D --> E["4. 纯隐空间GRPO策略强化<br/>自回归生成新序列并由LWM提供奖励"]
    E --> F["输出高精度导航控制动作"]

关键设计

1. 隐空间兼容性预测：以任务导向表征替代高维观测重构

针对传统世界模型对未来高维像素或稠密特征进行逐点重构带来的误差累积与计算瓶颈，本文将推演完全收敛至低维隐空间。视觉编码器 \(E_o\) 将当前观测与目标映射为补丁特征 \(z_t^o \in \mathbb{R}^{N_p \times D}\)，动作序列 \(A_{t:t+K-1}\) 经由 MLP 动作编码器 \(E_a\) 映射为因果动作 token。因果 Transformer 解码器根据当前状态特征与历史因果动作，自回归推演未来 \(K-1\) 步的隐状态特征 \(\hat{\mathbf{z}}_{t+1:t+K}^s\)。判别网络随后直接计算推演特征与目标特征 \(z^g\) 的兼容度标量 \(C\)。在执行规划时，更可将目标提示提前注入观测编码中（即 \(z_t^o = E_o(o_t, o_g)\)），使注意力机制从一开始便聚焦于通往目标的相关特征。

2. 跨轨迹反事实训练：对数空间距离映射注入密集几何监督

由于离线数据集中单帧观测仅配有一条真实执行动作，模型若仅在真实动作上优化则完全丧失了对非真实反事实动作序列的评价能力。本文从轨迹库的其他轨迹中随机采样 \(M_{\text{counter}}\) 条跨轨迹候选动作序列，与当前真实动作一并送入世界模型进行推演。若简单采用对比学习 Info-NCE 损失，虽然能将真实动作与其他动作二元区分开，却完全忽略了动作空间连续的几何度量关系。为此，本文设计了负对数空间距离映射标签：

\[C_{\text{label}}(A_j^{(i)}, A_{\text{gt}}) = -\log\left(d(a_j^{(i)}, a_{\text{gt}}) + \epsilon\right)\]

其中 \(d(\cdot, \cdot)\) 为终止状态间的空间欧氏距离，\(\epsilon\) 为平滑常数。负对数变换将物理度量距离映射为高灵敏度的兼容性密度，对小尺度的空间位移偏差施加极其陡峭的惩罚，强迫世界模型敏锐区分真实动作与空间接近的“硬负样本”（Hard Negatives），并采用均方误差损失 \(\mathcal{L} = \text{MSE}(C, C_{\text{label}})\) 进行平滑拟合。

3. 无标注视频伪标签策略监督：将判别式世界模型转化为动作标注器

真实机器人场景中获取稠密动作标注极为昂贵，但被动式第一人称巡航视频极易获取。为利用大规模无标注视频，本文通过 \(K\)-means 聚类预先构建了覆盖空间运动基元的候选动作集 \(\mathcal{A}_c\)（包含 \(M_c = 64\) 个离散动作序列）。给定视频中的观测-目标对 \((o_t, o_g)\)，将 \(\mathcal{A}_c\) 中所有候选动作输入冻结的 LWM 进行前向兼容性评分，选取兼容性最高（预测到达位置离目标最近）的序列作为伪标签动作：

\[\mathcal{L}_{\text{policy}} = -\sum_{i=t}^{t+K_{\text{pre}}} \log \pi_\theta(a_i \mid o_t, o_g, a_{<i})\]

通过离散 token 自回归交叉熵损失，导航策略在无真实控制指令标注的情况下，学会了从视觉直接映射到动作序列。

4. 纯隐空间 GRPO 策略强化：摆脱候选集限制的闭环能力跃迁

经离散候选集伪标签模仿训练的初始策略受限于有限的 64 个聚类模板，表达能力和泛化性存在瓶颈。本文将训练好的 LWM 判别模块作为内置奖励模型，使策略直接在隐空间内实现自举。给定当前观测与目标，策略模型 \(\pi_\theta\) 自主采样生成 \(M_{\text{gen}}\) 条全新的连续动作 token 序列；LWM 预测执行每条生成动作后的终态特征并打出兼容度标量 \(r_i\)。在组内对奖励做均值与标准差归一化得到优势估计 \(A_i = (r_i - \text{mean}(\mathbf{r})) / \text{std}(\mathbf{r})\) 后，采用 GRPO 目标函数联合截断重要性权重与 KL 散度惩罚进行策略更新：

\[\mathcal{L}_{\text{GRPO}} = -\frac{1}{M_{\text{gen}}} \sum_{i=1}^{M_{\text{gen}}} \left( \min\left( \frac{\pi_\theta(\mathbf{a}_i)}{\pi_{\text{ref}}(\mathbf{a}_i)} A_i, \; \text{clip}\left(\frac{\pi_\theta(\mathbf{a}_i)}{\pi_{\text{ref}}(\mathbf{a}_i)}, 1-\epsilon, 1+\epsilon\right) A_i \right) - \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) \right)\]

整个策略强化过程完全在 LWM 的隐空间“想象”中完成，不依赖与真实环境的任何额外物理交互，成功突破了冷启动模仿的数据分布边界。

损失函数 / 训练策略

世界模型训练使用平滑对数欧氏距离的均方误差损失 \(\mathcal{L}_{\text{WM}} = \text{MSE}(C, C_{\text{label}})\)，采用 AdamW 优化器，学习率为 \(1\times 10^{-4}\)。无标注视频策略模仿使用自回归交叉熵损失 \(\mathcal{L}_{\text{policy}}\)。隐空间策略强化学习使用带有参考策略约束的 GRPO 损失，其中动作序列采用离散增量 token（64 个聚类中心），最大预测步长 \(K=64\) 帧。

实验关键数据

主实验

实验在两大公开数据集（RECON、SCAND）及作者自采的真实机器人数据集（LWM，涵盖校园、住宅区与公园 60 万平方米）上展开评估。世界模型性能通过位置误差（PE，单位米）、方向误差（OE，单位弧度）以及在 3 个和 5 个候选动作中的辨别准确率（ACC3, ACC5）衡量。

数据集	方法	PE ↓ (m)	OE ↓ (rad)	ACC3 ↑ (%)	ACC5 ↑ (%)
RECON	NWM (CVPR 2025)	7.222	1.279	40.97	27.23
RECON	Dino-WM (ECCV 2024)	5.937	1.254	84.05	73.92
RECON	LWM-S (本文轻量版, 49M)	1.896	0.377	85.34	79.20
RECON	LWM-B (本文基础版, 217M)	1.283	0.394	91.45	87.50
RECON	LWM-B-P (本文目标提示版)	1.264	0.425	93.10	88.14
SCAND	NWM	5.534	0.623	41.66	26.04
SCAND	Dino-WM	3.993	0.212	41.96	24.35
SCAND	LWM-B-P (本文)	0.651	0.122	83.93	70.98
LWM数据集	NWM	5.710	0.884	42.43	26.26
LWM数据集	Dino-WM	4.687	0.705	55.40	40.40
LWM数据集	LWM-B-P (本文)	1.122	0.125	90.60	83.80

此外，在真机跨 6 个实景导航场景部署中，以到达目标 0.5 米以内判定成功（SR）并测量终态观测与目标图像的感知差异（LPIPS）： - NoMaD (扩散策略基线): 成功率 33.3%, 最小 LPIPS 0.448 - BC (行为克隆基线): 成功率 33.3%, 最小 LPIPS 0.566 - LWM-B-P (本文框架): 成功率 66.7%, 最小 LPIPS 0.396（成功率翻倍）

消融实验

1. 反事实动作候选数 \(M\) 的影响（在 SCAND 数据集上使用 LWM-B-P）

反事实候选数 \(M\)	PE ↓ (m)	OE ↓ (rad)	ACC3 ↑ (%)	ACC5 ↑ (%)	说明
\(M=1\) (无反事实，仅真实轨迹)	2.239	0.668	34.19	23.83	无法辨别替代动作后果，误差显著
\(M=2\)	1.234	0.327	61.86	44.55	引入反事实推演，性能大幅跳升
\(M=4\)	1.128	0.293	64.76	52.33	增加推演样本丰富度
\(M=8\)	1.008	0.263	65.28	46.11	空间位移估计持续平稳下降
\(M=16\) (默认完整模型)	0.890	0.147	70.46	58.54	全面实现最优的连续空间推演精度

2. 损失函数形式的消融（在 LWM 自采数据集上）

训练目标配置	PE ↓ (m)	OE ↓ (rad)	ACC3 ↑ (%)	ACC5 ↑ (%)	说明
Contrastive loss (Info-NCE)	1.298	0.124	36.00	25.60	离散二元区分，丧失连续空间几何度量
Contrastive + Ranking loss	1.186	0.212	85.40	80.60	相对排序引入粗粒度序关系，有改善
MSE (直接拟合欧氏距离)	1.129	0.209	86.40	79.00	连续回归，但在近距离区域敏感度不足
MSE with \(-\log\) (本文)	1.122	0.125	90.60	83.80	对微小空间偏差呈高敏锐度，分类与定位最优

关键发现

• 生成重构与决策判别存在严重错配：NWM 虽能合成逼真视频，但在用作规划打分时误差最高（RECON 上 PE 高达 7.222m，ACC5 仅 27.23%），证实视觉画面的合理性并不等于几何动力学一致性。
• 反事实数量与密集监督至关重要：当反事实候选数由 \(M=1\) 增至 \(M=16\) 时，SCAND 上的位置误差由 2.239m 骤降至 0.890m，ACC3 从 34.19% 跃升至 70.46%，表明模型必须在负样本探索中建立对未见动作后果的敏感边界。
• 自举式强化学习实现跨域泛化：经过 LWM 内置 GRPO 强化的策略不仅在室外开阔场地表现稳健，在未包含在训练集中的室内封闭走廊与房间场景中，依然能从多个未见起点稳定导航至目标，展现出几何空间层面的零样本泛化能力。

亮点与洞察

• “预测后果而非重构世界”的范式精简：论文指出了机器人世界模型领域长期被视频扩散重构垄断的盲区，证明将动作推演约束于隐状态兼容性打分不仅训练推理轻巧百倍，而且在决策精度上全面碾压生成式基线。
• 基于物理几何先验的对数距离映射：巧妙地利用机器人空间位移的欧氏距离构建负对数连续兼容性标签，兼具对比学习对微小偏差的高灵敏度与回归任务的稠密空间拓扑感知。
• 从被动视频到主动策略的“闭环自举”闭环：以统一的 LWM 架构串联了世界模型构建、无动作视频伪标签生成以及隐空间无交互强化学习（GRPO），为低成本规模化具身智能训练提供了极具启发性的工程方案。

局限与展望

• 平面位移假设与高度自由度缺失：当前动作表征以地面轮式移动机器人的 2D 位移与偏航角 \((x, y, \theta)\) 为主，对于带有机械臂操作或高低起伏剧烈的三维越野/四足环境，空间兼容性建模有待扩展。
• 动态障碍物与因果交互的推演粒度：隐空间兼容度主要衡量静态场景几何接近度，当面临穿行行人、车辆等高度动态交互时，潜在空间表征可能丢失瞬时动态预测的精确时序约束。
• 长期跨步推演的复合累积：最大预测跨度为 64 帧（约 12.8 米），在超长距离探索导航中仍需与高层拓扑全局规划器协同工作。

相关工作与启发

• vs NWM (Navigation World Models, CVPR 2025): NWM 依靠大规模视频生成扩散模型逐帧重构未来观测画面，再用感知相似度 LPIPS 进行规划打分。本文指出像素重构存在严重的几何错配与计算浪费，LWM 直接在隐空间预测兼容度，速度大幅提升且在三个导航数据集上误差降低 70% 以上。
• vs Dino-WM (ECCV 2024): Dino-WM 在冻结的 DINO-v2 特征空间中做动作条件特征重构，但仍沿用重构损失且冻结视觉骨干，缺乏跨轨迹反事实动作监督。本文提出跨轨迹负对数距离回归与端到端任务自适应，决策准确率大幅超越 Dino-WM。
• vs NoMaD (Diffusion Policy Navigation): NoMaD 直接使用扩散策略从当前和目标图像去噪生成动作轨迹。本文不仅具备端到端策略推理能力，而且拥有可提供显式反事实推演评估的世界模型，真机实测成功率达 66.7% vs NoMaD 的 33.3%。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 颠覆纯观测重构范式，提出跨轨迹隐空间反事实兼容度预测及纯世界模型内闭环强化。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RECON、SCAND 与自采 60 万平米实测集，包含详尽预测对比、真机部署与多维消融。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，问题意识与方法动机极其清晰。
• 价值: ⭐⭐⭐⭐⭐ 为具身智能与机器人导航摆脱昂贵动作标注与高算力视频生成提供了极其实用、可扩展的新路线。

相关论文

• [ECCV 2026] Lifting Ego World Models for Planning and Control
• [ECCV 2026] LaMP: Learning Vision-Language-Action Policies with 3D Scene Flow as Latent Motion Prior
• [ECCV 2026] Towards Unified World Models for Visual Navigation via Memory-Augmented Planning and Foresight
• [ECCV 2026] LEAP-VLA: Latent-Enhanced Action Prototyping via Continuous Residual Latent Spaces for Vision-Language-Action Models
• [ICLR 2026] Latent Adaptation of Foundation Policies for Sim-to-Real Transfer