Drift-Resistant Navigation World Model with Anchored Epipolar Guidance¶

会议: NeurIPS 2026
arXiv: 2605.24761
论文: https://arxiv.org/abs/2605.24761
代码: https://vita-epfl.github.io/DR-NWM.io/
领域: 自动驾驶
关键词: 具身世界模型, 导航仿真, 感知漂移, 对极几何引导, 扩散Transformer

一句话总结¶

针对传统自回归导航世界模型在长时程推演中出现的误差累积（感知漂移）与视点失准（几何漂移），本文提出 DR-NWM，通过稀疏未来锚点引导的分块插值生成，并结合双向对极几何线相交注意力掩码，在无需显式 3D 监督的前提下实现了高保真、几何强约束的长程未来视角生成与下游规划提升。

研究背景与动机¶

世界模型作为物理环境动态的学习器，使具身智能体能够在执行动作前对未来视觉观测进行前瞻性模拟，因而在视觉导航与轨迹规划中扮演着核心仿真器的角色。导航任务天然依赖自车运动驱动的视角变化预测，传统做法通常采用单向自回归扩散模型（如 NWM），将前一步生成的含噪预测递归反馈作为后续步的输入条件。然而，单步微小生成瑕疵在长时程展开中被级联放大，导致预测画面在几秒后迅速模糊、失真甚至结构崩塌，即感知漂移（perceptual drift）。尽管部分研究尝试引入基于 rollout 采样的暴露训练，但其巨大的算力开销难以承受。

另一方面，现有世界模型普遍面临严重的几何漂移（geometric drift）：即便单帧画面在视觉感知上合理，其场景结构也往往偏离智能体实际执行的底层运动轨迹，缺乏物理几何刚性约束；且感知漂移造成的特征退化又会反过来加剧几何失真。现有赋予世界模型几何一致性的方案多依赖稠密深度图或三维点云等显式 3D 监督，标注获取成本高昂且难以泛化到非受控真实场景。这种“长程视觉崩塌”与“视点运动失准”交织的双重漂移，严重制约了世界模型在下游规划器（如 CEM、NoMaD）中的轨迹评估有效性。

受经典机器人先规划远距离子目标再细化中间步的层级思想启发，本文打破传统按时间步单向顺序自回归生成的固有范式。核心 idea：将未来预测重塑为两阶段锚点引导推演（Anchor-Guided Rollout），先跨步长预测稀疏未来全局锚点切断单步误差串联，再利用历史观测与未来锚点构建双向对极几何线交点掩码，将双向空间几何先验无监督地注入扩散注意力机制中。

方法详解¶

整体框架¶

DR-NWM 整体流水线将单步递归预测转化为“稀疏锚点跳跃预测 + 锚点间分块条件补全”。系统输入包括过去 $N$ 帧连续历史观测图像 $x_{-N+1:-1}$ 及未来动作序列 $a$。首先，模型以固定时间间隔跳跃生成远端稀疏锚点帧（Anchors），确立未来长时程场景演化的粗粒度骨架；随后，以相邻历史与未来锚点为双重视角边界，配合正向与逆向动作序列，驱动锚点条件扩散 Transformer（AC-DiT）并行生成各块（Chunk）内的所有中间帧。在此过程中，锚点间通过特征匹配与基础矩阵诱导的双向对极几何相交运算，生成空间交叉注意力掩码，约束中间帧特征查询与检索，实现无需 3D 标注的空间物理一致性生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史观测与动作序列<br/>x_-N+1:0, a_0:S"] --> B["稀疏未来锚点生成<br/>长距离大步长前向跳跃"]
    B --> C["双向对极几何计算<br/>LoFTR匹配 + 基础矩阵估计"]
    C --> D["双向对极交点掩码构建<br/>对极线相交 l_p x l_f 离散化"]
    D --> E["AC-DiT 分块帧补全<br/>正逆向动作 + 几何引导交叉注意力"]
    E --> F["时空连贯长程预测轨迹<br/>抗感知与几何双重漂移"]

关键设计¶

1. 稀疏锚点引导的分块推演（Anchor-Guided Rollout）：切断自回归级联累积 针对自回归单步递归递推导致的感知漂移痛点，本文将预测分解为两级层级结构。设选取的锚点步集合为 $\mathcal{K}=\{k_1, k_2, \dots, k_M\}$，相邻锚点间隔固定。模型首先根据完整的观测历史与对应的大跨度动作子序列，直接跳跃预测远端未来锚点： $$\hat{x}_{k_m} \sim p_\theta(x_{k_m} \mid x_{-N+1:-1}, a_{0:k_m})$$ 在锚点固定后，整个视界被划分为若干局部块 $(k_{m-1}, k_m)$。生成块内中间帧 $\hat{x}_m^{\text{chunk}}$ 时，条件同时绑定过去的锚点 $c_m^{\text{past}}=\hat{x}_{k_{m-1}-N-1:k_{m-1}}$ 与未来的锚点 $c_m^{\text{future}}=\hat{x}_{k_m}$，并结合正向动作 $a_m^\rightarrow=a_{k_{m-1}:k_m}$ 和逆向反转动作 $a_m^\leftarrow=a_{k_m:k_{m-1}}$： $$\hat{x}_m^{\text{chunk}} \sim p_\theta(x_m^{\text{chunk}} \mid c_m^{\text{past}}, c_m^{\text{future}}, a_m^\rightarrow, a_m^\leftarrow)$$ 这种设计将长程开放式生成收敛为若干短距离“双向端点插值”，消除了中间帧误差向后递归反馈的路径，从根源上控制了感知漂移。

2. 双向对极几何相交掩码（Bidirectional Epipolar Masking）：无 3D 监督的空间定位 纯扩散模型因缺少显式空间几何先验而频发几何漂移。过去观测与未来锚点实质上构成了对同一三维场景的两个视点，若场景点 $X$ 在过去视点 $I^{\text{past}}$ 投影为 $p^{\text{p}}$，在未来视点 $I^{\text{fut}}$ 投影为 $p^{\text{f}}$，则在目标中间帧 $I^{\text{goal}}$ 中，该点必然分别位于过去和未来视点诱导的两条对极线上： $$\mathbf{l}_j^{\text{p}\rightarrow\text{g}} = F_{\text{p}\rightarrow\text{g}} \tilde{\mathbf{p}}_j^{\text{p}}, \qquad \mathbf{l}_j^{\text{f}\rightarrow\text{g}} = F_{\text{f}\rightarrow\text{g}} \tilde{\mathbf{p}}_j^{\text{f}}$$ 两条对极线在目标视图内的交点即严格确定了该场景点在中间帧的准确成像位置： $$\tilde{\mathbf{z}}_j = \mathbf{l}_j^{\text{p}\rightarrow\text{g}} \times \mathbf{l}_j^{\text{f}\rightarrow\text{g}}$$ 本文使用 LoFTR 提取稀疏匹配点并借助 RANSAC 鲁棒估计基础矩阵 $F$。将交点 $\tilde{\mathbf{z}}_j$ 离散化映射至 Transformer 的潜在空间 Patch 网格（$14\times 14$ 共 196 个空间 token），构建二值注意力掩码 $M_{\text{past}}, M_{\text{fut}} \in \{0, 1\}^{L \times L}$。在交叉注意力计算中，掩码强制目标 token 仅与其在几何上严格对应的源 token 进行交互，对于缺乏可靠匹配的行则保持全开放注意力以防错误几何假说破坏生成。此外，引入基于 RANSAC 内点数的置信度门控 $r_{\text{triplet}}$ 与沿时间维度的指数滑动平均平滑，保障了几何掩码在块内的时序稳定性。

3. 锚点条件扩散 Transformer（AC-DiT）：多重条件与几何交互集成 为无缝融合标量动作时序条件、端点特征与几何掩码，AC-DiT 将标准扩散骨干扩展为多重约束插值架构。在标量嵌入层面，前向与反向动力学状态采用正弦编码经两层 MLP 映射为 $\psi_a, \psi_t, \psi_k$ 及反向项 $\psi_{a^{-1}}, \psi_{k_f}$，组合为标量条件 $\xi = \xi_{\text{base}} + \gamma_{\text{cond}} \xi_{\text{fut}}$。在特征层级，去噪 token 首先经过自注意力（Self-Attention）与 $\xi$ 融合，随后分别通过过去交叉注意力（PA）与未来交叉注意力（FA）注入端点特征，几何掩码直接作用于注意力分数矩阵上： $$z^{(1)} = \tilde{z} + \gamma_{\text{past}} \text{PA}(\tilde{z}, z^{\text{past}}; M_{\text{past}}, \xi)$$ $$z^{(2)} = z^{(1)} + \gamma_{\text{fut}} \text{FA}(z^{(1)}, z^{\text{fut}}; M_{\text{fut}}, \xi)$$ 最后配合时间轴上的 Chunk Attention（CA）完成时序关联：$z^{(3)} = z^{(2)} + \gamma_\tau \text{TA}(z^{(2)}; K)$。所有新增分支均配以零初始化可学习门控参数（$\gamma=0$），确保在训练初始阶段完美继承预训练骨干的生成能力，并在优化过程中平滑习得双向几何约束。

损失函数 / 训练策略¶

模型采用标准去噪扩散均方误差损失（MSE Loss）进行端到端优化，输入包括带噪中间目标块 $x^{(t)}$、扩散时间步 $t$ 及包含过去观测、未来锚点与双向动作的上下文条件 $c$： $$\mathcal{L} = \mathbb{E}_{x, \epsilon, t} \left[ \left\| \epsilon - \epsilon_\theta(x^{(t)}, t, c) \right\|_2^2 \right]$$ 骨干网络以在 Ego4D 上充分预训练的 CDiT/XL 权重初始化，新增的锚点条件模块、时间关联层与几何注意模块随机初始化。训练采用 AdamW 优化器，学习率设为 $8 \times 10^{-6}$，Batch Size 为 4，在 NVIDIA A100 GPU 上微调。

实验关键数据¶

主实验¶

评估在四个具身导航基准数据集上展开：RECON（室外真实机器人探索）、SCAND（室内社交导航）、HuRoN（含动态行人的密集人机环境）和 TartanDrive（复杂越野地形与高速大视差场景）。图像分辨率统一为 $224 \times 224$。

在长时程感知漂移（视觉生成质量）和几何漂移（几何对齐误差与多视角一致性）上的核心对比如下表所示：

数据集	时程	指标	EgoWM	NWM (基线)	本文 (DR-NWM)	相对提升
RECON	4s	LPIPS ↓	0.651	0.448	0.385	+14.1%
RECON	4s	FID ↓	165.93	70.93	58.35	+17.7%
RECON	16s	FID ↓	365.81	112.68	76.90	+31.8%
SCAND	4s	LPIPS ↓	0.601	0.473	0.401	+15.2%
SCAND	4s	FID ↓	187.58	85.05	76.43	+10.1%
SCAND	16s	FID ↓	330.71	131.26	100.42	+23.5%
HuRoN	4s	FID ↓	195.75	114.40	87.46	+23.5%
HuRoN	16s	FID ↓	313.41	141.70	112.33	+20.7%
TartanDrive	4s	FID ↓	158.65	68.39	54.25	+20.7%
TartanDrive	16s	FID ↓	325.25	107.09	78.56	+26.6%

下表展示了几何漂移关键指标（对极距离 ED、桑普森误差 SE，以及基于 DUSt3R 重建变形特征差异的 MEt3R 多视点一致性）的定量对比：

数据集	跨度/时程	几何指标	EgoWM	NWM (基线)	本文 (DR-NWM)	表现说明
RECON	4s	ED (对极距离) ↓	19.34	9.80	8.93	视点变化更符合运动学
RECON	4s	SE (桑普森误差) ↓	277.52	75.28	65.09	满足对极约束程度显著提升
RECON	16s	SE (桑普森误差) ↓	204.85	107.14	80.83	长程几何刚性保持优异
SCAND	16s	SE (桑普森误差) ↓	49.69	33.09	17.66	误差近乎减半 (-46.6%)
HuRoN	16s	SE (桑普森误差) ↓	91.75	191.26	108.71	人群杂乱场景下大幅领先
TartanDrive	16s	SE (桑普森误差) ↓	63.89	94.32	55.96	剧烈颠簸下几何依然鲁棒
RECON	4s Skip	MEt3R ↓	-	0.463	0.416	多视角特征一致性更强
SCAND	4s Skip	MEt3R ↓	-	0.510	0.439	视角过渡平滑
TartanDrive	4s Skip	MEt3R ↓	-	0.532	0.466	远景大尺度视角更协调

在冻结下游规划器算法（采样 32 条候选轨迹，4 秒规划时程）的前提下，DR-NWM 带来的预测质量提升直接转化为优异的规划精度：

数据集	规划算法配置	绝对轨迹误差 ATE ↓	终点位移误差 FDE ↓	相对位姿误差 RPE ↓	预测感知 LPIPS ↓
RECON	CEM + NWM	3.18	5.86	0.55	0.438
RECON	CEM + 本文 (DR-NWM)	2.78 (-12.6%)	5.15 (-12.1%)	0.51	0.398
RECON	NoMaD + NWM	2.97	5.38	0.52	0.448
RECON	NoMaD + 本文 (DR-NWM)	2.70 (-9.1%)	4.75 (-11.7%)	0.49	0.366
SCAND	CEM + NWM	2.49	4.34	0.37	0.506
SCAND	CEM + 本文 (DR-NWM)	2.30 (-7.6%)	3.99 (-8.1%)	0.35	0.483
SCAND	NoMaD + NWM	2.72	4.82	0.40	0.512
SCAND	NoMaD + 本文 (DR-NWM)	2.69	4.76	0.40	0.454

消融实验¶

表 5 和表 6 对推演策略以及 AC-DiT 的各核心组件进行了深度消融：

配置	未来锚点 (Future)	对极掩码 (Epi. Mask)	分块建模 (Chunk)	桑普森误差 SE (平均) ↓	平均 LPIPS ↓	平均 FID ↓	说明
纯自回归 (AR基线)	×	×	×	60.76	0.392	60.04	随时间累积误差，16s FID 飙升至 140.29
仅端点插值	✓	×	✓	62.88	0.390	59.46	视觉感知维持稳定，但几何约束不足
仅单向对极掩码	×	✓	✓	64.31	0.389	59.45	退化为弱点线约束，SE误差恶化
缺少分块联合训练	✓	✓	×	61.49	0.389	60.31	帧间缺乏时序平滑约束
完整模型 (DR-NWM)	✓	✓	✓	56.37	0.388	60.98	几何一致性最优，全区间表现最佳

关键发现¶

推演时序是感知漂移的决定性根因：单纯将一步步的自回归顺序替换为锚点引导的分块推演，在 16 秒长视界下的 FID 便从 140.29 锐减至 76.90（降低超 45%），证实了切断中间预测递归反馈是抑制感知崩塌的关键。
对极掩码与未来锚点互为充要互补：在消融实验中，若缺少未来锚点而单加对极掩码，几何误差不降反升（SE 从 60.76 恶化至 64.31）。这是因为只有同时具备历史与未来两幅真实/稳定视角，对极线才能形成唯一的点交点（$l^{\text{past}} \times l^{\text{fut}}$）；一旦缺失未来视角，约束退化为一条一维线投影，反而对注意力引入模糊噪声。
下游规划在低样本预算下获益最大：当采样轨迹数仅为 10 条时，DR-NWM 相比 NWM 的 ATE 降低最为显著（3.93 降至 3.69）；随着样本量扩大至 60 条，两者的规划差距因密集搜索而逐步收窄，表明高质量世界模型能在大幅削减规划采样算力成本的同时保持高精度轨迹决策。

亮点与洞察¶

将未来锚点从“终点目标”提升为“立体视觉基线”：以往分层规划或关键帧插值仅把未来帧视作时序终点，本文最具洞察之处在于敏锐捕捉到“过去锚点 + 未来锚点”正好构成双目/双视角立体视觉基线，使得单目世界模型在不需要任何外挂 3D/深度标签的情况下，能够借助两帧对极线相交精确解算出中间任意帧的空间像素投影。
注意力掩码形式的软硬兼顾：避免了将几何一致性写成严苛甚至不可导的几何 Loss，而是将几何相交点投影到注意力 Token 空间转化为 Cross-Attention 掩码，匹配可靠时引导特征聚合，不可靠时平滑回退至全局自注意力，兼具了几何刚性与扩散生成的表达灵活性。
即插即用迁移价值极高：这一机制对于具身操作（如机械臂长程规划）、自动驾驶未来世界仿真及长视频生成中的视角一致性保持均具有通用借鉴意义，展现出将多视几何经典理论注入现代 DiT 的巨大潜力。

局限与展望¶

动态物体的几何假设失效：对极几何相交理论基于静态刚体场景假设，尽管论文采用了轻量语义过滤与 RANSAC 剔除动态目标，但在人流密集或前景物体剧烈移动的环境中（如部分 HuRoN 场景），动态物体的中间生成依然缺乏显式几何引导。
大转弯与视场盲区下的特征匹配稀疏：当智能体执行大角度转向动作时，历史帧与未来锚点之间的视场重合度（FoV overlap）急剧萎缩，导致 LoFTR 提取的有效共视点数量锐减，系统不得不频繁降级回退至无几何掩码模式。
未来方向：探索与动态场景光流分解或可微多视几何渲染机制（如 3D Gaussian Splatting）的隐式绑定，进一步放宽对静态场景的依赖，并在锚点选择上引入自适应步长策略而非固定间隔。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [巧妙将双向立体视觉对极几何相交原理与扩散 Transformer 交叉注意力结合，颠覆了单目世界模型依赖显式 3D 监督的惯例]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 4 大具身数据集、从 1s 至 16s 全时程、兼顾感知漂移与几何漂移指标，并进行了扎实的下游规划闭环验证]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严密（附录几何证明严谨），问题分析透彻，图文逻辑自洽度极高]
价值: ⭐⭐⭐⭐⭐ [为解决长程世界模型漂移难题提供了兼具理论优美性与工程实效性的新范式，对具身智能仿真规划极具实用指导价值]