Image2Sim: Scaling Embodied Navigation via Generative Neural Simulator¶

会议: NeurIPS 2026
arXiv: 2607.05765
代码: https://github.com/MrZihan/Image2Sim
领域: 机器人
关键词: 具身导航, 神经模拟器, 3D高斯泼溅, 像素流模型, 数据引擎

一句话总结¶

Image2Sim 解耦了 3D 空间锚定与拟真观测合成，通过前向特征高斯与单步几何感知像素流构建实时神经模拟器，并搭建包含碰撞感知运动规划与 VLM 标注的自动化数据引擎，生成千万级多模态导航数据，实现了零样本跨模拟器与真机泛化突破。

研究背景与动机¶

具身导航（Embodied Navigation）要求智能体在未知 3D 物理空间中理解多模态指令、执行长程空间推理并鲁棒抵达目标。近年来，大语言模型与视觉基础模型展现了数据规模扩展（Data Scaling）带来的能力涌现，但在具身导航领域，类似的规模法则却因高质量、物理对齐且可交互的三维环境极度匮乏而遭遇严重瓶颈。传统训练数据主要面临视觉保真度与可扩展性之间的根本权衡：真实扫描场景（如 Matterport3D、HM3D）几何真实且布局自然，但采集与人工清洗成本高昂，场景总量长期停留在数百到数千量级；程序化合成环境（如 ProcTHOR、AI2-THOR）虽易于大规模扩充，却受限于不真实的资产纹理与布局统计，存在显著的 Sim-to-Real 鸿沟。

新兴的生成式视频世界模型虽能合成极具视觉冲击力的逼真图像，但往往缺乏持久的 3D 几何刚性约束与显式碰撞结构，无法支撑可靠的闭环具身交互；而基于 NeRF 或 3D 高斯泼溅（3DGS）的神经场景重构方法，又大多依赖高耗时的单场景逐个优化，或者前向重建模型在面对稀疏视角、传感器深度噪声与遮挡盲区时会产生大量几何空洞与伪影。现有管线将三维几何重构与视觉合成紧密耦合在单一机制中，导致规模、物理真实感与视觉质量不可兼得。

本文的核心切入点是将「3D 空间几何锚定」与「光度拟真观测合成」显式解耦：利用前向 3D 特征高斯在单次前向传播中快速建立具有度量尺度的持久几何与语义骨架，再利用由 3D 投影引导的单步像素流（Pixel Flow）生成模型补全未知区域并消除伪影。核心 idea：将神经模拟器解耦为前向 3D 特征高斯空间锚定与几何感知单步像素流补全，并构建闭环碰撞感知的自动化具身数据引擎，从海量被动图频中挖掘出近 2 万个交互场景与超千万条高质量导航样本。

方法详解¶

整体框架¶

Image2Sim 的核心目标是将海量无标注或弱标注的被动式 RGB-D 图频数据直接转化为支持物理交互、动作执行与观测渲染的神经模拟器 $\mathcal{S}=\{\mathcal{G},\mathcal{M},\mathcal{R}_{\theta}\}$。整个系统分为三个紧密协同的阶段：首先，通过前向特征高斯编码器将位姿观测单次前向提升为持久化 3D 场景表征 $\mathcal{G}$；其次，在任意查询视角下执行各向异性泼溅投影，并送入基于透明度门控的单步像素流渲染器 $\mathcal{R}_{\theta}$，在约 40 FPS 的高帧率下输出全景 RGB-D 观测；最后，基于重构的几何稠密栅格构建可行走拓扑图 $\mathcal{M}$，驱动白盒碰撞感知运动引擎与 VLM 指令生成管道，自动化合成海量具备可执行动作的导航训练轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入数据<br/>多源位姿 RGB-D / 视频序列"] --> B["阶段 1：前向特征高斯场景构建<br/>双流特征提取 + 空间反投影与去噪"]

    subgraph S1["持久化 3D 神经场景表征"]
        direction TB
        B --> C1["3D 特征高斯场景 G<br/>空间坐标/旋转/尺度/不透明度/紧凑语义"]
        B --> C2["稠密体素可通行图 M<br/>RANSAC 地面拟合 + EDT 障碍物安全边界"]
    end

    C1 --> D["阶段 2：单步像素流渲染与透明度门控<br/>全景各向异性投影 + Alpha 门控流动模型"]
    C2 --> E["阶段 3：碰撞感知运动模拟与轨迹规划<br/>KD-Tree 邻域射线步进 + 纯追踪平滑控制器"]

    D --> F["阶段 4：自动化具身数据引擎<br/>宏步里程计分块 + Qwen3-VL-32B 跨模态指令生成"]
    E --> F

    F --> G["多模态导航数据集<br/>20K 交互场景 / 10M+ 视-语-动三元组"]

关键设计¶

1. 前向特征高斯场景构建与语义几何像素提升：解耦单场景优化，实现秒级大尺度三维空间锚定

传统 3D 高斯泼溅需数十分钟的逐场景反向梯度优化，根本无法扩展至数万个场景的大规模构建。Image2Sim 提出了一种全前向双流特征编码器：语义流冻结预训练的 DINOv3 (ViT-L/16) 骨干提取 $H/16$ 分辨率下的全局语义 Patch Token；细节流则拼接 RGB 图像、度量深度、基于 $5\times 5$ Sobel 算子平滑估计的表面法向量以及格式不可知的相机光线方向图（Ray-direction Map，统一兼容针孔与等距柱状全景投影）。双流特征经过 PixelShuffle 上采样与集成 ConvNeXt-V2 逆瓶颈结构的 PanoBlock 深度融合，直接预测每个高斯元 $g_j=(\boldsymbol{\mu}_j, \mathbf{s}_j, \mathbf{q}_j, \alpha_j, \mathbf{c}_j, \mathbf{f}_j)$ 的中心、各向异性尺度、法向量对齐的残差旋转四元数、不透明度、颜色与 16 维语义特征。高斯中心 $\boldsymbol{\mu}_j$ 由度量深度反投影后通过体素下采样确定，从而在无优化的情况下天然固定在真实度量空间中。

给定目标全景位姿 $p$，场景高斯元被前向泼溅为包含颜色 $\tilde{\mathbf{I}}_p$、深度 $\tilde{\mathbf{D}}_p$、紧凑语义 $\tilde{\mathbf{F}}_p$、累积不透明度 $\tilde{\mathbf{A}}_p$ 与光线方向 $\mathbf{R}_p$ 的条件张量 $\mathbf{C}_p$。为了确保特征空间的物理语义一致性，语义对齐网络 $\Phi$ 将投影张量映射为 1024 维 Token，并与目标视角的真实 DINOv3 视觉 Token 计算余弦相似度损失： $$\mathcal{L}_{\mathrm{align}}=\left(1-\frac{\Phi(\mathbf{C}_{p})\cdot\mathbf{S}_{p}}{\|\Phi(\mathbf{C}_{p})\|_{2}\|\mathbf{S}_{p}\|_{2}}\right)\odot\mathbf{M}^{\prime}_{p}$$ 该设计使高斯不仅记录几何，还为后续的神经修补提供了强先验空间布局锚点。

2. 几何感知单步像素流渲染与透明度门控：融合显式投影与生成补全，消除稀疏盲区伪影

纯 3DGS 在相机轨迹偏离较远或遭遇未观测区域时，会产生大量黑洞与拉伸伪影；而无约束扩散生成模型又易发生几何漂移。Image2Sim 提出了基于透明度门控的概率流模型。首先依据累积不透明度 $\tilde{\mathbf{A}}_p$ 构建空间自适应噪声尺度 $\Sigma(\tilde{\mathbf{A}}_p) = \tilde{\mathbf{A}}_p \cdot \sigma_{\mathrm{small}} + (1 - \tilde{\mathbf{A}}_p) \cdot \sigma_{\mathrm{large}}$，生成输入源状态： $$\mathbf{z}_{\mathrm{src}}=\tilde{\mathbf{A}}_{p}\odot\tilde{\mathbf{X}}_{p}+\Sigma(\tilde{\mathbf{A}}_{p})\odot\boldsymbol{\epsilon},\qquad\boldsymbol{\epsilon}\sim\mathcal{N}(0,\mathbf{I})$$ 在高置信度区域（$\tilde{\mathbf{A}}_p \approx 1$），输入完全锚定在投影观测上且仅加微小扰动；在未观测区域（$\tilde{\mathbf{A}}_p \approx 0$），输入蜕化为纯高斯噪声并交由生成模型填补。

U-Net 结构的去噪骨干集成了 8 层 Transformer 瓶颈层，并通过 SPADE 机制注入 DINOv3 语义 Token。在解码器的跳层连接中，模型舍弃传统直接连接，设计了 AlphaGatedSkip 模块：通过多尺度平均池化得到金字塔门控掩码 $\alpha$，利用卷积预测门控权重 $g = \sigma(W_{\mathrm{gate}}[F_{\mathrm{dec}} \oplus F^{\prime}_{\mathrm{enc}} \oplus \alpha])$，输出混合特征 $F_{\mathrm{out}} = g \odot F^{\prime}_{\mathrm{enc}} + (1 - g) \odot F_{\mathrm{dec}}$。权重卷积层 $W_{\mathrm{gate}}$ 采用零初始化并施加 $+2.0$ 的常数偏置，使得初始阶段 $g \approx 0.88$，强制模型在训练初期完全信赖三维高斯投影结构，显著加速收敛并杜绝无中生有的幻觉。

3. 动量自蒸馏与连续时间 MeanFlow 训练：实现单步极速生成，打破多步扩散交互延迟瓶颈

为了满足在线交互与 RL/DAgger 策略训练的高频需求，Image2Sim 抛弃了传统 20-50 步的扩散反向采样，引入连续时间 MeanFlow 形式，直接训练网络预测从源噪声状态到目标观测的一步传输平均速度 $u_{\theta}$。定义线性概率路径 $\mathbf{z}_t = (1 - t)\mathbf{X}_p + t \mathbf{z}_{\mathrm{src}}$（$t=0$ 为真实全景，$t=1$ 为源状态），目标平均速度为 $\mathbf{v}_{\mathrm{target}} = \mathbf{z}_{\mathrm{src}} - \mathbf{X}_p$。网络预测去噪图像 $\mathbf{x}_{\theta}$，瞬时速度场定义为： $$\mathbf{u}_{\theta}=\frac{\mathbf{z}_{t}-\mathbf{x}_{\theta}}{\max(t,\varepsilon)},\qquad \mathbf{V}_{\theta}=\mathbf{u}_{\theta}+(t-r)\frac{d\mathbf{u}_{\theta}}{dt}$$ 其中全导数 $\frac{d\mathbf{u}_{\theta}}{dt}$ 通过前向模式雅可比-向量积（JVP）高效求解并施加梯度截断（stop-gradient），完全免除了高阶反向传播的巨大计算开销。流匹配损失按透明度逆加权 $\mathbf{W}(\tilde{\mathbf{A}}_p)$，将梯度的 90% 以上聚焦在未观测盲区。

针对单步生成在严重遮挡区域容易产生结构模糊的问题，系统构建了一个参数基于学生网络 EMA（衰减率 $\gamma=0.999$）更新的动量教师网络。教师网络直接输入由真实全景 RGB-D 构成的特权源状态 $\mathbf{z}_{\mathrm{gt}}$，并在解码器多个层级指导学生： $$\mathcal{L}_{\mathrm{distill}}=\sum_{k\in\mathcal{K}}\tilde{w}_{k}\left[1-\frac{\mathbf{f}_{k}^{S}\cdot\mathbf{f}_{k}^{T}}{\|\mathbf{f}_{k}^{S}\|_{2}\|\mathbf{f}_{k}^{T}\|_{2}}+\beta\|\mathbf{f}_{k}^{S}-\mathbf{f}_{k}^{T}\|_{2}^{2}\right]$$ 通过将教师网络干净的潜在空间流形蒸馏给单步学生网络，Image2Sim 实现了在单张 RTX 4090 上以 40+ FPS 的帧率生成 $512\times 1024$ 高保真全景 RGB-D 观测。

4. 白盒几何感知运动模拟与自动化指令生成数据引擎：打通从被动重构到可交互物理训练闭环

具备拟真视觉不等于可以进行导航交互。Image2Sim 构建了一套严格遵循真实物理与运动学约束的白盒仿真引擎：利用 Mask2Former 分割可通行区域（地面、走道等），结合 RANSAC 地面平面拟合并消除垂直法向杂点，将点云离散化为 0.05m 的 3D 体素。利用欧氏距离变换（EDT）生成障碍物净空安全场，并通过 GPU 并行射线步进（Ray Marching）构建可行走拓扑图 $\mathcal{M}=(\mathcal{V},\mathcal{E})$。全局路径规划采用惩罚贴墙走的安全距离代价函数，并通过 5 点滑动窗口与 Pure Pursuit 纯追踪控制器生成平滑轨迹，严格模拟智能体碰撞反弹、沿墙滑动以及卡死判定机制。

在语言对齐层面，为了弥合底层动作（如前移 0.25m）与人类高层语言之间的颗粒度鸿沟，数据引擎依据里程计将轨迹聚合为语义宏步（移动 1.0m、转弯 45° 或遇到 STOP），并截取关键视角的 180° 超广角观测序列。输入 Qwen3-VL-32B 跨模态大模型后，模型首先输出 REASONING 模块自检轨迹是否存在穿模、卡死或视觉穿帮，合格后根据解耦提示矩阵分别输出三种分布均衡的指令：细粒度路径跟随（R2R 风格）、目标导向（REVERIE 风格）和真实用户需求（Demand 风格），从源头杜绝指令单一性。

损失函数 / 训练策略¶

Image2Sim 采用三阶段递进式课程学习（Curriculum Learning），使用 8 张 A6000 Ada GPU 累计迭代 400K 步： 1. 阶段 1：几何初始化（0 - 100K 步）：关闭自蒸馏，聚焦高斯编码器几何与语义重构，$\lambda_{\mathrm{rec}}=0.1$，$\lambda_{\mathrm{align}}=0.1$，$\lambda_{\mathrm{perc}}=1.0$。 2. 阶段 2：像素流与自蒸馏联合训练（100K - 300K 步）：激活 EMA 教师网络，$\lambda_{\mathrm{distill}}=2.0$，提高感知损失权重至 $\lambda_{\mathrm{perc}}=2.0$，像素流加入防色彩饱和退化的惩罚项。 3. 阶段 3：高频细节精炼（300K - 400K 步）：完全冻结编码器、特征上采样器、语义对齐器及 Transformer 瓶颈层，仅优化卷积解码器细节，$\lambda_{\mathrm{perc}}=4.0$。

整体联合损失函数定义为： $$\mathcal{L}_{\mathrm{total}}=\lambda_{\mathrm{rec}}\mathcal{L}_{\mathrm{rec}}+\lambda_{\mathrm{align}}\mathcal{L}_{\mathrm{align}}+\lambda_{\mathrm{flow}}\mathcal{L}_{\mathrm{flow}}+\lambda_{\mathrm{distill}}\mathcal{L}_{\mathrm{distill}}+\lambda_{\mathrm{perc}}\mathcal{L}_{\mathrm{perc}}$$

下游导航智能体 Image2Nav 基于 Qwen3-VL-4B-Instruct 构建，采用 64 张 H20 GPU 训练。先通过 70K 步离线行为克隆（BC）进行冷启动，再通过 10K 步在线 DAgger 交互进行混合策略微调，有效缓解了长程复合误差。

实验关键数据¶

主实验¶

为了验证 Image2Sim 神经模拟器生成数据的质量与物理真实性，作者构建了基于 Qwen3-VL-4B 的导航基线 Image2Nav。值得特别注意的是：所有对比基线均在 Habitat 模拟器内部进行训练和评估；而 Image2Nav 仅在 Image2Sim 神经模拟器中训练，随后零样本（Zero-Shot）直接迁移部署至 Habitat 评估。在连续环境单目视觉输入设置下，各基线在 R2R-CE、RxR-CE 和 REVERIE-CE 验证集上的表现如下表所示。

方法	模态输入 (RGB/D)	R2R-CE NE↓	R2R-CE SR↑	R2R-CE SPL↑	RxR-CE SR↑	RxR-CE SPL↑	REVERIE-CE SR↑	REVERIE-CE SPL↑
NaVid	RGB	5.47	37.4	35.9	-	-	26.6	20.8
Uni-NaVid	RGB	5.58	47.0	42.7	48.7	40.9	-	-
NaVILA	RGB	5.22	54.0	49.0	49.3	44.0	-	-
Dynam3D	RGB+D	5.34	52.9	45.7	-	-	40.1	28.5
NavFoM	RGB	5.01	56.2	51.2	57.4	49.4	-	-
StreamVLN	RGB+D	4.98	56.9	51.9	52.9	46.0	-	-
D3D-VLP	RGB+D	4.73	61.3	56.1	-	-	47.5	34.7
JanusVLN	RGB	4.78	60.5	56.8	56.2	47.5	-	-
InternVLA-N1	RGB+D	4.83	58.2	54.0	53.5	46.1	-	-
EfficientVLN	RGB	4.18	64.2	55.9	67.0	54.3	-	-
DualVLN	RGB	4.05	64.3	58.5	61.4	51.8	-	-
Image2Nav (90° Pinhole, 本文)	RGB	3.96	66.3	61.5	65.1	54.7	49.1	37.0
Image2Nav (180° Pano, 本文)	RGB	3.71	70.3	65.6	70.7	59.1	53.7	42.7

主实验结果清晰表明，即便面临神经渲染到网格渲染的巨大 Domain Shift，Image2Nav 依然超越了全部在 Habitat 域内原生训练的最强基准（如 DualVLN 与 EfficientVLN）。在 180° 超广角设置下，成功率达到了惊人的 70.3%（SPL 65.6%），证明由大规模逼真环境孕育的导航策略具备极其坚实的空间推理与泛化能力。

消融实验与规模扩展¶

在神经渲染器层面，下表展示了针对像素流架构各组件在 Matterport3D-360 场景下的消融表现：

配置	LPIPS ↓	PSNR ↑	SSIM ↑	渲染 FPS ↑	机制说明与消融分析
完整模型 (All settings)	0.428	20.15	0.521	37.5	完整多模块协同，单步生成兼顾高保真与交互实时性
w/o 像素流模型 (仅 3DGS 投影)	0.518	17.75	0.438	80.3	严重退化；纯高斯无法修补稀疏视角导致的空洞与缺失面
w/o 语义特征对齐	0.449	18.36	0.459	42.9	去掉 DINOv3 空间注入后，盲区修补缺乏高层结构语义约束
w/o Alpha 门控跳层融合	0.447	18.57	0.506	37.5	缺失对 3D 几何置信度的区分，导致错误像素覆盖了可靠几何
w/o 动量自蒸馏机制	0.453	19.84	0.518	37.5	单步流匹配缺乏特权干净潜特征指导，弱观测区伪影增多

为了探究具身数据的扩展法则（Scaling Law），下表记录了在基础人类标注数据（R2R + RxR）上叠加不同规模 Image2Sim 合成样本对 R2R-CE 零样本迁移性能的影响：

训练数据规模	导航误差 (NE) ↓	容错成功率 (OSR) ↑	成功率 (SR) ↑	路径长度加权成功率 (SPL) ↑
基础数据 (Habitat R2R + RxR)	5.53	53.8	46.1	41.3
+ Image2Sim 1M 合成样本	4.87	65.4	56.9	49.5
+ Image2Sim 5M 合成样本	4.18	70.0	63.8	55.9
+ Image2Sim 10M 合成样本	3.96	72.9	66.3	61.5

在新视点合成（Novel-View Synthesis）跨数据集对比中，Image2Sim 在 RealSee3D-Real 高噪声激光雷达深度场景中，以 45.6 FPS 维持了 17.43 PSNR 和 0.470 SSIM，远优于仅依靠前向高斯的 AnySplat（15.23 PSNR, 0.415 SSIM），且相比多步生成模型 DiT360（0.3 FPS）与 SE3DS（3.4 FPS）具备超过 13 倍到 150 倍的推理速度优势。

在真实机器人 Hello Robot Stretch 3（配备 Intel RealSense D435i，远程 RTX 4090 算力）进行的零样本实体测试中，在包含客厅、厨房、会议室与办公室的完全未见物理环境中，Image2Nav 在路径跟随任务中达到 11/20 成功率（基线 JanusVLN 与 DualVLN 均为 8/20），在目标导向任务中达到 9/20 成功率（DualVLN 仅 5/20），充分证实了从高质量神经模拟器到真实世界部署的有效可迁移性。

关键发现¶

数据规模呈强劲的对数线性扩展：从 1M 到 10M 样本，导航成功率从 56.9% 一路跃升至 66.3%，未见性能饱和迹象。与单纯针对固定场景进行文本改写的数据扩充不同，Image2Sim 实现了「真实场景拓扑多态性、物理可行轨迹、视角渲染观测、多样化指令」的四维协同扩展。
解耦设计是兼顾保真度与交互性的关键：纯高斯泼溅重建受制于传感器噪声与稀疏孔洞，而纯生成模型受制于慢速多步推理和 3D 不一致。Alpha 门控与单步 MeanFlow 机制将二者优势完美融合，在保证度量刚性的同时消除了视觉残缺。
目标导向任务真机增益最为显著：在真机测试中，目标导向导航（Goal-oriented）的成功率较最强基线提升了近一倍（9/20 vs. 5/20），印证了数据引擎中基于开放词表与逆文档频率（IDF）的长尾物体挖掘机制对现实语义接地的巨大价值。

亮点与洞察¶

显式几何锚定与隐式生成修补的分工原则：用 3DGS 解决空间刚性与度量连贯性，用单步 Pixel Flow 解决外观幻觉与空洞补全。该思路完美规避了世界模型常见的漂移问题，对三维场景生成极具启发。
零初始化偏置（$W_{\mathrm{gate}}$ 偏置置 $+2.0$）的工程巧思：在训练初期使 AlphaGatedSkip 连接具有 $\approx 0.88$ 的高门控先验，迫使网络先学会完全依托高斯三维投影，再平滑过渡到利用生成分支补全缺陷，极大地稳定了对抗流匹配的训练动态。
具身数据规模法则（Scaling Law）的真正使能者：揭示了当前具身导航模型泛化受限的核心瓶颈不在于网络架构，而在于交互环境的多样性；通过神经模拟技术盘活全球互联网浩瀚的被动视频，是实现具身智能基础模型的数据飞轮通道。

局限与展望¶

动态物理交互与接触动力学缺失：当前模拟器主要聚焦于刚性可通行性与碰撞检测，尚未建模可操作物体位移、铰接机构（如开关门窗）以及复杂接触力学，限制了其向移动操作（Mobile Manipulation）领域的延展。
单步像素流在极端视点下的结构妥协：为了在 RTX 4090 上维持 40 FPS 的实时交互，模型压缩了网络容量，在极度缺乏视角观测的大尺度多房间转角处，依然可能生成细节模糊或结构轻度扭曲的纹理。
VLM 自动化标注的潜在语言偏差：尽管引入了基于里程计的宏步分块与风格路由，生成式语言大模型偶尔仍可能产生细微的指代偏差或对不可见背景特征的虚构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙解耦三维高斯空间锚定与单步像素流生成补全，首创可闭环物理交互的大规模全自动化具身神经模拟引擎。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20K 场景、10M 样本扩展法则分析、跨模拟器零样本评估、消融实验以及 Hello Robot 真机部署，证据链极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，数学推导清晰，附录给出了完整的工程实现细节与超参数设定。
价值: ⭐⭐⭐⭐⭐ 为具身导航乃至通用智能体提供了将互联网无尽图像/视频转化为交互环境的范式，对推动具身 Scaling Law 具有里程碑意义。