One Scan is Enough: Demonstration-Free Adaptation for Language-Guided Navigation¶

会议: NeurIPS 2026
arXiv: 2610.33794
OpenReview: https://openreview.net/forum?id=2YW1bwmi4r
领域: 机器人/具身智能
关键词: 具身导航, 视觉语言动作模型, 3D高斯泼溅, 免示范场景自适应, 帕累托效用强化学习

一句话总结¶

针对语言引导具身导航策略在新场景泛化困难且人工遥操示范成本高昂的瓶颈，提出仅凭单次手持扫描即可自动化生成任务数据并基于无CRITIC帕累托几何效用完成强化后训练的免示范自适应框架。

研究背景与动机¶

将视觉-语言-动作（VLA）模型部署于移动机器人并执行自然语言导航任务（如寻找特定物品、按路线行走或响应高层功能需求）是具身智能的关键目标。然而，在现有公开基准上表现优异的导航策略一旦脱离原有测试集、迁移到全新建筑场景时，性能往往急剧下滑。新环境不仅伴随着布局几何与视觉外观的巨大漂移，也伴随着用户提问和指令表述习惯的变化。传统的域自适应方法依赖于在目标场景中采集真实机器人的人工遥操示范轨迹，这种人工介入流程不仅极其耗时费力，也完全无法规模化扩展至包含海量住宅、办公室和公共设施的长尾现实场景中。

现存基于强化学习（RL）的导航自适应范式面临更深刻的系统性矛盾：若在未知场景中从头探索，必须依赖昂贵且难以泛化的学习型 Critic、奖励模型、海量试错采样以及细致的人工偏好标注；而离线模仿学习又死锁在人工示范采集的吞吐量瓶颈上。近期 3D 高斯泼溅（3DGS）虽能以被动扫描重建高保真神经辐射场并支持任意视角渲染，但以往工作仅将其当作被动模拟器，未能解决如何在新场景中自动构建可执行任务并提供高精度后训练反馈的问题。

本文的切入视角是：场景的单次被动扫描不仅能够提供逼真的第一人称视觉渲染，其内在几何结构本身便蕴含了自由空间、障碍物距离与可达参考路径等全部先验信息。核心 idea：通过 Scan2Instruction 将单次手持扫描直接编译为多类型多模态导航任务集，并设计无需学习 Critic 的 PRPT-KS 算法，将场景几何闭式投影为三维帕累托效用向量（进度、安全、停止），同步作为策略梯度、规划器干预准入检验与偏好对重加权信号，实现完全免人工示范的机器人导航场景自适应。

方法详解¶

整体框架¶

整体框架由针对连续轨迹导航 VLA（RealNav）的两大核心阶段构成：首先通过 Scan2Instruction 将 iPhone 采集的单次 RGB-D 扫描重构为外观与几何耦合的双层场景表征，并自动采样几何参考路径与合成多模态接地语言指令；随后通过 PRPT-KS 算法在已知几何中直接计算三维帕累托效用向量，无需任何学习型奖励模型或 Critic 网络，以闭式几何反馈驱动策略的强化后训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单次手持 iPhone 扫描数据<br/>RGB-D 视频 + LiDAR 深度"] --> B["场景双层表征构建<br/>3DGS 渲染层 + 自由空间几何层"]
    B --> C["Scan2Instruction 数据编译器<br/>几何路径规划 + MLLM 接地指令合成"]
    C --> D["RealNav 连续航路点导航模型<br/>Qwen3-VL 骨干 + 专用导航 Token + MLP 动作头"]
    D --> E["PRPT-KS 几何帕累托后训练<br/>三维闭式效用: 进度 / 安全 / 停止"]
    E --> F["真机无缝部署与泛化测试<br/>扫描区域与未扫描区域导航"]

关键设计¶

1. Scan2Instruction 场景任务编译器：将单次被动扫描转化为全套可执行接地任务

为了彻底摆脱人工遥操示范与人工打标签的流程瓶颈，Scan2Instruction 将被动扫描升级为可主动采样的训练任务生成器。系统首先将手持采集的 RGB-D 视频构建为双层场景表征：外观层使用带 LiDAR 深度约束与平面正则化的 3D 高斯泼溅（3DGS）重建，将投影面积过大的高斯球沿视线远推以杜绝视角遮挡伪影；几何层则通过沿障碍物高度截断高斯占用投影，经阈值处理、形态学腐蚀与连通性滤波生成可通行规划地图 $\mathcal{M}$，并导出连续避障距离场 $c(\mathbf{x}) = \min_{\mathbf{x}' \in \mathcal{O}} \|\mathbf{x} - \mathbf{x}'\|_2$。

在轨迹规划阶段，系统在连通域内采样起点并选择靠近物体的终点（保证 $c(\mathbf{x}) \le c_{\mathrm{goal}}$ 以便指令能够指代地标），利用带安全间隙惩罚的 $A^*$ 算法结合安全约束 RDP 抽稀生成无碰撞参考路径 $\tau^\star$。随后，系统调用预训练多模态大语言模型（MLLM），将带有未来橙色轨迹线渲染的第一人称视角帧与带红色地面圆环标记的终点图像输入 MLLM，在定制 Prompt 引导下一次性合成三类互相补充的任务指令：路线引导（Route following）、物体目标（Object Goal）与功能需求（Human Demand），从而在无人工示范前提下产出包含高质量语言、视觉观测与轨迹真值的训练集 $\mathcal{D}_{\mathrm{scene}}$。

2. 闭式三维几何帕累托效用：无 Critic 无奖励模型的精确场景监督

传统 RL 适应新环境时需训练 Critic 网络来预估回报，但在单场景中 Critic 极易因样本偏差导致价值高估与训练崩塌。PRPT-KS 发现，在场景几何已知的前提下，衡量一个动作优劣的物理指标完全可以被闭式解析。模型在状态 $s_t$ 下执行候选动作 $a$ 时，系统直接依据几何先验计算三维帕累托效用向量 $\mathbf{U}(s_t, a) = (U_{\mathrm{prog}}(s_t, a), U_{\mathrm{safe}}(s_t, a), U_{\mathrm{stop}}(s_t, a))$： - 进度效用 $U_{\mathrm{prog}}$：利用基于参考路径拓扑的高斯势函数势能差定义： $$\Phi_h(p_t) = R_s f(\rho_t) \exp(-\alpha \bar{\delta}_t)$$ 其中 $\rho_t$ 为最邻近路径节点的完成度百分比，$f(\cdot)$ 为仿射递增函数，$\bar{\delta}_t$ 为带死区阈值 $\delta_{\mathrm{dead}}$ 的路径偏离距离。单步进度效用即为贴现势能差 $U_{\mathrm{prog}}(s_t, a) = \gamma \Phi_h(p_{t+1}^a) - \Phi_h(p_t)$； - 安全效用 $U_{\mathrm{safe}}$：通过预测航路点集合 $\mathcal{E}(a)$ 与腐蚀自由地图 $\mathcal{M}$ 的几何交集严格判定： $$U_{\mathrm{safe}}(s_t, a) = -\lambda_{\mathrm{obs}} \mathbf{1}[\exists w \in \mathcal{E}(a): w \notin \mathcal{M}]$$ 一旦有任何航路点越界进入障碍区，直接给予固定安全惩罚 $-\lambda_{\mathrm{obs}}$； - 停止效用 $U_{\mathrm{stop}}$：当动作发出停止信号且终点位置距目标距离小于容差时给予一次性奖励： $$U_{\mathrm{stop}}(s_t, a) = R_{\mathrm{succ}} \mathbf{1}[a \text{ is a stop and } \|p_{t+1}^a - g\|_2 < r_{\mathrm{succ}}]$$

3. 帕累托效用的三合一复用机制：准入过滤、偏好重权与策略梯度

PRPT-KS 最具特色的设计在于将同一个几何效用向量 $\mathbf{U}$ 在训练循环中进行了三种不同维度的解耦与复用： - 准入检验与规划器介入（Admissibility Test）：在交互采样中，策略给出的动作 $a_t^{\mathrm{model}}$ 必须通过双轴硬性过滤：$U_{\mathrm{safe}}(s_t, a_t^{\mathrm{model}}) \ge 0 \wedge U_{\mathrm{prog}}(s_t, a_t^{\mathrm{model}}) \ge -\eta_A$。安全约束具有最高优先级，防止进度收益掩盖碰撞风险。一旦动作未通过检验，立刻由几何全局规划器生成的无碰撞安全动作 $a_t^{\mathrm{plan}}$ 介入替换，保证后训练采集安全高效并自动获得修正对比对； - 帕累托支配重加权偏好对（Dominance-Weighted Preferences）：被拒绝的模型动作与对应的规划器替代动作天然组成轨迹偏好对 $(a_t^{\mathrm{plan}}, a_t^{\mathrm{model}})$。系统依据严格帕累托向量支配关系 $\mathbf{U}(a_t^{\mathrm{plan}}) \succ_P \mathbf{U}(a_t^{\mathrm{model}})$（三项全大于等于且至少一项严格大于）设定不同权重：既支配又正确触发停止时赋予 $w_{\mathrm{high}}$，常规帕累托支配赋予 $w_{\mathrm{mid}}$，仅准入拒绝但未构成严格支配的赋予 $w_{\mathrm{low}}$，代入连续轨迹偏好优化目标 $\mathcal{L}_{\mathrm{pref}}$ 进行高效微调； - 标量优势标定（Scalar Advantage）：将三维分量直接线性相加 $A_t = U_{\mathrm{prog}} + U_{\mathrm{safe}} + U_{\mathrm{stop}}$，利用 GAE 聚合后进行峰值归一化，作为替代 Critic 的无偏优势估计直接驱动 PPO 风格的裁剪重要性采样策略梯度 $\mathcal{L}_{\mathrm{PG}}$。

损失函数 / 训练策略¶

RealNav 骨干网络冻结大部分视觉语言参数，采用高斯策略参数化输出连续局部航路点 $\pi_\theta(a_t \mid s_t) = \mathcal{N}(\mu_\theta(s_t), \Sigma)$。统一后训练联合目标由三部分构成： $$\mathcal{L} = \lambda_{\mathrm{PG}} \mathcal{L}_{\mathrm{PG}} + \lambda_{\mathrm{rep}} \mathcal{L}_{\mathrm{rep}} + \lambda_{\mathrm{pref}} \mathcal{L}_{\mathrm{pref}}$$ 其中 $\mathcal{L}_{\mathrm{rep}}$ 是在规划器专家缓冲区上构建的行为克隆锚定损失（防止策略更新在连续控制空间剧烈漂移并维持基础遵循能力），$\mathcal{L}_{\mathrm{PG}}$ 为由几何效用优势驱动的策略梯度损失，$\mathcal{L}_{\mathrm{pref}}$ 为由帕累托支配加权的成对偏好对比损失。训练采用轨迹长度由短至长的课程学习策略，并在协方差 $\Sigma$ 上施加余弦调度，全面保障无示范后训练的稳定性。

实验关键数据¶

主实验¶

在涵盖办公室（Office）、独栋小屋（Cottage）、教学楼（Teaching）及两间公寓（Apartment 1/2）等 5 个不同面积与几何复杂度的真实场景中进行评测。对比方法涵盖 3D 拓扑语义建图方法 DualMap，前沿连续 VLA 导航基准 NaVILA、Uni-NaVid、StreamVLN、OmniNav、CorrectNav，以及在各场景额外遥操采集 20 条人类专家轨迹进行监督微调的 baseline。

方法分类	方法	办公室 (Sim/Real)	小屋 (Sim/Real)	教学楼 (Sim/Real)	公寓1 (Sim/Real)	公寓2 (Sim/Real)	平均成功率 (Sim/Real)
建图基线	DualMap	0.32 / 0.17	0.22 / 0.13	0.17 / 0.10	0.35 / 0.17	0.33 / 0.17	0.28 / 0.15
导航 VLA	NaVILA	0.25 / 0.20	0.20 / 0.23	0.12 / 0.15	0.19 / 0.20	0.22 / 0.23	0.20 / 0.20
导航 VLA	Uni-NaVid	0.17 / 0.22	0.22 / 0.23	0.29 / 0.15	0.19 / 0.20	0.21 / 0.20	0.22 / 0.20
导航 VLA	StreamVLN	0.26 / 0.17	0.26 / 0.13	0.10 / 0.13	0.23 / 0.30	0.30 / 0.23	0.23 / 0.18
导航 VLA	OmniNav	0.26 / 0.22	0.19 / 0.20	0.19 / 0.23	0.27 / 0.27	0.25 / 0.20	0.23 / 0.22
导航 VLA	CorrectNav	0.13 / 0.18	0.14 / 0.23	0.18 / 0.25	0.36 / 0.27	0.29 / 0.20	0.22 / 0.22
人工示范微调	CorrectNav (human-demo-sft)	0.35 / 0.47	0.36 / 0.43	0.40 / 0.48	0.58 / 0.57	0.51 / 0.50	0.44 / 0.48
基础模型	RealNav (零样本未微调)	0.22 / 0.25	0.24 / 0.28	0.17 / 0.23	0.22 / 0.23	0.30 / 0.23	0.23 / 0.25
人工示范微调	RealNav (human-demo-sft)	0.37 / 0.48	0.34 / 0.45	0.42 / 0.45	0.56 / 0.57	0.49 / 0.53	0.44 / 0.49
本文方法	RealNav + PRPT-KS	0.79 / 0.78	0.93 / 0.95	0.81 / 0.83	0.85 / 0.87	0.87 / 0.87	0.85 / 0.85

为了严谨探究策略是否仅仅死记硬背了扫描区域的视角与路线，论文在完全未被扫描的全新物理房间与区域（从未出现在三维高斯重建与训练集中）进行了完全脱靶泛化测试：

方法分类	方法	办公室真机 SR	小屋真机 SR	教学楼真机 SR	公寓1真机 SR	公寓2真机 SR	全场景平均真机 SR
建图基线	DualMap	0.10	0.15	0.20	0.10	0.15	0.14
导航 VLA	NaVILA	0.15	0.20	0.20	0.10	0.25	0.18
导航 VLA	Uni-NaVid	0.20	0.30	0.15	0.20	0.25	0.22
导航 VLA	StreamVLN	0.25	0.20	0.30	0.20	0.15	0.22
导航 VLA	OmniNav	0.30	0.25	0.20	0.35	0.20	0.26
导航 VLA	CorrectNav	0.30	0.35	0.25	0.30	0.25	0.29
人工示范微调	CorrectNav (human-demo-sft)	0.45	0.40	0.35	0.45	0.35	0.40
基础模型	RealNav (零样本未微调)	0.25	0.30	0.20	0.20	0.15	0.22
人工示范微调	RealNav (human-demo-sft)	0.45	0.40	0.35	0.45	0.40	0.41
本文方法	RealNav + PRPT-KS	0.80	0.85	0.80	0.85	0.80	0.82

消融实验¶

在重建的高斯仿真场景中，对统一优化目标中的各项损失函数进行剥离消融：

配置	成功率 (SR) ↑	路径长度加权成功率 (SPL) ↑	导航终点误差 (NE, m) ↓	Oracle 成功率 (OS) ↑	说明
RealNav + PRPT-KS (完整模型)	0.85	0.834	1.42	0.88	完整优化目标
w/o 场景后训练 (Base RealNav)	0.23	0.210	3.50	0.27	无任何新场景适应
w/o 行为克隆锚定项 ($\lambda_{\mathrm{rep}}=0$)	0.30	0.293	3.49	0.41	移除规划器经验回放，策略出现严重漂移
w/o 帕累托效用优势项 ($\lambda_{\mathrm{PG}}=0$)	0.81	0.785	1.31	0.85	移除标量优势策略梯度更新
w/o 帕累托偏好优化项 ($\lambda_{\mathrm{pref}}=0$)	0.80	0.781	1.32	0.83	移除被拒绝动作的成对偏好微调

关键发现¶

行为克隆锚定项是自适应的基石：去除 $\mathcal{L}_{\mathrm{rep}}$ 后成功率从 0.85 崩塌式跌至 0.30，表明在缺乏真实大规模探索时，规划器生成的稳定参考轨迹重放对于维持连续航路点控制的物理可行性与语言对齐起到了定海神针的作用。
免示范自适应全面碾压人工示范：在 5 个真实场景中，RealNav + PRPT-KS 取得了 85% 的真机平均成功率，不仅相较未微调的 25% 带来巨大飞跃，更是彻底压制了需要耗费大量人工遥操成本收集示范轨迹的 RealNav (human-demo-sft, 49%) 与 CorrectNav (human-demo-sft, 48%)。
卓越的外推泛化能力：在完全未扫描区域的真机评估中，模型依然维持了 82% 的高成功率（对比基线人工微调的 41%），表明结合 3DGS 多视角渲染与几何约束的强化后训练成功习得了场景通用的空间语义导航策略，而非仅仅对特定路径进行视觉记忆。

亮点与洞察¶

将神经辐射场从“被动模拟器”转变为“主动任务编译器”：以往工作大多止步于在 3DGS 中进行轨迹回放或视线渲染，Scan2Instruction 创造性地融合了连续几何障碍物分析与 MLLM 提示工程，使得机器人在单次手持扫描后即自动获得成百上千条对齐严密的端到端任务集。
无 Critic 闭式几何帕累托反馈的精巧构思：传统 RL 在特定场景泛化时常苦于奖励工程与值函数估计不稳定，PRPT-KS 将进度势能、碰撞越界与停止判断正交拆解为三维帕累托向量，以同一个向量无缝串联了连续动作空间的准入拦截、成对直接偏好优化与标量优势估计，兼顾了理论自洽与工程鲁棒性。

局限与展望¶

作者承认的局限：场景扫描目前仍需要人类携带 iPhone 进行几分钟的手持采集；且静态 3DGS 表征对环境布局的重大几何变化较为脆弱，一旦家具大规模挪动则必须重新扫描。
实验设计与假设局限：当前实验主要针对室内相对结构化的环境，尚未涵盖室外超大尺度、光照剧烈变化或包含动态行人高频穿梭的复杂场景。
未来改进思路：可引入自主主动建图机制（Active Incremental Mapping），使机器人在日常巡航中自主检测当前视野与先验高斯表征的视觉-几何漂移，自动触发增量扫描与在线局部重训练，实现真正长周期的终身自适应导航。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次实现单次被动手持扫描驱动免示范语言具身导航自适应，将 3DGS 与闭式帕累托 RL 完美闭环]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 个真实物理场景、包含高斯仿真、真机部署、未扫描区域外推泛化与完整消融分析，说服力极强]
写作质量: ⭐⭐⭐⭐⭐ [问题定义严谨清晰，方法拆解条理分明，Mermaid 流水线与理论公式紧密契合]
价值: ⭐⭐⭐⭐⭐ [彻底粉碎了具身导航规模化落地中依赖每场景人工遥操示范的瓶颈，工程应用与学术启发价值极高]