LangMap: A Human-Verified Benchmark for Hierarchical Open-Vocabulary Goal Navigation¶

会议: NeurIPS 2026
arXiv: 2602.02220
代码: https://github.com/bo-miao/LangMap
领域: 机器人
关键词: 语言目标导航, 层次化语义目标, 具身基准, 对比式人工标注, 有界多样性记忆

一句话总结¶

提出了覆盖场景、房间、区域与实例四级语义粒度的开放词表具身导航基准 LangMap 与 HieraNav 任务，通过严格的人工对比式标注消除 VLM 生成伪标签的语义歧义，并提出了无需深度图或 3D 地图即可实现顶尖多目标导航的纯 RGB 解耦框架 PlaNaVid。

研究背景与动机¶

面向具身智能的语言条件目标导航（Language-conditioned Goal Navigation, LGN）要求智能体在没有逐步路径指引的情况下，仅凭自然语言指令自主探索 3D 室内环境并定位目标。然而，以往的 LGN 基准主要聚焦于类别级导航（ObjectNav），智能体只需找到属于目标类别的任意物体即可，这使任务退化为单纯的目标感知与检测，严重忽视了细粒度语义与上下文空间推理。当真实用户提出“找到小猪佩奇床上的手机”这类高度依赖语境的指令时，现有范式根本无法进行多物体间的语义与空间消歧。

为了向实例级目标拓展，近期工作尝试使用多模态大模型（VLM）基于单视角渲染自动生成目标描述。但 VLM 缺乏精确的 3D 空间关系感知与跨视角一致性，导致自动生成的描述存在大量的幻觉与歧义。通过人工抽样审查现有主流基准 GOAT-Bench 中 10 个场景的实例级描述，发现高达 39.8% 的指令包含语义错误（9.9%）或歧义（29.9%），大量标称为“唯一”的描述无法区分同场景下的同类干扰物。此外，室内环境中普遍存在的房间级（Room-level）与特定区域级（Region-level）语义导航，也因为严重缺乏高质量的标注而处于空白状态。

因此，构建一个可靠且鲁棒的基准亟需填补多层级目标覆盖与高质量辨别性标注的空白。核心 idea：构建首个包含场景、房间、区域和实例四级分层语义的开放词表具身导航基准 LangMap，通过人工对比式标注消除同类干扰物歧义，并设计基于有界多样性记忆与高层规划的纯 RGB 解耦导航框架 PlaNaVid。

方法详解¶

整体框架¶

本文首先基于 HM3D 真实室内 3D 扫描构建了支持四级语义粒度（场景、房间、区域、实例）的 HieraNav 任务与 LangMap 基准。在此基准上，针对现有端到端 RL 缺乏长程推理、以及基于 3D 显式建图方法重度依赖深度传感器与物体分割掩码的问题，提出了无需深度输入、3D 点云表征与物体掩码的纯 RGB 解耦基准框架 PlaNaVid。

PlaNaVid 将长程多目标导航解耦为两个阶段：第一阶段为记忆引导规划，利用有界多样性记忆（Bounded Diverse Memory, BDM）在有限存储预算内维护具身历史轨迹，通过语义多样性检索为多模态大模型规划器提取全局关键上下文，规划出通往当前子目标的初始航路点与初始朝向；第二阶段为局部反应式策略导航，由目标条件反应式策略以纯 RGB 观测驱动机器人朝向规划航路点前行，并在探索过程中实时更新有界记忆以服务后续目标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言分层导航指令<br/>(场景 / 房间 / 区域 / 实例)"] --> B["对比式人工标注数据管线<br/>(区域全景与实例多视角消歧)"]
    B --> C["HieraNav 单目标与多目标任务生成"]
    C --> D["全局均匀更新 (GUU)<br/>间距对齐剪枝保证时序代表性"]
    D --> E["语义多样性检索 (SDR)<br/>Max-Min 贪心多样性候选提取"]
    E --> F["VLM 高层规划器 (Qwen2.5-VL)<br/>输出初始航路点与航向角"]
    F --> G["目标条件反应式策略 (Uni-NaVid)<br/>纯 RGB 局部闭环运动控制"]

关键设计¶

1. 对比式分层标注管线：根除跨实例与同类区域的语义歧义

以往基准直接依赖 VLM 对单视角裁剪图生成文本，极易忽略场景内共存的同类干扰物，导致描述缺乏唯一区分度。为彻底解决这一痛点，LangMap 制定了严格的人工对比式标注协议（Contrastive Annotation Protocol）。针对区域标注，标注者首先观察伪中心采集的全景图标记 12 类房间类型，接着横向对比同一场景中所有同类别房间（例如主卧与客卧），提取最具辨识度的视觉锚点（如“带有几何图案地毯的卧室”），形成简短与详细双版本描述。针对实例标注，先利用 SentenceBERT 对目标类别进行语义聚类形成基类层次结构，标注者对比同一场景内同一基类下的全部细粒度实例，系统性覆盖颜色、材质、形状图案、相对空间拓扑以及开放世界语义线索。对于橱柜等极密集目标，则在局部已验证区域内进行对比，但在最终文本中保留区域限定词以保障全场景全局唯一性。

2. 全局均匀更新（GUU）：固定预算下的时序近似误差最小化

在多目标连续导航长任务中，轨迹长度往往长达 2500 步，全量保留历史帧不仅会导致内存溢出，更会超出 VLM 规划器的有效上下文窗口。为此，PlaNaVid 在有界多样性记忆中设计了基于间距对齐剪枝的全局均匀更新机制（Global-Uniform Update, GUU）。智能体在每一步存储状态 \(\mathbf{x}_t = (s_t, \mathbf{I}_t, \mathbf{e}_t, \mathbf{p}_t)\)，当记忆容量达到硬上限 \(N_{\max}\) 时，算法自动寻找相邻步数间隔最小的历史节点予以合并剪枝：

\[i^*_{\text{prune}} = \arg\min_{0 < i < n-1} (s_i - s_{i-1})\]

从理论上，设保留的步数索引序列为 \(\mathcal{S} = \{s_i\}_{i=0}^{n-1}\)，对于轨迹中任意时刻 \(t \in [0, T]\)，其时序近似误差定义为 \(\epsilon(t) \triangleq \min_{0 \le i < n} |t - s_i|\)。最坏情况下的时间误差上界为 \(\epsilon_{\max} \le g_{\max}/2\)，其中 \(g_i = s_i - s_{i-1}\)。当剪枝维持几乎均匀的步长分布 \(\Delta \approx T/(n-1)\) 时，全轨迹的平均步数近似误差收敛至 \(\bar{\epsilon} \approx \Delta / 4\)。这一设计在实现高达 92.9% 的显存压缩率的同时，使最坏情况时间误差控制在 7 步以内。

3. 语义多样性检索（SDR）：Max-Min 贪心视点覆盖

在 VLM 规划器单次推理中，只能输入 \(K\) 张精选关键帧（实验中设定 \(K=10\)）。若简单采取最近邻检索或均匀抽样，极易选入视线重叠的冗余场景，丧失对全屋宏观语义分布的认知。PlaNaVid 提出了基于贪心 Max-Min 的语义多样性检索机制（Semantic-Diverse Retrieval, SDR）。算法首先无条件锚定当前最新状态 \(\mathbf{x}_{s_{n-1}}\)（避免原地转向的移动代价），其余 \(K-1\) 帧则通过最小化与已选集合的最大余弦相似度逐一迭代选出：

\[i^*_{\text{select}} = \arg\min_{i \notin \mathcal{R}} \max_{j \in \mathcal{R}} \langle \hat{\mathbf{e}}_{s_i}, \hat{\mathbf{e}}_{s_j} \rangle\]

其中 \(\mathcal{R}\) 为当前已选记忆索引集合，\(\hat{\mathbf{e}}\) 为经过 \(L_2\) 归一化的视觉特征嵌入。通过这种最大化互补性的检索方式，规划器能够在极少 token 消耗下同时总览客厅、厨房、走廊及卧室等多功能区域，高效推断与当前子目标最相关的探索航路点。

一个完整示例¶

考虑一个跨语义粒度的多目标导航回合：“先找到走廊里的垃圾桶，再进入带落地窗的卧室，最后找到床头柜上的白色小闹钟”。 1. 子目标 1（走廊垃圾桶）：智能体从初始点出发，反应式策略 Uni-NaVid 驱动机器人前进并扫描周围环境，同时有界记忆缓冲区以全局均匀更新机制维护紧凑轨迹帧。当智能体在走廊识别并接近垃圾桶在 1m 内成功 STOP 后，第一阶段完成。 2. 子目标 2（特定卧室）：进入第二目标后，系统无需重置位姿。规划器触发 SDR 模块，从压缩至 50 帧的历史记忆中选出与当前视点差异最大的 10 个代表性视角，VLM 规划器（Qwen2.5-VL-7B）通过视觉分析判断出第 23 帧曾隐约拍摄到远处的落地窗，随即将其作为目标航路点与航向。智能体回放压缩轨迹回到该区域附近，交由底层策略完成最终停靠。 3. 子目标 3（白色小闹钟）：智能体进入特定卧室后，面对室内多个小物品，利用 LangMap 实例级辨别性描述进行局部细粒度对齐与精准消歧，最终停靠在正确目标旁完成连续序列。

实验关键数据¶

主实验¶

在 LangMap 基准上系统对比了现有多模态长程导航、3D 建图导航以及反应式单视角方法。评估指标采用单目标成功率（SR）、路径长度加权成功率（SPL）以及多目标序列成功率（SeqSR@2）。

方法	观测模式	实例分割掩码	3D 地图	局部导航器	多目标 SR (%)	多目标 SeqSR@2 (%)	多目标 SPL (%)	单目标 SR (%)	单目标 SPL (%)	单目标推理耗时 (s/goal)
PSL	单视角 RGB	×	×	学得策略	8.1	0.0	5.7	6.6	1.8	-
SenseAct-M	单视角 RGB	×	×	学得策略	15.5	1.0	8.4	8.7	4.6	-
3D-Mem-3B	全景 RGB-D	✓	✓	最短路径	13.5	1.1	6.4	8.5	1.9	147.2
3D-Mem-7B	全景 RGB-D	✓	✓	最短路径	30.1	5.1	17.3	13.7	6.2	95.6
MTU3D	全景 RGB-D	✓	✓	最短路径	41.2	11.0	24.3	29.9	15.3	52.1
Uni-NaVid	单视角 RGB	×	×	学得策略	34.4	10.4	15.0	30.3	15.3	19.0
PlaNaVid-3B (本文)	单视角 RGB	×	×	学得策略	41.5	14.4	17.5	31.3	15.2	19.4
PlaNaVid-7B (本文)	单视角 RGB	×	×	学得策略	42.8	14.6	18.1	31.7	15.4	19.7

不同语义粒度单目标任务下的表现（简短 / 详细描述对比）：

方法	场景级 SR	房间级 SR	区域级 SR (简短)	区域级 SR (详细)	实例级 SR (简短)	实例级 SR (详细)
3D-Mem-7B	16.4	12.6	14.0	15.1	13.0	16.3
MTU3D	31.4	32.5	33.6	33.7	23.8	28.7
Uni-NaVid	33.8	33.2	30.1	31.7	26.2	28.8
PlaNaVid-7B (本文)	35.8	34.7	31.1	33.2	27.8	29.6

消融实验¶

针对 PlaNaVid 核心模块对多目标连续导航表现的消融验证（以 Uni-NaVid 为骨干）：

记忆机制 (Mem)	全局均匀更新 (GUU)	语义多样性检索 (SDR)	多目标 SR (%)	SeqSR@2 (%)	SPL (%)	存储平均帧数
×	×	×	34.4	10.4	15.0	-
✓	×	×	40.4	13.2	16.9	656
✓	✓	×	40.9	13.2	17.3	50
✓	×	✓	42.0	14.2	17.8	629
✓	✓	✓	42.8	14.6	18.1	50

文本到视角跨基准消融与标注质量审计（GPT-4o 与 Qwen3-VL 测评）：

评测模型	基准来源	平均词数	图文匹配准确率 (%)	独赢率 (Exclusive Win, %)
GPT-4o	GOAT-Bench	21.1	58.4	6.2
GPT-4o	LangMap (本文)	5.2	81.3 (+22.9)	29.1
Qwen3-VL	GOAT-Bench	21.1	55.9	5.3
Qwen3-VL	LangMap (本文)	5.2	79.7 (+23.8)	29.1

关键发现¶

纯 RGB 架构超越重型 3D 方案：PlaNaVid-7B 仅需单视角 RGB 输入，在多目标导航 SR 上达到 42.8%，超越了依赖深度传感器、实例分割掩码、显式 3D 体素地图及模拟器最短路径算法的 MTU3D（41.2%）与 3D-Mem-7B（30.1%），同时单目标推理延迟缩减为 3D-Mem 的约五分之一（19.7s 对比 95.6s）。
粒度越细，探索与消歧瓶颈越显著：错误归因诊断显示，随着语义目标从场景级收紧至实例级，智能体的探索失败占比从 24.3% 激增至 48.9%，分层语义消歧错误达到 19.7%，而过早或滞后停止的控制错误占比从 75.7% 降至 31.4%。细粒度小物体由于视野覆盖率极低，导致盲目探索成为首要失败诱因。
长尾、微小与长距离目标仍是深水区：在物体尺寸分析中，非微小物体上所有模型的平均 SR 超过 32%，而在微小物体（画面平均覆盖率 <3.3%）上 SR 骤降至 22.5% 以下；头部高频类别的表现普遍比长尾低频类别高出 5 到 10 个百分点。

亮点与洞察¶

对比式人工校验彻底破除 VLM 标注伪上限：现有具身基准过度迷信自动流水线，而本文通过对比式双盲人工标注证实，经过多视角对比与同类排查的人工精简描述不仅长度更短（5.2 词 vs 21.1 词），在图文检索上的准确率更是断崖式领先 23 个百分点，提供了坚固的真实评测基石。
时序均匀性比时序密集性更有利于长程规划：GUU 机制通过简单的局部间距极小值剪枝，在将历史帧数量压缩 13 倍（从 656 帧压缩至 50 帧）的前提下，完全不损失甚至略微提升了后续规划的导航准确率，证明具身记忆的瓶颈在于关键空间节点的视野代表性，而非密集连续的视频流冗余。
可复用的通用设计：BDM 模块提出的“GUU 间距压缩 + SDR 贪心语义最大化”组合框架完全解耦于底层控制模型，能够作为轻量级即插即用插件，迁移至任何长视野多轮具身 Agent、无人机巡检或移动操作任务中。

局限与展望¶

作者承认的局限：人工对比式标注保证了极高的数据真实度与辨别力，但构建耗时较长（约 630 人时），在全量扫描数据上的无限扩展成本高昂；同时，当前场景全部限定于静态室内 HM3D 环境，尚未涉足动态人员交互与室外开阔场景。
独立发现的局限：任务定义的动作空间仍为平面的离散动作（前移 0.25m、转向 30 度），未包含视角仰俯（pitch）动作，导致贴地微小物体或高处挂载目标的感知严重依赖相机固定仰角视角。
未来改进方向：可设计“轻量 VLM 初筛候选描述 + 自动化同类一致性打分 + 人工重点审查”的人机协同标注系统，实现兼顾质量与规模的快速拓充；同时可将 BDM 结构扩展支持连续动作控制与主动视角俯仰调整。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出覆盖场景、房间、区域、实例四级分层语义的开放词表具身导航基准，并证明了纯 RGB 配合轻量记忆能超越复杂 3D 地图。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1.8 万多个导航任务，进行了多模型零样本/全量对比、单目标/多目标评估、细粒度错误归因诊断及深入的消融实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义动机明确，数学推导与实验分析扎实连贯。
价值: ⭐⭐⭐⭐⭐ 为具身智能语言导航领域确立了更高质量、更具真实交互意义的测试金标准，开源的 PlaNaVid 也为高效纯视觉导航提供了优秀的强基线。