AgentVLN: Towards Agentic Vision-and-Language Navigation¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3693
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2630.pdf
代码: https://github.com/Allenxinn/AgentVLN
领域: 机器人 / 具身智能
关键词: 视觉语言导航、技能调度、跨空间映射、闭环纠错、主动感知

一句话总结¶

AgentVLN 让 Qwen2.5-VL-3B 根据图像中的几何航点提示调度感知与规划技能，并用局部纠错及按需深度查询处理导航歧义，在 R2R-CE / RxR-CE Val-Unseen 上分别达到 67.2% / 69.5% 成功率。

研究背景与动机¶

视觉语言导航要求机器人把“穿过走廊，在椅子附近停下”这样的语言落实到连续空间中的行动。VLM 善于辨认物体和理解语义，却不天然知道物体的真实距离、通道是否可达，也不保证从图像预测的动作符合三维几何。NaVid、StreamVLN 等方法从视频到动作学习导航策略；DualVLN、InternVLA-N1 等双系统方法则把高层决策与低层执行分开，但仍需要解决语言模型的二维观察与底层三维轨迹之间如何对齐的问题。

这里的困难不只是“记住更多历史”。如果机器人在遮挡处看不到可选路线，继续执行大跨度动作会放大偏航；如果已经看见目标，但无法判断它有多远，单凭 RGB 输出目标坐标仍可能停错位置。加入额外几何编码器可以补充空间信息，却也增加模型与推理开销。AgentVLN 选择把几何计算交给可调用的工具，让 VLM 使用已经落在图像坐标中的结果；这并没有消除深度传感器和建图系统，而是重新划定学习模型与几何系统的职责。

核心 idea：把三维可达性转换成 VLM 能直接选择的像素提示，以技能调用完成长距离移动，在缺少路线或距离证据时分别切换到小步纠错和主动感知。

方法详解¶

整体框架¶

系统接收导航指令、当前 RGB-D 观察、相机位姿和历史上下文，输出感知查询、规划技能调用，或必要的细粒度动作。高层由 Qwen2.5-VL-3B 决定“选哪条路、什么时候补看、什么时候精确定位”；低层负责增量建图、三维航点生成、避障与运动执行。

正常导航时，感知与规划工具先提供可达航点，再将其投影到当前图像；VLM 按照指令选择视觉提示，规划技能把对应航点执行完。没有合适提示时进入上下文驱动细粒度纠错；目标出现后转入查询驱动感知推理，输出目标像素并用深度恢复三维终点。下图表示推理期的路由，数据构造与训练在后文单独说明。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["指令、RGB-D<br/>位姿与历史"] --> Brain["技能调度与跨空间映射"]
    Brain -->|无合适航点| Correct["上下文驱动细粒度纠错"]
    Brain -->|目标可见| Query["查询驱动感知推理"]
    Brain -->|选择可达航点| Execute["规划技能<br/>闭环移动"]
    Correct -->|更新观察| Brain
    Query -->|目标像素转三维| Execute
    Execute -->|未完成则更新上下文| Brain
    Execute -->|到达终点| End["完成导航"]

关键设计¶

1. 技能调度与跨空间映射：让 VLM 选择有几何依据的视觉候选

论文把高层决策建模为部分可观测半马尔可夫决策过程（POSMDP）。部分可观测来自机器人只能获得局部传感器观察；半马尔可夫来自一次技能可能执行不同数量的底层动作。动作空间不再主要是每一时刻的速度或方向，而是带参数的技能调用。感知技能返回几何或语义信息，在模型中记为不推进物理时间的操作；规划技能则执行跨多个时间步的闭环控制，直到满足技能终止条件，才让 VLM 开始下一轮判断。这种抽象并不意味着感知计算没有实际延迟。

跨空间映射解决技能结果如何交给 VLM 的问题：系统用深度、相机内参和位姿把有效图像像素反投影到世界坐标，逐步更新占据栅格；规划层基于地图生成三维可达航点。随后再用当前相机位姿的逆变换和透视投影，将这些世界航点画回 RGB 图像。VLM 不需要凭空推测三维坐标，只需判断哪个提示最符合指令，再把选择交回规划层。相机几何在这里是确定性的坐标转换，不是新提出的学习损失；缓存中的公式符号有抽取损坏，因此不照抄不完整公式。真正的设计点是用像素对齐提示连接语义选择与物理可达性，而不是把全部三维信息压进隐向量。

2. 上下文驱动细粒度纠错：候选缺失时先恢复观察条件

像素提示依赖当前视野，不能保证每个位置都存在符合指令的可见航点。例如机器人转弯后被墙挡住，或累计定位误差使它朝向偏离通道，此时强行选择远处航点可能继续走错。AgentVLN 的上下文驱动细粒度策略（CDFG）使用历史、当前图像和指令，输出 Forward、Left、Right 等小粒度动作，以环视、短距离前进或修正朝向的方式重新获得有效路径提示。

这些动作是正常技能调度失败时的恢复分支，而不是让 VLM 永久退回逐步控制。只要可行路径重新映射进图像，系统就恢复较高效的航点级执行。训练中还会主动给轨迹加入随机噪声，使模型接触偏离专家路径的状态；当画面中没有有效航点时，监督目标切换为细粒度动作序列。这样纠错并非只靠推理时的一句提示，而是有对应的数据分布支持。原文没有提供具体动作步长或完整触发阈值，不能据此假定它具有严格的恢复成功保证。

3. 查询驱动感知推理：看见目标后仍允许先问清距离

当观察中的证据与终点描述匹配，系统由全局路径导航切换到局部目标定位。此时问题从“沿哪条路走”变成“图像中哪个点对应指令要求的停靠位置”。QD-PCoT 不要求 VLM 在缺少尺度信息时立即输出坐标，而是允许它生成自然语言查询，例如询问前方椅子的距离，调用感知技能后把返回的几何或语义信息作为增量文本加入上下文。多轮查询和推理完成后，模型再输出目标像素。

终点执行仍然依赖真实几何：读取该像素的深度，通过相机内参反投影到相机坐标，再由当前位姿转到世界坐标，最后交给规划技能完成到达。区别在于“用深度帮助决定选哪个像素”和“已选像素如何转成三维目标”是两件事，前者由查询反馈消歧，后者由坐标变换完成。按需查询减少了把全场景几何都塞入 VLM 上下文的必要性，但工具调用有成本，也依赖深度和位姿质量；“不增加模型参数”不等于“没有额外系统开销”。

一个完整示例¶

以“穿过走廊，在前方椅子旁停下”为说明性指令，下面只解释流程，不是论文报告的某次实测轨迹。机器人尚未看见椅子时，先由 RGB-D 建图并获得投影航点；VLM 选择与走廊方向一致的提示，规划技能负责连续移动，而不要求模型为每个控制周期生成动作。

到转角处，若当前图像没有合适航点，CDFG 根据历史执行小幅转向或前进，直到通道重新可见。之后继续航点级导航。椅子进入视野后，模型切换到局部定位；如果距离关系不清楚，便询问感知工具，再结合返回信息选定目标像素。深度反投影给出三维目标，规划层执行最后一段移动。这里“看不见可用路线”和“看得见目标但尺度不清”由两种不同恢复机制处理，不能混成同一个泛化的反思模块。

损失函数 / 训练策略¶

AgentVLN-Instruct 在 Habitat 中基于 R2R 和 RxR 构建，覆盖 61 个室内场景，以目标可见性决定每个训练步骤使用哪种输出。全局阶段把最靠近专家轨迹的投影航点作为标签；偏航且无有效航点时监督细粒度动作；局部阶段使用包含感知问答的多轮推理格式，最终监督目标像素。数据同时教会模型选择候选、从错误状态恢复，以及在输出坐标之前补充信息，而不是只学习一条专家动作序列。

训练混入 LLaVA-Video-178K 以保留一般多模态能力，冻结视觉编码器和多模态投影层，对 VLM 做指令微调。正文未给出独立的新损失函数，也没有明确列出 AgentVLN-Instruct 的总样本数、混合比例和完整工具接口，因此不补造目标函数或数据规模。

优化采用 AdamW，batch size 为 128，余弦学习率调度的峰值为 \(2\times10^{-5}\)，warmup ratio 为 0.03。观察分辨率为 640×480、视场角为 110°、历史窗口为 8 帧；实验使用 32 张 NVIDIA A100。这里的轻量主要指部署侧 3B 模型和无新增三维学习模块，不代表训练资源需求很低。

实验关键数据¶

主实验¶

以下摘录原文表 1、2，均为 Val-Unseen。NE 是终点到目标的导航误差，单位为米，越低越好；SR 为最终成功率；SPL 在成功基础上惩罚相对最短路径的绕行；OS 衡量轨迹中曾到达成功范围的比例；nDTW 衡量执行轨迹与参考轨迹的归一化动态时间规整相似度。除 NE 外，表中数值按原文百分制呈现。

数据集	方法	输入	NE ↓	SR ↑	SPL ↑
R2R-CE	EfficientVLN-4B	RGB	4.18	64.2	55.9
R2R-CE	DualVLN-7.1B	RGB	4.05	64.3	58.5
R2R-CE	InternVLA-N1-8.3B	RGB-D	4.83	58.2	54.0
R2R-CE	AgentVLN-3B	RGB-D	3.88	67.2	64.7
RxR-CE	EfficientVLN-4B	RGB	3.88	67.0	54.3
RxR-CE	DualVLN-7.1B	RGB	4.58	61.4	51.8
RxR-CE	InternVLA-N1-8.3B	RGB-D	5.91	53.5	46.1
RxR-CE	AgentVLN-3B	RGB-D	3.92	69.5	61.3

相较 EfficientVLN，AgentVLN 的 R2R / RxR SR 分别提高 3.0 / 2.5 个百分点，SPL 提高 8.8 / 7.0 个百分点。但这不是输入条件完全一致的比较：AgentVLN 明确使用深度。它也不是所有指标都第一，RxR 的 NE 为 3.92 米，略差于 EfficientVLN 的 3.88 米；R2R 的 OS 为 73.5，略低于 EfficientVLN 的 73.7。RxR 的 nDTW 为 74.6，对比 DualVLN 的 70.0。

消融实验¶

原文表 3 为 R2R 验证集上的逐步叠加实验。第一步的 VLM-as-Brain 同时引入高层技能调度与跨空间映射，不能把它的全部增益只归给某一个子组件。

配置	NE ↓	OS ↑	SR ↑	SPL ↑
端到端基线	6.53	48.50	38.60	35.10
+ VLM-as-Brain 与跨空间映射	4.67	65.10	59.70	55.60
+ CDFG	3.90	72.10	65.60	63.40
+ QD-PCoT，完整模型	3.88	73.50	67.20	64.70

关键发现¶

调度与映射组合贡献最大的 SR 增量，为 21.10 个百分点；CDFG 再增加 5.90 个百分点，并将 SPL 从 55.60 提升到 63.40，支持恢复机制能减少无效行走的解释。
QD-PCoT 最后增加 1.60 个百分点 SR 和 1.30 个百分点 SPL，是局部定位的增量收益。逐步叠加设计没有单独识别模块交互，也未提供这里的统计显著性。
历史窗口从 2 帧增加到 8 帧时 SR 从 56.7 提升到 67.2；10 帧为 67.1。这个结果支持存在收益饱和，但 0.1 个百分点的变化不足以单独证明严重注意力稀释。
实机采用 Unitree Go2、RealSense D455 和 RTAB-Map，在 Jetson Orin NX 上执行。作者报告前向与自回归生成约 3 秒，W4A16 后约 1 秒；这是高层决策延迟，不能解读为底层机器人控制周期。

亮点与洞察¶

像素航点是一种直接可检查的语义与几何接口。可以分别检查地图是否给出正确候选、VLM 是否选对候选，较易定位系统失败来源。
纠错与消歧针对不同缺口：CDFG 通过移动改变可观察内容，QD-PCoT 通过查询补全几何证据。这比把所有错误交给统一语言反思更具体，也更容易设计训练监督。
可复用的经验是把高频物理闭环留在规划控制系统，把较慢的语义决策放在 VLM。节省模型参数的同时保留传统几何能力，但迁移时必须一并评估工具和传感器成本。

局限与展望¶

以下主要是基于正文证据的阅读判断，论文没有单独的局限章节。深度误差、位姿漂移及相机标定偏差会直接污染投影提示和目标反投影；原文未给出这些条件的系统鲁棒性实验。
真实环境部分主要呈现室内外示例和推理延迟，缺少清晰的任务数量、成功率统计、能耗及失败类型分布。作者的“实时”表述需结合秒级高层决策与持续运行的低层控制理解。
感知查询和技能调用的完整接口、可见性路由阈值、训练样本总量等细节在正文中不足。替换技能即可适配新传感器是架构上的可能性，不等于已经系统验证跨传感器迁移。
后续可在相同 RGB-D 输入、相同计算预算下分开消融投影提示与技能调度，并测试传感器退化、动态障碍和量化前后导航成功率，明确效率与可靠性的边界。

评分¶

新颖性: 4/5。主要价值在像素级几何接口、技能调度与按需查询的组合，而不是新的基础几何或规划算法。
实验充分度: 3/5。两套未见场景基准和增量消融有说服力，但公平输入对照、实机统计及鲁棒性证据不足。
写作质量: 4/5。全局导航与局部定位的组织清楚，但“消除歧义”“实时”等表述比展示的证据更强。
价值: 4/5。为小模型具身部署提供了可操作的系统设计，适合关注几何工具与 VLM 协作的研究者。