AMCoNav: Asynchronous Multi-module Collaborative Framework for Embodied Visual Navigation¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/5222
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/9453.pdf
领域: 机器人 / 具身视觉导航
关键词: 异步协作、多模态共享上下文、开放词汇导航、概率融合、目标验证

一句话总结¶

AMCoNav 让轻量导航策略持续工作、让大模型按需在后台推理，再通过共享上下文与概率融合决定探索、验证或直达目标，在 HM3D-OVON 三个划分上取得 60.0% / 60.0% / 53.3% 的成功率，并在同步对照中降低运行时间，但不保证更短的导航路径。

研究背景与动机¶

具身视觉导航既要从 RGB-D 观测中维护空间结构，又要理解“找某类物体”“找到描述中的实例”等目标，并及时生成移动决策。以 MTU3D 为代表的模块化系统能快速完成实例表示和导航打分，但遇到开放词汇、复杂语义或模糊观测时，轻量策略容易把相似物体误认成目标。加入多模态大模型可以补充房间常识、对象关联和视觉核验，却让机器人面临另一个问题：是否必须停下来等模型回答？

直接串联模块会累积上游错误；多个决策模型并行后再等待统一裁决，仍可能被最慢分支阻塞。只在起点让大模型生成全局计划也不充分，因为真实房间布局可能偏离初始推断。AMCoNav 的切入点不是让大模型替代每一步控制，而是让不同时间尺度的结果都能被实时策略使用：房间级建议可以晚些到达，当前对象和可探索边界却必须持续更新。

核心 idea：把慢速语义推理变成可异步更新的共享状态，让实时策略继续行动，再用双路证据及剩余行动预算决定何时探索、何时补看、何时确认目标。

方法详解¶

整体框架¶

输入包括 RGB 图像、深度、位姿，以及文本或图像形式的任务目标；输出是下一导航坐标及相应动作序列。多模态共享上下文 MSC 保存全局物体、探索边界、观测快照和语义指导；实时多模态决策模块 RMDM 读取这些信息，给物体和边界打分；零样本大模型模块 ZLMM 按需补充指导与核验分数；贝叶斯概率决策融合模块 BPDFM 最后选取行动模式。

这里的“零样本”指大模型分支的调用方式，不代表整个系统无需训练。RMDM 是专门训练的导航网络。除任务开始时的相关物体推理外，大模型调用放在独立子线程中；主循环不要求本轮所有大模型结果到齐，缺失的核验分数也有明确的处理方式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["RGB-D、位姿与目标"] --> MSC["多模态共享上下文<br/>MSC"]
    MSC --> RMDM["实时多模态决策<br/>RMDM"]
    MSC --> ZLMM["按需大模型推理<br/>ZLMM"]
    ZLMM -->|异步更新语义指导| MSC
    RMDM -->|实时分数| BPDFM["概率融合与模式切换<br/>BPDFM"]
    ZLMM -->|已返回的核验分数| BPDFM
    BPDFM --> Action["探索 / 验证 / 导航"]
    Action -->|新观测| MSC

关键设计¶

1. 多模态共享上下文：让延迟结果仍有可用的空间落点

MSC 不只是聊天记录，而是由语义场景上下文 SemSC、空间快照上下文 SpatSC、推理语义上下文 ReaSC 构成的导航状态。SemSC 沿用 MTU3D 的 Online Query Representation：每个局部对象包含表示特征、置信度、全局坐标下的三维框、实例掩码和开放词汇嵌入，再以基于 IoU 的匈牙利匹配并入全局实例。可探索边界是已探索与未知区域的交界，每个边界保存三维坐标和所属房间类型，决策前更新。这样大模型核验的对象和实时分支打分的对象能够对应起来，而不是两份互不对齐的自然语言答案。

延迟最明显的是房间识别：大模型回答时，机器人可能已离开提交图像的位置。SemSC 因此维护二维房间类型场和置信度场，把识别结果放回观测对应的区域。参考点取观测视线前方 1.5 m 的位置，影响半径设为 3 m；局部置信度按距离作高斯衰减，对视野内外设置不同上界。一个位置只接受比当前置信度更高的房间标签，置信度保留两者最大值。实时策略通过边界点在该场上的投影读取房间类型，而不等待最新识别。缓存式 (1) 的分段表达式损坏，因此这里不补写其精确核函数、区域条件或缺失参数。

SpatSC 将每张观测快照和其中的实例关联，提取两类子集：每个边界选择参考点最近的快照；关键物体则选取感知置信度低于 0.4、但 RMDM 决策分数高于 0.6 的实例，再用贪心覆盖反复挑选能覆盖最多未覆盖关键物体的快照。后者把昂贵核验集中到“看不清、却很像目标”的候选上。论文称其为最小快照集，但贪心过程不等于证明得到全局最小集合。

ReaSC 保存相关物体列表和接下来可能经过的房间序列。物体关联只依赖任务，在任务内保持不变；房间序列随进度消耗，已到达的下一房间会被移除，布局偏离推断时由新观测触发修订。异步设计成立的时间尺度依据是：通常探索一个房间比一次房间级推理更久，因此稍迟到达的指导仍能影响后续路线。

2. 实时多模态决策：分别匹配物体语义与房间语义

RMDM 是主线程中的四层 Transformer 风格解码器，输入全局物体查询、边界查询和任务目标。物体查询使用实例表示，空间位置来自三维框；边界查询带有房间类型，空间位置来自边界坐标。房间标签、相关房间、相关物体和文本或图像目标通过 CLIP 编码并投影到共享特征空间。

跨注意力并非把所有语义直接混成一团：边界查询先关注相关房间，回答“应该朝哪类空间探索”；物体查询先关注相关物体，利用目标周边的共现线索。两路随后都关注任务目标，最后用空间自注意力建模实例间几何关系，输出逐物体、逐边界的分数。这使同一网络既能在目标已被观察到时选择实例，也能在目标尚未出现时选择下一探索方向。慢分支贡献的是语义条件和补充证据，实时分支仍保有独立打分能力。

3. 按需大模型推理：把调用条件与导航状态绑定

ZLMM 包含四种职责，不是每帧都向同一个大模型提出完整导航问题。相关物体推理模块 RORM 在任务开始时调用一次，预测目标附近可能相关的物体，保留相关性最高的五个写入 ReaSC。房间导航推理模块 RNRM 使用边界快照，并补充快照周围 2 m 内、视野外物体的文本描述，推断到目标可能经过的房间序列；仅在检测到新房间类型时调用，以便在布局出现新证据时重规划。

房间类型感知模块 RTPM 从最新图像识别前方房间及其置信度，再写入 SemSC。方法正文给出的触发条件是可见区域平均置信度低于 0.4。任务决策模块 TDM 则读取关键物体快照、边界快照和场景描述：边界快照分数赋给对应边界；核验疑似目标时，返回分数和二维框，再把分数赋给与框重叠的对象。RMDM 作出决策后重建关键物体集合并调用 TDM，已处理快照会标记，避免重复询问。

TDM 输出需要和 RMDM 候选逐项对齐，而不是返回一个不能落地的“去厨房”。受延迟及快照覆盖不足影响，没有返回分数的候选记为 -1，交给后续融合单独处理。需要注意，方法正文和表 6 对 RTPM 阈值、导航阈值及其编号的对应存在矛盾；本笔记保留正文机制，不将消融表中的编号当成已核实的实现配置。

4. 概率融合与模式切换：先校准证据，再考虑旅行代价

BPDFM 先用校准数据集进行非线性拟合，把 RMDM、TDM 原始分数映射为成功概率，再做贝叶斯式融合。缺失 TDM 分数对应的概率设为 0.5，作为中性证据，使融合结果接近实时分支先验。缓存式 (5) 的分母运算符缺损，附录中的拟合细节也不在缓存中，因此不把推测恢复的融合公式写成原文事实；复现仍需核验原 PDF 公式和附录。

融合后不是始终选择分数最大者。双方都缺乏高置信候选时进入探索模式；双方确认同一物体时进入导航模式；双方意见不一致时考虑验证，但验证仅在步数超过 300 或已无可探索边界时启用，防止过早围着一个疑似目标反复观察。验证会从目标附近采样视点，过滤缺乏足够可见自由空间的位置，再贪心挑选三个几何上分离的视角，按距目标由近到远的顺序访问。

探索模式把当前位置、边界和当前融合概率最高的目标构成无向加权图，边权是移动代价。路线不仅要访问候选边界，还要在预算内保留抵达当前最佳目标的机会。剩余预算为：

\[ D=\max(0,t_{\max}-t_{\mathrm{cur}}). \]

评估一条路线时，算法考虑在各候选首次成功的概率、到达该候选的累计移动代价，以及所有候选失败后的大额惩罚；执行期望代价最低的可行路线的第一个节点，没有可行路线则回到当前最佳目标。论文采用状态压缩动态规划替代穷举，但缓存未给状态和转移，不能仅凭作者“多项式复杂度”的表述认定其对边界数量是多项式算法。预算已不允许再探索时，系统也会直接提交融合概率最高的物体，因此最终提交并非总有双路确认。

一个完整示例¶

以下是机制示意，不是额外实验：机器人被要求找到一件厨房用品。RORM 先给出五个相关物体，MSC 在移动中累积房间与对象状态；RMDM 根据房间指导选择尚未探索的边界，不必停下等待新的房间推理。发现一个感知置信度低于 0.4、目标分数高于 0.6 的物体后，SpatSC 将覆盖它的快照送交 TDM。

TDM 尚未返回时，候选走缺失证据分支；返回的二维框把核验意见关联到具体实例。若两路共同确认，就导航到该实例；若有分歧，只有达到验证条件才补看三个分离视角；若证据仍弱且预算允许，就继续按期望移动代价探索。这个过程同时解释了为什么异步协作能少等待，以及为什么多视角验证可能增加路程。

损失函数 / 训练策略¶

RMDM 联合学习导航决策、物体类别、相关物体、相关房间和房间类型。根据式 (4) 的任务定义，训练目标可清楚写为：

\[ \mathcal L_{\mathrm{total}}=\sum_{h\in\mathcal H}\lambda_h\mathcal L_h, \qquad \mathcal H=\{\mathrm{decision},\mathrm{class},\mathrm{rel\_object},\mathrm{rel\_room},\mathrm{room\_type}\}. \]

所有权重设为 1。物体类别与房间类型采用单标签交叉熵；决策、相关物体和相关房间采用二元交叉熵。导航监督只有一个正目标：目标已在全局实例集合中时标注该实例，否则标注离真实目标最近的边界。这是用 BCE 训练单个正例，而不是把决策头误写成类别 softmax。

训练沿用 HM3D-OVON、ScanRefer、Multi3DRefer 等基础数据，但采集时用最优策略选择边界而非随机采样，以匹配代价敏感规划。房间标签来自 HM3DSEM 区域的无遮挡多视角图像与大模型推断；相关房间来自最优轨迹的房间序列，相关物体由语言模型提供。

先在完整数据上训练 10 个 epoch，再进行 10 个 epoch 的任务专用微调；AdamW 学习率为 \(10^{-4}\)，\(\beta_1=0.9\)、\(\beta_2=0.98\)，约消耗 384 A100 GPU 小时。模拟输入为 360×640 RGB-D 和位姿，动作包括前进 0.25 m、左右转 30°；每步模拟 0.5 s，相邻目标间采样 18 帧。主实验的大模型是 GPT-5，模块计时使用 A6000，不能混同训练与计时硬件。

实验关键数据¶

主实验¶

下表摘录原表 1–3。数值为百分制，SR 和 SPL 越高越好；SPL 会以最短路径与实际路径之比惩罚成功但绕路的导航。HM3D-OVON 三个划分依次为 Seen、Seen Synonyms、Unseen，差值为百分点而非相对百分比。

数据集 / 划分	指标	MTU3D	AMCoNav	差值
HM3D-OVON / Seen	SR / SPL	55.0 / 23.6	60.0 / 15.6	+5.0 / -8.0
HM3D-OVON / Seen Synonyms	SR / SPL	45.0 / 14.7	60.0 / 20.9	+15.0 / +6.2
HM3D-OVON / Unseen	SR / SPL	40.8 / 12.1	53.3 / 14.8	+12.5 / +2.7
SG3D-Nav	s-SR / t-SR / SPL	23.8 / 8.0 / 16.5	24.5 / 8.3 / 11.3	+0.7 / +0.3 / -5.2
GOAT-Bench / Seen	SR / SPL	52.2 / 30.5	55.2 / 25.5	+3.0 / -5.0
GOAT-Bench / Seen Synonyms	SR / SPL	48.4 / 30.3	48.8 / 21.8	+0.4 / -8.5
GOAT-Bench / Unseen	SR / SPL	47.2 / 27.7	47.2 / 21.5	0.0 / -6.2

跨方法结论需要收紧：HM3D-OVON Unseen 上，MSGNav 的 SR / SPL 为 48.3 / 27.0，AMCoNav 成功率更高，但 SPL 明显更低；GOAT-Bench Unseen 上，MSGNav 为 52.0 / 29.6，两项都高于 AMCoNav。论文摘要“平均提升 8.7%”不能由表 1 各划分最佳既有 SR 直接复算，因此本笔记采用可核对的逐项差值，不沿用该汇总数字。

消融实验¶

原表 5 的指标均为 SR / SPL，三个划分与主表相同。作者把 MSC 与 ZLMM 联合视为全局指导机制，因此这不是对四个大模型子模块分别拆除的实验。

配置	Seen	Seen Synonyms	Unseen
MTU3D 基线	55.0 / 23.6	45.0 / 14.7	40.8 / 12.1
AMCoNav w/o BPDFM	56.7 / 15.8	53.3 / 17.5	44.2 / 12.5
完整 AMCoNav	60.0 / 15.6	60.0 / 20.9	53.3 / 14.8

加上 BPDFM 后，SR 相对无融合版本增加 3.3 / 6.7 / 9.1 个百分点，未见类别收益最大。但不能把这一差值全归因于贝叶斯算式，因为 BPDFM 同时改变模式切换、验证与探索路径。

关键发现¶

运行时间与路径效率不同：100 个随机 episode 中，同步 TDM 模式平均为 174.1 s，异步模式为 142.5 s，论文报告减少 18.15%。该对照模拟每步耗时 0.5 s，不能直接视作实体机器人部署测试。
按原表 4，查询提议、RMDM、BPDFM 分别耗时 209、106、281 ms；RORM、RNRM、RTPM、TDM 分别为 1.51、14.58、3.36、3.99 s。三个实时模块若串行相加为 596 ms，不能据此宣称完整流水线低于 0.5 s；作者还使用最短 30 步、即 15 s 的决策间隔解释异步调用窗口。
GOAT-Bench Unseen 的 Category、Language、image-centered 任务成功率分别为 68%、49.2%、23.6%，提示图像目标推理仍是短板，而不是单纯的调用延迟问题。
原表 7 的 50-episode Seen 子集上，GPT-5 / Doubao 2.0-pro / Doubao 2.0-mini / GPT-4o / Qwen-VL-Pro 的 SR 分别为 60.0 / 60.0 / 58.0 / 56.0 / 56.0。GPT-5 的 SPL 为 13.7，不应与主表 15.6 混用；小样本且无置信区间，不能据此认定模型替换完全等效。

亮点与洞察¶

异步接口不止是开线程：对象对齐、快照覆盖、空间置信度场和缺失分数处理共同决定迟到结果能否被正确消费。将这些状态设计清楚，比单独缩短一次大模型响应更有系统价值。
关键物体选择结合“感知不可靠”和“目标相关性高”，把核验预算集中在会影响当前决策的歧义上。这一思路可用于开放词汇检测后的主动观察，但阈值仍需重新校准。
融合结果直接参与代价敏感规划，而不是只拿来决定停止。它把“目标可能在哪里”和“有限步数内先去哪”联系起来，也揭示成功率、路程、等待时间必须分开评估。

局限与展望¶

作者承认实时分支会在观测模糊或不完整时成为瓶颈；双路确认也可能让强大模型的正确判断被弱分支阻挡。未来的置信度门控、适应性验证及任务专用校准在论文中属于展望，不是已验证组件。
路径效率存在实际代价，尤其是 GOAT-Bench 的三个划分 SPL 都低于 MTU3D；SG3D 的 SR 提升也很小。不能用 HM3D-OVON 的成功率提升代表所有任务均显著受益。
证据来自仿真；缓存没有实体机器人验证、长期延迟尾部分布、API 失败压力测试或完整 token 成本。延迟结果如何过期、较早的高置信错误房间标签如何撤销，也没有充分展开。
复现存在明确缺口：式 (1)、(5)、(7) 提取损坏，校准拟合附录缺失；表 6 的说明、分组标签和正文对 \(c_2/c_3\) 的指代不一致。状态压缩动态规划的复杂度主张也缺少可检查的推导，因此不补造公式、阈值映射或运行上界。

评分¶

新颖性: 4/5。多尺度异步状态与代价敏感融合构成有针对性的系统设计，基础感知表示和多任务训练较常规。
实验充分度: 3/5。覆盖三个导航基准、组件消融和运行时间，但缺少实体部署、统计不确定性及更细的机制拆解。
写作质量: 3/5。架构和模块职责较清晰，阈值编号、汇总提升和复杂度表述影响可复现性；缓存公式损坏另需回源核验。
价值: 4/5。对需要持续行动又希望利用大模型语义能力的机器人系统有参考价值，但应接受路径效率与实时分支瓶颈的限制。