MM-Nav: Multi-View VLA Model for Robust Visual Navigation via Multi-Expert Learning¶
会议: ECCV 2026
论文: ECCV 官方页面
项目: MM-Nav
领域: 机器人
关键词: 视觉导航、多视角感知、多专家蒸馏、能力均衡、仿真到现实迁移
一句话总结¶
MM-Nav 将到达目标、穿越狭缝和动态避障三类深度感知 RL 专家的能力，通过真实 VQA 联合训练与能力均衡的在线蒸馏整合进四视角 RGB 的 7B VLA，在 InternVLA-N1 System-1 基准上取得平均 88.1% 成功率，并在服务器辅助的实机部署中约以 7 Hz 输出连续速度。
研究背景与动机¶
视觉导航的难点不只是识别“前面有什么”，而是在没有显式深度的情况下，判断机器人能否从两个障碍物之间通过、侧后方是否有碰撞风险，以及移动物体何时会进入自己的路径。GNM、ViNT、NoMaD 等视觉策略已经展示了从数据学习导航的潜力，但单个前视相机无法持续覆盖这些风险；NaVid、Uni-NaVid 一类 VLA 则把视觉语言理解带入导航，不过离散的前进、转向动作仍限制了狭窄动态场景中的即时调整。
数据获取又形成了第二道约束。真实示教昂贵，而且很难安全地大量收集“贴着障碍穿过去”或“在人群中临时让路”的经验；仿真容易扩展，却有外观域差异，规则规划器也不容易生成这类反应式策略。直接在混合场景里训练一个 RL 教师并不自动解决问题：简单到达、果断穿缝和保守避障要求不同，统一奖励可能让它在每项技能上都不够好。
本文因此先让三个教师分别在定制场景中学会擅长的行为，再让同一个大模型学生整合它们。学生不仅学习教师走过的成功路径，还在自己实际走到的状态上接受纠偏，同时用真实图像问答维持跨域视觉表征。核心 idea：把危险导航技能的获取交给具有特权深度输入的专门 RL 教师，把多技能整合和真实视觉泛化交给共享的 RGB VLA，并根据学生相对教师的短板动态分配后续示教数据。
方法详解¶
整体框架¶
任务是点目标导航，而不是任意自然语言指令跟随：机器人获得目标在自身坐标系中的二维相对位置，以及前、右、后、左四路 RGB 观测历史，直接预测平面纵向速度、横向速度和偏航角速度。目标位置被写成文本提示，语言模型在这里既连接视觉与动作，也支持训练时的 VQA 分支；不能因此把本文视为已经验证了开放式语言导航能力。
训练先构建能力专门化专家并收集成功轨迹，初始化多视角连续控制学生，再联合真实 VQA 训练。随后学生在仿真中闭环执行，由对应教师标注学生遇到的状态，通过能力均衡在线迭代补齐短板；部署时只保留学生，不需要 RL 教师、深度输入或 VQA 答案。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["能力专门化专家"] -->|成功示教| B["多视角连续控制"]
B --> C["真实 VQA 联合训练"]
Q["真实图像问答"] -.->|训练监督| C
C --> D["能力均衡在线迭代"]
A -.->|学生状态上的标注| D
D -->|更新后重新采样| D
D -->|训练完成| E["部署学生策略"]
I["四路 RGB 历史<br/>相对点目标"] --> E
E --> O["连续速度<br/>底层控制器执行"]图中前四个设计节点是训练链路，右侧输入到部署策略才是实际控制数据流。专家的数据不是推理时的多专家投票，学生最终只有一个动作输出。
关键设计¶
1. 能力专门化专家：让每类困难行为都能得到足够强的示教
三个 IsaacLab 场景分别承担不同训练压力。Reaching 随机布置各种形状、纹理和大小的静态障碍，目标距离最长 30 m；Squeezing 使用密集立柱及带随机窄缝的墙，迫使机器人利用侧视角判断能否通过；Avoiding 则让不同形状的障碍以 0.5–1.5 m/s 运动，目标距离最长 10 m。仿真将机器人抽象为平面尺寸约 0.70 m × 0.35 m 的长方体，使大规模收集反应式导航经验更经济。它们不是按论文标题划分的数据子集，而是会塑造不同控制行为的训练环境。
每个教师用 PPO 单独训练，输入四路深度图、上一动作和相对目标位置。深度图经 ResNet-18 编码，再与其他输入及上一时刻的隐藏状态拼接，通过三层 MLP 预测速度；隐藏状态回传给下一步，提供有限记忆。奖励覆盖目标进展、时间成本、行为正则和碰撞惩罚，但教师权重不同：Reaching 的行为正则更强，Avoiding 不施加该项，Squeezing 的目标奖励更高，避免窄缝前过度犹豫。共同的步惩罚系数为 -0.05、碰撞惩罚系数为 -15；行为正则系数依次为 0.05、0.02、0，目标奖励系数依次为 1.2、1.5、1.2。缓存中的奖励总式与速度裁剪式提取损坏，不能据此还原精确实现。
2. 多视角连续控制：把周边空间和运动历史压缩进可实时运行的学生
学生采用 SigLIP 视觉编码器、两层 MLP 跨模态投影器和 Qwen2-7B。四个相机共同覆盖 360°，每个视角都保留滑动窗口历史，而不是只拼接当前四张图片。当前帧承担贴身避障和缝隙判断，需要较细的空间信息；历史帧主要提供运动趋势，允许更强压缩。因此模型对当前观测池化到每视角 16 个 token，对历史观测池化到每视角每时刻 4 个 token，再按时间和视角组织输入。这种不对称编码把算力优先留给马上要执行的动作，同时让学生观察动态障碍的移动方向。
相对目标被写成类似“Go to the position of
3. 真实 VQA 联合训练：用真实视觉理解约束仿真动作学习
仿真专家能提供动作标签，却不能消除渲染图像与真实相机画面之间的差别。MM-Nav 因而在共享视觉语言骨干上同时训练导航动作回归与真实 VQA：导航样本走动作头，问答样本走语言头。VQA 不提供导航速度，也不是部署时先问答再规划，而是通过真实图像的语义与空间理解监督，让动作头所依赖的隐藏表示继续接触真实世界的光照、结构和物体外观。
初始训练使用 500k 个导航时间步和 100k 条 VQA，后续每轮加入 200k 个在线导航时间步和 40k 条 VQA。问答数据取自 LongVU 所用数据的子集，视频按 1 FPS 采样。论文通过去除 VQA 的导航结果以及隐藏状态的 UMAP 可视化支持其作用，但可视化只是表征相关证据，不应当被当作已经证明的跨域因果机制。尤其需要区分“没有真实动作示教”与“没有真实数据”：本文的零样本实机迁移仍使用了真实 VQA 训练数据。
4. 能力均衡在线迭代：把纠偏预算分给学生真正欠缺的能力
只模仿教师成功轨迹会产生状态分布偏移：学生稍有误差就进入教师数据少见的位置，之后可能不断偏离。本文先用成功示教初始化学生，再以 DAgger 风格让学生亲自在三类场景中执行，由相应教师在这些状态上给出动作标签。教师负责监督，学生决定实际访问哪些状态；这与继续增加教师自己的完美轨迹不同，也不是在部署现场做在线强化学习。
三个场景难度不一，平均分配在线数据容易让尚未学会穿缝的学生欠训练。因此作者以加权旅行时间 WTT 比较各能力下学生和教师的差距；WTT 是成功回合平均耗时除以成功率，越小越好。较大的差距对应更高的采样比例，并用 0.3 的幂指数平滑比例，避免某个能力垄断数据。原文还用 0.1 的保底项，使超过教师的能力仍能获得样本；缓存式 (5)–(6) 的符号提取不完整，这里只保留可确认的机制与参数，不猜补精确归一化公式。
采用成功率的小数形式时，WTT 的定义可写为：
例如成功回合平均耗时同为 20 s，成功率分别为 0.5 和 0.8，则 WTT 分别为 40 s 和 25 s。这是说明指标含义的例子，不是论文实验；该指标同时惩罚慢和失败，但不会区分碰撞失败与超时失败，因此仍需单独报告 CR。
一个完整示例¶
设机器人要去前方 10 m 的目标，中间有两根柱子形成窄通道，同时一名行人从左侧接近。这个情境用于串联方法，不是原文额外公布的测试回合。
当前前视图提供通道入口，左右相机帮助判断侧向间隙，前几帧的粗粒度表示提供行人运动趋势。目标坐标提示与这些视觉表示进入同一个学生，动作头给出纵向、横向和偏航速度；机器人据此调整方向，底层控制器持续执行到下次响应。
如果学生在窄缝前停滞，训练时可在 Squeezing 场景中获取教师对学生状态的标注。下一轮的能力评估若显示穿缝 WTT 落后更大，该类样本会获得更多训练份额，而不会仅因为 Reaching 已经容易收集成功轨迹就继续增加它的占比。
真实 VQA 数据在这一过程中约束共享表示，但部署时并不会调用三个教师，也不需要生成“行人在左侧”的文字答案。最终希望获得的是把多个技能融入同一速度决策的策略，而非逐步切换技能模块。
损失函数 / 训练策略¶
学生的导航分支用教师速度作为标签，以均方误差训练；VQA 分支保留交叉熵。论文给出的联合损失为：
每个 RL 教师使用 128 个并行环境，在一张 RTX 4090 上训练约 8–12 小时。收集初始示教时，每个教师运行 64 个并行机器人，只保留最终到达目标的轨迹；相机高度随机化为 0.4–0.5 m，视场角随机化为 100°–140°，减少策略对固定相机配置的依赖。
学生初始微调使用 8 张 H100，约 5 小时，即 40 GPU 小时；每次后续迭代约 2 小时。正文称经过 4 次迭代后收敛，但摘要报告总计 1.5M 专家示教和 300k VQA；按上述初始量加 4 轮增量推算则是 1.3M 导航时间步与 260k VQA。原文没有解释这一区别，不能把“示教”自行换算成完整轨迹数，也不能默认为实际做了 5 轮。
实机采用 Unitree GO2，四路鱼眼相机先去畸变；模型运行在 RTX 5090 服务器，机器人端通过请求接收速度，平均响应约 7 Hz。因此该速度不是机器人端独立运行 7B 模型的性能，也不代表底层关节控制频率。
实验关键数据¶
主实验¶
公共测试使用 InternVLA-N1 System-1 点目标导航协议，覆盖 InternScenes 的 40 个场景，使用与该基准相同的 100 个起终点对及全向 Dingo 平台。SR 为成功率，SPL 为按路径长度加权的成功率；下表复录原文 Table 1 的代表性结果，数值按百分制展示。
| 方法 | 观测 | Home SR | Home SPL | Commercial SR | Commercial SPL |
|---|---|---|---|---|---|
| InternVLA-N1(S1) | RGB-D | 60.0 | 55.6 | 71.4 | 68.2 |
| NavDP | RGB-D | 60.3 | 54.7 | 74.1 | 70.5 |
| SIDP | RGB-D | 63.2 | 56.5 | 81.2 | 73.4 |
| MM-Nav，不使用 VQA | RGB | 76.4 | 73.7 | 73.9 | 72.6 |
| MM-Nav，单视角 | RGB | 79.9 | 77.6 | 86.7 | 84.7 |
| MM-Nav，多视角 | RGB | 86.3 | 81.1 | 89.9 | 85.5 |
多视角两组 SR 平均为 88.1%，SIDP 为 72.2%，相差 15.9 个百分点；单视角 MM-Nav 平均为 83.3%。多视角比单视角平均增加 4.8 个 SR 百分点、约 2.2 个 SPL 百分点，但与外部基线比较时还存在相机覆盖范围差异，因此单视角结果同样重要。原文没有在“不使用 VQA”行明确注明视角配置，不能把它与任一行的差值直接当作严格控制变量结论。
自建 IsaacLab 测试每场景运行 100 回合，三类单能力场景限时 90 s，Mixed 限时 120 s。Mixed 同时包含静态障碍、动态障碍和窄通道，采用训练外材质，并刻意降低穿缝部分难度。下表取自原文 Table 2，SR、CR 单位为 %，WTT 单位为 s。
| 场景 | NavDP SR / CR / WTT | MM-Nav SR / CR / WTT |
|---|---|---|
| Reaching | 69 / 31 / 27.3 | 80 / 20 / 31.0 |
| Squeezing | 18 / 82 / 115.4 | 71 / 19 / 42.2 |
| Avoiding | 27 / 73 / 30.0 | 68 / 32 / 20.9 |
| Mixed | 23 / 77 / 178.6 | 47 / 26 / 127.5 |
消融实验¶
原文 Table 3 比较单专家、混合场景 RL 和不同示教来源的 VLA。各场景测试 100 回合；单专家 VLA 之间使用相同总数据预算，下表指标均为 SR（%）。Mixed-VLA 是整合三个专家数据的学生，不应误读为仅蒸馏 Mixed-RL。
| 配置 | Reaching | Squeezing | Avoiding |
|---|---|---|---|
| Reaching-RL | 65 | 2 | 33 |
| Squeezing-RL | 30 | 73 | 19 |
| Avoiding-RL | 59 | 0 | 58 |
| Mixed-RL | 45 | 58 | 42 |
| Reaching-VLA | 70 | 4 | 35 |
| Squeezing-VLA | 44 | 64 | 28 |
| Avoiding-VLA | 63 | 0 | 62 |
| Mixed-VLA | 80 | 71 | 68 |
关键发现¶
- 多专家学生的优势是能力覆盖，不是每项都超过最强专家：其 Reaching 80% 高于对应专家 65%，Avoiding 68% 高于 58%，但 Squeezing 71% 仍低于专门教师 73%。
- 成功率更高不意味着所有效率指标都更好：Reaching 的 WTT 为 31.0 s，反而高于 NavDP 的 27.3 s；Mixed 的 SR 47% 与 CR 26% 也意味着剩余 27% 为超时，不能把低碰撞率直接等同于任务解决。
- 能力均衡迭代在 Figure 7 中更快补齐穿缝和避障短板，但不均衡训练在 Reaching 上更强，因此该策略主要优化多能力覆盖而非单项最大值。
- 实机 VQA 消融每个场景每个模型各做 20 次试验，覆盖细线、杂乱走廊、行人和夜间小巷。缓存图表标签交错，不据此猜填逐场景柱状图数值；Figure 6 报告的表征 gap-axis 距离由 1.86 降至 0.38，只作为辅助分析证据。
亮点与洞察¶
- 专家不必“全能”才能教出覆盖更广的学生。先在不同场景与奖励下获取高质量局部技能，再在共享视觉表示中融合，避免单个混合 RL 教师先被多目标折中限制住。
- 在线采样的控制量是学生相对教师的性能差距。它比固定比例更能反映当前短板，可启发其他多任务蒸馏系统按能力进展分配标注预算，但教师自身上限仍会影响这个信号。
- VQA 的价值不在于给动作贴上语言说明。它作为没有速度标签的真实视觉监督，与仿真动作数据共同塑造动作相关表征，为低成本仿真到现实迁移提供了一个可复用思路。
局限与展望¶
- 作者将跨具身迁移列为未来方向。当前任务仍依赖相对点目标、四相机配置与全向速度控制，不能直接推断到不同运动学约束的平台或长程语言任务。
- Mixed 场景成功率只有 47%，且具有非零碰撞风险。对安全部署仍需要延迟鲁棒性、失效检测和独立安全约束的专门评估，这些是阅读后的改进建议，不是论文已实现的功能。
- 7 Hz 依赖服务器 RTX 5090 与通信链路。原文没有充分量化通信延迟尾部、断连与机载功耗，因而无法据此断言可无条件独立部署。
- 数据总量、视觉 token 总数和部分文字结论存在口径问题。尤其“去掉 VQA 后 Home 与 Commercial 均下降超过 20%”无法由 Table 1 直接支持；本文保留表中原数，不沿用这一概括。
相关工作与启发¶
- vs NavDP / LoGoPlanner：这些工作利用特权信息规划器生成导航监督，MM-Nav 则强调定制场景中的 RL 反应式专家。它更关注穿缝和动态避障，但专家训练与在线采样增加了管线成本。
- vs NaVid / Uni-NaVid：MM-Nav 沿用视频 VLA 与历史压缩的思路，扩展为四视角观测并回归连续速度。区别落在周边感知与低层响应，而不是证明了更广的语言指令能力。
- vs DAgger：学生状态上请求教师标注是已有思想，本文的增量在于按三项能力的 WTT 差距调整数据比例。可迁移的研究问题是：教师弱或评估波动大时，是否应联合不确定性而非仅依赖相对性能调度数据。
评分¶
- 新颖性: 4/5。多专家技能获取、RGB VLA 整合与能力均衡迭代形成了针对导航难点的完整方案，但基本组件多有先例。
- 实验充分度: 4/5。覆盖公共基准、自建困难场景、专家组合和实机 VQA 消融，仍缺更大规模实机安全统计。
- 写作质量: 3/5。主线清楚，但 token 数、数据预算及部分概括与表格间的差异影响复现判断，缓存还有公式提取损坏。
- 价值: 4/5。提供了从可扩展仿真技能学习到真实 RGB 控制的可行路径，实际意义强于单纯扩大模型规模。