Seeing Together: Multi-Robot Cooperative Egocentric Spatial Reasoning with Multimodal Large Language Models¶

会议: NeurIPS 2026
arXiv: 2605.18431
OpenReview: https://openreview.net/forum?id=9LAZdtxn3n
代码: https://github.com/KPeng9510/seeing-together.git
领域: 多模态 VLM
关键词: 多机器人协作、第一视角视频理解、多模态大模型、空间推理、特权位姿蒸馏

一句话总结¶

针对多机器人第一视角视频流下空间与动态推理难以协同的瓶颈，本文构建了首个多机器人协作空间推理基准 CoopSR（含 11.4 万道 QA），并提出 SG-CoR 框架，通过时域频域能量采样、位姿与频谱引导的多视角融合以及训练期特权位姿提示词蒸馏，在无需测试期位姿输入的条件下显著提升了多模态大模型的协作推理能力。

研究背景与动机¶

具身智能正在经历从单个孤立智能体向多机器人协同作业的范式转移，例如仓储机器人编队、灾后搜救队、巡检无人机与家庭服务助手等场景中，多个智能体必须在共享的物理空间内协作感知与交互。在这些复杂环境中，单一机器人仅能获取局部、受遮挡且伴随剧烈运动的第一视角观测，极易陷入感知盲区。当操作员或系统提出诸如“哪个机器人正在推物体”或“是否有任意机器人能看到被堵塞的门口”等空间协调与环境认知问题时，系统必须跨多个移动视角完成目标关联、空间拓扑推断以及团队级动态信念更新。然而，现有多模态大模型（MLLM）绝大多数基于单视角图像或单人单视角视频训练，将视觉序列视为平铺标记（tokens），缺乏显式建模跨智能体相对位姿、相互可见性（co-visibility）与视角冗余过滤的先验机制。

面对多路第一视角视频流，最朴素的做法是将所有机器人的帧序列直接拼接送入模型，但这会导致视觉 token 数量随机器人数量与视频时长呈 $\mathcal{O}(NT)$ 爆炸式增长，引入大量时空重复与视角冲突信息。更关键的是，单纯的序列拼接无法赋予模型协同推理能力，模型既无法判断哪个视角的观测更加可靠，也无法解决多智能体观测间的矛盾推断。现有评测基准同样存在严重空白：Ego4D、EgoSchema 等主流第一视角 VQA 基准局限于单一观测者；EgoExoBench 等数据集仅关注固定第三人称与单第一人称视角对照；而近期的多智能体 VQA 基准（如 MA-EgoQA）主要偏向粗粒度长期人类日常活动理解，缺乏对细粒度空间几何关系、多机器人动态交互与团队协同推理的严格评测。

为了填补多机器人协同第一视角空间推理的空白，本文确立了协同空间推理任务，不仅搭建了首个覆盖多难度层级的多机器人第一视角问答基准 CoopSR，更针对跨机冗余和几何先验缺失提出了专用架构。核心 idea：设计包含频域动态采样、几何与频谱引导融合、以及特权位姿提示词蒸馏的 SG-CoR 框架，在训练期利用仿真器与动捕的高精度位姿先验建立几何感知，在推理期仅凭纯第一视角 RGB 视频实现高精度多机协同空间推理。

方法详解¶

整体框架¶

SG-CoR 接收 $N$ 个移动机器人在 $T$ 帧内的同步第一视角视频流 $\mathcal{V} = \{\mathcal{V}_r\}_{r=1}^N$（其中 $\mathcal{V}_r = \{\mathbf{x}_{r,t}\}_{t=1}^T$）以及自然语言查询 $\mathbf{q}$。在训练阶段，模型额外利用来自仿真器或动作捕捉系统的真实位姿估计 $\hat{\mathbf{u}}_{r,t} = (\hat{\mathbf{p}}_{r,t}, \hat{\mathbf{e}}_{r,t}) \in \mathrm{SE}(3)$ 作为特权先验监督；而在测试阶段，位姿先验完全不可用，模型纯靠第一视角 RGB 视频完成答案预测 $\mathbf{y} \in \{\text{A, B, C, D}\}$。整体流程分为三个串联阶段：首先利用频谱能量感知的候选帧采样器（SE-MR2FS）过滤视角与时间冗余，为每个机器人筛选出兼顾语义相关性与动作变化的稀疏关键帧；接着通过频谱与几何引导的多机融合模块（SGI-MRF）计算视觉状态的不确定度与可靠性权重，聚合生成团队全局信念向量 $\mathbf{z}$；最后通过几何与运动引导的提示空间蒸馏模块（GMIPSD），让仅接触视觉信息的学生网络对齐基于真实位姿生成的教师网络提示词，作为前缀接入解码器输出推理文本。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多机器人同步第一视角视频流 + 查询语句"] --> S1["频域能量感知采样 SE-MR2FS<br/>语义初选Top-M + 特征级时间rFFT高频筛选Top-K"]
    S1 --> S2["频谱与几何引导多机融合 SGI-MRF<br/>跨注意力注入角色与频域特征 + 不确定度可靠性加权"]
    S2 --> S3["团队全局信念向量 z 与视觉状态"]
    S3 --> S4["几何与运动引导提示空间蒸馏 GMIPSD<br/>训练期特权位姿教师对齐学生前缀 + 推理期纯视觉前缀"]
    S4 --> Out["多模态大模型解码生成四选一预测答案"]

关键设计¶

1. 频域能量感知多机器人相关帧采样器（SE-MR2FS）：兼顾语义相关性与时域动态变化 直接拼接所有机器人的原始视频帧将产生沉重的计算负担，且多机器人相邻帧存在巨大的时空冗余。然而，传统静态语义检索（如 CLIP 相似度）往往倾向于静态物体特写，无法捕获动作发生、物体放置、碰撞交互等关键动态瞬间。为此，SE-MR2FS 构建了无需训练的两阶段采样策略：第一阶段利用冻结的 CLIP 编码器提取每个机器人各帧的视觉特征 $\mathbf{z}_{r,t}$ 与查询向量 $\mathbf{q}$ 的余弦相似度 $\mathbf{s}_{r,t} = \langle \mathbf{z}_{r,t}, \mathbf{q} \rangle$，粗选语义最相关的候选帧集合 $\mathcal{C}_r = \mathrm{TopM}(\{\mathbf{s}_{r,t}\}_{t=1}^T; M)$（设定 $M=32$）；第二阶段在特征空间提取时域变化能量，在时间滑动窗口 $\mathcal{W}(t)$（窗口大小 $w=4$）内对中心化后的 CLIP 特征矩阵执行一维实数快速傅里叶变换（rFFT），并主动舍弃表示静态均值的零频分量，仅对剩余高频分量分频段求对数能量和： $$\Phi_{r,t}[k] = \log\left(1 + \frac{1}{d_c} \left\|\mathcal{F}_w[\mathbf{Z}_{r,\mathcal{W}(t)}]_k\right\|_2^2\right), \quad \mathbf{e}_{r,t} = \sum_{k=1}^B \Phi_{r,t}[k]$$ 由于傅里叶变换作用在高级语义特征而非原始像素上，该能量 $\mathbf{e}_{r,t}$ 能敏锐响应机器人的位移、视线转移和交互动作，同时免疫光照、微小抖动等低级像素噪声。最终，模型将标准化后的频域能量 $\tilde{\mathbf{e}}_{r,t}$ 与归一化语义相似度 $\tilde{\mathbf{s}}_{r,t}$ 线性相加得到综合评分 $\rho_{r,t} = \tilde{\mathbf{e}}_{r,t} + \tilde{\mathbf{s}}_{r,t}$，仅保留每个机器人得分最高的 $K=8$ 帧输入后续网络。

2. 频谱与几何引导的多机融合模块（SGI-MRF）：基于视觉不确定度的可靠性感知视角聚合 常规的特征相加或自注意力池化会将各机器人视角视为等价独立的观测，当某个机器人处于严重遮挡、镜头背对目标或剧烈晃动模糊时，盲目融合会造成错误信息污染。SGI-MRF 首先为每个机器人提取紧凑的频谱汇总标记 $\mathbf{F}_r \in \mathbb{R}^{d_F}$（通过对其 $K$ 帧视觉 token 幅度谱低频系数投影所得），并结合机器人运动指令投影 $\mathbf{W}_p \mathbf{P}_r$ 与局域身份角色嵌入 $\mathbf{E}_r$ 构造辅助标记 $\mathbf{A}_r = \mathbf{W}_p \mathbf{P}_r + \mathbf{W}_f \mathbf{F}_r + \mathbf{E}_r$。多机器人视觉特征状态通过与辅助标记进行跨注意力更新，将运动变化与身份线索内化于各视角的表征中。接着，为了评估每个机器人观测的置信度，模块从视觉特征本身估计样本相关的不确定度与时序波动方差： $$\boldsymbol{\mu}_r^{\mathrm{vis}} = \sum_{k=1}^K \mathbf{a}_{r,k} \mathbf{h}_{r,k}, \quad \mathbf{v}_r = \sum_{k=1}^K \mathbf{a}_{r,k} \left(\mathbf{h}_{r,k} - \boldsymbol{\mu}_r^{\mathrm{vis}}\right)^2$$ 通过全连接不确定度头与时序方差的截断梯度组合生成视觉不确定度 $\boldsymbol{\sigma}_r^{\mathrm{vis}} = \mathrm{Softplus}(\mathbf{g}_{\boldsymbol{\sigma}}(\boldsymbol{\mu}_r^{\mathrm{vis}})) + \mathrm{sg}(\sqrt{\mathbf{v}_r})$，再融入频域模长偏移得出最终不确定度向量 $\boldsymbol{\sigma}_r = \mathrm{Softplus}(\mathbf{W}_{\sigma} \boldsymbol{\sigma}_r^{\mathrm{vis}}) + 0.1 \tilde{\mathbf{e}}_r \mathbf{1}$。不确定度模长越小代表该视角观测一致性越高、置信度越强，模型据此计算 Softmax 可靠性加权系数 $\mathbf{w}_r = \frac{\exp(-\|\boldsymbol{\sigma}_r\|_2)}{\sum_{j=1}^N \exp(-\|\boldsymbol{\sigma}_j\|_2)}$，动态加权输出团队全局信念表征 $\mathbf{z} = \mathbf{W}_b \left(\sum_{r=1}^N \mathbf{w}_r \hat{\boldsymbol{\mu}}_r\right)$。

3. 几何与运动引导的提示空间蒸馏（GMIPSD）：免定位系统的隐式物理先验迁移 在实际物理部署中，室内场景无法确保始终具备厘米级的动捕或高精度实时 SLAM 位姿输入，但仿真环境却拥有完全自由的真实轨迹真值。为了消除对测试期外部位姿输入的依赖，GMIPSD 采用了特权信息学习范式。在训练阶段，构建基于真实位姿嵌入 $\bar{\mathbf{p}}^{\mathrm{emb}}$ 和可学习前缀的教师网络 $\mathbf{P}_T = \mathbf{g}_T(\bar{\mathbf{p}}^{\mathrm{emb}}, \bar{\mathbf{C}}) \in \mathbb{R}^{L \times d}$；与此同时，仅接收视觉信念 $\mathbf{z}$ 的学生网络生成学生提示词 $\mathbf{P}_S = \mathrm{LayerNorm}(g_S^{\mathrm{raw}}(\mathbf{z}, \mathbf{C}) + \mathbf{C}_S)$。通过在连续提示词空间最小化余弦距离蒸馏损失 $\mathcal{L}_{\mathrm{distill}}$，强迫学生前缀恢复出能够引导大语言模型进行空间几何推理的潜在物理拓扑结构。在推理阶段，教师网络被完全舍弃，仅由视觉驱动的学生前缀 $\mathbf{W}_P \mathbf{P}_S$ 与全局信念 $\mathbf{W}_z \mathbf{z}$ 拼接作为解码器前缀，实现了纯 RGB 驱动的鲁棒空间推理。

损失函数 / 训练策略¶

模型端到端训练的总优化目标包含自回归语言建模交叉熵损失与提示词空间蒸馏损失： $$\mathcal{L} = \lambda_{\mathrm{LM}} \mathcal{L}_{\mathrm{LM}} + \lambda_d \mathcal{L}_{\mathrm{distill}}$$ 其中超参数通过验证集网格搜索分别确定为 $\lambda_{\mathrm{LM}} = 1.0$ 与 $\lambda_d = 0.3$。在训练策略上，基础 MLLM 骨干（如 Qwen2.5-VL-7B）视觉编码器与 CLIP 保持冻结以节约显存，LLM 解码器采用 LoRA（秩 $r=8, \alpha=16$）进行微调，可训练提示词长度 $L=8$，整套框架新增的可训练参数量仅为 23.8M。在 4 张 NVIDIA A100 GPU 上采用 AdamW 优化器训练 10 个 epoch，初始学习率为 $1 \times 10^{-4}$，批大小为 16（累计梯度步数为 4）。

实验关键数据¶

主实验¶

CoopSR 基准涵盖 114,227 道 QA，分为四个层次的推理能力：T1（单机自我中心空间感知）、T2（两实体间相对关系与可见性）、T3（场景级重构与机器人动作时序）、T4（多机动态协同推理与信念更新）。下表展示了主流基线在 Habitat 和 iGibson 测试集上的综合准确率表现：

模型类型	骨干模型 / 方法	Habitat T1	Habitat T2	Habitat T3	Habitat T4	Habitat AVG	iGibson T1	iGibson T2	iGibson T3	iGibson T4	iGibson AVG
Zero-shot	Qwen2.5-VL-7B-Instruct	23.57	39.61	28.40	34.35	33.51	39.44	50.89	28.12	29.21	33.95
Zero-shot	InternVL3-8B	20.77	49.86	36.08	43.01	41.56	28.15	52.25	34.80	36.34	38.84
Zero-shot	VideoLLaMA3-7B	23.96	44.59	37.86	44.03	41.17	19.44	46.28	39.21	40.09	40.05
SFT	Qwen2.5-VL-7B	46.67	76.30	53.02	72.53	66.68	80.00	65.77	54.10	64.74	63.67
SFT	InternVL3-8B	39.03	75.51	47.60	68.97	63.12	79.44	69.35	47.60	68.97	59.38
RAG	VideoRAG (Qwen2.5-VL-7B)	39.13	76.52	51.08	71.37	65.25	67.78	70.68	51.82	57.86	59.80
RAG	EgoRAG (Qwen2.5-VL-7B)	48.31	74.93	51.80	71.36	65.63	77.78	68.15	54.41	64.02	63.70
Keyframe	TSPO (Qwen2.5-VL-7B)	37.97	75.80	46.68	68.55	62.72	86.11	67.56	45.29	56.47	58.11
本文方法	SG-CoR (InternVL3-8B)	57.78	78.31	56.98	74.96	69.99	76.11	73.81	55.17	73.51	70.07
本文方法	SG-CoR (Qwen2.5-VL-7B)	55.36	78.72	59.36	74.94	70.55	74.44	71.88	58.36	74.63	70.82

消融实验¶

基于 Qwen2.5-VL-7B 骨干在 Habitat 与 iGibson 测试集上对各个模块的独立贡献进行消融验证：

模型配置	Habitat N=2	Habitat N=3	Habitat N=4	Habitat AVG	iGibson N=2	iGibson N=3	iGibson N=4	iGibson AVG	性能变化与说明
Full model (SG-CoR)	78.26	67.34	66.60	70.55	72.74	69.92	69.85	70.82	完整模型，各项指标达到最优
w/o 频域能量重排 (SE-MR2FS)	77.63	65.52	64.55	69.03	67.80	69.73	67.85	68.44	缺少时域动态感知，均值下降 1.52% / 2.38%
w/o 傅里叶嵌入 (SGI-MRF)	73.95	64.65	62.57	66.88	59.93	61.39	60.03	60.43	缺失多机时域变化概要，性能大幅跌落
w/o 采样器 (SE-MR2FS)	72.53	63.75	61.00	65.58	61.94	65.98	59.51	62.40	丢失关键帧精选，受到时空冗余干扰
w/o 多机融合模块 (SGI-MRF)	75.23	64.87	62.22	67.24	51.42	59.04	55.00	55.12	iGibson 下狂跌 15.70%，证明置信度融合至关重要
w/o 提示空间蒸馏 (GMIPSD)	73.89	63.69	61.70	66.24	60.57	63.26	61.60	61.79	失去物理与位姿先验监督，全局下降约 4.3% / 9.0%

关键发现¶

融合模块与几何先验是跨视角协同的核心瓶颈：消融数据显示，移除 SGI-MRF 多机融合模块会导致模型在交互更密集、物体更丰富的 iGibson 场景上准确率从 70.82% 断崖式跌落至 55.12%（跌幅高达 15.70%）。这表明简单自注意力或特征平均无法化解多视角遮挡与视觉矛盾，基于不确定度的可靠性聚合是协同感知的基石。
跨团队规模泛化表现优异：在 $N=\{2,3\}$ 训练并在未见过的四机器人团队 $N=4$ 上测试时，SFT 基线性能跌至 52.30%（Habitat），而 SG-CoR 凭借显式的角色标记与可靠性聚合取得了 63.56%（Qwen2.5）与 64.79%（InternVL3），展现出更强的跨机可扩展性。
真实机器狗评测证实 Sim-to-Real 迁移能力：在采用两台 Unitree 四足机器狗采集的真实场景评测（2,326 道 QA）中，SG-CoR 准确率达到 64.32%，超越 GPT-5 mini、SFT 以及各类 RAG 基线，尤其在多机相互可见性与团队信念更新题目上错误率显著降低。

亮点与洞察¶

特征级时域傅里叶变换的巧妙设计：不同于在易受噪声干扰的像素空间计算光流，方法直接在 CLIP 语义特征的时间序列上执行一维 rFFT 并剔除直流分量。这使得采样器既能精准捕捉高层动作演变（如物体被推倒、机器人转向），又不会因相机微小震颤而产生虚假能量。
提示词空间蒸馏绕过了特权传感器依赖：通过在语言模型的前缀嵌入（prompt space）而非直接在输出文本层面做教师-学生蒸馏，模型在训练期学习到了对齐物理位姿所需的潜空间流形，测试期无须部署昂贵的实时定位系统即可享受到几何先验带来的空间推理增益。
模块化设计可无缝迁移至通用多机感知任务：SE-MR2FS 采样器完全免训练，可以作为即插即用的预处理前端部署至多无人机巡检、多机协同建图或多视点事件检索中，大幅压缩长视频带宽消耗。

局限与展望¶

作者承认的局限：目前的真实世界机器人评测受限于硬件条件，仅在两台同构四足机器狗（Unitree Go2 / Go2-W）的受控室内场景下完成，缺乏更庞大、异构的机群（如空地无人机与轮式底盘混编）以及动态室外复杂光照下的验证。
实验假设与适用范围：模型假设多机器人的输入视频流严格时间同步，在实际无线通信受限或丢包网络中，时序异步与延迟可能会对基于傅里叶变换的滑动窗口能量估计造成干扰。
改进方向：引入异步时序校准机制以适应弱通信网络；拓展跨模态传感器输入（如板载轻量 IMU、超宽带 UWB 测距），进一步增强几何感知的物理可解释性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出多机器人第一视角协同动态空间推理任务，提出了基于频域特征能量与提示词位姿蒸馏的原创架构。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 11.4 万道 QA 的双仿真环境基准，覆盖 22 种 MLLM 基线，并补充了实物四足机器狗验证与详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路严密，问题陈述清晰，数学公式与物理机制对应严谨。
价值: ⭐⭐⭐⭐⭐ 为具身智能多智能体协同感知与团队级环境理解开辟了标准基准与通用方法范式。