GEM: Generative Supervision Helps Embodied Intelligence¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3349
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1079.pdf
项目: https://zhaorw02.github.io/GEM/
领域: 机器人/具身智能
关键词: 深度生成监督、视觉语言动作模型、空间推理、渐进式训练、具身定位

一句话总结¶

GEM 在具身视觉语言模型训练中加入条件深度生成，并通过渐进式对齐把几何信息写入共享表征，使 8B 模型的 VSI-Bench 得分相对同数据 SFT 从 68.6 提高到 70.6，扩展后的 GEM-VLA 在 LIBERO 达到 96.1% 平均成功率。

研究背景与动机¶

视觉语言模型能回答物体是什么、任务应该分几步，却不一定保留执行动作所需的精细几何。以问答为中心的监督，只要求输出正确文字；对于物体边界、相对距离、放置空间等信息，只要它们不影响文本答案，模型就可能没有动力把它们完整编码到视觉 token 中。因此，语义问答能力变强，并不自动意味着机器人能更准确地放置或操作物体。

已有空间增强视觉语言动作模型会引入深度、点云或额外空间特征，但这类信息往往到动作学习阶段才进入系统。GEM 关心的是更早的瓶颈：能否在具身视觉语言训练阶段，就让后续动作专家接收到兼具语义和几何的表征？这不等于给模型多看一张深度图，而是要求它已有的视觉隐状态足以支持深度重建，让缺失结构信息直接表现为训练误差。

深度比 RGB 重建更贴近这个目标：RGB 还包含颜色和纹理，重建得好不必然意味着距离关系学得好。本文同时构建具身问答数据，并用分阶段初始化避免新生成分支扰乱语言骨干。核心 idea：让同一套视觉表征既能回答具身问题，又能驱动深度生成，再把这种几何约束延续到动作学习，而不是只在动作输出端补空间信息。

方法详解¶

整体框架¶

GEM 的基础输入是图像与语言指令，输出可以是具身问答答案；扩展为 GEM-VLA 后，还能输出连续动作片段。训练先用 GEM-4M 数据提供任务语义和深度目标，再通过深度生成监督与渐进式对齐训练骨干，最后增加动作专家并保留深度监督。

这里的深度分支是训练约束，不是一个必须先输出深度文字、再调用动作模型的串行规划器。语言答案使用骨干的多模态表示；动作专家读取骨干注意力中的键值 token，而深度生成头读取末层视觉 token，两条分支的读取位置不同。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["GEM-4M 数据配对"] --> B["深度生成监督"]
    B --> C["渐进式对齐"]
    C --> D["具身视觉语言表征"]
    D -->|问答| E["文本答案"]
    D --> F["动作迁移与联合监督"]
    F --> G["连续动作片段"]

关键设计¶

1. GEM-4M 数据配对：让结构监督与任务语义面对同一场景

GEM-4M 不是单一深度估计数据集，而是围绕具身定位、物理与空间推理、时空规划组织的问答混合数据。定位部分汇集约 1M 问答，覆盖开放词汇检测、指令指向和可供性识别，并从机器人动作数据中额外生成约 100k 点与框标注。点和框坐标统一到 0–1000，避免不同图像分辨率使相同空间位置对应不同输出尺度。其作用是让语言监督不仅描述场景，还要求模型把描述落到具体位置。

推理部分组合 MindCube、ViCA、SPAR、VSI-590K 等数据，补充约 100k 人工标注空间理解样本，并汇集约 1M 机器人相关问答。规划部分则利用带子任务标注的机器人视频抽帧：用 Qwen3 找出被操作物体，SAM3 提供掩码，CoTracker3 跟踪轨迹，再把子任务描述和可视化轨迹组织为约 50K 规划问答。没有真实深度标注的样本使用 DepthAnythingv3 生成伪深度；因此监督并不全部来自物理深度传感器。上述数字是原文列出的子集规模，不宜直接相加来推导去重后的精确总量。

2. 深度生成监督：让视觉 token 对场景几何负责

骨干采用 Qwen3-VL，深度生成头采用 Sana，二者之间是两层 MLP 连接器。图像和指令经过骨干后，末层视觉 token 被连接器映射到生成头所需的条件空间；Sana 的扩散 Transformer 再以此为条件，从带噪状态学习恢复当前观察对应的深度图。目标是当前场景结构，而不是预测未来 RGB 帧，也不是把深度图作为额外语言 token 输入。

深度分支采用流匹配：给定噪声水平，生成头学习把带噪样本推向目标深度的速度场。更关键的是联合训练时，误差会经连接器反传到视觉语言骨干，因此骨干必须保留支撑边界和距离重建的线索。相比只要求问答正确，这多了一条稠密的几何约束；相比 RGB 重建，它减少了纹理与颜色对辅助任务的牵引。但这是一种促进几何编码的监督，不是对物理一致性或动作可行性的硬保证。

3. 渐进式对齐：先让生成分支可用，再改动共享骨干

直接把预训练语言骨干与生成头同时解冻，连接器尚未对齐时，生成误差可能主要反映接口不匹配，而非骨干缺少几何信息。GEM 因此先冻结骨干和生成头，只训练连接器；随后仍冻结骨干，训练连接器与生成头，让生成头适应新的视觉条件；最后才联合训练骨干、连接器和生成头。前两个阶段只有深度生成目标，第三阶段同时使用文本交叉熵与深度流匹配损失。

这一顺序把“条件空间尚未对齐”和“共享表示确实需要改善”分开处理。连接器只训练 500 步，生成分支预热 4k 步，最后联合训练 1 个 epoch；不是把每个子模块分别训练到最终收敛后永久冻结。源文消融也显示，去掉这种初始化顺序的直接联合训练明显弱于默认方案，说明生成任务并非接上就能稳定帮助理解任务。

4. 动作迁移与联合监督：把已学到的几何保留在动作优化中

GEM-VLA 增加基于扩散 Transformer 的动作专家，读取骨干注意力模块中、对应多模态观察历史的键值 token，再通过扩散策略生成连续动作片段。它不是把问答文本当成唯一动作接口，也不是让深度生成头直接输出控制量：动作分支和深度分支共同依赖骨干，但各有自己的预测目标。

动作微调时，骨干、深度分支和动作专家继续联合优化。动作流匹配负责把带噪动作状态推向示范动作片段，深度流匹配则维持表征中的结构约束。这样做既利用此前学到的空间知识，又避免动作数据优化把几何辅助目标完全丢掉。真实机器人实验采用 RDT2 的动作专家；LIBERO 实验则按 StarVLA 实现，从 GEM-2B 出发学习动作预测，不应把两种设置混为同一训练预算。

一个完整示例¶

以论文真实实验中的餐具整理为例，机器人接收桌面图像和整理指令，需要依据物体位置完成放置。骨干先形成视觉与语言的共享表征；训练时，同一观察既支持任务监督，也条件化深度生成，使叉子、盘子及桌面之间的空间关系不能只剩下物体名称。

完成具身训练后，动作专家读取这些表征对应的键值 token，生成接下来要执行的连续动作片段；动作微调仍用深度目标约束骨干。这里的流程解释不表示模型显式执行“先生成深度图、再规划餐具位置”的运行时步骤，也不额外假设论文未报告的动作片段长度。

损失函数 / 训练策略¶

视觉语言联合训练和动作微调使用不同主目标，但共享同一个深度辅助项：

\[ \mathcal{L}_{\mathrm{VLM}}=\mathcal{L}_{\mathrm{CE}}+\lambda\mathcal{L}_{\mathrm{flow}},\qquad \mathcal{L}_{\mathrm{VLA}}=\mathcal{L}_{\mathrm{action}}+\lambda\mathcal{L}_{\mathrm{flow}},\qquad \lambda=0.1. \]

其中，交叉熵监督文本答案，深度流匹配监督深度生成，动作流匹配监督示范动作片段。这里保留正文明确给出的损失组合；本地 PDF 文本抽取中的速度场公式不完整，不据此补写其具体期望项。

具身视觉语言训练使用 32 张 NVIDIA A800，余弦学习率从 \(10^{-5}\) 降至 \(10^{-6}\)。真实机器人针对具体任务微调 50k 步，使用 8 张 A800、线性调度和 \(10^{-5}\) 学习率；LIBERO 动作训练则为 20k 步。真实任务是微调后测试，不是无需示范的零样本操作。

实验关键数据¶

主实验¶

下表依据原文表 1–3，理解任务列出各基准的 All 得分，均越高越好；差值采用原表分值直接相减，不解释为相对百分比。SFT 是在作者构建的数据上训练、但不使用深度生成监督的对照，更适合隔离辅助监督的增益。

任务与设置	指标 ↑	对照方法	对照	GEM / GEM-VLA	差值
VSI-Bench，8B	All 得分	Qwen3-VL-8B 原始骨干	57.9	70.6	+12.7
VSI-Bench，8B	All 得分	Qwen3-VL-8B-SFT	68.6	70.6	+2.0
MMSI-Bench，8B	All 得分	Qwen3-VL-8B-SFT	32.8	35.3	+2.5
RefSpatial，8B	All 得分	Qwen3-VL-8B-SFT	45.8	44.4	-1.4
Where2Place，8B	All 得分	Qwen3-VL-8B-SFT	62.0	65.0	+3.0
LIBERO	平均成功率（%）	Qwen3VL-SFT-VLA	94.9	96.1	+1.2
LIBERO	平均成功率（%）	DepthVLA	94.9	96.1	+1.2

LIBERO 含 Spatial、Object、Goal、Long 四个套件，每个套件 10 个任务、每个任务 50 次试验。GEM-VLA 各套件成功率依次为 99.0%、98.8%、97.1%、89.3%。与既有方法比较时，需要注意预训练数据和训练方案并不完全相同；原表中部分结果是既有报告值。

真实实验在 UR5 上进行，涵盖叠衣服、整理餐桌、拉开拉链。原文图 3 的 All Task Average 标为 43.0%，对照 π0.5 为 28.7%，差 14.3 个百分点；但餐桌整理使用的是“平均完成子任务比例”的进度分数，而非整项任务的二元成功率，主文未充分解释总平均的聚合口径。因此该数字应作为作者报告的综合结果，不宜直接视为所有任务统一定义的成功概率。

消融实验¶

原文表 4 的三个配置均在 VSI-590K 上训练，其他超参数与策略按对应实验控制；它们不是上表完整 GEM-4M 训练的同一组结果。深度监督与 RGB 重建的区别、渐进式初始化与直接联合训练的区别，应在这张表内部比较。

配置	CV-Bench All ↑	VSI-Bench 绝对距离 ↑	VSI-Bench 相对距离 ↑	VSI-Bench All ↑	RoboSpatial All ↑
RGB 重建监督	80.9	47.5	62.8	60.0	44.6
直接端到端联合训练	79.7	42.1	60.0	57.6	44.0
默认 GEM：深度监督与渐进式训练	81.1	47.8	65.2	63.0	48.9

关键发现¶

深度监督相对 RGB 重建使 VSI-Bench All 提高 3.0 分，RoboSpatial 提高 4.3 分；绝对距离子项仅提高 0.3 分，不应笼统描述成所有距离指标都有大幅增长。
渐进式训练相对直接联合训练使 VSI-Bench All 提高 5.4 分，说明初始化顺序在这个受控实验中相当重要；它不等于证明数据构建、深度目标、训练顺序三者中的全局贡献排序。
RefSpatial 上 GEM-8B 的 44.4 低于同数据 SFT 的 45.8；MMSI-Bench 上 GEM-8B 的 35.3 也低于表中 Gemini-3-Pro 的 45.9。因此原文“整体最优”的表述不能展开成逐基准全面领先。

亮点与洞察¶

生成能力服务于表征，而非最终图像输出。 深度重建把原本容易被文字目标忽略的结构信息变成可监督误差，重点是改善供问答与动作使用的骨干表示。
控制实验区分了数据与辅助目标。 相比原始骨干的大幅提升，和同数据 SFT 的差值更能说明深度监督的增量价值，也暴露了定位任务上的反例。
几何监督跨越两个训练阶段。 深度既用于具身视觉语言训练，也用于动作微调，避免把表征学习与动作学习完全割裂；但这不替代真实操作评估。

局限与展望¶

深度伪标签依赖 DepthAnythingv3，其误差可能进入监督；本文主文未量化伪深度质量对下游表现的敏感性，不能将生成目标等同于真实几何标注。
真实机器人范围为一个 UR5 平台上的三个任务，且需要任务微调。主文未给出充分的试验次数、置信区间和跨平台统计，尚不能据此推断广泛部署可靠性。
全局领先的部分文字表述强于逐项表格支持，图 3 的总平均还涉及成功率与进度指标。复核时应优先采用明确的单项结果与同设置对照。
主文把数据构建细节和部分训练实现留给补充材料，本地缓存不含这些补充内容；尤其缺少深度生成耗时、动作时延等分析，本文证据不足以评价部署效率。

评分¶

新颖性: 4/5。深度生成、共享表征和动作迁移形成清晰组合，但各构件并非全新机制。
实验充分度: 3/5。覆盖理解、定位、仿真与真实操作并有对照，真实统计与部分评测口径仍不充分。
写作质量: 3/5。方法主线清楚，但最优性表述、动作专家图注和部分参考文献标注存在需要复核之处。
价值: 4/5。对判断具身模型是否真正保留可供执行的几何信息，提供了有用的训练方案与实证。