MobileVLA-R1: Reinforcing Vision-Language-Action for Mobile Robots

会议: ECCV2026
论文: ECCV 原文
项目: MobileVLA-R1
领域: 机器人/具身智能
关键词: 视觉语言动作模型、多粒度思维链、离线 GRPO、四足机器人、闭环控制

一句话总结

MobileVLA-R1 用多粒度思维链监督建立可解析的推理与动作接口，再以离线 GRPO 奖励优化连续运动方向、离散行为和输出格式，在 R2R-CE Val-Unseen 达到 68.3% SR，并通过固定机载与远端混合部署验证四足机器人闭环执行。

研究背景与动机

让机器人理解“绕过箱子，走到门前，再趴下”，并不等于它已经知道此刻应该向前多快、朝哪个方向转动，以及何时切换姿态。 视觉语言模型可以辨认物体和描述场景，但四足机器人最终需要连续速度、偏航角速度和具体行为命令。 在部分可观测环境中，动作又会改变下一帧看到的内容，早期一次错误转向可能使后续语言目标无法落地。 NaVILA 等视觉语言动作模型已经连接了语言导航和腿式运动，本文进一步关注这一接口中显式推理与可执行输出的一致性。

直接模仿动作序列可以学到局部控制，却未必说明模型是否区分了目标物、障碍物和指令里的先后关系。 另一方面，只给出自然语言计划也不够：计划可能读起来正确，最终答案却无法解析，或者连续控制方向与计划不符。 作者因此没有把思维链仅当作额外解释，而是要求同一输出同时包含推理文本和结构化命令，让训练反馈能落到真正交给执行器的字段。 这里的关键约束是“命令可验证”，不是用另一个语言模型给推理文笔打分，也不是在真机上进行在线强化学习。

为此，论文将长轨迹策略、当前步决策和长程导航组织为不同粒度的监督，先通过监督微调建立稳定接口，再对多个候选输出做组内比较。 训练所利用的是已有观测、历史和目标命令；部署时才由真实环境提供下一轮观测。 核心 idea：先学会把多尺度任务理解写成可执行的结构化答案，再用离线命令级奖励强化“推理之后实际输出了什么”，而不是仅要求解释文本看起来合理。

方法详解

整体框架

训练流程由多粒度 CoT 数据、推理执行对齐和离线 GRPO 三部分组成；部署流程则是观测输入、结构化输出、确定性解析和闭环执行。 模型接收 RGB、深度、点云及语言指令，数据样本还可提供任务相关状态和动作历史。 输出不是关节力矩，而是平面运动速度、偏航角速度，以及姿态或技能切换等离散高层行为。 这种接口保留既有低层控制器的职责，避免把高层语言生成误写成直接控制所有电机。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Source["R2R / RxR / QUARD"] --> Data["多粒度 CoT 数据"]
        Data --> Align["推理执行对齐"]
        Align --> RL["离线 GRPO"]
        RL -->|训练后的策略| Model["结构化推理与答案"]
        Obs["当前观测与指令"] --> Model
        Model --> Decode["确定性解析与<br/>低层控制执行"]
        Decode -->|下一轮真实观测| Obs

图中的候选采样和奖励优化发生在训练阶段，不是机器人每走一步都运行一次 GRPO 更新。 部署后的策略使用新观测重新生成答案，但模型参数不会因此在线适应。 论文把这一点称为离线推理到命令一致性优化，再在闭环任务中检验效果。

关键设计

1. 多粒度 CoT 数据：把长程意图和当前控制接到同一监督接口

MobileVLA-CoT 从 R2R、RxR 和 QUARD 构建，前两者提供语言与导航轨迹，后者补充四足运动和操作的观测与控制目标。 Episode 粒度概括整段轨迹的结果和策略，Step 粒度解释当前观测下的下一步动作，Navigation 粒度连接全局指令和沿途多步决策。 这三类监督不能理解成三个同时运行的智能体；它们是训练样本的组织方式，作用于同一个策略。 最终数据分别包含 18K、78K、38K 条，共 134K 条；原文表 1 的源数据规模与这些合成样本规模是不同统计口径。 长轨迹信息帮助模型保持任务顺序，逐步信息则把语言理由落实到具体控制字段，二者针对的是不同时间尺度的错误。

数据引擎用 Gemini-2.5-Flash 接收多模态观测、指令及可选历史，生成带 <think> 和 <answer> 标签的推理与目标输出。 作者强调提示、解析和验证流程不依赖特定后端，但实际主要数据的教师仍是 Gemini-2.5-Flash。 质量控制包括格式、动作一致性、安全性和人工检查四类步骤，从 168K 原始生成保留 134K 条。 被过滤的内容包括不可执行输出、错误命令、视觉不一致和幻觉，因此这不是未经筛选的模型解释集合。 不过，过滤流程并不能证明每条推理都忠实反映策略内部的因果决策；它首先保证的是监督样本与目标动作的可用一致性。

2. 推理执行对齐：先建立稳定的感知、语言和控制接口

模型从 NaVILA 初始化，以 LLaVA 风格组织多模态输入，语言骨干为 LLaMA3-8B。 RGB、深度和点云分别编码，再由可学习线性投影映射到语言模型的隐藏维度，并与文本 token 拼接。 深度编码采用 DepthAnything V2，点云编码采用 Point Transformer v3；模态类型嵌入用于区分不同来源的 token，实验实现描述将其列为可选。 这个融合方式把几何线索直接加入语言决策上下文，不需要先把点云转换成一段丢失空间细节的文字说明。 各模态 token 数决定输入预算，但已读正文没有给出具体 token 数，不能据此宣称固定的推理成本。

冷启动先利用 Episode 和 Navigation 监督学习轨迹理解与结构化推理，再继续用 Step 的可执行答案对齐控制。 模型每次输出 <think>...</think><answer>...</answer>，答案由确定性解析器转换为速度与离散行为。 因此“动作解码器”在本文方法中首先是结构化命令的解析与执行接口，不宜擅自解释成扩散动作头或新训练的关节控制网络。 这种 SFT 初始化降低了强化学习一开始就遇到格式漂移、不可解析文本和无效行为字段的风险。 所有模态编码器保持冻结，LoRA 适配多模态投影层和语言骨干的注意力模块，将训练集中在跨模态对齐与输出行为上。

3. 离线 GRPO：奖励解析后的命令，而非只比较文本相似度

对同一个观测与指令，策略采样 8 个完整候选输出，再逐个解析成连续运动量和离散行为。 运动奖励先将平移速度除以尺度 \(s_v\)、偏航角速度除以尺度 \(s_\omega\)，避免不同单位的量直接混在一起比较。 得到归一化预测命令向量 \(\hat{\mathbf{u}}\) 和目标向量 \(\mathbf{u}^{*}\) 后，奖励比较它们的方向一致性。 下面是原文第 8 页式 (6)–(7) 所述机制的等价记法；缓存排版存在断裂，此处不重建其余损坏公式。

\[ R_m = \frac{\hat{\mathbf{u}}^{\top}\mathbf{u}^{*}}{\lVert\hat{\mathbf{u}}\rVert\lVert\mathbf{u}^{*}\rVert}. \]

该式要求两向量范数非零；已读正文未明确零速命令的特殊处理，也未给出两个归一化尺度的具体数值。 余弦奖励强调方向而非绝对速度幅值，因此高奖励不能单独证明速度大小已准确，也不能等同于物理碰撞风险低。 动作奖励在离散行为与目标完全匹配时取 1，否则取 0；格式奖励在输出符合规定推理与答案模板时取 1，否则取 0。 三项奖励按固定系数加权，分别约束连续方向、离散行为和机器可解析性。 奖励来自离线目标命令及输出格式，不直接来自一次真实滚动轨迹最终是否成功。

GRPO 将每个候选的奖励减去组均值，再按组内标准差归一化，让同一输入下相对更好的答案获得正向更新。 更新使用截断的策略概率比，并以 KL 正则约束其不要偏离冻结的 SFT 参考策略过远。 这与给监督交叉熵乘一个样本权重不同：策略主动生成完整候选，再根据生成后的命令结果优化输出概率。 代价是最终效果仍依赖奖励覆盖范围；可解析且方向正确的命令，不自动代表完整推理正确或长期任务安全。

一个完整示例

以论文图 4 的“穿过沙发与椅子之间的空隙，然后坐下”为例，语言包含先移动、后切换姿态的次序。 RGB 提供物体身份，深度和点云提供当前空隙的几何线索，历史可帮助判断是否已经穿过目标区域。 模型先生成当前决策的理由，再在答案里提供当前移动速度、转向量和行为字段，解析器将这些字段交给低层控制。 移动后的新观测重新进入策略，后续答案才决定是否继续前进或执行坐下，而不是只生成一次长计划后盲目开环执行。 训练时，同一输入的 8 个候选会因命令方向、行为匹配和格式有效性受到不同奖励；部署时没有这套带目标答案的评分环节。 这个示例解释机制，不代表原文额外公布了一条逐步速度数值完整的成功轨迹。

损失函数 / 训练策略

SFT 使用 AdamW 和余弦学习率调度，学习率为 \(2\times10^{-4}\)，在 4 张 H20（每张 96GB）上训练。 LoRA 秩为 16、缩放参数为 32；先建立长程推理与结构格式，再对齐逐步控制的顺序来自方法第 4.2 节。 GRPO 使用单张 H20（96GB），训练 1K 个优化器步骤，每次更新默认包含 5 个输入，各采样 8 个候选。 其 AdamW 学习率为 \(1\times10^{-6}\)，KL 系数为 0.04，截断系数为 0.2，参考策略固定为 SFT 模型。 原文表 7 扫描运动奖励权重 0.00、0.10、0.25、0.50、1.00，但正文没有清楚列出另外两项奖励权重的绝对值。 这些缺失参数和零范数处理都会影响复现，不能用常见 GRPO 默认值冒充本文配置。

实验关键数据

主实验

下表摘自原文表 2（第 9 页），均为 VLN-CE Val-Unseen；SR 是成功率，SPL 同时考虑成功与路径效率，二者越高越好，按百分制报告。 NaVILA 和 CorrectNav 使用单目 RGB、不使用深度；MobileVLA-R1 在该表被标注为单目 RGB 加深度，三者均无全景和里程计。 因此这不是输入传感器严格匹配的算法消融；全文还讨论点云编码，但表 2 未单独列点云输入列。

数据集	方法	SR ↑	SPL ↑
R2R-CE Val-Unseen	NaVILA	54.0	49.0
R2R-CE Val-Unseen	CorrectNav	65.1	62.3
R2R-CE Val-Unseen	MobileVLA-R1	68.3	65.2
RxR-CE Val-Unseen	NaVILA	49.3	44.0
RxR-CE Val-Unseen	CorrectNav	69.3	63.3
RxR-CE Val-Unseen	MobileVLA-R1	71.5	66.8

相对 CorrectNav，本文在 R2R-CE 的 SR 提高 3.2 个百分点，在 RxR-CE 提高 2.2 个百分点；不能将摘要中的“约 5%”套用到所有比较。 真机表 4（第 12 页）中，复杂走廊任务的 SR 从 NaVILA 的 0.67 升到 0.86，NE 从 1.76 降到 1.23。 真机评估共 160 个回合，成功要求到达目标、完成指定行为且没有人工干预；室外因全局定位不可靠，只报告 SR。 QUARD 表 3（第 10 页）报告本文平均 SR 为 0.73、MoRE 为 0.60，但本文六个任务数值的算术平均约为 0.698，和所列平均值不一致，需保留这一原文疑点。

消融实验

原文表 5（第 12 页）：R2R-CE Val-Unseen 的奖励消融，SR 与 SPL 均按百分制报告；无奖励行为文解释为 SFT-only 基线。

运动奖励	动作奖励	格式奖励	SR ↑	SPL ↑
关闭	关闭	关闭	58.0	53.2
开启	关闭	关闭	60.7	55.5
关闭	开启	关闭	61.9	56.8
关闭	关闭	开启	59.6	54.7
开启	开启	关闭	64.5	60.2
开启	关闭	开启	63.4	59.1
关闭	开启	开启	65.2	61.0
开启	开启	开启	68.3	65.2

完整奖励相对 SFT-only 提高 10.3 个 SR 百分点和 12.0 个 SPL 百分点；从完整模型移除动作奖励，SR 降至 63.4，是三种单项移除中降幅最大的。 原文表 8（第 14 页）控制教师、提示、输出格式和每回合推理 token 预算，比较不同 CoT 粒度；No-CoT 保留动作目标与命令格式，只去除理由文本。

CoT 监督	SR ↑	SPL ↑	相对 No-CoT 的 SR 增益
No-CoT，仅动作	64.0	59.6	+0.0
Episode-only CoT	65.5	61.3	+1.5
Step-only CoT	66.0	61.7	+2.0
Navigation-level CoT	66.7	62.6	+2.7
Multi-granularity	68.3	65.2	+4.3

这里的 No-CoT 不是上一表的 SFT-only：前者移除理由监督，后者移除强化学习奖励，不能拿两者差异直接解释 CoT 收益。

关键发现

• 奖励组合的效果超过任何单项，但不能仅凭该消融证明自然语言理由忠实于内部决策。
• 表 8 的多粒度监督相对 No-CoT 提高 4.3 个 SR 百分点，比“增加任意理由文本都有效”的主张更具体。
• 表 9（第 14 页）在奖励、格式、KL 及更新和采样预算匹配时，GRPO 为 68.3 SR / 65.2 SPL，PPO 为 64.1 / 60.4。
• 表 11（第 15 页）的 Reward-SFT 为 62.4 SR / 58.3 SPL，说明在该设置下，命令奖励的收益不能完全归结为监督样本重加权。

亮点与洞察

• 将解释和命令放在同一个可解析输出中，使动作层面的错误可以反馈到生成策略；这比单独展示一段推理文本更接近机器人执行接口。
• 多粒度监督围绕长程任务顺序与当前步控制分工，迁移时可复用“轨迹意图加逐步可执行标签”的数据组织方式，而不必照搬三种数据集。
• 格式奖励本身不代表智能，却是语言输出能否进入控制回路的基础；与行为和运动方向共同优化，才构成本文完整的对齐目标。

局限与展望

• 作者明确承认依赖远端推理：机载负责感知、建图、解析和控制，8B 模型前向固定卸载到 H20；不是完全机载，也不是动态选择本地或远端。
• 报告的端到端延迟为 205–245 ms，作者称兼容 5 Hz 高层控制；但 5 Hz 周期为 200 ms，正文未说明异步流水或超期处理，不能据此确认严格实时保证。
• QUARD 平均值存在上述不一致；部分任务成功率也不符合单次 25 回合统计的 0.04 步长，已读正文未交代额外平均方式，不自行更正原表。
• 主比较传感器输入不完全一致，已读表格未提供误差条；几何输入和训练策略对总增益的归因需要更多严格控制。
• 文本缓存部分公式和图中文字损坏，补充材料中的安全过滤、失败细分未包含在本次已读内容里；对零速度奖励和失败回退机制仍需核验。
• 后续可以研究速度幅值与碰撞约束奖励、掉线时的安全回退及机载压缩；这些是读者建议，不是论文已经完成的实验。

相关工作与启发

• NaVILA：本文直接继承其具身对齐初始化，再加入几何输入、多粒度 CoT 和离线命令奖励，因此贡献主要在扩展和后训练，而非从零建立腿式控制系统。
• QUART / QUAR-VLA：同样面向四足机器人视觉语言动作任务；本文进一步把明确的推理结构与可解析连续命令关联起来。
• PPO 与 Reward-SFT：前者提供策略优化对照，后者检验奖励是否只是在挑选更好的监督样本；匹配预算后的比较更能支持组相对优化的具体作用。
• 研究启发：若要检验 CoT 是否真正决定行动，可在保持命令目标和场景不变时干预理由内容，测量行为变化；这属于进一步因果验证，而非当前成功率表已给出的结论。

评分

• 新颖性: 4/5。将多粒度推理监督、结构化命令和离线 GRPO 组合到四足执行接口，创新主要来自整合方式。
• 实验充分度: 4/5。覆盖导航、四足任务、真机及多种控制消融，但输入差异和统计疑点限制结论强度。
• 写作质量: 3/5。训练与部署边界说明清楚，部分统计和实时性表述仍需澄清，缓存公式排版也影响阅读。
• 价值: 4/5。为推理型 VLA 的可执行后训练提供具体范式，但距离完全机载、严格安全实时系统仍有差距。

相关论文

• [ECCV 2026] EvoVLA: Self-Evolving Vision-Language-Action Model
• [ECCV 2026] VLA-R1: Enhancing Reasoning in Vision-Language-Action Models
• [ECCV 2026] VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model
• [ECCV 2026] VLA-Hijack: A Transferable Patch Attack against Vision-Language-Action Models via Visual Proprioception Hijacking
• [ECCV 2026] EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation