Embodied-R1.5: Evolving Physical Intelligence via Embodied Foundation Models¶
会议: NeurIPS 2026
arXiv: 2606.11324
代码: https://github.com/pickxiguapi/Embodied-R1.5
领域: 机器人
关键词: 具身基础模型, 具身推理, 闭环自主性, 强化微调, 视觉语言动作模型
一句话总结¶
Embodied-R1.5 将空间认知、任务规划与纠错、具身指向三大维度统一于单一 8B 基础模型，配合多任务平衡强化微调与 Planner-Grounder-Corrector (PGC) 闭环框架，无需大规模动作预训练即可实现卓越的长程真实机器人自主执行与自纠错。
研究背景与动机¶
大语言与多模态模型在数字世界中取得了颠覆性进展，但如何将其认知能力真正扎根于物理世界，实现通用物理智能，依然是机器人领域的根本挑战。当前具身推理被公认为弥合“感知-执行”（seeing-to-doing）鸿沟的核心路径，它要求智能体不仅能理解场景几何语义，还要在物理时空中进行任务排布与精确动作交互。然而，现有的具身智能模型面临三大根本瓶颈：一是能力割裂，现有工作大多局限于特定单一维度（如纯空间问答、高层任务规划或浅层物体定位），部分试图兼顾多维度的方案（如 RynnBrain）则依赖级联不同规模的独立模型，导致模块间通信开销巨大且误差逐级累积；二是多任务冲突，长文本推理、轨迹生成与连续坐标回归在输出格式与梯度尺度上差异极大，联合微调时不同任务往往相互侵蚀、极难收敛；三是缺乏长程闭环自主性验证，现有评测大多停留在静态 Embodied QA，未验证推理能力在连续决策与动态扰动下能否形成闭环。
针对这些痛点，单纯依赖海量动作数据端到端模仿学习（如传统 VLA）的路线面临高昂的数据采集成本与脆弱的跨场景泛化瓶颈。人类在操作物理世界时，并不需要对每个新场景重复数万次示范，而是依赖内化的物理世界结构先验与因果修正逻辑。因此，构建一个能将几何感知、符号规划与轨迹指向深度融合，并在统一架构下具备自纠错能力的具身基础模型（EFM）成为了破局的关键方向。
本文的切入角度是打破能力割裂与级联依赖，让单一 8B 模型同时内化具身认知、规划纠错与动作指向全栈能力，并以极简架构驱动闭环控制。核心 idea：构建统一的具身基础模型 Embodied-R1.5，通过 15B token 的三维自动化数据体系与多任务平衡强化微调（全局批次优势归一化与分段可验证奖励），并提出单模型驱动的 Planner-Grounder-Corrector (PGC) 闭环框架，以内化的具身推理替代大规模动作预训练。
方法详解¶
整体框架¶
Embodied-R1.5 采用统一的 8B 参数多模态自回归架构（基于 Qwen3-VL-8B-Instruct 全参数微调），将空间认知、规划纠错以及具身指向等异构任务统一映射为纯文本 Token 序列。其中，2D 图像点坐标统一归一化至 \([0, 1000]\)，轨迹表示为有序点序列，文本思考链与动作参数无缝交织。在此基础上，系统通过挂载轻量级 Flow-Matching 动作专家头衍生出 Embodied-R1.5-VLA，直接输出连续动作。在执行阶段，单一模型实例通过 PGC 框架异步扮演规划者、定位者与纠错者，形成完全自主的长程闭环系统。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
A["多模态输入<br/>RGB 图像 + 语言指令 + SOP 上下文"] --> B["三维具身数据体系构建<br/>空间/纠错/指向 15B+ Tokens"]
B --> C["两阶段微调范式<br/>全参 SFT + 多任务平衡 RFT"]
C --> D["Embodied-R1.5 统一具身基础模型 (8B)"]
D --> E["轻量级流匹配动作专家<br/>DiT-B 连续动作生成 (VLA)"]
D --> F["PGC 极简异步闭环控制框架<br/>Planner / Grounder / Corrector"]
E --> G["仿真基准评测<br/>SimplerEnv / LIBERO / ManiSkill"]
F --> H["真实机器人长程自主操作与抗扰自纠错"]关键设计¶
1. 三维具身数据体系构建：突破关键能力覆盖盲区 针对细粒度桌面交互空间数据匮乏、真实失败负样本稀缺以及物理可操作性（Affordance）难以获取的问题，本文设计了三大自动化数据生产流水线，汇总 34 个数据集构建了超 15B Tokens 的训练语料。流水线一（ER1.5-Spatial，约 20K 样本）利用真实机器人场景图片（Fractal、BridgeData V2、DROID），通过 MoGe-2 估计度量级单目几何、Grounded-SAM 进行开集分割，并结合 RANSAC 水平面对齐重构 3D 语义场景图，程序化生成涵盖方位、公制度量和三维相对深度的问答；流水线二（ER1.5-Correction，约 80K 样本）基于规划层（步骤遗漏、冗余、交换、动作替换等五种结构化扰动）和执行层（视频截断、物理引擎扰动注入），系统化构建“检测-定位-纠正”三层级因果问答，打破以往仅含成功示范的缺陷；流水线三（ER1.5-Pointing，约 400K 样本）统一部件级功能定位（OFG）与视觉轨迹（VTG），利用 Co-Tracker3 与 Detectron2 自动提取末端与物体在 2D/3D 空间中的动态流线，借助仿真数据实现运动拓扑的语义泛化。
2. 多任务平衡强化微调：消除异构任务梯度冲突 在统一自回归微调后，不同任务的奖励尺度差异和样本方差失衡会导致策略崩溃。标准 GRPO 的组内标准差归一化倾向于低方差简单样本，而跨任务移动平均（EMA-GRPO）在稀疏低资源任务上极易失稳。本文提出多任务平衡 RL 配方，通过 SFT 采样通过率筛选出约 200K 具有高信息增益的中等难度样本，并在训练中动态过滤全组同分退化样本。在优势函数计算上，设计了全局批次优势归一化机制： $\(\hat{A}_{i} = \frac{R_{i} - \mu_{\text{group}}}{\sigma_{\text{batch}} + \epsilon}\)$ 其中组内均值 \(\mu_{\text{group}}\) 保证了同一 Query 下不同候选输出的相对排序偏好，而跨全混合批次计算的方差 \(\sigma_{\text{batch}}\) 则统一了不同能力维度的梯度更新幅度，无需人为标记任务权重或维护历史状态。
3. 分段线性衰减与可验证奖励设计：稠密化连续空间反馈 针对连续坐标回归与长文本生成难以直接使用 0/1 奖励的难题，设计了统一的分段线性衰减奖励函数： $\(\phi(d;\, \tau_{p}, \tau_{z}) = \mathrm{clip}\left(\frac{\tau_{z} - d}{\tau_{z} - \tau_{p}},\, 0,\, 1\right)\)$ 当预测误差 \(d < \tau_{p}\) 时给予满分 1.0，当 \(d \ge \tau_{z}\) 时归零，中间线性插值以提供稠密的梯度信号。针对关键点定位，利用最近邻距离 \(d_{\text{nn}}\) 设定 \((\tau_p, \tau_z) = (40, 150)\)；针对 2D 轨迹 RMSE 设定 \((50, 120)\)，并在 3D 轨迹中结合深度 MAE \((0.1, 0.4)\)，同时引入长度不匹配惩罚项；对离散选择与确定性数值采用严格或符号等价判定；对开放文本计划与纠错建议，则引入 Skywork-Reward-V2 奖励模型结合 Sigmoid 温度映射打分。最终综合格式校验奖励计算总得分：\(R = 0.9 R_{\text{acc}} + 0.1 R_{\text{fmt}}\)。
4. 单模型 PGC 闭环自主框架：无通信损耗的长程执行与纠错 为了让具身能力真正服务于物理世界长程任务，提出 Planner-Grounder-Corrector 闭环架构。传统方案依赖多智能体或多模型级联，不仅推理延迟大，而且上游规划的语境往往在传递给下游定位或纠错模块时丢失。PGC 架构使用单一 Embodied-R1.5 实例异步承接三类职责：高层 Planner 负责将复杂指令拆解为结构化子任务；低层 Grounder 自主编排调用 OFG 部件定位或 VTG 轨迹生成，输出精准可执行坐标；Corrector 以轻量 FIFO 历史记忆为参考，异步对执行状态给出“成功、进行中、失败”判别。一旦检测到失败（如打滑跌落、物体被扰动位移），Corrector 将因果归因直接写入上下文，触发 Planner 重新规划或重试，实现全自主物理抗扰自愈。
一个完整示例¶
以制作奶茶长程任务为例： 1. 任务输入：收到指令“制作一杯奶茶”及操作 SOP，单目相机捕获当前杂乱桌面。 2. Planner 分解：Planner 结合上下文将任务分解为 10 个子步骤：取杯、开盖、倒入茶包、加开水、搅拌等。 3. Grounder 定位：执行第一步时，Grounder 识别茶水机开关，调用 OFG 锁定按压开关局部坐标，随后调用 VTG 生成末端夹爪平移推进轨迹 \([x, y, z]\)。 4. Corrector 监控与自愈：机械臂按压后，Corrector 发现指示灯未亮（判定为 FAIL，归因为按压力度不足或位移偏置），将失败上下文注入 FIFO 记忆，触发 Planner 重新发起当前子任务定位重试，第二次按压成功并自动流转至下一子步骤。
损失函数 / 训练策略¶
训练分为两个阶段。阶段一（SFT）：在 Qwen3-VL-8B-Instruct 基础上对全量 15B token 数据集进行全参数因果语言建模微调 1 个 epoch，AdamW 优化器，学习率 \(2\times 10^{-6}\)（余弦退火，10% warmup），批大小 512，最大长度 8192，视觉编码器与语言模型全程联合更新。阶段二（RFT）：在 SFT 权重上基于 EasyR1 框架扩展进行 2 个 epoch 的多任务强化学习，每个 Prompt 采样 8 条候选响应，AdamW 学习率 \(3\times 10^{-6}\)，KL 散度惩罚系数 \(\beta = 0.01\)。动作专家头微调时，保持 VLM 主干学习率 \(10^{-5}\)，DiT-B 动作头学习率 \(10^{-4}\)，在 8 卡 H20 上训练 80K 步。
实验关键数据¶
主实验¶
在 24 个具身 VLM 基准与 4 个机械臂操作评测套件中，Embodied-R1.5 全面刷新基准水平。
| 基准类别 / 数据集 | 评测指标 | Embodied-R1.5 (8B) | 之前代表性模型 | 对比增益 |
|---|---|---|---|---|
| 规划与纠错 (Avg) | Accuracy (%) | 65.3 | Gemini-Robotics-ER-1.5 (41.3) / GPT-5.4 (53.8) | +24.0% / +11.5% |
| - RoboFAC (失败纠错) | Accuracy (%) | 77.2 | GPT-5.4 (70.1) / Qwen3-VL-8B (65.4) | +7.1% / +11.8% |
| - EgoPlan-2 (第一人称规划) | Accuracy (%) | 53.8 | GPT-5.4 (44.1) / Mimo-Embodied (43.0) | +9.7% / +10.8% |
| 指向与定位 (Avg 9项) | Accuracy (%) | 72.8 | Embodied-R1 (58.7) / Qwen3-VL-8B (59.2) | +14.1% / +13.6% |
| - Part-Afford (部件交互) | Accuracy (%) | 82.9 | Molmo-D-7B (73.2) / Embodied-R1 (56.6) | +9.7% / +26.3% |
| - Where2Place (放置区域) | Accuracy (%) | 74.0 | Embodied-R1 (69.5) / Qwen3-VL-8B (64.0) | +4.5% / +10.0% |
| 空间认知 (Avg 8项) | Accuracy (%) | 70.2 | Gemini-2.5-Pro (68.8) / GPT-5.4 (67.3) | +1.4% / +2.9% |
| - RoboSpatial | Accuracy (%) | 69.7 | Qwen3-VL-8B (65.4) / Gemini-2.5-Pro (59.9) | +4.3% / +9.8% |
| SimplerEnv (Google Robot) | 成功率 (%) | 92.4 | \(\pi_{0.5}\) (72.7) / \(\pi_0\) (71.4) | +19.7% / +21.0% |
| - Open Drawer & Place Apple | 成功率 (%) | 97.2 | \(\pi_0\) (46.6) / RT-1-X (21.3) | +50.6% / +75.9% |
| LIBERO 综合无动作预训练 | 成功率 (%) | 97.3 | \(\pi_{0.5}\) (93.6) / OpenVLA-OFT (91.9) | +3.7% / +5.4% |
| PartNet-Mobility (Unseen) | 成功率 | 0.66 | ManipLLM (0.54) / Implicit3D (0.41) | +12.0% |
消融实验¶
消融实验深入验证了 RFT 强化微调和 RL 配方核心组件的有效性。
| 配置 | Planning Avg (%) | Pointing Avg (%) | Cognition Avg (%) | 说明 |
|---|---|---|---|---|
| Full Recipe (Embodied-R1.5) | 65.3 | 72.8 | 70.2 | 完整模型 (SFT + 均衡 RFT) |
| Pure SFT baseline | 62.6 | 69.0 | 68.9 | 缺失可验证强化微调，定位能力下滑明显 (-3.8%) |
| w/o Difficulty Filtering | 63.8 | 70.4 | 69.1 | 缺乏难度过滤，梯度被极端简单/极难样本干扰 |
| EMA-GRPO 代替批归一化 | 64.2 | 71.1 | 69.5 | 异构任务样本规模不均导致历史估计失真 |
| Vanilla GRPO | 63.1 | 69.8 | 69.0 | 组内方差失衡严重，异构任务梯度互相侵蚀 |
关键发现¶
- 可验证奖励使指向定位受益最大：RFT 阶段使得 Pointing 维度平均得分提升 3.8%，远高于认知维度的 1.3%，这表明基于几何距离与 IoU 的确定性连续可验证奖励极大地激发了策略探索空间。
- 内化推理可替代动作预训练：在 LIBERO 基准中，主流 VLA 移除动作预训练后性能急剧滑坡（\(\pi_{0.5}\) 从 96.9% 跌至 93.6%，OpenVLA-OFT 从 97.1% 跌至 91.9%），而 Embodied-R1.5-VLA 在完全不进行动作预训练的情况下直接取得 97.3% 的最佳表现，且收敛速度在 10K 步时领先对手 10%。
- 抗扰闭环自愈能力突出：在真实双臂平台与人工动态干扰实验中，由于 Corrector 具备细粒度失败归因与重新定位唤醒机制，系统在杯子错位、托盘被移走等极端扰动下实现了 100% 的自主恢复率。
亮点与洞察¶
- 单模型解耦与闭环统一：以往系统通常需要将 Planner、Grounder 和 Corrector 拆分为不同模型，造成显存占用激增和语境丢失；Embodied-R1.5 以单一 8B 模型通过统一 Token 序列承载所有接口，使得纠错者能直接继承规划与定位的思维上下文。
- 批次优势归一化巧妙解决异构冲突：利用 \(\hat{A}_i = (R_i - \mu_{\text{group}}) / \sigma_{\text{batch}}\)，将组内相对优劣（保留排名质量）与整批尺度统一（平抑任务权重鸿沟）优雅结合，是多任务 RL 微调极具推广价值的工程设计。
- 以推理深度缩减动作数据规模：证实了下游动作生成本质上是高层意图的低维连续流射，只要基座模型具备高保真的物理空间与因果理解，下游动作微调仅需极少样本即可泛化。
局限与展望¶
- 单目 2D 输入的固有几何不确定性：当前模型输入依然基于 2D RGB，在严重遮挡和极端杂乱场景中，深度的单目估计可能存在抖动，未来需探索原生多模态点云与体素输入的融合。
- 动作执行头尚处弱耦合状态：当前 VLA 拓展采用 DiT-B 外部特征挂载，未能实现动作 Token 与语言 Token 的深度双向流式生成，未来可探索原生端到端流匹配统一自回归架构。
- 物理交互力控泛化边界：尽管与 ForceFlow 结合展示了插拔与擦拭潜力，但对于更复杂的非刚体、流体动力学交互，纯视觉引导仍面临高频反馈带宽不足的限制。
相关工作与启发¶
- vs Gemini-Robotics-ER-1.5 / GPT-5.4: 商业超大模型主要依赖巨量通用数据进行隐式空间推演，缺乏针对部件级功能（OFG）与精细动作轨迹的显式建模；Embodied-R1.5 仅凭 8B 参数，在专用具身基准上实现大幅反超（Planning 维度超越 Gemini-Robotics-ER-1.5 达 24%）。
- vs \(\pi_{0.5}\) / OpenVLA: 传统 VLA 强依赖互联网级或跨本体海量动作轨迹预训练；Embodied-R1.5 证明强具身基座可在极小下游数据微调下达成更高成功率与更强泛化。
- vs Embodied-R1: 从单一的指向定位专精模型跃迁为兼顾空间认知、闭环规划、因果纠错与连续动作生成的通用物理智能基础模型。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将空间认知、规划纠错与具身指向统一于单模型，提出 PGC 闭环自主机制与异构多任务 RL 配方]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 24 个 VLM 基准、4 项仿真套件、真实双臂长程任务、强干扰恢复及力控拓展，实验极其详实]
- 写作质量: ⭐⭐⭐⭐⭐ [结构严密，逻辑链路层层递进，消融对比深入透彻]
- 价值: ⭐⭐⭐⭐⭐ [彻底开源模型权重、15B 数据集、代码及 EmbodiedEvalKit 评测体系，为具身智能研究提供重要基石]