RoboClaw: An Agentic Framework for Scalable Long-Horizon Robotic Tasks¶

会议: ECCV2026
论文: ECCV 官方页面
代码: https://github.com/RoboClaw-Robotics/RoboClaw
领域: 机器人/具身智能
关键词: 长时程操作、自复位数据采集、正逆动作配对、过程监督、视觉语言动作模型

一句话总结¶

RoboClaw 让同一个 VLM 智能体负责机器人数据采集与任务执行，用正逆动作配对实现自动复位、用在线监督组织多个 VLA 策略，在真实机器人实验中降低人工采集时间，并使四类操作策略随闭环数据迭代持续改善。

研究背景与动机¶

视觉语言动作模型已经能把图像、语言指令和机器人状态映射成动作，但“能把一件东西放好”与“能持续收拾整张桌子”之间还有很大距离。一次整理任务包含抓取、搬运、插入、关抽屉、擦拭等不同技能；前一步留下的物体姿态可能不满足下一步策略的启动条件。若把若干独立策略按预设顺序直接串起来，一次空抓就可能被误认为完成，后面的动作继续执行，最终导致整段任务失败。

训练这些技能也不只是收集一批示范那么简单。每次试验后，人需要重新摆放物体、判断成功与否、处理失败，再启动下一轮。采集者、训练者和部署操作者若分别使用不同的成功标准与子任务边界，数据中的“完成”就未必等于运行时真正需要的状态。因此问题同时存在于物理状态分布与任务语义两层：部署会遇到示范中少见的偏移状态，而分离的管线又可能对这些状态作出不同解释。

RoboClaw 的切入点是把这些环节交给同一个高层控制器，并让机器人掌握“做完以后怎样回到还能再做一次的状态”。恢复动作不必和正向操作一样难，例如从窄槽取出口红通常比精准插入口红更容易；这种不对称性可以用来支持连续采集。核心 idea：用统一的记忆与工具接口维持采集、训练、执行之间的任务语义，以可学习的正逆动作配对产生数据，再用部署期过程监督和经验回流改善长时程任务。

方法详解¶

整体框架¶

系统输入是用户任务、视觉观察与机器人状态，输出既可以是一次长时程任务执行，也可以是一批新采集的训练轨迹。现成 VLM 负责判断场景、进度和下一步，底层 π0.5 策略负责输出短时程动作块；论文没有把高层语言推理直接当作高频电机控制。

框架明确区分三层：Policy 是产生机器人动作的 VLA 模型，Tool 是启动、停止、切换策略以及查询环境的 MCP 接口，Skill 则是组织这些工具调用的可复用流程。这里的 Skill 不是另一个同名神经网络，例如一个长时程执行技能可以先查询环境，再启动对应的操作策略。

统一上下文驱动两条运行分支：采集模式使用 EAP 正逆动作配对，部署模式使用过程监督与技能调度；两者产生的经验进入同一训练闭环。图中实线表示运行时控制或经验记录，虚线表示策略训练及更新，并不表示机器人每个控制步都在线反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务、图像与机器人状态"] --> B["统一上下文与工具分层"]
    B -->|采集模式| C["EAP 正逆动作配对"]
    B -->|部署模式| D["过程监督与技能调度"]
    C --> E["经验回流与策略扩展"]
    D --> E
    E -.->|训练数据| F["π0.5 策略池微调"]
    F -.->|更新可调用策略| B
    D -->|观察反馈| B

关键设计¶

1. 统一上下文与工具分层

高层控制器不是每次看到图像就从头猜测任务。它保留三类结构化记忆：角色身份说明当前处于采集还是执行模式、能用哪些工具；任务级记忆记录全局目标、拆出的子任务及完成状态；工作记忆保存当前激活技能和近期工具调用。VLM 根据当前观察与这些记忆进行上下文学习和推理，先判断场景中相关物体，再确定当前目标和成功条件，最后选择继续执行、切换或纠正。论文第 3.2 节提取出的记忆公式与附近文字不完全一致，这里采用第 3.1 节清楚列出的三类定义，不照抄损坏的公式。

动作落地依赖 MCP 工具：启动和终止策略、查询环境摘要与机器人状态、切换策略、请求人工帮助。智能体调用策略时动态生成描述当前子任务的语言指令，与视觉输入、关节状态一起送入 π0.5。这样，同一个“放入抽屉并关好”的语义既用于采集时判断完成，也用于部署时决定何时推进；工具返回的结果又写回记忆。共享控制逻辑减少语义割裂，但不是对视觉判断绝对正确的保证。

2. EAP 正逆动作配对

Entangled Action Pairs（EAP）为一个正向操作策略配上一个逆向复位策略。正向策略把物体放到目标位置，控制器确认完成后再触发逆向策略，把场景带回可重新执行该操作的前置状态区域，然后开始下一轮。关键是“恢复可用的前置条件”，而非严格还原每个像素或机械地倒放原动作序列；逆向行为本身也是学习得到的策略。正向与逆向轨迹一起被记录，供后续策略学习使用。

这种机制利用了任务难度的不对称性。把口红插进窄槽需要位置和旋转精确对齐，取出口红却不需要再次完成这个插入过程，因此较可靠的逆向策略能够支撑更困难正向策略的反复练习。复位不是免费的：原文四种逆向策略只有 36/50 到 43/50 的成功次数，而不是每次必成；异常场景仍可能需要人处理。EAP 的“纠缠”主要指正逆行为在采集环中互相提供下一次执行条件，不应理解成论文提出了某个新的正逆联合损失。

3. 过程监督与技能调度

部署时，控制器从已学到的策略池中选择当前子任务的正向策略，运行期间周期性读取环境摘要和机器人状态。只有满足成功条件才更新任务记忆并进入下一项；否则可重试当前策略，或通过 Change Policy 切换到其他可用策略。这使“命令已经发出”和“子任务已经完成”成为两回事，避免某个动作失败后，后续技能仍盲目执行。它是高层监督闭环，正文没有给出能证明实时控制频率的延迟数据。

失败处理还取决于场景是否被破坏。空抓但瓶子仍直立，是非退化失败，通常可以直接重试；抓取导致瓶子倒下或滑出原区域，则是退化失败，需要恢复或重新规划。部署时主要组合正向技能和后来扩展的恢复技能，并不要求每做完一个子任务都调用采集时的逆向复位策略，否则会撤销刚取得的任务进展。反复失败、恢复无效或触发安全条件时，通过 Call Human 请求帮助，人工监督并未被完全取消。

4. 经验回流与策略扩展

部署轨迹不只是评测日志，也会进入后续训练数据，让策略看到真实串联执行时产生的状态。论文的训练管线包含人工示范、自主采集轨迹，以及自主执行失败后的人工介入数据。数据采集和任务执行共用任务解释与工具接口，因而这些经历能够在较一致的语义下累积；其目标是缩小只靠独立示范训练时的状态覆盖缺口，而不是宣称已经消除所有分布偏移。

经验也能扩展策略库。早期遇到瓶子倒下等退化失败时，可能需要人恢复场景；积累相关经验后，可以把这类恢复行为训练成专门策略，再由控制器在后续运行中调用。因此系统的演进同时包括已有策略更稳和可恢复状态种类增加。不过第 4.4 节给的是机制描述与失败案例，没有独立的恢复技能增量曲线，不能把这一部分写成已被完整量化验证的自主技能发现算法。

一个完整示例¶

以论文的梳妆台整理场景为例，目标包含妆前乳入抽屉、口红插槽、身体乳归位和纸巾擦拭四类操作。下面按方法说明组织一个示意流程，不把它当作论文逐步记录的单次试验。

采集阶段先练“把妆前乳放入目标区域并关抽屉”：控制器看场景、生成该子任务指令并启动对应 π0.5 策略；确认成功后，调用配对复位行为使物体和环境重新满足练习条件。持续记录正逆轨迹，下一轮策略更新即可利用这些真实执行数据，而无需每次让人重新摆放。

部署阶段同样先判断场景，但完成妆前乳任务后会推进其他待完成项目，不再为了采集而把妆前乳取出来。若身体乳抓空，控制器检查瓶子状态：瓶子未动则再试，瓶子倒下则尝试恢复技能；恢复不了才请求人工介入。完成状态只有在观察确认后才写入任务记忆。

这也说明 EAP 和过程监督的作用不同：前者让训练数据可以连续产生，后者让一次任务可以容忍局部失败。部署中记录的偏移姿态与恢复经历再进入经验回流环节，为未来的策略微调提供数据，而不是在这次执行中自动保证策略已经学会所有新状态。

损失函数 / 训练策略¶

底层 π0.5 在图像、智能体生成的语言指令和关节状态条件下预测动作块，采用条件流匹配目标学习从高斯噪声到动作分布的速度场。缓存中的原式（5）范数、差号及参数存在提取损坏，因此这里只说明训练含义，不重建为作者精确公式。本文的主要创新在采集与调度管线，不是新的 VLA 目标函数；高层 VLM 使用上下文学习，文中未给出对其进行联合梯度训练的方案。

原文表 1 的 π0.5 微调设置是 bfloat16、batch size 16、10k 训练步、100 warmup 步、学习率 2.5 × 10⁻⁵，启用梯度检查点。LoRA rank 与 alpha 均为 16，dropout 为 0.1，目标模块为 all-linear，推理步数为 3。正文未明确 VLM 型号和训练 GPU 配置，因而这些超参数不能单独构成完整资源复现条件。

子策略实验固定每个正向策略的人类示范预算，并比较 1 到 5 轮采集，每轮增加 50 个数据样本。论文没有在正文给出每个策略的初始示范绝对数量，也没有充分说明所有失败轨迹如何筛选或标注。应把结果理解为“固定人工示范下增加闭环采集数据的效果”，而非严格控制总数据量之后对采集机制的纯消融。

实验关键数据¶

主实验¶

全部实验使用 Agibot G01 双臂移动操作平台，除末端执行器外有 20 个自由度，每条机械臂配单主动自由度的 AGIBOT OmniPicker 夹爪。采集效率实验涉及卧室梳妆台、厨房架、书桌、便利店货架四类环境；详细子策略和长时程结果集中在梳妆台任务，不是四个独立公开测试集上的完整泛化评测。

表中两个指标均以 RoboClaw 为 1，比较相同采集数据量时的人工基线。人工时间与 rollout 介入量是不同指标，不能把 8.04 倍解释为机器人吞吐量或时间加速。

指标与条件	人工基线	RoboClaw	解释与来源
同量轨迹的相对人工时间	2.16	1.00	图 4(a)；折算减少约 53.7% 人工时间
rollout 中相对人工介入量	8.04	1.00	图 4(b)；原文未充分展开具体介入口径

长时程实验的 Baseline 1 是相同数据集训练、但不带 RoboClaw 框架的 π0.5；Baseline 2 是四个子策略成功率的乘积，只是独立成功假设下的估计，并非第二个实际执行系统。图 4(c) 标注结果来自 20 次试验，摘要报告成功率提高 25%，但正文没有明确该数是相对百分比还是百分点，缓存图像转文本也未保留精确曲线点。因此保留作者的定性优势结论，不把 25% 改写成可独立核验的绝对增益。

消融实验¶

论文没有逐项移除记忆、EAP、监督或恢复模块的标准消融。以下是原文表 3 的数据迭代分析，并并列列出表 2 的逆向策略评估；逆向列不是第 5 轮正向策略的同条件消融结果。每项成功次数的分母均为 50。

子任务	第 1 轮正向成功	第 3 轮正向成功	第 5 轮正向成功	第 1→5 轮增益	逆向复位成功
Body Lotion	21/50	32/50	43/50	44 个百分点	36/50
Primer	23/50	31/50	40/50	34 个百分点	38/50
Lipstick	2/50	11/50	23/50	42 个百分点	43/50
Tissue Wipe	11/50	14/50	26/50	30 个百分点	39/50

关键发现¶

闭环采集改善了所有四类操作，但难任务没有被解决：第 5 轮口红插入仍仅 46%，纸巾擦拭仅 52%。恢复与重试机制对长时程执行仍很重要。
口红复位为 43/50，而第 1 轮插入只有 2/50，直接体现 EAP 利用正逆难度不对称的动机；这不等于证明复位在所有物理任务中都容易。
长时程优势来自整个可监测、可重试的执行框架。缺少匹配重试次数、执行时长和 VLM 调用预算的对照，无法把全部提升归因于某个单独模块。

亮点与洞察¶

把复位变成可学习行为，是将人工成本问题转成策略设计问题。尤其在取出容易、放入困难的任务中，逆向技能可以成为持续练习正向技能的基础设施。
同一个控制器同时定义采集与执行中的成功语义，比仅共享模型权重更贴近真实管线问题。它有助于避免训练数据的任务边界与部署调度边界不一致。
区分非退化与退化失败，为恢复策略库提供具体组织原则。前者主要需要重试，后者必须先恢复前置条件，不能只增加同一策略调用次数。

局限与展望¶

作者指出云端大模型可能引入延迟，而且方法依赖存在实用的逆向复位行为。擦拭、耗材使用等改变环境的操作尤其需要具体说明何谓可重复的复位状态。
本笔记判断：正文缺少 VLM 型号、完整数据规模、训练资源、失败筛选细节以及置信区间；四种场景不能直接等同于跨机器人、跨任务的广泛泛化证据。
本笔记判断：25% 的增益口径与高层模块贡献尚不清晰。后续应报告完整长时程成功率、任务耗时、重试及人工介入预算，并加入等总数据量、等运行预算的消融。

评分¶

新颖性: 4/5。正逆动作配对与生命周期统一具有系统价值，但若干基础组件已有成熟前例。
实验充分度: 3/5。真实机器人结果覆盖采集成本与技能迭代，模块消融和资源条件仍不充分。
写作质量: 3/5。主线直观，但关键增益口径与部分实现细节不够明确，缓存公式也有提取损坏。
价值: 4/5。对重复采集成本高、可构造复位技能的机器人任务具有较强工程启发。