From Passive Observer to Active Critic: Reinforcement Learning Elicits Process Reasoning for Robotic Manipulation¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 机器人
关键词: 任务进度估计、过程推理、状态边界锚定、强化学习、失败检测

一句话总结¶

PRIMO R1 将初始图像、过程视频和当前图像结合，用结构化思维链冷启动与基于最终进度误差的 GRPO 训练一个 7B 机器人过程评估器，在四环境比较中获得平均 MRA 82.90、MAE 15.52，并在未见过的 RoboFail 上达到 67.0% 准确率。

研究背景与动机¶

长时程机器人操作需要知道“距离完成还有多远”，而不只是最后成功还是失败。稀疏成功奖励难以帮助策略区分中间动作的价值，手工设计密集奖励又往往依赖环境状态或特定任务规则。视觉语言模型似乎可以用自然语言目标和摄像头观测提供通用评估，但能够描述“机械臂正在折衣服”不等于能够判断“衣服的哪一部分已经折好、哪些完成条件仍未满足”。只识别动作外观，容易把一次看起来正确却没有改变物体状态的尝试误判为高进度。

现有路线还面临输入证据的问题。只看当前图像，不容易判断它相对初始状态发生了什么；只看压缩的视频特征，又可能丢掉夹爪接触、物体局部形态等细节。依赖成功参考演示的进度模型可以得到额外参照，却也提高了新任务的使用门槛。本文尝试将语言目标作为成功语义的参照，再把初始和当前两张图像显式放在过程视频两端，让模型检查实际状态变化，而不是只匹配熟悉的动作模式。

作者进一步把“生成解释后给出数值”作为训练目标，而不是只监督一个进度标签。监督微调先教会模型组织计划、观察和判断，随后强化学习依据最后的数值误差选择更有效的生成路径。核心 idea：用状态边界约束视觉证据，再用最终进度准确性优化显式过程推理，使视频模型从描述动作的观察者转为检验任务完成条件的评估者。

方法详解¶

整体框架¶

输入包括任务执行前的初始图像、截至评估时刻的过程视频、当前状态图像，以及描述任务目标的语言指令。模型以 Qwen2.5-VL-7B-Instruct 为基础，输出一段思维链和一个取值在 0 到 100 之间的进度数值；0 对应初始状态，100 表示成功完成。这里训练的是负责评估的 VLM，不是输出关节动作的机器人控制策略。

训练依次使用状态边界锚定、结构化推理冷启动和结果奖励优化。第一步定义模型看到的证据，第二步提供生成推理的初始能力，第三步用数值结果优劣更新模型。部署时只需按同样方式组织观测，再调用训练后的模型，不需要真实进度标签、参考成功演示或在线奖励计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["任务目标 + 观测"] --> Anchor["状态边界锚定"]
    Anchor -->|训练输入| Cold["结构化推理冷启动"]
    Data["116k 思维链样本"] -.->|监督微调| Cold
    Cold --> RL["结果奖励优化"]
    Labels["182k 训练样本<br/>真实进度标签"] -.->|格式与数值奖励| RL
    RL -.->|参数更新| Model["训练后的 PRIMO R1"]
    Anchor -->|推理输入| Model
    Model --> Output["推理解释 + 进度值"]

关键设计¶

1. 状态边界锚定：给视频变化提供可直接比较的起点和终点

模型接收的不是孤立视频，而是按初始图像、过程视频、当前图像组织的视觉证据。视频提供动作发生的顺序，两张边界图像保留用于比较物体状态的空间细节，语言目标则说明应该比较哪些变化。例如“折短裤”不能仅凭机械臂动过来判断完成，需要比较布料是否从展开状态变成了符合目标的折叠状态。本文的锚定属于输入组织与提示策略，主文没有提出新的独立视觉编码器。

这也解释了三个输入不能简单互相替代：视频能够区分“已经抓起又放下”和“从未抓起”，单帧难以保留这种历史；边界图像则让视频中的动作有明确的状态参照。不过消融不支持三模态对所有任务一概最优。它在长时程 Behavior 上尤其有效，而部分双模态组合在 AgiBot 或 RoboTwin 的 MAE 更低，因此更准确的结论是互补性依赖任务，而不是多加图像必然改善所有指标。

2. 结构化推理冷启动：先学会把目标、观察和完成判断串起来

PRIMO 的后训练数据聚合 AgiBot 真实机器人轨迹、BEHAVIOR-1k 和 RoboTwin 仿真轨迹。SFT 阶段还混入 EgoPlan、RoboVQA、ShareRobot、STAR、NExT-QA 和 Perception Test 等数据，形成约 116k 的 PRIMO-R1-CoT-116k；RL 阶段使用约 182k 的 PRIMO-R1-182k。这里两个名称中的规模是数据集命名用的近似数，不应当作精确求和后的样本总数。主文把细粒度进度标注和思维链合成细节指向附录 A，当前缓存未包含该附录，因此不能进一步核实标签生成规则。

推理文本围绕 Planning、Observation、Reasoning 展开：先根据任务定义预期完成状态和可能步骤，再描述视频中实际发生的状态变化，最后把观察对齐到目标并判断剩余工作。它们是同一个模型生成的文本结构，不是三个独立网络或智能体。SFT 的作用是提供这种推理和输出格式的起点；只做 RL 时，模型还需要从奖励中摸索如何组织答案，表 2 的结果说明两阶段组合优于单独使用任一阶段。作者认为 SFT-only 的失败检测退化源于格式过拟合，但实验只直接显示性能变化，不能将这一归因视为已经完成因果验证。

3. 结果奖励优化：奖励最后估计得准，而不逐句标注推理正确性

给同一个输入采样一组候选输出，每个输出都包含思维链和最终进度值。奖励由两部分组成：格式奖励要求先输出 <think>...</think>，再输出 <answer>...</answer>；精度奖励根据预测与真实进度的绝对误差线性衰减，并限制在 0 到 1。精确匹配得到 1，误差达到最大范围时降到 0。格式奖励的正奖励例值为 +1，最大误差范围的例值为 100.0，主文未据此给出完整的最终运行配置。

根据主文对式 (2) 的文字定义，可以将精度奖励等价写为下式。这是机制释义，不是对缓存中损坏公式的逐字符还原：

\[ r_{\mathrm{acc}}=\max\left(0,1-\frac{|\hat y-y_{\mathrm{gt}}|}{R_{\max}}\right),\qquad R=r_{\mathrm{fmt}}+r_{\mathrm{acc}}. \]

GRPO 用同组候选的奖励均值与标准差构造相对优势，再以裁剪概率比目标和相对参考策略的 KL 约束更新模型，不需要额外训练一个价值网络。这里有两个不同的“critic”：PRIMO 作为应用系统是进度评估者，但其 GRPO 优化器并没有 PPO 式的独立价值 critic。奖励只验证输出格式与最终数值，并没有检查每一句推理是否忠实于图像，因此高奖励能够鼓励有用的推理行为，却不等于中间解释已经得到逐步认证。

一个完整示例¶

图 6 给出 AgiBot 中“折短裤”的案例。初始图像显示短裤展开，视频显示机械臂已将下摆向上折起，但上摆还没有完成处理。模型先提出五步参考计划：拿起下摆、向上折叠、拿起上摆、向下折叠、整理。

随后，观察部分识别已发生的下摆操作；判断部分确认它只覆盖部分工作，并把尚未完成的上摆折叠作为不能判定全部完成的证据。PRIMO 输出 50.0%，而 Qwen2.5-VL-7B 和 RoboBrain-7B 分别输出 25% 与 0%。这些是图中模型预测，不能把 50.0% 当作已独立展示的真实标签。

这个例子的关键不是把“完成两步”机械换算成五步中的等权比例，主文也没有给出通用子任务权重规则。它说明模型尝试用目标状态与可见证据约束进度，而不是看到机器人正在操作就推断任务即将成功。

损失函数 / 训练策略¶

训练先做 CoT 监督微调，再做基于结果奖励的 GRPO。SFT 有带思维链的训练示例；RL 阶段不需要对新采样推理中的每一步逐一提供奖励标签。因此“无需密集推理监督”应限于 RL 的奖励设计，不能解释为整个方法从未使用推理标注。

GRPO 的候选组大小、学习率、KL 系数、训练硬件、采样帧数和分辨率在主文中指向附录 H；推理长度与延迟指向附录 C.2。指定缓存止于参考文献，未包含这些附录，故本笔记不补写相关数值。式 (1)、式 (3) 和部分指标公式也有文本抽取损坏，不据残片伪造精确优化目标。

实验关键数据¶

主实验¶

PRIMO Bench 区分三个已见环境中的同任务测试、已见环境中的未见任务测试，以及未见真实人形机器人环境测试。图 3 为前三个环境的每个 ID/OOD 任务分组各列 3,000 个样本，Real Humanoid 为 4,791 个样本，后者来自 Leju KUAVO-MY 遥操作轨迹。

MAE 是预测进度与真实进度之间绝对误差的均值，进度范围为 0 到 100。MRA 是对一组相对误差阈值下达标情况取平均，越高越好；缓存未提供可完整核实的阈值集合或真实进度为零时的处理。表中保留论文报告值，不将 MRA 当作机器人任务成功率，也不默认它等于 100 减 MAE。

下表摘自原文表 1。平均列汇总四个环境，Real Humanoid 列单独体现跨环境结果。

模型	平均 MRA ↑	平均 MAE ↓	Real Humanoid MRA ↑	Real Humanoid MAE ↓
Qwen2.5-VL-7B	67.79	29.99	56.46	34.73
Qwen2.5-VL-72B	73.80	23.80	62.29	28.10
GPT-4o	79.33	20.67	74.65	25.35
Video R1 7B	66.87	29.49	53.57	31.87
ProgressLM，推荐输入配置	78.32	20.87	84.24	15.76
PRIMO R1	82.90	15.52	72.32	21.37

PRIMO 比 Qwen2.5-VL-72B 的平均 MRA 高 9.10 个点，但 Real Humanoid 的 MRA 低于 GPT-4o，也低于使用推荐输入配置的 ProgressLM。原文明确提醒，专用进度模型按各自推荐配置评估，不能把这些单元格当作严格控制输入条件的对照。摘要中的“误差降低 50%”不是相对每个基线都成立的统一结论。

消融实验¶

下表合并原文表 2 的训练策略消融与表 3 的 RoboFail 结果。表 2 的平均覆盖七个 ID/OOD 分组，与表 1 四环境平均的统计口径不同。

训练策略	七分组平均 MRA ↑	跨环境 MRA ↑	RoboFail 准确率（%）↑
Qwen2.5-VL-7B 基座	67.46	48.12	57.6
SFT-only	79.35	67.30	51.0
RL-only	76.72	52.12	63.0
SFT + RL	85.28	72.32	67.0

表 2 的基座跨环境 MRA 48.12 与表 1 的 56.46 不一致，当前主文未说明两者差异的具体原因。两组数字按原表保留，不自行统一，也不混用它们计算增益。完整模型相对 SFT-only 的七分组平均 MRA 提高 5.93 个点，跨环境提高 5.02 个点；RoboFail 提高 16.0 个百分点。

下表摘自原文表 4，仅保留与输入设计最相关的比较。它是独立的输入消融，不能直接把其 MAE 与表 1 最终模型结果相减来归因。

输入配置	平均 MAE ↓	Behavior MAE ↓	平均 Acc@10 ↑
当前图像	59.50	51.91	2.98
初始图像 + 当前图像	46.50	49.59	13.23
视频	36.61	34.85	19.25
视频 + 当前图像	30.96	27.59	27.29
初始图像 + 视频	34.29	32.55	22.99
初始图像 + 视频 + 当前图像	31.43	22.73	28.89

Acc@10 为原表的阈值准确率字段，但主文没有进一步展开其精确判定式；这里仅原样报告，避免把它未经核实地等同于某一种相对或绝对误差阈值。

关键发现¶

两阶段训练的收益不仅是拟合已见任务：相对 SFT-only，跨环境 MRA 从 67.30 提升到 72.32；但这还不足以证明所有未知机器人平台都能泛化。
视频是重要证据：只看当前图像的平均 MAE 为 59.50，视频单独输入降至 36.61。加入两端图像在 Behavior 上进一步降至 22.73，但平均 MAE 31.43 略差于视频加当前图像的 30.96。
RoboFail 上 PRIMO 的 67.0% 与 Gemini 2.0 Flash 持平，比 OpenAI o1 的 61.0% 高 6.0 个百分点，而不是相对提高 6.0%。这是失败检测准确率，不是在线纠错后的操作成功率。

亮点与洞察¶

把“动作发生了”与“目标实现了”分开。 初始状态、过程历史和当前状态共同支持目标条件核验，比单纯给动作片段配进度标签更容易暴露假完成。
连续结果监督可以迁移到离散判断。 没有在 RoboFail 上训练仍能提升失败检测，说明进度学习可能培养有用的时序状态表征；但这项迁移证据还不能单独证明中间推理链的因果作用。
输入结构与后训练相互配合。 锚定让模型获得更明确的证据，SFT 建立输出结构，GRPO 再依据数值质量调整行为；只使用其中一个环节并不自然得到完整效果。

局限与展望¶

离线评估不等于闭环控制。 本文展示进度估计、失败检测和轨迹跟踪，没有在主文报告把奖励接入策略学习后的控制成功率，也没有展示失败检测触发纠错的端到端收益。
解释可信度仍未直接验证。 格式与最终数值奖励允许模型得到正确数值但给出不忠实解释；可进一步用遮挡关键帧、替换初始状态或打乱时间顺序等干预检验其证据依赖，这是阅读者提出的方向。
标签与实时性细节不可完整复核。 当前缓存缺失附录，无法确认进度标注规则、训练超参数及推理延迟；不能据此宣称可直接用于实时高频机器人控制。
协议和数字需要区分。 不同基线输入配置、表 1 与表 2 的平均口径及基座跨环境差异，限制了统一排名式解读；三模态也没有在所有 MAE 列中获胜。

评分¶

新颖性: 4/5。把边界锚定和结果奖励推理用于机器人过程监督，组合清晰，但主要训练组件已有成熟先例。
实验充分度: 4/5。覆盖多环境、训练策略、输入消融和零样本失败检测；主文缺少闭环控制验证，部分跨表数字需要澄清。
写作质量: 3/5。动机与定性案例易理解，但若干因果措辞强于直接证据，数据口径和复现细节有待更明确说明。
价值: 4/5。适合作为可解释进度评估和机器人奖励模型研究的起点，实时部署与解释忠实度仍需补充验证。