VLA-R1: Enhancing Reasoning in Vision-Language-Action Models¶

会议: ECCV2026
论文: ECCV 官方页面
领域: 机器人/具身智能
关键词: 视觉语言动作模型、具身思维链、可验证奖励强化学习、可供性定位、轨迹预测

一句话总结¶

VLA-R1 以 Qwen2.5-VL-3B 为骨干，先用 VLA-CoT-13K 学习有几何标注约束的具身推理，再用 GRPO 优化区域、轨迹与格式奖励，在域内评测中取得 36.51% IoU 和 91.74 的平均轨迹误差，但真实机器人结果仍需结合小样本设置及原文数字冲突解读。

研究背景与动机¶

把图像和指令直接映射成动作，并不保证机器人已经正确理解“拿哪个物体、接触哪里、放到哪个容器”。同色物体、重复实例和多个候选容器会把一次看似简单的抓放任务变成指代消歧与几何约束的联合问题。通用视觉语言模型擅长识别语义，却未必能输出精确的交互框和末端执行器路径；专用模型的监督微调虽然改善了动作预测，也不必然教会模型解释某个抓取部位为何可行、某条路径为何应避开障碍。

作者的切入点不是另造一个机器人底层控制器，而是改造高层视觉语言模型的后训练。只有思维链文本，模型可能学会流畅地解释，却仍给出错误坐标；只有输出奖励，模型又缺少把指令分解、物体定位和运动约束串起来的推理先验。尤其轨迹的误差不只是终点偏移：即便若干点距离目标较近，点的顺序、局部方向和相邻步长仍可能不合理，因此单一的区域重叠或逐点距离无法覆盖所有问题。

本文让数据监督和奖励监督分别承担不同职责：前者把已有几何标签转化为可学习的推理范例，后者根据最终区域和轨迹是否贴近标注来优化策略，而非让另一个语言模型评价解释是否“听起来正确”。核心 idea：先用几何标注对齐的具身思维链建立推理先验，再用区域、轨迹和输出格式的可验证奖励筛选更可靠的推理与动作输出。

方法详解¶

整体框架¶

输入是一幅场景图像和自然语言操作指令，模型先生成显式推理，再输出任务对应的二维可供性交互框或二维轨迹。这里的“动作”首先是图像空间中的几何描述，不是模型直接自回归生成所有关节角；后续控制栈还要解析输出，利用深度和相机内外参做三维反投影，再结合机器人运动学转成可执行控制。

训练依次经过具身思维链合成、监督微调和强化学习。Qwen2.5-VL-72B 是离线数据教师，Qwen2.5-VL-3B 是实际训练的骨干；教师按可供性或轨迹标注类型生成解释，形成 VLA-CoT-13K。SFT 同时学习推理段和动作段，随后 GRPO 对同一输入采样多个候选，通过多目标可验证奖励比较它们并更新策略。推理时不需要教师或真实标签，几何奖励也不是部署时的在线控制器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像、指令与几何标注"] --> B["具身思维链合成"]
    B --> C["SFT 模型<br/>采样候选输出"]
    C --> D["多目标可验证奖励"]
    A -.->|仅训练时核验| D
    D --> E["GRPO 策略优化"]
    E --> F["部署：图像与指令<br/>生成推理和几何输出"]
    F --> G["深度反投影与运动学<br/>机器人执行"]

关键设计¶

1. 具身思维链合成：让解释围绕实际交互标签展开

VLA-CoT-13K 不是让教师脱离动作标签自由编写机器人常识，而是在 ShareRobot 风格的视觉与几何监督上补充解释。对可供性样本，教师先把指令拆成当前需要完成的原子意图，再识别目标、干扰物和可能的接触表面，确定支持本次操作的部位，最后检查遮挡、可达性及当前物体状态是否允许交互。例如“拿起勺子”需要说明适合抓握的部位，而不只是画出整把勺子的外接框。原有区域标签为解释提供锚点，减少教师把语言合理性误当成几何正确性的空间。

轨迹样本则需要解释“如何从当前位置到达目标”。教师先把指令转成子轨迹目标，定位夹爪和目标物体，再考虑中间路径与场景的关系，包括障碍物、途经点和潜在碰撞，最后分析运动逻辑、连续性和运动学可行性。两条分支分别补全区域选择和运动规划的推理，不意味着每个训练样本同时拥有两种标签。论文描述了这套任务感知的合成流程，但没有充分交代自动过滤阈值或教师解释质量的独立审计；“与标签对齐”是数据生成约束，不应理解为所有语言推理都被形式化证明。

2. 多目标可验证奖励：把区域、路径几何和可解析性分开检查

区域奖励使用预测框与标注框的 GIoU。普通 IoU 在两个框完全不相交时都是零，难以区分“差一点碰到目标”和“离目标很远”；GIoU 还考虑包围两框的最小外接框，能给不相交但错位程度不同的预测不同分数。它仍然检验几何定位，而不是直接证明解释中的可达性、物理稳定性或对象选择理由全部成立。轨迹奖励采用 Angle-Length Augmented Fréchet distance（ALAF）：每个途经点附带位置、局部单位运动方向和局部线段长度，在保持顺序的两条路径匹配中，同时考虑位置距离、方向夹角以及线段长度比的对数惩罚。这样，一个终点正确但途中方向跳变、步长突变的候选，不会仅凭终点接近就获得理想评价。

ALAF 的位置匹配延续离散 Fréchet 的思路，即在所有保序对应中寻找最好的“最坏匹配代价”；方向项和长度项分别由权重控制。端点方向来自相邻线段，内部点方向由相邻线段方向融合，末点长度取前一段，因此不是只比较两条点集的无序距离。格式奖励另行检查是否依次包含 <think>...</think> 和 <output>...</output>，合规记 1，否则记 0，目的是避免几何结果无法被动作解析器读取。需要注意，本地全文的式 (3)–(4) 有明显抽取损坏：图 2 写轨迹奖励为归一化距离的补量，而式 (4) 的抽取文本缺少该关系且与“越大越好”叙述不一致。因此这里只保留可确认的几何机制，不把损坏公式补写成作者精确公式；三个奖励的聚合权重和跨任务启用细节也未充分给出。

3. GRPO 策略优化：用同题候选的相对表现更新生成策略

SFT 后，旧策略针对同一个图像与指令生成一组输出，每个输出包含推理段和几何动作段，再由上述规则得到奖励。GRPO 比较的是同一输入下各候选相对组内平均水平的优劣，而不是把不同任务的原始分数直接当成同一难度尺度：高于组内水平的候选得到正向更新，低于组内水平的候选受到抑制。通过组内均值与标准差归一化，训练可以利用同题输出之间的质量差异，不必额外训练一个状态价值网络。

策略更新还受新旧策略概率比的裁剪和相对冻结参考模型的 KL 约束，防止一次更新为了提高几何分数而过度改变已经学到的语言与格式能力。正文提及过程监督和 token 级优势分配，但所给可验证规则主要针对几何结果与格式，未清楚给出每一句推理如何获得独立、可信的过程标签。因此更稳妥的理解是：模型通过最终输出质量获得强化，并在 CoT 先验下联合调整推理和动作生成；实验并未单独证明每个中间推理步骤的正确率都提高了。

一个完整示例¶

图 5 的可供性案例要求拿起蓝色勺子并放入锅中。模型需要先从蓝色与红色勺子等干扰物中选定目标，再把交互位置落到适合抓握的柄部；图中 CoT 输出反归一化后是 {"x": 316, "y": 321, "width": 63, "height": 41}，直接预测对照是 {"x": 490, "y": 306, "width": 44, "height": 73}。这些坐标是论文案例，不是对任意场景都有效的抓取模板。

从训练到执行看，教师先用原有区域标注给出选择柄部的解释，SFT 学习解释和输出结构；GRPO 再比较多个候选框的几何得分及格式。部署时，模型只看当前图像与指令生成框，控制栈还要读取该位置的深度并解算机器人运动。这个案例展示的是目标消歧与抓取区域的差异，单凭该框并不能证明后续“放入锅中”的完整轨迹已经成功执行。

损失函数 / 训练策略¶

第一阶段对 VLA-CoT-13K 进行 SFT，监督 <think> 与 <output> 两个部分，使模型既学会解释任务，又学会按规定结构输出几何坐标。视觉骨干与语言解码器继承 Qwen2.5-VL-3B 的多模态能力，本文的主要变化落在具身数据、后训练奖励和动作接口上，而非提出新的视觉编码架构。第二阶段使用上述 GRPO，冻结参考模型用于限制策略漂移；教师仅服务于前期数据生成。

原文没有给出足以完整复现的学习率、训练步数、组内候选数、奖励权重、ALAF 权重数值或 GPU 预算，且 GRPO 公式同样存在文本抽取损坏，故不在此重建完整损失。基准部分称用 ShareRobot 子集生成 CoT 并进行训练和评估，但没有明确列出训练与测试的划分及去重规则。读者应把这些视为复现信息缺口，而不是自行假定全部图像都是独立测试样本。

实验关键数据¶

主实验¶

域内基准来自 ShareRobot，正文列出 6,522 张可供性图像和 6,870 张轨迹图像，覆盖 12 种机器人和 102 个任务，但具体训练/测试拆分未明。域外可供性使用 UMD Part Affordance 的 1,200 个样本，涵盖 grasp、cut、pound、scoop；域外轨迹使用经人工修正的 500 个 VAIT 样本。两类任务并非同一测试集。

IoU 为区域重叠百分比，越高越好。轨迹在 [0, 1000) 坐标尺度上评估，DFD 衡量保序形状偏差，HD 衡量点集最大偏离，RMSE 衡量平均误差；Avg 是三者算术平均，越低越好，并非毫米误差或执行成功率。下表节选原文表 2；通用模型采用 few-shot 提示，专用模型有不同后训练经历，不能把比较解读为同算力消融。

模型	域内 IoU (%) ↑	域内 Avg ↓	域外 IoU (%) ↑	域外 Avg ↓
Qwen2.5-VL-3B-Instruct	6.15	177.09	23.96	185.76
NORA-3B	23.48	119.79	22.44	126.77
ManipLVM-R1-3B	31.00	110.87	28.00	131.99
Embodied-R1-3B	未报告	110.75	未报告	126.13
VLA-R1-3B	36.51	91.74	33.96	93.90

相对 ManipLVM-R1-3B，域内 IoU 增加 5.51 个百分点，对应约 17.78% 相对提升；Avg 从 110.87 降到 91.74，对应约 17.25% 相对下降。论文摘要的这两个百分比以 ManipLVM-R1 为参照，而非表中轨迹 Avg 略优于它的 Embodied-R1。

真实机器人和 RoboTwin 使用任务成功率 SR。可供性任务要求定位并抓取正确物体，空目标情况要求不输出框；轨迹任务要求到达目标区域并交付物体。表 3 的四场景实验每场景 10 次，模拟中 Piper 和 UR5 各 10 次。Pi0/Pi0.5、OpenVLA、RT-2-X 还使用收集的 160 条真实轨迹及 80 条模拟轨迹做适配，而作者称 VLA-R1 仅用真实数据训练，因此训练条件并不相同。

真实实验协议与指标	对照模型	对照 SR (%)	VLA-R1 SR (%)
表 3：四场景，每场景 10 次，可供性	Pi0.5	62.5	62.5（原文所报）
表 3：四场景，每场景 10 次，轨迹	Pi0.5	70.0	75.0
表 4：五场景，每场景 30 次，可供性	Embodied-R1	63.3	68.7
表 4：五场景，每场景 30 次，轨迹	Embodied-R1	68.0	71.3

原文存在需保留的冲突：表 3 的 VLA-R1 可供性分项为 80%、60%、70%、60%，其等权均值是 67.5%，但表格 Avg 和正文都写 62.5%；这里保留作者所报值并提示矛盾，不将其静默改成 67.5%。表 4 加入颜色与空间关系消歧场景 S5，且试验次数改变，不能把两表均值直接当作同一协议下的模型升级结果。

消融实验¶

原文表 5 在相同超参数下对比具身 CoT 与 RL，指标与表 2 相同。所有数值按原表保留。

配置	IoU (%) ↑	DFD ↓	HD ↓	RMSE ↓	Avg ↓
无具身 CoT、无 RL	23.74	149.38	135.72	100.04	128.38
仅具身 CoT	28.37	145.51	131.26	97.03	124.60
仅 RL	31.85	124.90	116.35	84.72	108.66
具身 CoT + RL	36.51	106.20	97.90	71.12	91.74

关键发现¶

仅 CoT 对区域定位的帮助明显，但轨迹 Avg 只从 128.38 降到 124.60；“能解释”不等于路径已经精确。
在仅 RL 基础上加入 CoT，IoU 再增加 4.66 个百分点，Avg 再下降 16.92，支持二者具有互补性，但不构成逐步推理忠实性的证明。
没有分别去掉 GIoU、ALAF 方向项、长度项或格式奖励的消融，无法从表 5 判定哪个奖励分量贡献最大。

亮点与洞察¶

监督信号围绕机器人真正需要的交互区域与路径构造，而不是只增加泛化的语言解释。这样数据合成与后训练优化指向同一类几何目标。
ALAF 把轨迹顺序与局部几何同时纳入评价，提示具身奖励应检查路径结构。其可迁移性仍取决于标注路径是否代表合理动作，而不是唯一正确动作。

局限与展望¶

作者明确指出尚未开发或验证双臂等其他机器人平台，跨形态泛化仍待扩展。
笔记分析：真实实验规模有限且未给置信区间，表 3 又有均值矛盾；数个百分点优势不宜被表述成已确立的普遍可靠性。
笔记分析：缺少明确数据拆分、完整训练预算和奖励级消融，几何奖励与真实执行成功之间的因果贡献尚难分离。
笔记分析：二维路径贴近参考轨迹不保证三维无碰撞，也可能惩罚另一条可行路径；后续可结合多解标注、三维约束及推理延迟评测。

评分¶

新颖性: 3/5。贡献主要是具身 CoT 数据与几何奖励的组合，而非新的策略优化算法。
实验充分度: 3/5。覆盖域内、域外、模拟与真实场景，但拆分、奖励消融和统计可靠性仍不足。
写作质量: 3/5。方法主线清晰，部分公式在缓存中损坏，且真实实验表格存在数值不一致。
价值: 4/5。提供了将语言推理与几何动作监督联结的实用途径，复现前仍需补齐实现细节。