RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models¶
会议: NeurIPS 2026
arXiv: 2605.09410
OpenReview: https://openreview.net/forum?id=Nux3SaJlm7
论文: https://arxiv.org/abs/2605.09410
领域: 机器人 / 具身智能
关键词: 视觉语言动作模型, 错误恢复, 策略优化, 价值函数, 双臂协作操作
一句话总结¶
提出了以错误恢复为驱动的策略优化框架 RePO-VLA，通过历史重置切片消除因果混淆、自参照语义价值函数赋予轨迹稠密进度标签，并结合固定价值引导条件，无需外部检测器即可使双臂机器人在受扰动后自主重返成功流形。
研究背景与动机¶
视觉-语言-动作（Vision-Language-Action, VLA）模型在通用机器人具身控制中展现出广阔前景，但在长程、接触丰富的双臂协作操作中仍表现得极其脆弱。在双臂协调、精密抓取或擦拭倾倒等复杂物理交互中，抓取位姿的微小扰动、末端接触力突变或双臂间毫秒级的动作失准，均会迅速累积并导致任务脱轨。这类物理扰动通常并不会使任务彻底不可逆，而是将场景推向可纠正的不良状态（adverse states），亟需机器人执行针对性纠错以重新对接名义进度。然而，现有主流 VLA 训练大多局限于在干净成功示范上的监督微调（SFT），对执行漂移过程完全缺乏纠错信号，导致策略在遭遇外界干扰或动作失准时陷入死循环或僵滞。
这种脆弱性背后的核心矛盾在于：鲁棒的物理纠错高度依赖于对“失败轨迹的价值拆解”与“纠错行为的无偏触发”，而现有的数据利用范式存在严重的认知盲区与因果混淆。一方面，实际执行中的失败轨迹通常被全盘丢弃，但其早期前缀往往包含了极具价值的接近、预接触等有效运动先验；反之，若盲目将包含失败前缀与纠错后缀的完整恢复轨迹直接用于模仿学习，自回归 Transformer 策略极易将前置的错误观测当做后续纠错的必要触发条件，学到虚假的时间因果依赖，导致在面临突发扰动时无法仅依据当前不良状态做出即时响应。另一方面，稀疏二值奖励无法区分有效的接近阶段、短暂的停顿、主动的恢复动作与不可逆的终端崩溃，使得混合质量数据难以统一利用。
为化解这一困境，本文提出重构成功、恢复与失败轨迹的监督角色，将错误恢复确立为一等公民的策略能力。核心 idea：提出两阶段 RAI+VCR 恢复优化框架，在第一阶段通过轨迹切片与历史重置（TSHR）解耦因果混淆、将纠错动作锚定在当前不良状态，在第二阶段利用自参照语义价值函数（PAS-VF）对成功、失败前缀与纠错动作分配稠密连续价值，并在推理时恒定条件化高价值目标（\(v=1.0\)），诱导策略在遭遇漂移后自主回归成功流形。
方法详解¶
整体框架¶
RePO-VLA 的整体目标是在统一模型架构内兼顾名义任务执行与自主纠错能力，避免测试期切换外部模块或调用昂贵的启发式重试逻辑。整个系统分为两个训练阶段：第一阶段为恢复感知初始化（Recovery-Aware Initialization, RAI），通过将恢复轨迹切片并重置观察历史，使策略学会从不良状态（如夹爪空抓、物体位移）直接采取纠正动作；第二阶段为价值条件化精炼（Value-Conditioned Refinement, VCR），恢复完整滚动历史缓冲区，并利用冻结时空视频编码器与指令对齐训练的自参照语义价值函数（PAS-VF）为混合轨迹赋予稠密进度标签。在部署推理时，系统恒定输入高价值标记 \(v=1.0\)，将习得的高价值纠错分支作为吸引子，使机器人在遭遇物理扰动后平滑重返成功流形。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>RGB 观测 + 语言指令 + 历史动作"] --> B["阶段 I：恢复感知初始化 RAI<br/>轨迹切片与历史重置 TSHR 消除因果混淆"]
B --> C["阶段 II：自参照语义价值学习 PAS-VF<br/>V-JEPA 时空特征与指令对齐生成连续进度"]
C --> D["事后稠密价值标注<br/>成功/恢复赋 1.0 / 错误前缀赋 0.0 / 失败依可靠性衰减"]
D --> E["价值条件化精炼 VCR<br/>流匹配策略结合价值标记 e_val 联合微调"]
E --> F["部署期恒定目标推断<br/>固定输入 v=1.0 自主纠错重返成功流形"]关键设计¶
1. 轨迹切片与历史重置（TSHR）：从根源消除纠错行为的虚假因果依赖 在原始采集的恢复轨迹中，序列天然包含导致脱轨的失败前缀与随后的纠错动作片段。若将包含完整观测历史缓冲区的序列直接交由 Transformer 策略微调，自注意力机制极易把先前的错误轨迹特征视作纠错动作的先验因果触发器，形成“必须先经历特定失败才能执行纠错”的虚假关联。针对此痛点，RAI 阶段设计了带有历史重置的轨迹切片机制（Trajectory Slicing with History Reset, TSHR）。具体而言，设恢复动作起始于时间步 \(t_{rec}\)，算法直接丢弃 \(t < t_{rec}\) 的失败前缀，仅抽取纯纠错片段 \(\tau^{\prime}=\{(o_t, a_t)\}_{t=t_{rec}}^T\)。在进入恢复首帧时，强制清空观测历史缓冲区 \(H_{t_{rec}}^{reset} = \emptyset\)，并在随后的时间步中按照正常滚动窗口填充。通过抹除前置失败的显式时序线索，策略被强制要求仅根据当前呈现的不良物理状态（如夹爪滑脱、物体偏角或双臂干涉）映射纠正动作，将恢复行为塑造成鲁棒的状态条件化反应。
2. 语义进度价值函数（PAS-VF）：通过时空流形对齐衡量相对任务进度 在面对混合质量轨迹时，粗暴将失败轨迹标为零分会浪费有用的物理交互先验，而标高分又会模仿错误动作。为此，本文设计了自参照的进度感知语义价值函数（Progress-Aware Semantic Value Function, PAS-VF）\(V(\tau)\)。该模块冻结预训练的 V-JEPA 时空视频编码器 \(E_v\) 和文本编码器 \(E_t\)，仅训练轻量级多层感知机适配器 \(f_\theta\) 与 \(g_\phi\)，将视频片段特征与文本指令投影至共享流形空间 \(\mathcal{Z}\) 中。在训练期，通过成功轨迹的归一化时序进度进行单调对齐约束： $\(\mathcal{L}_{align}=\mathbb{E}_{\tau\in\mathcal{T}_{succ}}\left[\frac{1}{T_{\tau}}\sum_{t=1}^{T_{\tau}}\left(\text{CosSim}(z_{t}^{v},z^{l})-\frac{t}{T_{\tau}}\right)^{2}\right]\)$ 在针对未标注或失败轨迹 \(\tau_{fail}\) 进行进度评估时，并不依赖人工阶段定义，而是以已对齐的成功轨迹嵌入集合 \(\mathcal{C}_{ref}\) 作为内部参考聚类中心，计算其在潜在流形中的最大余弦相似度： $\(V(\tau_{fail})=\max_{z\in\mathcal{C}_{ref}}\text{CosSim}(z_{\tau_{fail}}^{v},z)\)$ 该自参照打分机制天然具备任务相对性与几何平滑性，使得不同双臂分配或视点变化下的相似物理动作能够获得一致的进度评估。
3. 可靠性指数衰减标注：平衡早期运动先验保留与晚期崩溃抑制 为了让下游流匹配策略准确区分名义推进、偏离错误与有效纠正，VCR 阶段引入了差异化的事后价值打分策略。对于成功轨迹与有效的恢复动作段，赋予最高价值 \(v_t = 1.0\)；对于导致偏离的不良恢复前缀，显式压低至 \(v_t = 0.0\)，明确告诫策略不得模仿该阶段动作。对于纯失败轨迹，为挽救其在触碰或失误前的合理逼近轨迹（如机械臂平稳朝目标物体位姿移动的前期动作），提出可靠性幂次衰减公式： $\(v_{t}=V(\tau_{fail})\cdot\left(1-\frac{t}{T}\right)^{\alpha},\quad\forall t\in\tau_{fail}\)$ 文中选取指数 \(\alpha=3.0\)。该公式使得失败轨迹在 \(t \to 0\) 阶段能够保留接近初始对齐价值的高置信先验，而在靠近不可逆崩溃阶段（\(t \to T\)）价值急剧贴近零。这有效阻断了策略对失稳动作的模仿，同时充分压榨了海量非成功交互数据中的运动学价值。
损失函数 / 训练策略¶
RePO-VLA 建立在连续动作扩散流匹配主干 \(\pi_{0.5}\) 之上，训练分为两个循序渐进的阶段：
-
RAI 预训练损失：在专家演示数据集 \(\mathcal{D}_{expert}\) 与历史重置恢复数据集 \(\mathcal{D}_{rec}^{reset}\) 上联合进行模仿学习，权衡因子设为 \(\lambda\)： $\(\mathcal{L}_{SFT}=-\mathbb{E}_{\tau\sim\mathcal{D}_{expert}}\sum_{t}\log\pi(a_{t}|o_{t},H_{t})-\lambda\,\mathbb{E}_{\tau^{\prime}\sim\mathcal{D}_{rec}^{reset}}\sum_{t}\log\pi(a_{t}|o_{t},H_{t}^{reset})\)$
-
VCR 精炼损失：在恢复未切片的原始滚动历史 \(H_t\) 的前提下，引入由多层感知机映射的价值标量嵌入 \(\mathbf{e}_{val} = \text{MLP}_{val}(v_t)\)。策略接受观测、完整历史、文本指令与价值标记的联合条件化输入，在全量混合数据集 \(\mathcal{D}_{total} = \mathcal{D}_{succ} \cup \mathcal{D}_{rec}^{raw} \cup \mathcal{D}_{fail}\) 上计算负对数似然： $\(\mathcal{L}_{VCR}=-\mathbb{E}_{\tau\sim\mathcal{D}_{total}}\left[\sum_{t=1}^{T_{\tau}}\log\pi_{\theta}(a_{t}|o_{t},H_{t},l,\mathbf{e}_{val}(v_{t}))\right]\)$
在真实硬件部署时，系统完全无需运行 PAS-VF、不进行历史清空也不依赖在线失败检测器，而是持续向策略注入目标价值 \(v=1.0\)。即使历史缓冲区中暂留错误前缀，高价值标记也会强制策略选择流匹配中习得的高价值纠正分支。
实验关键数据¶
主实验¶
为了标准化评测机器人受扰动后的纠错能力，论文构建了基准测试套件 FRBench。评测涵盖仿真（FRBench-Sim，包含 RoboTwin 的 46 个双臂任务）与真机环境（FRBench-Real，基于两台 Dobot X-Trainer 机械臂），在抓取、举升等关键动作节点通过夹爪提前闭合（E1）、抓取滑脱（E2）、位置偏移（E3）及姿态失准（E4）四类扰动强行将机器人推入不良状态。
下表展示了 FRBench-Sim 在 10 项典型双臂任务上的平均成功率（%），包含常规标准测试（Clean / Random）与注入失败测试（Injected Failure）：
| 模型 | 测试环境模式 | 标准名义成功率 (%) | 注入失败后恢复成功率 (%) | 相对 \(\pi_{0.5}\) 提升 |
|---|---|---|---|---|
| RDT (ICLR 2025) | Clean / Random | 22.5 / 8.8 | — / — | — |
| GO-1 (arXiv 2025) | Clean / Random | 28.1 / 26.0 | — / — | — |
| \(\pi_0\) (RSS 2025) | Clean / Random | 33.9 / 12.9 | — / — | — |
| \(\pi_{0.5}\) (CoRL 2025) | Clean / Random | 27.4 / 33.6 | 15.0 / 15.4 | 基线 |
| RePO-VLA (Phase I) | Clean / Random | 44.6 / 44.0 | — / — | +17.2 / +10.4 (标准) |
| RePO-VLA (Full) | Clean / Random | 37.0 / 43.0 (扰动下) | 37.0 / 43.0 | +22.0 / +27.6 (恢复) |
在真实双臂平台上的 4 项长程接触操作（倒水 Pour Water、烹饪蔬菜 Cook Vegetable、桌面整理 Tidy Desk、折叠毛巾 Fold Towel）中，各模型在无扰动标准环境与人工对抗扰动（Adversarial）下的表现如下表：
| 评估场景 | 模型配置 | 倒水 (Pour) | 炒菜 (Cook) | 整理 (Tidy) | 折毛巾 (Fold) | 平均成功率 (%) | 相对 \(\pi_{0.5}\) 增益 |
|---|---|---|---|---|---|---|---|
| 标准环境 (无扰动) | \(\pi_0\) (RSS 2025) | 40 | 10 | 20 | 40 | 27.5 | +2.5 |
| 标准环境 (无扰动) | \(\pi_{0.5}\) (CoRL 2025) | 30 | 10 | 20 | 40 | 25.0 | 基线 |
| 标准环境 (无扰动) | RePO-VLA Phase I | 60 | 30 | 40 | 40 | 42.5 | +17.5 |
| 标准环境 (无扰动) | RePO-VLA Full (1x) | 50 | 40 | 40 | 30 | 40.0 | +15.0 |
| 对抗扰动 (含干扰) | \(\pi_0\) (RSS 2025) | 20 | 0 | 10 | 20 | 12.5 | -7.5 |
| 对抗扰动 (含干扰) | \(\pi_{0.5}\) (CoRL 2025) | 20 | 10 | 30 | 20 | 20.0 | 基线 |
| 对抗扰动 (含干扰) | RePO-VLA Phase I | 60 | 30 | 40 | 20 | 37.5 | +17.5 |
| 对抗扰动 (含干扰) | RePO-VLA Full (1x) | 30 | 30 | 30 | 30 | 30.0 | +10.0 |
在扩充真机恢复数据密度（Recovery-Data Scaling）实验中，当恢复数据量提升至 4 倍（4x）时，RePO-VLA Full 在对抗扰动下的平均成功率从 1x 的 30.0% 大幅跃升至 75.0%（倒水 80%、折毛巾 70%），相较 \(\pi_{0.5}\) 提升达 +55.0%，展现出随恢复数据密度提升而持续增强的强劲扩展规律。
消融实验¶
消融实验针对真机环境下的历史重置机制、价值引导条件以及失败衰减指数 \(\alpha\) 展开分析：
| 配置 / 变体 | 对抗扰动成功率 | 核心机制与作用说明 |
|---|---|---|
| RePO-VLA 完整模型 (\(\alpha=3.0, v=1.0\)) | 最优 (最高恢复率) | 综合结合 TSHR 消除混淆、PAS-VF 连续标定与可靠性衰减 |
| w/o 历史重置 (Raw Recovery w/ History) | 显著下降 (-25% 以上) | 保留错误历史导致自注意力因果混淆，依赖先验错误才触发纠错 |
| 启发式重试基线 (Heuristic Retry w/ Data) | 明显弱于价值引导 | 机械重试缺乏流形牵引，易在非稳态区域重复陷入僵滞 |
| 衰减参数 \(\alpha = 1.0\) (线性衰减) | 恢复性能下降 | 晚期崩溃前缀惩罚不足，策略仍错误拟合了不可逆失败动作 |
| 衰减参数 \(\alpha = 10.0\) (极速衰减) | 恢复性能下降 | 衰减过快直接丢失了失败轨迹早期合理的接近与位姿调整先验 |
| 推理时移除价值引导 (\(v\) 自由/缺省) | 纠错倾向大幅衰退 | 无法为流匹配提供向成功流形收敛的单向引导场 |
关键发现¶
- 历史重置对消解因果混淆至关重要：直接将完整恢复轨迹用于模仿微调会导致策略过度依赖错误前缀作为触发前提；通过 TSHR 剥离错误时序并清空历史缓冲区，策略习得了基于当前不利状态的无偏纠错能力。
- 纯失败轨迹具有显著剩余利用价值：衰减因子 \(\alpha=3.0\) 在保留前期高质量运动学特征与惩罚终末崩溃之间取得了最佳平衡，证明失败轨迹并非工业废料，其前期逼近轨迹是绝佳的探索先验。
- 恢复能力存在显著的数据密度扩展效应（Scaling Trend）：1x 数据密度下 VCR 价值流形较为嘈杂，而提升至 4x 密度后，策略在严重物理扰动下的平均恢复成功率直接突破 75%，证明密集覆盖失稳邻域是训练通才具身纠错模型的关键。
亮点与洞察¶
- 将失败转化为资产的数据拆解哲学：打破了机器人模仿学习“丢弃失败轨迹、崇拜成功范例”的单一思维，通过自参照语义进度与指数衰减，将原本有害的失败轨迹转变为结构化的稠密先验。
- 免推理期检测器的恒定高价值引导：在部署时无需额外维护昂贵且易误报的视觉故障分类器，直接向策略注入常数高价值偏置 \(v=1.0\)，巧妙将恢复问题转化为目标流形的几何吸附。
- 通用可复用的双臂扰动评测范式 FRBench：提出的四类确定性低级物理干预（提前闭合、滑脱、平移偏置、姿态倾角）为评估具身策略的闭环抗扰能力提供了标准化评测工具。
局限与展望¶
- 依赖已知失败模式的分布覆盖：当前恢复策略的有效性很大程度上取决于预定义扰动分类体系（E1–E4）与数据引擎的覆盖率；当遇到未曾采样的全新物理失效模式（如流体泼溅或特殊软体形变）时，零样本纠错能力仍可能衰减。
- 高质量真机恢复演示成本高昂：复杂的双臂接触摩擦与微观动力学难以在仿真环境中完全保真模拟，真机遥操作采集不良状态与恢复动作需要人工介入，数据扩展成本较为显著。
- 仿真环境物理多样性受限：目前 FRBench-Sim 主要基于刚体与预设运动学，尚未全面覆盖高流体介质或极端拓扑变形物体，未来需拓展更丰富的多物理场仿真环境。
相关工作与启发¶
- vs SFT-based VLA (如 \(\pi_0\), \(\pi_{0.5}\), OpenVLA): 传统方法仅在成功示范上做行为克隆，遇到扰动脱轨后因分布漂移无法恢复；RePO-VLA 引入负样本与纠错轨迹的多角色细化，赋予策略原生闭环韧性。
- vs LLM/VLM 高层重规划 (如 ReplanVLM, REPLAN, RACER): 高层 VLM 规划通常基于离散语义重选子目标，感知延迟高且缺乏底层连续接触动力学的微观微调；RePO-VLA 将纠错内化在低级动作流生成器中，实现反应式毫秒级在线修正。
- vs 强化学习微调方法 (如 RLPD, ConRFT, \(\pi_{RL}\)): 传统基于 RL 的微调大多依赖稀疏二值奖励，样本效率极低且在双臂高维动作空间下探索困难；RePO-VLA 借助自参照语义价值函数提供稠密密集监督，兼具模仿学习的高效性与强化学习的流形吸附优势。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出历史重置切片与自参照语义价值结合的两阶段范式，从机制上解决了错误恢复中的因果混淆与负样本利用难题。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 46 项仿真双臂任务与 4 项极具挑战的真实机械臂接触交互，构建了详尽的标准/对抗评测基准并验证了数据扩展趋势。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑演进严密，从痛点剖析、架构推导到实验论证层层递进，形式化定义清晰完备。
- 价值: ⭐⭐⭐⭐⭐ 为通用具身大模型在工业装配、家庭服务等严苛真实场景下的长程落地提供了极具实用价值的稳健性解决方案。