OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models¶

会议: NeurIPS 2026
arXiv: 2610.12914
论文: https://arxiv.org/abs/2610.12914
领域: 机器人
关键词: 视觉语言动作模型, 离线强化学习, 目标条件策略优化, 错误恢复, 具身操作

一句话总结¶

提出了离线目标条件策略优化框架 OGPO，通过自适应关键状态重标注与过程奖励构建，将 VLA 离线后训练从单纯的轨迹步级模仿升级为关键状态可达性学习，在无在线交互下大幅提升了长程操作性能与偏离轨迹后的目标导向恢复能力。

研究背景与动机¶

视觉-语言-动作（Vision-Language-Action, VLA）模型通过在大规模机器人多任务数据集上缩放行为克隆，在语言条件引导的操作任务中展现出巨大潜力。现阶段将预训练 VLA 模型适配到下游任务的主流范式仍是监督微调（SFT），即直接最小化观测到示范动作的步级预测损失。尽管 SFT 简单且稳定，但它将离线轨迹严格视为步级动作标签，强制策略去复现特定示范的动作路径。这导致策略对示范数据的分布覆盖极为敏感，一旦在长程复杂执行过程中遇到微小扰动或动作误差（复合误差问题），机器人就会脱离预定轨迹，陷入无法自主修正并继续向任务推进状态恢复的瘫痪窘境。

为了突破监督模仿的瓶颈，近期研究探索了结合强化学习（RL）的后训练方案（如 PPO、GRPO、残差策略或在线交互迭代微调）。RL 通过优化任务级奖励，理论上能激励超出示范分布的目标导向探索。然而，现存具身 RL 方法高度依赖环境在线 Rollout，采样效率低且成本极其昂贵，在脆弱物理真机或复杂仿真环境中扩展极为困难。因此，具身智能领域的核心矛盾在于：既需要赋予策略偏离轨迹后自主纠错、重新朝任务进展状态迈进的可恢复性，又无法承受在线强化学习极度昂贵且危险的环境交互开销。

针对这一矛盾，本文提出离线示范数据不仅包含应当模仿的动作轨迹，更蕴含着哪些中间任务进展状态是物理可达的、以及哪些行为能够驱动系统趋向这些状态的隐式拓扑结构。核心 idea：将离线示范轨迹自适应重标注为局部语义目标片段并构建连续过程奖励，通过 AWAC 风格的优势加权离线策略优化与 SFT 动作先验正则协同更新，使 VLA 在完全无需在线交互的条件下将步级轨迹模仿升华为关键状态可达性与动态可恢复性学习。

方法详解¶

整体框架¶

OGPO 旨在不修改预训练 VLA 模型指令与动作交互接口、不引入在线 Rollout 的前提下，实现具身策略的离线强化后训练。整个方法由三大模块串联组成：基于夹爪动作切换与离线 VLM 判别的目标重标注轨迹切分、基于状态进展的密集过程奖励与多步 TD 价值学习，以及优势加权的离线目标条件策略优化（AWAC 形式）与 SFT 行为先验正则协同更新。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线轨迹集<br/>包含成功示范与失败轨迹"] --> B["目标重标注轨迹切分<br/>夹爪状态切换切分 + VLM 语义目标与完成度标注"]
    B --> C["目标条件过程奖励与价值学习<br/>进展差分奖励 + 步骤惩罚 + n步 TD 价值头拟合"]
    C --> D["优势加权离线策略优化<br/>截断指数优势加权 + SFT 动作先验正则协同更新"]
    D --> E["可恢复 VLA 策略<br/>具备抗扰动恢复力与长程目标导向操作能力"]

关键设计¶

1. 目标重标注轨迹切分：利用物理交互锚点解耦任务阶段

纯轨迹级模仿将整条轨迹视为连续黑盒，忽略了长程任务中离散的关键进展节点。针对这一痛点，OGPO 首先利用夹爪动作命令的开闭状态切换作为时序锚点进行分段。在桌面操作任务中，夹爪开闭通常与接近物体、稳定抓取、搬运或释放等关键物理交互边界严格对齐。系统提取候选切换时间步，通过短时窗口滤波消除抖动后，将完整轨迹切分为若干非重叠的阶段片段。

随后，算法为每个片段赋予局部语义目标并标注二值完成度标签。对于成功示范轨迹，每个合法片段均被视为达成局部目标（标注为 1），片段末尾观测即为达成的任务关键状态；对于包含部分进展但最终失败的轨迹，传统 RL 往往直接赋予全局零奖励，白白丢弃了前序有价值的探索。OGPO 引入多模态大模型（Qwen2.5-VL-72B-Instruct）作为离线评估器，根据任务指令、候选目标和片段末尾视觉观测，精准判别各片段的局部完成状态 \(y^m \in \{0, 1\}\)，从而构建出包含丰富正反例的多样化目标重标注离线数据集 \(\widetilde{\mathcal{D}} = \{(o_t, l, a_t, g_t, y_t)\}\)。

2. 目标条件过程奖励与价值学习：将稀疏完成信号转化为平滑引导

直接向预训练 VLA 注入目标状态输入会破坏模型原本对齐良好的视觉-语言表示架构。为了在不改动模型接口的同时使策略获得目标导向信号，OGPO 将重标注的局部目标纯粹作为训练时的过程奖励构造依据，而不作为推理输入。对于每个包含起始 \(s_m\) 与结束 \(e_m\) 的片段，系统定义归一化进展变量 \(\rho_t^m = y_t \cdot \frac{t - s_m}{e_m + 1 - s_m}\)。当片段成功（\(y_t = 1\)）时，\(\rho_t^m\) 沿时序从 0 平滑单调递增至 1；当片段失败（\(y_t = 0\)）时，全片段进展恒为 0。

基于该变量，每一步转移所获得的过程奖励由步骤惩罚、连续进展奖励和阶段终点奖惩三部分构成：

\[r_t = -\lambda_{\mathrm{step}} + R^{\mathrm{prog}}(\rho_{t+1}^m - \rho_t^m) + \delta_t^m \left(R_{\mathrm{success}}^{\mathrm{goal}} y_t - R_{\mathrm{fail}}^{\mathrm{goal}}(1 - y_t)\right)\]

其中 \(\delta_t^m = \mathbb{I}[t = e_m]\) 为片段终点指示函数。在该奖励体系下，冗余动作受到负惩罚，朝关键状态有效推进的动作获得平滑正激励，而失败片段末端则被施加强烈负惩罚。接着，在冻结的 VLA 视觉语言骨干之后外挂轻量级价值头 \(V_\psi(o_t, l)\)，通过 \(n\) 步 Bellman 目标进行时序差分更新：

\[\hat{V}_t = \sum_{i=0}^{n-1} \gamma^i r_{t+i} + \gamma^n V_{\bar{\psi}}(o_{t+n}, l)\]

该价值网络能够准确在语义关键状态（如抓取前夕、抽屉拉开临界点）处形成局部高估值峰值，为后续优势评估奠定基础。

3. 优势加权离线策略优化：结合行为先验正则的平滑提升

在离线 RL 中，策略极易因外推误差和离线价值高估而崩溃，破坏预训练模型原有的低层动作可行性和语言对齐性。OGPO 采用 AWAC 风格的优势加权行为回归机制，并联合保留 SFT 监督损失作为行为先验锚点。首先利用训练好的价值函数计算 \(n\) 步优势估计值 \(A_t = \hat{V}_t - V_\psi(o_t, l)\)，将其转化为带截断的指数改进权重：

\[\omega_t = \operatorname{sg}\left[\min\left(\exp\left(\frac{A_t}{\beta}\right), \omega_{\max}\right)\right]\]

正优势动作（显著推进关键状态达成的动作）被赋予较大权重，低价值或错误动作的权重被大幅抑制。最终策略优化目标将加权强化学习损失与基于成功示范轨迹的经典 SFT 损失协同联合优化：

\[\mathcal{L}_{\mathrm{total}}(\theta) = \lambda_{\mathrm{RL}} \left(-\mathbb{E}_{\widetilde{\mathcal{D}}}[\omega_t \log \pi_\theta(a_t \mid o_t, l)]\right) + \lambda_{\mathrm{SFT}} \left(-\mathbb{E}_{\mathcal{D}_{\mathrm{demo}}}[\log \pi_\theta(a_t \mid o_t, l)]\right)\]

SFT 提供了粗粒度的行为先验，牢牢约束策略不偏离可行的连续动作空间；离线 RL 则提供细粒度的目标导向修正梯度，引导策略在发生执行扰动时跳出单一步级示范路径，自主恢复并推进到下一个任务关键状态。

损失函数 / 训练策略¶

优化采用两阶段离线流水线。首先在固定 VLA 骨干的特征后独立训练轻量价值网络 \(V_\psi\)，采用 AdamW 优化器，学习率为 \(1.55 \times 10^{-4}\)，训练 5 个 epoch。随后在策略优化阶段，采用 LoRA（rank=32）微调策略骨干，学习率为 \(2.5 \times 10^{-5}\)，遵循 Cosine 学习率退火与 1,000 步 Warmup。损失平衡超参数默认设置为 \(\lambda_{\mathrm{SFT}} = 0.4, \lambda_{\mathrm{RL}} = 0.6\)，AWAC 温度系数 \(\beta = 1.0\)，最大截断权重 \(\omega_{\max} = 20.0\)。所有过程均在离线示范与离线标注失败轨迹构成的静态数据集上完成，无任何在线交互。

实验关键数据¶

主实验¶

在具身操作基准 LIBERO（包含 Spatial、Object、Goal、Long 四大套件）以及多任务基准 MetaWorld-MT50 上全面评估 OGPO。在 LIBERO 上，模型以有限数据微调的 \(\pi_{0.5}\)-Few Shot（仅少量下游示范）为起点；在 MetaWorld-MT50 上，分别在 \(\pi_0\) 与 \(\pi_{0.5}\) 骨干上对比 SFT 与在线强化学习。

模型	输入类型	LIBERO-Spatial	LIBERO-Object	LIBERO-Goal	LIBERO-Long	平均成功率 (%)
OpenVLA [17]	T+I	84.7	88.4	79.2	53.7	76.5
\(\pi_0\) [2]	T+W+P+I	96.8	98.8	95.8	85.2	94.2
OpenVLA-OFT [16]	T+W+P+I	96.2	98.3	96.2	90.7	95.3
\(\pi_{0.5}\)-Full SFT [1]	T+W+P+I	98.8	98.2	98.0	92.4	96.85
\(\pi_{0.5}\)-PPO (RLinf) [5]	T+W+P+I	99.4	99.8	98.8	94.0	98.0
\(\pi_{0.5}\)-Few Shot	T+W+P+I	84.6	95.4	84.6	43.9	77.1
\(\pi_{0.5}\) + OGPO (本文)	T+W+P+I	99.2	98.6	97.6	93.2	97.1
相比 Few-Shot 增益	-	+14.6	+3.2	+13.0	+49.7	+20.0

在 MetaWorld-MT50 上的难度分级评估（输入均为视觉+本体感+任务条件 T+P+C）：

模型	Easy	Medium	Hard	Very Hard	平均成功率 (%)
Diffusion Policy [8]	23.1	10.7	1.9	6.1	10.5
SmolVLA [29]	87.1	51.8	70.0	64.0	68.2
\(\pi_0\)-SFT	77.9	51.8	53.3	20.0	50.8
\(\pi_0\)-OGPO (本文)	89.2 (+11.3)	79.6 (+27.8)	81.7 (+28.4)	73.6 (+53.6)	81.0 (+30.2)
\(\pi_{0.5}\)-SFT	68.2	37.3	41.7	28.0	43.8
\(\pi_{0.5}\)-OGPO (本文)	82.1 (+13.9)	55.8 (+18.5)	71.7 (+30.0)	59.0 (+31.0)	67.2 (+23.4)
\(\pi_0\)-PPO (在线 RLinf) [5]	91.1	81.8	78.3	92.0	85.8

在抗扰动与动态恢复基准 LIBERO-Plus 与本文提出的中途扰动基准 LIBERO-ReAct 上的鲁棒性评估（\(\pi_{0.5}\) 骨干）：

模型	相机视角	初始状态	视觉噪声	物体布局	动作噪声	夹爪状态翻转	末端位置扰动	鲁棒性总分 (%)
\(\pi_{0.5}\)-SFT	62.8	69.8	69.5	85.4	86.6	76.8	86.0	76.7
\(\pi_{0.5}\)-OGPO (本文)	61.5	76.6	73.1	86.6	96.2	87.7	90.1	81.8
变化幅度	-1.3	+6.8	+3.6	+1.2	+9.6	+10.9	+4.1	+5.1

消融实验¶

在 \(\pi_0\) 骨干上训练 3,000 步，分析奖励项构成与策略损失组合对 LIBERO-Goal 成功率的影响：

实验组别 / 配置	LIBERO-Goal 成功率 (%)	机制说明
OGPO 完整配置 (\(\lambda_{\mathrm{SFT}}=0.4, \lambda_{\mathrm{RL}}=0.6\))	92.3	完整结合过程奖励、AWAC 加权与 SFT 正则
移除终点目标奖惩 \(R^{\mathrm{goal}}\)	78.5	缺乏子目标完成判定，价值函数无法区分进展与失败
移除连续进展奖励 \(R^{\mathrm{prog}}\)	83.4	奖励过于稀疏，中间动作信用分配不准确
移除离线 RL 损失 (\(\lambda_{\mathrm{RL}}=0\), 纯 SFT)	81.2	无法根据优势优化高价值行为，退化为普通模仿
移除 SFT 损失 (\(\lambda_{\mathrm{SFT}}=0\), 纯 AWAC)	79.6	缺乏稳定行为先验锚定，策略易受离线外推偏差干扰

关键发现¶

长程与困难任务增益极其显著：在 LIBERO-Long 长程任务上，OGPO 将 Few-Shot 成功率从 43.9% 提升至 93.2%（绝对提升 +49.7%），超越了 Full SFT 的 92.4%；在 MetaWorld-MT50 的 Very Hard 难度上，\(\pi_0\)-OGPO 暴涨 +53.6%，证明关键状态可达性学习有效打破了纯模仿在复杂组合任务上的误差累积效应。
动态错误恢复力突出：在 LIBERO-ReAct 的执行期强力干扰下，OGPO 在夹爪状态强制翻转（抓取后被强制松开或意外闭合）下的恢复成功率从 76.8% 跃升至 87.7%（+10.9%），末端位置抖动下仍能保持 90.1% 成功率，表明策略学会了在意外失手后重新向中间关键状态规划。
极高的计算与样本效率：对比在线 RL 基线（RLinf-GRPO 训练单套 LIBERO 需 8×A100 耗时约 175 小时），OGPO 纯离线训练覆盖全部 4 个 LIBERO 套件仅需 4×RTX 4090 运行约 68 小时，完全免除了与环境的昂贵物理仿真开销。

亮点与洞察¶

训练用目标引导，推理保原始接口：OGPO 仅在离线训练阶段利用重标注的目标与进展奖励计算优势，在推理部署和模型输入侧完全不追加显式 Goal 嵌入，使策略架构与预训练 VLA 原生接口完全兼容。
离线失败轨迹的“废料回收”：传统离线 RL 往往丢弃失败轨迹或直接作为负样本，OGPO 借助 VLM 细粒度定位失败发生前的有效进展片段，让未竟轨迹前半段的局部成功转化为可达性正向监督。
SFT 与离线 RL 的互补共生：将 SFT 定位为低层可行动作的“粗粒度锚点”，将优势加权 RL 定位为高层目标推进的“细粒度导向”，为大模型统一微调框架在具身动作领域的落地提供了经典范例。

局限与展望¶

物理锚点切分的通用性限制：当前依赖夹爪状态切换的切分策略在推、擦、连续接触或非抓取类无开闭动作任务中无法自然捕捉阶段过渡，未来需探索基于自监督视觉表示或通用动力学拐点的切分方式。
离线数据覆盖边界：作为纯离线方法，策略的纠错与恢复能力仍受限于离线经验的多样性；若执行器偏离过远、进入完全未探索的物理奇异状态，模型仍可能失效，未来可结合基于世界模型的数据合成来扩充离线边界。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙地将目标条件离线强化学习与阶段重标注结合引入 VLA 后训练，视角独特)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 LIBERO、MetaWorld、LIBERO-Plus 及自建扰动基准 ReAct，对比全面，消融透彻)
写作质量: ⭐⭐⭐⭐⭐ (框架逻辑严密，公式推导与动机阐释非常清晰连贯)
价值: ⭐⭐⭐⭐⭐ (提供了一种低成本、无需在线交互即可大幅改善 VLA 健壮性与可恢复性的实用方案)