EvoVLA: Self-Evolving Vision-Language-Action Model¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
官方 ID: 3353
引用数: 10（任务提供，记录于 2026-09-17）
领域: 机器人/具身智能
关键词: 视觉语言动作模型、阶段幻觉、阶段对齐奖励、相对位姿探索、长时程记忆

一句话总结¶

EvoVLA 在 OpenVLA-OFT 上联合阶段对齐奖励、位姿探索和选择性记忆，减少“看起来完成、实际未完成”的阶段幻觉，将 Discoverse-L 平均成功率从 59.0% 提高到 69.2%，幻觉率从 38.5% 降到 14.8%。

研究背景与动机¶

视觉语言动作模型（VLA）可以把图像和语言指令转成机器人动作，但长时程操作不能只依靠模仿学习时见过的轨迹。用强化学习继续适配时，一种方便的做法是冻结视觉语言模型（VLM），让它判断当前画面与“已经抓住物体”等目标描述的相似度，作为奖励。问题在于，相似画面并不等于相同物理状态：夹爪悬停在物体上方，也可能获得很高的“抓取完成”分数。

论文把这种奖励判断与实际阶段完成条件不一致的现象称为阶段幻觉。它不只是语言输出错误，而是策略在闭环交互中利用评价器盲点，反复到达高分却无真实进展的状态。普通正负文本只区分“做完”和“没开始”，没有覆盖这些接近成功的失败状态；像素级好奇心又可能奖励光照或相机变化，长历史压缩则容易混淆当前已经完成了哪一步。

因此，作者没有另造更大的策略骨干，而是同时修正奖励、探索方向和历史使用方式。核心 idea：用反事实困难负例识别貌似成功的状态，用夹爪与物体的相对位姿引导探索，再用阶段相关记忆调节学习进展奖励，让策略的高回报尽量对应真实操作进展。

方法详解¶

整体框架¶

输入是多视角观察、任务语言和交互历史，输出是机器人动作。策略沿用 OpenVLA-OFT，视觉部分采用 SigLIP 与 DINOv2，语言骨干为 Llama-2 7B；独立冻结的 CLIP ViT-B/16 只负责外部图文评价，不是被 PPO 更新的策略本体。所谓“自演化”主要指通过交互反馈继续训练策略和辅助模块，不是在线改写模型架构。

数据准备先为每个仿真任务收集 50 条脚本轨迹，以 RLDS 存储并进行任务对齐归一化，再通过视频驱动的 VLM 提示流程生成统一阶段字典。每个阶段都有完成描述、互斥失败描述和反事实困难负例；Gemini 2.5 Pro 是文中使用的后端，也讨论了开源替代。仿真训练和对应真实任务使用相同阶段语义，未见任务则从 50 条遥操作示范重新生成字典。

交互时，SAR 产生阶段进展奖励，POE 根据相对位姿预测产生好奇心及基础学习进展，Long-Horizon Memory 检索历史并对后者门控。这些信号与稀疏任务奖励共同形成 PPO 回报，更新后的策略再采集下一轮交互。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["Observations, instruction<br/>and stage dictionary"] --> Policy["OpenVLA-OFT policy<br/>and environment interaction"]
        Policy --> SAR["SAR"]
        Policy --> POE["POE"]
        POE --> Memory["Long-Horizon Memory"]
        Policy -->|Policy latents and history| Memory
        SAR --> Update["Reward combination<br/>and PPO update"]
        POE -->|Curiosity| Update
        Memory -->|Gated progress| Update
        Update --> Policy

关键设计¶

1. SAR：让近似成功的失败状态也进入奖励比较

阶段对齐奖励（Stage-Aligned Reward，SAR）不仅问图像像不像正例，还同时比较普通负例和困难负例。普通负例可以代表尚未完成，困难负例则描述“抓住了非目标物体”等更容易误判的状态。生成时优先写空间关系和接触谓词，而非单纯颜色等外观特征，使评价尽量围绕实际交互条件。

具体评分先计算图像与三类文本的 CLIP 相似度，从正例相似度中减去两类负例相似度的较大者，再经过温度缩放和 sigmoid。这样，悬停或抓错对象即使与正例也相似，只要更匹配困难负例，就不会轻易获得高分。CLIP 本身保持冻结，改变的是策略从 PPO 回报中得到的偏好，而不是直接训练一个新的视觉接触检测器。

单帧评分仍可能抖动，因此 SAR 对分数做指数滑动平均，用当前激活阶段平滑分数的时间差作为阶段奖励。它奖励的是分数提高，而非一直停留在高分画面；阶段切换还要求长度为 8 的滑动窗口满足持续进展条件。主文没有完整给出窗口阈值和实现细节，不能把它简化成“某一帧分数超过 0.7 就进入下一阶段”。

这套设计同时需要正确的阶段字典。作者说明字典经过自动验证，并把语义扰动与替代后端测试放在补充材料；当前缓存只有主文及参考文献，因此这里不补造这些测试的具体数字。反事实文本能够约束视觉奖励，但仍不能保证 CLIP 真正可靠地理解了每一种接触关系。

2. POE：把好奇心放在夹爪与物体的几何交互上

位姿物体探索（Pose-Based Object Exploration，POE）把末端执行器坐标系中的物体相对变换编码成六维状态，包含三维平移和三维轴角旋转。前向模型根据当前相对位姿与动作预测下一时刻位姿，逆向模型则根据前后位姿预测动作；两者使用具有两层、每层 256 个单元的轻量 MLP。

好奇心奖励来自前向预测误差：模型尚不熟悉的夹爪与物体配置会产生探索激励。与此同时，作者对前向损失做平滑，将其相邻时刻下降量的正部作为基础学习进展奖励；这与“误差大就奖励”不同，它更关注模型是否确实学会了新的交互规律。前者直接进入奖励组合，后者交给记忆门控处理，不能把这两个信号混为一谈。

由于状态主要描述相对几何，光照变化本身不应制造新的位姿，从而减少像素新奇性造成的无关探索。真实机器人训练中，相对位姿来自 AprilTag。这个假设也限制了“无需监督”的范围：它仍需要可用的对象位姿，并且六维姿态本身不包含接触力、稳定放置或任务先后顺序，不能独立充当成功判据。

3. Long-Horizon Memory：保留阶段相关历史，并调节学习进展奖励

长时程记忆从策略语言骨干隐藏状态池化得到当前表示，为历史条目加入时间位置编码，再用注意力检索 Top-K 相关项。检索结果作为独立上下文 token 加到当前序列前，而非把相邻历史简单平均；这有利于保留“之前已经抓到哪块积木”等阶段细节。主文没有给出可直接复现的容量和 K 值，这里不臆测。

模型还计算一个可学习门，把当前表示与检索到的加权历史融合。这个门不仅影响上下文，也乘到 POE 提供的基础学习进展奖励上，使进展奖励随历史可信程度变化。设计意图是降低反复失败、振荡等情况下不稳定的“正在进步”信号；这不是为 SAR 的每个图文分数重新分类，也不是直接改写稀疏任务成功标签。

融合结果回写到选中的记忆项，容量管理依据使用频率、时间新近性和冗余度组成的效用来淘汰条目。正文描述了 stop-gradient 与分离优化器以减少奖励利用，但这些措施不构成策略无法利用预测误差的理论保证。记忆与 POE 的互补性在于：前者保存操作所处的时间语境，后者提供不易受外观变化干扰的探索状态。

一个完整示例¶

考虑论文图 7 的顺序堆叠：先把左侧积木放到中间积木上，再把右侧积木放到上面。以下是机制串联的解释，不是额外测量出的奖励轨迹。

如果夹爪尚未接触就张开，当前画面可能看起来接近“放置完成”，但 SAR 的困难负例应对未接触、未稳定放置等近似失败状态降低评分。平滑和持续进展检查进一步避免一次视觉高分立即触发阶段跳转。

重新调整夹爪与积木的相对姿态时，POE 为尚未掌握的几何配置提供探索信号；前向预测逐渐改善后产生基础进展奖励。记忆检索之前已完成的子任务状态，帮助模型区别“第一层已完成”和“还在第一层纠错”，并调节这部分进展奖励。最终是否成功，仍由任务物理完成条件判断，而不是由这段解释假定。

损失函数 / 训练策略¶

按主文对式 (1) 的文字定义，组合奖励可清楚写为：

\[ ilde r_t=(1-\rho)r_t^e+\rho\bigl(r_t^{\mathrm{stage}}+r_t^{\mathrm{cur}}+r_t^{\mathrm{prog}}\bigr),\qquad \rho=0.6. \]

其中外在奖励是稀疏任务奖励，三个内在项分别来自 SAR、POE 好奇心及记忆门控进展。两个 critic 分别估计外在和内在回报，通过 GAE 得到的优势也按同样权重混合。训练还包含前向和逆向模型的均方误差、价值损失和策略熵项；缓存中多处原始公式运算符损坏，因此不照抄不完整的总损失式或补写未见超参数。

实验采用 8 个并行 DISCOVERSE 环境，每个种子 200 万环境步，共 3 个随机种子。可选的行为克隆预热在同一比较设置内统一启用；任务对齐归一化也用于所有基线。最干净的同骨干比较是 EvoVLA 对 OpenVLA-OFT，不应把 Octo、OpenVLA 和其他策略家族也描述成完全相同骨干。

实验关键数据¶

主实验¶

Discoverse-L 的 Bridge、Jujube-Cup、Stack 分别有 74、19、18 个提示生成阶段，每个任务有 50 条脚本轨迹。Bridge 的 74 阶段字典合并了仿真器 79 个细粒度阶段中的微调步骤；仿真器阶段事件仅用于评测诊断，不参与训练。成功率 SR 是 400 步内完成任务的回合比例，评估采用每任务 50 个留出种子回合，并报告 3 个训练种子的均值。

下表选自原文第 12 页表 1，单位均为成功率百分比；差值为百分点。

方法	Bridge	Jujube-Cup	Stack	平均
Octo	24.8	33.7	29.1	29.2
OpenVLA	32.6	42.0	37.5	37.4
OpenVLA-OFT	54.1	63.5	59.4	59.0
EvoVLA	65.3	72.6	69.7	69.2
相对 OpenVLA-OFT 增益	+11.2	+9.1	+10.3	+10.2

幻觉率 HR 不是失败回合比例，而是评价器给出高分的事件中，实际未完成的比例。把原文式 (12) 的条件计数写清楚即：

\[ \mathrm{HR}=\frac{\mathbb E[\mathbf 1\{u_k(t)>\theta\ \land\ c_k(t)=0\}]}{\mathbb E[\mathbf 1\{u_k(t)>\theta\}]},\qquad \theta=0.7. \]

这里 \(u_k(t)\) 是阶段评价分数，\(c_k(t)\) 是仅在评测中读取的真实完成指示，期望覆盖评估回合、时间步和激活阶段。表中将这一比例乘以 100 显示；HR 降低不等于所有失败都消失，也不能脱离高分事件的分母和评分阈值解释。

消融实验¶

原文第 12 页表 2 是逐项累加，不是从完整系统逐个移除组件。下面保留原始数值，最后一列是相对上一行的 SR/HR 百分点变化。

累加配置	SR (%)	HR (%)	相对上一行变化
OpenVLA-OFT	59.0	38.5	不适用
+ 困难负例	61.8	31.2	+2.8 / -7.3
+ 时间平滑	63.7	23.4	+1.9 / -7.8
+ Long-Horizon Memory	66.1	19.5	+2.4 / -3.9
+ POE，即完整 EvoVLA	69.2	14.8	+3.1 / -4.7

关键发现¶

困难负例与时间平滑组成 SAR，累计将 HR 从 38.5% 降到 23.4%，即下降 15.1 个百分点；完整方法共下降 23.7 个百分点。累加顺序会影响边际增益，不能据此直接推出任意独立移除的效果。
第 13 页报告，达到平均 50% SR 约需 60 万环境步，OpenVLA-OFT 约需 90 万，因而达到该目标的采样效率为 1.5 倍。这是环境交互效率，不是训练耗时加速。
第 13 页图 6 与第 14 页正文报告，真实机器人四任务平均 SR 为 54.6%，OpenVLA-OFT 为 43.6%；Insert 为 55.2% 对 41.8%。前三任务是直接 Sim2Real，Insert 使用 50 条遥操作示范、行为克隆和约 5000 步 PPO，不能称为零样本迁移。
第 14 页指出，每个真实模型与任务组合有多批、每批至少 20 次有效试验；主文未给出统一的精确总次数。阈值 0.65–0.75 范围内 SR 为 68.7%–69.2%，但改变阈值本身也会改变 HR 的条件分母。

亮点与洞察¶

把奖励利用定位到具体阶段，使“高奖励但没做成”不再只是笼统失败描述。困难负例可以围绕机器人最容易钻空子的物理条件设计，而非只堆更多成功示范。
预测误差和学习进展被分开处理：前者鼓励探索，后者再由记忆门控。这个区分有助于避免把持续不可预测误当成持续学习，但其稳定性仍需实测。
记忆不仅增加策略上下文，还参与奖励塑形。这为长时程任务提供了一种可迁移的思路：用历史判断当前学习信号是否可信，而不只用历史生成动作。

局限与展望¶

评测覆盖三个仿真任务和一个额外真实任务，集中在 AIRBOT-Play 操作平台。更广泛的对象、接触条件和机器人形态泛化尚未由这些结果证明。
阶段字典、示范视频和对象位姿都是重要依赖，真实 POE 还使用 AprilTag。“自监督”不意味着完全没有外部结构或物理状态信息。
主文多次把补充材料作为非累加消融、字典压力测试及超参数来源，但本缓存不包含这些材料。其“移除任一组件至少下降 2.4 点”的概括不能仅由这里可见的累加表完整核验。
SAR 仍由视觉模型判断空间与接触语义，可能保留系统性盲点。可进一步用独立接触或稳定性检查评估这些盲点，并报告置信区间、位姿噪声敏感性和奖励模块计算开销。

评分¶

新颖性: 4/5。阶段幻觉的诊断与奖励、探索、记忆的联动有针对性，单个构件则沿用成熟技术。
实验充分度: 3/5。有仿真、真实机器人和累加消融，但任务覆盖与主文统计细节仍有限。
写作质量: 3/5。问题和主结果清楚，但累加与移除消融的表述需要区分，若干实现细节依赖补充材料。
价值: 4/5。为长时程 VLA 奖励可靠性提供可操作的机制和诊断指标，尚不能视为物理成功保证。