BeTTER: Diagnose the Illusion of Embodied Reasoning in Vision-Language-Action Models¶

会议: ECCV 2026
论文: https://eccv.ecva.net/virtual/2026/poster/5364
全文: 论文 PDF
代码: https://github.com/BeingBeyond/BeTTER
领域: 机器人 / 具身智能
关键词: 具身推理、视觉语言动作模型、因果干预、组合泛化、状态追踪

一句话总结¶

BeTTER 用尽量保持已知动作可执行的任务干预，区分 VLA 的动作熟练度与真正的语义、组合和状态推理：三个代表模型在未见子目标组合上的成功率仅为 5%、15% 和 0%，真实机器人也出现惯性执行与阶段冲突。

研究背景与动机¶

机器人能按照指令完成任务，不等于它理解了指令。如果训练和测试中的红杯总在同一位置，策略只需把“红色”映射到固定抓取轨迹，就能获得很高的成功率；如果打包任务永远先拿汉堡，再拿薯条，模型也可以记住动作顺序，而不必理解当前究竟要求打包什么。LIBERO 等基准上的接近饱和成绩，因此不足以单独证明视觉、语言与动作之间已经建立可靠的语义联系。

直接移动物体也不能自动解决评测问题：失败可能来自抓取精度、碰撞或未学过的运动，而不是推理。已有 LIBERO-Plus、LIBERO-PRO 已经用分布变化暴露脆弱性，BeTTER 进一步关注如何改变任务语义、组合关系和进度线索，同时尽量减少底层执行混杂。它要回答的不是“机器人还能不能成功”，而是“原先的成功到底依赖哪些相关性”。

本文据此构建可组合的任务与干预，并借助模拟器状态和真实机器人对照解释行为。核心 idea：在已知动作能力的支持范围内，主动打破语言、位置、物体属性与任务阶段之间的伪相关，用失败模式而非单一成功率诊断具身推理。

方法详解¶

整体框架¶

BeTTER 是诊断基准与实验协议，不是新增一个 VLA 网络。输入是交互任务模板、物体描述和少量示范；先构造可执行场景，再扩增轨迹，最后施加针对性的测试干预并记录行为与物理状态。当前实例包含 10 个基础操作任务和 60 个诊断变体，物理要求覆盖宽松容纳到精密插入。

其关键是把“环境生成”和“诊断问题”连起来：可替换资产让研究者不只改像素，还能改变目标身份；受控变体让研究者不只增加难度，还能专门测试一个捷径是否被策略利用。特权状态用于标注和分析，并不意味着被评测策略在执行时直接获得这些真值。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务模板与物体描述"] --> B["模板化场景构建"]
    B --> C["示范与轨迹扩增"]
    C --> D["受控推理干预"]
    D --> E["特权状态诊断"]
    E --> F["失败模式与真机复核"]

关键设计¶

1. 模板化场景构建：让任务逻辑与物体资产可以分别变化

首先定义操作、放置、容纳、顺序组装等高层交互模板，再用 VLM 将其具体化为物体、目标和物理约束。随后根据物体描述，从 Objaverse 等资源中检索兼容的三维资产，完成中心对齐、碰撞边界调整等模拟适配。接触密集任务对几何误差尤其敏感，因此作者还用轻量人工检查修正位置与物理兼容性，而非把自动生成场景一概视为有效。

这套设计的价值不是单纯扩大资产数量，而是给语义反事实提供可操作的接口。例如“把水果打包”可以维持容器和动作不变，只替换目标附近的物体身份。这样，红苹果和红积木之间的区别就成为评测变量，不会被固定资产集合提前排除。物理有效性检查也很重要：若替换物体后抓取本身不可行，就无法把失败解释成语义混淆。

2. 示范与轨迹扩增：降低构建变体的人工成本，同时保留动作能力对照

每个基础任务先通过遥操作获得少量标准示范，再使用 MimicGen 一类程序化扩增方法，把示范重定向到不同物体位姿、布局和实例。其作用是提供物理可行的操作轨迹，让基准不用为每个变体重新录制完整示范。这里不能把“能够生成变体轨迹”误读成“所有测试组合都进入训练”；具体诊断仍须保留未见的指令与场景配对、未见的动作组合或布局。

尤其在咖啡任务中，物体、布局和运动原语都曾在训练中出现，测试的新颖性来自它们的配对方式。真机实验则进一步限定目标位于已学运动原语覆盖的配置中。作者把这种控制称为运动学隔离：尽量使失败指向目标选择或任务进度判断，而不是不会完成某个新动作。不过这是一种减小混杂的实验控制，并非证明所有感知与接触误差都被完全消除。

3. 受控推理干预：分别切断位置、语义、动作顺序和任务进度捷径

空间布局干预重排物体或干扰物的相对位置，并重新组合空间词与属性词。在 Preparing Morning Coffee 中，“上面的杯子”和“红色杯子”在反事实布局下可能指向不同目标；如果策略仍沿训练时“红色”对应的轨迹运动，就暴露了词汇到运动的捷径。动作原语重组则在训练中提供 \(A\to B\)、\(A\to C\)，测试 \(B\to C\)，其中三个字母分别指打包汉堡、薯条和饮料。新组合不需要新抓取技能，却要求模型停止把最常见的起手动作当作任务必经步骤。

对抗物体扰动把目标或干扰物换成外观相似、语义不同的对象，例如把原位置的红苹果换成红积木；时间外推则通过串联子目标或重复动作延长时间范围，测试持续的状态追踪。相关的进度诊断还直接改变初始状态：训练总从两个汉堡开始，拿走一个后再装薯条；测试从一个汉堡开始，指令仍要求先装汉堡。如果机器人直接装薯条，说明它把“剩一个汉堡”当成阶段信号，而没有判断汉堡是否真的已经装入目标容器。这些干预分别揭示语义特征塌缩、行为惯性和因果状态混淆，不能简单归为同一种泛化失败。

4. 特权状态诊断：从是否成功深入到抓错了什么、跳过了哪一步

模拟器逐时间步同步记录深度图、二维与三维包围框、物体分割掩码，并据此构造任务导向的 VQA 标注与场景描述。它们使分析者能检查目标定位、空间误判和任务进度，而不只是看到最终失败标记。对于“整理办公桌”，有效目标是纸团、罐子等，功能性物品如鼠标和完好杯子是干扰物；仅在未见布局上评估，可进一步削弱固定位置先验。

该任务使用干扰物抓取率 DGR：实际抓取尝试中，指向无效物体的比例，分母排除空操作与中止动作。因此它衡量的是“动手之后有多大比例抓错”，不是任务失败率，也不惩罚所有不行动行为。缓存给出了这一文字定义，笔记不补造原文没有展示的公式。对 DGR 的正确解读必须同时考虑拒绝行动和任务完成情况，否则一个经常停住的策略可能看起来更安全。

一个完整示例¶

以原文的真机长时序任务为例，指令是“把所有水果放进篮子”，正常轨迹先装柠檬再装山竹。测试把柠檬预先放进篮子、山竹留在桌面，同时机器人仍从初始姿态开始。按当前场景，应该只把山竹装入篮子；但视觉上已经完成第一步、机器人姿态却仍像开始时，策略出现停住或跳过动作的阶段冲突。

另一种干预保留桌上的柠檬但移走山竹。机器人装好柠檬后仍去山竹的预期位置空抓，说明完成第一步触发的是记忆中的下一步，而不是重新检查目标是否存在。这两个案例来自原文的定性诊断，不是附带试验次数或置信区间的成功率估计。

损失函数 / 训练策略¶

本文没有提出新损失函数。其论点是行为克隆只奖励能够预测示范动作的线索，并不直接要求恢复因果任务结构；静态布局和固定子目标顺序因而可能被强化为捷径。作者用 InternVL-3.5 的容量、联合训练数据和输入分辨率消融分析表征瓶颈，再用 LIBERO 与 CALVIN 的预训练配方对照检查高成功率是否掩盖这种差异。

真实实验使用 SO101 与 \(\pi_{0.5}\)，设短、长两种任务范围和两种布局，共四个标准配置；每个配置采集 25 条示范，总计 100 条遥操作轨迹，微调 10,000 步。训练图中短任务采用蓝色桌布、长任务采用绿色桌布，这也是解读实验时需要注意的上下文相关性。缓存正文未给出足以复现全部仿真训练的超参数，不能把真机设置外推成所有模型的统一训练配置。

实验关键数据¶

主实验¶

下表来自原文 Table 2。成功率单位为 %，变化量单位为百分点，相对于两种已见序列成功率的平均值计算；这不是相对百分比降幅。

模型	已见 A→B	已见 A→C	未见 B→C	相对已见均值的变化
\(\pi_{0.5}\)	60.0	45.0	5.0	-47.5
GR00T-N1.6	75.0	40.0	15.0	-42.5
Being-H0.5	65.0	40.0	0.0	-52.5

原文 Table 1 的目标选择结果进一步定位语言捷径：GR00T-N1.6 对 top、bottom 两类空间指令均为 100.0%，对 red、blue 两类属性指令却均为 5.0%，随机基线均为 50.0%。这不是完全忽略语言，而是语言条件和视觉核验之间没有形成稳定结合。不能把这组目标选择率与上表的完整序列成功率混为同一指标。

消融实验¶

原文 Table 3 对 InternVL-3.5 的静态具身问答能力逐步施加 VLA 部署约束。EmbSp. 为具身空间理解，RefSp. 为细粒度指代定位，EgoPlan 为顺序规划；均报告原文聚合分数，越高越好，不是机器人执行成功率。

配置	EmbSp.	RefSp.	EgoPlan
8B Base	74.96	27.50	40.80
4B Base	72.08	23.00	36.83
2B Base	60.19	6.00	33.38
2B + VLM + VLA Data	57.47	29.50	31.95
2B + VLM + VLA Data，单张 224×224 输入	52.42	7.50	31.95

容量从 8B 降到 2B 时，RefSp. 从 27.50 降至 6.00；混合数据训练后恢复到 29.50，但单张低分辨率输入又将其压至 7.50。与此同时，EgoPlan 从 33.38 变为 31.95，没有随定位恢复而改善。这支持“局部感知对齐比顺序规划更容易恢复”，而非证明加入 VLM 数据可以普遍修复推理。

原文 Table 4 的预训练配方消融提供另一组对照。CALVIN ABC→D 测试环境迁移，五任务完成率与平均完成长度越高越好。

预训练配方	LIBERO 平均成功率 %	CALVIN 五任务完成率 %	CALVIN 平均完成长度
无预训练	97.4	58.7	3.67
VLA（OXE）	96.3	62.7	3.86
VLA + VLM	97.2	71.1	4.09

关键发现¶

静态基准会压缩表征差异：无预训练在 LIBERO 上仍有 97.4%，但联合预训练在 CALVIN 上将平均长度从 3.86 提升到 4.09，五任务完成率从 62.7% 提升到 71.1%。不能据此推出“预训练没有价值”。
真实机器人复现了记忆式动作链和阶段冲突，但原文 Tables 5、6 是行为分类矩阵，不是带重复次数的定量成功率表；短任务目标缺失还可能违反任务前提，作者也明确不把它作为单独的推理失败证据。
三个 VLA 都在未见组合上大幅下降，说明问题并非某个模型的单一抓取缺陷；但这些实验仍不能代表所有机器人、任务和训练范式。

亮点与洞察¶

诊断单位是“被打破的相关性”。将同样的物体、动作和指令重新配对，比单纯增加噪声更容易追问策略究竟依据了什么。
把“状态看起来像中途”和“子目标真的已经完成”分开。预放置物体的测试可迁移到装配、清洁等任务，检验策略能否从任意有效中间状态继续执行。
静态问答消融与机器人干预互补。前者检查语义表征是否受部署约束损伤，后者观察这些脆弱性如何表现为真实动作，但两者不是一一对应的因果证明。

局限与展望¶

覆盖面仍有限：当前为 10 个基础任务、60 个变体和三个仿真评测模型，真机仅验证 \(\pi_{0.5}\) 与 SO101；更复杂双臂协作、移动操作和更长历史依赖仍待验证。
成因分析强于普通排行榜，但弱于完整因果归因。容量、分辨率和预训练配方消融支持作者解释，却没有直接证明每种控制失败由某个表征瓶颈唯一导致，也未用改进训练目标展示系统性修复。
统计与复现信息有限。缓存正文没有完整列出各诊断的重复次数、置信区间和全部仿真超参数；真实场景中的桌布与任务范围相关，也值得进一步交叉随机化。
运动学隔离减少而非消灭执行混杂。后续可增加可达性与接触成功对照，同时报告目标选择、拒绝行动、有效抓取和整任务完成，避免单项指标掩盖其他失败。

评分¶

新颖性: 4/5。将语义反事实、组合测试与状态干预组织为可扩展诊断协议，价值明确，但鲁棒性评测已有相关基础。
实验充分度: 4/5。包含多模型、架构和数据配方消融及真机复核，统计细节与真机覆盖仍有限。
写作质量: 4/5。失败模式和具体任务对应清楚，关于“根因”的表述需要结合证据强度谨慎理解。
价值: 5/5。为判断高机器人成功率究竟证明了什么提供了直接可复用的评测思路。