VLA-REPLICA: A Low-Cost, Reproducible Benchmark for Real-World Evaluation of Vision-Language-Action Models¶

会议: NeurIPS 2026
arXiv: 2605.20774
OpenReview: https://openreview.net/forum?id=61KKW28Kgg
代码: https://github.com/IRVLUTD/VLAReplica
领域: 机器人
关键词: 视觉语言动作模型、真实世界基准、机械臂操作、跨实验室复现、分布外泛化

一句话总结¶

针对视觉语言动作（VLA）模型在真实世界中评测成本高昂且难以跨实验室复现的痛点，VLA-REPLICA 提出了硬件总成本约 1050 美元的标准化软硬件评测基准，通过摄影灯箱控光、AprilTag 与双路视频叠图校准、归一化关节空间动作映射以及覆盖分布内适应与分布外泛化的 90 个测试场景，实现了低门槛、去中心化且跨独立搭建站点高度一致的真实机器人评测。

研究背景与动机¶

视觉语言动作（VLA）模型如 OpenVLA、$\pi_0$ 与 $\pi_{0.5}$ 近年来展现出基于自然语言指令执行多任务机械臂操作的强大潜力，但如何公平、可靠且低成本地在真实物理世界中评测这些模型依然是阻碍具身智能领域发展的关键瓶颈。现有的评测方案存在难以调和的割裂：一方面，Meta-World、LIBERO 与 RoboCasa 等仿真基准虽然评测效率高、环境高度可控，却因显著的仿真到真实（Sim-to-Real）物理鸿沟而往往给出过度乐观的性能预估；另一方面，现有的真实机器人基准不仅硬件成本高昂（如 FurnitureBench、RAMP 依赖昂贵的工业机械臂与精细工程环境），且往往局限于单一的抓取任务（如 REPLAB、SceneReplica），或者依赖中心化远程评测服务（如 RoboArena、RoboChallenge），用户必须向外部机构提交策略权重排队等待黑盒执行，严重拖慢了算法迭代效率。

真实机器人评测的核心痛点在于「物理环境漂移」与「硬件异构性」带来的结果不可复现性。不同实验室在背景光照、工作台反射率、相机外参微小偏移以及低成本开源机械臂（如 3D 打印的 SO-101）各舵机初始零点漂移等方面的细微差异，都会导致同一套策略在不同测试环境下表现天差地别。此外，当前很多评测协议混淆了模型在有限演示数据上的「目标环境微调适应能力」与面对视觉属性变化或任务计数要求时的「分布外泛化能力」，缺乏解耦评估机制。

为了打破昂贵集中式评测的垄断，赋能全球任意研究小组在本地搭建完全等价的物理测试场，本文提出了 VLA-REPLICA。核心 idea：基于低成本开源硬件组合（总价约 1050 美元）构建标准化的摄影灯箱封闭工作空间，通过 AprilTag 与参考图像视频叠图实现毫米级相机与物体位姿对齐，并建立通用的关节角度动作映射消除机械臂个体差异，配合涵盖分布内微调与多维度分布外泛化的解耦评测协议，实现全球范围内高可复现的真实机器人本地评测。

方法详解¶

整体框架¶

VLA-REPLICA 的全流程覆盖了物理环境标准化搭建、机械臂通用动作空间归一化校准、专家演示数据采集微调、以及基于视频叠图的确定性评测执行。系统选用 6 自由度低成本 3D 打印机械臂 SO-101（约 200 美元）、Intel RealSense D455 顶部 RGB-D 相机、Vinmooog 腕部 RGB 相机，并置于 32 英寸摄影柔光箱中，提供 5600K 均匀照明以完全隔离实验室环境外部杂散光。在策略评测阶段，用户通过 AprilTag 与预设参考图像叠图快速将相机与物体摆放恢复到标准坐标系，随后策略基于双视角图像与任务语言提示输出归一化关节角，底层控制器线性逆映射为各舵机实际编码值驱动机械臂执行操作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    subgraph S1["硬件环境与外参对齐"]
        direction TB
        A["低成本硬件与封闭灯箱<br/>SO-101机械臂+双路相机+5600K灯箱"] --> B["标准化硬件与双重视觉校准<br/>AprilTag位姿微调+双路视频叠图匹配"]
    end
    subgraph S2["动作空间归一化映射"]
        direction TB
        B --> C["通用动作空间归一化与校准<br/>标准L姿态基准+对角缩放矩阵转换"]
    end
    subgraph S3["策略微调与解耦评测"]
        direction TB
        C --> D["解耦评测协议与任务套件设计<br/>10类操作任务+500条演示+90个测试场景"]
        D --> E["真实环境闭环推演与复现评估<br/>90s超时限步+分布内适应/分布外泛化"]
    end

关键设计¶

1. 标准化硬件与双重视觉校准：彻底消除光照与相机视点漂移

真实世界机器人评测中最主要的视觉扰动来自不可控的自然采光、阴影变化以及相机安装误差。VLA-REPLICA 选用 32×32×32 英寸的 Glendan 封闭式 PVC 骨架摄影灯箱，顶部与前方配置 3 组 LED 面板，搭配柔光漫射布与白色聚丙烯（PP）背景板，提供约 5600K 的恒定色温与无阴影漫反射环境。顶部相机通过专用 3D 打印卡扣支架固定在灯箱顶部 PVC 管上，腕部相机固定在末端夹爪上。为确保不同实验室装配的相机视角完全一致，设计了两阶段视觉校准： - AprilTag 刚体位姿对齐：在 SO-101 底座右侧基准边紧贴固定一个 4 cm 规格的 tag36h11 AprilTag，运行实时位姿估计脚本，手动滑动或微调顶部相机支架，直到相机相对于 AprilTag 的 6 自由度位姿 $(x, y, z, R, P, Y)$ 落入严格容差区间（目标位姿为 $x=-0.06\pm 0.01\text{m}$, $y=-0.39\pm 0.01\text{m}$, $z=1.25\pm 0.01\text{m}$, $R=-18.5\pm 1.0^\circ$, $P=3.0\pm 1.0^\circ$, $Y=2.5\pm 1.0^\circ$）。 - 实时视频叠图匹配（Video Overlay）：在 AprilTag 粗对齐基础上，利用 GUI 将当前顶部和腕部相机的实时视频流以半透明方式叠加在标准参考图像上，实验人员微调支架和末端螺丝消除残余毫米级视差。评测前摆放物体时同样使用该叠图程序，实验人员对照目标阴影轮廓精准就位，彻底消除了物体初始摆放偏差。

2. 通用动作空间归一化与校准：消除低成本舵机的制造个体差异

开源低成本机械臂 SO-101 完全由 3D 打印件与 Dynamixel/飞特 STS3215 舵机构建，各台机械臂在装配时舵机初始零点、装配公差及物理极限差异显著。若直接使用舵机原生编码值 $\hat{\mathbf{a}} \in [0, 4095]^6$ 作为动作空间，策略将无法在跨实验室的不同机械臂之间迁移。为此，定义了通用的机械臂关节角度动作空间 $\hat{\mathbf{u}} \in [-180, 180]^6$（单位为度）： - 首先在校准阶段将机械臂伸展至标准水平与垂直垂直构型的标准「L」形姿态，捕获对应的各舵机编码零点偏移量 $\mathbf{a}^{\text{offset}}$，并在扫掠整个关节极限时测定极限值 $\mathbf{a}^{\text{min}}$ 与 $\mathbf{a}^{\text{max}}$。 - 构建 $6 \times 6$ 维对角校准矩阵 $\mathbf{D}$，其对角元素为由舵机行程计算得到的线性缩放因子： $$r_i = \frac{a_i^{\text{max}} - a_i^{\text{min}}}{2}, \quad \mathbf{D} = \frac{1}{180} \operatorname{diag}(r_1, r_2, \dots, r_6)$$ - 遥控采集与数据集记录时，将测得的真实动作 $\hat{\mathbf{a}}$ 归一化为通用关节角： $$\hat{\mathbf{u}} = \mathbf{D}^{-1}(\hat{\mathbf{a}} - \mathbf{a}^{\text{offset}}), \quad \hat{\mathbf{u}} \in [-180, 180]$$ - 在测试推演时，任意训练好的 VLA 或模仿学习策略输出统一的 $\hat{\mathbf{u}}$，现场控制器利用目标机械臂本机的标定参数恢复出实际伺服指令： $$\hat{\mathbf{a}} = \mathbf{D} \hat{\mathbf{u}} + \mathbf{a}^{\text{offset}}, \quad \hat{\mathbf{a}} \in [0, 4095]$$ 该设计使任何在标准演示数据上微调的模型能够直接无缝部署到任意经过标定的 SO-101 机械臂上，误差在机械公差允许范围之内。

3. 解耦评测协议与任务套件设计：兼顾目标域适应与分布外泛化

VLA-REPLICA 包含 10 项多样化的物理操作任务，涵盖拾取放置（如面包放盘子、碗放杯垫、积木堆叠、积木入盒）、柔性物体与机构交互（如折叠毛巾、打开烤箱、板擦擦白板）以及高阶记忆与计数交互（如撒胡椒 $N$ 次、举碗 $N$ 次、按按钮 $N$ 次）。为了支撑模型在小样本下的目标域适配，使用主从双臂遥操作采集了 500 条高质量专家演示（每项任务 50 条），并在起止点规范了统一的复位姿态以减少动作发散。评测协议关键在于解耦目标域适应（In-Distribution, ID）与多维分布外泛化（Out-of-Distribution, OOD）： - ID 评测（50 个测试场景）：统计分析全部 500 条演示中物体的空间几何中心分布，在演示分布支持集内选取 5 个具有代表性偏置但未在训练中出现的初态位姿，测试模型在有限数据下对目标环境的拟合与技能掌握。 - OOD 评测（40 个测试场景）：对 8 项任务系统性引入未见过的视觉属性扰动（未见颜色如黄色盘子、粉色积木盒；未见几何形状如牛角包/甜甜圈）以及未见过的任务逻辑（如训练集仅包含摇胡椒粉 1 次和 3 次，OOD 要求摇 2 次或 4、5 次），专门探究 VLA 策略是否真正具备视觉语义泛化与动作时序记忆能力，而非简单过拟合环境记忆。

实验关键数据¶

主实验¶

在统一的 LeRobot 框架下，基于相同的 500 条演示训练或微调了 7 种代表性算法（模仿学习基线从头训练：ACT、Diffusion Transformer DiT-D、Flow-Matching DiT-F；VLA 模型微调：SmolVLA、X-VLA、$\pi_0$ 与 $\pi_{0.5}$），每种模型均训练 40K 步。下表展示了各模型在 10 项 ID 任务与 8 项 OOD 任务中的成功率评测结果（每个任务变体评测 5 次，总计超 800 次真实评测）。

算法模型	训练方式	骨干网络特性	ID 任务平均成功率 (10 Tasks)	OOD 任务平均成功率 (8 Tasks)	整体泛化性能变化
ACT	从头训练	Action Chunking Transformer	0.18	0.075	-58.3%
DiT-D	从头训练	多任务 Diffusion Transformer	0.16	0.050	-68.8%
DiT-F	从头训练	流匹配 Flow-Matching Transformer	0.12	0.025	-79.2%
SmolVLA	预训练微调	轻量级 VLA 架构	0.26	0.300	+15.4%
X-VLA	预训练微调	视觉与语言多模态编码器全微调	0.14	0.075	-46.4%
$\pi_0$	预训练微调	冻结视觉编码器 + VLM微调流模型	0.34	0.300	-11.8%
$\pi_{0.5}$	预训练微调	增强开放世界泛化能力的先进 VLA	0.54	0.350	-35.2%

消融与跨实验室复现性实验¶

为验证基准在跨物理地点、不同人员独立组装条件下的可复现性，研究团队在完全独立的物理场所由未经训练的新手搭建了第二套完全相同的平台（含独立灯箱、相机与机械臂），并选取表现较优的 5 个 ID 任务（任务 1, 2, 5, 6, 7）与 3 个 OOD 任务（任务 1, 2, 5）对 4 种代表性策略进行平行复现性测试（各 5 次推演）。

评测环境与任务子集	ACT	SmolVLA	$\pi_0$	$\pi_{0.5}$	子集平均成功率
原始环境 ID 任务	0.28	0.40	0.56	0.72	0.49
独立复现环境 ID 任务	0.32	0.44	0.48	0.68	0.48
ID 跨平台绝对差异	+0.04	+0.04	-0.08	-0.04	-0.01
原始环境 OOD 任务	0.20	0.60	0.67	0.73	0.55
独立复现环境 OOD 任务	0.20	0.53	0.60	0.67	0.50
OOD 跨平台绝对差异	0.00	-0.07	-0.07	-0.06	-0.05

关键发现¶

VLA 预训练带来显著的目标域冷启动优势：在相同的 500 条少样本演示微调下，预训练的 VLA 模型（如 $\pi_0$ 达到 0.34，$\pi_{0.5}$ 达到 0.54）大幅领先从头训练的传统模仿学习算法（ACT 仅 0.18，DiT 系列仅 0.12–0.16），表明基础模型预训练赋予了策略高效适应真实新机器人本体与环境的表征先验。
视觉属性泛化较好，但时序计数与动作记忆全面崩溃：在面对未见过的物体颜色（如盘子、积木颜色变化）或形变特征时，$\pi_0$、$\pi_{0.5}$ 与 SmolVLA 保持了与 ID 任务相当的成功率；然而对于需要精确动作计数的任务（如撒胡椒 $N$ 次、按按钮 $N$ 次），所有被测策略在 OOD 未见次数下的成功率断崖式下滑（大多数为 0%），定性观察显示模型缺乏内部动作时序追踪能力，在摇晃胡椒时会陷入无限重复振荡而无法执行复位动作。
跨平台评测呈现惊人的一致性与复现性：在两套由不同人员组装的独立测试台之间，模型在各任务上的平均表现差距仅为 1%（ID 均值 0.49 vs 0.48）和 5%（OOD 均值 0.55 vs 0.50），且相对排序完全一致（$\pi_{0.5} > \pi_0 > \text{SmolVLA} > \text{ACT}$），强有力证明了摄影灯箱控光、AprilTag 与叠图双重校准的有效性。

亮点与洞察¶

平民化硬件成本与极致的工程易复现性：整套系统通过 3D 打印件与百元级现成电商消费品（SO-101 机械臂、摄影柔光箱、D455 与普通网络摄像头、日用玩具），将真实机器人标准化评测平台的造价从数万美元压缩至约 1050 美元，新手一小时即可完成机械组装。
巧妙的双重校准闭环解决跨域分歧：通过固定于机械臂基座旁的 AprilTag 完成相机 6 自由度刚体外参约束，配合双视角视频半透明叠图（Video Overlay）实现毫米级视角纠偏与物体摆放复原，从根源上消除了真实评测中最容易被忽视的环境微小位移误差。
即插即用的通用动作归一化解耦底层硬件：建立标准的「L」姿态校准与对角变换矩阵，将各舵机物理极限与零偏解耦，输出通用的机械臂关节角度，为开源社区不同批次的机械臂提供了一致的动作接口。

局限与展望¶

单臂桌面场景的任务复杂度受限：目前 VLA-REPLICA 仅局限于单台 6-DoF 低载荷机械臂的桌面小物体操作，尚未覆盖双臂协调协同、大范围移动操作或重载任务。
任务规模与自动化重置能力仍有提升空间：相比于上百个任务的仿真基准，基准目前包含 10 个任务、90 个场景，且场景重置依赖人工按照叠图辅助摆放，在评测数百个 rollout 时依然需要较大的人力与时间开销。
微小的物理磨损与制造公差累积：尽管有标准化校准程序，长期运行中 3D 打印舵机齿轮磨损、松动以及微小光斑仍可能对高灵敏度策略带来细微扰动，未来可结合自动重置机构（如倾斜滑道或气动推杆）实现自主无人化评测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙融合低成本消费级硬件、摄影灯箱控光与多重视觉动作归一化技术，解决了困扰真实机器人领域的可复现性痛点。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 种主流算法、10 类任务、90 个 ID/OOD 场景、超 800 次真实物理推演，并在独立异地测试台上完成了严格的跨机构复现验证。
写作质量: ⭐⭐⭐⭐⭐ 硬件装配指南、校准数学推导、BOM 清单及评估协议叙述详尽透彻，附录提供了完整的复现 checklist。
价值: ⭐⭐⭐⭐⭐ 极大地降低了全球研究人员参与真实具身智能评测的门槛，是推动 VLA 算法评测标准化、去中心化的基石性开源工作。