A2Eval: Agentic and Automated Evaluation for Embodied Brain¶

会议: NeurIPS 2026
arXiv: 2602.01640
OpenReview: https://openreview.net/forum?id=MbGvHXDxKr
论文: https://arxiv.org/abs/2602.01640
领域: 机器人
关键词: 具身智能评测, 多智能体协同, 自动化基准构建, 评估流水线代码合成, 评测去冗余与重平衡

一句话总结¶

A2Eval 提出了首个面向具身大脑的多智能体自动化评测框架，通过 Data Agent 自主归纳八维具身能力并进行多样性聚类采样构建紧凑基准，同时由 Eval Agent 闭环合成并校验可执行推理与评分流水线，在压缩 85% 评估样本和节省 77% 算力的同时显著修正排行榜失真并提升人类偏好对齐度。

研究背景与动机¶

评估具身视觉语言模型（Embodied VLM）已成为引领具身智能前沿研究与工业落地的核心罗盘。然而，现行具身评测生态深陷于“专家静态定义 + 人工繁重标注”的传统范式中，导致各大基准存在严重的样本冗余与能力分布偏斜。在现有评测集中，样本间语义相似度高达 92%，大量容易标注的简单空间感知任务占据了压倒性比例，而真正反映物理因果与长程规划的核心能力样本却极度匮乏。评估单一模型往往需要耗费超过 3200 个 GPU 卡时，不仅造成灾难性的算力与人力浪费，还严重阻碍了模型的敏捷迭代。

更为严重的是，这种分布失真直接引发了系统性的榜单虚高与评估失真。许多在过代表任务（如常规空间几何判断）上过拟合的模型即便在物理交互与因果推理上存在致命缺陷，仍能取得靠前排名，误导技术发展路线；同时，针对异构基准人工编写评测和打分逻辑的流程不仅繁杂易错，而且难以扩展。面对海量重复样本与碎片化评测脚本的双重瓶颈，自动化构建兼顾低成本与高保真度的评估机制成为当务之急。

解决这一困境的关键在于将基准构建与评测流程重构为全局优化问题：在最大化能力覆盖度与样本多样性的同时，最小化样本冗余与人工介入成本。核心 idea：构建双智能体协同框架 A2Eval，由 Data Agent 自动诱导完备的具身能力维度并执行多样性感知聚类重平衡，由 Eval Agent 在沙箱反馈中闭环合成可执行的推理与打分代码，实现端到端全自动、高保真、低开销的具身模型评测。

方法详解¶

整体框架¶

A2Eval 的全生命周期流水线由两个协同智能体组成：Data Agent 负责高质量、紧凑且平衡的基准数据构建，Eval Agent 负责可执行评测流水线的代码合成与自动化执行。系统输入为原始多源基准信息池 $\mathcal{B}$ 及其全部样本集 $\mathcal{E}$（跨越 10 个代表性具身基准、共计 24,519 个样本）以及待评估的具身模型 $\mathcal{M}$；输出为归一化的紧凑基准 $\mathcal{E}^{\text{s}}$（3,781 个代表性样本）、自动生成的推理与评分代码逻辑，以及多维度能力评估分数。

整体数据流如下：Data Agent 首先通过 Proposer、Reviewer 与 Assigner 三个角色的交互反馈循环诱导具身能力维度集合 $D$；随后 Assigner 利用多投票智能体对海量样本打上能力标签，并在语义嵌入空间中执行固定聚类中心采样，彻底剔除域内冗余；最后 Eval Agent 中的 Evaluator 与 Scorer 分别针对测试样本与目标模型，在沙箱执行器中经错误诊断反馈生成无缝运行的推理逻辑 $F^e$ 与打分逻辑 $F^s$，完成端到端全自动评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多源原始基准池与样本集<br/>B={B_i}, E=∪E_i (24,519 样本)"] --> DA

    subgraph DA["Data Agent：自动化能力诱导与基准重平衡构建"]
        direction TB
        D1["多角色维度诱导：Proposer-Reviewer-Assigner 交互共识"] --> D2["多智能体集成投票：样本维度归属判定"]
        D2 --> D3["多样性感知聚类采样：去除域内冗余并跨域重平衡"]
    end

    DA --> DS["平衡紧凑评估基准 E^s<br/>(8 维能力，3,781 样本)"]
    DS --> EA

    subgraph EA["Eval Agent：闭环沙箱代码合成与自动化评估"]
        direction TB
        E1["沙箱驱动推理逻辑合成：生成并自检推理代码 F^e"] --> E2["沙箱驱动打分逻辑合成：生成并自检评估代码 F^s"]
    end

    EA --> Out["自动化评测产物与能力榜单<br/>多维能力雷达分与综合排名"]

关键设计¶

1. 多角色维度诱导：Proposer-Reviewer-Assigner 交互共识

针对人工主观定义能力维度易挂一漏万且缺乏系统性的弊端，Data Agent 引入三个具备异构认知职责的角色，在共享历史记忆库 $M$ 下通过多轮交互迭代发现具身认知空间。在第 $i$ 轮中，Proposer $\mathcal{A}_p$ 综合基准元信息 $\mathcal{B}$、评审员前序批判 $C_i$ 与历史记忆 $M$ 提议候选维度集合 $D_{i+1}$： $$D_{i+1} = \mathcal{A}_p(\mathcal{B}, C_i, M)$$ 随后，Reviewer $\mathcal{A}_r$ 从概念独立性、领域完备性以及样本分布均衡性三个方面对 $D_{i+1}$ 进行批判，生成反馈报告 $C_{i+1} = \mathcal{A}_r(D_{i+1}, S^{(r)})$，其中 $S^{(r)}$ 为 Assigner 实际试分配得到的样本统计。当维度名称与边界在认知上收敛稳定后，系统最终诱导出覆盖感知到决策规划的八大正交具身能力维度：感知与目标定位（PercepObj）、场景与动作理解（SceneAct）、空间与几何推理（SpatGeo）、数量与数值推理（QuantNum）、功能可承受性（AffdFunc）、物理与因果推理（PhysCaus）、决策与任务规划（DecPlan）以及动态场景时空演变（DynScene）。

2. 多智能体集成投票：样本维度归属判定

为了在不依赖人工标注的前提下准确解析大规模多源样本的深层能力属性，Assigner 采用由 $N_v = 5$ 个独立决策智能体构成的投票评审委员会 $\{\mathcal{A}_a^1, \dots, \mathcal{A}_a^{N_v}\}$。每个投票智能体针对样本 $e_j \in \mathcal{E}$ 进行自主语义与交互意图推理，给出其所需的能力维度集合 $D_{jk}$。最终样本的能力归属采用多数表决机制裁决： $$D_j = \text{MajorityVote}(\{D_{jk}\}_{k=1}^{N_v})$$ 通过多智能体独立审校与共识决策，系统有效平抑了单个大模型的偏见与随机幻觉，将 24,519 个异构样本精准分流至各能力的专属样本池 $E_{d_k} = \{e_j \in \mathcal{E} : d_k \in D_j\}$ 中。在真实全量统计中，仅有 19 个样本（0.0%）被划入无法归类的“其他”类别，充分印证了所诱导维度体系在具身领域的穷尽性与完备性。

3. 多样性感知聚类采样：去除域内冗余并跨域重平衡

针对原始基准中样本重复率高、高难度因果/规划样本占比极低（如 PhysCaus 仅占 1.5%、DecPlan 仅占 4.5%，而 SpatGeo 高达 43.1%）的严重失衡，Assigner 设计了基于多模态语义流形聚类的固定容量采样机制。对于每个维度候选池 $E_{d_k}$，系统提取图像与指令的联合多模态特征 $x = \text{Encoder}(e)$（文本通过 Sentence-Transformers 编码，视频/图像通过 CLIP 特征进行均匀帧均值池化）。若样本池规模小于预设上限 $K=500$，则全量保留；若规模大于 $K$，则执行 $K$-means 聚类并选取最接近每个聚类中心 $\mu_j$ 的代表性样本： $$E_{d_k}^{\mathrm{s}} = \Big\{\arg\min_{x \in C_j} \|x - \mu_j\|\Big\}_{j=1}^K$$ 该设计在几何流形上以最稀疏且战略性的点集均匀覆盖了语义空间，在保留各能力内部最大多样性的同时，将全量评估样本量由 24,519 压缩至 3,781（压缩比达 85%），从根本上消除了数据冗余，并使各维度分布达成统计平衡。

4. 沙箱驱动的推理与打分逻辑闭环代码合成

针对传统评估流程中针对每个新基准与新模型均需人工编写、调试评测代码的工程瓶颈，Eval Agent 建立了由 Evaluator $\mathcal{A}_e$、Scorer $\mathcal{A}_s$ 与隔离沙箱执行器 $\mathcal{X}$ 构成的双阶段代码合成循环。在推理逻辑构建阶段，$\mathcal{A}_e$ 自动生成模型输入打包、API 调用与输出捕获脚本 $F^e_i$；沙箱执行器在小规模测试切片 $\mathcal{T}$ 上执行该代码，若抛出环境异常、上下文超长或格式不匹配等诊断反馈 $E_i$，则触发 $\mathcal{A}_e$ 进行代码自我迭代重写： $$F_{i+1}^e = \mathcal{A}_e(\mathcal{M}, \mathcal{T}, F_i^e, E_i)$$ 直至在沙箱中平稳运行且无错误返回（$E_i = \text{None}$）。打分逻辑构建阶段亦采用相同自愈机制，由 Scorer $\mathcal{A}_s$ 生成答案解析、规则过滤及统计代码 $F^s_j$，在沙箱中基于真实模型预测结果验证打分指标的准确性。双阶段逻辑均通过自检后，被正式部署于全量紧凑基准 $\mathcal{E}^{\text{s}}$，实现了无需人工介入的全自动评测。

一个完整示例¶

以原始基准中跨 Where2Place 与 RefSpatial 的空间指示样本为例： 1. 维度归属判定：样本指令为“在粉色杯子后方找到与红碗等距的空闲区域放置物体”。Assigner 调配 5 个投票智能体，其中 4 票判定其核心依赖空间坐标解析与拓扑几何，归入 SpatGeo 维度。 2. 聚类去重采样：原始 SpatGeo 包含多达 10,565 个样本，大量样本仅为杯子颜色或背景微调。多模态 Encoder 计算嵌入并在流形空间聚类为 500 类，仅保留距中心最近的 1 个代表例，其余 95% 以上的重复配置被直接剪枝。 3. 流水线自愈生成：Evaluator 针对 Qwen3-VL 编写推理代码，首次在沙箱执行时因图像分辨率预设超限报错；沙箱返回错误堆栈，Evaluator 自动缩放图像并将帧率固定为 2 FPS 后重跑成功。Scorer 随后合成空间坐标提取正则表达式并通过校验，全自动输出最终评测结果。

实验关键数据¶

主实验¶

评估涵盖 10 个主流具身基准与 13 种跨尺度多模态大模型（含 Qwen3-VL 系列、InternVL-3.5 系列、Qwen2.5-VL 系列以及闭源 GPT-5-Mini）。实验对比了新建紧凑基准 $\widetilde{\mathcal{B}}$ 与原始全集基准 $\mathcal{B}$ 在人类对齐度（真实 8 大场景人类盲评偏好 $\mathcal{H}$）上的表现，以及评测耗时对比。

模型	原始基准 $\mathcal{B}$ 分数	A2Eval 基准 $\widetilde{\mathcal{B}}$ 分数	人类盲评 $\mathcal{H}$ 分数	原始耗时 (h)	A2Eval 耗时 (h)	提速比
Qwen3-VL-235B-A22B-Thinking	61.26	65.97	87.9	412.9	89.4	4.6×
InternVL-3.5-241B-A28B	56.76	65.68	63.6	80.0	18.9	4.2×
GPT-5-20250807-Mini	55.16	65.52	79.4	-	-	-
Qwen3-VL-30B-A3B-Thinking	54.14	62.58	71.2	-	-	-
InternVL-3.5-38B	55.01	62.37	64.5	-	-	-
Qwen3-VL-235B-A22B-Instruct	55.39	61.88	77.4	56.0	14.5	3.9×
InternVL-3.5-30B-A3B	51.38	61.79	55.3	-	-	-
Qwen3-VL-30B-A3B-Instruct	48.36	61.47	62.5	32.3	8.3	3.9×
InternVL-3.5-8B	48.84	55.98	61.5	3.8	0.9	4.2×
Qwen2.5-VL-72B-Instruct	51.07	54.76	61.3	11.2	3.0	3.7×
Qwen2.5-VL-32B-Instruct	47.24	50.77	58.5	-	-	-
Qwen2.5-VL-7B-Instruct	44.26	48.22	55.5	2.4	0.7	3.4×
Qwen2.5-VL-3B-Instruct	37.62	39.39	50.4	-	-	-

在排序相关性上，A2Eval 构建的 $\widetilde{\mathcal{B}}$ 与原始基准 $\mathcal{B}$ 保持了极高的排序保真度（Spearman's $\rho = 0.94$，Kendall's $\tau = 0.81$）；与人类评测 $\mathcal{H}$ 的排序相关性达到了 $\rho = 0.85$（$\tau = 0.72$），显著超越了原始基准的 $\rho = 0.83$（$\tau = 0.64$）。

消融实验¶

采样策略对排位质量的影响消融

采样策略	与原始基准排序相关性 ($\rho$)	与人类偏好排序相关性 ($\rho$)	策略特性解析
原始比例抽样 (Source-proportional)	0.98	0.81	完全保留了原始数据集的冗余与类别偏斜偏差
仅维度均衡抽样 (Dimension-aware only)	0.92	0.82	纠正了跨维度不平衡，但各维度内部依然存在高语义相似度样本
A2Eval 完整策略 (Dim. + Div.)	0.94	0.85	兼顾跨维度容量平衡与域内最大化多样性覆盖

Eval Agent 代码合成的端到端保真度检验 通过比较智能体合成流水线与官方参考实现评测分数的保真度（$\text{Fidelity} = 1 - \frac{|\text{Score}_{\text{agent}} - \text{Score}_{\text{ref}}|}{|\text{Score}_{\text{ref}}|}$），在 8 维能力上平均达到 96.9% 的端到端保真度（推理逻辑编辑距离保真度达 93.6%，打分函数相对保真度达 97.9%）。

关键发现¶

排行榜倒挂修正：在原始基准 $\mathcal{B}$ 中，Qwen2.5-VL-72B-Instruct 排名高于 Qwen3-VL-30B-A3B-Instruct（51.07 vs. 48.36）；而在 A2Eval 基准 $\widetilde{\mathcal{B}}$ 中排名发生反转（54.76 vs. 61.47），与人类盲测排序高度一致（61.3 vs. 62.5）。原因在于原始基准中几何感知（SpatGeo）占比高达 43.1%，而因果推理（PhysCaus）仅占 1.5%、任务规划（DecPlan）仅占 4.5%；新架构 Qwen3-VL-30B 在 PhysCaus 上领先 21.5 分（67.10 vs. 45.60），在 DecPlan 上领先 11.1 分（66.30 vs. 55.16），但这些决定性能力在原始评测集中被严重淹没。
极致的评测加速比：在保持全局评估高保真的前提下，全套评估规模压缩 85%，在 8 卡 GPU 环境下对超大模型实现了 3.4× 至 4.6× 的端到端时间加速（Qwen3-VL-235B 耗时从 412.9 小时暴降至 89.4 小时）。
专家与智能体高度一致：五位具身智能领域领域专家针对 800 篇样本进行的盲测审校显示，智能体诱导维度的标注一致性 Cohen's $\kappa$ 达到 0.78，评测者间一致性（IAA）达到 0.80，证实了该体系的学术可信度。

亮点与洞察¶

将基准治理转化为流形最优化问题：不仅依靠大模型打标签，更进一步采用多模态语义流形聚类中心采样，从根本上兼顾了“宏观能力配比均衡”与“微观语义正交覆盖”。
沙箱闭环自愈的代码合成流水线：将 Evaluator 与 Scorer 置于具备反馈机制的真实代码沙箱中，摆脱了以往评测工具对人工定制规则的重度依赖，展现了自主智能体在软件工程与基准基础设施上的巨大潜力。
可泛化至广泛垂直领域的评测范式：该套“维度自适应发现 $\rightarrow$ 集成投票分流 $\rightarrow$ 多样性压缩采样 $\rightarrow$ 自动化执行代码合成”的框架可低成本平移至自动驾驶、医疗多模态、通用 GUI Agent 等诸多遭受基准冗余与维护困难困扰的领域。

局限与展望¶

冷启动与极端样本覆盖风险：针对完全未曾出现在原始源基准池中的全新具身交互能力（例如灵巧手多指触觉感知微操作），系统尚无法凭空无中生有合成原始数据。
闭源前沿模型评测沙箱环境适配：对于无法本地部署、严格受限于 API 速率与黑盒返回协议的商业大模型，Eval Agent 在合成自适应评测代码时面临更长且不可控的网络诊断循环。
未来方向：探索结合仿真物理环境（如 Isaac Gym、Sapien）的动态自适应评测，使 Agent 能够根据模型薄弱维度在线生成动态博弈任务。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个实现具身基准自动维度诱导、样本去冗余重平衡与执行代码闭环合成的多智能体评测系统。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 个代表性基准、13 种主流模型，包含了 5 位专家的人机一致性打分与 8 大真实场景的人类偏好盲测验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密自洽，数学表述清晰，图表数据详实完备。
价值: ⭐⭐⭐⭐⭐ 极大降低了具身大模型研发与验证门槛，将评估耗时减少 77%，有效遏制了榜单过拟合乱象。