HumanoidArena: Benchmarking Egocentric Hierarchical Whole-Body Learning¶

会议: NeurIPS 2026
arXiv: 2606.17833
代码: https://humanoidarena.github.io
领域: 机器人
关键词: 人形机器人, 分层全身控制, 自我中心感知, 通用运动追踪器, 基准测试

一句话总结¶

提出了首个面向自我中心分层全身控制的人形机器人仿真基准 HumanoidArena，通过 40 维规范化全身中间动作解耦高层视觉决策与底层通用运动追踪器（GMT），设计了 7 项必须依赖下肢协同的交互任务，并揭示了现有策略跨追踪器迁移时的脆弱性与不对称性。

研究背景与动机¶

构建能够像人类一样在物理世界中感知、推理与行动的具身智能体，是人形机器人研究的核心愿景。人形机器人最根本的形态优势，在于其身体结构与专为人类设计的日常空间、工具与交互界面天然对齐。然而，在诸多复杂的具身交互场景中，双腿绝非仅仅是将手臂与末端夹爪送达目标工位后即静止的「轮式移动底盘」——步态落点选取、单双足支撑转换、重心姿态微调以及全身躯干的重新定向，直接在力学和运动学层面决定了某项人机-环境交互（HOI/HSI）在物理上是否可行。

这种严苛的全身协调需求，引发了任务级意图规划与底层动态执行之间剧烈的耦合矛盾。高层感知策略必须在剧烈晃动的自我中心视角（Egocentric Vision）下解析复杂的视觉与语义线索，生成具有连贯意图的高维行动规划；而高自由度双足机器人的底层执行器则必须在毫秒级物理仿真循环中应对突发的地面接触、冲击力与姿态失稳。虽然近期涌现的分层全身控制范式（如 TWIST2、SONIC）通过引入通用运动追踪器（General Motion Tracker, GMT）实现了「高层规划全身中间动作、底层 GMT 保障动态可行性」的解耦，但整个领域此前缺乏一个受控的基准测试平台。现有的人形机器人基准要么采用端到端耦合控制，要么把下肢退化为平面导航底盘，导致学界无法独立诊断高层策略生成的全身中间动作是否具有物理可执行性、能否抵御感知与空间扰动，以及能否无缝迁移到不同的低层追踪器后端。

面对底层控制黑盒化与下肢交互扁平化两大瓶颈，本文的核心切入点是将策略-追踪器接口（Policy–Tracker Interface）本身确立为第一评测维度。核心 idea：构建仿真优先的自我中心分层全身控制基准 HumanoidArena，统一制定紧凑的 40 维全身中间动作接口与 64 维本体感受空间，打造 7 项下肢协同不可或缺的 HOI/HSI 任务，并通过扰动泛化与跨 GMT 迁移双重协议全面诊断分层全身学习的稳健性与兼容性。

方法详解¶

整体框架¶

HumanoidArena 的整体架构严格遵循高低层解耦的分层决策范式。高层策略在每个时间步接收来自机器人机载前置相机的单目自我中心 RGB 图像 \(I^{\mathrm{ego}}_t\)、64 维规范化本体感受状态 \(p_t\) 以及自然语言任务指令 \(\ell\)。高层策略不直接预测电机力矩或底层 PID 参数，而是预测一个紧凑的 40 维全身中间动作 \(u_t\)。该动作经过特定追踪器的轻量适配器 \(\psi_m\) 映射后，输入给底层的通用运动追踪器 \(G^{(m)}\)（如 TWIST2 或 SONIC），由其在 50Hz 控制频率下输出稳定且物理可执行的 Unitree G1 人形机器人 29 自由度关节目标位置 \(q^{(m)}_{t+1}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自我中心多模态观测<br/>RGB图像 + 64D本体感受 + 任务指令"] --> B["高层全身策略网络<br/>ACT / DP / FM / π0.5"]
    B --> C["40维规范化中间动作<br/>根节点运动 + 29D关节 + 抓手开合"]
    C --> D["追踪器适配层<br/>格式转换与参考轨迹映射"]
    D --> E["底层通用运动追踪器<br/>TWIST2 (ONNX) / SONIC (GEAR)"]
    E --> F["物理执行与交互<br/>7项下肢关键型 HOI/HSI 任务"]

关键设计¶

1. 40维规范化全身中间动作与64维本体感受接口：规避维数灾难的紧凑交互契约

高层视觉策略直接预测全身高维力矩或复杂的全参数 SMPL 人体网格动作会导致训练样本效率大幅下滑，而纯末端位姿表征又丧失了下肢步态的微调能力。为平衡表达能力与学习效率，HumanoidArena 制定了规范化的中间动作空间 \(u_t \in \mathbb{R}^{40}\)。该空间精简且完整地约束了机器人的全身意图：包括水平面根节点平移增量（2D，root_xy_delta）、根节点期望高度（1D，root_z）、连续 6D 旋转表示的根节点目标朝向（6D，root_rot6d）、G1 机器人 29 自由度全身关节目标位置（29D，joint_pos）以及左右手开合二值指令（2D，hand_binary）。与之对应，输入给策略的本体感受状态 \(p_t \in \mathbb{R}^{64}\) 包含根节点 6D 旋转、29D 关节当前位置以及 29D 关节当前角速度。这种规范化设计使得任意视觉运动策略只需输出运动学几何目标，而将高频接触动力学平衡交由底层接管。

2. 闭环多后端遥操作与适配管线：构建同源语义下的双物理动态专家库

为了获得高质量的人形机器人示范数据并评测追踪器特异性，基准在 Isaac Lab 物理引擎中搭建了基于 VR 头显的沉浸式远程操作数据收集管线。人类操作者佩戴 PICO 头显实时接收 G1 机器人的第一人称 RGB 视觉流，通过通用动作重定向算法（GMR）捕获全身动作并生成 35 维机器人参考信号（mimic_obs）。关键机制在于，该 35 维通用参考信号被发布到 Redis 总线后，分别由不同的动作解释提供器（action_provider）消费——在 TWIST2 后端下通过 ONNX 策略生成追踪动作，在 SONIC 后端下通过 GEAR-SONIC 编解码器处理。示范采集与回放统一运行在 50Hz。这意味着在相同的任务和场景下，人类操作者产生的同一套高层决策意图分别经由不同 GMT 的底层物理补偿策略落盘，为后续研究策略是否过拟合特定追踪器的补偿动力学提供了同源对照数据。

3. 下肢关键型 HOI/HSI 任务族设计：打破轮式底盘假象的全身力学约束

传统具身评测大多将双足简化为移动底座，上肢进行静态桌面操作。HumanoidArena 明确定义并构建了 7 项必须依靠下肢深度协同的基准任务，涵盖 3 项人机-物体交互（HOI）与 4 项人机-场景交互（HSI）： - HOI-Football（踢足球）：机器人必须在视觉定位足球后调整步态、单腿单足支撑平衡，并利用摆动腿精确触球射门，涉及动态单双足支撑转换； - HOI-DoubleDesk（双桌搬运）：机器人从一张桌子上抓取铁锤并跨步运输到另一张桌子上的篮子中，跨步搬运中需持续抵抗持物晃动惯性； - HOI-P&PBox（高架置物）：机器人从桌上搬起箱子并放入多层货架，货架高度的变化迫使机器人必须蹲起或屈膝调整全身姿态，不能仅靠手臂伸展； - HSI-OpenDoor（推门穿行）：必须在对抗铰链门阻尼的同时保持身体直立前推并调整身体朝向穿过门框； - HSI-SitSofa（沙发落座）：避开障碍物后精准对齐沙发边缘，通过双腿协调屈曲与躯干后倾完成稳定的坐下转换，轮式底盘物理上无法完成； - HSI-Boxing（拳击沙袋）：沙袋上的击打目标高度随机变化，低目标必须下蹲俯身、高目标必须挺拔全身，强制检验垂直维度的下肢高度伺服； - HSI-VisNavi（复杂避障视觉导航）：在密集的随机障碍物中穿行，要求最终双脚均稳定落在狭窄的目标区域线框内。

4. 三维扰动与跨追踪器解耦评测协议：诊断高层意图与执行后端的兼容边界

为彻底解耦感知鲁棒性、空间执行自适应与底层运动器过拟合，评测协议划分了两个正交维度：一是扰动测试协议，包含视觉扰动（环境均匀光照改为带有随机俯仰/滚转/强度的单向定向光源，剧烈改变阴影与对比度）、语义扰动（保持物体位姿不变，替换门/球门/沙袋/路标等物体的材质或外观几何变体）以及执行扰动（大幅扩大目标物体的初始位置和姿态随机化范围）；二是 GMT 条件评测协议，在相同训练步数（100K steps）和统一数据规模下，不仅测试策略在原装追踪器下的表现（In-GMT），还强制进行跨后端部署（Cross-GMT：TWIST2 训练部署到 SONIC，或反向），通过绝对掉点 \(\Delta_{\mathrm{cross}} = \mathrm{SR}_{\mathrm{in}} - \mathrm{SR}_{\mathrm{cross}}\) 和相对留存率 \(\mathrm{Ret} = \mathrm{SR}_{\mathrm{cross}} / \mathrm{SR}_{\mathrm{in}}\)，精确度量高层网络预测的全身动作究竟是通用的运动意图，还是暗中学会了依赖某特定 GMT 专属的姿态恢复漏洞。

损失函数 / 训练策略¶

评测涵盖了当前具身智能领域的四大主流视动策略基线：ACT（基于 Transformer 的条件 VAE 块预测）、Diffusion Policy（DP，基于 DDIM 的扩散去噪策略）、Flow Matching（FM，基于连续归一化流的轨迹匹配策略）以及 \(\pi_{0.5}\)（大参数量 VLA 基础模型）。除 \(\pi_{0.5}\) 保留其 bfloat16 预训练基座与特殊图像变换外，其余模型均采用统一的图像缩放填充至 \(224 \times 224\) 输入，统一动作块预测长度（Action Chunking Horizon = 20），批大小均为 64，统一在 LeRobot 平台下严格训练 100K 梯度步。在仿真评测中，针对人形机器人特有的摔倒现象设置了软/硬终止条件：躯干倾斜超过 60° 且持续 5 帧，或单步硬倾斜超过 75°，或受力超过 50N 且倾角异常，立即判定为失稳摔倒（Fall）并终止该轮测试，确保成功率（SR）与平均摔倒率（AFR）双重指标的客观公正。

实验关键数据¶

主实验¶

在同源 GMT 匹配（In-GMT）评测中，各策略在 7 项任务上的测试成功率（SR %，60 次独立评估均值）如下表所示。整体表现高度取决于高层策略架构与底层运动追踪器的组合配合：

GMT 后端	策略模型	HOI: Football	HOI: DoubleDesk	HOI: P&Pbox	HOI 均值	HSI: OpenDoor	HSI: SitSofa	HSI: Boxing	HSI: VisNavi	HSI 均值	全局 AFR (↓)
TWIST2	ACT	26.7%	15.0%	43.3%	28.33%	50.0%	66.7%	58.3%	13.3%	47.08%	6.43%
TWIST2	DP	46.7%	10.0%	50.0%	35.56%	68.3%	73.3%	51.7%	30.0%	55.83%	10.48%
TWIST2	FM	53.3%	16.7%	38.3%	36.11%	76.7%	68.3%	63.3%	26.7%	58.75%	7.38%
TWIST2	\(\pi_{0.5}\)	26.7%	1.7%	46.7%	25.00%	28.3%	60.0%	51.7%	13.3%	38.33%	3.33%
SONIC	ACT	16.7%	18.3%	56.7%	30.56%	78.3%	73.3%	56.7%	33.3%	60.42%	8.57%
SONIC	DP	45.0%	36.7%	75.0%	52.22%	85.0%	78.3%	76.7%	23.3%	65.83%	8.33%
SONIC	FM	13.3%	38.3%	73.3%	41.67%	70.0%	15.0%	70.0%	38.3%	48.33%	5.71%
SONIC	\(\pi_{0.5}\)	10.0%	43.3%	71.7%	41.67%	66.7%	73.3%	70.0%	23.3%	58.33%	5.24%

消融实验：跨 GMT 零样本迁移退化与不对称性¶

为了探究学到的全身中间动作是否具有独立于追踪器的通用意图，实验将 TWIST2 上训练的模型部署到 SONIC（T→S），并将 SONIC 训练的模型部署到 TWIST2（S→T），评估其掉点幅度与留存率（\(\Delta_{\mathrm{cross}}\) / \(\mathrm{Ret}\) %）：

任务名称	T → S: ACT (掉点/留存)	T → S: DP (掉点/留存)	T → S: 平均 AFR (↓)	S → T: ACT (掉点/留存)	S → T: DP (掉点/留存)	S → T: 平均 AFR (↓)
Football	26.70 / 0.00%	25.00 / 46.47%	1.25%	16.70 / 0.00%	43.30 / 3.78%	7.08%
DoubleDesk	15.00 / 0.00%	10.00 / 0.00%	2.90%	18.30 / 0.00%	36.70 / 0.00%	32.08%
P&PBox	43.30 / 0.00%	50.00 / 0.00%	0.00%	31.70 / 44.09%	48.30 / 35.60%	0.40%
OpenDoor	50.00 / 0.00%	68.30 / 0.00%	0.00%	78.30 / 0.00%	81.70 / 3.88%	0.00%
SitSofa	66.70 / 0.00%	73.30 / 0.00%	0.40%	45.00 / 38.61%	60.00 / 23.37%	1.65%
Boxing	58.30 / 0.00%	50.00 / 3.29%	2.50%	23.40 / 58.73%	31.70 / 58.67%	0.00%
VisNavi	13.30 / 0.00%	13.30 / 55.67%	2.48%	33.30 / 0.00%	23.30 / 0.00%	11.68%

关键发现¶

分层执行性能强依赖于策略-追踪器配对：不存在绝对占优的高层策略。在 TWIST2 后端上，Flow Matching 综合表现最佳（HOI 36.11%, HSI 58.75%）；而在 SONIC 后端上，Diffusion Policy 则展现出压倒性优势（HOI 52.22%, HSI 65.83%）。SONIC 后端整体运动追踪上限显著高于 TWIST2，使 DP 策略的 HOI 平均成功率直接跃升了 16.66 个百分点。
跨 GMT 迁移存在严重的非对称脆性崩溃：直接更换低层 GMT 会导致绝大多数任务成功率归零。从 TWIST2 迁往 SONIC 时，ACT 在所有 7 项任务中留存率全部为 0.00%，整体平均绝对掉点达到 39.9%；反向从 SONIC 迁往 TWIST2 时，平均掉点为 36.0%，但伴随着极高的失稳摔倒率（例如 DoubleDesk 上摔倒率飙升至 32.08%，VisNavi 上达到 11.68%）。t-SNE 动作分布分析表明，高层网络隐式地拟合了特定追踪器产生的第一人称相机剧烈抖动与本体感觉响应，其预测动作已与训练用的 GMT 强绑定。
视觉扰动是破坏闭环执行的最主要感知瓶颈：在三类扰动评测中，光照旋转引起的视觉分布偏移（Visual Perturbation）造成的掉点最为显著。例如在 TWIST2-HOI 上，ACT 成功率直接从 28.33% 腰斩至 14.44%，FM 从 36.11% 腰斩至 18.33%。相比之下，语义替换与空间位置扩大的影响因任务类型而异，说明机载相机的动态自遮挡与光影明暗交替对模仿学习策略构成了最大干扰。
基础大模型展现出优异的运动物理稳定性：\(\pi_{0.5}\) 在两款 GMT 下均取得了最低的摔倒率（TWIST2 下 3.33%，SONIC 下 5.24%），且在强依赖手部精细搬运的 DoubleDesk 上表现出最佳的跨步搬运成功率（43.3%），印证了大规模预训练对全身交互稳定性的增益。

亮点与洞察¶

将策略-追踪器接口确立为核心基准维度：首次系统化揭示了分层具身智能中被广泛忽视的「追踪器隐式过拟合」问题，证明中间动作空间的几何一致性并不等价于控制策略的跨动力学可移植性。
提出阶段化可恢复失效（Recoverable Failures）诊断框架：通过足球踢射等案例深入剖析，指出很多未成功的尝试并非灾难性崩溃，而是包含「首次击球欠力 → 自适应再定位 → 调整步态二次射门」的闭环能力，为二值化成功率之外的交互能力评估提供了新视角。
标准化 40D 规范动作与 LeRobot 兼容生态：提供了从 PICO VR 沉浸式闭环采集、GMR 自动重定向到 Isaac Lab 仿真评估的全栈开源管线，可直接作为后续全身 VLA 模型研究的标杆测试场。

局限与展望¶

依赖预训练固定 GMT 而未探究双向联合微调：当前基准的高层策略与底层 GMT 之间缺乏双向梯度流动，高层策略无法获知底层的执行余量与接触阻抗，导致输出动作容易超出特定 GMT 的动力学可行域边界。
仿真到真实世界（Sim-to-Real）的跨越尚存间隙：虽然 Isaac Lab 提供了精准的接触力学模拟，但真实机器人在剧烈踏步时的机载相机振动模糊、地毯与硬质地面摩擦突变，仍可能加剧感知与动作的失配。
未来方向：探索通用动作表示自监督预训练（如基于潜在流匹配的物理自适应空间），以及高层策略向底层追踪器传递多模态阻抗或触地时序先验的自适应分层接口。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统化定义分层全身控制的策略-追踪器评测基准，将双足全身协调从简单的移动导航提升为物理核心约束。]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖 4 种主流视动策略、2 大前沿 GMT、7 项下肢关键任务以及 3 类正交扰动，实验规模大且统计规范。]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密清晰，对失败模式的阶段化拆解极具洞察力，图表详实且附录技术细节完备。]
价值: ⭐⭐⭐⭐⭐ [为整个人形机器人学习领域提供了一个规范、可复现、高度针对性的分层全身交互基准与开箱即用代码库。]