Humanoid Whole-Body Manipulation via Active Spatial Brain and Generalizable Action Cerebellum¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3751
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2930.pdf
项目: Humanoid-WMAG
领域: 机器人/具身智能
关键词: 全身操作、主动感知、空间推理、灵巧抓取、可达性优化

一句话总结¶

本文用主动空间大脑决定“接下来观察哪里、执行什么”，再由可泛化动作小脑把这些决定落到导航、身体调位和灵巧操作上，无需任务专属实机示范，在困难避障设置中达到 60.0% 成功率，而 CaP 为 30.0%。

研究背景与动机¶

桌面操作通常把相机和机械臂基座固定住，物体也大致位于手臂可达范围内；人形机器人却必须边走边看，必要时改变身体高度，再协调手臂与灵巧手完成任务。同一个目标既可能被遮挡，也可能已经看得见却够不到。把桌面策略直接搬过去，容易混淆“还缺观察”“需要走近”和“应该开始抓取”这几种完全不同的状态。

依赖示范学习的全身操作方法还面临数据覆盖问题：训练时的目标高度、距离和障碍布局，很难穷尽测试时的组合。另一端，视觉语言模型（VLM）能理解目标语义与粗略空间关系，却不等于能可靠输出避碰路径或精确关节运动。本文因此没有让大模型包办所有控制，而是把主动观察、任务阶段判断与几何求解分开，让每次执行的结果反过来改变下一步计划。

核心 idea：让大模型负责改变观察条件和选择动作意图，让可达性优化、运动规划与抓取重定向负责把意图变成可执行动作，并用持续反馈把两者连接起来。

方法详解¶

整体框架¶

系统输入为自然语言指令、RGB-D 观测以及机器人本体感知状态，输出涵盖相机动作、灵巧手姿态、上肢和下肢关节动作，最终交给 PD 控制器产生关节力矩。高层的主动空间大脑维护观察与执行历史，决定继续观察还是调用可泛化动作小脑；后者包含下肢移动与可达性、上肢灵巧操作两组执行能力，并把执行结果回传大脑。

这不是先生成完整动作序列再开环执行。机器人每完成一次观察或子任务，都要重新判断目标、当前任务阶段与下一步需求；下肢动作和上肢动作可以在多轮调用中交替发生，而不是要求每轮都先走路再抓取。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["指令、RGB-D<br/>与本体感知"] --> B["主动空间大脑"]
    B -->|需要接近或调位| C["下肢移动与可达性"]
    B -->|需要抓取或操作| D["上肢灵巧操作"]
    C --> E["关节动作与执行反馈"]
    D --> E
    E --> B
    B -->|需要补充观察| A

关键设计¶

1. 主动空间大脑：先决定缺什么观察，再决定做什么动作

固定视角看不到目标，并不意味着目标不存在。主动空间大脑把相机颈部的 2 自由度运动，以及身体平移、高度变化和绕竖直轴转向组成的 4 自由度基座动作空间及其效果写入提示，让 VLM 根据当前图像与指令选择新的观察方式。这里“主动”不是额外拍几张照片，而是把改变视角作为可调度动作：先转动相机寻找目标，必要时借助身体移动改变视野，再决定是否已有足够证据执行操作。

视角可以主动改变，也会带来坐标参照混乱，因此记忆库并不无限累积图像。它只保存自上一次基座移动以来的观测，并为每张图像配上相机姿态；基座发生移动后，旧位置的视觉记录不再作为当前局部观察集合。与此同时，全局文本日志保留大脑发给小脑的命令及其反馈，避免删除旧图像时连任务进度也丢掉。自适应任务规划器先把指令拆成子任务，再依据这两种记忆反复判断执行到了哪里：观察不足就调整视角，条件满足就调用动作智能体，抓取失败则重新安排尝试。这样既保留跨阶段的执行历史，又不把不同身体位置下的像素关系混为一谈。

2. 下肢移动与可达性：把“走到目标附近”和“让手够得到”分开求解

移动部分由空间导航智能体和末端执行器可达空间求解器组成。前者负责远距离粗接近：请求能同时看到目标与地面的 RGB-D 图像，把深度反投影为点云，再投影到地面形成占据栅格；某个栅格内存在高于阈值的点，就把它视作障碍。目标的二维坐标也经过反投影和地面投影，得到目标栅格。随后使用 A* 搜索避障路径，以 Ramer–Douglas–Peucker（RDP）算法简化为路点序列，再根据机器人与下一路点的相对位置闭环跟踪。VLM 因而不需要凭图像猜出整条精确无碰撞轨迹，而是把有几何含义的输入交给传统规划器。

但到达目标附近不等于手臂能完成抓取。可达空间求解器接着联合优化水平位移和身体高度：既惩罚过大的身体调整，也推动物体进入肩部附近的可操作区域，并对肩部到目标的距离设置手臂长度的安全余量。关键是人形机器人改变身体高度时，肩膀相对基座的位置也会变化，不能把肩膀当作固定点；作者通过 MuJoCo 仿真建立高度到肩部水平、竖直偏移的运动学模型，再在调整后的基座坐标系中评估可达性。仅概括这一距离约束，可以写为：

\[ \left\|\mathbf{p}_{\mathrm{obj}}-\mathbf{p}_{\mathrm{shoulder}}\right\|_2 \leq 0.8L. \]

其中两个位置都应在身体调整后、同一基座坐标系内计算，\(L\) 为手臂长度；这只是依据原文文字对可达约束的等价概括，不是对损坏排版公式的逐字恢复。缓存中的完整优化式提取不清，因此不臆造各权重和项的精确形式。求出的导航或精调指令最终转成前进速度、转向速度和基座高度，再由遵循 HOMIE 的强化学习运动策略结合本体状态输出下肢关节动作。大模型选目标、几何模块求位置、底层策略保持运动稳定，三者承担的是不同尺度的控制问题。

3. 上肢灵巧操作：把人类抓取先验与可解释动作原语接到机器人关节上

上肢部分同样不是让 VLM 直接预测所有关节角。抓取姿态生成智能体先根据当前观察和指令，调用多模态生成模型合成人手与物体交互的图像，用大规模预训练知识提供对象相关的抓取先验。合成图不能直接执行，因为人手和机器人手的形态不同，图像也没有现成的关节状态。系统因此先用预训练 Hyper3D 从观察重建物体网格，再结合网格与合成交互图，通过 EasyHOI 恢复人手姿态，最后优化机器人手指姿态，使对应指尖接近恢复的人手指尖。这里的核心桥梁是“图像先验→手物三维关系→指尖对应→灵巧手动作”，而不是把生成图像当作已经满足全部物理约束的控制命令。

完成抓取后，轨迹生成智能体从视觉与指令中预测语义二维关键点，并选择推、拉、放置、旋转这几类参数化动作原语。关键点通过深度提升到三维后，原语的运动学规则将其转成末端执行器的 6 自由度目标姿态序列：先移动到目标关键点或准备姿态，推与拉沿直线平移，放置保留原有手物相对偏移，旋转围绕指定枢轴进行局部转动。最后用逆运动学（IK）把末端姿态序列变为连续关节命令。生成模型负责提供难以手工枚举的抓取外观先验，原语与 IK 则明确约束后续运动的形式；这也说明其泛化仍受原语集合和重建质量约束，并非任意操作都能直接完成。

一个完整示例¶

以原文的遮挡处理任务为例，指令要求操作目标，但目标先被其他物体挡住。下面是按方法整理的流程说明，而非声称原文记录了这一条精确执行轨迹。

大脑先利用主动观察确认遮挡关系，把任务安排成“处理遮挡物，再操作目标”。若机器人距离过远，就调用下肢模块构造栅格、规划避障路点；接近后，再根据目标和肩部位置调整身体高度与位置，而不是仅保持固定站距。

上肢模块为当前要处理的物体生成抓取姿态，并用适当的动作原语改变其位置。执行反馈和新图像返回后，大脑检查遮挡是否解除：如果抓空了就安排再次尝试，如果目标已显露则切换到目标操作。若过程中移动了基座，视觉记忆改用新位置后的图像，而文本日志仍说明遮挡物处理到了哪一步，因此机器人不必把已经完成的子任务从头再做。

损失函数 / 训练策略¶

本文不是提出一个端到端新损失来统一训练全身策略。动作执行侧主要组合可达性优化、指尖对齐、运动学求解，以及遵循 HOMIE 的强化学习下肢策略；VLM 和抓取相关基础模型提供已有能力。

“无需任务专属实机数据”不能读成“整个系统没有训练”：基础模型依赖预训练，下肢运动策略也需要训练。本文比较的重点是无需为这些目标任务再采集实机示范进行任务级学习，而数据驱动基线用官方发布的后预训练权重初始化，并在每个任务的简单设置中收集至少 20 条轨迹用于后训练，然后测试简单和困难设置。

本地正文没有完整说明实际部署时各智能体采用哪一个 VLM 或生成模型，也没有给出足以复现实验的全部奖励、提示、优化权重与控制频率；因此这里不补造统一训练超参。

实验关键数据¶

主实验¶

实机为 Unitree G1，配备两只 6 自由度 Inspire FTP 灵巧手和 2 自由度主动 RealSense D435i 相机。评测包括不同高度、不同位置、二者联合变化、避障、遮挡处理五类任务，各分简单和困难设置；每种设置进行 10–30 次试验，同一设置下各方法试验次数相同。成功要求完成操作且不与障碍物发生碰撞，下表成功率单位为 %，越高越好，选取原文表 1 中三类复合空间任务。

设置	任务	TrajBooster	Ψ0	CaP	本文
简单	高度与位置联合变化	55.0	70.0	70.0	80.0
简单	避障	60.0	70.0	80.0	80.0
简单	遮挡处理	40.0	60.0	65.0	70.0
困难	高度与位置联合变化	10.0	25.0	35.0	55.0
困难	避障	0	0	30.0	60.0
困难	遮挡处理	20.0	30.0	35.0	60.0

困难避障由简单设置的单障碍变成多障碍；困难遮挡则增加遮挡物的多样性。因此这些对比检验的是任务布局变化下的泛化，而不是同分布测试中的普遍优越性。特别是简单避障上本文与 CaP 同为 80.0%，不能把原文概括性的“优于”理解成每一列严格领先。

消融实验¶

AP 表示主动感知；关闭后固定机器人视角。EES 表示末端执行器可达空间求解器；关闭后改为维持预设站距和相对高度。下表来自原文表 3，指标仍为成功率（%，越高越好）。原文没有说明这些消融数值对应的简单/困难混合方式或逐项试验分母，不能直接与上一张表的单一难度数值等同。

AP	EES	高度与位置联合变化	避障
关闭	关闭	18.8	0
开启	关闭	55.6	16.7
关闭	开启	24.9	33.4
开启	开启	67.5	70.0

关键发现¶

相对完整配置，只移除 AP 时，高度与位置联合变化从 67.5% 降至 24.9%，下降 42.6 个百分点；避障从 70.0% 降至 33.4%，下降 36.6 个百分点。动态观察尤其关系到长距离移动后的视觉上下文是否仍然有效。
只移除 EES 时，两个任务分别下降 11.9 和 53.3 个百分点。避障后精调位置的重要性更突出，与作者关于非直线运动累积感知误差的解释相符，但表中没有直接测量该误差，因此这是机制解释而非独立因果测量。
独立空间评测让 VLM 复原打乱的 3×3 图像网格、主动寻找目标、以及提出避障路点。gemini-3.1-pro 的前两项正确率/成功率为 98.84% 和 94.11%，但其路点生成仍有 21.05% 被判碰撞失败；这些是组件级基准，不是机器人端到端成功率，也不能据此认定实机所有模块都采用该模型。
对象泛化结果并不均匀：在 TrajBooster 微调时未见的工具上，本文为 52.0%，TrajBooster 为 50.0%；未见日用品上分别为 69.6% 和 50.0%。因此“空间变化下更稳健”比“所有新物体都显著更好”更符合证据。

亮点与洞察¶

记忆库的设计围绕身体运动，而不是单纯扩大上下文。局部视觉记录随基座变化更新、全局执行文本保留，针对的是空间参照变化造成的误判。
可达性被当作需要身体参与的优化问题，而不是末端抓取前的固定检查。高度改变带来的肩部偏移被显式建模，解释了为什么仅仅导航到物体附近还不够。
大模型与几何算法的边界比较清楚。语义判断决定目标与操作种类，栅格规划、运动学模型和动作原语接管精确执行，组件级空间评测也为这种分工提供了依据。

局限与展望¶

本文没有单独展开局限性章节；从方法范围看，抓取依赖合成图、物体重建与手部重定向，后续操作限定在给定原语族。正文没有证明其能覆盖任意接触丰富、需连续力控制的操作。
实验证据来自单一机器人平台和有限次数的任务试验，表格未给置信区间；也缺少端到端时延、模型调用成本和故障类型的系统统计。尚不足以评估长期自主运行的可靠性。
表 3 没有分别消融记忆策略、自适应重规划和上肢抓取链路，也未交代难度汇总方式。后续需要补齐这些测量与实现细节，才能更准确归因性能来源并检验复现性。

评分¶

新颖性: 4/5。运动条件化记忆、主动空间决策与全身动作链路的组合有针对性，基础模块多来自已有工作。
实验充分度: 3/5。含实机对比、难度变化和关键消融，但样本规模、统计不确定性与部分协议信息仍有限。
写作质量: 3/5。系统职责较清楚，部署模型、优化细节和消融汇总方式的交代仍不足。
价值: 4/5。为减少任务专属实机示范提供了具体可分析的系统路线，尚需更广的平台与长期运行验证。