METIS: Multi-Source Egocentric Training for Integrated Dexterous Vision-Language-Action Model¶
会议: NeurIPS 2026
arXiv: 2511.17366
代码: https://aureleopku.github.io/METIS
领域: 机器人/具身智能
关键词: 灵巧操作、视觉-语言-动作模型 (VLA)、多源第一人称数据、运动感知动力学、自适应推理
一句话总结¶
METIS 构建了涵盖 34.3 万条轨迹的多源第一人称灵巧操作数据集 EgoAtlas，提出紧凑的运动感知动力学离散表征（4维视觉+40维动作Token），并通过自适应门控将思维链推理与低层动作生成统一进 VLA 框架，在双灵巧手真机上取得了最先进的操作性能与泛化表现。
研究背景与动机¶
让通用机器人具备类似人类的高灵巧度双手操作能力，是具身智能领域长期追求的核心目标。然而，当前的视觉-语言-动作（VLA）模型研究主要集中在简单的二指夹爪或低自由度末端执行器上，面对多指灵巧手操作时往往难以取得理想效果。造成这一瓶颈的核心症结在于高质量灵巧操作数据的极度匮乏：通过传统遥操作采集灵巧多指手数据不仅需要昂贵的专业设备，而且操作繁复、时间与人力成本极高。相比之下，网络与人类日常活动中存在着体量极其庞大的人手交互视频，蕴含着丰富多样的操作行为先验与空间接触线索，理论上能够为具身智能模型提供关键的行为指导。
然而，将人类视频直接迁移至多指机器人系统面临着显著的物理与视觉鸿沟。一方面，现有开源人类视频多局限于有限的室内桌面或厨房场景，视角与背景单一；另一方面，人类双手与机器人机械灵巧手在外观形态、运动学结构以及自由度配置上存在巨大差异，简单的视觉表征学习往往捕获了大量与操作无关的背景扰动，却忽略了指尖与手腕的高频运动学本质。此外，若直接采用现有多模态大模型对连续高维关节动作进行朴素离散化，会导致动作分块（Action Chunks）的 Token 序列过度膨胀，极大加剧自回归解码的推理延迟与显存开销。
为了解决多源异构数据难以对齐与自回归推理序列过长的问题，本文提出了 METIS 框架。作者先构建了一个多源第一人称灵巧操作基准 EgoAtlas，借助穿戴式手套追踪系统补齐了高质量、免遮挡的人类运动数据，并设计正逆运动学算法将多种形态的人手与机械手动作映射至统一的状态-动作空间；随后提出紧凑的运动感知动力学离散化表征，将复杂的长时连续动作压缩为极少量的离散动力学 Token。核心 idea：通过构建统一状态-动作空间的多源第一人称操作数据集 EgoAtlas 汇聚异构人机先验，并利用紧凑的运动感知动力学解耦视觉演化与层级动作，配合自适应门控机制将高层子任务思维链推理与低层控制统一于单个自回归 VLA 模型中。
方法详解¶
整体框架¶
METIS 围绕多源数据统一、紧凑动力学表征构建与自回归 VLA 协同执行展开。整个系统首先通过 EgoAtlas 将跨 8 个来源的人类与机器人第一人称轨迹映射至由 18 维相机系手腕位姿和 30 维腕部局部坐标系指尖位姿构成的统一状态-动作空间。在此基础上，框架构建了运动感知动力学模块（Motion-Aware Dynamics），将连续交互轨迹分别量化为 4 个视觉动力学 Token 和 40 个运动动力学 Token。
在模型架构层面，METIS 以 Prismatic-7B 为基础（整合 SigLIP 与 DINOv2 双视觉编码器，连接 LLaMA-2 7B 语言骨干网络），将离散动力学 Codebook 映射为新增的特殊语义 Token。模型引入了基于自适应门控的推理与执行双模式切换机制：当处于子任务转折点时，模型自回归生成高层思维链文本描述；当处于执行阶段时，模型直接自回归预测运动感知动力学 Token，并交由轻量级动作解码器（Action Decoder）还原为未来 1 秒（32步）的高频连续指尖与手腕轨迹。
整个处理流水线由紧凑数据流驱动，涵盖多模态感知输入、离散动力学量化、自适应模式门控与低层动作映射，如下图所示：
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多源第一人称输入<br/>图像观测 + 语言指令 + 本体状态"] --> B["统一状态-动作空间映射<br/>18D手腕位姿 + 30D指尖位姿"]
B --> C["运动感知动力学量化<br/>视觉动力学4 Tokens + 运动动力学40 Tokens"]
C --> D["自适应门控双模式切换<br/>Token-Gated BOR / BOD 判定"]
D -->|BOR 触发子任务转移| E["思维链推理生成<br/>更新语言上下文与动作意图"]
D -->|BOD 保持动作执行| F["自回归动力学预测<br/>输出离散动力学 Token"]
E --> F
F --> G["轻量动作解码器<br/>多头注意力池化 + 32步轨迹输出"]
G --> H["双臂灵巧手机器人执行<br/>逆运动学求解关节控制量"]关键设计¶
1. 统一状态-动作空间与 EgoAtlas 构建：跨越人机形态物理鸿沟
针对来自视频动捕（MANO参数）、VR手柄追踪（绝对三维关键点）以及机器人遥操作（关节角驱动）三大类异构数据源的物理不一致问题，本文设计了基于手腕与指尖几何特征的统一状态-动作空间。该空间解耦了末端执行器的绝对全局移动与指端局部形变：手腕位姿被统一建模为相机坐标系下的 3D 位置与 6D 连续旋转（单手 9 维，双手共 18 维）；指尖位姿则舍弃了难以直接跨形态迁移的手指各关节角，提取各手指末端在手腕局部坐标系下的 3D 空间坐标（每手 5 指共 15 维，双手共 30 维）。针对机器人数据，利用 Pinocchio 库根据 URDF 模型计算正向运动学（FK）求得末端指尖坐标，并在部署时使用带关节限位与平滑正则项的迭代逆运动学（IK）求解器映射回关节空间。基于该空间，作者构建了涵盖 8 个数据源的 EgoAtlas 数据集，包含了穿戴式 Manus 动捕手套与 VIVE Tracker 高频采集的 10K 条高保真在野数据，总规模达到 34.3 万条轨迹与 8972 万图像-动作对。
2. 运动感知动力学分解与量化：兼顾视觉因果演变与微观运动保真度
若直接沿用传统 VLA 对每个动作维度在时域内进行均匀分箱离散化，预测 32 步长动作序列将产生高达上千个动作 Token，引发不可接受的自回归解码延迟与上下文负担。为此，METIS 提出了运动感知动力学分解机制，将动态信息拆分为视觉动力学 \(D_{vis}\) 与运动动力学 \(D_{mot}\) 两个互补部分。视觉动力学侧重于动作对环境状态引发的因果演进：采用基于逆动力学模型的空间/时间 Transformer 编码器 \(\mathcal{I}(D_{vis} | I_t, I_{t+k}, P_{t:t+k})\)，将前向观测、未来观测与轨迹特征融合，通过 VQ-VAE 目标量化为长度 \(V=4\)、码本大小 \(|C_v|=16\) 的紧凑 Token，并以预训练 DINOv2 高级语义特征为重构监督，避免了逐像素像素级重构的无效开销。运动动力学则聚焦于指端精细轨迹特征：设计了结合多尺度时间卷积与轨迹自注意力的 PoseNet 编码器，并采用两层残差量化网络（RQ-VAE）将高频轨迹量化为长度 \(R=40\)、码本大小 \(|C_m|=512\) 的离散 Token，由时序卷积网络（TCN）监督重构，有效规避了码本坍缩。两者统一映射到长度 \(N=44\) 的特殊语言 Token，使 VLM 能够在单次自回归预测中同时监督环境视觉后果与精细指尖轨迹。
3. 自适应 Token 门控的思维链推理机制：平衡长程规划与实时控制效率
在复杂长程操作中，缺乏分阶段语义引导往往导致动作执行随时间推移发生漂移；然而若在每一个控制步均调用大模型进行多步文本推理，又会使高频闭环控制系统的吞吐率急剧下降。METIS 设计了一种自适应 Token 门控机制，统一了推理模式（Reasoning Mode）与执行模式（Acting Mode）。模型定义了两个特殊控制 Token：推理开始符号 [BOR] 与动力学开始符号 [BOD]。在训练阶段，作者依据人工标注的子任务切换边界 \(\tau_k\)，在边界前后 \([-10, +10]\) 帧的转移窗口内施加概率平滑监督：
在边界中心处分配 [BOR] 的概率达到 1.0，向窗口边缘线性衰减至 0.5，窗口外则全部分配为 [BOD]。在推理部署时，当模型预测出 [BOR] 时自动触发推理分支，自回归生成指明当前执行手、操作对象与意图动作的高层语言短语，并追加至语言上下文中；当预测出 [BOD] 时，则跳过冗余文字生成，直接输出 44 个动力学 Token 并由动作解码器高速生成低层控制指令，使得模型既具备长程任务分解能力，又保持了高达 23.58 Hz 的闭环控制吞吐率。
损失函数 / 训练策略¶
METIS 的全流程训练分为大规模预训练与下游任务后训练两个阶段，总优化目标由自回归语言动力学损失 \(\mathcal{L}_{ar}\) 与动作解码损失 \(\mathcal{L}_{action}\) 线性组合而成：
其中自回归项 \(\mathcal{L}_{ar}\) 监督包含思维链文本以及 44 个动力学 Token 的负对数似然：
在预训练阶段（EgoAtlas 数据集，权重 \(\lambda=1\)），在 24 张 NVIDIA H100 GPU 上采用全分片数据并行（FSDP）联合优化视觉编码器、LLaMA-2 骨干网络及动作解码器，全局 Batch Size 为 768，使用 AdamW 优化器，学习率设为 \(2\times 10^{-5}\)，经过 60,000 步训练（耗时约 72 小时）。
在下游任务后训练阶段，采用 8 张 H100 GPU，对视觉编码器与语言骨干网络应用 Rank=32 的 LoRA 微调，仅对动作解码器进行全参数微调；采用混合精度策略（LLM 与视觉端为 bfloat16，动作解码器保持 float32），优化器学习率设为 \(3.5\times 10^{-4}\)，在总计 80,000 步的训练过程中采用 StepLR 调度并在 80% 步数时衰减 0.1。
实验关键数据¶
主实验¶
评估在装备有两只 6-DoF 宇树（Inspire）灵巧手的 Unitree G1 人形机器人平台上展开，包含 3 个短程任务（抓取放置、合上笔记本、拉开抽屉）与 3 个长程双手协作任务（双饮料入筐、可乐移交入筐、开抽屉放面包），每个任务开展 20 次真机评测。评估指标采用整体任务成功率（SR）以及长程任务的子步骤进度成功率（PSR）。
| 方法 | 抓取放置 SR | 合上笔记本 SR | 拉开抽屉 SR | 双饮料入筐 SR / PSR | 可乐入筐 SR / PSR | 开抽屉放面包 SR / PSR |
|---|---|---|---|---|---|---|
| ACT | 35.0% | 65.0% | 95.0% | 25.0% / 40.0% | 50.0% / 53.3% | 5.0% / 5.0% |
| OpenVLA-OFT | 50.0% | 80.0% | 10.0% | 40.0% / 57.5% | 55.0% / 56.7% | 0.0% / 1.0% |
| \(\pi_{0.5}\) | 60.0% | 85.0% | 70.0% | 65.0% / 72.5% | 75.0% / 76.7% | 60.0% / 65.0% |
| GR00T N1.5 | 70.0% | 80.0% | 80.0% | 65.0% / 70.0% | 70.0% / 73.3% | 70.0% / 72.5% |
| METIS (本文) | 85.0% | 95.0% | 90.0% | 75.0% / 85.0% | 70.0% / 76.7% | 75.0% / 82.5% |
在进一步的高难度工具使用任务（倒饮料 Pour Drinks 与 浇花 Water Flowers）中，METIS 分别取得了 80.0%（PSR 83.3%）与 60.0%（PSR 63.3%）的成功率，大幅领先未针对灵巧手进行预训练的夹爪流模型 \(\pi_{0.5}\)（40.0% 与 15.0%）和类人基准 GR00T N1.5（60.0% 与 50.0%）。
消融实验¶
作者对动力学表征的构造形式、预训练数据源贡献以及推理机制的开销进行了详尽消融。以下展示了表征形式对解码效率与性能的影响，以及自适应推理机制的性能与吞吐率权衡：
表 A：离散化表征方式消融（Token数量、推理吞吐率与任务成功率）
| 配置 / Tokenizer | Token 数量 | 吞吐率 (Hz) | 抓取放置 SR | 开抽屉放面包 SR | 倒饮料 SR | 说明 |
|---|---|---|---|---|---|---|
| 朴素分箱 (Naive) | 1440 | 0.93 | 15.0% | 10.0% | 0.0% | 序列过长导致延迟极高且难以拟合 |
| FAST Tokenizer | 138 | 9.87 | 50.0% | 25.0% | 15.0% | 频域压缩后依然受高自由度限制 |
| 运动感知动力学 (Ours) | 44 | 28.30 | 60.0% | 35.0% | 30.0% | 无预训练对比基线，显著提升速度与控制精度 |
表 B：推理机制消融（在开抽屉放面包与倒饮料任务上的表现）
| 配置 | 开抽屉放面包 SR | 倒饮料 SR | 吞吐率 (Hz) | 说明 |
|---|---|---|---|---|
| 无推理 (No-reasoning) | 70.0% | 65.0% | 28.30 | 速度最快，但在长时任务中缺乏高层任务对齐 |
| 全程推理 (Always-reasoning) | 75.0% | 75.0% | 17.27 | 准确率提升，但每步推理致使系统延迟显著升高 |
| 自适应门控 (Adaptive-reasoning) | 75.0% | 80.0% | 23.58 | 仅在转折点推理，取得最高任务成功率与高控制带宽 |
关键发现¶
- 动力学分解的互补性：在动力学成分消融中，仅保留视觉动力学（Visual-only）在两项长程任务上仅取得 45.0% 和 50.0% 成功率；仅保留运动动力学（Motion-only）为 60.0% 和 55.0%；而两者融合的完整模型提升至 75.0% 和 80.0%，证实了视觉预测环境因果演变与运动约束精细指尖轨迹的互补必要性。
- 预训练数据的飞轮效应：从无预训练（两任务成功率 60.0%/35.0%）、仅开源人类数据预训练（70.0%/60.0%）、人机混合预训练（80.0%/65.0%）到包含自采高保真穿戴手套数据的 EgoAtlas 全量预训练（85.0%/75.0%），任务成功率呈现阶梯式提升，表明统一动作空间下的高质量第一人称数据对强化机器人物理接触策略至关重要。
- 跨本体泛化潜力：将基于指尖位置预测的策略零样本迁移至搭载双 22-DoF SharpaWave 灵巧手的 Sharpa Beta 机器人上时，在抓苹果和工具使用任务分别获得 85.0% 与 70.0% 成功率；在极为严苛的折纸盒与装箱（Box Packaging）任务中取得 15% 成功率，而基准 GR00T N1.5 成功率为 0%。
亮点与洞察¶
- 表征层面的几何解耦：将灵巧操作动作空间统一定义为手腕 6-DoF 连续旋转位姿与指尖局部 3D 坐标，而非直接绑定特定手型的关节电机角度，使异构人手形态与多款高自由度机械手之间的无缝映射和跨本体零样本迁移成为可能。
- 自适应 Token 门控推理：将高层思维链规划与高频底层伺服统一在单个自回归网络中，通过平滑概率窗口监督
[BOR]/[BOD]门控，既避免了双层层次化模型间复杂的进程通信开销，又消除了步步自回归文本推理带来的延迟雪崩。 - 紧凑高保真动力学量化：结合 VQ-VAE 与 RQ-VAE 仅用 44 个 Token 压缩了包含未来 32 步、48 维动作空间的高动态交互，为大语言模型自回归统一动作生成提供了高效可扩展的范式。
局限与展望¶
- 单一第一人称视角的几何感知盲区：目前模型完全依赖安装在头部的单目 RGB 相机，在双手操作大尺寸物体或精细贴合桌面交互时，手部自身或物体极易阻挡镜头光路产生严重视线遮挡，未来亟需结合手腕微型相机或外侧第三人称多视角观测以提供立体视差信息。
- 逆运动学求解器的奇异点扰动：推理阶段依赖几何 IK 将生成的末端指尖坐标反解为机械手电机角，在高自由度灵巧手处于奇异构型或接近关节物理极限时，易产生抖动或解空间突变，后续可探索直接端到端学习由指尖位姿到阻抗控制参数的神经网络映射。
- 未充分挖掘海量第三人称网络视频：EgoAtlas 当前聚焦于第一人称交互数据，尚未收录互联网中规模更大的第三人称旁观视角视频，如何消除跨视角投影畸变并引入更大规模的网络无监督数据仍待进一步探索。
相关工作与启发¶
- vs GR00T N1.5: GR00T N1.5 通过大规模人类与类人机器人隐式表征协同预训练，但在长程任务中缺少显式的语义阶段推理与动作闭环纠偏机制；METIS 通过显式运动感知动力学与自适应思维链门控，在长程与工具使用任务上取得了更高的任务进度完成率与执行鲁棒性。
- vs \(\pi_0\) / \(\pi_{0.5}\): \(\pi\) 系列依赖扩散流匹配（Flow Matching）生成连续动作，在二指夹爪上表现出色，但其预训练主要受限于低自由度机械臂数据；METIS 专注于灵巧手的高维复杂动态，利用统一动作空间直接将海量人类穿戴动捕与交互数据用于预训练，大幅提升了精细操作能力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙设计了统一指尖与手腕的跨形态动作空间，并提出44维极紧凑的视觉-运动双动力学离散量化表征。
- 实验充分度: ⭐⭐⭐⭐⭐ 进行了详实的真实人形机器人双灵巧手评测、跨 22-DoF 本体迁移以及多项分布外 OOD 泛化实验，数据客观详尽。
- 写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，方法推导清晰，附录中详尽公开了硬件动捕参数与训练超参数设置。
- 价值: ⭐⭐⭐⭐⭐ 为解决灵巧操作领域长久以来的数据匮乏与自回归动作膨胀难题提供了极具落地可行性的端到端范式。