World Models for Learning Dexterous Hand-Object Interactions from Human Videos¶

会议: ECCV 2026
论文: ECCV 原文
领域: 机器人 / 具身智能
关键词: 灵巧手-物体交互、世界模型、关键点动作表征、手部一致性、模型预测控制

一句话总结¶

DexWM 用手部关键点差分与相机运动驱动潜在世界模型，并通过手部一致性监督保留局部细节；在人类与平行夹爪视频预训练、约 4 小时目标机器人仿真探索微调后，通过模型内规划实现真机抓取 10/12 次成功，零样本指未见目标具身上的测试技能且无真机微调，而不是完全不使用目标具身数据。

研究背景与动机¶

灵巧操作不只需要知道手腕移到哪里，还需要预测手指张开、弯曲和接触会怎样改变物体。文本、导航和全身位姿条件能描述粗运动，却可能把决定抓取成败的手指变化遗漏掉。直接从图像预测动作的策略又依赖训练轨迹中的行为分布：若数据主要是探索而非成功任务示范，策略很难知道怎样到达指定目标。世界模型提供另一条路线，先学习动作引起的状态变化，再在测试时搜索动作。

训练这样的模型需要细粒度动作与视觉对应，但灵巧手机器人数据稀缺。人类自我中心视频包含大量手-物交互，手部关键点也可作为跨具身的几何接口；问题是普通视觉特征预测未必重视面积很小的手部。即使整体图像语义相似，指尖位置错误仍足以让规划失败，因此动作表示和训练监督必须一起细化。

核心 idea：把手指级几何变化作为世界模型的动作条件，用关键点热图监督迫使预测状态保留手部位置，再将同一状态与关键点表示用于目标条件规划，而不是直接模仿训练数据中的动作。

方法详解¶

整体框架¶

输入是历史自我中心 RGB 观测与动作序列，输出是未来 DINOv2 patch 特征。关键点差分动作接口将不同手型映射到统一空间，确定性潜在预测器根据历史状态和动作直接预测下一状态，手部一致性读出从预测特征恢复指尖与手腕位置。预测状态可自回归滚动，不需要先生成像素图再编码回特征。

机器人使用时，目标图片提供目标潜在状态与关键点。目标条件 CEM 规划搜索关节角序列，经前向运动学转换成模型动作，在预测器内评估终点代价，再交给低层控制器执行航点。图中的损失是训练监督，CEM 则是测试时搜索；关键点头不仅服务训练，也参与规划代价计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["人类标注或机器人关节角"] --> K["关键点差分动作接口"]
    I["历史 RGB 图像"] --> E["冻结 DINOv2 编码器"]
    K --> P["确定性潜在预测器"]
    E --> P
    P --> H["手部一致性读出"]
    P -->|预测状态| C["目标条件 CEM 规划"]
    H -->|预测关键点| C
    G["目标图像的特征与关键点"] --> C
    C -->|候选关节序列：前向运动学| K
    C -->|选定航点：低层控制| O["机器人执行"]
    L["状态与热图真值"] -.->|训练监督| P
    L -.->|训练监督| H
    P -->|自回归状态历史| P

关键设计¶

1. 关键点差分动作接口：让手指变化与相机移动可分别建模

每只手使用 MANO 风格的 21 个三维关键点，两只手共 42 个。相邻状态之间，先通过已知刚体变换将未来关键点表达在当前相机坐标系，再计算差分，避免把相机自身运动误当作手的运动。随后附加相机平移变化和欧拉角变化。双手坐标差分为 126 维，相机变化为 6 维，总计 132 维；原文的 44×3 是总维度分组，而不是存在 44 个手部关键点。

不同数据源通过这一接口合并。EgoDex 提供人类手部与位姿标注；DROID 的平行夹爪用末端执行器处的同心圆虚拟关键点近似，圆半径随开合状态变化。仿真和真机则由关节角经前向运动学求关键点。Allegro 只有四指，作者复用最后一指的关键点表示人类小指；正文称性能代价较小，但具体证据在未提供的补充材料中，因此不能独立量化这一近似的影响。

这不是接触力、关节力矩或物理参数的统一表示，而是可从多种数据获得的几何动作接口。关键点轨迹适合描述手怎么动，却不保证跨具身的接触机制完全一致，后续目标具身仿真微调仍然必要。

2. 确定性潜在预测器：直接预测视觉特征而非迭代生成视频

冻结 DINOv2 将观测编码为 patch 级潜在状态，以保留空间信息而避免逐像素建模。预测器基于 Conditional Diffusion Transformer（CDiT）的结构，通过 AdaLN 将展平后的动作注入各 Transformer 块；但它不执行扩散去噪，而是直接回归下一状态。未来状态的预测 token 从当前状态初始化，模型还可读取多个历史状态。

训练时随机跳过状态，使相邻输入的时间间隔不固定，作者报告这能改善泛化。多步预测则将预测状态及后续动作重新送回预测器。相比迭代去噪，直接回归更适合需要反复评估候选动作的规划；代价是采用确定性转移假设，不能自然表达同一观测与动作对应多个可能接触结果的情况。定性演示展示动作跟随，但不是对一般物理准确性的证明。

3. 手部一致性读出：不让小区域的关键点被全局特征损失淹没

基础训练目标是预测特征与真实未来图像的 DINOv2 特征之间的均方误差。手占图像面积小，这个目标可能允许整体场景近似正确而手指位置错误。作者因此用 Transformer 读出头从预测状态恢复双手指尖与手腕，共 12 张关键点热图，并用真实热图的均方误差监督它。这里输出的是用于图像空间定位的热图，不是额外预测完整 42 点三维手模型。

缓存中逐项损失的原式提取损坏，故不复原其精确归一化形式；正文明确给出的组合为：

\[ \mathcal{L}=\mathcal{L}_{\mathrm{state}}+\lambda\mathcal{L}_{\mathrm{HC}},\qquad \lambda=100. \]

编码器保持冻结，预测器及读出组件接受监督。该头不是仅训练时存在的辅助模块：评测通过它计算关键点定位精度，规划也用它比较预测终点与目标的手部位置。这样训练阶段要求保留的局部信息，在决策阶段有直接用途，而不是只改善一个附属指标。

4. 目标条件 CEM 规划：搜索能到达目标的动作，而不是复现探索行为

给定起始与目标图像，交叉熵方法（CEM）搜索机器人关节角序列。每组候选通过前向运动学生成对应关键点动作，再在 DexWM 内滚动未来状态；评分由终点潜在状态与目标的 L2 距离，以及热图读出的关键点像素欧氏距离共同决定。后者系数 μ=0.001；抓取任务另有末端执行器朝向代价，以鼓励中性姿态。损坏的完整优化式不在此猜补。

这一流程以模型预测控制（MPC）框架组织，规划的是供低层控制器执行的航点轨迹，而非直接把世界模型输出当关节命令。它能利用未完成任务的探索转移学习动作后果，再以目标图片约束搜索。优势仍以预测器覆盖候选动作、规划代价反映任务成功为前提；模型内搜索也可能利用预测误差，不能说它自动避开所有训练分布外问题。CEM 样本数、规划长度、迭代次数与计算成本仅在补充材料说明。

损失函数 / 训练策略¶

预训练采用 EgoDex 与 DROID。EgoDex 包含 829 小时 1080p 人类视频，论文摘要将混合数据规模描述为超过 900 小时；默认预测器是 450M 参数的 DexWM-XL，规模实验覆盖 30M 到 450M。开环基线比较统一在 EgoDex 上训练 40 个 epoch，并使用相同 DINOv2 空间；这一配置不能直接当成所有微调实验的完整训练日程。

机器人迁移再使用约 4 小时 RoboCasa 探索数据。默认采集从 Lift 轨迹出发加入噪声，并随机化场景与物体；作者称这会阻止成功抓取，以扩大状态覆盖。另一方案完全程序化地采样随机三维目标并控制机器人接近，不使用 Lift 初始化。两者仿真平均成功率分别为 53% 和 49%，主表使用前者。探索数据虽然不是成功技能示范，却仍有目标具身经验，默认方案也保留了 Lift 初始化这一数据来源。

真机阶段不使用真实机器人微调数据。论文的零样本边界是未见同一具身上的测试技能：它不是“只看人类视频直接上机器人”，也不意味着预训练从未包含抓取类交互。骨干消融还比较其他视觉编码器，并以任务成功率而不是不同特征空间的原始 L2 作比较，这是避免尺度不一致的重要评估选择。

实验关键数据¶

主实验¶

开环评估给定初始状态和动作序列，预测未来 4 秒，即 5 Hz 下的 20 帧。嵌入 L2 衡量相同 DINOv2 空间中的预测误差；PCK@20 是预测关键点落在真值 20 像素半径内的比例，表中按百分数报告。NWM* 只使用相机运动，PEVA* 使用不含手指关节的上肢位姿，都是本文调整后的基线。

模型	嵌入 L2 @4s ↓	嵌入 L2 平均 ↓	PCK@20 @4s ↑	PCK@20 平均 ↑
NWM*	0.74	0.57	34	48
PEVA*	0.62	0.49	56	63
DexWM	0.67	0.51	60	68

数据来自原文表 4。PEVA* 的嵌入误差更低，但 DexWM 的平均 PCK 高 5 个百分点，说明整体感知相似度与局部手部准确性不是同一个目标。正文称“over 5 points”，但表中平均差为 5，这里以表格为准。

模型	仿真 Reach	仿真 Place	仿真 Grasp	真机 Grasp
Diffusion Policy	16	8	0	0
DexWM，无预训练	18	8	14	0
DexWM	72	28	58	83

数据来自原文表 5，均为成功率 %。仿真每项 50 次试验，以位置误差评估 reach/place，抓取还检查物体与机器人接触；真机是 12 次抓取试验，人工判断物体是否在手中，DexWM 成功 10 次，约为 83%。这不是在真实机器人上同时验证了全部三项技能。

消融实验¶

以下整合表 2 与表 3 的平均开环指标，两组消融各自比较，不混作同一个配置扫描。表 3 的完整模型数值与表 4 略有不同，保持各表原值，不强制统一。

消融组与配置	嵌入 L2 平均 ↓	PCK@20 平均 ↑
表 2：仅手部动作	0.60	56
表 2：相机位姿放入状态	0.57	59
表 2：相机位姿放入动作	0.50	69
表 3：无手部一致性损失	0.61	52
表 3：有手部一致性损失	0.50	69

表 3 的 4 秒终点 PCK 从 26 升到 60，是 34 个百分点，而不是相对增长 34%；正文的“34% increase”需据表理解。表 1 另显示，在 DROID 上加入 EgoDex 后，RoboCasa 的 4 秒嵌入误差从 1.3 降到 0.79、PCK 从 2 升到 7，支持人类数据帮助跨具身预测，但该开环指标本身仍较低，不能等同于机器人任务成功率。

关键发现¶

预训练与规划结合很重要。 表 5 中 DexWM 的三项仿真平均成功率为 52.7%，无预训练为 13.3%，Diffusion Policy 为 8%。因此相对 DP 是约 44.7 个百分点；摘要“超过 50%”不应直接改写成平均成功率增加超过 50 个百分点。
同样预训练不保证策略成功。 作者另将 DP 用同样人类数据预训练再微调，报告仿真平均仅 4%，而 DexWM 约 53%。这支持所测探索数据下动力学建模加规划的优势，不能泛化成行为克隆在成功示范数据上也必然失败。
动作跟随有定性而非完备物理证据。 原子动作示例每帧移动手 1 cm，并展示手碰杯后杯子前移；这些支持局部控制能力，不证明确定性模型已覆盖随机接触和外部干扰。

亮点与洞察¶

几何动作接口把大规模人类数据与不同机器人形态连接起来，不要求所有数据都来自同一款灵巧手；但虚拟关键点是一种有损近似，仍需具身适配。
手部读出把训练的局部监督与规划的目标代价接起来。相比只减小全局特征误差，它明确告诉模型哪些信息必须能被后续控制读取。
探索数据没有成功完成轨迹也能用于学习状态转移；目标条件规划再利用这些转移寻找新技能，是世界模型区别于直接动作拟合的实用价值。

局限与展望¶

需要约 4 小时目标机器人仿真探索数据，默认还采用 Lift 初始化；零样本主张必须保留这一适配阶段。
作者假设无外部智能体的静态场景，模型仍预测手与被操纵物体的运动；“静态”不应理解为物体不会运动。外部动态交互可能需要潜变量或扩散形式的随机预测。
真机只有 12 次抓取试验，place 的仿真成功率仅 28%，不足以支撑对广泛灵巧技能或复杂在手操作的全面结论。
图像目标、手部热图与视觉状态不能替代触觉或力反馈。接触丰富任务中，目标看起来接近不一定表示稳定抓握。
当前缓存不含补充材料，无法核实 CEM 成本、运行频率、四指映射消融和失败案例细节；这些是部署复现的重要缺口。

评分¶

新颖性：4/5。手指动作接口、局部一致性监督与潜在规划围绕灵巧交互形成有针对性的组合。
实验充分度：4/5。有开环、数据与监督消融以及机器人迁移，真机规模和计算成本报告仍有限。
写作质量：4/5。核心方法与零样本定义清楚，部分百分比措辞及补充材料依赖需注意。
价值：4/5。展示人类视频预训练世界模型支持灵巧操作的潜力，尚非无需适配的通用机器人控制器。