AnyHand: A Large-Scale Synthetic Dataset for RGB(-D) Hand Pose Estimation¶

会议: NeurIPS 2026
arXiv: 2603.25726
论文: https://chen-si-cs.github.io/projects/AnyHand
领域: 人体理解
关键词: 3D手部姿态估计, 手物交互, 合成RGB-D数据集, 仿真到真实迁移, 跨模态深度融合

一句话总结¶

本文提出包含 250 万单手与 410 万手物交互样本的大规模合成 RGB-D 数据集 AnyHand，通过结合扩散姿态先验、物理抓握仿真、完整 3D 前臂上下文与对齐深度图，在不改动模型架构与训练超参的前提下全面提升 HaMeR 与 WiLoR 等主流模型的域内精度与零样本跨域泛化能力，并结合轻量级双向交叉注意力模块刷新 RGB-D 手部姿态估计 SOTA。

研究背景与动机¶

近年来，基于 Transformer 的大容量手部网格重建模型（如 HaMeR、Hamba 和 WiLoR）证明了在简单架构上扩大训练数据规模即可显著提升单目 3D 手部姿态估计的鲁棒性。然而，继续扩大真实采集数据的覆盖面面临严重瓶颈：一方面，真实多视角采集平台（如 GigaHands、HO-3D、DexYCB）受限于相机机位、受试者数量与交互物体种类，难以覆盖极端视角与长尾姿态；另一方面，手部关节细小且在抓握物体时频繁发生严重自遮挡与互遮挡，导致基于多视图拟合或人工标注的真实 3D 真值不可避免地混入噪声。此外，单目 RGB 估计本质上存在深度与全局尺度歧义，而现有真实 RGB-D 数据集规模极小，限制了跨数据集泛化模型的训练。

合成数据为突破真实标注瓶颈提供了天然途径，但现有合成手部数据集始终未能同时兼顾规模、遮挡交互、手腕前臂上下文、逼真光照与对齐深度。例如，早期的 RHD（4.4 万张）和 ObMan（15.4 万张）虽然提供了深度图，但规模较小、纹理库单一且采用静态背景与人工固定光照；近期的 Re:InterHand（150 万张）和 RenderIH（120 万张）虽然引入了 HDR 环境光照并将规模扩大至百万级，但它们仅针对双手交互场景，既不包含交互物体与物体遮挡，也缺乏对齐的深度监督，更在手腕处直接截断网格而忽略了前臂上下文。近期针对仿真到真实域差距（Sim-to-Real Gap）的分析表明，手腕截断伪影、缺乏真实前臂外观以及交互遮挡不足正是制约合成数据迁移效果的关键因素。

随着扩散姿态先验（DPoser-Hand）、高保真手部纹理生成器（Handy）、大规模物理抓握序列库（GraspXL / Objaverse）以及单目度量深度估计（MoGe-2）的成熟，在百万级规模上联合合成具备高几何保真度与视觉多样性的手部数据成为可能。核心 idea：构建包含 250 万单手图像（AnyHand-Single）与 410 万手物交互图像（AnyHand-Interact）的大规模合成 RGB-D 数据集 AnyHand，在统一物理光线追踪管线中联合建模扩散先验姿态、高高频皮肤纹理、完整 3D 前臂连接、超过 50 万个抓握物体及对齐深度，并通过 0.4:0.6 的仿真-真实混合训练配方与轻量级双向 RGB-D 交叉注意力充分释放合成监督信号。

方法详解¶

整体框架¶

AnyHand 的核心流程涵盖从多源三维资产采样、双分支物理光线追踪与深度合成，到下游 RGB 与 RGB-D 基础模型混合训练的完整闭环。系统首先从真实形状分布、扩散姿态先验或物理抓握库中采样手部与物体几何，并在三维空间中无缝拼接带纹理的前臂网格；随后在 SAPIEN 光线追踪引擎中结合背景色调自适应光照渲染双视角前景，并与 MoGe-2 估计的背景度量深度融合生成 660 万张对齐标注样本；最后通过按比例混合训练提升现有 RGB 基础模型，或接入轻量级双向交叉注意力模块（AnyHandNet-D）实现高精度 RGB-D 3D 手部姿态估计。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["先验资产库<br/>DPoser-Hand / GraspXL / Handy / SMPLitex"] --> B["多源手臂资产与抓握交互采样<br/>47.4K手型 + 10.2K纹理 + 3D前臂拼接"]
    B --> C["背景感知光线追踪与对齐深度合成<br/>SAPIEN光追 + 背景色调对齐 + MoGe-2深度融合"]
    C --> D["AnyHand数据集 (6.6M RGB-D)<br/>AnyHand-Single (2.5M) + AnyHand-Interact (4.1M)"]
    D --> E["仿真-真实混合训练与双向深度融合<br/>0.4:0.6混合采样 + AnyHandNet-D双向交叉注意力"]
    E --> F["3D手部姿态与MANO网格预测"]

关键设计¶

1. 多源手臂资产与抓握交互采样：消除姿态退化、纹理单一与手腕截断伪影

现有合成数据集往往直接对真实姿态做简单线性插值或随机关节微调，且在手腕边界处直接截断网格，导致模型容易过拟合到悬空手腕伪影或有限的姿态空间。AnyHand 从五个维度重构了三维前景资产生成：在手部形状上，从 FreiHAND 和 InterHand2.6M 的真实经验分布中采样 47,438 组 MANO 形状参数 \(\beta\)，兼顾群体多样性与解剖学合理性；在单手姿态上（AnyHand-Single），在线从多数据集训练的扩散先验模型 DPoser-Hand 中动态采样，并通过生物力学约束损失（BMC loss）过滤反常关节角，使姿态分布不仅密集覆盖现有真实数据集，还外推至低密度的边缘姿态区域；在手物交互上（AnyHand-Interact），直接复用 GraspXL 在超过 50 万个 Objaverse 物体上通过物理仿真生成的 1000 万条抓握轨迹，精准抽取手部正在抓握物体的接触帧，并将 Objaverse 原始带纹理网格按比例对齐替换物理仿真中的简化无纹理网格，从而在大规模尺度上获得物理接触自洽的手物互遮挡样本。

为了进一步缩小外观域差距，AnyHand 采用生成式纹理模型 Handy 生成高分辨率皮肤褶皱与阴影细节，并施加受控的色相与饱和度扰动以拓宽肤色覆盖，构建了包含 10,240 种独特手部外观的纹理库（远超 ObMan 的 176 种和 RenderIH 的 30 种基础纹理）。同时，管线从 SMPL/SMPL+H 全身模型中提取完整前臂网格，在三维空间中与 MANO 手腕坐标系刚性对齐，并使用 SMPLitex 的 254 种高质量人体纹理（涵盖裸露皮肤、短袖与长袖衣物）进行着色。这种三维原生的手臂联合建模彻底避免了二维图像拼接的边界伪影，为模型提供了逼真的手腕-前臂上下文连接。

2. 背景感知光线追踪与对齐深度合成：实现前景-背景光照一致与全场景稠密几何监督

如果将渲染好的三维手部直接贴到随机二维背景图上，前景光照色调与背景环境往往严重割裂，且二维背景图缺乏对应的三维深度信息。AnyHand 在 SAPIEN 仿真器中采用光线追踪（Ray-Tracing）渲染器，以精确刻画投射阴影与高光反射。背景库由 536 张 MIT Indoor Scenes 室内高分辨率图像和 734 张 Poly Haven HDRI 全景环境图（共 1,270 个背景源）组成；每次采样时对背景进行随机旋转、缩放与局部裁剪。对于 HDRI 背景，直接利用环境贴图提供全局照明；对于室内图像背景，系统在场景中随机布置 1 至 5 个光源（从点光源、平行光和聚光灯中随机选取并随机化阴影范围），并将环境光色调与当前裁剪背景块的主色调统计量进行关联对齐，使手部自然继承场景的冷暖光照氛围。每个三维场景从球面随机方向（相机距离采样自均值 \(0.6\text{ m}\)、\(0.7\text{ m}\)、\(1.0\text{ m}\)、标准差 \(0.1\text{ m}\) 的高斯分布，视场角 \(\text{FOV} \in [30^\circ, 40^\circ]\)）独立采样 2 个相机视角进行渲染，最终生成 AnyHand-Single（125 万场景、250 万图像）和 AnyHand-Interact（205 万场景、410 万图像）。

在深度图构建上，AnyHand 首创了“前景仿真真值 + 背景单目度量估计”的相机空间融合策略。具体而言，前景手部、前臂与交互物体的精确度量深度直接由 SAPIEN 渲染器导出，而二维背景图像块的稠密度量深度则通过单目几何估计模型 MoGe-2 生成。系统利用前景分割掩码 \(M \in \{0, 1\}^{H \times W}\) 在相机空间将前景渲染深度 \(D_{\text{fg}}\) 与背景估计深度 \(D_{\text{bg}}\) 直接融合，合成完整的对齐深度图：

\[D_{\text{comp}} = M \odot D_{\text{fg}} + (1 - M) \odot D_{\text{bg}}\]

同时数据集显式保存前景掩码、2D 边界框、相机内外参以及精确的 3D MANO 姿态与形状真值，使下游模型既能使用全图稠密深度，也能利用掩码将几何监督严格限制在有效手部区域。

3. 仿真-真实混合训练与双向深度融合：在不改架构下强化 RGB 模型并拓展轻量级 RGB-D 估计

针对如何将百万级合成数据注入现代大容量 Transformer 模型的问题，作者发现仅靠 100% 合成数据训练会因残留域差距导致性能退化，因此设计了固定比例的仿真-真实混合训练配方（Sim-and-Real Mixed-Training Recipe）。在复现 HaMeR 与 WiLoR 时，完全保持原模型的网络架构、损失函数与训练超参数不变，仅在每个训练 batch 采样时将新增 AnyHand 数据的采样权重设为 \(0.4\)，并将原训练集中各真实/旧数据集的权重整体缩放为原来的 \(0.6\) 倍。这一配方将 HaMeR 训练集中的合成数据占比从原本的 \(2.3\%\)（仅 6.1 万张 RHD）大幅提升至 \(71.5\%\)，将 WiLoR 的合成数据占比从 \(18.7\%\) 提升至 \(68.4\%\)，首次验证了以合成数据为主体训练基础级 Transformer 手部重建模型的可行性。

为了进一步验证 AnyHand 对齐深度图的价值，作者在 WiLoR 的单目 RGB 管线基础上设计了轻量级深度融合网络 AnyHandNet-D。该架构使用并行的双路补丁嵌入分支分别将输入 RGB 图像和深度图（或由 MoGe-2 预测的伪深度图）映射为相同长度的视觉 token 序列 \(T_{\text{rgb}}\) 与 \(T_{\text{depth}}\)，随后在对应图像块之间引入双向 RGB-Depth 交叉注意力模块交换跨模态几何与外观线索，最后将融合后的特征与任务 token 拼接送入后续 ViT 主干网络与 MANO 细化头：

\[\tilde{T}_{\text{rgb}} = \text{CrossAttn}(Q=T_{\text{rgb}}, K=T_{\text{depth}}, V=T_{\text{depth}}), \quad \tilde{T}_{\text{depth}} = \text{CrossAttn}(Q=T_{\text{depth}}, K=T_{\text{rgb}}, V=T_{\text{rgb}})\]

该融合模块极为轻量且完全模块化，无需针对特定数据集重新设计复杂的点云-图像双流网络即可实现跨数据集的 RGB-D 泛化。

损失函数 / 训练策略¶

在训练策略上，RGB 评估实验严格遵循 HaMeR 与 WiLoR 的原始训练目标（联合优化 MANO 姿态/形状参数回归损失、3D 关节点/顶点损失以及 2D 投影关键点损失）与优化器超参数。混合训练在单节点 8 张 NVIDIA H100 GPU、128 线程双路 Intel Xeon Platinum 8350C CPU 及 1 TiB 内存环境下运行，单次完整训练耗时约 5 至 7 天。在固定预算消融实验中，总训练样本数被严格锁定为与原始 HaMeR 相同的 270 万张，按 \(0\%\)、\(25\%\)、\(50\%\)、\(75\%\)、\(100\%\) 调整 AnyHand 占比并训练相同步数。在 RGB-D 实验中，AnyHandNet-D 分别在仅真实数据（HO-3D + DexYCB）以及“真实数据 + AnyHand”混合设置下按相同协议训练。

实验关键数据¶

主实验¶

以下三张表格分别展示了 AnyHand 与代表性合成数据集的全面对比、在主流单目 RGB 基准（域内 FreiHAND / HO-3D v2 与零样本跨域 HO-Cap）上的性能提升，以及 AnyHandNet-D 在 HO-3D v2 上的 RGB-D 姿态估计结果。

表 1：AnyHand 与代表性合成 3D 手部数据集的特性对比

数据集	样本规模	背景类型	光照设置	对齐深度	前臂上下文	交互物体
RHD	44K	静态图像	人工固定	✓	✗	✗
ObMan	154K	静态图像	人工固定	✓	✓	✓ (2.7K ShapeNet)
Re:InterHand	1.5M	HDR (室内)	动态光照	✗	✗	✗
RenderIH	1.2M	HDR (室内/室外)	动态光照	✗	✗	✗
AnyHand-Single (本文)	2.5M	HDR (室内/室外)	动态背景关联	✓	✓ (254 纹理)	✗
AnyHand-Interact (本文)	4.1M	HDR (室内/室外)	动态背景关联	✓	✓ (254 纹理)	✓ (>500K Objaverse)

表 2：单目 RGB 模型在域内（FreiHAND、HO-3D v2）与零样本跨域（HO-Cap）基准上的主实验结果（长度单位：mm）

数据集 (评测设置)	指标	HaMeR (基线)	HaMeR + RenderIH	HaMeR + AnyHand	WiLoR (基线)	WiLoR + AnyHand
FreiHAND (域内)	PA-MPJPE \(\downarrow\)	6.0	5.857	5.545 (-7.6%)	5.5	5.394 (-1.9%)
FreiHAND (域内)	PA-MPVPE \(\downarrow\)	5.7	5.486	5.246	5.1	5.046
FreiHAND (域内)	F@5mm / F@15mm \(\uparrow\)	0.785 / 0.990	0.797 / 0.992	0.811 / 0.993	0.825 / 0.993	0.827 / 0.994
HO-3D v2 (域内)	PA-MPJPE \(\downarrow\)	7.7	7.685	7.471 (-3.0%)	7.5	7.355 (-1.9%)
HO-3D v2 (域内)	PA-MPVPE \(\downarrow\)	7.9	7.902	7.676	7.7	7.624
HO-3D v2 (域内)	\(\text{AUC}_j\) / F@5mm \(\uparrow\)	0.846 / 0.635	0.846 / 0.634	0.851 / 0.645	0.851 / 0.646	0.853 / 0.649
HO-Cap (零样本跨域)	PA-MPJPE \(\downarrow\)	4.94	-	4.66 (-5.7%)	5.02	4.69 (-6.6%)
HO-Cap (零样本跨域)	\(\text{AUC}_j\) / F@5mm \(\uparrow\)	0.901 / 0.621	-	0.907 / 0.662	0.899 / 0.615	0.906 / 0.652

表 3：HO-3D v2 基准上的 RGB-D 方法对比与深度源消融（单位：cm，越低越好）

输入模态 / 深度配置	方法	STA-MPJPE (cm) \(\downarrow\)	PA-MPJPE (cm) \(\downarrow\)	说明
RGB-D	DiffHand	-	0.93	扩散模型基线
Depth & 点云	IPNet	2.01	0.871	图像-点云双头网络
RGB-D	Keypoint-Fusion	1.87	0.943	之前 RGB-D SOTA
RGB-D (真实深度)	AnyHandNet-D (仅真实数据)	1.201	0.891	仅在 HO-3D + DexYCB 上训练
RGB + MoGe-2 估计深度	AnyHandNet-D (仅真实数据)	1.184	0.802	用 MoGe-2 伪深度替代真实深度传感器
RGB-D (真实深度)	AnyHandNet-D (真实 + AnyHand)	1.097	0.814	相比 Keypoint-Fusion 降低 41.7% STA-MPJPE
RGB + MoGe-2 估计深度	AnyHandNet-D (真实 + AnyHand)	1.068	0.793	全场最佳，伪深度反而优于含噪真实深度
RGB-D (真实深度)	w/o RGB-D 交叉注意力	1.211	0.855	移除双向交叉注意力后 STA 退化 0.114 cm

消融实验¶

作者在 FreiHAND 基准上以 HaMeR 为基线，对 AnyHand 的数据分支与核心生成组件进行了系统消融（表 4）：

配置 (HaMeR 变体)	PA-MPJPE (mm) \(\downarrow\)	PA-MPVPE (mm) \(\downarrow\)	F@5mm \(\uparrow\)	F@15mm \(\uparrow\)	说明
原始 HaMeR (无 AnyHand)	6.000	5.700	0.7850	0.9900	仅使用 2.7M 原始训练集
HaMeR + 完整 AnyHand	5.545	5.246	0.8110	0.9930	单手 + 交互双分支完整配置
仅使用 AnyHand-Single	5.626	5.286	0.8109	0.9930	去掉手物交互分支，PA-MPJPE 上升 0.081 mm
仅使用 AnyHand-Interact	5.850	5.525	0.7940	0.9919	去掉单手分支，在以单手为主的 FreiHAND 上下降明显
w/o 逼真前臂纹理	5.686	5.312	0.8096	0.9926	移除 SMPLitex 前臂外观纹理，PA-MPJPE 退化 0.141 mm
w/ 真实姿态线性插值	5.707	5.335	0.8056	0.9926	用真实数据插值替代 DPoser-Hand 扩散采样，退化 0.162 mm

关键发现¶

数据质量比单纯堆砌合成样本更关键：在完全相同的 0.4:0.6 混合训练协议下，加入 120 万张 RenderIH 仅能将 HaMeR 在 FreiHAND 和 HO-3D v2 上的 PA-MPJPE 降低 \(0.143\text{ mm}\) 和 \(0.015\text{ mm}\)，而加入 AnyHand 则大幅降低 \(0.455\text{ mm}\)（7.6%）和 \(0.229\text{ mm}\)（3.0%），直接让架构更简单的 HaMeR 追平甚至超越原本领先的 Hamba 与原始 WiLoR。
数据规模扩展对跨域泛化的收益远超域内：数据缩放实验（图 4）表明，在域内基准（FreiHAND、HO-3D v2）上，仅加入 \(1/3\) 至 \(2/3\) 的 AnyHand 数据即可获得大部分收益，继续扩大规模边际效应递减；但在零样本跨域基准 HO-Cap 上，随着合成数据量增至 200 万至 400 万张，误差呈现持续单调下降，且数据带来的提升幅度远大于 HaMeR 与 WiLoR 之间的架构差异。
合成数据与真实数据的最佳配比在 50%–75% 之间：在固定 270 万总样本预算的混训实验中，100% 纯 AnyHand 训练会低于纯真实基线，说明合成数据应作为互补监督而非完全替代；但当 AnyHand 占 50% 或 75% 时，HaMeR 在总数据量不变的情况下不仅大幅超越自身基线，还在多项指标上击败了使用 420 万张图像训练的原始 WiLoR。
单目估计深度在推理时反而优于真实传感器深度：在 HO-3D v2 的 RGB-D 评测中，用 MoGe-2 从 RGB 估计的伪深度替代真实深度传感器输入，竟使 AnyHandNet-D 的 STA-MPJPE 从 \(1.097\text{ cm}\) 进一步降至 \(1.068\text{ cm}\)（PA-MPJPE 从 \(0.814\text{ cm}\) 降至 \(0.793\text{ cm}\)）。这是因为真实深度相机存在严重的量化阶梯噪声与边缘深度缺失，而 MoGe-2 预测的深度更加稠密平滑，且与 AnyHand 训练集中同样基于 MoGe-2 合成的背景深度分布高度契合。

亮点与洞察¶

以数据工程打破架构内卷的实证标杆：论文通过严格控制变量证明，在不改动一行模型代码和超参的前提下，将基础模型训练集中的合成数据比例提升至约 70%（HaMeR 达 71.5%，WiLoR 达 68.4%），即可让上一代架构 HaMeR 在零样本 HO-Cap 上反超最新 SOTA 架构 WiLoR。这揭示了当前 3D 手部重建的真正瓶颈在于长尾姿态与遮挡交互数据的覆盖度，而非主干网络的局部改造。
“SAPIEN 前景真值 + MoGe-2 背景伪深度”的低成本 RGB-D 合成范式：构建完整三维室内场景资产并做全局光线追踪的算力与资产成本极高，而直接贴二维背景又无法提供深度图。作者巧妙地用渲染器导出精确前景度量深度，再用基础单目几何模型 MoGe-2 补全二维背景块的度量深度并在相机空间拼接，以极低成本实现了百万级 RGB-D 数据合成，且意外带来了推理时对单目估计深度的天然适配性。
三维原生手腕-前臂拼接与物理抓握帧筛选的细节把控：不同于过往工作仅渲染在手腕处悬空截断的手部网格，本文将 SMPL-H 前臂网格与 254 种衣物/皮肤纹理在三维空间直接绑定到 MANO 手腕，并从 GraspXL 序列中专门抽取正在发生接触抓握的关键帧配以 Objaverse 高清纹理网格，精准命中了真实场景中最难处理的手腕边界与重度物体遮挡痛点。

局限与展望¶

扩散先验的残留解剖学不合理姿态：尽管 AnyHand 使用 DPoser-Hand 采样并施加了生物力学约束（BMC loss）过滤，但扩散先验本身受限于有限的真实训练集，仍会有少量违背生理结构的极端手指关节构型漏过筛选。未来可引入更严格的解剖学运动学骨骼约束或针对特定下游操作域微调姿态先验。
2D 背景合成在手部边缘处的深度不连续：为了追求百万级生成的吞吐效率，管线将三维渲染手部叠加在二维裁剪背景上并用 MoGe-2 估计背景深度，而非在完整三维室内场景中放置手部。由于前景渲染与背景原图的相机内参存在差异，手部轮廓边界处的背景深度并非严格物理一致（尽管由于手部姿态估计器通常输入紧凑裁剪框，该误差对性能影响较小）。
缺乏时序动态与双手交互建模：AnyHand 目前仅从 GraspXL 中抽取单帧抓握状态并渲染单手/手物交互静态图像，尚未包含双手的复杂交叉交互（Two-Hand Interaction）以及连续视频帧的时序运动一致性监督，未来可扩展为支持 4D 时序手物追踪与双手协同操作的基础数据集。

评分¶

新颖性: ⭐⭐⭐⭐ 数据集构建管线巧妙融合了扩散姿态先验、物理抓握库、3D前臂拼接与单目背景深度融合，虽以系统集成为主但工程设计极具针对性。
实验充分度: ⭐⭐⭐⭐⭐ 在主流 RGB 域内/跨域基准与 RGB-D 基准上进行了详尽验证，关于数据规模扩展、真假混训配比、各合成组件及伪深度推理的消融实验扎实全面。
写作质量: ⭐⭐⭐⭐⭐ 逻辑清晰，图表信息量大，正文与附录对合成管线参数、与前人数据集的多轴对比以及局限性的讨论非常坦诚透彻。
价值: ⭐⭐⭐⭐⭐ 660 万规模的高质量 RGB-D 合成数据集、开源生成管线及“真实图像 + MoGe-2 伪深度”的推理范式对 3D 手部重建与具身灵巧操作社区具有极高的实用价值。