OmniDex: Scaling Dexterous Hand Grasping to Diverse Cluttered Scenes¶
会议: NeurIPS 2026
arXiv: 2610.11194
项目主页: https://omnidex-grasp.github.io/
领域: 机器人
关键词: 灵巧手抓取, 杂乱场景, 具身智能, 扩散模型, 物理约束学习
一句话总结¶
针对大规模杂乱堆叠场景下灵巧手抓取数据匮乏与“最后 1 毫米”接触精度断层，OmniDex 构建了包含 260 万场景与 4 亿高质量稳定抓取的首个超大规模基准，并提出了结合 Soft-WTA 多模态解耦与可微人手运动学物理约束的端到端扩散生成模型，实现了免测试时优化的实时高效稳定抓取。
研究背景与动机¶
灵巧手抓取作为具身智能（Embodied AI）的基础操作基元，是智能体执行复杂操纵任务的“关键帧”。然而，现有的灵巧抓取研究与实际应用之间存在严重的割裂：一方面，现有的大规模灵巧手抓取数据集大多聚焦于单物体在悬空自由空间或干净桌面上的孤立抓取，少数关注杂乱环境的工作采用基于碰撞与力闭合的逐场景轨迹/姿态优化，单物体-单场景优化耗时极高，导致数据集规模仅停留在数百至数千场景，难以涵盖复杂的物体间堆叠、遮挡与多样化支撑底座（如箱体、货架）；另一方面，过去主流方法主要依赖深度图点云，在几何相似但语义不同的物体共存时无法区分目标，且灵巧手具有高达 24 个自由度（DoF），存在严重的多模态抓取歧义性，纯数据驱动模型在“最后 1 毫米”接触精度断层上极易发生穿透或悬空滑脱，以往依赖的测试时优化（TTP）耗时漫长且在杂乱背景下极易发散。
为此，本文提出了 OmniDex 基准与端到端物理约束生成模型，旨在实现杂乱真实环境下泛化、鲁棒且高效的灵巧抓取。核心 idea：通过解耦的种子-过滤（Seed-and-Filter）策略以极高效率构建包含 2.6M 杂乱场景与 4 亿物理验证抓取的超大规模基准，并设计融合 Soft-WTA 多模态去噪与可微生物仿生力闭合约束的端到端扩散网络，结合并行物理打分排序达成毫秒级免测试时优化的高精度抓取生成。
方法详解¶
整体框架¶
OmniDex 模型由多模态感知条件编码器、基于 Soft-WTA 与物理约束的扩散去噪骨干网络，以及推理阶段的物理排序与选择机制组成。模型输入包括自中心视角（或多视角）的 RGB 图像 \(\mathbf{I}\)、深度图 \(\mathbf{D}\)、相机内外参 \(\{\mathbf{K}, \mathbf{T}\}\)、桌面高度 \(\mathbf{H}\) 以及指示目标物体的指令掩膜 \(\mathbf{M}\)，直接生成 24-DoF 的灵巧手位姿 \(\hat{\mathbf{g}} = (\mathbf{t}_{\text{dex}}, \mathbf{R}_{\text{dex}}, \theta)\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态场景感知输入<br/>RGB 图像 I + 深度图 D + 指令掩膜 M + 相机参数"] --> B["场景条件特征提取与融合<br/>DINOv2 语义 + 深度坐标适配 + 参数投影 Token 化"]
B --> C["物理约束扩散去噪骨干网络<br/>Soft-WTA 目标多模态解耦 + 可微仿生物理约束"]
C --> D["端到端去噪输出候选假设<br/>并行采样 M=64 个多样化抓取姿态"]
D --> E["物理驱动评估打分与排序<br/>可微运动学稳定性 + 力闭合奖励 - 碰撞穿透惩罚"]
E --> F["输出最优无碰撞物理稳定抓取姿态 g*"]关键设计¶
1. 离线种子库与物理下落过滤的解耦合成机制
针对杂乱场景逐场景优化极其低效的瓶颈，OmniDex 引入种子-过滤策略（Seed-and-Filter）。首先对单物体在无障碍空间中优化生成 4,000 个抓取候选，经力闭合与提升测试筛选出高质量的抓取种子库；随后在 Isaac Gym 动力学引擎中随机投放物体，经自由沉降与阻尼衰减达到稳态后，将目标物体位姿刚体变换应用到种子抓取位姿；最后采用保守的直接抓取判定过滤掉穿透支撑面或与相邻障碍物体碰撞的姿态。此外引入严格的几何复核（下陷/浮动 \(\le 3\text{mm}\)，物体间穿透 \(\le 2\text{mm}\)），全流程消耗 5K 几何仿真与 17K 渲染 GPU 小时，构建出 2.6M 场景与 4 亿个抓取姿态。
2. 语义-几何-指令对齐的多模态场景条件嵌入
模型使用冻结的 DINOv2 抽取 RGB 图像的分块语义特征 \(\mathbf{F}_{\text{img}} \in \mathbb{R}^{N \times d}\)；将深度图根据相机内参反投影为 3D 坐标图 \(\mathbf{X}(u,v) = \mathbf{D}(u,v)\mathbf{K}^{-1}[u,v,1]^T\) 后通过轻量卷积适配器提取局部几何特征 \(\mathbf{F}_{\text{depth}}\)；将目标物体掩膜编码为 \(\mathbf{F}_{\text{mask}}\)。通道拼接融合后，附加由相机投影矩阵 \(\mathbf{P}=\mathbf{KT}\) 与台面高度 \(\mathbf{H}\) 经过 MLP 投影得到的空间参数 Token \(\mathbf{f}_{\text{para}} \in \mathbb{R}^{1 \times d}\)，组合成全局条件序列 \(\mathbf{c} \in \mathbb{R}^{(N+1) \times d}\)。多视角配置下，进一步通过学习视角间 Alpha 权重的 Early RGB 融合与基于硬件加速 Z-buffer 散射的深度重投影实现无遮挡 3D 表征。
3. 解决多模态歧义的 Soft Winner-Takes-All 学习机制
目标物体在杂乱场景中存在多种可行的接触抓取模式。如果采用传统 MSE 去噪损失对所有标注求平均，扩散模型将输出漂浮且不可行的中间模糊姿态。为此，模型在扩散去噪步骤 \(t\) 对采样的 \(M\) 个真实抓取姿态注入相同的噪声 \(\varepsilon\)，强制网络通过 Soft-WTA 目标向最匹配的抓取模态靠拢： $\(\mathcal{L}_{\text{WTA}} = \mathbb{E}_{t, \varepsilon} \left[ -\tau \log \sum_{i=1}^{M} \exp\left( -\frac{\|\varepsilon - \hat{\varepsilon}_i\|^2}{\tau} \right) \right]\)$ 通过温度系数 \(\tau\) 动态平滑梯度，使扩散先验有效捕获多模态流形，摆脱了启发式接触图中间表示。
4. 弥合最后 1 毫米精度的仿生物理交互约束
为克服纯数据驱动导致的微小接触断裂与穿透，将可微灵巧手运动学与目标点云 \(\mathcal{P}_{\text{obj}}\) 引入训练回路。将手部接触点划分为拇指集合 \(\mathcal{P}_{\text{thumb}}\) 与对指集合 \(\mathcal{P}_{\text{opp}}\)，显式惩罚接触间距与反向力闭合夹角：拇指接触损失 \(\mathcal{L}_{\text{thumb}}\)、对指接触损失 \(\mathcal{L}_{\text{opp}}\)、力闭合对向角损失 \(\mathcal{L}_{\text{closure}} = \max\left(\cos(v_{\text{thumb}}, v_{\text{opp}}) + \epsilon_{\text{closure}}, 0\right)\) 以及 SDF 穿透损失 \(\mathcal{L}_{\text{SDF}}\)。在推理阶段，并行生成 \(M=64\) 个抓取假设并通过可微综合物理得分 \(S(\hat{\mathbf{g}}) = S_{\text{kin}}(\hat{\mathbf{g}}) - R_{\text{con}}(\hat{\mathbf{g}}) + \Omega_{\text{phy}}(\hat{\mathbf{g}})\) 进行极速筛选，在毫秒级内直接输出物理最优解。
损失函数 / 训练策略¶
整体训练损失函数为扩散 Soft-WTA 损失与各项仿生几何物理损失的加权组合： $\(\mathcal{L}_{\text{total}} = \lambda_{\text{WTA}} \mathcal{L}_{\text{WTA}} + \lambda_{\text{phys}} (\mathcal{L}_{\text{thumb}} + \mathcal{L}_{\text{opp}} + \mathcal{L}_{\text{SDF}} + \mathcal{L}_{\text{closure}})\)$ 实验中设置 \(\lambda_{\text{WTA}}=1\)，\(\lambda_{\text{phys}}=100\)。各项物理子损失的相对比例设定为 \(\mathcal{L}_{\text{thumb}} : \mathcal{L}_{\text{opp}} : \mathcal{L}_{\text{SDF}} : \mathcal{L}_{\text{closure}} = 5 : 1 : 0.2 : 2\)，赋予拇指最高的权重以确保力闭合的达成。采用延迟线性预热（Delayed Linear Warm-up）策略：在前 10 个 epoch 内完全冻结物理损失（\(\lambda_{\text{phys}}=0\)），让网络优先拟合平滑的抓取多模态数据流形；在第 10 至第 20 个 epoch 期间，将 \(\lambda_{\text{phys}}\) 线性增长至 100；最后 5 个 epoch 保持完全强度约束，平稳收敛至兼具多样性与物理贴合度的最优解。
实验关键数据¶
主实验¶
在 OmniDex 基准的各项子集与对比基线上的评测结果如下表所示。所有对比基线均在同一训练集上完全重训。
| 算法模型 | 测试子集 | 视点配置 | Seen: \(\text{SR}_{\text{scene}}\) (%) | Seen: \(\text{SR}_{\text{scene}}^*\) (%) | Seen: \(\text{CFR}\) (%) | Unseen: \(\text{SR}_{\text{scene}}\) (%) | Unseen: \(\text{SR}_{\text{scene}}^*\) (%) | Unseen: \(\text{CFR}\) (%) |
|---|---|---|---|---|---|---|---|---|
| OmniDex (Ours) | \(\mathcal{D}_{\text{std}}\) | Ego-view | 33.60 | 55.80 | 84.12 | 40.15 | 59.74 | 84.61 |
| DexGraspVLA | \(\mathcal{D}_{\text{std}}\) | Ego-view | 24.30 | 40.99 | 81.44 | 39.42 | 54.97 | 42.86 |
| DexGraspNet 2.0 | \(\mathcal{D}_{\text{std}}\) | Ego-view | 28.03 | 43.64 | 81.06 | 32.40 | 47.60 | 85.15 |
| Grasp-as-You-Say | \(\mathcal{D}_{\text{std}}\) | Ego-view | 0.24 | 1.68 | 38.57 | 0.44 | 2.55 | 64.25 |
| OmniDex (Ours) | \(\mathcal{D}_{\text{mix}}\) | Ego-view | 32.05 | 52.21 | 73.12 | 37.90 | 55.10 | 83.22 |
| OmniDex (Ours) | \(\mathcal{D}_{\text{box}}\) | Ego-view | 32.34 | 35.83 | 99.12 | 33.48 | 36.50 | 95.72 |
| OmniDex (Ours) | \(\mathcal{D}_{\text{grid}}\) | Ego-view | 55.01 | 79.60 | 95.46 | 43.11 | 68.05 | 94.86 |
| OmniDex (Ours) | \(\mathcal{D}_{\text{shelf}}\) | Ego-view | 29.49 | 39.46 | 81.95 | 14.96 | 24.08 | 63.57 |
| OmniDex (Ours) | \(\mathcal{D}_{\text{std}}\) | Multi-view | 37.35 | 60.65 | 85.11 | 45.05 | 64.08 | 87.24 |
消融实验¶
核心模块与训练/推理设计消融如下表：
| \(\mathcal{L}_{\text{stand}}\) | \(\mathcal{L}_{\text{WTA}}\) | \(\mathcal{L}_{\text{SDF}}\) | \(\mathcal{L}_{\text{thumb}}, \mathcal{L}_{\text{opp}}\) | \(\mathcal{L}_{\text{closure}}\) | 推理采样模式 | \(\text{SR}_{\text{scene}}\) (%) | \(\text{CFR}\) (%) | 推理耗时 (ms) |
|---|---|---|---|---|---|---|---|---|
| ✓ | Naive (单次) | 37.79 | 81.37 | 219.14 | ||||
| ✓ | Naive (单次) | 38.07 | 81.31 | 219.14 | ||||
| ✓ | ✓ | Naive (单次) | 41.93 | 84.06 | 219.14 | |||
| ✓ | ✓ | ✓ | Naive (单次) | 43.19 | 84.40 | 219.14 | ||
| ✓ | ✓ | ✓ | ✓ | Naive (单次) | 36.08 | 79.71 | 219.14 | |
| ✓ | ✓ | ✓ | ✓ | TTP (测试时优化 200 步) | 36.16 | 2.56 | 6044.60 | |
| ✓ | ✓ | ✓ | ✓ | Ranking (\(M=64\)) | 44.41 | 83.66 | 1598.41 |
关键发现¶
- 规模定律的强力验证：随着训练数据从 20% 扩展至 100%，抓取成功率与无碰撞率单调上升，表明杂乱场景复杂的空间接触动力学高度依赖大尺度场景数据的覆盖。
- 免测试时优化的优越性：测试时优化（TTP）耗时长达 6 秒且无碰撞率崩塌至 2.56%（杂乱环境下的残缺观测容易导致发散穿透）；物理驱动排序机制耗时仅 1.6 秒且将成功率提升至 44.41%，兼顾了高质量与计算效率。
亮点与洞察¶
- 解耦合成范式破局数据饥渴：通过“单物体种子库生成 + 刚体仿真下落碰撞过滤”，成功将杂乱场景灵巧抓取数据集规模推进两个数量级。
- 仿生约束消除悬空与穿透：引入拇指对立与力闭合运动学损失，以延迟线性预热方式平稳引导扩散网络收敛至真实接触曲面。
局限与展望¶
- Sim-to-Real 动力学偏差：实验主干依赖物理仿真环境（Isaac Gym），在真实世界中非均匀摩擦系数、深度传感器噪声及相机外参标定微差仍会带来一定性能衰减。
- 未来方向：探索低开销的领域自适应以及轻量级真实世界触觉与视觉闭环微调策略。
相关工作与启发¶
- vs DexGraspNet 2.0: DexGraspNet 2.0 依赖耗时的逐场景联合优化；OmniDex 通过种子-过滤解耦策略构建了 260 万规模的大数据集，并提供端到端扩散生成方案。
- vs DexGraspVLA: DexGraspVLA 依赖启发式接触图且缺乏显式力闭合优化；OmniDex 借助 Soft-WTA 与人手仿生几何约束直接生成可行姿态并显著提升成功率。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 提出突破性的解耦合成管线构建超大规模灵巧抓取基准，设计了 Soft-WTA 与物理约束扩散架构。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大场景子集、跨视点对比、硬件 IK 验证及完整消融实验。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，问题剖析透彻，数学推导与实验分析极为详尽。
- 价值: ⭐⭐⭐⭐⭐ 为灵巧手在工业杂乱分拣与真实服务场景中的泛化抓取奠定了里程碑式基础。