TaxoGrasp: Taxonomy-Guided Human Grasp Synthesis with Sparse Contact Constraint¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 机器人/具身智能
关键词: 人手抓取生成、手物交互、抓取分类体系、稀疏接触约束、扩散模型

一句话总结¶

针对稀疏大拇指接触约束下手物交互意图模糊与接触-语义解耦难题，TaxoGrasp 将 Feix 人手抓取分类体系作为显式语义瓶颈贯穿“认知推理-扩散实例化-锚点对齐接地”三阶段，实现了高意图一致性且物理可执行的抓取合成。

研究背景与动机¶

可控人手抓取生成在机器人灵巧操作、虚拟/增强现实（VR/AR）自然交互以及 3D 内容创作中扮演着基础角色。在真实交互界面中，自然语言虽然富含高层语义意图，却难以直接转化为精确的局部几何边界；而密集、详尽的接触几何条件虽然约束充分，但在实际交互中往往极其繁琐且难以精确指定。因此，稀疏而关键的几何接触约束（如指定大拇指在物体表面的接触区域）成为一种极具潜力的轻量交互控制信号。然而，这种高度稀疏的接触先验面临严重的意图多义性挑战，即局部局部接触与全局手部抓取姿态之间存在复杂的多对多映射关系。

近年来主流的抓取合成研究大多遵循“以接触为中心”（contact-centric）的范式，先预测或指定接触图，再条件化生成完整的手部几何与姿态配置。尽管这种“先接触后姿态”的策略有效提升了局部的物理可接触性，但在稀疏交互控制下却显现出严重的脆弱性。缺乏显式意图建模时，生成器难以仅凭局部大拇指区域推断出全局的手部功能组织；在后验接触优化过程中，接触引力目标甚至会破坏手部的整体功能构型，导致生成的手势在语义上脱节，或陷入非自然的机械扭曲与穿透。

面对局部多对多歧义、缺乏意图级量化监督以及接触优化与语义结构冲突三重挑战，本文转换了破局思路：不应仅仅将稀疏接触当做硬几何约束进行局部优化，而应将其作为推断抓取意图的高层语义索引。核心 idea：引入 Feix 经典人手抓取分类体系（Feix Taxonomy）作为离散语义瓶颈，构建贯穿“认知-实例化-接地”三阶段的统一架构，将欠定的意图推断转化为图引导的显式分类，再以此约束扩散采样与锚点级接触对齐优化。

方法详解¶

整体框架¶

TaxoGrasp 的输入为一个 3D 物体网格 $\mathcal{O}$ 以及用户在物体表面指定的稀疏大拇指接触区域 $C_{\mathrm{th}}$（源自物体的表面容量受限 Voronoi 剖分），输出为满足物理接触、几何可执行且符合意图的连续 MANO 手部姿态 $\mathcal{H}^*$。方法由三个紧密衔接的阶段构成： 1. 认知阶段（Cognition）：基于物体几何与大拇指接触区域图结构，通过图 Transformer 推断高层 Feix 抓取类别模板 $\hat{y}$，并提取融合几何与大拇指约束的条件嵌入 $\mathbf{c}$； 2. 实例化阶段（Instantiation）：以条件嵌入 $\mathbf{c}$ 与分类特征 $\mathbf{z}_{\mathrm{feix}}(\hat{y})$ 为条件，利用条件扩散 Transformer（Conditional Diffusion Transformer）采样连续 MANO 姿态初始分布 $\mathcal{H}_0 \sim p(\mathcal{H} \mid \mathbf{c}, \hat{y})$，提供位于抓取流形附近的可靠解； 3. 接地阶段（Grounding）：根据分类标签 $\hat{y}$ 激活手部表面锚点的接触/非接触预定义分组模板，利用可微符号距离场（SDF）与软最小化聚合进行测试时几何对齐优化，输出最终姿态 $\mathcal{H}^*$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：物体网格 O + 大拇指接触区域 Cth"] --> Cog["抓取模板推理<br/>局部区域 Transformer + 表面图注意力推理 Feix 类别"]
    Cog --> Ins["模板引导扩散采样<br/>以类别特征与几何条件去噪生成初始 MANO 姿态"]
    Ins --> Gro["分类感知锚点优化<br/>依据分类接触模板划分接触/非接触锚点进行 SDF 对齐"]
    Gro --> Out["输出：物理可执行且意图一致的抓取姿态 H*"]

关键设计¶

1. 抓取模板推理：解耦稀疏接触与意图推断的多义性

从稀疏的大拇指接触点直接恢复全局抓取姿态是高度病态的逆问题。为了建立稳健的意图表征，认知模块首先采用容量受限中心 Voronoi 剖分（CCVT）将物体表面划分为物理尺度相当的 $N$ 个区域，构建表面邻接图 $\mathcal{G}=(\mathcal{V}, \mathcal{E})$。每个区域内的点云通过共享 Transformer 编码器提取区域描述子 $\mathbf{z}_i$。随后，节点特征与边属性（曲面距离和法向夹角）输入 $L$ 层图 Transformer 进行边条件消息传递，自适应传播曲面几何拓扑关系。大拇指指示掩码 $\tau$ 用于显式聚合大拇指节点表征与全局注意力池化特征，合成统一条件嵌入 $\mathbf{c}$： $$\mathbf{c} = \left[ \sum_{i=1}^N \tau_i \mathbf{h}_i^{(L)};\; \mathrm{AttPool}\big(\{\mathbf{h}_i^{(L)}\}\big) \right]$$ 通过轻量 MLP 预测离散的 Feix 抓取类别 logits，并以交叉熵损失监督训练。这一设计将不确定的姿态搜索压缩到了 28 类结构化人手抓取语义空间中，为后续生成提供了语义锚定。

2. 模板引导扩散采样：兼顾类别原型组织与类内连续多样性

若直接使用固定的分类模板姿态作为初始化，优化极易因姿态僵硬而陷入局部极小值。实例化阶段采用基于 Transformer 的条件扩散模型学习姿态分布 $p(\mathcal{H}_0 \mid \mathbf{c}, \hat{y})$。为了注入语义组织先验，模型为每个 Feix 类别预先从训练集提取一个代表性规范姿态原型（Medoid）并编码为连续类别特征 $\mathbf{z}_{\mathrm{feix}}(\hat{y})$。在扩散去噪的每个时间步 $t$，去噪网络 $f_\theta$ 将噪声参数 $\mathbf{x}_t$、条件嵌入 $\mathbf{c}$ 与分类原型 token 进行交叉注意力融合，端到端预测清晰参数 $\mathbf{x}_0$。该机制既严格约束了手部的指位组织形式，又保留了根据物体局部几何形态进行自适应弯曲和调整的连续泛化能力。

3. 分类感知锚点优化：维持功能语义边界的几何精确接地

初始生成的 MANO 姿态 $\mathcal{H}_0$ 虽具备正确的整体构型，但往往存在毫米级的几何穿透或悬空。传统优化方法采用无差别的接触吸引与防穿透惩罚，常导致手指滑动并丢失预期的抓取类型。接地模块引入手部表面的离散可微锚点集合 $\{\mathbf{a}_k(\mathcal{H})\}_{k=1}^K$，并根据分类标签 $\hat{y}$ 映射为接触组 $\{\mathcal{G}^{(m)}_{\hat{y}}\}$ 与非接触组 $\mathcal{N}_{\hat{y}}$。针对接触组，利用可微物体符号距离函数 $s_{\mathcal{O}}(\cdot)$ 和平滑 soft-min 算子拉近锚点与表面（对大拇指组则强制约束至区域中心 $\mathbf{c}_{\mathrm{th}}$）： $$\mathcal{L}_{\mathrm{cg}}(\mathcal{H}, \hat{y}) = \frac{1}{M_{\hat{y}}} \sum_{m=1}^{M_{\hat{y}}} \operatorname{softmin}_{k \in \mathcal{G}^{(m)}_{\hat{y}}} \big( d_k^{(m)}(\mathcal{H}) \big)$$ 其中 $\operatorname{softmin}(\{u_k\}) = -\frac{1}{\alpha} \log \sum_k \exp(-\alpha u_k)$（$\alpha=20$）。同时，对非接触组施加安全裕度 $m_{\mathrm{nc}}=2\,\mathrm{mm}$ 的排斥惩罚： $$\mathcal{L}_{\mathrm{nc}}(\mathcal{H}, \hat{y}) = \frac{1}{|\mathcal{N}_{\hat{y}}|} \sum_{k \in \mathcal{N}_{\hat{y}}} \Big(\max\big(0, m_{\mathrm{nc}} - s_{\mathcal{O}}(\mathbf{a}_k(\mathcal{H}))\big)\Big)$$ 结合手部顶点防穿透项 $\mathcal{L}_{\mathrm{vertex}}$、摇摆-扭转关节角范围惩罚项 $\mathcal{L}_{\mathrm{joint}}$ 以及姿态偏离正则项 $\mathcal{L}_{\mathrm{reg}}$，在 100 步轻量梯度迭代内完成了保语义的精确物理接地。

损失函数 / 训练策略¶

认知模块与实例化扩散模块独立阶段训练。认知网络采用交叉熵损失监督 Feix 标签分类，学习率为 0.001，批次大小 64，训练 150 个 epoch；扩散模块在连续 MANO 参数空间采用标准均方误差（MSE）去噪目标训练： $$\mathcal{L}_{\mathrm{diff}} = \mathbb{E}_{\mathbf{x}_0, t, \boldsymbol{\epsilon}} \big[ \| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, \mathbf{c}, \mathbf{z}_{\mathrm{feix}}(y), t) \|^2 \big]$$ 推理时使用无分类器引导（Classifier-Free Guidance，CFG scale 设为 1.5）。最终接地优化阶段在预计算的 SDF 网格上运行 100 次迭代，学习率为 0.01，损失权重设定为 $\lambda_{\mathrm{vertex}}=1$、$\lambda_{\mathrm{joint}}=0.5$、$\lambda_{\mathrm{cg}}=0.5$、$\lambda_{\mathrm{nc}}=0.1$、$\lambda_{\mathrm{reg}}=2$。全部流程在单张 NVIDIA RTX 4060 Ti GPU 上即可高效完成。

实验关键数据¶

主实验¶

评估在经过大拇指接触面片增强的 HOGraspNet 标注基准上进行，涵盖交互物理质量（接触面积 CA、最大穿透深度 $\text{PD}_{\max}$、平均穿透深度 $\text{PD}_{\text{mean}}$、穿透体积 PV、PyBullet 物理仿真位移 SIM）、生成质量（条件 FID、分类分布散度 TDD）等全面指标。

方法	接触面积 CA↑ (cm²)	最大穿透深度 $\text{PD}_{\max}$↓ (cm)	平均穿透深度 $\text{PD}_{\text{mean}}$↓ (cm)	穿透体积 PV↓ (cm³)	物理仿真位移 SIM↓ (mm)	评估特征距离 cFID↓	分类散度 TDD↓
GraspTTA (Jiang et al., 2021)	113.4	0.561	0.236	8.085	12.89	11.75	0.953
ContactGen (Liu et al., 2023)	106.2	0.494	0.218	5.437	12.59	6.754	0.502
ClickDiff (Li et al., 2024)	102.5	0.392	0.188	3.420	11.13	9.149	0.655
RegionGrasp (Wang et al., 2024)	110.8	0.486	0.212	4.309	11.11	2.968	0.435
TaxoGrasp (本文)	120.1	0.340	0.131	1.265	10.72	1.714	0.223

消融实验¶

消融实验围绕“认知（Cog.）- 实例化（Ins.）- 接地（Gro.）”三阶段的架构必要性展开：

配置说明	Cog.	Ins.	Gro.	CA↑	$\text{PD}_{\max}$↓	$\text{PD}_{\text{mean}}$↓	PV↓	SIM↓	cFID↓	TDD↓
随机采样模板分类	$\times$	$\checkmark$	$\checkmark$	116.6	0.364	0.146	1.938	11.34	8.590	1.009
替换为固定类别均值姿态	$\checkmark$	$\times$	$\checkmark$	113.2	0.238	0.095	1.461	11.44	3.135	0.444
移除接地接触优化	$\checkmark$	$\checkmark$	$\times$	107.3	0.455	0.197	3.588	11.78	2.625	0.409
完整模型 (Full pipeline)	$\checkmark$	$\checkmark$	$\checkmark$	120.1	0.340	0.131	1.265	10.72	1.714	0.223

关键发现¶

穿透与接触的帕累托改善：TaxoGrasp 在取得最大有效接触面积（120.1 cm²）的同时，将穿透体积压低至 1.265 cm³（相比最接近的基线 RegionGrasp 下降 70.6%），打破了以接触为中心算法中“靠深压增大接触面积”的恶性妥协，物理仿真稳定性（SIM = 10.72 mm）显著领先。
高层认知消除模态漂移：打破认知模块的分类一致性（随机传入 Feix 标签）会导致 cFID 从 1.714 恶化至 8.590，TDD 飙升至 1.009，证明即使有后续强大的几何优化，缺乏正确的语义支架必然引发姿态组织严重漂移。
扩散采样优于硬模板拟合：去掉扩散采样而直接用固定类别姿态模板优化时，虽然穿透指标略有下降（模型倾向于通过缩紧/悬空手势避免碰撞），但接触面积大幅下降至 113.2 cm²，分布差异 cFID 上升近一倍（3.135），说明连续扩散模型对不同几何形状的类内适应性不可或缺。
Top-1 分类偏差的容忍性：认知阶段分类器 Top-1 准确率为 72.8%，但 Top-3 达 99.8%。实验发现多数 Top-1 差异源自对称物体的多模态抓取（如三指捏 Tripod 与四指捏 Quadpod 的等价性），作为先验仍能提供有效的语义支撑。

亮点与洞察¶

将欠定几何问题转化为分类导向的三阶段解耦：不盲目依赖端到端黑盒生成或无向局部优化，而是将 Feix 人类抓取分类学作为信息瓶颈，把稀疏输入映射到离散语义、再从语义平滑展开到几何与物理执行。
接触/非接触锚点的双向能量优化：不仅通过 soft-min 惩罚约束手部接触区域就位，更创新性地针对分类无关手指施加 2 mm 安全排斥裕度，从优化机制层面锁死功能手势形态，杜绝非目标指节乱贴物体的畸变。
低算力开销下的高可靠性落地：整个推理和微调管线在普通消费级显卡（RTX 4060 Ti）上即可高效执行，为交互式具身仿真与虚拟手操纵提供了易于复现的轻量工程范式。

局限与展望¶

单标签监督与多模态意图分布的矛盾：当前训练依赖 HOGraspNet 中每次真实抓取的单一 Feix 标签监督，输出确定性的 Top-1 预测，尚无法显式建模给定稀疏约束下客观存在的连续多模态抓取分布。
后验数据转换引入的标注噪音：当前评估基准的大拇指接触面片标签是通过已录制抓取的手部网格投影逆向标注的，缺乏真实用户受控交互下前瞻性指定接触区域的数据集支持。
后续改进方向：探索引入分布概率扩散或扩散混合专家模型，并在具身抓取数据集中引入多视角用户真实指派标记，支持单一接触约束下多语义抓取模式的交互式切换。

评分¶

新颖性: ⭐⭐⭐⭐☆ (引入 Feix 分类学作为稀疏交互意图瓶颈，框架设计逻辑高度闭环)
实验充分度: ⭐⭐⭐⭐⭐ (构建标准评测基准，兼顾物理碰撞、动力学仿真、分布统计与细粒度消融)
写作质量: ⭐⭐⭐⭐⭐ (三阶段结构紧凑明确，动机与技术实现严谨自洽)
价值: ⭐⭐⭐⭐☆ (为 AR/VR 交互和具身灵巧手人机协同提供了极具实用价值的意图控制方案)

配置说明	Cog.	Ins.	Gro.	CA↑	\(\text{PD}_{\max}\)↓	\(\text{PD}_{\text{mean}}\)↓	PV↓	SIM↓	cFID↓	TDD↓
随机采样模板分类	\(\times\)	\(\checkmark\)	\(\checkmark\)	116.6	0.364	0.146	1.938	11.34	8.590	1.009
替换为固定类别均值姿态	\(\checkmark\)	\(\times\)	\(\checkmark\)	113.2	0.238	0.095	1.461	11.44	3.135	0.444
移除接地接触优化	\(\checkmark\)	\(\checkmark\)	\(\times\)	107.3	0.455	0.197	3.588	11.78	2.625	0.409
完整模型 (Full pipeline)	\(\checkmark\)	\(\checkmark\)	\(\checkmark\)	120.1	0.340	0.131	1.265	10.72	1.714	0.223