VolCo: Volumetric Contact for High-Fidelity Human Grasp Generation¶

会议: NeurIPS 2026
arXiv: 2610.10197
OpenReview: https://openreview.net/forum?id=UHbULsTmRA
代码: https://github.com/chzh9311/volco
领域: 人体理解
关键词: 人体抓取生成、体积接触表示、连续表面嵌入、扩散模型、物理稳定性

一句话总结¶

针对传统基于物体表面接触图导致严重穿透且难以保留局部接触细节的问题，本文提出体积接触表示 VolCo 与分层扩散架构 VolCoDiff，通过局部体素网格与先验引导扩散实现了兼具低穿透深度与高物理稳定性的高保真人体抓取姿态生成。

研究背景与动机¶

在人机交互、具身智能与虚拟/增强现实等领域，根据给定的三维物体网格合成自然逼真且物理可行的人体抓取姿态（通常采用 MANO 骨骼模型）是一项基础而关键的任务。目前主流的接触引导抓取方法通常依赖定义在物体表面上的 2D 接触图（Contact Map），标注接触概率、手部部件方向或连续表面嵌入（CSE）等属性，随后在测试阶段通过优化对齐 MANO 手部网格。然而，仅在物体表面采样接触点会损失大量空间上下文信息，导致反推局部手部几何时缺乏法线方向的深度约束；更为关键的是，由于接触信息不完整，现有方案不得不依赖基于最近邻查询（NN-query）的手工穿透惩罚规则，这不仅极易在复杂几何表面陷入局部极小值，而且在刚性手部模型面对轻微物理接触变形时无法精确控制穿透深度，往往生成出现严重穿透或手指悬空的不稳定抓取。

这种失效模式的核心矛盾在于：真实动捕数据中手与物体的紧密交互本质上是一个空间体积邻域内的连续变形与挤压过程，而物体表面上的稀疏投影丢弃了手部进入或贴近物体表面的空间梯度。为了兼顾计算开销与接触细节，不能采用无差别的大范围 3D 体素网格，而必须在物体表面周围以分层结构精细刻画手部的局部拓扑与全局协调。

本文的切入角度是：不再将接触限制在物体外表面，而是沿物体表面法向向外扩展采样一系列规则分布的局部 3D 体积网格，每个网格点同时编码接触概率和手部连续表面嵌入，从而在局部体素内精确恢复手部网格顶点。核心 idea：提出分层体积接触表示 VolCo（Volumetric Contact），利用 3D 变分自编码器（VolumeVAE）在物体局部 SDF 约束下压缩局部手部接触构型，并结合手部先验分支与显式弹簧阻尼接触力稳定性约束构建分层潜在扩散模型 VolCoDiff，实现高保真度且低穿透的人体抓取生成。

方法详解¶

整体框架¶

VolCoDiff 框架通过将空间接触解耦为“局部体素微观几何”与“全局手部姿态先验”两级层次，形成闭环的抓取生成管线。在输入阶段，针对给定的三维物体表面均匀采样 $N$ 个局部体积中心点，并扩展为 $k \times k \times k$ 的规则 3D 体素网格；每个体素网格点记录与手部三角面片的距离衰减接触概率以及连续表面嵌入向量。对于局部接触，预训练的 3D VolumeVAE 将每个局部网格的接触特征在局部有向距离场（SDF）条件引导下压缩为 128 维紧凑潜在向量；对于全局构型，先验引导的潜在扩散模型同时对拼接后的体积潜在编码矩阵与辅助手部姿态潜在向量进行联合去噪；最终，通过辅助分支初始姿态并最小化局部体积对应损失与非接触体积排斥损失，完成对 MANO 手部姿态的精细拟合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入目标物体网格<br/>计算物体全局/局部SDF"] --> B["VolCo体积接触表示<br/>在物体表面采样N个局部网格"]
    B --> C["VolumeVAE局部先验编码<br/>条件化SDF压缩为局部潜在向量"]
    C --> D["先验引导潜在扩散模型<br/>全局去噪生成VolCo潜在矩阵"]
    D --> E["显式力学稳定性监督<br/>弹簧阻尼接触力与松弛变量约束"]
    E --> F["局部细节优化对齐<br/>基于体素对应的姿态精细拟合"]
    F --> G["输出最终高保真抓取网格<br/>兼顾低穿透与稳定抓握"]

关键设计¶

1. VolCo体积接触表示：将表面接触扩展为空间局部体素网格以实现确定性手部几何重建

传统接触图仅在物体外表面投影，无法刻画手部穿透或贴近过程中的法线方向空间梯度。VolCo 借鉴局部几何建模思路，在物体表面均匀采样 $N=128$ 个中心点 $\mathbf{p}_i$，并在每个点周围建立半边长为 $s=1\text{cm}$、分辨率为 $k=8$ 的局部立方体网格 $\mathcal{G}_i$。网格中每个点 $\mathbf{x} \in \mathcal{G}_i$ 编码两项核心信息：接触似然度 $c_\mathbf{x}$ 以及与手部最近表面点的 4 维连续表面嵌入（CSE）向量 $\mathbf{e}_\mathbf{x}$。若手部最近表面点为 $\mathbf{y}$，其到 $\mathbf{x}$ 的欧氏距离为 $d$，所在三角面片顶点坐标与嵌入分别为 $(\mathbf{v}_i, \mathbf{e}_i)$，则接触似然度定义为 $c_\mathbf{x} = \min\{d_0^2 / d^2, 1\}$（其中 $d_0 = s/(k-1)$ 为半网格间距），$\mathbf{e}_\mathbf{x}$ 则由重心坐标线性插值确定。

更重要的是，VolCo 具备双向可逆性：当预测得到体素网格点的 $(\hat{c}_\mathbf{j}, \hat{\mathbf{e}}_\mathbf{j})$ 时，无需依靠全局拓扑匹配，即可通过网格点在局部三角面片上的加权平均，显式、确定性地反解出该体素所覆盖的手部网格顶点位置 $\hat{\mathbf{v}}_h$： $$ \hat{\mathbf{v}}h = \frac{\sum} \in [1,k]^3} \hat{c\mathbf{j} \bar{w}}h} \mathbf{x\mathbf{j}}{\sum} \in [1,k]^3} \hat{c\mathbf{j} \bar{w} $$ 其中 }h} + \varepsilon$\bar{w}_{\mathbf{j}h}$ 为将重心权重按手部 778 个网格顶点索引进行零填充后的权重向量。这一机制使得局部手部结构的恢复完全脱离了容易陷入局部极小值的最近邻表面优化。

2. VolumeVAE局部接触先验：利用三维卷积条件自编码器抽象局部物理构型

虽然 VolCo 提供了细粒度的局部接触信息，但整车体素参数维度较高（$128 \times 8^3 \times 5$），直接用扩散模型生成全量特征容易遭遇维度灾难。考虑到在尺寸仅为 $2\text{cm} \times 2\text{cm} \times 2\text{cm}$ 的微观体积内，自然手部表面可形成的有效几何曲面形态高度受限，本文设计了 3D 卷积自编码器 VolumeVAE。该模型以网格点接触特征与物体局部 $\text{SDF}_o(\mathbf{x})$ 为条件输入，通过两级 3D 卷积下采样将局部接触特征压缩为紧凑的 128 维潜在向量 $z \in \mathbb{R}^{128}$。

为了解决最近邻三角面片查询不可微导致的网格表面重建监督难题，VolumeVAE 在接触均方误差 $\mathcal{L}_c$ 与加权 CSE 距离 $\mathcal{L}_{cse}$ 之外，引入了连续的重心权重损失 $\mathcal{L}_{csew} = \|\hat{\mathbf{w}} - \mathbf{w}\|_1$。该损失直接在由嵌入向量计算的重心权重空间施加连续监督，保证了潜在空间解码出的体积能高保真还原局部手指接触表面。

3. 先验引导潜在扩散与松弛力学稳定性约束：保证全局解剖可达性与物理平衡

各局部体积潜在向量拼接为全局矩阵 $Z^c \in \mathbb{R}^{N \times 128}$ 后，全局生成面临两大挑战：各局部体积的组合必须构成解剖学上可达的连贯手部，且形成的抓取姿势必须在物理上保持静态平衡。为此，VolCoDiff 采用点云条件扩散模型 Scene Diffuser 架构，以 Mosaic-SDF 提取的逐点特征为位置编码输入注意力 UNet。

为了保证解剖可达性，网络引入了单向辅助手部先验分支，预测 16 维 MANO 潜在向量 $z^h$ 并解码出手部网格，进而反求体素接触特征来计算一致性监督损失 $\mathcal{L}_{cons} = \|\hat{Z}^c - \hat{Z}_0^c\|_2^2$，实现从手部运动学先验向体积接触生成的单向正则化。针对物理稳定性，利用 VolCo 显式包含的接触概率与 SDF 梯度，结合线性弹簧阻尼模型 $F = k \delta$ 显式计算每个体素点的法向接触力： $$ F(\mathbf{x}) = \frac{1}{|\mathcal{A}\mathbf{x}| + 1} k c\mathbf{x} \cdot \min{\text{SDF}o(\mathbf{x}) - m + \Delta d\mathbf{x}, 0} \cdot \nabla \text{SDF}_o(\mathbf{x}) $$ 针对动捕数据天然存在的微小穿透误差，通过引入松弛变量 $\Delta d_\mathbf{x} \in [-1\text{mm}, 1\text{mm}]$ 和裕度 $m = 1\text{mm}$，放宽了刚性接触力边界约束，构建可微分的力学平衡损失 $\mathcal{L}_{stability}$，消除了传统接触力建模因惩罚过于严苛而导致的姿态发散。

4. 局部细节精细拟合：基于体素对应与非接触排斥的姿态精细调整

尽管辅助手部分支预测了初始姿态，但全局骨骼驱动往往无法完美贴合 VolCo 预测的高保真微观接触面。因此，生成推理的最后阶段将辅助分支输出的 MANO 参数作为初值 $\theta_0$，设计了专用的精调损失函数 $\mathcal{L}_{optim}$。

对于预测存在接触的 $M$ 个体积，构建基于加权对应均方误差的重建项 $\mathcal{L}_{vrec}$，拉近网格点与对应重构手部顶点；对于预测无接触的 $N-M$ 个体积，施加单向排斥损失 $\mathcal{L}_{rep}$ 惩罚进入该区域的手部顶点深入物体内部（$\text{SDF} < 0$）；同时配合正则化项 $\mathcal{L}_{reg} = \|\hat{\theta} - \theta_0\|$ 防止偏离合理姿态流形。该过程在 1000 步优化内即可快速收敛，无需在每次迭代中耗费大量开销做耗时的非凸全局碰撞检测。

损失函数 / 训练策略¶

训练采用两阶段方案： 1. VolumeVAE 训练：在 GRAB 数据集提取的体素网格上独立训练 20 个 epoch，学习率 $2 \times 10^{-4}$，优化总目标为： $$ \mathcal{L}{vae} = \lambda_c \mathcal{L}c + \lambda} \mathcal{L} + \lambda_{csew} \mathcal{L{csew} + \beta \mathcal{L} $$ 其中超参数设为 $\lambda_c=5.0, \lambda_{cse}=1.0, \lambda_{csew}=0.5, \beta=10^{-6}$。 2. VolCoDiff 潜在扩散模型训练：基于冻结的 VolumeVAE 提取潜在矩阵，扩散模型训练 100 个 epoch，学习率 $10^{-4}$。损失包含标准去噪损失、潜在一致性损失、网格重建损失以及力学稳定性损失： $$ \mathcal{L}{ldm} = \mathcal{L}} + \lambda_{cons} \mathcal{L{cons} + \lambda} \mathcal{L{rec} + \lambda $$ 其中平衡系数设为 } \mathcal{L}_{stability$\lambda_{cons} = \lambda_{rec} = \lambda_{stability} = 0.1$。

实验关键数据¶

主实验¶

评估在 GRAB（域内测试集）以及包含来自 YCB 数据集 10 个未见物体的 HO3D（域外测试集）上展开。主要对比指标包括：仿真位移（Simulation Displacement, SD，越小越稳定）、最大穿透深度（Penetration Depth, PD，越小穿透越浅）、相交体积（Intersection Volume, IV）、接触面积（Contact Area, CA，越大抓取越贴合紧密）及接触比率（Contact Ratio, CR）。

数据集	方法	SD (cm) ↓	PD (cm) ↓	IV (cm³) ↓	CA (cm²) ↑	CR ↑
GRAB (域内)	GrabNet	1.02 ± 2.07	0.40 ± 0.34	7.43 ± 9.89	25.5 ± 13.5	1.00
	ContactGen	2.32 ± 3.47	0.52 ± 0.49	3.32 ± 3.46	19.9 ± 13.3	0.99
	FastGrasp	2.55 ± 3.71	0.53 ± 0.66	2.02 ± 2.19	13.3 ± 7.42	0.86
	FAGrasp	0.61 ± 1.37	0.73 ± 0.67	4.74 ± 4.71	30.6 ± 11.1	1.00
	Ours (VolCoDiff)	0.52 ± 0.64	0.27 ± 0.28	3.78 ± 4.05	31.1 ± 12.9	1.00
HO3D (域外)	GrabNet	1.61 ± 2.84	1.04 ± 0.78	8.30 ± 6.69	31.4 ± 17.7	1.00
	GraspTTA	4.17 ± 4.21	1.12 ± 0.92	3.40 ± 3.38	16.6 ± 15.5	0.72
	ContactGen	3.41 ± 4.31	0.98 ± 0.78	4.01 ± 2.93	19.9 ± 12.3	0.95
	FastGrasp	2.49 ± 3.35	1.18 ± 0.88	9.54 ± 19.7	18.1 ± 15.2	1.00
	FAGrasp	1.21 ± 1.93	1.93 ± 1.33	45.4 ± 93.6	38.4 ± 21.8	1.00
	Ours (VolCoDiff)	1.06 ± 1.68	0.70 ± 0.64	10.9 ± 27.3	45.4 ± 29.2	1.00

在真值接触重建任务中，对比 ContactOpt、ContactGen 和 ManiDext，VolCo 将端点误差（EPE）从 ManiDext 的 11.19 mm 显著削减至 6.33 mm（下降 43.4%），F@5mm 达到 0.752（提升 22.1%）。

消融实验¶

在 GRAB 数据集上对核心设计组件进行消融对比，分析 VolCo 体积表示、辅助手部先验引导（Prior Guidance）、松弛力学稳定性损失（Stability Loss）与辅助分支姿态初始化（Initialization）的作用：

序号	VolCo 体积表示	先验引导分支	稳定性损失	分支姿态初始化	SD (cm) ↓	PD (cm) ↓	IV (cm³) ↓	CA (cm²) ↑
1	✗ (点式接触图)	✗	✗	✗	1.72	0.42	4.64	24.7
2	✓	✗	✗	✗	1.28	0.42	2.34	19.5
3	✓	✗	✓	✗	1.24	0.39	2.11	19.1
4	✓	✓	✗	✗	1.63	0.23	4.16	26.5
5	✓	✓	✗	✓	0.78	0.26	3.61	28.5
6	✓	✓	✓	✗	1.10	0.21	3.53	30.8
7	✓ (Full Model)	✓	✓	✓	0.52	0.27	3.78	31.1

关键发现¶

体积表示消除穿透盲区：将接触图由表面点云升级为 3D 体积网格（行 1 → 行 2），仿真位移从 1.72 cm 下降至 1.28 cm，证明体积空间能直接提供连续的手部轮廓约束。
先验分支的解剖正则化效应：引入辅助手部先验引导（行 2 → 行 4，行 3 → 行 6）大幅缩减了最大穿透深度（PD 从 0.42 cm 锐减至 0.23 cm），表明全局运动学先验能够有效约束局部体素解码时不出现病态局部畸变。
力学稳定性的几何先决条件：稳定性损失在缺乏解剖先验时对位移改善微弱（行 2 → 行 3 仅改善 0.04 cm）；而当具备手部先验与合理几何初始化时，稳定性损失可将位移从 0.78 cm 进一步压低至 0.52 cm（行 5 → 行 7），证实了几何合理性是实现力学稳定抓取的前提。
紧密贴合与相交体积的权衡：相较于 FastGrasp 追求极低相交体积而导致抓取悬空（CA 仅 13.3 cm²），本方法在保持最小穿透深度（0.27 cm）的前提下实现了最大的有效接触面积（31.1 cm²），呈现出更自然的生物力学贴合状态。

亮点与洞察¶

空间体积接触的双向可逆性：将传统定义在表面二维流形上的接触拓展为沿法向分布的局部 3D 规则网格，利用连续表面嵌入与重心插值实现了免全局最近邻匹配的显式局部网格顶点解析，从根本上避开了非刚性形变在传统 TTA 中易陷入的局部极小值。
松弛变量化解动捕真实穿透与刚性力学模型的冲突：在基于弹簧阻尼的法向接触力计算中引入 $\pm 1\text{mm}$ 的松弛变量与裕度，使可微稳定性损失能容忍动捕传感器天然的测量公差，避免因硬性零穿透假设引起梯度爆炸。
模块化解耦与批量推理加速：通过 VolumeVAE 先行消化三维局部微观体素，扩散模型的注意力计算量仅随体素数量 $N$ 呈线性复杂度增长，在批量推理样本从 1 扩展至 10 时，耗时仅由 5.28s 微增至 5.47s，展现出极佳的扩展效率。

局限与展望¶

抓取模式可控性与多样性调控受限：模型倾向于生成紧密贴合的强力抓取（Power Grasp），对于轻捏、捏取（Pinch Grasp）等特定功能性抓取方式缺乏显式指令或潜在语义控制接口。
固定体素尺度难以适应极端尺度物体：固定采样 $N=128$ 个体素网格且体素边长固定为 2 cm，面对极小型精密零件（如细针）或超大型物体（如大型家具）时，表面覆盖率与几何分辨率难以自适应平衡。
未来方向：探索可变形或自适应尺度的接触体素网格生成，并将文本动作指令或任务意图条件注入扩散潜空间以引导功能性抓取。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出分层体积接触表示 VolCo，利用局部体素网格打破表面接触图的固有局限，理论完备且可逆。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖高精度的真值接触重建、域内/域外抓取合成评测、力学物理仿真与细致的消融分析。
写作质量: ⭐⭐⭐⭐⭐ 结构逻辑严密，数学推导与物理力学建模清晰，框架设计图与图文对照统一。
价值: ⭐⭐⭐⭐⭐ 为手物交互（HOI）合成、具身灵巧手抓取规划提供了崭新的接触表示范式与开源基础。