AdaDexGrasp: Adaptive Dexterous Grasping via 3D Visuo-Tactile Representation Fusion¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5885
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/13803.pdf
领域: 机器人 / 灵巧抓取
关键词: 视触觉融合、接触语义、三维点云、闭环修正、灵巧手

一句话总结¶

AdaDexGrasp 先预测“物体表面该由哪根手指接触”来生成初始抓姿，再把实际触觉映射回三维点云以判断和修正不稳定抓取，使未见类别的仿真成功率从不做修正时的 59% 提高到 83%。

研究背景与动机¶

灵巧手抓取不只是把手放到形状合适的位置。视觉能够给出物体外形，却不能直接告诉系统手指是否真的压住了表面、哪些接触能够共同支撑物体，以及一个看似合理的抓姿会不会在提起时滑落。DexGraspAnything、DexDiffuser 等生成式方法擅长根据几何提出候选，但候选一旦出现局部错位，静态预测本身并不能解释执行后的失败。另一方面，只依靠触觉试探又会浪费已经可用的物体几何，增加尝试成本。

已有视触觉方法往往先分别编码两种模态，再拼接全局特征。问题不在于输入里完全没有触觉，而在于模型仍需要自己推断“这一路接触信号属于哪根手指、发生在物体哪个位置”。对于多指协调，这种对应关系尤其重要：同样数量的接触点，落在不同手指和不同物体区域上，可能形成完全不同的支撑方式。本文因此把融合提前到几何表征层，并把初始规划与实际接触后的反馈明确分开。

核心 idea：让手指／掌心身份成为连接视觉几何和触觉反馈的共同语义，接触前预测这种对应关系来生成抓姿，接触后用实测对应关系判断稳定性并闭环纠错。

方法详解¶

整体框架¶

系统接收 RGB-D 相机形成的物体点云，输出手掌的位置、姿态及手指关节配置。仿真手状态包含三维位置、四维方向表示和 22 个关节角；方向的四维编码不意味着四个旋转自由度，计入根部平移和旋转后系统共有 28 个自由度。触觉来自五个指尖和一个掌心，共六个感测部位。

流程由语义接触引导生成、触觉映射与稳定性判别、配对纠错与闭环更新三个设计串起来。首次规划没有实测触觉，模型先由物体几何预测手部接触分工；执行接触动作后才读取触觉、构建新的几何表征。分类器认为抓取不可靠时，修正模型调整手姿并再次获取反馈，直到预测成功或达到迭代上限，随后执行最终提起。达到上限只表示停止修正，并不保证真实抓取成功。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["RGB-D 物体点云"] --> B["语义接触引导生成<br/>预测接触分工与初始姿态"]
    B --> C["执行接触<br/>读取指尖和掌心触觉"]
    C --> D["触觉映射与稳定性判别<br/>手部几何和实测接触"]
    D -->|预测失败且未达上限| E["配对纠错与闭环更新<br/>生成姿态修正"]
    E --> C
    D -->|预测成功或达到上限| F["最终提起与成功评估"]

关键设计¶

1. 语义接触引导生成：先决定哪根手指接触哪里，再解码手姿

普通接触图主要说明物体表面哪里适合发生接触，而不说明哪个手部区域应该承担这次接触。AdaDexGrasp 的 Cmap 模型用 PointNet++ 处理物体点云，输出带手指／掌心类别语义的逐点接触预测。五指和掌心对应六种手部身份，这种中间表示把“一个适合抓取的区域”进一步拆成可供多指协调使用的分工信息。它提供的是规划先验，不是尚未发生的传感器读数，也不是只看距离就认定已有接触。

随后 Gpose 模型同时接收物体点云和预测接触图，解码初始手掌位姿与关节状态。原文式（3）可辨认的条件关系为：

\[ s^{(0)} = h'_{\psi_2}(\mathcal{P}_{obj},\mathcal{M}). \]

这里 \(\mathcal{M}\) 是预测的接触图，\(s^{(0)}\) 是初始抓取状态。这个设计不要求在规划前先触碰物体，而是用训练时记录的接触结果教会模型什么样的手部接触分工通常可行。相比直接从形状回归整只手的配置，它显式加入了手与物体的对应约束；但接触图仍可能预测错误，所以初始生成不是流程终点。

2. 触觉映射与稳定性判别：把实际接触放回三维位置，而不是只拼接特征

初始姿态执行后，系统通过接触力判断哪些感测部位处于激活状态，并给附近的物体点赋予对应手部标签。采集数据时的激活阈值为 0.01 N。触觉映射点云中的每个点包含三维坐标、RGB、一个接触状态标识，以及一个六维、取值归一化到 \([0,1]\) 的触觉强度向量。身份回答“谁在接触”，强度回答“接触有多强”，三维位置回答“接触在哪里”。标签的具体数值编码及邻域半径在可读正文中没有充分展开，不应自行补定。

这与前面的预测接触图有根本区别：前者是在执行前从几何推断的类别先验，此处则是由执行后实测信号标注的物体点云。图 3 展示的分类器用两个 PointNet++ 编码器分别处理手部点云和视触觉点云，再通过多头注意力与 MLP 预测抓取成功概率。保留手部点云让模型不仅知道物体上有哪些接触，还能结合手指的实际布局理解这些接触之间的关系。否则，孤立的触觉标签难以判断当前姿态是否形成合适的支撑。

分类器预测的是提起后能否稳定抓住物体，不只是识别有无接触。它用带成败标签的数据进行二分类训练，并为后续纠错提供决策信号。网络的可微性也被用于训练目标中的稳定性引导，但这不等于系统已经具备可微物理仿真，也不能把预测概率当作机械稳定性的证明。

3. 配对纠错与闭环更新：利用失败接触状态学习局部修正

如果只是失败后重采一个抓姿，新候选仍可能落回相似的失败模式。本文把失败本身变成输入：对同一物体，从 PPO 轨迹中收集提起前的成功和失败状态，将它们转换到物体中心坐标系，再为每个失败状态选择最近的成功状态。这样既统一了交互阶段，也去掉了物体在场景中绝对摆放位置的影响。邻近性结合手掌平移、姿态间的测地距离与关节配置；缓存中的式（8）损坏，因此无法可靠复写各项权重和组合方式。

配对的目的不是让模型从一个任意失败姿态跳到任意成功姿态，而是学习与当前接触状态相邻的纠正目标。修正模型以失败时的触觉映射点云和手状态为条件，预测手掌位姿及关节的调整。图 3 将该模块展示为条件扩散去噪模型，以 PointNet++ 特征作为条件；正文则从“预测姿态增量”的角度描述它。两者共同支持“基于当前视触觉状态生成修正”的理解，但缓存未给出可复现的噪声调度、去噪步数或完整扩散训练细节，不宜把一个标准扩散损失补写成论文原式。

闭环中的关键是每次修正之后重新执行接触并更新观测，再由分类器判断，而不是在同一份旧触觉上连续猜姿态。训练目标的文字说明包含两部分：让纠正后的姿态靠近配对的成功姿态，同时提高预测的抓取稳定性。缓存中的式（11）及闭环更新式也损坏，因此这里只解释可确认的意图，不推断正负号、权重或旋转更新规则。正文没有给出成功阈值 \(\tau_{succ}\) 和最大轮数 \(K\) 的具体取值。

一个完整示例¶

考虑一个初始抓姿较松的未见物体。以下是依据流程构造的说明性例子，不是论文额外报告的一条试验轨迹：模型先从外形预测不同手指和掌心应该接触的区域，再生成初始姿态。接触后，六路触觉可能表明只有部分手指真正压住物体，映射到点云上便呈现稀疏的实际接触区域。

分类器结合手部布局和这些接触信息判断风险；修正模型利用当前状态生成新的配置，执行后重新测量，而不是仅因“没碰到”就让所有手指继续收紧。若新的接触分布使成功概率越过阈值，系统进入最终提起；若持续不可靠则在预算耗尽时停止修正。论文图 5 用定性可视化展示了从稀疏、松散接触到更密集支撑区域的变化，但没有给出这个例子的逐轮概率或力值。

损失函数 / 训练策略¶

训练数据来自沿用 UniDexGrasp 第一阶段设置的 PPO 抓取轨迹，同时保留成功和失败尝试，而不是仅用成功演示。样本记录手状态、成败标签和触觉映射点云；最近成功状态的配对额外为纠错模块提供监督。成功生成数据与失败反馈因而服务于不同用途：前者教模型提出可行抓姿，后者让分类器和修正模型学习实际接触不足时该如何反应。

可读文字明确说明：接触图用交叉熵监督，初始抓姿用均方误差监督，成败分类用二元交叉熵监督，姿态修正同时追踪成功目标和预测稳定性。缓存中的式（2）、（4）至（11）和（14）存在不同程度的字符缺失或错序，本笔记不按常见形式重建这些公式。尤其不能由一个损坏的总损失推定分类器是否冻结、梯度如何穿过接触更新，或各模块是否联合端到端训练。

实验关键数据¶

主实验¶

仿真使用 IsaacGym 与 ShadowHand，任务包含接近、抓住和提起三个阶段。正文报告 6 类共 50 个物体，20 个用于训练、30 个未见类别物体用于测试；但同时给出“同类未见物体”一列，其具体数量及与这 50 个物体的关系未交代清楚。以下保留原表三种划分，不自行补充样本分配。

仿真成功定义为提起后至少 1 秒保持稳定且不滑落。表中数值均来自原文表 1，单位为成功率；选取最能区分生成、重采样、特征拼接和反馈修正的基线。

方法	已见物体	同类未见物体	未见类别
DexGraspAnything	77%	72%	67%
DexDiffuser	71%	69%	55%
ContactDexNet	72%	68%	63%
UniDexGrasp-CL	59%	52%	46%
DexDiffuser-VT	75%	71%	57%
AdaDexGrasp	91%	82%	83%

相对原表中三列均最强的基线 DexGraspAnything，提升分别为 14、10、16 个百分点。UniDexGrasp-CL 增加了失败判断与重采样，DexDiffuser-VT 增加了触觉条件，但都未达到本文表现；这支持“如何关联接触与局部几何很重要”的解释，不过不能把不同系统的差距全部归因于一个模块。正文另报告在 DexGraspAnything 的 15k+ 物体数据集上达到 87%，但缺少与主表同等详细的实验设置，不能当作另一个完整受控基准。

消融实验¶

下表为原文表 2。最后一列是相对完整模型的未见类别成功率下降，由表中数值相减得到；各变体不是可累加的独立贡献。

配置	已见物体	同类未见物体	未见类别	未见类别下降
完整模型	91%	82%	83%	0 个百分点
修正阶段统一接触 ID	84%	72%	73%	10 个百分点
生成阶段统一接触 ID	79%	75%	69%	14 个百分点
不做姿态修正	81%	78%	59%	24 个百分点
仅物体点云，保留触觉映射	72%	67%	61%	22 个百分点
完整手物点云，去掉触觉	78%	74%	67%	16 个百分点
用带触觉标注的图像替代点云	74%	71%	64%	19 个百分点

“修正阶段统一接触 ID”同时涉及分类器和修正模型，不是只改修正网络。未见类别上去掉修正损失最大，说明初始规划对新类别仍存在明显不足；同类未见物体上同一消融仅从 82% 降到 78%，所以闭环增益依赖分布变化类型。去掉手部几何也损失 22 个百分点，进一步说明触觉标注需要与手物关系一起解释。

实物验证与表征分析¶

实物使用配有高分辨率触觉传感器的 Psibot SynHand-6，图示为 11 自由度灵巧手与 7 自由度机械臂，测试超过 20 个不同几何和材质的物体。这里成功定义为提起后稳定保持至少 3 秒，与仿真的 1 秒门槛不同，不能把两组百分比直接视为同条件的仿真到实物性能差。

方法	已见物体	同类未见物体	未见类别
DexGraspAnything	81%	71%	73%
DexDiffuser	77%	65%	52%
DexGraspVLA	64%	57%	55%
AdaDexGrasp	90%	87%	81%

数据来自原文表 3。本文相对 DexGraspAnything 的提升为 9、16、8 个百分点，但正文未提供重复次数、置信区间或完整的跨手型训练说明。

表征选择分析比较了当前较简单的触觉编码与加入力方向、剪切力的稠密模态：小数据条件下报告 accuracy 为 88% 对 81%，实物分析为 85% 对 72%。原文没有充分定义这组 accuracy 的具体任务和统计口径，因此不能把它们混入主表当抓取成功率。图 7 仅能从缓存确认定性趋势：成功姿态通常有更多接触手指及更高的 Avg. TIF，物体过小或过大都不利于抓取；缺失的指标定义和曲线数值不补写。

亮点与洞察¶

融合的关键是对应关系。 将接触身份附着到三维位置上，让网络直接看到哪根手指作用于哪里，比要求模型从两个全局特征中重新发现这种关系更有针对性。
预测接触与实际接触各司其职。 前者组织规划，后者验证并纠错；这种分工可用于插接或工具抓取，但必须为新任务重新定义接触语义与成败标准。
失败样本不只是分类负例。 与附近成功状态配对后，失败记录成为纠正动作的监督来源；可复用的是这种数据构造方式，而不是把任意失败都假设为可局部修复。

局限与展望¶

作者讨论的表征取舍： 力方向和剪切力等更丰富模态增加数据需求、硬件要求及仿真到实物对齐难度。当前选择在其测试中有效，但不能推出稠密触觉一般无益；滑移与柔性物体可能仍需要这些信息。
复现信息不足： 可读正文缺少接触点邻域选择、扩散配置、闭环阈值、迭代预算和延迟统计。缓存公式损坏进一步限制了可核实的损失与状态更新细节，尤其不能据“实时”表述推断具体控制频率。
评测协议仍有空缺： 三种划分与物体数量的关系不够清楚，实物手和仿真手自由度不同，训练／适配过程未充分展开，不能据实物成功率断言零样本跨手迁移。没有重复次数和误差条，也无法估计几个百分点差距的稳定性。
闭环依赖判断质量： 分类器误判成功会提前结束，最近成功姿态也未必通过可执行路径可达。后续可在固定接触尝试预算下比较校准、碰撞约束与失败恢复率，并测试动态扰动，而不只观察提起后短时保持。

评分¶

新颖性：4/5。手部身份、局部几何与实测触觉的结合切中多指协调问题，创新主要来自表征和闭环组织。
实验充分度：3/5。主基线、组件消融和实物验证齐全，但划分、预算、重复性与硬件适配说明不足。
写作质量：3/5。预测接触与实测接触的区分清晰，扩散实现和定量分析口径仍需更详细说明；缓存损坏不等同于原 PDF 排版问题。
价值：4/5。未见类别上修正带来的 24 个百分点增益具有启发性，实际部署仍需验证安全约束和实时性。