Grasp-Oriented Non-Prehensile Manipulation via Learning a Graspability Field¶

会议: ECCV2026
作者: Licheng Zhong, Gim Hee Lee
论文: https://eccv.ecva.net/virtual/2026/poster/3490
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1648.pdf
项目: https://zlicheng.com/gomp_page/
领域: 机器人/具身智能
关键词: 非抓取操作、可抓取性场、抓取准备、强化学习、闭环控制

一句话总结¶

GOMP 将抓取前的推、滑、转动从“到达指定物体位姿”改为“降低到可抓取配置集合的距离”，再用预测距离决定何时抓取，在真实机器人困难初态的 50 次试验中完成 31 次端到端抓取，而不是实现了 97% 的总体成功率。

研究背景与动机¶

抓取失败不总是夹爪不会选接触点，也可能是物体当前摆法让合适的接触位置被桌面挡住，或者靠近时物体就会滑走。非抓取操作先用推、滑动、转动改变物体状态，再执行夹取。CORN、DyWA 等方法已能学习这类接触丰富的操作，但通常把任务写成目标条件控制：先给出一个物体目标位姿，再奖励机器人缩小当前位姿与目标的差距。这样的问题定义适合重定位，却没有直接回答“现在是否已经足够好抓”。

一个物体可能有多种可抓取摆法，其中有的离初态近，有的虽然在几何上可抓，却难以在桌面接触动力学下稳定到达。硬指定一个目标，可能让机器人离开本来可抓的区域，或者在接近目标时继续纠正无关紧要的误差，造成振荡。反过来，合成抓取所对应的物体配置也不一定是稳定静止位姿；把这样的配置直接交给位姿跟踪策略，会把抓取准备与精确姿态调节混为一谈。

本文选择保留训练时的几何信息，但改变它的用途：不是向控制策略输入一个“必须到达”的位姿，而是构造一个集合距离，让策略从点云中学习哪些状态更适合接下来的抓取。核心 idea：用可抓取性场统一操作奖励与操作结束判据，让机器人寻找可达的可抓取区域，而不是追踪人为指定的单一终点。

方法详解¶

整体框架¶

GOMP 的输入是物体点云和机器人本体状态，输出包括非抓取动作、可抓取性距离以及最终抓取位姿。训练侧通过“参考集合构建”得到可抓取配置，再以“平滑锚定距离”定义可抓取性场；“场驱动策略学习”把场变成奖励和距离监督，最后由“尺度归一化切换”把持续操作连接到抓取执行。

下面的图同时标出训练信息与执行闭环。参考配置只用于训练侧构造信号，不是部署时反复查询的目标清单；执行时只部署学生策略，完整几何、教师和参考配置均不作为其外部输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["完整物体几何<br/>仅训练"] --> B["参考集合构建"]
    B --> C["平滑锚定距离"]
    C -->|奖励与距离监督| D["场驱动策略学习"]
    P["部分点云<br/>机器人状态"] --> D
    D --> E["尺度归一化切换"]
    E -->|未持续达标：操作后再观测| P
    E -->|持续达标| F["执行预测抓取位姿"]

关键设计¶

1. 参考集合构建：把抓取候选变成物体的可抓取配置

可抓取集合无法为任意物体手写解析表达式，因此论文借助已有抓取合成模型 SE(3)-DiffusionFields，从物体几何产生多个夹爪相对物体的候选抓取。随后固定一个垂直向下的夹爪姿态，反转每个抓取的相对变换，得到“若这样夹取，物体应该怎样摆放”。再沿竖直方向平移物体，使它落到桌面上，形成多个参考物体配置。这里的参考不是夹爪需要逐步追踪的轨迹，而是训练中用来近似可抓取状态集合的样本。

这个变换把问题的中心从末端执行器移到物体：判断当前物体摆法离某种可抓配置多远，而不是当前夹爪离一个抓取动作多远。多个参考允许策略找到不同的有效摆法，避免在任务定义阶段就排除较容易到达的区域。不过，抓取合成只提供几何可行性的依据，不自动保证参考配置是稳定静止状态；论文也正因为这一点，在训练与评测中额外考虑物体速度约束。

2. 平滑锚定距离：允许多个可抓区域，同时抑制目标来回切换

首先定义配置间的几何距离：在物体包围盒上采样固定关键点，分别按当前配置和参考配置变换这些点，计算对应点欧氏距离的平均值。因此，距离衡量的是物体几何的空间差异，而不是把平移量和旋转参数生硬拼接，也不使用夹爪位姿。对所有参考取最小值，可以表示“离最近的可抓摆法多远”，但当最近参考发生切换时，硬最小值会出现不可微的交界，给学习带来不稳定性。

论文用 soft-min 聚合多个参考，再加上相对于此前选中参考的锚定项。把这两个步骤合写，可抓取性距离为：

\[ \tilde d(s_o^t)=-\tau\log\sum_{i=1}^{G}\exp\!\left(-\frac{\mathcal D(s_o^t,\hat s_o^i)}{\tau}\right)+\lambda\mathcal D(s_o^t,\hat s_o^{i^*}). \]

其中，\(\mathcal D\) 是上述平均关键点距离，\(G\) 是参考数量，\(\tau\) 控制软聚合程度，\(\lambda\) 控制锚定强度，\(i^*\) 表示此前选中的参考。软聚合让多个附近参考共同提供引导，锚定则为前进方向加入时间上的惯性，避免机器人在两个看起来都不错的摆法之间反复改变主意。参考仍影响奖励地形，但不是策略观测中的显式目标；“无目标位姿输入”并不等于“训练不需要参考几何”。该距离越小表示越可抓，不能把它当作经过概率校准的抓取成功率。

3. 场驱动策略学习：先学会改善状态，再从部分观测估计这种改善

只有在最后成功抓起物体才给奖励，会让大量推挤动作难以获得及时反馈。GOMP 将距离转为随距离减小而增大的势函数，再使用相邻状态的势差形成稠密奖励：

\[ \Phi(s_o)=k_1\beta^{k_2\tilde d(s_o)},\qquad r_t=\gamma\Phi(s_o^{t+1})-\Phi(s_o^t). \]

这里 \(\beta\in(0,1)\)，\(k_1\)、\(k_2\) 调节势函数尺度与变化快慢，\(\gamma\) 是折扣因子。直观上，策略学习哪些接触动作能让物体接近可抓区域，而不需要在每个训练步骤实际尝试夹取。严格地说，由于折扣因子存在，不能把这个式子解读成“任何一点距离下降都必然得到正奖励”；核心作用是提供逐步进展的信号。

实现上采用 CORN 的物体中心编码器，冻结较早层，只微调最后一个注意力层；物体和机器人 token 经机器人状态条件的交叉注意力汇聚。教师看完整点云，以强化学习获得操作行为；学生看部分点云，并用 GRU 汇聚近期观测与动作的信息，以缓解遮挡和接触运动造成的单帧歧义。学生再通过在线策略蒸馏学习教师行为。输出头同时给出动作、距离和终端抓取位姿，其中距离预测以训练侧计算的可抓取性场为监督。蒸馏在这里是把策略迁移到部分观测的实现手段，论文主贡献是抓取准备的目标与终止信号，而不是一种新的模型压缩算法。

4. 尺度归一化切换：不是一帧“像是能抓”就立刻闭合夹爪

同样的几何误差，对小物体和大物体的意义不同。论文用物体包围盒对角线长度 \(L\) 归一化预测距离，得到 \(\bar d_t=\hat d_t/L\)，然后检查一个短时间窗内归一化距离的最大值是否低于阈值 \(\epsilon\)。检查最大值意味着整个窗口持续达标，而不是某一帧的偶然低值就触发抓取；执行时可理解为对已经观测到的短窗口进行检查，而非要求预知未来。

满足判据后，策略用自己预测的抓取位姿执行最终抓取；否则继续非抓取操作并接收新观测。这让“向哪里改善”和“何时不必再改善”共享同一个距离概念，但并不消除工程参数：阈值、时间窗和安全力上限依然存在。缓存正文没有给出切换阈值与窗口长度的具体数值，也没有充分展开抓取位姿头的监督细节，因此不能将“无需外部规划器”扩大解释成“无需任何人工设定”。

一个完整示例¶

设一个盒子的初始摆法让夹爪从上方向下接近时缺乏合适接触位置。这是解释流程的示例，不是新增实验轨迹：训练时，合成抓取先对应到多种盒子摆法；几何距离告诉策略，某种推转能让当前摆法更接近其中一个可抓区域。锚定项使策略在接近该区域时不轻易改投另一个参考。

部署后没有参考摆法清单。学生只能根据部分点云、本体状态和 GRU 中的历史信息逐步采取动作，并预测当前距离；即便某一帧距离很小，也要等归一化距离在短窗口内持续达标，才切换到预测抓取位姿。这说明准备成功不是“盒子已经严格复制某个目标姿态”，而是当前状态已经满足系统采用的可抓性判据。

损失函数 / 训练策略¶

训练使用 IsaacSim 和 IsaacLab，仿真机器人为带平行夹爪的 Franka Emika Panda。教师首先训练 15k 轮，论文报告约需单张 NVIDIA RTX A6000 的 10 小时；在 5k 轮后加入物体速度约束。蒸馏前再训练教师 10k 轮，通过动作幅度课程缩小有效动作范围，因此不能把全部训练成本写成仅 10 小时。

训练全过程随机化物体质量、尺度、摩擦与初始位姿。学生距离头回归可抓取性距离，在线策略蒸馏负责部分观测下的行为学习；缓存正文没有完整列出各损失权重及全部控制超参数，不补写具体优化器或抓取头损失公式。

实验关键数据¶

主实验¶

仿真使用从 DexGraspNet、GraspFactory、YCB 人工选取的适合任务的物体；表中的“成功”仅指抓取准备，不是实际抓起成功。几何容差为位置误差小于 0.05 m、方向误差小于 15°；GOMP 还要求线速度小于 0.01 m/s、角速度小于 0.1 rad/s。以下保留表 1 的稳定性协议差异，平均时间沿用原表口径。

方法	速度稳定性检查	已见成功率 ↑	已见平均时间 ↓	未见成功率 ↑	未见平均时间 ↓
重训目标位姿基线	否	36.1%	5.3 s	28.8%	6.1 s
最近参考 Oracle	否	52.0%	8.1 s	50.2%	8.8 s
多参考 Oracle	否	42.2%	11.3 s	39.4%	9.9 s
GOMP Teacher	是	84.0%	4.6 s	77.9%	4.8 s
GOMP Student	是	75.5%	6.1 s	68.1%	6.2 s

最近参考 Oracle 每步将当前最近参考交给重训基线；多参考 Oracle 对候选参考分别评估并取最好结果。默认评测使用 10 个参考。GOMP Teacher 的未见成功率比最近参考 Oracle 高 27.7 个百分点，但双方的成功定义、目标条件与稳定性要求并非完全同一协议，不能把这视为原始 CORN/DyWA 公共基准上的同条件提升。论文明确指出，将可能动态不稳定的抓取合成参考交给位姿跟踪模型，本身就改变了其原始任务条件。

真实机器人使用 Franka Research 3 和三台 Intel RealSense D435IF 融合点云，无真值位姿、标记或外部跟踪系统。10 个物体各从困难初态测试 5 次，固定接近方式的直接抓取成功率为 8%。表 2 的三种成功率必须分开理解：

真实机器人指标	成功次数 / 分母	成功率 ↑	分母含义
非抓取重配置成功	32/50	64%	全部尝试
准备成功后的条件抓取成功	31/32	97%	仅重配置成功的尝试，百分比为原文取整
端到端成功	31/50	62%	全部尝试

消融实验¶

下表摘录仿真表 3；各行成功率越高越好，时间越低越好。前三行检验参考集合大小，后两行分别检验软聚合与锚定；不把未定义清楚的最终距离列用于跨配置排序。

配置	已见成功率 ↑	未见成功率 ↑	未见平均时间 ↓
1 个参考	82.2%	72.8%	4.8 s
10 个参考，完整方法	84.0%	77.9%	4.8 s
20 个参考	76.0%	68.1%	6.0 s
使用硬最小值	81.1%	74.3%	5.2 s
去掉锚定项	78.1%	74.1%	5.1 s

关键发现¶

参考并非越多越好：10 个参考的未见成功率比 1 个高 5.1 个百分点，但增到 20 个反而降至 68.1%。作者将过多参考的退化解释为竞争方向干扰，不能总结成单调收益。
软聚合与锚定都有贡献：相较完整方法，硬最小值和去锚定的未见成功率分别低 3.6、3.8 个百分点；已见对象上去锚定低 5.9 个百分点。
实机瓶颈主要在重配置：只有 32/50 次进入准备成功阶段，但随后成功夹取 31/32 次。高条件成功率支持切换信号的有效性，却不意味着所有初态都可可靠处理。

亮点与洞察¶

将目标从“复制位姿”换成“改善物体状态”，并复用同一标量作奖励与切换依据。关键不是增加抓取规划模块，而是使操作停止时刻与任务真正需要的状态相关。
完整几何用于训练监督，部分点云用于执行，两者的职责明确。这样能够利用仿真特权信息构造稠密信号，而不把真值位姿追踪器带到实机。
同时报告重配置、条件抓取与端到端成功，能把系统瓶颈定位到准备阶段。若只摘取 97%，会掩盖实际整体表现。

局限与展望¶

作者指出柔软且光滑的 Snack 在实机中始终失败；刚性物体也会因滑动、超时或触及安全力上限而失败。以刚体参考几何定义距离，并不足以保证复杂接触动力学下的可达性。
实验是人工挑选物体与困难初态，真实评测总量为 50 次。8% 直接抓取来自固定接近方式，不代表强通用抓取系统的上限，也不能直接外推到任意杂乱场景。
软聚合后的标量是几何代理量，而非完整物理可行性或成功概率；图 6 给出可抓与不可抓配置的预测距离分离，但正文没有报告概率校准指标。
复现仍需核对阈值、时间窗、锚定参考更新规则和抓取位姿头训练细节。正文对这些细节交代有限，本文不把未公开参数推测为既定实现。

评分¶

新颖性: 4/5。集合距离统一奖励与切换的任务表述清晰，网络与势函数构造本身沿用已有工具。
实验充分度: 3/5。有仿真 Oracle、组件消融和实机分阶段统计，但实机规模有限且比较协议需要仔细区分。
写作质量: 3/5。核心逻辑易懂，切换参数与部分训练细节仍不充分，摘要性表述比实际工程条件更简化。
价值: 4/5。为抓取准备提供可解释的控制目标，真实系统结果具有参考价值，但不能忽略 62% 的端到端成功率。