NDPP-Grasp: Non-Differentiable Physical Plausibility Constraint-Guided Task-Oriented Dexterous Grasp Generation¶

会议: NeurIPS 2026
arXiv: 2606.02432
OpenReview: https://openreview.net/forum?id=DIBlY9u2He
论文: https://arxiv.org/abs/2606.02432
领域: 机器人
关键词: 灵巧抓握生成, 任务导向抓握, 扩散模型, 随机最优控制, 非可微物理约束

一句话总结¶

针对任务导向灵巧手抓握生成中刚性穿透等物理约束本质不可微的问题，NDPP-Grasp 提出将随机最优控制与摊销前瞻策略引入扩散去噪轨迹，仅凭前向物理评估即可实现端到端物理真实性引导，兼顾实时推理与高任务对齐度。

研究背景与动机¶

面向具体操作任务的灵巧抓握生成（Task-Oriented Dexterous Grasp Generation）是具身智能与灵巧机器人操作的核心基石。一个可落地的抓握姿态必须同时满足两个异构需求：在语义功能层面上与任务指令严格对齐（例如拿剪刀用于裁剪或传递），在低层物理层面上必须满足物理真实性约束（如手部与物体互不穿透、手部关节自碰撞避免与关节角限位）。然而，现有生成方案往往陷入两难：若在训练阶段将任务条件扩散损失与物理损失强行端到端联合优化，多任务异构目标极易产生优化冲突，导致任务理解和物理质量双双劣化；更为关键的是，手物非穿透与网格自碰撞等判定规则在数学上本质是硬性、非可微的，强行替换为可微代理损失（如平滑穿透深度）会导致明显的代理误差与次优分布。

为了规避联合训练的困境，近年主流方法（如 DexTOG、DexGYS、Text2Grasp）普遍转向两阶段解耦范式：第一阶段仅训练条件扩散模型以习得任务对齐能力，第二阶段在完全生成出抓握位姿后再运行后处理优化或精细化网络。然而，这种“事后弥补”的解耦策略具有致命缺陷。在长链条的去噪逆向轨迹中，由于缺乏物理引导，样本往往早早漂移进严重穿透或不可逆的物理非法流形中，后处理模块极难将高度畸变的手型拉回可行域；同时后处理微调依然难以彻底摆脱对可微代理损失的依赖。

要打破这一瓶颈，最理想的范式应当是在保留模型预训练任务对齐能力的前提下，将非可微物理真实性约束以渐进式引导（progressive guidance）的形式直接注入去噪动力学中。核心 idea：将扩散去噪轨迹下的非可微约束引导建模为随机最优控制问题，推导仅依赖前向评估解析解的免梯度控制律，并提出跨步复用与修正权重的“摊销前瞻”策略，在去噪过程中实时施加严格物理真实性导引。

方法详解¶

整体框架¶

NDPP-Grasp 接收物体点云表征 $\mathcal{O}$ 与自然语言任务描述 $\mathcal{L}$，目标是合成包含手腕姿态与手部关节角的合法抓握位姿 $\mathcal{G}=(r,t,q)$。系统首先在欧氏参数空间构建条件扩散模型的逆向 SDE 动力学，随后在推理生成去噪的每一步中，利用随机最优控制推导出的控制项实时修正漂移，引导样本逐步落入物理可行且任务匹配的后验分布 $p(\mathbf{y}_0 \mid \mathcal{O}, \mathcal{L}, c) \propto p(\mathbf{y}_0 \mid \mathcal{O}, \mathcal{L})\exp(-f_c(\mathbf{y}_0))$。

针对直接蒙特卡洛轨迹积分计算开销巨大、无法满足机器人实时抓握规划的瓶颈，方法通过“免梯度最优控制律推导”结合“摊销前瞻轨迹重用”机制，仅需在去噪单步追加一步前向转移与加权修正，便实现了极低延迟的非可微物理约束引导。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：物体点云 O + 任务文本 L"] --> B["预训练条件扩散模型<br/>参数化任务对齐逆向SDE"]
    B --> C["免梯度最优控制律构建<br/>将物理约束违背建模为终端代价"]
    C --> D["摊销前瞻采样与修正<br/>H步前瞻 + 跨步轨迹复用校正"]
    D --> E["前向非可微约束评估<br/>穿透检测/自碰撞/关节限位"]
    E --> F["引导控制漂移注入<br/>实时调优去噪动力学状态"]
    F --> G["解码输出灵巧手抓握位姿 G=(r, t, q)"]

关键设计¶

1. 免梯度随机最优控制律：将非可微物理引导转化为正向模拟期望 在连续扩散去噪 SDE 中，传统引导依赖于约束关于隐变量的解析梯度 $\nabla_{\mathbf{y}_s} f_c(\mathbf{y}_s)$，但物理穿透与网格干涉判定不具备连续导数。针对该矛盾，本文在正向去噪时间轴 $\tau = T - s$ 下将去噪动力学重写为控制仿射随机微分方程： $$ \mathrm{d}\mathbf{g}\tau = \mathbf{F}(\mathbf{g}\tau, \tau)\mathrm{d}\tau + \sigma(\tau)\big(\mathbf{u}\tau(\mathbf{g}\tau, \tau)\mathrm{d}\tau + \mathrm{d}\mathbf{w}\tau\big) $$ 其中未控漂移 $\mathbf{F}$ 严格保持预训练任务对齐分布，控制信号 $\mathbf{u}_\tau$ 代表物理约束修正。优化目标是在惩罚控制力幅值 $\frac{1}{2}\|\mathbf{u}_\nu\|^2$（防止偏离任务语义）的同时最小化终端物理违背代价 $f_c(\mathbf{g}_T)$。利用马尔可夫扩散轨迹的结构和高斯转移特性，推导出最优控制律的闭式解析表达： $$ \mathbf{u}\tau^*(\mathbf{g}\tau, \tau)\,\mathrm{d}\tau = \frac{\mathbb{E}\left[\exp\big(-f}^0c(\mathbf{g}_T)\big)\,\mathrmd}\mathbf{w}\tau\,\big|\,\mathbf{g}\tau\right]}{\mathbb{E}{\mathcal{P}^0}\left[\exp\ig(-f(\mathbf{g}_T)\big)\,\big|\,athbf{g}_\tau\right]} $$ 该公式表明，最优控制项在本质上是由未受控扩散动力学 $\mathcal{P}^0$ 产生的大量随机探索中，以物理满足度玻尔兹曼权重加权的噪声扰动期望。它完全不需要对约束函数 $f_c$ 求导，仅需要进行正向物理检测（黑盒物理引擎判定穿透与碰撞），从理论根源上消除了代理损失带来的近似误差。

2. 基于 Tweedie 终端预测的有限前瞻近似：压缩长程仿真代价 虽然解析最优控制律成立，但在每个去噪步长 $\tau$ 沿无控动力学完全积分到终点 $\mathbf{g}_T$ 会带来不可承受的时间开销。为此，方法设计了基于 Tweedie 公式的有限视界前瞻算子。在当前步长下，仅需沿扩散动力学前向推进 $H$ 个离散步长到达 $\mathbf{g}_{\tau+H}$，随后调用 Tweedie 公式直接给出终端抓握预测： $$ \hat{\mathbf{g}}T = \mathcal{T}) $$ 通过在预测终点 }(\mathbf{g}_{\tau+H$\hat{\mathbf{g}}_T$ 上调用黑盒约束评估器 $f_c(\hat{\mathbf{g}}_T)$，大幅截断了蒙特卡洛全轨迹采样的深度，同时利用扩散模型在中间态蕴含的分数函数保证了终端抓握姿态的几何结构合理性。

3. 摊销前瞻轨迹复用与闭式权重校正：兼顾大视界精度与实时推理 单纯引入有限前瞻依然存在两难：若前瞻步长 $H$ 太小，中间态噪声过大导致 Tweedie 预测失真；若 $H$ 取较大值（如 $H=20$），每步去噪对 $M$ 条候选轨迹从头积分 $H$ 步依然极其耗时。本文的关键洞察在于：连续两个去噪步长 $\tau$ 与 $\tau+1$ 的前瞻窗口具有高度重叠的时间区间 $[\tau+2, \tau+H]$。因此，NDPP-Grasp 提出跨步摊销前瞻机制：在 $\tau+1$ 步直接复用上一时刻缓存的未来轨迹切片 $(\mathbf{g}_{\tau+2}^{(m)}, \ldots, \mathbf{g}_{\tau+H}^{(m)})$，仅需往前增量推演单步转移获得 $\mathbf{g}_{\tau+H+1}^{(m)}$。为了消除由于起始状态由候选点 $\mathbf{g}_{\tau+1}^{(m)}$ 变为真实去噪更新点 $\mathbf{g}_{\tau+1}$ 带来的分布漂移，利用高斯单步转移核计算出严格的似然比校正权重 $\rho_{\tau+1}^{(m)}$： $$ \mathbb{E}{\mathcal{P}^0}(\cdot\mid\mathbf{g{\tau+1})}\left[\Psi(\tilde{\mathbf{g}}}^{(m)})\right] = \mathbb{E{\mathcal{P}^0}(\cdot\mid\mathbf{g{\tau+1}^{(m)})}\left[\rho)\right] $$ 借助此设计，每次去噪迭代仅需消耗 1 步转移计算即可享有长达 }^{(m)}\,\Psi(\mathbf{g}_{\tau+2:H}^{(m)$H=20$ 步的前瞻精度，将抓握生成单样本推理时延大幅压缩至 10~20 ms，完全满足物理机器人在线闭环决策的实时需求。

损失函数 / 训练策略¶

NDPP-Grasp 的引导机制完全发生于推理阶段（Inference-time Guidance），因此无需重新设计带有复杂权衡的多任务训练目标。主扩散模型完全遵照预训练目标，在固定预训练模型后冻结权重： - 扩散训练目标：遵循基线标准去噪均方误差优化，监督手部关节角 $q$、手腕平移 $t$ 及旋转 $r$ 的去噪打分匹配： $$ \mathcal{L}{\text{diff}} = \mathbb{E}0, \boldsymbol{\epsilon}}\left[|\boldsymbol{\epsilon} - \boldsymbol{\epsilon}\theta(\mathbf{y}_s, s, \mathcal{O}, \mathcal{L})|^2\right] $$ - 物理约束构成：前向约束评估器 $f_c$ 集成三项真实物理判定指标，即手物最大网格穿透深度违背、手部指节间网格自穿透干涉体积，以及超出真实机械手生理角度边界的关节限位违背。在推理阶段设置采样轨迹数 $M=8$、前瞻视界 $H=20$。

实验关键数据¶

主实验¶

在两个基准数据集 DexGYSNet 与 DexTOG-80K 上，将 NDPP-Grasp 分别插入到三种主流扩散骨干（Text2Grasp、DexTOG、DexGYS）进行评估。核心指标包括物理抓握成功率（Succ.）、外力阻抗抓握质量（$Q_1$）、最大穿透深度（Pen.，单位 cm）、任务语义对齐（FID、CD、Con.）以及单步推理耗时（Time）。

数据集 / 基干模型	方法方案	成功率 (Succ. ↑)	抓握质量 ($Q_1$ ↑)	穿透深度 (Pen. ↓)	任务FID (FID ↓)	推理耗时 (ms ↓)
DexGYSNet (标准测试集)
基干: Text2Grasp	原始后处理优化	60.43%	0.080	0.197	21.83	287.4
基干: Text2Grasp	Ours (NDPP-Grasp)	63.27%	0.084	0.163	21.78	20.5
基干: DexTOG	原始测试期碰撞处理	62.67%	0.082	0.234	13.82	389.6
基干: DexTOG	Ours (NDPP-Grasp)	65.94%	0.086	0.192	13.79	17.5
基干: DexGYS	原始Transformer精炼	63.31%	0.083	0.223	6.538	23.2
基干: DexGYS	Ours (NDPP-Grasp)	67.05%	0.088	0.182	6.487	11.6
DexTOG-80K (多任务基准)		Overall-Succ. ↑	$Q_1$ ↑	Pen. ↓	无碰撞率 $\eta_f$ ↑	Time (ms ↓)
基干: Text2Grasp	原始优化	17.85%	0.062	0.391	28.7%	308.4
基干: Text2Grasp	Ours (NDPP-Grasp)	20.41%	0.067	0.323	34.2%	20.7
基干: DexGYS	原始精炼	23.87%	0.078	0.448	36.8%	23.6
基干: DexGYS	Ours (NDPP-Grasp)	26.53%	0.083	0.374	42.4%	11.8
基干: DexTOG	原始优化	28.60%	0.093	0.385	50.5%	395.8
基干: DexTOG	Ours (NDPP-Grasp)	31.92%	0.098	0.318	56.8%	17.7

消融实验¶

在 DexGYSNet 标准分割上以 DexGYS 为骨干展开消融，评估免梯度最优控制律设计及摊销前瞻策略的有效性。

表1：最优控制律机制对比消融（检验非可微引导策略）

控制引导方案	核心差异机理	抓握成功率 (Succ. ↑)	抓握质量 ($Q_1$ ↑)	穿透深度 (Pen. ↓)	任务FID (FID ↓)
Variant A	训练期直接加入可微物理代理损失	54.27%	0.071	0.378	12.64
Variant B	推理期采用可微代理损失梯度引导去噪	62.91%	0.084	0.211	6.583
Variant C	基于零阶有限差分法估计非可微约束梯度	60.74%	0.079	0.238	6.728
Variant D	采用强化学习 (RL Policy) 逼近梯度引导	59.86%	0.077	0.247	6.793
Ours (解析控制律)	严格闭式免梯度随机最优控制	67.05%	0.088	0.182	6.487

表2：前瞻计算加速消融（检验摊销前瞻效率与保真度）

采样策略	机制特性	成功率 (Succ. ↑)	穿透深度 (Pen. ↓)	单样本耗时 (Time ms ↓)
全轨迹蒙特卡洛积分	每步模拟完整剩余轨迹至终点 $T$	67.06%	0.183	261.4
$H$ 步前瞻重新采样	每步独立重采 $H$ 步并用 Tweedie 预测	67.05%	0.182	109.8
Ours (摊销前瞻)	跨步轨迹缓存复用 + 闭式比率修正 $\rho$	67.05%	0.182	11.6

关键发现¶

去噪过程引导显著优于生成后修剪：相较于后处理网格调整，在逆向去噪期逐步对齐物理约束不仅将成功率推高 3%~4%，且穿透深度从 ~0.23cm 稳定压制到 0.18cm 以下，同时任务对齐指标（FID、CD）不仅没有被破坏，反而轻微改善。
免梯度解析解击败数值近似与代理梯度：零阶有限差分（Variant C）与强化学习（Variant D）在高维手部关节空间极易陷入维数灾难与高方差梯度漂移，而本文的最优控制律解析解利用了扩散过程原生的高斯平滑性，效果显著优于可微代理梯度（Variant B）。
摊销前瞻带来 23 倍推理加速：相比全长轨迹模拟（261.4 ms），摊销前瞻机制将耗时缩减至 11.6 ms，加速超 23 倍且抓握指标无任何统计损失，验证了跨步采样修正权重的数学严谨性。

亮点与洞察¶

随机控制驱动非可微扩散引导：将生成去噪中硬物理碰撞等不可导约束映射为随机最优控制问题的终端泛函，推导出了仅凭前向模拟评估期望即可驱动状态漂移的解析解，彻底解决了扩散引导对可微性假设的依赖。
高维去噪轨迹的摊销前瞻复用：精准识别出相邻去噪步长间前瞻窗口的重叠特性，通过推导单步高斯核的闭式转移修正因子，以 $O(1)$ 的单步开销实现了等效 $O(H)$ 的长程视界观测，提供了极具工程价值的扩散推理加速范式。
通用的即插即用特性：无需对基干扩散模型重新训练或更改网络拓扑，适配 Text2Grasp、DexTOG、DexGYS 等多种异构结构，具有极强的跨模型可迁移性。

局限与展望¶

复杂动力学接触建模仍受限：目前前向物理约束评估器侧重于静态穿透、网格相交与关节限位等几何-运动学物理量，尚未在去噪回路中融入接触滑动、瞬态摩擦力学和非刚体形变等高保真物理交互仿真。
超参数视界与样本量权衡：当前固定 $M=8$ 与 $H=20$，在极端几何凹陷物体（如细柄杯具或长条镊子）上，蒙特卡洛采样的覆盖广度仍可能不足，未来可探索自适应前瞻步长与重要性采样策略。
向全身移动操作迁移：方法当前限定于单只灵巧手的位姿与关节规划，未来可推广至双手协作或移动机械臂底盘-手臂-末端全身协调抓取规划。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从随机最优控制推导出无须代理损失的扩散去噪非可微解析引导律，理论严谨新颖。
实验充分度: ⭐⭐⭐⭐⭐ 跨三个主流基干模型、双权威数据集评估，且消融涵盖代理损失、有限差分与RL基线。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，控制方程推导自洽，实验表格与消融逻辑链条完整。
价值: ⭐⭐⭐⭐⭐ 兼顾理论优美与 11.6ms 极致工程实时性，对灵巧机器人操作和受控生成领域具有重要指导意义。

采样策略	机制特性	成功率 (Succ. ↑)	穿透深度 (Pen. ↓)	单样本耗时 (Time ms ↓)
全轨迹蒙特卡洛积分	每步模拟完整剩余轨迹至终点 \(T\)	67.06%	0.183	261.4
\(H\) 步前瞻重新采样	每步独立重采 \(H\) 步并用 Tweedie 预测	67.05%	0.182	109.8
Ours (摊销前瞻)	跨步轨迹缓存复用 + 闭式比率修正 \(\rho\)	67.05%	0.182	11.6