NDPP-Grasp: Non-Differentiable Physical Plausibility Constraint-Guided Task-Oriented Grasp Generation¶

会议: NeurIPS 2026
arXiv: 2606.02432
领域: 机器人
关键词: 灵巧抓握生成, 任务导向抓握, 扩散模型, 随机最优控制, 不可微物理约束

一句话总结¶

针对任务导向灵巧抓握中物理可行性约束（非穿透、自碰撞、关节限位）固有的不可微特性，NDPP-Grasp 引入随机最优控制视角，推导仅需前向约束评估的免梯度去噪引导律，并提出摊销前瞻策略，在扩散去噪全流程实时注入物理约束，显著优于传统后处理修正范式。

研究背景与动机¶

任务导向灵巧抓握（Task-oriented dexterous grasp generation）是具身智能与机器人灵巧操作的基石，要求系统针对给定三维物体与自然语言任务指令，生成兼具物理可行性与特定任务功能的末端多指抓握姿态。扩散模型在该任务中展现出强大的生成建模潜力，但灵巧抓握面临一对本质异质的严苛约束：一方面，手爪姿态必须对齐任务意图（如按压喷雾器或持握手柄），这通常能够通过可微监督进行有效训练；另一方面，抓握必须严格满足硬物理可行性，包括手-物非穿透、手部自碰撞避免以及关节极限角限制。然而，这些物理碰撞与几何干涉约束在数学上天然不可微，无法直接反向传播。

为了应对这一异质优化矛盾，现有方案主要存在两类妥协路线：其一是联合端到端训练路线，试图将任务目标与物理可微代理损失（surrogate losses）打包到单一扩散模型中联合优化，但这不仅会导致多目标相互干扰冲突，而且平滑代理损失与真实硬物理边界存在巨大失真鸿沟，最终造成抓握质量次优；其二是两阶段解耦路线（如 DexTOG、DexGYS、Text2Grasp），先通过扩散模型生成初步姿态以满足任务语义，再在生成结束后调用后处理优化（post-generation refinement）调整物理干涉。然而，“事后补救”的策略使得扩散去噪轨迹在中间阶段极易滑入严重的物理不可行区域，后处理往往难以将深陷穿透的姿态拉回合理流形，且后处理本身仍难摆脱可微代理损失的不匹配问题。

本文的切入点在于保留任务对齐扩散模型的专属训练优势，同时将物理约束的施加时机由“生成后修正”前移至“去噪轨迹生成全程”。核心 idea：将带约束扩散去噪建模为正向随机最优控制系统，在解析求解免梯度最优控制律以实现纯前向非可微约束评估引导的基础上，提出跨步状态复用与重要性校正的摊销前瞻策略，兼顾大时域终端预测的可靠性与实时去噪效率。

方法详解¶

整体框架¶

NDPP-Grasp 针对给定物体点云 $\mathcal{O}$ 与自然语言任务指令 $\mathcal{L}$，在预训练的任务对齐高斯扩散模型去噪循环中运行。扩散模型在欧氏空间 $\mathbb{R}^d$ 中生成隐式抓握表征 $\mathbf{y}_0$，并解码为含手腕旋转、位移和关节角度的灵巧姿态 $\mathcal{G}=\Phi(\mathbf{y}_0)$。为了在不破坏任务对齐先验的前提下实时约束物理可行性，系统在时间反转为正向时间轴 $\tau$ 的随机控制框架下，将物理干涉惩罚定义为终端代价，并通过摊销前瞻机制在每个去噪步计算最优控制项 $\mathbf{u}_\tau$，动态校正去噪漂移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入：物体点云 O 与任务语言指令 L"] --> B["任务对齐扩散模型初始化<br/>初始高斯噪声 y_T 与先验条件打标"]
    B --> C["正向时间随机控制动态系统<br/>漂移项 F 结合免梯度物理控制项 u_τ"]
    C --> D["免梯度最优控制律求解<br/>基于无控制扩散测度与物理违背能量加权"]
    D --> E["摊销前瞻状态复用与重要性校正<br/>复用历史前瞻轨迹并补全单步转移"]
    E --> F["Tweedie 终端抓握姿态快速预测<br/>评估非穿透/自碰撞/关节限位真实代价"]
    F --> G["实时校正去噪轨迹并逐步收敛"]
    G --> H["输出：高物理可行且任务对齐的灵巧抓握姿态 G"]

关键设计¶

1. 随机最优控制框架与不可微约束后验建模 为了在生成过程中协同满足任务语义与物理可行性，本文将目标抓握分布形式化为能量后验分布：$p(\mathbf{y}_0 \mid \mathcal{O}, \mathcal{L}, c) \propto p(\mathbf{y}_0 \mid \mathcal{O}, \mathcal{L}) \exp(-f_c(\mathbf{y}_0))$，其中非可微物理违背评估函数 $f_c$（包含穿透深度、自碰撞体积与关节越界量）直接构成能量惩罚项。通过时间变量替换 $\mathbf{g}_\tau = \mathbf{y}_{T-\tau}$，反向去噪随机微分方程（SDE）被严格重构为具有仿射控制形式的正向随机动力学系统： $$\mathrm{d}\mathbf{g}_\tau = \mathbf{F}(\mathbf{g}_\tau, \tau)\,\mathrm{d}\tau + \sigma(\tau)\big(\mathbf{u}_\tau(\mathbf{g}_\tau, \tau)\,\mathrm{d}\tau + \mathrm{d}\mathbf{w}_\tau\big)$$ 其中无控漂移 $\mathbf{F}$ 驱动原始任务对齐，而控制输入 $\mathbf{u}_\tau$ 负责将轨迹牵引至物理合规流形。通过将控制目标设定为最小化控制能量耗费与终端物理违背之和，使扩散过程既紧贴任务条件先验，又满足物理硬边界。

2. 免梯度解析最优控制律推导：打破可微代理损失依赖 针对物理违背函数不可求导的核心困境，传统基于梯度的引导方法（形如 $\boldsymbol{\eta}_s = -\nabla f_c$）彻底失效。本文利用扩散轨迹的马尔可夫性与高斯摄动结构，证明了该最优控制优化问题存在解析解。导出无偏最优控制律： $$\mathbf{u}_\tau^*(\mathbf{g}_\tau, \tau)\,\mathrm{d}\tau = \frac{\mathbb{E}_{\mathcal{P}^0}\big[\exp(-f_c(\mathbf{g}_T))\,\mathrm{d}\mathbf{w}_\tau \mid \mathbf{g}_\tau\big]}{\mathbb{E}_{\mathcal{P}^0}\big[\exp(-f_c(\mathbf{g}_T)) \mid \mathbf{g}_\tau\big]}$$ 该控制律的突破性在于：整个期望仅建立在无控扩散测度 $\mathcal{P}^0$ 之上，计算时只需沿采样轨迹执行 $f_c(\mathbf{g}_T)$ 的正向前向评估，对评估器本身的连续性与可微性没有任何要求。这从数学上彻底根除了引入平滑代理损失所带来的目标失真。

3. 基于 Tweedie 终端预测的有限前瞻近似 在实际实现式 (6) 的蒙特卡洛期望时，若对每条轨迹均完全模拟从当前时刻 $\tau$ 到终端 $T$ 的去噪路径，计算开销将完全不可承受，破坏机械臂交互所需的实时性。本文引入有限步长 $H$ 前瞻，仅向前展开 $H$ 步去噪状态 $\mathbf{g}_{\tau+H}^{(m)}$，随后直接借助 Tweedie 公式 $\hat{\mathbf{g}}_T^{(m)} = \mathcal{T}_{\tau+H}(\mathbf{g}_{\tau+H}^{(m)})$ 一步解析外推预测终端抓握姿态 $\hat{\mathbf{g}}_T$。这使得控制信号能够在较浅的去噪前瞻中，通过终端预测感知到完整的物理干涉惩罚。

4. 摊销前瞻与重要性权重修正：实现极低延迟去噪 即便采用 $H$ 步前瞻，每一步重复采样 $M$ 条长度为 $H$ 的轨迹依然带来明显的算力负担。本文提出“摊销前瞻”（Amortized Lookahead）策略，敏锐捕捉到相邻去噪步 $\tau$ 与 $\tau+1$ 之间的前瞻轨迹存在高度重叠区间 $[\tau+2, \tau+H]$。由于上一步保存的重叠段是以历史候选样本 $\mathbf{g}_{\tau+1}^{(m)}$ 为起点生成，而非当前步的真实状态 $\mathbf{g}_{\tau+1}$，直接复用会导致分布漂移。本文利用一步高斯转移核的闭式表达推导了重要性修正权重 $\rho_{\tau+1}^{(m)}$： $$\mathbb{E}_{\mathcal{P}^0_{\tau+2:\tau+H}(\cdot \mid \mathbf{g}_{\tau+1})}\big[\Psi(\tilde{\mathbf{g}}_{\tau+2:H}^{(m)})\big] = \mathbb{E}_{\mathcal{P}^0_{\tau+2:\tau+H}(\cdot \mid \mathbf{g}_{\tau+1}^{(m)})}\big[\rho_{\tau+1}^{(m)}\,\Psi(\mathbf{g}_{\tau+2:H}^{(m)})\big]$$ 在去噪过程中，算法除首步全量初始化外，后续各步直接复用历史轨迹段，仅需向前延伸 1 步转移即可维持 $H$ 步视野，将原本 $\mathcal{O}(M \times H)$ 的单步开销锐降为 $\mathcal{O}(M \times 1)$，成功实现十毫秒级（约 11~20 ms）的高频实时推理。

实验关键数据¶

主实验¶

论文在 DexGYSNet 标准测试集与开集测试集，以及 DexTOG-80K 大规模基准上展开评估。基线模型分别采用当前最具代表性的任务导向灵巧抓握生成框架 DexGYS、DexTOG 和 Text2Grasp。评价指标涵盖物理抓握质量（抓握成功率 Succ.、抓握稳定性测度 $Q_1$、最大穿透深度 Pen.）、任务意图对齐度（FID、倒角距离 CD、接触距离 Con.）、多样性（位移标准差 $\delta_t$、旋转标准差 $\delta_r$、关节角标准差 $\delta_q$）以及无碰撞率 $\eta_f$ 与单手爪平均推理耗时（Time）。

数据集 / 基准	方法与骨干配置	物理质量 Succ. ↑	稳定性 $Q_1$ ↑	穿透深度 Pen. ↓	无碰撞率 $\eta_f$ ↑	推理耗时 Time (ms) ↓
DexGYSNet (标准测试集)	DexGYS (NeurIPS'24 基线)	63.31%	0.083	0.223	-	23.2
DexGYSNet (标准测试集)	Ours (基于 DexGYS 骨干)	67.05%	0.088	0.182	-	11.6
DexGYSNet (标准测试集)	DexTOG (RA-L'24 基线)	62.67%	0.082	0.234	-	389.6
DexGYSNet (标准测试集)	Ours (基于 DexGYS 骨干)	65.94%	0.086	0.192	-	17.5
DexGYSNet (开集测试集)	DexGYS (NeurIPS'24 基线)	58.42%	0.076	0.291	-	23.2
DexGYSNet (开集测试集)	Ours (基于 DexGYS 骨干)	61.89%	0.081	0.239	-	11.6
DexTOG-80K (标准切分)	DexTOG (RA-L'24 基线)	28.60%	0.093	0.385	50.5%	395.8
DexTOG-80K (标准切分)	Ours (基于 DexTOG 骨干)	31.92%	0.098	0.318	56.8%	17.7

消融实验¶

在 DexGYSNet 标准集上（以 DexGYS 骨干模型为基础），系统针对核心组件分别设计了两组对照消融：表 1 检验免梯度最优控制律相比替代控制策略的优越性；表 2 检验摊销前瞻策略对于计算效率与性能保真度的权衡。

控制律形式消融对比（表 3 对应实验）：

引导策略变体	物理质量 Succ. ↑	稳定性 $Q_1$ ↑	穿透深度 Pen. ↓	意图对齐 FID ↓	关键设计说明
变体 A (训练期施加可微代理损失)	54.27%	0.071	0.378	12.64	异质多目标相互削弱，语义与物理双崩塌
变体 B (推理期代理损失梯度引导)	62.91%	0.084	0.211	6.583	传统可微测试时引导，受代理函数偏差限制
变体 C (零阶有限差分近似约束梯度)	60.74%	0.079	0.238	6.728	维度灾难导致差分梯度方差大、不稳定
变体 D (强化学习策略近似约束导向)	59.86%	0.077	0.247	6.793	试错探索效率有限，复杂几何流形难收敛
Ours (解析免梯度最优控制律)	67.05%	0.088	0.182	6.487	理论无偏映射，严格遵循硬物理流形

前瞻机制消融对比（表 4 对应实验）：

前瞻采样策略	抓握成功率 Succ. ↑	穿透深度 Pen. ↓	任务对齐 CD ↓	单抓握耗时 Time (ms) ↓
完整轨迹全量模拟 (Complete-trajectory)	67.06%	0.183	1.183	261.4
$H$ 步前瞻完全重采样 ($H$-step resampling)	67.05%	0.182	1.184	109.8
Ours (摊销前瞻状态复用 + 修正权重)	67.05%	0.182	1.184	11.6

关键发现¶

去噪全时引导完胜事后修正：相比于在生成完成后依赖启发式物理投影的基线（如 DexTOG 耗时 389.6 ms、穿透 0.234），NDPP-Grasp 仅需 17.5 ms，穿透深度降至 0.192，成功率提升超 3.2 个百分点，证实了在去噪早期纠正姿态漂移的必要性。
免梯度控制律彻底超越代理求导：在控制律消融中，直接利用不可微物理碰撞检测的最优控制律比依赖平滑代理梯度的变体 B 成功率高出 4.14%，证明真实非连续几何干涉信号对高精度接触合成至关重要。
摊销前瞻实现 22 倍以上推理加速：相比每步展开完整去噪链的方案，摊销前瞻在保持完全一致物理精度（Succ. 67.05% vs 67.06%）的前提下，将耗时从 261.4 ms 压降到 11.6 ms（提速达 22.5 倍），成功跨越了灵巧抓握实机部署的实时算力门槛。

亮点与洞察¶

将扩散去噪严谨嫁接至随机最优控制理论：巧妙利用前向时间映射与无控扩散测度，将复杂的不可微优化转化为带权配分函数的能量采样问题，为扩散模型的硬约束引导开辟了崭新的数学框架。
解析利用高斯转移核实现免梯度闭式解：回避了代价高昂且方差巨大的黑盒强化学习或有限差分，直接在理论上给出仅需前向评估的无偏最优控制项，优雅解决了非连续接触的优化顽疾。
马尔可夫转移核驱动的历史轨迹无损复用：通过数学上严密的闭式重要性权重补偿状态偏移，消除了步进展开中的冗余模拟，堪称扩散模型实时引导推理的通用设计典范。

局限与展望¶

动态物理交互未完全建模：当前物理约束主要聚焦于静态几何干涉（穿透、自干涉、关节极值），尚未引入微观摩擦锥、手物动载荷以及非刚体柔性形变的实时动力学仿真。
前瞻步长与超参依赖：虽然摊销机制大幅减小了计算量，但前瞻步长 $H$ 与轨迹数 $M$ 仍需人工经验设定，在极端复杂凹面物体上可能需要更精细的自适应步长策略。
真实硬件环境迁移：未来工作可进一步探索将免梯度去噪控制律与机械臂触觉阵列反馈直接闭环结合，实现真机动态抗扰抓取。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将随机最优控制与免梯度解析引导引入任务导向抓握扩散生成，理论视角独树一帜。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大经典基准、三大主流扩散骨干网络，对比实验与控制律/摊销前瞻双重消融极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严谨，由表及里剖析现有两阶段方案痛点，逻辑链条一气呵成。
价值: ⭐⭐⭐⭐⭐ 彻底打通了不可微物理真实约束与高维扩散生成的实时融合链路，为具身智能高自由度灵巧操作提供了极具工业实用性的方法。