Fixed Reality, Diffused Possibility: Disentangling Stochastic and Deterministic Latent for Cluttered Grasping¶

会议: ECCV 2026
论文: ECCV 原文
领域: 机器人
关键词: 杂乱场景抓取、分层扩散模型、潜空间解耦、调和抓取场、灵巧手抓取

一句话总结¶

针对杂乱遮挡场景中确定性几何结构与随机决策不确定性混杂的难题，本文提出分层解耦扩散框架（FRDP），将场景表征显式拆解为确定性固定隐变量与扩散随机隐变量，并结合调和抓取场差分几何约束，实现了物理自洽且避障平滑的多模态 6-DoF 抓取姿态生成。

研究背景与动机¶

在非结构化且高度杂乱的 3D 环境中实现可靠的机器人抓取，特别是多指灵巧抓取，是具身智能领域的核心瓶颈之一。现实桌面或容器内堆叠的物体往往伴随严重的自遮挡、相互遮挡、物理联锁与不规则接触。在这种复杂工况下，成功的抓取动作不仅要求末端执行器具备毫米级的局部几何贴合度，更依赖于对全局场景操作顺序与抓取可行性的宏观策略推断。然而，现有的抓取生成范式面临严重的技术困境：传统的确定性回归网络在多模态抓取分布下极易发生模式崩溃，均值化预测往往导致碰撞或虚空抓取；而直接引入扩散模型的单隐空间生成方法，往往只关注局部几何线索，缺乏对全局场景拓扑与任务级上下文的系统推理，容易产生局部看似可行但全局相互干涉的无效姿态。

这一困境的本质矛盾在于：现有方法无法解耦场景中「结构上的必然性」与「策略上的随机性」。在一个部分观测的杂乱场景中，某些事实在物理几何上是绝对确定的（例如物体表面的局部法向、把手结构的位置与几何外形）；而另一些决策维度则是内在随机且依赖操作策略的（例如在遮挡关系下优先清障抓取哪一个物体、从哪个宏观航向角逼近目标）。现有的编码器要么在单一隐空间中将两者混为一谈，导致几何鲁棒性随场景扰动急剧退化；要么盲目地将整套表征统一视为扩散高斯噪声，在去噪过程中破坏了原本确定的物理几何刚性。

本文的切入视角是构建一个分而治之的层次化生成表征，将几何不变性锚定在确定性先验中，而将多样性探索限制在随机扩散空间内。核心 idea：通过分层扩散架构显式解耦确定性几何先验（Fixed Latent）与上下文随机变量（Diffused Latent），并引入微分几何调和抓取场（Harmonic Grasp Field）施加避障与流形连续性正则化，架起确定性几何理解与概率性策略推理之间的桥梁。

方法详解¶

整体框架¶

方法整体流程输入包含单视角或多视角部分观测点云 $X \in \mathbb{R}^{N \times 3}$ 及对应的 RGB 场景图像，输出为物体表面密集的 6-DoF 抓取姿态 $[R, T]$ 或抓取场。系统分为多视角掩码预训练、分层扩散潜空间解耦（全局条件扩散 GCD 与局部条件扩散 LCD）、调和抓取场正则化（HGF）以及变分抓取姿态对齐解码四大核心环节。首先利用点云自编码器预训练提取视点不变的几何先验 $h_{\text{fixed}}$；随后 GCD 结合 RGB 全局特征生成表达策略不确定性的 $h_{\text{diffused}}$，拼接构成全局复合隐变量 $h_G$；LCD 以 $h_G$ 为全局条件引导局部点云特征去噪，生成局部隐特征 $h_L$；接着利用调和势流对局部隐特征进行几何平滑与避障修正；最后由变分抓取解码器输出物理稳定的高精度抓取姿态。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InPoint["输入点云与RGB观测"] --> Enc["多视角预训练编码器<br/>提取确定性几何先验"]
    Enc --> GCD["全局条件扩散 GCD<br/>生成随机策略隐变量"]
    GCD --> LCD["局部条件扩散 LCD<br/>跨注意力注入生成逐点局部隐场"]
    LCD --> HGF["调和抓取场 HGF<br/>求解拉普拉斯势流与避障平滑"]
    HGF --> Dec["变分抓取解码器<br/>输出6-DoF无碰撞抓取姿态"]

关键设计¶

1. 多视角掩码预训练：构建视点不变的确定性几何先验 单视角或杂乱堆叠下的 3D 点云往往残缺不全，若直接在局部碎片上提取表征，极易因视角变换与遮挡产生特征漂移。为了赋予全局编码器鲁棒且视点一致的几何先验，本文设计了基于 3D 掩码自编码器（3D-MAE）与多视角对比学习的预训练机制。从虚拟视点采样局部深度点云补丁，对每个局部块进行 50%–70% 的随机掩码，并监督轻量级点解码器以倒角距离（Chamfer Distance, CD）重建完整表面几何。在此基础上，引入跨视点对比对齐损失： $$ \mathcal{L}{\text{align}} = -\frac{1}{K}\sum $$ 该损失强制同一物体在不同视点下的全局潜在表征保持余弦相似度最大化。预训练收敛后，该四层 Point Transformer 骨干网络参数被冻结，作为全局特征提取器 } \log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_l \exp(\text{sim}(z_i, z_l)/\tau)$\mathcal{E}_\phi$，专门负责输出刚性、抗遮挡的确定性隐向量 $h_{\text{fixed}}$。

2. 全局与局部条件扩散分层架构：解耦宏观策略不确定性与微观几何抓取场 为了打破单一潜空间对几何刚度与多模态策略的纠缠，本文建立了级联的分层扩散结构（Hierarchical Diffusion）。宏观层面由全局条件扩散（GCD）负责，以冻结的确定性几何特征 $h_{\text{fixed}}$ 与 RGB 全局上下文语义特征 $c = f_I(\text{Img})$ 为条件，建模场景级的高维操作歧义性。训练初始阶段从参数化高斯分布 $q(h_{\text{diffused}}^0 \mid h_{\text{fixed}}, c) = \mathcal{N}(\mu, \sigma^2)$ 采样起点，经 $T$ 步前向加噪后，利用 12 层带自适应层归一化的残差 MLP 去噪网络 $\epsilon_\theta$ 在全局空间学习逆向去噪： $$ \mathcal{L}{\text{GCD}} = \mathbb{E}, c, t)|_2^2 \right] $$ 去噪完成后，将确定性几何先验与随机策略隐变量拼接为复合全局先验 }}^0, \epsilon^t} \left[ |\epsilon^t - \epsilon_\theta(h^t, h_{\text{fixed}$h_G = [h_{\text{fixed}}; h_{\text{diffused}}^0]$。微观层面则由局部条件扩散（LCD）负责，采用 4 阶段点-体素卷积（PVConv）U-Net 结构，通过跨注意力机制（Cross-Attention）将全局宏观意图 $h_G$ 注入逐点局部特征去噪过程，生成细粒度的 32 维局部可操作性隐流形 $h_L \in \mathbb{R}^{N \times 32}$，确保微观抓取预测既有全局语义引导，又牢牢锚定在局部点云坐标上。

3. 调和抓取场正则化：以拉普拉斯势流约束碰撞感知的连续抓取流形 局部扩散模型生成的抓取假说在高度杂乱和密集接触边界处仍可能出现空间断裂或局部振荡。针对该缺陷，本文创新性地引入微分几何中的调和场理论，构建调和抓取场（Harmonic Grasp Field, HGF）。在物体及周围工作空间流形 $\Omega$ 内定义势函数 $\Phi(x)$，要求其在几何域内严格满足拉普拉斯方程： $$ \nabla^2 \Phi(\mathbf{x}) = 0, \quad \mathbf{x} \in \Omega $$ 同时施加狄利克雷（Dirichlet）边界条件：在障碍物及背景边界 $\partial\Omega_o$ 上设定势能 $\Phi(\mathbf{x}) = 0$，在目标接触与抓取表面 $\partial\Omega_g$ 上设定势能 $\Phi(\mathbf{x}) = 1$。调和函数的极值原理与平滑性质天然杜绝了局部虚假极值，其势流梯度 $\nabla \Phi(x)$ 提供了从自由空间光滑滑向抓取目标的最优无碰撞进刀方向向量场。为了将该几何约束反哺到潜空间，模型将 LCD 输出的逐点局部特征沿调和梯度进行对齐投影： $$ \mathbf{h}'{L,i} = \mathbf{h}_i) $$ 并联合优化调和正则化损失 } + \lambda_h \nabla \Phi(\mathbf{x$\mathcal{L}_{\text{harm}} = \mathbb{E} [ \|\nabla^2 \Phi(\mathbf{x})\|_2^2 + \gamma \|\mathbf{h}'_L - \mathbf{h}_L\|_2^2 ]$，强制扩散生成的局部特征流形与连续避障势流完美契合。

4. 变分对齐抓取生成：ELBO 约束下的跨尺度隐空间到 6-DoF 抓取解码 为了将连续的局部潜特征转化为末端执行器可执行的刚体变换矩阵，系统构建了变分抓取编码器 $\mathcal{E}_{\text{gr}}$ 与解码器 $\mathcal{D}_{\text{gr}}$。在训练期，抓取自编码器将真值 6-DoF 抓取位姿 $y = [R, T]$ 映射到抓取隐分布 $q(h_{\text{gr}} \mid X, y)$。为了防止抓取先验与局部几何特征割裂，采用证据下界（ELBO）联合优化重构误差与 KL 散度： $$ \mathcal{L}{\text{ELBO}} \approx \mathbb{E}q [ |y - \hat{y}|2^2 ] + D(\mu}}\big(\mathcal{N, \sigma}(\mu_L, \sigma_L^2)\big) $$ 其中 }}^2) \parallel \mathcal{N$(\mu_L, \sigma_L)$ 为局部扩散隐变量 $h_L$ 映射得出的先验高斯参数。在推理阶段，直接将调和正则化后的局部潜向量与全局特征送入解码器 $\mathcal{D}_{\text{gr}}$，单向无偏前向解码得出密集的候选抓取位姿集合 $\hat{y}_i = [\hat{R}_i, \hat{T}_i]$。

损失函数 / 训练策略¶

训练采用严格的两阶段分步解耦策略，杜绝端到端联合训练造成的表征塌缩与模式干扰： 1. 第一阶段（编码器预训练）：在合成及真实物体点云上预训练多视角点云 Transformer $\mathcal{E}_\phi$ 达 8,000 个 epoch，联合优化掩码点云重建损失 $\mathcal{L}_{\text{MAE}}$ 与跨视角对比对齐损失 $\mathcal{L}_{\text{align}}$。完成后冻结 $\mathcal{E}_\phi$。 2. 第二阶段（分层扩散与抓取联合学习）：保持 $\mathcal{E}_\phi$ 冻结，同时优化全局扩散、局部扩散、调和场正则项与抓取 VAE 达 24,000 个 epoch。整体优化目标为加权组合： $$ \mathcal{L}{\text{total}} = \mathcal{L}}} + \lambda_1 \mathcal{L{\text{LCD}} + \lambda_2 \mathcal{L} $$ 在实现中，采用 Adam 优化器，学习率初始设为 }} + \lambda_3 \mathcal{L}_{\text{ELBO}$1 \times 10^{-4}$ 并配合余弦退火调度，超参数权重验证集确定为 $\lambda_h = 0.5, \gamma = 0.05, \lambda_1 = 0.8, \lambda_2 = 1.0, \lambda_3 = 0.5$。全流程在 8 张 32GB 显存的 NVIDIA V100 GPU 上完成。

实验关键数据¶

主实验¶

论文在多指灵巧抓取（DexGraspNet-2.0）、高度杂乱平行夹爪抓取（GraspClutter6D）、真实桌面抓取（GraspNet-1Billion）以及下游全流程任务执行（$A^2$ Simulation Dataset）四大基准上进行了详尽评测。

表 1：DexGraspNet-2.0 灵巧抓取成功率（%）对比（Dense: 8–11 目标堆叠，Random: 1–10 目标，Loose: 1–2 目标）

方法	GraspNet-1B Dense	GraspNet-1B Random	GraspNet-1B Loose	ShapeNet Dense	ShapeNet Random	ShapeNet Loose
HGC-Net (ICRA 2022)	46.0	37.8	26.7	46.4	44.8	30.4
DDGC (RA-L 2021)	47.9	38.2	30.4	50.9	48.7	46.4
DexGraspNet-2 (CoRL 2024)	90.6	83.7	73.2	81.0	85.4	74.2
DexMGNet (RA-L 2025)	89.5	84.5	75.2	81.4	86.7	73.9
ClutterDexGrasp (arXiv 2025)	91.6	85.1	74.9	80.7	86.9	73.5
DexGraspVLA (arXiv 2025)	91.7	85.0	75.5	81.8	85.4	72.8
本文 (Ours)	93.1	85.9	76.1	83.2	87.8	74.9

表 2：GraspClutter6D 极端杂乱夹爪抓取表现对比（GSR: 抓取成功率 %，DR: 清障率 %）

方法	Packed 5 GSR	Packed 5 DR	Pile 5 GSR	Pile 5 DR	Pile 10 GSR	Pile 10 DR	Pile 15 GSR	Pile 15 DR
Contact-GraspNet (ICRA 2021)	84.9	86.1	77.6	75.4	77.2	64.7	77.3	54.0
MVGrasp (RAS 2023)	83.7	84.4	75.8	76.1	76.2	63.9	77.5	54.2
BiGraspFormer (arXiv 2025)	82.9	84.4	77.2	75.4	76.9	64.2	77.1	54.7
ThinkGrasp (arXiv 2024)	85.1	86.7	77.6	77.1	76.4	65.2	77.3	55.9
AffordGrasp (IROS 2025)	84.9	86.8	78.0	76.2	76.8	65.1	77.9	56.2
本文 (Ours)	86.2	87.3	78.6	78.6	77.6	66.1	79.0	56.8

消融实验¶

表 3：框架核心组件逐步消融分析（GraspClutter6D 汇报 GSR，GraspNet-1Billion 汇报 RealSense 深度渲染下的 AP）

模型配置	DexGraspNet Dense	DexGraspNet Loose	Clutter6D Packed (5)	Clutter6D Pile (15)	GraspNet AP Seen	GraspNet AP Novel	说明
(1) No Split 单一全局隐变量	87.0	69.1	84.5	75.0	75.4	34.3	单一隐向量混杂几何与不确定性，多样性与精度受限
(2) 仅确定性隐变量 (Fixed)	86.5	68.2	84.0	76.4	74.2	33.5	缺乏扩散随机采样，丧失多模态抓取探索能力
(3) Fixed + Diffused (GCD)	88.5	69.8	85.0	77.1	76.5	35.8	引入全局宏观扩散，捕捉场景级策略不确定性
(4) + LCD (局部条件扩散)	89.3	73.6	85.8	78.2	77.9	37.4	将全局意图对齐注入点云局部隐空间，细化抓取场
(5) Full Model (+ HGF 调和场)	93.1	76.1	86.2	79.0	79.8	40.9	调和场微分正则化消除局部碰撞，全面达到最优

关键发现¶

调和场正则化带来最大边际增益：在 DexGraspNet2 的 Dense 密集堆叠子集上，加入 HGF 使抓取成功率从 89.3% 暴涨 3.8 个百分点至 93.1%；在 GraspNet-1Billion 未见物体（Novel）评测中，AP 从 37.4 提升至 40.9（+3.5 pp）。这证实连续且满足拉普拉斯无极值的调和势场成功滤除了离散几何断裂引发的干涉碰撞。
解耦扩散大幅缓解密集遮挡退化：在极端复杂的 Pile-15 堆叠配置下，本文相较强基线 AffordGrasp 与 ThinkGrasp 取得了最为显著的提升（GSR 达 79.0%，清障率达 56.8%）。相比之下，仅保留确定性特征的基准（配置 2）由于无法捕捉场景策略多义性，性能全面落后。
向下游策略迁移收益显著：在 $A^2$ 仿真基准的下游任务回放中，将本文抓取生成集成进现有操作策略，使得 Pick 任务规划步数下降 16%–19%，Place 任务成功率最高提升达 +14.7%，证明生成的抓取位姿具有极高的物理合理度与任务易操作性。

亮点与洞察¶

确定性几何与随机决策解耦：论文敏锐地洞察到 3D 抓取任务中几何守恒与策略多义并存的本质，提出了将表征拆为 $h_{\text{fixed}}$ 与 $h_{\text{diffused}}$ 的分层结构。这种设计使得模型既能在高噪声杂乱环境下稳固锚定物理刚性支撑面，又能通过扩散过程灵活探索不同可行操作路径。
微分几何调和势流与生成扩散的有机融合：以往的扩散抓取方法通常直接预测坐标并依赖后处理启发式过滤碰撞，而本文利用偏微分方程拉普拉斯约束构建连续的无局部极值势场，直接将抓取接近方向规范为势流梯度，从数学机理上根治了夹爪与邻近物体的突发物理碰撞。

局限与展望¶

动态物理交互与滑移建模的缺失：当前调和势流与抓取场假设环境处于准静态，未显式建模多指抓取瞬间的摩擦锥接触动力学、受力分布及物体的微观形变与滑移趋势。
调和场离散求解的时间开销：在极端复杂的点云分辨率下求解 3D 狄利克雷边界拉普拉斯方程具有一定的计算负担，实时高频闭环伺服控制时可能受到局部求解延迟的限制。
未来方向：可进一步将触觉传感反馈（Tactile Feedback）引入局部扩散逆向去噪过程，并在物理仿真器中探索接触力自适应约束下的力-位混合调和场建模。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出确定性与随机隐变量解耦的分层扩散架构，并巧妙结合拉普拉斯调和场正则化。
实验充分度: ⭐⭐⭐⭐⭐ 横跨灵巧手抓取、夹爪抓取及下游具身策略回放四大基准，消融和对比实验数据极其详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路严密，理论推导扎实，数学形式与具身任务物理直觉高度契合。
价值: ⭐⭐⭐⭐⭐ 为杂乱场景下的多模态 3D 具身抓取表征学习提供了极具启发性的通用新范式。