Attention-DP3: Spatially Object-aware 3D Diffusion Policy via Geometry-aligned Attentional Conditioning¶
会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4203
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4927.pdf
代码: https://github.com/zhangzhongbo2213/Attention-DP3
领域: 机器人/具身智能
关键词: 三维扩散策略、物体感知、几何对齐、三场注意力、杂乱场景操控
一句话总结¶
Attention-DP3 将语言指定的二维物体掩码按相机标定映射到点云，再以三种互补语义场条件化原有 DP3 动作去噪器，使 MetaWorld 平均成功率从 0.669 提升至 0.726，并改善真实机器人在杂乱场景中的操控表现。
研究背景与动机¶
三维扩散策略用点云提供空间约束，再通过迭代去噪生成动作序列，适合学习同一任务下多种可行操作方式。 但点云知道的是“哪里有表面”，不天然知道“当前应该操作哪件物体”。 目标被遮挡、邻近干扰物形状相似或点云过于稀疏时，几何编码可能把不同物体的证据混在一起。 对机器人而言，这不是分割准确率本身的问题，而是抓取位置偏移、接触对象选错以及后续动作失去目标约束的问题。
RGB 基础模型能够提供物体语义，直接将稠密图像特征与稀疏点云特征融合却需要学习跨模态对应关系。 在杂乱场景中，语义相关不等于空间位置准确，隐式融合还可能模糊精细接触所需的几何信息。 另一种办法是只保留掩码内点云，但这样会一并删掉邻近物体、场景布局和遮挡上下文。 本文因此并不替换动作生成器，而是研究如何用物体先验指导几何策略，同时保留完整点云分支。
具体切入点是把相机标定当作可靠的二维到三维对应工具，再把“目标在哪里”“目标内部哪些区域更稳定”“哪些点属于背景”分开表达。 这里的语言主要用于指定目标物体，不是让策略执行开放式语言推理，也不是训练一个新的分割模型。 核心思想：把冻结感知模型给出的物体掩码转化为与点云对齐的三场注意力，通过独立编码和后期融合指导原有扩散策略，而不改变点云坐标与动作扩散机制。
方法详解¶
整体框架¶
每个时刻输入同步 RGB 图像、由深度重建的点云、机器人本体状态，以及固定的任务级目标描述。 原有点云编码器提取全局几何特征，状态编码器提取本体状态特征；新增分支负责生成物体感知条件。 新增分支依次执行“显式掩码提升”“三场注意力”“独立编码与后期融合”，最终与前两路特征共同条件化 U-Net 去噪器，输出一段未来动作序列。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["RGB、点云、状态<br/>固定目标描述"] --> B["显式掩码提升"]
B --> C["三场注意力"]
C --> D["独立编码与后期融合"]
A --> E["点云与状态编码"]
E --> D
D --> F["原有扩散去噪器<br/>未来动作序列"]分割、掩码提升和三场构造均不参与训练；场编码器与下游 DP3 部件通过模仿学习优化。 推理时仍需运行冻结感知模型，因此“免训练的语义先验”不等于“没有感知计算开销”。 方法最终服务于机器人动作生成，分割只是辅助输入来源，因此应归入机器人/具身智能，而不是语义分割。
关键设计¶
1. 显式掩码提升：用标定对应关系把目标身份落到三维点上
Grounding DINO 与 SAM2 根据 RGB 图像和目标描述预测二值物体掩码。 随后利用相机内外参，将每个三维点投影到图像平面，取最近像素的掩码值作为这个点的目标标记。 位于相机后方或投影落在图像范围外的点按背景处理；这使边界处理也遵循明确的几何规则。 整个过程只为已有观测点附加语义，不生成新的三维表面，也不改变点坐标。 因此它绕过的是“从训练数据中学习图像与点云对应”的步骤，而不是绕过相机标定。
这样的提升比直接拼接图像特征更容易追踪：一个点为何被认为属于目标，可以回溯到对应像素及其掩码。 但几何对齐不保证语义一定正确，分割漏检仍会成为错误的点级标记，标定误差也会传播到三维对应。 同样，它只能标记当前可见点，不能凭掩码恢复被完全遮挡的接触表面。 这些边界对理解本文的“空间物体感知”很重要：它是一种观测条件增强，不是完整场景重建。
2. 三场注意力：区分目标归属、目标内部结构与背景上下文
只有目标二值标记，会把物体内部所有点一视同仁，也无法表达边缘破碎与内部稳定区域的区别。 本文从提升后的掩码构造三种逐点标量场，统称 Lifted Tri-Field Attention。 目标性场（Targetness）给出点是否属于目标的直接提示；目标内显著性场（Intra-target Saliency）则增加目标内部的连续结构线索。 具体做法是在二维掩码内部计算欧氏距离变换，将距离值归一化到区间 \([0,1]\)，再用同样的投影对应关系映射到点云，并限制在目标内。 这意味着远离掩码边界的内部区域会获得更强的结构提示，而不是所有目标点共享同一种权重。
背景性场（Backgroundness）表达目标之外的互补上下文，让策略学习降低干扰物的影响，而不是把非目标点从输入中硬删除。 全局点云分支仍保留几何布局；语义分支告诉策略哪些证据应优先使用，哪些可能只是干扰。 三场都是确定性构造的先验，并非由动作监督学出的三张注意力热图。 尤其要注意，“目标内显著性”来源于二维掩码距离，不是经过接触标注训练的抓取可供性预测器；几何中心也不必然等于最佳接触位置。 原文将其解释为内部结构或接触相关区域的提示，后者更适合视为启发式作用，而非普适物理保证。
3. 独立编码与后期融合：先分别压缩语义场，再指导动作去噪
主框架与表 6 的最佳配置为每个场设置独立注意力编码器，再经 MLP 聚合为紧凑注意力特征。 场编码采用逐点 MLP 与对称池化，将数量可变、顺序不固定的点级线索汇总为全局条件。 注意力特征随后与点云几何特征、本体状态特征拼接，而不是在原始点输入处直接混合所有通道。 这种后期融合保留了原有几何编码路径，新增先验可以影响动作，却不必重新定义所有空间表示。
动作模块仍是 DP3 的条件 U-Net，通过 FiLM 风格的中间特征调制接收全局条件，逐步预测动作序列中的噪声。 扩散时间步另行嵌入残差块；三场信息的作用是改变“根据当前观测应该生成什么动作”，不是改变扩散噪声日程。 表 6 中所有融合变体共用同一种掩码来源，因而能部分区分“获得额外语义”与“有效利用语义”的作用。 不过正文 §3.3 用共享逐点 MLP 描述三通道联合编码，与总览及最佳配置的三个独立编码器表述并不完全一致。 这里按总览和融合消融解释最终方案，但分支级张量组织仍需以作者实现核实，不能把两种写法当作无歧义的同一实现。
一个完整示例¶
以带干扰物的立方体放置任务为例，固定目标描述先让感知分支寻找要移动的立方体。 机器人看到的整幅点云仍包含立方体、容器和桌面，掩码提升只给可见目标点附上物体归属。 三场随后区分目标点、目标内部较稳定区域和背景；附近干扰物没有被删除，而是通过背景线索与目标区分。 独立场编码与几何、状态特征融合后，去噪器生成未来动作，而不是直接把掩码中心当作机械臂的执行目标。 在 §5.3 的部署配置中，策略预测 16 步动作、执行窗口为 8 步，执行后再结合更新观测继续规划。 这个例子解释信息流，不代表论文额外报告了一条逐帧成功轨迹，也不保证一次分割即可完成整个操作。
损失函数 / 训练策略¶
训练沿用 DP3 的噪声预测目标：给专家动作序列加入高斯噪声，要求条件去噪器预测所加入的噪声。 冻结的是 Grounding DINO、SAM2 与确定性的掩码/场构造；需要学习的是场编码和策略相关网络。 本地文本中的公式 (4)–(10) 存在符号缺失，因此这里只陈述正文可核实的机制，不补写无法确认的公式细节。
按 §4.1，Adroit 与 MetaWorld 每任务使用 10 条专家示范，DexArt 使用 100 条；SO101 通过遥操作收集示范。 MetaWorld 训练 1000 个 epoch，其余基准训练 3000 个 epoch；优化器为 AdamW，学习率 \(10^{-4}\)、批量大小 128。 训练与测试使用同一固定目标描述，不进行测试时提示调优。 推理从高斯噪声动作序列出发，迭代去噪得到动作；不需要在线强化学习或更新分割模型。
实验关键数据¶
主实验¶
下表选取论文表 1–4 的跨基准结果，指标均为成功率，越高越好；差值为本文减去 DP3 的绝对成功率差。 MetaWorld 的 Overall 是所有任务平均，而不是只对展示的代表任务或难度分组等权求平均。 SO101 为 Place Cube、Push Cube、Stack Cube 三任务平均；基础真实实验每任务评测 20 次。
| 评测集合 / 场景 | DP3 | Attention-DP3 | 绝对差值 | 原文来源 |
|---|---|---|---|---|
| Adroit，三任务平均 | 0.68 | 0.78 | +0.10 | 表 1 |
| DexArt，四任务平均 | 0.52 | 0.56 | +0.04 | 表 1 |
| MetaWorld，全部任务平均 | 0.669 | 0.726 | +0.057 | 表 2 |
| SO101，基础场景平均 | 0.52 | 0.73 | +0.21 | 表 3，按原表舍入值 |
| SO101，最强 +Extra 干扰 | 0.13 | 0.45 | +0.32 | 表 4 |
公平比较需区分示范量和感知先验：Attention-DP3 额外利用冻结 RGB 基础模型与目标描述，不能称为与纯几何 DP3 完全相同输入条件。 §4.1 的模型选择协议是每 200 个 epoch 评测 20 个 episode，再取最高五次成功率的均值，不是仅报告最终检查点。 主表未给出多随机种子置信区间；真实实验支持方法可用于真实平台，但并不证明策略未经真实示范训练即可仿真到现实零样本迁移。
消融实验¶
下表节选表 5–6，均在 Adroit Door 与 MetaWorld Stick-Pull、Pick-Place、Push-Wall 四任务上取成功率平均，越高越好。 T、I、B 分别表示目标性、目标内显著性、背景性；不同表的完整配置相同。
| 配置 | 平均成功率 | 相比完整配置的差值 | 来源与含义 |
|---|---|---|---|
| T+I+B，三个独立编码器后期融合 | 0.72 | 0 | 表 5–6，完整方案 |
| 仅 T | 0.5425 | -0.1775 | 表 5，仅提供目标归属 |
| I+B，去掉 T | 0.595 | -0.125 | 表 5，保留内部结构与背景 |
| T+I，去掉 B | 0.5175 | -0.2025 | 表 5，缺少显式背景场 |
| 三场共用单个编码器后期融合 | 0.5225 | -0.1975 | 表 6，掩码来源不变 |
| 注意力与点云输入级拼接 | 0.255 | -0.465 | 表 6，早期融合 |
关键发现¶
- 有效融合比直接增加通道更重要。 早期融合的四任务平均仅为 0.255，独立编码后期融合达到 0.72，但这一消融范围有限，不能推导出所有机器人策略都应拒绝早期融合。
- 三场组合不是简单单调叠加。 T+I 的 0.5175 低于仅 T 的 0.5425，说明增加字段并非自动增益；完整组合最好，但表中没有足够重复试验来确定波动来源。
- 杂乱鲁棒性不是性能完全不降。 SO101 从基础场景到 +Extra，本文也由 0.73 降到 0.45，只是明显高于 DP3 的 0.13；此处按表 4 报告 32 个百分点差值，不沿用摘要笼统的“最高 31%”。
- 端到端开销不能忽略。 表 7 的有效每步延迟为 0.198 秒，对比 DP3 的 0.122 秒；其定义是物理执行时间加推理时间，再除以执行窗口长度，并非纯网络前向耗时。
亮点与洞察¶
- 语义提供身份，点云保留几何。 用标定投影明确绑定二者，比要求策略隐式学会整套跨模态对应更直接，也便于检查感知错误来自哪里。
- 不裁掉背景是关键取舍。 背景既可能干扰目标识别，也包含布局信息；以可学习条件表达其角色，比永久删除非目标点更灵活。
- 同源掩码下比较融合策略具有解释力。 表 6 表明收益不只是调用了一个更强感知模型，还依赖下游如何编码与融合该先验。
局限与展望¶
- 作者诊断的感知瓶颈： §5.4 对每任务挑选 10 条失败 episode，Coffee-Push 有 8 条、Peg-Unplug-Side 有 7 条涉及 Grounding DINO 漏检。这是失败子集内计数，不是总体失败概率。
- 作者报告的非感知失败： Reach-Wall 的这 10 条失败中定位均正确，说明语义正确不能消除物理可行性或策略能力限制。
- 阅读判断： 相机标定和可见点是提升成立的前提，正文未系统给出标定扰动曲线；距离变换也不能直接表达三维接触可供性。
- 阅读判断： §5.5 中错误分割子集的成功计数为本文 29/134、DP3 30/134，支持“未明显额外恶化”，不等于任意严重感知错误下都有可靠回退保证。
- 证据边界： 本地缓存有完整方法、实验和诊断，但未附被引用的补充材料，无法核实全量 MetaWorld 逐任务结果及详细干扰物布置。公式抽取损坏与编码器描述差异已在方法部分披露，代码链接仅依据论文记录，未联网检查。
相关工作与启发¶
- 对比 DP3： 保留三维几何编码与动作扩散主干，增加物体感知条件；收益伴随额外 RGB 感知依赖，不能理解为纯几何输入下免费提升。
- 对比隐式 RGB–3D 特征融合： 本文先用相机几何建立明确对应，再编码轻量语义场；其代价是对标定质量和掩码质量存在依赖。
- 对比仅目标点裁剪： 本文不硬删场景背景，适合既要定位目标又需要保留邻域信息的操作，但仍需由策略学会利用这些上下文。
评分¶
- 新颖性: 3/5 — 几何提升与扩散策略各有前例，三场构造及后期融合组合具有明确实用性。
- 实验充分度: 4/5 — 覆盖仿真、真实平台、干扰、融合及感知诊断，但缺少置信区间和完整本地补充材料。
- 写作质量: 3/5 — 主线清楚，场编码器描述不完全统一，缓存公式损坏影响逐式核验。
- 价值: 4/5 — 为少样本机器人操控提供了保留几何主干的语义增强方案，部署时仍需计入感知成本。