XYZ-IBD: Benchmarking Robust 6D Object Pose Estimation under Real-World Industrial Complexity¶

会议: ECCV2026
论文: ECCV 原文
项目: https://xyz-ibd.github.io
作者: Junwen Huang, Jiaqi Hu, Peter KT Yu, Slobodan Ilic, Martin Sundermeyer, Benjamin Busam
机构: Technical University of Munich; Munich Center for Machine Learning (MCML); XYZ Robotics; ROBOX; Google
领域: 3D 视觉
关键词: 6D 位姿估计、工业散乱抓取、反光物体、多视角标注、泛化评测

一句话总结¶

XYZ-IBD 用多传感器真实料箱数据、喷涂辅助几何标注及噪声匹配仿真建立工业 6D 位姿基准，在 15 种零件上揭示现有方法的明显性能缺口，其中 SAM6D 的 XYZ-IBD 6D AP 为 0.578，而其 BOP-Core 5 平均值为 0.704。

研究背景与动机¶

工业抓取需要知道零件在相机坐标系中的三维位置和旋转，而不只是画出一个检测框。家居物体上的纹理、颜色和语义通常能帮助区分目标，但金属零件往往无纹理、强反光且具有对称结构。同种零件密集堆在一起时，轮廓还会被邻近实例遮挡；即使类别识别正确，局部可见表面也未必足以确定完整位姿。

已有工业数据集覆盖了部分困难，却未同时充分覆盖零件多样性、随机高密度堆叠、强镜面反射与精确真值。更棘手的是，反光不只影响待测模型，也会污染用来制作标签的深度传感器。直接在失真的点云上配准 CAD，可能让基准本身的误差掩盖算法差异。机械臂重复定位、多传感器采集和临时消反射涂层，使得保留原始视觉难度、同时改善标注几何成为可能。

核心 idea：把困难的原始观测与高质量标注几何分开获取，再用噪声匹配的仿真重走标注流程，既保留真实工业视觉挑战，也显式估计标签误差。

方法详解¶

整体框架¶

本文主要贡献是数据集、标注流程和评测协议，并未提出一个新的位姿网络。输入是工业 CAD 模型以及料箱的多视角 RGB、灰度和深度观测，输出是实例掩码、深度与 6D 位姿标签，以及已见/未见物体的检测和位姿评测结果。

流程先进行标定与双次采集，再以喷涂后的深度生成混合位姿标注；随后通过噪声匹配验证估计标签误差，最后执行分设定评测。下面的图表示数据生产与验证流程，不是测试时把喷涂真值交给模型的推理网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["工业 CAD 与料箱"] --> B["标定与双次采集"]
    B --> C["混合位姿标注"]
    C --> D["噪声匹配验证"]
    D --> E["分设定评测"]
    E --> F["标签质量与基线 AP"]

关键设计¶

1. 标定与双次采集：观测保留反光，标注获得可靠几何

数据包含直径 54–300 mm 的 15 种工业零件，每种零件构造 5 个随机堆叠场景，共 75 个真实场景。每场景实例数为 11–60，论文报告平均约 22 个。FANUC M10iD/8L 机械臂末端刚性安装 RealSense D415、XYZ Robotic AL-M DLP 结构光相机和 Photoneo PhoXi M 扫描仪，工作距离为 600–1000 mm。它们分别提供互补的彩色/灰度和深度观测，而非三种模态都拥有同等深度质量。

采集视点位于以料箱中心为原点的球面，仰角覆盖 45°–90°，随机选择 50 个视点。先放置 4 个精密标定球，完成去畸变和手眼标定，再用球面点云的 ICP 精配准建立参考视点与其余 49 个视点的变换。正文给出的平均标定 RMSE 约为 0.248 mm；这些变换随后承担跨视点融合和标签传播，不能仅靠机械臂名义位姿替代。

正式采集先喷涂临时消反射涂层 Acksys SP-102，获取几何更可靠的深度，再在 25°C ±1°C 环境下等待 15 分钟挥发，按相同视点重采原始外观。机械臂重复定位精度为 ±0.06 mm。这个顺序的意义在于，喷涂帮助标签生成，但最终仍记录未经消反射处理的困难输入；配准质量则依赖场景在两次采集间保持不动。

2. 混合位姿标注：在融合场景中标一次，再传播到所有视点

喷涂增强的深度先被融合成统一场景点云。标注者在约束式 GUI 中把 CAD 粗略对齐到每个实例，平移与旋转调整步长分别为 ±1 mm 和 ±1°；之后多尺度 ICP 先在降采样点云上做整体调整，再用全分辨率数据细化配准。人工步骤负责在相似实例和对称结构中指定对应关系，ICP 负责减少局部几何偏差，二者作用不同。

最终位姿通过已经标定的变换传播到 50 个视点，不需要逐图重复人工标注。XYZ DLP 是主相机，另外两个相机的标签通过相机间外参投影得到。因此，多视图/多传感器标签不是独立人工判断，而是共享一次场景级配准；这能改善一致性，也意味着初始配准或标定偏差会传播到多个图像。论文总计报告约 273k 个带标注实例，不能把它理解成 273k 个独立物理零件或独立场景。

3. 噪声匹配验证：测量整条标注链，而非只引用传感器规格

真实堆叠零件的物理真值难以直接测量，作者因此在仿真中复现标定球、相机参数和 50 个视点，对渲染深度施加不同强度的高斯噪声，再运行相同的 ICP 标定。选择标准不是主观让深度图“看起来像真的”，而是使仿真标定 RMSE 与真实流程接近：深度噪声标准差为 0.26 mm 时，RMSE 为 0.248 mm。

接着用 BlenderProc 让 CAD 零件自由落入料箱，移除落到箱外的物体，并加入匹配出的噪声。标注者在这些已知真实位姿的合成场景中重复多视图融合、人工调整和多尺度 ICP。通过三维质心距离上的 Hungarian assignment，把标注位姿与仿真真值一一对应，再计算位置和角度误差。评估每种物体的 3 个场景，每场景最多 60 个样本，报告平均位置误差 0.999 mm、标准差 0.12 mm，平均角度误差 0.432°、标准差 0.08°。

这里验证的是“与真实标定误差匹配的仿真流程”中的累计误差，不是对所有真实标签逐个完成外部计量。高斯噪声近似有助于量化，但不能保证完整覆盖反光的系统性偏差或涂层引入的变化；读者应把亚毫米精度理解为有条件的验证结果，而非每个实例的误差上界。

4. 分设定评测：区分对象适配、泛化和检测前端的影响

合成训练集对每个零件运行 120 次自由落体场景模拟，每场景包含 10–60 个实例，渲染 25 帧，并变化光照和材质，采用与 XYZ 结构光传感器匹配的内参。每物体约 3,000 帧，总计 45,000 个 RGB-D 样本。真实数据按场景划分为 15 个验证场景和 60 个测试场景，对应 2,250 和 9,000 帧，避免把同一场景的邻近视点随意当成独立训练/测试样本。

已见物体方法使用目标物体的合成数据训练，再测试真实场景；未见物体方法直接使用外部大规模预训练模型，不在 XYZ-IBD 上额外微调。“未见”不是未知 CAD：这是 model-based 任务，仍提供对象模型。未见 6D 基线统一使用 SAM-6D 分割结果，已见 6D 基线使用 YOLOX 检测结果。因此同组比较控制了检测前端，而跨组差异仍包含前端和预训练数据的影响。

2D 协议按实例掩码 IoU 的 0.50–0.95 阈值、步长 0.05 计算 AP，再对物体类别平均。6D 协议采用考虑对称性的最大三维表面距离 MSSD 和最大二维投影距离 MSPD，分别以空间距离与投影像素偏差刻画位姿错误，并在各自阈值集合上汇总。对称性处理避免把几何等价的旋转误判为错误。最终聚合可写为：

\[ \mathrm{AP}=\frac{1}{2|\mathcal O|}\sum_{o\in\mathcal O}\left(\mathrm{AP}_{\mathrm{MSSD},o}+\mathrm{AP}_{\mathrm{MSPD},o}\right). \]

其中 \(\mathcal O\) 是物体集合，每个分项是相应物体在该误差准则下、按评测阈值聚合的 AP。表中 AP 是无量纲的 0–1 数值，不是毫米误差，也不是 BOP 常见的 AR；复现具体阈值与对称变换应遵循论文指定的 BOP 协议。

损失函数 / 训练策略¶

本文没有新损失函数，训练细节是为基线复现服务。附录 B 中，YOLOX 使用单张 NVIDIA RTX 4090、batch size 24，训练 30 epochs，前 15 epochs 做数据增强，耗时约 18 小时。GDRNet 使用同型单卡和 batch size 24，训练 10 epochs，论文另报告约 490,000 steps、24 小时；这两种训练长度口径应以原配置核对，不自行换算。

SurfEmb 对每种物体训练，batch size 24、500,000 steps，同型单卡耗时约 20 小时。附录 A 还定义了多视图协议：每场景选空间分布最开的 5 个视点，其中 1 个目标视点、4 个参考视点，并提供相对相机位姿；单视图方法仅用目标视点。表 4 并非单视图与多视图增益的消融，不能据此推断多视图改善幅度。

实验关键数据¶

主实验¶

下表摘录原文表 4。BOP-Core 5 为 YCB-V、T-LESS、LM-O、IC-BIN、TUD-L 的平均 AP；它们的物体、场景与训练数据不同，跨数据集差异是难度证据，不是严格控制变量实验。所有 AP 均越高越好。

方法	任务	对象设置	BOP-Core 5 AP	XYZ-IBD AP
YOLOX	2D	已见	0.798	0.774
CNOS(SAM)	2D	未见	0.361	0.275
SAM-6D(SAM)	2D	未见	0.449	0.296
NIDS-Net	2D	未见	0.494	0.258
GDRN	6D	已见	0.827	0.266
SurfEmb	6D	已见	0.758	0.247
MatchU	6D	未见	0.705	0.529
FoundationPose	6D	未见	0.734	0.564
SAM6D	6D	未见	0.704	0.578

消融实验¶

论文没有提出新网络，也未报告网络模块消融；这里保留原文表 3 的噪声敏感性分析。噪声施加在仿真深度上，RMSE 来自标定球点云的视点配准，并非最终物体位姿误差。

高斯深度噪声标准差 (mm)	平均标定 RMSE (mm)	说明
0.00	0.199	无注入噪声仍有流程残差
0.10	0.209	小噪声配置
0.20	0.233	接近实测标定水平
0.26	0.248	作者选用的噪声匹配点
0.30	0.259	超过匹配目标

关键发现¶

SAM-6D(SAM) 的 2D AP 从 0.449 到 0.296，差值为 0.153，按前者归一化相对下降约 34.1%；不能称为下降 34.1 个百分点。
SAM6D 的 6D AP 从 0.704 到 0.578，差值为 0.126；它仍是表 4 中 XYZ-IBD 上最好的 6D 基线，但远未解决该任务。
YOLOX 的 2D AP 达到 0.774，而 GDRN 的 6D AP 只有 0.266，提示检测成功不等于位姿精确；这两个指标任务不同，不能直接相减解释为某模块损失。

亮点与洞察¶

将“供模型看的原始外观”和“供标注用的可靠几何”分离，避免为改善真值而同时简化测试输入。类似设计可以用于其他高反光、难测量的感知数据集。
以真实标定 RMSE 约束仿真噪声，比单独引用传感器分辨率更接近标注链的实际表现。它也暴露出零噪声配置仍有残差，说明噪声并不是唯一误差来源。
同种零件的多实例重复迫使模型同时解决实例划分和几何对应，而不能只依赖类别语义。统一部分基线的前端有助于观察这种困难如何影响后续位姿估计。

局限与展望¶

只有 15 种零件、75 个真实场景，多帧标注规模不等于同等数量的独立场景。作者提出扩展物体类别和工作条件；这也是检验更广泛泛化能力的必要方向。
亚毫米结论来自噪声匹配仿真，均值 0.999 mm 非常接近 1 mm，标准差为 0.12 mm；不能理解成所有真实实例均小于 1 mm。外部计量和真实失败案例审计会增强证据。
原文表 1 给出 22.5k frames，而第 4.1 节验证/测试帧数合计为 11,250；正文没有明确统一双次采集等计数口径。表 2 的标定总 RMSE 为 0.245 mm，而正文及表 3 匹配点为 0.248 mm；位置误差表格写 0.99 mm，正文写 0.999 mm，笔记保留对应来源而不擅自合并。
缺少涂层、传感器选择、遮挡程度和检测前端的系统控制消融，也没有闭环机器人抓取成功率。当前结果证明感知评测困难，不直接证明下游操作收益。

评分¶

新颖性: 4/5。主要创新是工业数据条件与误差验证组合，而非新的位姿网络。
实验充分度: 4/5。覆盖已见/未见及 2D/6D 任务，但缺少真实计量和系统控制消融。
写作质量: 3/5。采集流程较具体，部分数据计数、误差精度和训练长度口径仍需澄清。
价值: 4/5。为密集反光工业零件提供了有针对性的基准和可复用标注流程。