XDen-1K: A Density Field Dataset of Real-World Objects¶

会议: ECCV 2026
论文: ECCV 论文页面
领域: 医学图像 / X 射线密度场数据集
关键词: X 射线成像、密度场、真实物体数据集、物理属性推理、体积分割

一句话总结¶

XDen-1K 用双平面 X 光扫描加部件级可微优化，为 1,000 个真实物体（137 类）重建出经线性衰减系数换算的体密度场，配套水密网格、部件级标注与真实 X 光图像，并设密度估计基准、X 光条件体积分割和质心感知抓取三个下游任务——AnyGrasp 引入其质心先验后抓取成功率从 27.50% 提到 77.75%，但重建精度目前只由重投影一致性和小子集 CT 部分参考支撑。

研究背景与动机¶

物体不只有外观。颜色与纹理之下，内部组成——材料、厚度、空腔、加强筋、质量分布——决定了一个物体如何工作、如何失效、能怎么用。对机器人而言，这些"看不见"的属性尤其关键：要知道质量集中在哪里（质心、转动惯量），哪里硬哪里软，什么样的力和抓取是安全有效的，物体会如何变形或断裂。问题在于，密度本质上是一个体量属性，普通 RGB 相机"看不见"；表面材质估计（SVBRDF、反照率、粗糙度）近年进展很快，靠的是大规模受控视觉数据集，而密度这个方向连一份真实世界的测量数据都没有。

现有工作因此都建在合成资产或"假设的物理"上。PIXIE 从蒸馏特征体回归逐体素材料参数，GaussianProperty 和 PuGS 借助分割与视觉语言先验给 3D 高斯赋物理属性，NeRF2Physics 从语言嵌入特征场推断密度，PhysX-3D、3DCoMPaT200 则给合成资产标注材料类别——它们都没有真实体密度真值，预测难以严格验证，也接触不到真实物体里多材料混合与制造缺陷带来的复杂性。获取真值的直接手段是 CT，但高分辨率 CT 单件扫描通常要 15–60 分钟、花费 100–500 美元，1,000 个物体意味着数百到上千扫描小时和六位数预算，且高密度材料还有束硬化效应让内部信息更难恢复。更便宜的路线各有硬伤：单张 X 光沿投影方向积分、彻底丢失深度，是严重病态的逆问题；SAX-NeRF、SCOPE 等稀疏视角 CT 重建通常仍要几十个投影；从双平面 X 光生成 CT 体积的方法（如 X2CT-GAN）又依赖大规模配对 CT–X 光数据，非医学物体没有这种配对。

XDen-1K 的观察是：物体的三维形状和部件划分可以从多视角 RGB 高质量恢复，真正缺的只是每个部件的材料参数；而两幅正交 X 光提供的衰减积分恰好足以约束这些参数。核心 idea：以人工部件分割为结构先验、假设每个部件由单一均匀材料构成，用 Beer-Lambert 定律建立可微的 X 光前向投影模型，把"从两幅 X 光恢复稠密密度场"的病态逆问题压缩为对每部件一个线性衰减系数的低维优化，从而以低成本为 1,000 个真实物体建立物理有据的密度场数据集与基准。

方法详解¶

整体框架¶

XDen-1K 为每个物体提供三类配对数据：部件级分割的水密网格、真实采集的双平面 X 光图像、重建出的体密度场。构建流程标准化：先用标定多视角 RGB 重建水密网格并量取真实尺度；再做人在回路的部件分割，把物体分解为功能上有意义的组件；然后用双平面 X 光机从两个正交方向采集内部衰减信号；最后把恢复出的形状先验放进 X 光优化过程，估计体密度场。对少数内部结构极复杂的物体，还根据 X 光清晰揭示的内部结构手工建模内部几何，作为重建的补充先验。

数据集覆盖 1,000 个物体、137 个类别：小到螺丝、手电筒、钥匙，中到水壶、自行车头盔、电动工具（约 20–30 cm），大到厨具、运动器材、家具；勺子、螺丝刀、剪刀、钳子等高频日常物品都在其中，类别分布相对均匀。采集硬件为 TaoImage Eagle Eye 双平面 X 光系统，参数是 100 kV 管电压、450 mA 管电流、单次曝光 280 ms、总曝光量 126 mAs。项目页面与数据托管在 xden-1k.github.io 与 Hugging Face（zhangjxx/XDen-1K）。

理解这套管线有三个前提。第一，网格和部件分割不是本文要解决的开放问题，而是当作结构先验使用——重建质量直接受部件分割质量约束，这也是当前坚持人工标注的原因。第二，密度场是"分区常数"的：每个部件一个密度值，不是逐体素自由场，这是用两幅 X 光做重建必须付的表示代价。第三，CT 在这条管线里只当部分参考而不是真值：管电压较低加上束硬化，金属件（如气泵）会出现条纹伪影并偏离 LAC-密度线性换算。在此之上，论文设了三个下游子任务：密度估计方法基准、X 光条件体积分割、质心感知机器人操作。

关键设计¶

1. Beer-Lambert 前向模型与 LAC-密度换算：把"看不见的密度"变成可积分测量的物理量

X 光能穿透物体，强度沿射线按 Beer-Lambert 定律指数衰减。对穿过物体的射线 \(r\)，探测器强度 \(I\) 与入射强度 \(I_0\) 满足

\[I = I_0 \, e^{-\int_L \mu(x)\,dx},\]

取对数后，投影测量 \(p=\ln(I_0/I)=\int_L \mu(x)\,dx\) 就是线性衰减系数（LAC）\(\mu\) 沿射线的线积分——对数变换把指数衰减化成线性积分形式，这是层析重建的数学基础。LAC 与密度的关系由质量衰减系数（MAC）桥接：\(\mu = \rho \cdot \frac{\mu}{\rho}(E)\)，MAC 由材料原子成分和光子能量决定。依据 NIST XCOM 数据库，水、聚合物、生物组织等常见低原子序数材料在 100 keV 附近的 MAC 收敛到约 0.17 cm²/g，LAC 与密度近似线性，重建出的 LAC 可直接换算成密度。论文 Table 1 给出代表性材料在 100 keV 的数值：水 1.00 g/cm³ 对应 LAC 0.17 cm⁻¹，玻璃 2.40 对应 0.432，铝 2.70 对应 0.51，空气 0.0012 对应 1.8×10⁻⁴。这条换算链是数据集物理意义的来源，同时划定了边界：MAC 因材料而异，偏离"≈0.17"假设的材料（典型是金属）需要另做处理。

2. 部件级分区常数场与可微双平面优化：用几何先验把高维逆问题压成 K 个标量

两幅正交 X 光远不足以稠密反演逐点 LAC 场，XDen-1K 的关键重参数化是让全部空间变化由已知几何承担：人工部件分割把物体分成 K 个互斥区域 \(\{\Omega_k\}_{k=1}^K\)，假设每区域单一均匀材料，衰减场写成

\[\mu(\mathbf{x}) = \sum_{k=1}^{K} \mu_k \, \mathbf{1}_{\Omega_k}(\mathbf{x}),\]

代入前向模型后，探测器像素 \(\mathbf{p}\) 上的预测强度只依赖射线穿过各区域的路径长度：

\[\hat{I}_i(\mathbf{p}) = I_0 \exp\Big(\sum_{k=1}^{K} \mu_k \, \ell_{i,k}(\mathbf{p})\Big),\]

其中路径长度 \(\ell_{i,k}(\mathbf{p})\) 可由部件分割与投影几何预先算出。重建于是退化为对 K 维向量 \(\mu\) 的优化——联合最小化双平面模拟投影与实测投影的差异，背景空气固定为 \(\mu_{air}\)；借助可微前向投影算子，梯度自动计算，用 Adam 迭代到收敛。原本估计稠密场 \(\mu(x)\) 的高维逆问题被压成每部件一个参数的低维问题，部件掩码承担了几乎全部正则化；附带的好处是错误可定位——某个部件的密度不对，能直接追溯到对应区域。

3. 标准化多模态采集管线：让 1,000 个物体走同一条可审计的流水线

数据集的可靠性来自流程统一而非逐件特调。每个物体按固定顺序处理：标定多视角 RGB → 水密网格重建并量取真实尺度 → 人在回路部件分割 → 双平面 X 光采集 → 可微优化解 LAC → 换算密度场。内部极复杂的物体由人工按 X 光显影的内部结构补建几何。验证用两条独立证据：一是重投影一致性——把重建场按前向模型重新渲染，与真实 X 光在图像域比 MAE 和 Pearson 相关系数；二是对小子集做高分辨率 CT 扫描作部分体参考。这个设计的取舍很清楚：人工标注保证当前数据质量，但人在回路也限制了规模化，论文因此同时给出只用外部几何与部件分割的 Fine 变体，优化流程不变，用于评估弱先验下的退化幅度。

损失函数 / 训练策略¶

密度场重建本身不是训练问题：每个物体独立做一次低维优化（K 个 LAC 参数，Adam 至收敛），没有跨物体的可学习参数。真正带训练的是下游分割模型 X-Field——它把 PartField 从表面分割扩到体积域，以双平面 X 光为条件分割物体三维体积。骨干上，输入点云经 PVCNN 提取逐点特征并升维成 triplane 表示，transformer 解码器预测可查询的三维特征场；X 光侧由图像编码器编码，由于 X 光外观强烈依赖物理尺度，引入真实尺度 \(\lambda\) 并用 FiLM 调制成尺度感知特征 \(L_X^{\lambda}=\mathrm{FiLM}(L_X,\lambda)\)，再与 triplane 特征做交叉注意力融合，得到 X 光条件的体积特征场。在物体体积内随机采样查询点，密度 MLP 头回归每点密度，用对合成真值密度的 \(\ell_2\) 损失监督；针对双视角信息不足的缺视角歧义，另加一个辅助目标——从第三个平面的特征解码一幅 X 光图像并以 MSE 对真值监督，正则化三维特征学习。推理时对查询点的预测密度做 k-means 聚类，把体积分成密度相近的区域，得到材料感知的体积分割。X-Field 的训练数据是建立在 PartNeXt 上、材料属性按真实物体分布合成的合成数据集，不使用 XDen-1K 真实数据训练。

实验关键数据¶

主实验¶

数据集质量用两个互补视角验证。重投影一致性（原文 Table 2）：人工标注先验下，LAT（侧位）重投影 MAE 均值 0.778（σ 0.191），PA（正位）0.498（σ 0.207），背景噪声地板为 0.220 / 0.200，说明重建场能解释真实 X 光测量；把分割先验换成 X-Field 预测时误差升到 1.121 / 0.724。对 CT 参考（原文 Table 3，小子集）：胶水 CT 密度 MAE 0.181、铅笔 0.294、剃须刀 0.326、圆珠笔 0.710，气泵因金属条纹伪影未给 CT 数值；重投影侧剃须刀最差（LAT MAE 1.443）、圆珠笔的 LAT 相关系数低至 0.065。

作为物理推理基准（原文 Table 4），三个代表性方法按体素密度 MAE、质心 L1 距离（cm）与总质量 MAPE 评测：

方法	密度 MAE	质心距离 (cm)	总质量 MAPE
NeRF2Physics	1.157	0.523	1.174
GaussianProperty	1.295	0.632	1.247
Pixie	1.228	0.547	0.713

质心感知抓取（原文 Table 6，Franka Emika Panda + 平行夹爪）：用密度场先验从 AnyGrasp 候选中选夹爪端点最靠近预测质心的抓取位姿，对比无先验与 NeRF2Physics 质心两种设置：

配置	抓取成功率 (%)	Joint-7 力矩 (N·m)	平均关节力矩 (N·m)
AnyGrasp	27.50	0.521	9.645
+NeRF2Physics 质心	55.00	0.443	9.529
+XDen-1K 质心	77.75	0.435	9.497

XDen-1K 质心先验把成功率从 27.50% 提到 77.75%（+50.25 个百分点），比 NeRF2Physics 质心高 22.75 个百分点，腕关节（Joint 7）与平均力矩同步下降，说明抓得更稳且机械上更省力。Pick/Place/Push 三组定性实验给出机制解释：抓取点偏离质心会放大力臂与扭矩、直至突破接触摩擦；放置稳定性取决于质心投影是否留在支撑域内；低于质心施力利于平移，高于质心则产生更大倾覆力矩。

消融实验¶

X 光条件对体积分割的贡献（原文 Table 5）：

方法	合成数据 IoU	真实数据 IoU
PartField	53.185	38.410
X-Field（X 光条件）	72.645	49.251

加入双平面 X 光条件后，IoU 在合成数据提高 19.235、真实数据提高 10.841，定性分割结果也更一致，说明 X 光确实补上了 RGB 看不到的内部材料结构。

先验来源的消融（原文 Table 2）：把重建用的分割先验从人工标注换成 X-Field 预测，LAT/PA 重投影 MAE 从 0.778 / 0.498 恶化到 1.121 / 0.724，因此论文明确以人工标注为当前真值管线，把 X-Field 定位为有前景的下游应用而非管线组件。另一个可扩展性变体（Fine：去掉人工内部结构建模、其余不变，原文 Table 3）与原文叙述存在矛盾：文字称去掉人工内部先验带来"预期中的精度下降"，但以 LAT 重投影 MAE 为例，5 个物体中 4 个反而更低——气泵 1.064→0.741、剃须刀 1.443→1.218、铅笔 0.271→0.211、圆珠笔 0.286→0.239，只有胶水变差（0.298→0.341）。本文照录原表数字不修正，该矛盾无法从原文得到解释。

关键发现¶

密度推断方法离真实测量还很远。 三个方法的密度 MAE 都在 1.15–1.30 量级，而数据集中材料密度跨度从空气 0.0012 到铝 2.70 g/cm³；总质量 MAPE 最好的 Pixie 也有 0.713。没有方法全面领先：基于 LLM 的 NeRF2Physics 在密度 MAE 与质心距离上最好，基于学习的 Pixie 在质量 MAPE 上最好——这正是缺真实基准多年后的首次可量化差距。
X 光对分割是即时的增益，对重建先验还不成熟。 同一个 X 光模态，作为分割条件带来 10–19 个 IoU 点，但 X-Field 预测先验直接用于密度重建时误差仍显著高于人工标注（1.121 vs 0.778），"X 光有用"与"X 光驱动的分割已能替代人工"是两回事。
质心比外观更能预测抓取成败。 同一个 AnyGrasp 只换质心来源，成功率从 27.50%（无先验）到 55.00%（NeRF2Physics 质心）再到 77.75%（XDen-1K 质心），力矩单调下降——低维物理量以候选重排序方式注入现成管线，收益立竿见影。

亮点与洞察¶

用"每部件一个标量"的重参数化换掉稠密逆问题。 未知量从逐体素 LAC 场缩成 K 维向量，空间结构全部由部件掩码承担；这是两幅 X 光就能做 3D 密度重建的根本原因，也让重建误差可以定位到具体部件。
物理换算链清晰可审计。 Beer-Lambert → LAC → MAC → 密度，每步都有 NIST XCOM 数据背书；密度场不是黑箱回归输出，而是可追溯到测量物理量的结果，同时也明示了金属等失效区。
X 光被定位成"分割的条件模态"而非 CT 替代品。 X-Field 不试图从两幅图生成 CT 体积，而是让 X 光特征经 FiLM 尺度调制后条件化三维特征场，再用第三视角解码的辅助目标补双视角歧义——这个用法避开了生成式方法对配对 CT 数据的依赖。
质心先验是即插即用的。 只在 AnyGrasp 候选排序里加一步"选离预测质心最近的抓取"，不改任何网络，成功率翻近三倍——低维物理量作为先验的性价比极高，可直接迁移到其他操作任务的候选重排序。

局限与展望¶

分区常数假设限制表达力。 每部件单一密度，无法表达部件内部的多材料混合、梯度与复合结构；密度场分辨率受人工分割粒度限制。
LAC-密度线性换算对金属不可靠。 束硬化和较低管电压让金属件出现条纹伪影并偏离 MAC≈0.17 cm²/g 的近似（气泵即例子），这类物体的密度场需谨慎使用。
CT 参考不是真值，且子集很小。 作者明确 CT 只作部分体参考；论文只报告 5 个物体的逐物体 CT 对比，子集规模与选取标准未交代，重建精度整体上仍靠重投影一致性间接支撑。
人工环节限制规模化。 人在回路分割与内部结构手工建模是当前质量的来源，X-Field 自动先验与人工标注之间还有明显差距（重投影 1.121 vs 0.778）；作者展望更稳健的分割模型与标准化 X 光采集协议可以自动化并扩展流水线。
个别物体重建不稳。 圆珠笔 LAT 相关系数仅 0.065，提示某些几何/材料组合下两视角约束仍不足；论文未给出失败物体的系统分析。

评分¶

新颖性: 4/5。首个大规模"真实双平面 X 光 + 真实物体密度场"配对数据集，重建框架是已有物理模型与可微优化的务实组合而非算法突破。
实验充分度: 3/5。有重投影与 CT 双重验证、三个下游任务和真机抓取，但 CT 子集小且非完美真值、基准方法仅 3 个、Fine 变体数字与文字结论矛盾。
写作质量: 3/5。管线与采集参数交代完整、三个子任务清晰，但 Table 3 叙述与数字不一致、个别物体指标异常（圆珠笔相关性）未讨论。
价值: 4/5。填补物理属性推断缺真实基准的空白，对具身智能、物理仿真与 X 射线感知方向都有直接可用性。