Reconstruction by Generation: 3D Multi-Object Scene Reconstruction from Sparse Observations¶

会议: ECCV2026
论文: ECCV 原文
领域: 重建与渲染
关键词: 稀疏观测重建、形状与位姿联合生成、遮挡补全、位姿条件纹理、物体部件

一句话总结¶

RecGen 从一个或两个视角的 RGB-D 与实例掩码联合生成完整形状和相机坐标系中的位姿，再用位姿约束纹理生成，在 ArtVIP 部件重建中将 SAM3D 的严格位姿准确率从 45.8% 提高到 84.0%，但双视角及外观指标并非处处优于基线。

研究背景与动机¶

把真实桌面或机械装置变成可用于机器人仿真的数字孪生，不只是从图像生成一个外形相似的网格。物体必须具有合适的完整尺寸，并放在相机观测所对应的位置与朝向；被遮住的背面、抽屉侧壁等也要补出来。Any6D、SceneComplete 一类流程先生成物体，再利用深度、特征匹配或 FoundationPose 配准。问题在于，形状生成若把可见片段误当成完整物体，后续配准面对的就已经是尺寸或拓扑错误的候选，无法简单靠调整刚体位姿修复。

形状与位姿的不确定性相互牵连：可见的一小片表面既可能属于小物体，也可能属于被严重遮挡的大物体；圆柱外形即使对齐，标签仍可能被贴在错误方向。SAM3D 已尝试联合预测几何与布局，但本文关注的实际输入更复杂，包括带传感器误差的深度、部件级掩码，以及可提供互补信息的第二个相机视角。仅学习无遮挡物体或在 RGB 上抹掉背景，会让网络失去判断遮挡关系的重要线索。

RecGen 因而把局部场景上下文、深度几何和目标掩码作为生成条件，用合成遮挡场景学习物体与部件的完整形状，并让外观生成显式知道已预测的朝向。核心 idea：把“生成什么形状、放在哪里”作为同一个概率生成问题，再将这次生成的位姿传给纹理阶段，使补全、定位和外观朝向在同一组观测下保持一致。

方法详解¶

整体框架¶

输入是一个或两个视角的 RGB、深度、相机内参，以及标明目标物体或部件的分割掩码；输出是每个目标的带纹理网格和各视角对应的相似变换。这里的位姿属于 \(\mathrm{Sim}(3)\)，除旋转和平移外还包括各向同性尺度，并非只估计六自由度刚体变换。

系统先构建“多模态上下文条件”，随后通过“结构与位姿联合生成”得到稀疏体素结构与位姿，最后执行“位姿条件资产恢复”，生成局部潜变量并解码几何和外观。场景由逐目标重建的资产组成；本文没有把所有物体的接触约束一起纳入物理联合优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["一或两视角<br/>RGB-D、内参、掩码"] --> Context["多模态上下文条件"]
    Context --> Joint["结构与位姿联合生成"]
    Joint --> Asset["位姿条件资产恢复"]
    Context --> Asset
    Asset --> Output["带纹理网格<br/>各视角位姿与尺度"]
    Train["合成形状与位姿真值<br/>仅训练时监督"] -.-> Joint
    Train -.-> Asset

这是一套两阶段 rectified flow 生成系统，而不是先固定一张完整网格、再运行独立配准器。两个生成器分别训练，第二阶段显式接收第一阶段的输出；“联合”主要指第一阶段形状结构与位姿的共同生成，不意味着整个系统端到端同时优化。

关键设计¶

1. 多模态上下文条件：保留遮挡线索，同时让深度只描述目标

RGB 经过 DINOv2 编码，目标掩码经过可学习卷积后加到图像特征上，而不是把掩码外的 RGB 全部抹掉。模型因此既知道“重建谁”，也能看到附近遮挡它的物体。训练时围绕目标动态裁剪，外围留白在 20% 到 100% 之间变化：过紧裁剪会丢失上下文，整幅图又会让小目标的有效信息被大量背景稀释。掩码是目标指示信号，并不等于要求模型只生成那一片可见表面。

深度使用不同策略：通过相机内参反投影得到逐像素三维点图，去掉目标掩码外的点，避免远处背景的深度范围干扰尺度估计。以三个坐标维度的中位数估计目标中心，再以点到中心的距离范数之第 5 与第 95 百分位之差估计尺度，完成居中与缩放后编码并加到图像特征中。这样，RGB 的背景负责提供遮挡语境，点图则提供目标自身的几何依据。双视角时，各视角条件沿序列维拼接并加入可学习视角标识，位姿输出 token 也带相应标识；训练随机丢弃第二视角及其位姿，因此同一网络兼容单视角。正文只明确实现一个或两个视角，不能直接推断可输入任意数量相机。

2. 结构与位姿联合生成：让尺度、朝向和补全形状共同去噪

完整目标结构先表示为 \(64\times64\times64\) 的二值占据网格，再由三维卷积 VAE 压缩成 \(16\times16\times16\times8\) 的连续特征网格。直接对高分辨率二值体素建模代价较高，压缩后的连续空间更适合流匹配。第一阶段把序列化结构特征和额外的位姿 token 放进同一个 transformer，在每个时间步同时预测两者的速度场，通过 Euler 积分从噪声逐步得到结构和相似变换。结构解码回占据网格后取出激活体素，作为下一阶段的空间支撑；位姿则决定这些物体中心坐标如何映射到归一化相机坐标。

这种耦合让网络能够学习“某种完整形状对应怎样的尺寸和摆放”，而不是强迫配准器接受前一阶段已经错误补全的形状。第一阶段旋转使用连续 6D 表示，通过 Gram-Schmidt 正交化恢复旋转矩阵，避免不连续参数化给优化造成困难；所有位姿分量再按训练集统计量做 z-score 标准化，减少旋转、平移和尺度量纲不同带来的损失失衡。生成式建模允许表达遮挡与对称性导致的多解，但正文没有给出候选数量、候选选择策略或不确定性校准实验，不能把多假设能力等同于已验证的置信度估计。

3. 位姿条件资产恢复：几何相同的物体也要把纹理放对方向

第二阶段在激活体素处生成局部结构化潜变量。它先用稀疏卷积将 \(2^3\) 空间邻域打包，减少 transformer 的序列长度，再通过带时间调制的稀疏 transformer 和具有跳跃连接的上采样头恢复细节。与第一阶段一样，时间通过自适应层归一化注入，多模态观测通过交叉注意力进入网络；额外的关键条件是第一阶段预测的位姿，经线性层编码后与观测特征拼接。这里旋转采用 9D 表示，并保留平移与尺度信息。

位姿条件对有标签的瓶罐尤其重要：两个网格的圆柱轮廓可以一样，标签相对相机的位置却不同。如果外观生成只知道几何，就无法消除这种歧义。生成的局部潜变量分别交给网格解码器和 Gaussian Splatting 解码器，前者通过 FlexiCubes 提取几何，后者生成彩色三维高斯。最后从多个视角渲染高斯外观，并将图像烘焙到网格纹理上。高斯不是最终几何资产的替代品，而是提供可烘焙的外观表示。

一个完整示例¶

设一个带标签的圆柱容器被前景物体挡住，只露出上半部分，同时提供两个相机的 RGB-D 和目标掩码。这个例子用于解释数据流，并非论文新增测试样本。

首先，裁剪图保留遮挡物边缘，让网络意识到目标仍可能向下延伸；点图只保留容器的可见深度，视角标识区分两组观测。第一阶段据此生成完整圆柱结构及两个视角各自的旋转、平移和尺度，而不是把可见上半截直接当作完整容器。

第二阶段利用已生成的朝向决定标签在规范物体坐标中的位置，解码并烘焙纹理。只提供一个视角时仍可运行同样流程，但看不见的背面与标签方向可能存在多解；第二视角只是增加约束，不能保证每项误差都下降。

损失函数 / 训练策略¶

两个生成器分别采用条件流匹配目标。第一阶段联合监督结构潜变量与标准化位姿，正文明确给出位姿项权重 \(\alpha=0.01\)；第二阶段学习局部潜变量生成。缓存中的联合条件分布、位姿标准化公式与总损失式存在排版损坏，因此这里只记录文字可确认的机制和权重，不猜补原文精确公式。点图归一化后是否严格落入单位立方体，也不能仅由其居中缩放文字保证。

训练素材来自 Objaverse-XL、ABO、HSSD 三个物体库，以及 PhysXNet、PartNext、PartNet-Mobility 三个部件库。物体场景随机放置其他资产制造遮挡，部件场景主要利用单物体内部的自遮挡。作者报告 198K 资产、198K 场景与 3.2M RGB 图像及配套深度、掩码和位姿；同时称每场景渲染 20 个视角，这些汇总数量不能直接相乘互相验证，笔记保留原始报告口径。

为了适应真实深度噪声，训练使用 FoundationStereo 估计的立体深度，而非仅依赖理想渲染深度。外观训练排除纹理质量较低的 PartNet-Mobility 与 PhysXNet 子集，所以形状和外观训练数据并不完全相同。

模型从约 1.2B 参数的 TRELLIS-image-large 初始化，使用 AdamW，学习率 \(10^{-4}\)，batch size 512，训练 55K 次迭代，64 张 H100 上约需 48 小时。无分类器引导的条件丢弃率为 0.1；推理使用引导尺度 3.0 和 50 步去噪。消融模型另用 batch size 64、150K 次迭代，不应把它的 full model 数字当作主实验模型结果。

实验关键数据¶

主实验¶

物体评测覆盖 HB、LM-O、HOPE、ReOcS，部件评测使用扩展的 ArtVIP：由原先 6 个场景增加到 12 个场景，选取 284 个部件并渲染 924 张 RGB-D 图像。下面表格摘录原文表 1 可核对的 HB、ReOcS 和 ArtVIP 行，并不重算包含 HOPE 的整体均值。

\(\mathrm{CD}_{\mathrm{norm}}\) 是先用 ICP 与真值对齐，再按真值直径归一化的 Chamfer Distance，主要反映形状误差；ADD-SB 在带位姿的预测与真值网格之间计算双向表面距离，因而仍受形状误差影响，不能当成纯旋转误差。[email protected] 表示距离落入真值物体直径 5% 阈值的样本比例。

数据集	方法	CDnorm，越低越好	ADD-SB，越低越好	[email protected]，越高越好	[email protected]，越高越好
HB	SAM3D	0.033	0.062	54.6%	34.6%
HB	RecGen 单视角	0.032	0.049	73.8%	51.5%
HB	RecGen 双视角	0.029	0.048	74.2%	50.9%
ReOcS	SAM3D	0.026	0.057	43.6%	25.8%
ReOcS	RecGen 单视角	0.019	0.032	89.5%	60.8%
ReOcS	RecGen 双视角	0.018	0.032	91.1%	62.4%
ArtVIP	SAM3D	0.056	0.073	45.8%	22.6%
ArtVIP	RecGen 单视角	0.026	0.034	84.0%	24.4%
ArtVIP	RecGen 双视角	0.024	0.032	86.4%	24.8%

作者提出的直径相对误差 DRE 用于检查遮挡情况下是否恢复了完整尺寸，其定义为：

\[ e_d=\frac{|d_{\mathrm{pred}}-d_{\mathrm{gt}}|}{d_{\mathrm{gt}}}. \]

[email protected] 是 \(e_d<0.05\) 的样本占比。它不同于 Chamfer Distance：表面看起来相似，不代表物体完整尺度已足够准确。

原文表 2 进一步区分 ICP 前后的渲染质量。下表仅保留 SAM3D 与单视角 RecGen；对称子集来自 HOPE 与 HB，不能与全体数据的均值混为同一个测试范围。

评测范围	方法	ICP 前 LPIPS	ICP 前 SSIM	ICP 前 PSNR	ICP 后 LPIPS	ICP 后 SSIM	ICP 后 PSNR
LM-O + HB + HOPE	SAM3D	0.219	0.821	15.72	0.161	0.841	17.42
LM-O + HB + HOPE	RecGen 单视角	0.199	0.825	15.85	0.170	0.834	16.54
对称物体子集	SAM3D	0.201	0.815	16.02	0.156	0.828	17.21
对称物体子集	RecGen 单视角	0.170	0.816	15.63	0.142	0.827	16.12

LPIPS 越低越好，SSIM、PSNR 越高越好。RecGen 在总体 ICP 前的三项指标占优，但 ICP 后总体三项均落后于 SAM3D；在对称子集上 LPIPS 更好，也不意味着 PSNR 更好。这支持其场景对齐及纹理朝向优势，而不支持“所有外观质量都更好”的结论。

消融实验¶

下表摘录原文表 3，每项只写 mean，不把原表的 mean / median 混在一起。物体范围是 HB、LM-O、ReOcS；部件范围是 ArtVIP，均为上述较小训练配置，所有指标越低越好。

配置	物体 CDnorm	物体 ADD-SB	部件 CDnorm	部件 ADD-SB
完整模型	0.042	0.062	0.033	0.043
不使用立体深度噪声	0.048	0.078	0.030	0.039
不做位姿标准化	0.042	0.074	0.038	0.056
不使用部件训练数据	0.040	0.060	0.073	0.086
不使用预训练	0.044	0.067	0.044	0.056

关键发现¶

部件能力并非通用物体先验自动带来的：去掉部件数据后，ArtVIP 的 CDnorm 从 0.033 增至 0.073，ADD-SB 从 0.043 增至 0.086，而物体指标反而略有改善。
噪声训练的收益与测试域有关：去掉立体深度噪声让真实物体的 ADD-SB 从 0.062 增至 0.078，但无噪声合成 ArtVIP 上从 0.043 降至 0.039，不应概括成所有场景都获益。
原文表 4 中，HB 的动态裁剪 ADD-SB 为 0.052，整图输入为 0.132；但 mask overlay 的 CDnorm 为 0.031，优于动态裁剪的 0.035，说明裁剪策略也不是逐指标最优。
58 条真实遥操作轨迹、3 个任务的仿真回放成功率为 59%，SAM3D 为 38%，提升 21 个百分点。DROID 的 60 个场景、200 个物体上，相对于输入点图的 Chamfer Distance 为 0.015 对 0.021；这衡量可见几何一致性，不是背面完整形状的真值误差。

亮点与洞察¶

RGB 背景和深度背景不必采取相同处理。保留前者帮助理解遮挡，过滤后者避免尺度污染，这是有明确任务动机的条件设计。
对称性不仅是位姿评价的问题，也会传导到纹理生成。把生成位姿作为外观条件，能为几何上不可区分的朝向提供一致的纹理坐标依据。
形状指标与带位姿渲染指标需要分开看。ICP 前后的对照表明，一部分视觉收益来自资产被放对了位置，而非纹理解码器本身全面更强。

局限与展望¶

输入假设已有深度、相机内参和物体或部件掩码；论文不是从无标注 RGB 自动发现全部物体的完整系统，也未系统展示分割错误敏感性。
两视角不总优于单视角：LM-O 的 CDnorm 从 0.050 变为 0.056，ADD-SB 从 0.068 变为 0.075；HB 的 [email protected] 也从 51.5% 降至 50.9%。
部件几何与位姿不等于关节轴、接触、质量和摩擦参数。回放结果仍只有 59%，尚不能据此宣称得到普遍物理有效的可交互数字孪生。
作者报告比 SAM3D 少约 80% 的训练网格，但仍使用大型 TRELLIS 预训练模型与 64 张 H100；资产数量优势不等于从零训练算力更低。正文未报告明确单场景推理时延。
原文中存在汇总与逐项表述不一致：例如将物体平均 CDnorm 从 0.033 变为 0.034 描述为改善，而该指标越低越好。此处采用逐项表格，不把摘要的总体百分比外推到所有设置。

评分¶

新颖性: 4/5。联合生成、位姿条件外观和多模态训练配方形成针对实际重建问题的完整设计，但沿用了强预训练骨干。
实验充分度: 4/5。包含物体、部件、外观、消融及机器人回放，仍缺少详细速度、不确定性与输入掩码鲁棒性评估。
写作质量: 3/5。机制叙述清晰，但部分汇总结论不够精确，缓存公式也存在明显提取损坏。
价值: 4/5。为遮挡下的真实到仿真资产构建提供实用方向，物理可用性仍需要后续约束与验证。