DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising¶

会议: ECCV2026
论文: ECCV 官方页面
领域: 3D 视觉
关键词: 部件级三维生成、关系语义、协同去噪、几何外观解耦、文本条件生成

一句话总结¶

DreamPartGen 将部件几何与外观表示和语言导出的关系语义表示结合，通过部件内、部件间同步去噪生成可编辑的三维组合体，在 PartRel3D 上将 CD 从 PartCrafter 的 0.371 降至 0.081，但其低重叠指标不能直接等同于物理装配正确。

研究背景与动机¶

文本到三维生成已经能够产出外形完整的物体，但“像一架飞机”和“机翼、螺旋桨、起落架分别存在且连接正确”是不同要求。单一物体潜表示容易把几何、材质和语义混在一起，编辑某个部件时难以保证其他部分不变。PartGen、PartCrafter 等部件式方法让生成单元更细，却仍可能出现每个部件单独合理、组合后位置漂移或接触处破损的情况。

问题不仅在于是否把物体切成了多个网格，还在于模型是否持续知道这些部件的角色和关系。“金属叶片”描述局部材料与形状，“螺旋桨连接机身”约束装配，“两片机翼对称”则涉及多个部件。只给去噪器一份文本条件，不等于显式维护了这些不同层次的状态；而只靠包围盒或局部几何，也无法完整表达支撑、铰接等功能关系。

本文因此把语言从外部提示提升为生成过程中的结构化表示：局部语义与部件一起经历噪声和恢复，全局关系则作为不加噪的规划状态持续参与同步。核心 idea：让“这个部件是什么样”与“它应当怎样连接其他部件”分别进入局部和全局同步，在每一步去噪中共同约束几何、外观和装配。

方法详解¶

整体框架¶

输入是一段物体描述，也可以额外提供明确的部件关系三元组；输出是可独立操作的部件网格及其组合物体。模型用双路部件潜表示保存每个部件的几何、外观和槽位身份，用关系语义潜表示区分局部属性与全局关系，再通过两级同步协同去噪。

训练时，干净的几何和外观表示分别来自部件网格与多视角渲染；推理时没有这些真实部件输入，而是从高斯噪声初始化两路部件表示。文本在推理时仍提供语义条件，局部语义先按训练时的前向过程加噪，再与部件表示共同恢复，最终由三维 VAE 解码出部件网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["文本描述<br/>可选关系三元组"] --> DPL["双路部件潜表示"]
    INPUT --> RSL["关系语义潜表示"]
    TRAIN["训练：网格与多视图<br/>推理：高斯噪声"] --> DPL
    DPL --> SYNC["两级同步协同去噪"]
    RSL -->|局部语义加噪；全局关系不加噪| SYNC
    SYNC -->|下一去噪步| SYNC
    SYNC --> OUT["解码部件网格<br/>组合物体与外观渲染"]

图中的双路部件潜表示和关系语义潜表示是并行准备的两类状态，并非先从生成的部件中提取关系。训练数据中的关系来自描述的规范化处理；推理可以只使用提示词，并不强制调用外部视觉语言模型。

关键设计¶

1. 双路部件潜表示：让几何、外观和部件身份有各自稳定的位置

双路部件潜表示（Duplex Part Latents，DPLs）不是给整个物体一串混合 token，而是给每个语义部件维护几何 token、外观 token 和一个可学习的部件标识。几何分支把网格表面采样点及法线输入三维 VAE；外观分支把部件的多视角渲染送入预训练图像 VAE。前者承载局部形状和空间结构，后者承载颜色、纹理和明暗，因此模型可以分别处理“机翼形状不对”和“机翼颜色不对”，再通过同步协调二者。

部件标识承担的是去噪过程中的槽位持续性：同一部件跨时间步保留可追踪身份，降低部件之间交换槽位的风险。这种设计为只更新目标部件、跨对象复用相似功能组件提供了表示基础，但不能单凭一个标识向量就推断生成结果一定满足装配约束。论文宣称它对输入顺序具有鲁棒性；正文给出了去掉标识的消融，却没有在已提供缓存中展示单独的顺序扰动实验，因此应区分结构动机和被直接检验的性质。

2. 关系语义潜表示：把局部属性与全局装配分开维护

关系语义潜表示（Relational Semantic Latents，RSLs）由冻结文本编码器和可学习投影得到，但分成职责不同的两组。全局关系 token \(S_{\mathrm{glb}}\) 编码规范化的“部件、部件、关系谓词”三元组，例如机翼与机身的连接、左右机翼的对称、椅腿对座面的支撑。这些 token 对应关系图的边，不只是对整个物体的一句概括，因而能在部件间消息传递时明确提供装配方向。

局部语义 token \(S_{\mathrm{loc},t}\) 则表达“金属叶片”“木质把手”等细节，并与几何和外观流一起加噪、去噪。二者的核心区别是：局部语义是扩散状态，全局关系不是扩散变量。正文一度把全局关系称为“固定条件”，但式（4）和随后的解释又明确允许其根据当前部件的汇聚特征做确定性更新；这里应理解为关系条件持续可用且不受随机加噪，而不是数值在所有时间步完全不变。

3. 两级同步协同去噪：先把一个部件做好，再协调它与其他部件的关系

在每个去噪步，模型先做部件内同步：几何 token 与外观 token 双向交叉注意力，再分别读取带噪的局部语义 token，并通过可学习融合系数以残差形式更新。这样，“粉色机翼”不会只影响渲染颜色而完全脱离几何恢复；局部语言属性持续参与同一部件的两种表示。其对照并非简单的“使用文本与否”，而是保留逐步文本交叉注意力、取消持续语义状态的 conditioning-only 方案。

之后进行部件间同步：各部件的几何流与其他几何流共享上下文，外观流也进行跨部件信息交换，两路再读取全局关系 token。当前各部件的两路特征经过汇聚，还会反向更新全局规划状态，形成“关系约束部件、部件证据修正规划”的循环。这个闭环解释了为何单独合理的机翼或轮子有机会被重新协调到整体结构中，但注意力本身并不是硬性的接触、无碰撞或力学求解器。

一个完整示例¶

以正文使用的玩具飞机描述为例：粉色机翼、蓝色螺旋桨，并带有起落轮。以下是依据论文机制展开的示意流程，不是额外的定量实验。

首先，为机翼、螺旋桨、机身和轮子等语义部件分配可追踪槽位，初始化各自的几何与外观噪声。文本中的颜色和部件属性进入局部语义流；若提供显式关系，则把“螺旋桨连接机身”“机翼彼此对称”等三元组编码到全局关系状态。

随后，每一轮部件内同步让机翼形状和粉色外观朝同一目标恢复；部件间同步则让机翼相对机身、轮子相对整体的位置受到关系信息约束。模型不会等所有部件独立生成完再一次性拼装，而是在恢复过程中重复协调它们，最后解码为部件网格。

如果要修改某个部件，论文先冻结其他部件潜表示和全局关系上下文，对目标部件执行部分 DDIM 反演与局部重新去噪，再用短暂同步恢复整体一致性。这是表示带来的下游用法，并不意味着正文已经对所有编辑类型给出了定量保证。

损失函数 / 训练策略¶

训练分两阶段：先在关系语义条件下优化三维和二维部件去噪器，目标是预测所注入噪声，分别计算均方误差并对部件求平均；随后联合微调两路去噪器和同步模块，用依据信噪比（SNR）的时间步权重加权两路扩散损失。

局部语义在方法描述中也被联合去噪，但正文式（5）至式（6）显式列出的只有三维、二维噪声预测损失。当前缓存中的公式存在抽取错位，不能据此补造一个作者未明确列出的独立语义损失，或猜补 SNR 权重的精确排版。完整复现仍需要对应实现和附录中的训练细节。

训练监督来自 PartRel3D，它在 PartVerse 基础上增加规范化空间和功能关系：约 11K 个带部件标注的物体，覆盖 175 类，超过 90K 个部件和 300K 条关系，其中图 3 列出 120K 功能关系与 180K 空间关系。平均每个物体有 8.2 个部件、27 条关系，使模型不只学习部件长相，还能学习连接、支撑、上下、接触和对称等装配规律。

推理中，明确三元组可以由用户或外部解析器提供；没有三元组时采用 prompt-only 条件，而不是强制用外部 VLM 补全。几何潜表示最终解码为网格，二维潜表示按需用于外观渲染。对于小场景，论文把物体当成宏观部件，先独立生成，再做短暂的场景级关系同步；这与单物体内部逐步同步的过程应分开理解。

实验关键数据¶

主实验¶

CD 和 EMD 衡量几何误差，越低越好。此处 IoU 不是分割准确率，而是在共享坐标系的 \(64\times64\times64\) 体素网格上，对生成部件两两计算并取平均的交并比；越低表示部件之间重叠越少，不代表单独证明连接完整或物理有效。

下表摘取原文表 1 的 DreamPartGen 与统一参照 PartCrafter，避免把不同数据集、不同基线的结果混成单一提升。数值保留原表尺度。

数据集	方法	CD（低优）	EMD（低优）	部件两两 IoU（低优）
Objaverse	PartCrafter	0.278	1.107	0.453
Objaverse	DreamPartGen	0.141	0.810	0.359
ShapeNet	PartCrafter	0.451	1.252	0.499
ShapeNet	DreamPartGen	0.222	0.967	0.503
ABO	PartCrafter	0.266	0.905	0.505
ABO	DreamPartGen	0.101	0.531	0.404
PartRel3D	PartCrafter	0.371	1.474	0.700
PartRel3D	DreamPartGen	0.081	0.412	0.304

在 PartRel3D 上，CD 相对 PartCrafter 降低约 78.2%；这不是相对该列最佳旧方法的降幅，因为 HoloPart 的 CD 为 0.355。ShapeNet 的 IoU 则由 0.499 变成 0.503，略有恶化；因此正文“所有基准 IoU 最优”的概括不完全符合表 1，本笔记以逐项表值为准。

表 2 另外在 PartVerse 上评估文本与形状对齐，测试描述一半面向部件、一半面向完整物体。ULIP-T 是归一化文本和形状嵌入的内积，越高越好：

\[ \operatorname{ULIP\!\text{-}\!T}(T,S)=\langle \widehat{E}_T,\widehat{E}_S\rangle. \]

部件级 ULIP-T 为 DreamPartGen 0.153、HoloPart 0.113、PartCrafter 0.109；相对这两者中更强的 HoloPart 提高约 35.4%。该结果支持语义对齐改善，但不能代替逐条关系是否成立的直接测量。

消融实验¶

下表来自原文表 3，使用固定随机抽取的 PartRel3D 子集；它不是表 1 的完整评测，完整模型的 CD 0.145 与前表的 0.081 不能直接相减。

配置	CD（低优）	EMD（低优）	IoU（低优）	ULIP-T（高优）
完整模型	0.145	0.771	0.212	0.158
去掉全局关系 token	0.292	2.892	0.587	0.084
去掉局部语义 token	0.781	5.764	0.652	0.089
去掉部件标识	0.277	1.709	0.438	0.091

关键发现¶

去掉局部语义 token 后，CD 从 0.145 升至 0.781，是这组消融中几何误差最大的退化，支持持续语义状态对局部恢复的重要性。
去掉全局关系 token 后，IoU 从 0.212 升至 0.587，ULIP-T 从 0.158 降至 0.084，说明关系规划同时影响重叠和语义对齐；但这仍是联合系统内的移除实验。
表 4 的 prompt-only 部件生成耗时为 109 秒，PartCrafter 为 112 秒；两者接近，不能笼统说所有任务都有数量级加速。正文将物体、部件、小场景分行比较，跨行不应直接排名。

亮点与洞察¶

把语言状态按时间行为拆开很有启发性：局部属性参与随机扩散，全局结构维持无噪声规划状态。这样既保留反复细化局部细节的空间，也避免把装配条件完全交给带噪状态承载。
部件标识把“可编辑”落实为可寻址的潜表示。冻结非目标槽位后再局部重新去噪，比只在整物体提示词里要求“其他部分不变”更明确。
数据贡献与模型设计相互匹配：PartRel3D 的关系三元组正好为全局规划 token 提供监督。可迁移的思路是为生成中的可操作实体提供显式关系状态，而不只是堆叠更长的自然语言描述。

局限与展望¶

作者把灌木等高度纠缠、部件边界不清的复杂结构列为未来方向；这类对象不容易稳定分成语义槽位，可能削弱当前表示的优势。
从评测看，低部件重叠与高 ULIP-T 不能证明正确支撑、接触、铰接或运动有效性。后续应直接测量关系满足率、接触误差及关节运动后的碰撞，而不只看静态渲染。
正文依赖附录说明关系规范化、训练细节、稀有部件和未见关系等扩展实验，但指定缓存到参考文献结束，未包含附录 A 至 D。这里不将这些扩展实验视为已逐项核验，也不补写 token 数量或超参数。
全局条件的“固定”措辞与确定性更新需要一起阅读；局部语义去噪器的具体训练目标在正文中也不够完整。表 1 的 ShapeNet IoU 与概括性文字不一致，进一步说明复现时应逐表核对。

评分¶

新颖性: 4/5。双路部件表示有前作基础，持续局部语义与全局关系规划的协同是主要增量。
实验充分度: 4/5。覆盖四个几何基准、文本对齐和组件消融，但关系正确性的直接验证仍有限，附录未在缓存中提供。
写作质量: 3/5。整体设计容易理解，但全局条件表述、局部语义训练细节和 IoU 总结需要更严谨。
价值: 4/5。对可编辑三维资产和组合生成具有明确意义，真实交互与物理有效性仍需额外验证。