3D-ReGen: A Unified 3D Geometry Regeneration Framework¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5538
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/11259.pdf
领域: 3D视觉
关键词: 几何再生成、VecSet、条件扩散、稀疏视图重建、三维编辑

名称与来源说明：会议清单标题为 3D-ReGen，所提供 PDF 缓存的标题及方法名为 MeshReGen；本文保留清单标题，正文使用 MeshReGen。缓存包含完整方法、实验正文与参考文献，但不含文中引用的附录；以下不补写附录中的实现细节，也不推测 arXiv 或代码链接。

一句话总结¶

MeshReGen 将粗网格、不完整点云和遮罩几何统一编码为 VecSet 条件，通过条件 token 与带噪目标 token 的拼接及自动构造的退化配对，学习图像辅助的三维再生成，在 GSO 四视图重建中达到 CD 0.0081、F-score 0.4913，同时支持几何增强和局部编辑。

研究背景与动机¶

图像到三维模型通常从一张参考图直接生成完整物体，但生产流程很少只有这一种输入。美术人员可能已经搭好了表示体积和比例的粗模，也可能要修复扫描得到的点云，或只替换已有网格的一部分。图像提供外观和语义，却不能充分限定背面结构、精确比例和已有几何的身份；只依赖图像重新生成，容易得到“看起来合理但不是原来那个”的物体。

这些任务的难点还在于，三维条件不一定是可信的完整约束。粗模缺细节，扫描缺遮挡区域，低质量生成物甚至存在形状偏差与漂浮碎片。直接套用面向干净体素或边界框的控制机制，可能把错误结构保留下来；逐任务收集高低质量成对数据，又会使增强、重建和编辑各自依赖昂贵的数据管线。本文将它们概括成同一问题：给定低信息几何与可选图像，恢复高信息几何，而不是对输入网格做确定性的平滑或细分。

作者选择复用预训练三维生成器的 VecSet 空间：既然目标形状能编码为潜在向量集合，粗糙条件也可以用同一个编码器表示，再由生成先验决定哪些结构应该保留、哪些细节应该恢复。核心 idea：在共享三维潜空间中把退化几何作为固定条件参与目标去噪，并从完整物体自动合成不同类型的退化输入，使同一架构学会多种几何再生成任务。

方法详解¶

整体框架¶

输入是低信息形状 \(y_L\) 与可选引导图像 \(I\)，输出是完整、高细节的形状 \(x_H\)。模型学习的对象是条件分布 \(p(x_H\mid y_L,I)\)，不是一个把每个输入顶点逐一挪动的变形函数，因此可以补出缺失表面，也能改变局部拓扑。

整条流程由“自监督退化配对”提供训练样本，再经过“共享 VecSet 编码”和“固定条件拼接去噪”：粗几何编码为少量条件 token，目标从噪声 token 开始生成，图像通过 DINOv2 特征和交叉注意力提供引导。去噪后的目标 token 交给 VAE 解码器，查询有符号距离场并恢复形状。“遮罩容量分配”属于第一阶段的编辑分支，负责把局部缺失也整理成同一种条件接口。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Source["完整物体训练集"] --> Pairs["自监督退化配对"]
    Pairs -->|增强或重建| Encode["共享 VecSet 编码"]
    Pairs -->|编辑| Mask["遮罩容量分配"]
    Mask --> Encode
    Input["推理输入<br/>粗网格或点云"] --> Encode
    Encode --> Denoise["固定条件拼接去噪"]
    Image["引导图像<br/>DINOv2 特征"] --> Denoise
    Noise["随机目标 token"] --> Denoise
    Denoise --> Output["VAE 解码<br/>完整三维形状"]

这里的“统一”指架构和基础数据来源统一，不能解读成同一套最终权重无需适配即可完成全部任务。实现中增强模型、基于 VGGT 的重建模型及编辑模型有不同的训练或微调过程。

关键设计¶

1. 自监督退化配对：让模型接触真正需要修复的错误

没有大量人工标注的“坏形状、好形状”配对，作者就从约 100 万个私有艺术家制作的三维物体出发，合成低信息版本，并保留原物体作为监督目标。增强分支的退化不是简单平滑：先把随机物体摆入二维网格组成伪场景，将整个场景归一化到 \([-1,1]^3\)，通过 VecSet 编码，再仿照 SDEdit 在中间时间步加噪并去噪，最后解码、提取每个受损物体。固定的场景 token 预算被更多物体共享，每个物体可用的信息下降，从而模拟大场景生成中小物体细节丢失的问题。网格越密，通常退化越强；缓存没有给出具体网格尺寸与加噪时间步，不应自行指定。

重建分支则渲染每个真实物体的 1–4 个视图，交给 VGGT 生成稀疏、不完整点云。由于 VecSet 编码器需要点坐标和法向，作者用协方差分析估计法向，并处理重建结果的尺度与姿态，使其和监督目标对齐；引导图像从这些视图中随机选一张。因此，多视图信息主要经 VGGT 点云进入三维条件，而不是把全部视图同时交给图像分支。相机方位角和焦距均匀采样，仰角范围为 \([-10^\circ,30^\circ]\)。两种数据构造分别模拟潜空间压缩损伤与真实重建缺失，目的都是让模型学会纠错，而不是仅服从理想控制形状。

2. 遮罩容量分配：用缺失区域大小决定编辑自由度

编辑训练从完整目标物体随机选取一个三维区域，删除区域内的点及法向，其余几何用于保留物体身份。若条件总预算为 \(C\)，先把可见部分编码为 \(C-k\) 个 token，再拼入 \(k\) 个可学习的遮罩位置 token，告诉生成器哪里需要重建。训练时的图像来自完整目标物体，因此这种自监督任务是“看到剩余几何与目标图像，补回缺失部分”，不需要人工制作大量编辑前后网格对。

遮罩 token 数量按被遮罩点的比例 \(r\) 自适应分配，原文给出的规则可清晰写为：

\[ k=\max\{\lfloor Cr\rfloor,k_{\min}\}. \]

\(k_{\min}\) 是最低编辑容量，而不是上限；小遮罩仍获得足够的表达空间，大遮罩则允许更大几何变化。推理时，先渲染源物体的一个视图，把三维编辑区域投影到二维并遮罩，再用图像修补模型按文字要求生成目标图像；几何分支保留未遮罩区域，图像分支说明新区域应该长什么样。正文未给出 \(k_{\min}\) 的具体取值，笔记不补造。点级删除和潜空间再生成也不等同于对遮罩外顶点提供严格不变的硬保证。

3. 共享 VecSet 编码：粗条件与精目标使用同一种表示

VecSet 编码器先从表面采样带法向的点云，再通过最远点采样选择 token 的初始位置，用交叉注意力汇聚完整点云信息。解码器反过来让任意三维查询点关注潜在 token，预测该位置的有符号距离。它提供的是可查询的形状表示，而不是把潜在 token 直接当作输出网格顶点；因此一个条件点云可以对应完整、连续的输出表面。

关键好处是 token 数量能随几何信息量变化：低信息条件只用 \(C=512\) 个 token，最终高信息目标使用 \(K=2048\) 个 token。条件几何不需要为了适配高分辨率输出而被迫占用同样多的 token。拼接后自注意力仍随总长度的平方增长，不能称为“免费控制”，但与给两侧同样大的 token 预算相比，它降低了额外开销。共享编码器还使粗条件与生成目标处于相容的表示空间，避免另外定义任务专用的点云、体素或边界框接口。

4. 固定条件拼接去噪：让几何条件进入已有自注意力

粗形状与目标不能直接无区别地混在一起：已有研究发现，把两个 VecSet 简单拼接可能被解码成两个形状的合并，而不是一个对另一个的修复。作者因此先用零初始化 MLP 处理条件 token，再加入与其空间位置相关的位置嵌入，使新控制分支在接入预训练生成器时更平稳，也让模型区分条件与待生成内容。随后沿 token 维度把它们与带噪目标 token 拼接，交给同一个 DiT 的自注意力处理；图像仍通过原来的交叉注意力进入网络。

下式仅将正文受 PDF 提取影响的记号重新排版，表达其去噪网络接口，不是额外提出的损失函数：

\[ \widehat z^H_{t-1}=\phi\!\left(z^H_t\mathbin{\|}\left[\operatorname{MLP}(E(P_L;C))+\operatorname{PE}(\widehat P_L)\right]\mid I,t\right). \]

\(P_L\) 是低信息点云，\(\widehat P_L\) 表示与条件 token 对应的采样位置，\(\|\) 表示沿 token 维度拼接。每一步只更新目标 token；条件 token 在采样过程中固定，不跟着加噪或被重建。这样，模型从随机目标潜变量出发合成细节，但始终能访问粗几何参照。相比新增三维交叉注意力或把条件逐元素加到目标上，拼接允许不同数量、不同信息量的两组 token 在自注意力中交互；实验验证的是这种设计在作者骨干和数据上的优势，而非所有架构中的普遍最优性。

一个完整示例¶

以 GSO 中四视图物体重建的处理方式为例，输入图像先交给 VGGT，得到只能覆盖可见表面的点云。系统估计点法向，并按训练数据构造所要求的方式处理几何对齐；缓存没有交代完整的推理对齐实现。点云被压缩为 512 个固定条件 token，而待输出的 2048 个目标 token 从随机噪声开始。

图像分支使用一个引导视图，其他视图提供的信息已融入 VGGT 几何。DiT 在 100 步 DDPM 采样中持续读取条件，既保留已观测的整体结构，又用生成先验补全未观测表面。最后解码的是新的完整形状，不是直接对 VGGT 点云做 Poisson 重建。表 2 中相应四视图结果的 IoU 为 0.7574；这是数据集指标，不是这个说明性流程中某个个例的分数。

损失函数 / 训练策略¶

底座是作者内部预训练的 VecSet 三维生成器，提供 VAE 与 DiT 初始权重。增强模型联合使用增强和编辑的数据增强，以目标 token 数 512、1024、2048 分阶段训练，分别进行 49K、112K、390K 步；重建模型再以 VGGT 输出微调增强模型 25K 步。编辑模型使用遮罩训练集和 2048 个目标 token，正文报告 25K 步收敛；各任务的条件 token 均为 512。

训练采用 v-prediction、scaled linear 噪声日程及 0.1 的图像条件丢弃概率。几何增强还加入模拟漂浮物的高斯团块和法向扰动，图像侧使用裁剪、颜色扰动、随机背景和模糊。推理使用 100 步 DDPM、CFG 系数 5。正文未给出完整目标函数的展开式、优化器配置与训练资源明细，且所引用附录不在缓存中，因此不将标准扩散 MSE 或习惯性超参数冒充论文原式。

实验关键数据¶

主实验¶

首先是场景分解后的物体增强：评估集含 21 个场景网格中分解出的 623 个低质量物体。ULIP-3D 衡量形状与视图对齐；MV-ImageReward 先由 LLaMA 3.2 为条件图像生成简短描述，再对每个物体四个渲染视图的 ImageReward 取平均。后者是感知代理指标，不是真实表面距离。

增强方法（原文表 1）	ULIP-3D（越高越好）	MV-ImageReward（越高越好）
输入粗几何	0.2280	0.1716
输入 + DetailGen3D	0.2294	0.1003
输入 + MeshReGen	0.2626	0.3394

GSO 重建的几何指标为 Chamfer Distance（CD，越低越好）、F-score@1% 和 IoU（越高越好）。PSNR、SSIM 和 LPIPS 比较的是渲染法向图与真实法向图，单位法向被缩放到 \([0,255]\)；不能把它们称为纹理或 RGB 重建指标。下表节选原文表 2，保留视图预算和一个具有代表性的原始 VGGT 对照。

方法	视图数	CD（低）	F-score@1%（高）	IoU（高）	PSNR（高）	SSIM（高）	LPIPS（低）
TRELLIS	1	0.0122	0.4216	0.6442	22.4605	0.9342	0.1059
AssetGen	4	0.0111	0.4663	0.6703	24.3809	0.9206	0.1024
MeshLRM	4	0.0115	0.4237	0.7035	22.8111	0.9290	0.1180
VGGT + Poisson	4	0.1276	0.0119	0.0193	8.7823	0.7704	0.5952
VGGT + MeshReGen	1	0.0135	0.3658	0.6438	21.8982	0.9315	0.1097
VGGT + MeshReGen	2	0.0112	0.4299	0.7053	22.9795	0.9353	0.0985
VGGT + MeshReGen	3	0.0090	0.4650	0.7372	23.6394	0.9385	0.0918
VGGT + MeshReGen	4	0.0081	0.4913	0.7574	24.2754	0.9408	0.0873

四视图时，本文相对 AssetGen 的 CD 从 0.0111 降到 0.0081，绝对降低 0.0030；但 PSNR 仍略低于 AssetGen。单视图时，本文的 CD 和 F-score 不如 TRELLIS，不能概括成所有视图预算、全部指标都领先。VGGT 行使用的是点云经 Poisson 转网格后的表现，也不等于 VGGT 原始点预测本身的误差。

消融实验¶

原文表 3 比较三维条件的注入方式。Additional CA 新增并行三维交叉注意力，Extended CA 将粗点云嵌入接入原有图像交叉注意力，Add \(z_L\) 则直接相加；完整方案为本文的 token 拼接。它们属于作者设置下的受控比较，不是直接引用 CLAY 或 Hunyuan3D-Omni 的官方模型成绩。

条件机制（原文表 3）	CD（低）	F-score（高）	IoU（高）	PSNR（高）	SSIM（高）	LPIPS（低）
Additional CA	0.0066	0.6107	0.6889	24.4104	0.9258	0.0900
Extended CA	0.0271	0.2374	0.2818	18.7145	0.9051	0.1410
Add \(z_L\)	0.0112	0.5259	0.5960	22.7384	0.9175	0.1060
MeshReGen	0.0044	0.7538	0.7735	26.3958	0.9338	0.0765

另一个独立实验是原文表 4 的扩散参数化：以粗潜变量直接映射到目标分布的 Flow 基线为 CD 0.0061、F-score 0.6026，本文为 0.0051、0.7003。表 3 与表 4 的 Ours 数值不同，正文没有给出足以消除差异的完整实验配置，故不能把它们拼成同一组消融，或用表 3 的 0.0044 去计算表 4 的提升。

关键发现¶

条件注入位置影响很大：同表 3 中，拼接相对 Additional CA 的 F-score 从 0.6107 提升到 0.7538，绝对增加 0.1431；但该表不能单独隔离零初始化、位置嵌入各自的贡献。
更多视图先改善观测几何，再由生成先验完成表面：本文的 GSO IoU 随 1、2、3、4 个视图依次为 0.6438、0.7053、0.7372、0.7574，说明稀疏观测仍然有价值，而非被图像生成先验完全覆盖。
编辑使用 Edit3D-Bench，粗模生成与 CLAY 比较，缓存正文主要给定性结果；不据此编造编辑成功率、遮罩外误差或推理加速倍数。

亮点与洞察¶

把几何控制从硬约束改成可修复条件。 粗形状参与生成但不规定全部输出表面，适合输入本身有错的扫描与低质量资产；关键前提是训练数据确实覆盖这类错误。
用退化生成过程定义学习任务。 伪场景共享 token 预算产生的损伤，比任意网格平滑更贴近场景生成器的瓶颈。可迁移的思路是先模拟下游系统如何丢信息，再训练恢复器。
用非对称 token 预算表达非对称信息。 粗几何只保留主要结构，目标 token 承载细节，避免两侧机械地使用同样容量。这比新增任务专用模块更容易复用已有生成骨干。

局限与展望¶

复现依赖较强。 约 100 万个训练物体及基础生成器来自内部资源，场景可视化还使用专有纹理生成器；这些纹理仅用于展示，不是本文已经解决纹理恢复的证据。
统一架构不等于统一训练。 三类任务有不同数据构造及微调阶段，若要构建真正单权重模型，仍需验证混合训练比例、任务干扰与条件泛化。
几何保真没有硬保证。 缺失区域由先验生成，编辑区域外的身份保持主要依赖学习；对严重错位、异常法向、未见类别的极端退化，正文未提供系统边界测试。
量化覆盖不均。 增强和重建有指标，编辑、粗模控制主要是图示；推理虽给出 100 步采样，却没有可比的端到端延迟与显存表。缺失附录也限制了对训练成本、对齐实现及消融配置的核验。
作者提出的方向包括动态几何、骨架等更丰富控制，以及 SLAT 等其他三维潜表示。进一步研究可加入遮罩外误差和真实扫描评测，以区分“合理补全”与“忠实恢复”。

评分¶

新颖性：4/5。架构改动克制，但固定条件拼接与任务化退化配对组成了有明确用途的统一再生成方案。
实验充分度：3/5。增强、重建和两类机制比较有数字支撑，编辑与粗模控制、效率及公开复现仍欠完整量化。
写作质量：4/5。问题定义与三种数据构造清楚；名称不一致、引用重复及缓存公式损坏增加阅读成本，缺失附录限制核验。
价值：4/5。对三维资产迭代、点云补全和局部编辑有实用启发，但私有数据、内部底座和任务微调提高落地门槛。