EditVerse3D: High-Quality 3D Object Editing with Region-Aware Learning¶

会议: ECCV2026
论文: ECCV 原文
项目: https://editverse3d.github.io
领域: 3D 视觉
关键词: 三维局部编辑、粗包围框、区域感知学习、流匹配、部件数据

一句话总结¶

EditVerse3D 将 TRELLIS 改造成接受原始物体、粗三维包围框和局部参考图像的监督式编辑器，通过匹配粗输入的训练与区域损失重加权，在添加任务上将 Repaint 的整体 PSNR 从 27.44 提高到 28.67，同时降低用户准备精确掩码和完整编辑视图的负担。

研究背景与动机¶

三维局部编辑既要把目标部件改对，也要避免其他几何和纹理跟着变化。先渲染二维视图、编辑图像、再重建三维的路线容易积累误差，各视角的修改也未必相容。 SDS 路线让二维先验指导三维优化，但通常需要昂贵的逐实例优化，质量与收敛都不稳定。 TRELLIS 等三维生成模型提供了更直接的表示基础，然而把 Repaint 或 FlowEdit 的推理策略搬进三维，并不自动得到可靠的局部编辑能力。尤其是用户希望提供一个大致区域和目标部件的参考图，而不是先完成整张二维编辑结果或描出精确三维边界。

这造成了两个彼此关联的训练问题。第一，精确形状掩码本身泄露了目标几何，训练时容易成功，换成包含空白和邻近结构的粗框时却失去依据。第二，未编辑区域通常更大、更容易预测，统一平均的生成损失可能掩盖小范围目标区域的失败。即使整件物体的误差看起来不高，新增部件与原物体的连接处仍可能模糊，原有纹理也可能被不必要地改动。论文因此不是单纯增加控制输入，而是同时调整输入表示、监督区域和训练数据分布。

这种监督需要大量前后对应的三维编辑对，但真实人工编辑轨迹难以规模化获得。作者利用完整部件信息，把“删除一个部件后恢复它”转化为添加任务，得到原物体作为明确真值。这让训练可以直接比较编辑后的三维潜变量，而不依赖二维模型临时生成监督。 核心 idea：用部件恢复构造监督，在统一空间坐标内学习粗框条件编辑，再以区域均衡和困难位置重加权让模型同时学会修改与保留。

方法详解¶

整体框架¶

输入包含待编辑三维物体、指定目标范围的粗三维包围框，以及描述目标部件外观的二维参考图像。参考图可以只包含局部元素，不要求展示编辑后的完整物体；但它仍是必要条件，本文不是纯文本编辑器。模型先生成编辑后的结构，再在该结构对应的体素坐标上生成纹理，最后通过 TRELLIS 解码器输出三维结果。

TRELLIS 将物体归一化到 \([-0.5,+0.5]\)，在 \(64^3\) 网格中记录活跃体素。结构编码器把它压缩为 \(16\times16\times16\times C_s\) 的稠密潜变量。纹理路径则渲染 150 个视图，用 DINOv2 提取图像特征，再将活跃体素投影到视图上，聚合对应位置的特征。纹理编码器得到与活跃体素关联的 \(N\times C_t\) 稀疏潜变量，因此几何发生变化时，纹理特征的索引也需要调整。这里的 150 个视图用于三维资产的特征编码，不能与训练时的 24 个参考图视角混为一谈。本文复用 TRELLIS 的编码器和解码器，训练用于编辑的结构与纹理 rectified flow 模型，而不是重新学习整套三维表示。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Parts["完整部件资产"] --> Data["部件恢复监督"]
        Data -.->|训练样本| Align["联合归一化与粗框训练"]
        User["物体 + 粗框<br/>局部参考图"] --> Align
        Align --> Flow["双阶段潜变量编辑<br/>结构生成 → 纹理生成"]
        Flow --> Result["解码后的三维物体"]
        Flow -.->|预测速度| Loss["区域感知损失重加权"]
        Data -.->|目标潜变量监督| Loss
        Loss -.->|仅训练时更新| Flow

实线表示资产准备或推理数据流，虚线表示训练数据和监督关系。联合归一化在训练和推理中都使用，随机粗框扰动与损失重加权只属于训练过程。推理不需要目标三维真值，也不需要在每个新物体上重新执行训练优化。

关键设计¶

1. 部件恢复监督：从完整资产生成可检验的编辑目标

作者从 Partverse 的人工验证分割数据和 Objaverse 中自带部件结构的资产构造训练对。删除某个完整部件后的资产是输入，未删除的原始资产是目标，删除部件的包围框和渲染图提供空间及外观条件。选择完整部件而非随意切割网格，是为了避免切口或断裂面信息缺失，导致监督本身不合理。数据清理会移除几何扭曲、纹理缺失等低质量对象，最终规模约为 85k 个网格、500k 个编辑对。

这种构造主要提供添加操作，而不是大量真实替换示范。作者将添加视为目标区域原先没有结构的特殊替换，并通过实验观察到向替换任务的迁移。这一关系解释了为什么训练可行，但不能把它当作任意替换操作都能成功的保证。另外，体素占用体积过小的目标会被过滤，以减少缺乏实际编辑意义的训练样本。正文没有给出该过滤的具体阈值，因此这里只说明依据，不补写数值。

2. 联合归一化与粗框训练：保持位置关系并避免精确形状捷径

如果物体和目标掩码分别缩放到单位立方体，两者原来的相对位置就会改变。例如，一个局部部件可能被单独放大到整个物体的尺度，模型看到的条件不再对应真实编辑位置。本文把输入物体与掩码作为整体计算一个归一化因子，并一致地应用于相关内容。推理时沿用相同原则，保证用户画出的框仍然落在正确的物体区域。消融中，不使用联合归一化的版本未能收敛，因而没有列入表 3。

空间对齐之后，掩码仍不能过于理想化。训练先求目标部件的最小包围框，再扰动框的大小与位置，使其更接近用户提供的粗范围。框内不一定每个体素都要改变，网络需要结合原物体和参考图来判断具体形状，而不能直接把掩码当作答案。表 3 中，使用精确形状掩码的版本测试效果明显差于包围框版本，支持“输入分布匹配比训练条件精确更重要”的解释。图 8 还展示了框放大到 1.5 倍、平移以及参考图视角变化的定性结果，但没有给出覆盖这些扰动的完整定量曲线。

3. 双阶段潜变量编辑：先确定新几何，再对齐纹理支撑位置

结构模型沿通道拼接输入结构潜变量、布尔掩码和待生成样本的噪声状态。相应输入尺寸为 \(16\times16\times16\times(2C_s+1)\)，预测得到的结构潜变量仍为 \(16\times16\times16\times C_s\)。参考图提供编辑条件，结构解码器将生成结果转换为新的活跃体素坐标。原物体信息不是只在最后混合回去，而是作为条件参与生成过程。

纹理阶段的难点在于，新结构的活跃体素数量和位置可能不同于原物体。因此，模型把输入纹理潜变量对齐到输出几何坐标；输出中新增、原输入没有覆盖的位置以零特征填充。然后拼接这些特征、纹理掩码和噪声状态，在新坐标上生成纹理潜变量并解码。零填充不是给新部件指定黑色纹理，而是明确那里没有可继承的输入潜特征，需由条件生成补充。这一步把“保留旧纹理”与“为新增几何生成纹理”放进同一个坐标明确的计算过程。

正文第 6 页的纹理段落将拼接通道数 \(2C_t+1\) 写在带输出记号的表达式后，存在记号歧义。结合图 2 和编码器定义，可以可靠确认的是“输入特征、掩码、噪声拼接后预测纹理潜变量”的流程；不据此断言解码器接收 \(2C_t+1\) 通道。结构和纹理模型独立训练，但推理时存在明确的先后依赖，不能理解为两条完全独立的生成支路。

4. 区域感知损失重加权：先处理面积失衡，再关注困难位置

普通生成训练对所有位置的速度预测误差统一求平均。编辑任务中，容易保持的区域可能占据大部分位置，单一平均值不足以体现小范围目标是否真正学会。作者分别计算掩码区域与非掩码区域的平均误差，各自按区域元素数量归一化，防止大区域仅靠数量主导监督。这里的划分来自提供的掩码，不应把粗框内所有位置都解释为真实发生改变的语义区域。

接着，方法按逐位置误差选出最高的 \(\tau\%\)，对这些困难位置额外计算损失。困难位置由当前误差决定，并非固定取边界，也不是根据人为部件类别选择。这允许监督关注新部件细节、结构连接处或难以保持的原有纹理，而不必预先标注错误类型。总目标进一步按损失项的数值尺度进行自适应重加权，使区域项与困难项不会因为量级不同而失效。这与仅把掩码区域乘上固定常数不同：前者同时处理区域大小和学习难度。

缓存中的式 (3) 至式 (6) 有明显排版提取损坏，尤其无法可靠恢复最终权重表达式的全部运算符。正文也未明确给出 \(\tau\) 数值、权重的梯度处理或数值稳定细节，因此不将猜测写成作者公式或实现。区域归一化与困难位置选择的上述机制有清楚文字依据，精确实现仍需核对原始排版或补充材料。

一个完整示例¶

以图 7 的剑作为参考部件：用户提供待编辑物体，在希望出现剑的位置给出粗框，并提供剑的局部图像。这一说明用于串联流程，不额外声称图中存在某个未报告的几何尺寸。联合归一化首先保持剑所在范围与物体的相对尺度、位置；结构阶段结合原物体和参考图生成新的体素支撑。纹理阶段在原有坐标继承输入特征，在新剑对应的坐标使用零填充后生成目标纹理。训练时，区域损失和困难位置损失鼓励保留原有帽子斑点、手臂纹样，同时改善剑柄到剑刃的连接。这些具体视觉现象来自作者对图 7 的描述，不能替代单独测量边界误差的实验。

损失函数 / 训练策略¶

可清楚读取的基础流匹配目标是式 (2)：其中 \(x_0\) 为目标潜变量，\(\epsilon\) 为噪声，\(x_t=(1-t)x_0+t\epsilon\)。

\[ \mathcal{L}(\theta)=\mathbb{E}_{t,x_0,\epsilon}\left\|v_\theta(x_t,t)-(\epsilon-x_0)\right\|_2^2. \]

网络学习的是速度场，不是直接以最终网格渲染误差作为这里的训练目标；区域重加权施加在速度预测误差上。训练时，每个目标部件从包围球上均匀采样相机，渲染 24 个视图，每次迭代随机选择其中一个作为条件。这使参考图方向无需与输入物体的某个固定视角严格对应，但不意味着模型已经解决所有遮挡与姿态歧义。结构和纹理模型各训练 10k 步；原文报告 batch size 为 1，使用 96 张 V100（32GB），两阶段约消耗 10k GPU 小时。正文没有澄清 batch size 的全局或单卡口径，这里保持原文表述，不反推总批量。推理时编码原物体，从噪声采样结构与纹理潜变量，再解码输出，不使用区域损失做逐实例优化。

实验关键数据¶

主实验¶

添加测试集来自 PartObjaverse-Tiny，约含 200 个网格和 1500 个编辑对；替换测试集来自 VoxHammer，含 100 个网格和 300 个编辑对。评测以 CD 衡量几何误差，并渲染 32 个视图计算 PSNR、SSIM、LPIPS、DINO 特征相似度与 FID。结果还对 24 个不同参考图视角取平均，并使用大小、位置有变化的测试包围框。 CD、LPIPS、FID 越低越好，其余指标越高越好；不同评测区域的指标不能直接横向比较。

下表摘自原文表 1（第 10 页），保留主要几何与图像质量指标。添加任务评估整个输出；替换任务没有编辑区域真值，表中数字只评估保留区域。

任务与评测范围	方法	CD ↓	PSNR ↑	LPIPS ↓	FID ↓
添加，整体	Instant3dit	0.110	8.075	0.501	81.78
添加，整体	Repaint	0.008	27.44	0.038	3.408
添加，整体	FlowEdit	0.017	19.46	0.102	6.129
添加，整体	VoxHammer	0.023	21.16	0.095	8.281
添加，整体	EditVerse3D	0.005	28.67	0.029	2.960
替换，仅保留区域	Repaint	0.007	35.96	0.010	29.32
替换，仅保留区域	EditVerse3D	0.005	36.32	0.008	28.34

添加任务中，相对 Repaint 的 PSNR 增益为 1.23；替换任务的 36.32 只说明保留区域质量，不能证明目标替换部件准确。表 2（第 10 页）进一步报告目标编辑区域 PSNR 为 21.01，对比 Repaint 的 19.00；未编辑区域分别为 35.45 和 31.16。该分区评测用目标区域的最小二维包围框处理不规则图像，并在评估未编辑区域时将编辑区域视为与真值一致。作者说明这种估计会使指标偏乐观，因此这些值不是严格逐像素区域测量；目标框尺寸不一也使该表不报告 FID。

消融实验¶

下表摘自表 3（第 12 页），在 PartObjaverse-Tiny 上比较训练选择。 Exact 为精确形状掩码，BBox 为最小包围框，BBox+ 为带尺寸与位置扰动的包围框。 High 表示人工标注分割来源，Low 表示资产自带部件信息；这里的结果不应与表 1 的完整训练结果混用。

配置	掩码	小目标过滤	损失	数据分割	条件视角	CD × 10² ↓	PSNR ↑	FID ↓
#1	Exact	否	MSE	High	随机	2.502	21.03	9.329
#2	BBox	否	MSE	High	随机	0.701	24.65	3.709
#3	BBox+	否	MSE	High	随机	0.692	24.75	3.573
#4	BBox+	是	MSE	High	随机	0.658	24.82	3.542
#5	BBox+	是	本文	High	随机	0.635	25.01	3.496
#6	BBox+	是	本文	Low	随机	0.636	24.90	3.474
#7	BBox	否	MSE	High	遍历	0.850	24.41	4.129

关键发现¶

最大的可见单步改善来自 #1 到 #2 的训练掩码变化：PSNR 从 21.03 到 24.65，提高 3.62；这比单独引入区域损失的提升更大。
4 到 #5 隔离损失变化，PSNR 从 24.82 到 25.01，CD × 10² 从 0.658 到 0.635；支持损失有效，但不能把整体收益全部归于它。¶
5 与 #6 几何指标接近，且 #6 的 FID 3.474 略优于 #5 的 3.496；不能说高质量人工分割在所有指标上都占优。¶
2 的随机参考视角优于 #7 的遍历策略，但该对照并不提供普遍优于系统遍历的理论结论。¶
表 4（第 14 页）报告本文 20 秒、Repaint 20 秒、VoxHammer 120 秒；应与约 10k GPU 小时的训练成本分开理解。
表 4 所在正文未明确计时硬件和完整预处理边界，因此 20 秒不是已验证的用户端端到端延迟。

亮点与洞察¶

粗输入不是推理阶段临时放宽的接口，而是训练分布的一部分。精确掩码消融说明，提供更多几何提示可能反而造成部署时的依赖。
区域均衡与困难位置选择解决不同问题：前者避免面积主导，后者避免区域平均掩盖局部失败。两者组合比笼统强调“局部损失”更有解释力。
新几何坐标上的纹理对齐是很实用的表示处理。它明确区分可继承的特征与需要生成的特征，适合思考其他稀疏三维编辑任务。
部件恢复把缺少编辑轨迹的问题转成已有资产的监督重组。其可扩展性来自资产的部件结构，而不是要求大量人工制作编辑前后对。

局限与展望¶

训练数据主要是添加操作；向替换的泛化由实验展示，但替换目标区域缺乏真值，编辑正确性的定量证据仍不足。
本方法仍要求原始三维资产、粗框和参考图，降低输入负担不等于消除人工指定目标或参考图收集成本。
低占用体积目标被过滤，可能削弱细小配件编辑的覆盖；这是依据训练选择提出的读者推断，论文没有单独验证这一风险。
训练开销较高，论文没有提供训练数据规模与质量收益的完整曲线，也没有把区域平衡和困难位置项分别消融。
单一参考图的遮挡、视角和外观歧义，以及多次连续编辑后的误差累积，仍值得独立评测；当前结果不能视为已有保证。
本次可读正文中的损失表达式提取不完整，过滤阈值与扰动分布等细节指向补充材料；这些实现信息在本笔记中保留为未核实。

评分¶

新颖性: 4/5。把粗交互条件、监督数据构造和区域训练目标结合起来，核心部件建立在成熟三维生成骨干上。
实验充分度: 4/5。包含整体、区域、消融与效率比较，但替换目标真值缺失，损失内部贡献没有完全拆开。
写作质量: 4/5。流程与动机清楚，部分尺寸记号和实现细节需要澄清；公式提取损坏不直接作为论文写作扣分依据。
价值: 4/5。对实用三维编辑接口和数据构建有参考意义，但较高训练成本限制了轻量复现。