E-M3RF: An Equivariant Multimodal 3D Re-assembly Framework¶

会议: ECCV2026
论文: ECCV 原文
项目: https://em3rf.github.io/
领域: 几何匹配与定位
关键词: 碎片重组、旋转等变性、多模态融合、流匹配、非重叠约束

一句话总结¶

E-M3RF 将随旋转一致变化的几何特征与逐点颜色特征融合，用 SE(3) 流匹配预测碎片位姿，并在训练时惩罚相互穿透，使 RePAIR 上的旋转 RMSE 从 GARF 的 49.31° 降至 37.91°，但并非在所有泛化数据集的所有指标上都占优。

研究背景与动机¶

三维碎片重组不是把一张完整图像补齐，而是为每块真实碎片寻找旋转和平移，让它们在空间中恢复同一个物体。传统方法依赖断面轮廓、局部几何描述子和配准，学习方法则从点云提取特征，再回归或逐步生成位姿。当断面干净、几何独特时，这条路线有很强的约束；当碎片很小、边缘被侵蚀或表面形状重复时，多个摆放方案可能同样符合局部几何。壁画和文物还保留颜料、纹理或工具痕迹，几何相似的两块碎片未必拥有连续的外观。如果编码器只看坐标，这些能够消除歧义的证据根本不会进入位姿预测。

加入颜色也不等于解决了问题，因为坐标、法向和 RGB 在旋转下的行为不同。坐标和法向应随碎片一起转动，RGB 数值却不应被当作空间向量旋转。另一方面，重组需要知道一个接触面朝向哪里，完全旋转不变的描述子虽然方便检索，却可能丢掉对齐所需的方向信息。即便位姿误差较小，模型仍可能把碎片挤进彼此内部，从而得到重心接近、表面关系不合理的组合。本文把这些问题放在同一流程中处理，而不是只增加更大的几何编码器。

具体切入点是先分开学习几何与颜色，再在点级融合，并让相对位姿通过连续流逐步形成。断裂边界监督使表示关注真正负责拼接的区域，训练期的非重叠惩罚则补充位姿误差未显式表达的物理要求。 核心 idea：保留几何的方向变化规律，把不随旋转变化的外观作为互补证据，再用流匹配和非重叠监督共同学习碎片应该如何摆放。

方法详解¶

整体框架¶

输入是一组属于同一待重组物体的碎片，每块以含坐标、表面法向和可用 RGB 的点云表示。每块碎片先独立平移到自身质心为原点的位置，因此局部编码不需要记住输入扫描时的绝对平移。输出是每块碎片的刚体变换 \((R_i,\beta_i)\)，作用于其局部坐标后组成预测物体。这是一项已给定碎片集合的位姿估计任务，不是从图像分割碎片，也不是生成缺失的材料。

流程依次包含等变几何与颜色融合、断裂边界预训练、锚定参考系的流匹配，以及训练期非重叠约束。预训练产生的逐点表示作为流模型的条件，推理时不需要真实断裂边界掩码或真实组装位姿。缺少颜色的数据集使用无颜色分支版本，不能把这些实验理解为颜色融合本身的验证。下面的虚线表示训练监督关系，非重叠约束不是推理结束后的碰撞修复器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["居中的碎片点云<br/>坐标、法向、可用 RGB"] --> Encode["等变几何与颜色融合"]
        Encode --> Pretrain["断裂边界预训练"]
        Masks["真实边界掩码<br/>仅预训练"] -.-> Pretrain
        Pretrain -->|学习到的逐点表示| Flow["锚定参考系的流匹配"]
        Flow --> Output["逐块刚体变换<br/>组装点云"]
        Flow -.->|训练中的预测组装| Overlap["训练期非重叠约束"]
        Overlap -.->|惩罚相互穿透| Flow

关键设计¶

1. 等变几何与颜色融合：保留方向，不把 RGB 当作空间向量

几何分支把每个点的坐标和法向视为两个三维向量通道，交给基于 Vector Neurons 的 VN-Transformer。其输出仍由三维向量通道组成，因此输入被旋转后，输出应按同一个旋转变化，而不是变成完全不同的描述子。点的排列也不应改变物体含义：重新排列输入点，只应对应地重新排列逐点输出。论文将这两种要求写成点排列群与旋转群的联合等变性。为突出方向信息，下面只写其旋转部分的等价简记，旋转同时作用于坐标、法向和输出向量通道：

\[ \Phi_{\mathrm{geo}}(R\cdot F_{\mathrm{geo}})=R\cdot\Phi_{\mathrm{geo}}(F_{\mathrm{geo}}). \]

颜色分支使用普通 Transformer 处理每点 RGB；它对点排列保持一致，但空间旋转对颜色通道的作用是恒等变换。随后在同一点的特征通道维度拼接两路结果，而不是直接把原始 RGB 附加到坐标后交给同一个几何网络。拼接后的表示同时含有会旋转的几何块和不会旋转的外观块，不能把整个张量的末维都解释为空间方向。这正是它与表 1 中 GARF 的简单颜色拼接版本的关键区别。对重复断面而言，几何块提供接触面的朝向和形状，颜色块提供哪些表面花纹更可能属于同一局部的线索。论文对编码器给出了等变性构造；这不自动等于后续加入 Fourier 特征的整个位姿网络已获得同样严格的端到端证明。

2. 断裂边界预训练：让表示先学会关注拼接界面

重组关系主要由接触界面决定，但点云里大量点来自物体原本的外表面。如果直接训练位姿预测器，编码器可能优先学习整体外形或颜色分布，而不擅长区分真正的断裂区域。本文在融合编码器上接一个两层 MLP 分割头，为每个点预测属于断裂边界的概率。监督来自二值真实掩码，训练对象是编码器和分割头的组合。这个任务将“哪里可能与别的碎片相接”的信息压进逐点表示，之后再交给组装网络。

这不是先把断面裁出来、只匹配断面的硬筛选流程。下游仍使用学习到的点级特征，因此非边界区域的外观也可以参与判别。分割头承担辅助学习任务，而不是在测试时向模型提供正确拼接答案。主文说明了二值监督和两层 MLP，但没有给出足以核对完整实现的分割损失细节。因此不能凭常见做法补写某种交叉熵权重、类别平衡策略或冻结编码器的训练安排。

3. 锚定参考系的流匹配：先消除整体坐标歧义，再连续生成相对位姿

融合表示还会与坐标、法向及碎片尺度的多频正弦位置编码拼接，再经过形状嵌入函数处理。这些 Fourier 特征提供高频几何条件，但它们本身不是新的颜色来源。由于同一组装整体平移或旋转后仍是同一个物体，只要求恢复形状会留下公共刚体变换的自由度。论文通过学习到的锚点 token 指定参考碎片，使其他碎片的位姿围绕该参考系定义。训练时随机选择锚点，推理时选最大的碎片，分别服务于参考选择鲁棒性和稳定定位。

位姿生成器是条件 SE(3) 黎曼流匹配网络，用 Transformer 架构预测随时间变化的旋转和平移速度。其条件包含碎片表示，状态包含当前位姿和时间，而不是一次性直接输出所有最终坐标。训练路径在旋转空间使用测地线插值，在平移空间使用线性插值。目标速度由当前位置到目标位姿的旋转对数残差和平移残差构成，并按剩余时间缩放。这样学习的是“当前还需要怎样转动和移动”，而不是把旋转矩阵元素当成普通欧氏坐标任意插值。

推理时使用 Euler 积分沿学习到的速度场更新位姿，最终将刚体变换应用到各自居中的碎片。主文描述训练初始分布为均匀旋转与高斯平移，但推理公式又显示单位旋转与零平移初始化；图 2 的时间方向标记也与正文不完全一致。本笔记只据此确认连续位姿流与 Euler 采样，不将某一种初始化或时间方向写成已核实的实现细节。缓存中的流匹配式 (7) 严重损坏，因此保留可读文字解释，不重构作者的精确损失公式。步数、优化器和学习率等实现参数也未从本次主文缓存得到确认。

4. 训练期非重叠约束：不给相互穿透的摆放奖励

仅让每个碎片接近真实位置，仍可能得到局部相互穿透的组装，特别是断面含糊时。论文把预测摆放后的碎片表示为规则三维网格上的软占据掩码，每个格子的值在 0 到 1 之间。一对碎片的软交集使用逐格最小值求和，软并集使用逐格最大值求和，再在分母加入稳定常数。两者比值就是软 IoU，对所考虑的碎片对取平均得到非重叠损失。重叠越大，这个损失越大，因此它约束的是空间体积关系，而不只是碎片质心的位置。

总训练目标由流匹配损失与加权的非重叠损失相加，以下关系按主文式 (10) 的文字说明整理：

\[ \mathcal{L}=\mathcal{L}_{\mathrm{flow}}+\alpha\mathcal{L}_{\mathrm{no\text{-}overlap}}. \]

非重叠项只在训练时使用，推理时不存在一个保证消除所有碰撞的硬约束求解器。它也不等同于接触约束：让碎片彼此远离同样可以降低交叠，所以仍需要流匹配项保持正确相对位置。主文没有明确给出本次可核实的网格分辨率、软占据构造或 \(\alpha\) 数值，不能把它描述成可直接复现的完整碰撞模块。表 1 中去掉该项后平移 RMSE 反而下降，正好说明“位置更近”和“表面组合更合理”不是同一件事。

一个完整示例¶

考虑几块有相似断面、但表面保留彩绘线条的壁画碎片；这是用于说明机制的示例，不是论文额外报告的实验。每块先居中，几何分支记录断面形状与法向朝向，颜色分支记录各点的颜料分布。如果某块在输入中转动，几何表示跟着转动，但同一物理点的颜色描述不应因旋转而改变。边界预训练让表示对可能相接的区域更敏感，同时仍保留周围彩绘信息。推理时以最大碎片为参考，流模型逐步改变其他碎片的旋转和平移，使几何与颜色证据共同支持一个组装。训练中的非重叠损失曾惩罚相互插入的方案，因此网络有动力避开这种捷径；这不是测试阶段拿真实边界再次纠错。

损失函数 / 训练策略¶

训练分为断裂边界分割预训练与条件位姿流学习两个阶段，后一阶段加入非重叠正则项。评测每个物体共采样 5k 点，并保持各碎片均匀的采样密度；不是每块碎片各采样 5k 点。 RePAIR 是有颜色模型的来源数据，Presious 只用于跨数据集测试，不进行目标数据集训练或微调。 Breaking Bad 提供几何训练来源，Fantastic Breaks 与 FRACTURA 用于无颜色条件下的泛化评测。主文的泛化段落对“fine-tune from”的用语不够清晰，表格标题和不在 Presious 上微调的声明才是这里采用的评测边界。

实验关键数据¶

主实验¶

旋转 RMSE 单位为度，平移 RMSE 单位为毫米，二者越低越好；CD 是预测完整组装与真实组装之间的 Chamfer Distance，越低越好。 PA 是单块碎片 Chamfer Distance 低于阈值的碎片比例，越高越好。第 11 页将阈值写成“0.01%”，但没有清楚说明其归一化含义；CD 表头也未注明尺度因子，下面保留原表报告单位，不推断物理距离。

以下为主文表 1，第 12 页，RePAIR 测试结果节选。

方法	旋转 RMSE (°)	平移 RMSE (mm)	PA (%)	CD
DiffAssemble	69.54	67.96	17.92	4.18
GARF	49.31	32.19	31.14	2.66
GARF + 简单颜色拼接	46.56	31.82	31.92	2.25
E-M3RF	37.91	27.93	35.91	2.17

相对 GARF，完整模型旋转误差降低约 23.1%，平移误差降低约 13.2%，CD 降低约 18.4%。 PA 从 31.14% 到 35.91%，是增加 4.77 个百分点，或相对增加约 15.3%，不能写成增加 15.3 个百分点。简单附加颜色也改善 GARF，因此完整模型的优势应与这个更强的颜色基线一起看，而不是全部归因于“用了颜色”。

消融实验¶

以下为同一表 1、第 12 页的 RePAIR 消融；所有数值均为原表值。

配置	旋转 RMSE (°)	平移 RMSE (mm)	PA (%)	CD
完整模型	37.91	27.93	35.91	2.17
去掉颜色	40.17	29.01	33.71	2.98
去掉非重叠损失	45.81	25.01	32.91	3.83
改用旋转不变表示	43.27	41.60	32.50	3.71
去掉旋转等变性	43.22	29.28	32.26	3.07

去掉颜色使 PA 下降 2.20 个百分点、CD 从 2.17 升到 2.98，支持外观为几何提供互补证据。去掉非重叠损失使 CD 从 2.17 升到 3.83、PA 下降 3.00 个百分点，但平移 RMSE 从 27.93 降到 25.01 mm。作者将这种反常解释为相互穿透使质心更接近而表面更不合理；表中指标支持这种取舍，但没有独立碰撞率可量化验证。旋转不变版本的 PA 为 32.50%，比完整模型低 3.41 个百分点；第 13 页文字写“9.5 pp”不符表值，约 9.5% 是相对降幅。

关键发现¶

以下跨数据集结果来自表 1、第 12 页与表 2、第 13 页；Presious 从 RePAIR 泛化，后两组从 Breaking Bad 泛化。

测试集	方法	旋转 RMSE (°)	平移 RMSE (mm)	PA (%)	CD
Presious	GARF	43.33	14.24	50.27	18.01
Presious	GARF + 简单颜色拼接	42.05	14.11	51.95	17.05
Presious	E-M3RF	30.26	12.85	57.49	20.95
Fantastic Breaks	GARF	10.62	2.10	91.00	2.12
Fantastic Breaks	E-M3RF，无颜色	7.96	2.02	92.01	2.19
FRACTURA Real	GARF	45.03	1.18	46.36	1.14
FRACTURA Real	E-M3RF，无颜色	37.36	0.15	52.90	0.91

Presious 的完整模型 PA 更高、旋转误差更低，但 CD 为 20.95，差于两个 GARF 版本，不能概括成所有指标领先。 Fantastic Breaks 也出现 CD 略差的情况；平移从 2.10 到 2.02 mm，并非正文所称约 25% 的下降。 FRACTURA Real 上的优势更一致，四个指标均好于 GARF，但不能由此推断所有真实文物都已得到可靠重组。表 2 的 Breaking Bad Artifact CD 从 GARF 的 0.42 降到 0.20，按表计算约降低 52.4%，不是第 14 页文字中的 35.5%。表 3、第 15 页给出 RePAIR 的效率：40 块碎片时 E-M3RF 为 223.0 ms、2.27 GB，GARF 为 298.0 ms、5.38 GB。同页的 1.9M 与 12.7M 指预训练阶段可训练参数，不能未经说明当成完整系统的总参数量。

亮点与洞察¶

最可迁移的设计是按变换规律拆分模态，而不是按输入维数把所有数值混在一起。坐标、法向和颜色虽然都能写成三元组，却不应共享同一种空间旋转作用。对重组而言，旋转不变性和旋转等变性不是可随意互换的鲁棒性技巧；后者保留了最终需要预测的方向信息。辅助边界监督将“表示是否有利于拼接”提前到预训练阶段，而不完全依赖最终位姿误差间接塑造编码器。非重叠消融提醒读者，单独优化平移 RMSE 可能奖励错误的空间关系，应该同时检查表面距离、部件正确率和碰撞。

局限与展望¶

作者指出提高点密度会增加计算成本，计划探索线性化注意力和更高效架构。另一方向是从点云转向三角网格与纹理，以利用表面连接关系和高分辨率外观；这尚不是本文已经实现的模块。 Presious 只有六组，跨域结果有价值，但不足以覆盖材料、侵蚀程度、拍摄条件和碎片数量的全部变化。本次缓存只有主文，没有其引用的补充材料，因此不能确认点密度敏感性曲线、更多参数消融或详细计算环境。物理可信性主要通过软重叠惩罚及定性图说明，缺少独立碰撞率、接触质量指标或严格零穿透保证。读者可进一步研究缺失颜色、光照变化和错误颜色对应的影响；本文没有提供足够实验把这种鲁棒性当成既定结论。源文的数字叙述、初始化记号、部分张量维数与提取损坏公式均有不清楚之处，复现应核对正式排版和实际实现，而非照抄这些片段。

评分¶

以下为阅读者主观评价，不是论文提供的评分。 - 新颖性: 4/5。将变换类型明确区分的外观与几何表示用于流式重组，整合有针对性，但基础模块有成熟前作。 - 实验充分度: 4/5。覆盖五个数据集、颜色基线和关键消融，但小规模泛化、碰撞量化及补充材料可核实性存在边界。 - 写作质量: 3/5。主流程清晰，但多处百分比、百分点和全指标领先的文字不符合表格，公式缓存也影响复现阅读。 - 价值: 4/5。对文化遗产碎片重组具有实际启发，尤其值得借鉴的是方向信息与物理约束的联合建模。