ReGen3D: Generalizable Unified Representation Learning for 3D Understanding¶
会议: ECCV 2026
论文: ECCV 2026
代码: 待确认
领域: 3D表示与场景理解
关键词: 表征泛化 / 统一3D表示学习 / 几何表征偏移 / 共享记忆交互 / 参数高效微调
一句话总结¶
针对现有3D理解模型绑定单一几何格式且难以跨表征迁移的痛点，本文形式化了「表征泛化（Representation Generalization, RG）」新设定，提出通过统一表征词元化（URT）、共享记忆交互（SMI）与高效表征适配器（ERA）协同的 ReGen3D 框架，在冻结共享主干的前提下实现了多表征联合预训练、测试期单表征解耦推理以及对未知新表征的轻量扩展。
研究背景与动机¶
三维几何数据的表征方式在近年来经历了从离散点云、体素网格、连续多边形网格到 3D 高斯体元（3D Gaussian Primitives）的显著演变，不同几何格式天然承载着各异的结构归纳偏置（如点云的置换不变性、体素的规则度量结构、网格的表面拓扑连通性以及高斯的辐射场辐射度属性）。然而，绝大多数现有的 3D 理解模型均遵循「单一表征假设」，即模型架构、特征提取层与训练目标深度耦合于某一种具体的几何输入。一旦输入数据的表征格式发生变动，即使底层物体的真实 3D 几何语义毫无二致，模型的性能往往也会出现灾难性骤降。
这种由几何编码形式异构引起的性能崩溃，无法简单归结为传统的领域泛化问题。传统的领域泛化关注输入结构固定下的数据分布偏移（如光照、传感器噪声或背景差异），而多模态跨模态学习则偏重于文本、二维图像与三维空间之间的语义互补。现有尝试联合处理多种 3D 表征的方法普遍存在两大约束：其一，多采用孤立的专有分支各自编码，仅在网络顶层进行晚期拼接或对比对齐，未能真正消除异构几何表征在深层特征空间的结构差异；其二，交互范式强依赖于训练阶段固定的表征集合，无法自适应测试阶段仅有单一表征输入的情形，更难以低成本扩展到未来新涌现的几何基元。
面对这一结构性矛盾，本文正式定义了「表征泛化（Representation Generalization, RG）」学习范式。RG 要求统一模型在训练时能够聚合异构几何表征的互补线索，在推理时无缝支持任意单一可用表征，并在面对未见过的全新表征时无需重训主干即可完成泛化。核心 idea：将异构几何基元在欧氏空间解耦为坐标锚点与补齐属性，通过统一词元化映射至同构特征空间，并借助可学习的共享记忆槽作为跨表征交互与先验沉淀的通用中介，最后以低秩适配实现对未见几何表征的即插即用泛化。
方法详解¶
整体框架¶
ReGen3D 整体由三个核心阶段构成：输入层的统一表征词元化（URT）、特征交互层的共享记忆交互（SMI），以及面向未见表征的高效表征适配器（ERA）。在预训练阶段，模型接收来自同一样本的多源几何表征集合 \(\mathcal{S}\)，经 URT 分别转化为统一维度 \(D\) 的词元序列；随后将这些序列与一组全局可学习的记忆槽拼接，送入共享 Transformer 编码器中通过跨注意力机制进行跨表征知识交互与先验积累，最终接入几何与属性重建头进行自监督预训练。下游微调时，主干网络直接复用，并在单表征输入下依托记忆槽提供稳定的语义参照；当引入训练时未曾出现的新几何表征时，冻结共享 Transformer 与核心记忆，仅微调输入投影层及附着在注意力模块上的 LoRA 分支。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入：多源异构3D几何表征<br/>(点云 / 体素 / 网格 / 3D高斯)"] --> URT["统一表征词元化<br/>几何解耦FPS/KNN与统一属性投影"]
URT --> SMI["共享记忆交互机制<br/>全局可学习Memory与动态上下文拼接"]
SMI --> BB["共享Transformer主干<br/>跨表征先验积累与深度表征学习"]
BB -->|预训练阶段| Rec["重建分支<br/>倒角距离CD + 属性均方误差MSE"]
BB -->|下游任务微调| Down["下游任务头<br/>3D物体分类 / 零件语义分割"]
Unseen["未见全新几何表征<br/>(如未知测试几何格式)"] --> ERA["高效表征适配器<br/>输入层对齐 + 主干LoRA低秩微调"]
ERA -.->|冻结共享主干直接接入| BB关键设计¶
1. 统一表征词元化：几何拓扑解耦与统一属性投影 为避免将所有几何格式粗暴压平为散乱点集而丢失特有几何先验（如体素体积、网格法相或高斯辐射参数），URT 提出将任意表征 \(r_k\) 中的第 \(i\) 个基元表示为统一定义的属性向量 \(a_i^{(k)} = [g_i^{(k)}; s_i^{(k)}] \in \mathbb{R}^{d_a}\)。其中 \(g_i^{(k)} \in \mathbb{R}^3\) 是归一化的空间几何中心坐标，而 \(s_i^{(k)}\) 容纳格式专有的几何与物理属性（网格法向量与曲率、体素尺寸、高斯不透明度、尺度与球谐系数）。不同表征间缺失的属性维度统一采用零填充对齐至固定维度 \(d_a\)。在此基础上，URT 彻底解耦空间局部拓扑构建与高维属性映射：仅依据空间坐标 \(\{g_i^{(k)}\}\) 执行最远点采样（FPS）选出 \(G\) 个几何锚点，并通过 KNN 聚合邻域基元，保证跨表征的局部空间感受野完全对齐；随后通过一个跨表征共享的线性映射 \(\phi: \mathbb{R}^{d_a} \to \mathbb{R}^D\) 将中心差分化属性映射至特征空间，并叠加可学习的表征类型嵌入 \(e_k\)： $\(z_g^{(k)} = \rho\left(\{ \phi(a_j^{(k)} - a_{c_g}^{(k)}) \mid j \in \mathcal{N}_g(c_g) \}\right) + e_k\)$ 其中 \(\rho(\cdot)\) 为置换不变的聚合算子（如 Max Pooling）。该机制确保零填充维度不产生虚假特征激活，既保留了特有物理属性，又输出尺寸同构的词元序列 \(Z^{(k)} \in \mathbb{R}^{G \times D}\)。
2. 共享记忆交互机制：解耦单表征推理与跨表征先验积累 传统的跨模态成对注意力机制会导致计算复杂度随表征数量呈二次方爆炸，且在测试期缺失部分表征时结构直接失效。SMI 引入了包含 \(T\) 个可学习向量的持久化全局记忆库 \(M \in \mathbb{R}^{T \times D}\)。在面对任意可用表征子集 \(\mathcal{S}\) 时，SMI 将所有现存表征的词元序列与全局记忆库拼接构成统一上下文： $\(\bar{Z}_{\mathcal{S}} = \text{Concat}\left(\{Z^{(j)}\}_{j \in \mathcal{S}}, M\right)\)$ 各表征的词元序列随后通过以自身为 Query、以该全集上下文为 Key 和 Value 的跨注意力机制完成特征刷新： $\(\hat{Z}^{(k)} = Z^{(k)} + \text{Attn}\left(Q=Z^{(k)}, K=\bar{Z}_{\mathcal{S}}, V=\bar{Z}_{\mathcal{S}}\right)\)$ 在多表征联合训练中，\(M\) 充当公共语义的中转站与“知识缓冲池”，持续沉淀独立于具体几何编码的本质 3D 形状先验；而在测试推理仅有单个表征 \(r_k\) 可用时，上下文退化为 \(\bar{Z}_{\{k\}} = \text{Concat}(Z^{(k)}, M)\)，算子形式无需作任何网络外科手术即可直接计算。即使面对未曾见过的几何格式，查询记忆槽也能将其拉向通用形状语义流形。
3. 高效表征适配器：冻结主干下的未知表征低秩扩展 当面对预训练表征集合之外的全新几何格式 \(r_{K+1}\) 时，从头重训整个主干会推倒已学得的通用先验且代价高昂。ERA 严格保持预训练所得的 URT 核心参数、SMI 交互逻辑及 Transformer 主干权重全部冻结，仅在关键路径上引入轻量低秩旁路（LoRA）。对于主干中任意冻结的权重矩阵 \(W \in \mathbb{R}^{d_{\text{in}} \times d_{\text{out}}}\)，适配后的权重表示为： $\(W' = W + B A, \quad B \in \mathbb{R}^{d_{\text{in}} \times r}, A \in \mathbb{R}^{r \times d_{\text{out}}}, \quad r \ll \min(d_{\text{in}}, d_{\text{out}})\)$ 具体适配范围根据任务动态调整：LoRA 模块被注入至 URT 嵌入层以及 Transformer 的自注意力投影层；对于下游分类与分割任务，任务头附加 LoRA 旁路；对于重建任务，则仅重新训练面向该特定格式的解码头。由于 URT 已经将输入端对齐至同构几何词元空间，ERA 只需极少可学习参数即可抹平新表征的微观分布差异，实现了真正开放的表征扩展能力。
损失函数 / 训练策略¶
模型采用「两阶段两级监督」策略。第一阶段为自监督重建预训练，联合优化属性均方误差损失与几何倒角距离损失（Chamfer Distance, CD）： $\(\mathcal{L}_{\text{rec}} = \frac{1}{|\mathcal{S}|} \sum_{k \in \mathcal{S}} \left( \frac{1}{N_k}\sum_{i=1}^{N_k} \|\hat{a}_i^{(k)} - a_i^{(k)}\|^2 + \lambda \cdot \text{CD}\left(\hat{P}^{(k)}, P^{(k)}\right) \right)\)$ 其中 \(\lambda\) 为平衡几何坐标与内部属性重建尺度的超参数。第二阶段为下游任务微调，通过有监督交叉熵损失 \(\mathcal{L}_{\text{task}} = \frac{1}{|\mathcal{S}|} \sum_{k \in \mathcal{S}} \ell(\hat{y}^{(k)}, y)\) 端到端优化物体分类与语义分割。整个体系不设计繁琐的手工表征对齐对比损失，而是依靠统一词元接口与共享记忆交互自然完成跨表征语义对齐。
实验关键数据¶
主实验¶
评估在基于 ModelNet40 与 ShapeNet-Part 构建的 RepShift-3D 基准上展开。实验严格遵循「留一表征（Leave-One-Representation-Out, LORO）」协议：在点云（Point, P）、体素（Voxel, V）、网格（Mesh, M）、3D高斯（Gaussian, G）四种格式中保留一种作为未见格式，其余三种参与训练。下表汇报了各方法在不同训练集组合下，测试期单表征输入的重建质量（倒角距离 \(\text{CD} \times 10^{-3}\) 越低越好）以及下游物体分类准确率（Cls Acc %）与部件分割（Seg mIoU %）。
| 方法 | 原生表征 | VMG 训练 (CD ↓ / Cls ↑) | PMG 训练 (CD ↓ / Cls ↑) | PVG 训练 (CD ↓ / Cls ↑) | PVM 训练 (CD ↓ / Cls ↑) |
|---|---|---|---|---|---|
| PointNet | Point | 144.2 (M) / 74.9% | 148.5 (M) / 76.0% | 43.4 (V) / 77.1% | 43.3 (V) / 76.9% |
| DGCNN | Point | 138.6 (M) / 70.2% | 135.8 (M) / 73.7% | 35.4 (V) / 83.8% | 43.4 (V) / 79.7% |
| Point-MAE | Point | 41.2 (M) / 71.4% | 42.5 (M) / 68.4% | 26.0 (V) / 86.0% | 26.8 (V) / 75.3% |
| MeshMAE | Mesh | 102.3 (M) / 71.2% | 108.8 (M) / 70.9% | 35.1 (V) / 74.2% | 35.4 (V) / 74.4% |
| ShapeSplat | Gaussian | 44.2 (M) / 79.2% | 43.6 (M) / 80.9% | 45.6 (V) / 83.6% | 41.9 (V) / 81.7% |
| Naive Baseline | Multiple | 41.1 (M) / 70.1% | 42.0 (M) / 62.2% | 26.6 (V) / 84.3% | 26.5 (V) / 74.9% |
| ReGen3D (本文) | Multiple | 22.1 (M) / 83.2% | 23.6 (M) / 82.1% | 25.2 (V) / 86.8% | 28.0 (V) / 83.4% |
在面向未见表征（Held-out Unseen Representation）的零样本/轻量适配泛化能力评测中，各模型在冻结主干扩展下的性能对比如下：
| 方法 | 原生表征 | 未见 Point (CD ↓ / Cls / Seg) | 未见 Voxel (CD ↓ / Cls / Seg) | 未见 Mesh (CD ↓ / Cls / Seg) | 未见 Gaussian (CD ↓ / Cls / Seg) |
|---|---|---|---|---|---|
| PointNet | Point | 58.4 / 43.3% / 39.7% | 61.2 / 48.1% / 40.1% | 206.2 / 26.2% / 39.0% | 491.4 / 24.0% / 44.6% |
| DGCNN | Point | 48.3 / 45.1% / 46.1% | 53.2 / 48.3% / 38.6% | 226.2 / 46.3% / 35.9% | 58.7 / 35.2% / 39.7% |
| Point-MAE | Point | 52.4 / 42.6% / 24.9% | 55.3 / 36.8% / 24.6% | 59.2 / 30.6% / 26.9% | 63.1 / 25.2% / 27.7% |
| MeshMAE | Mesh | 64.2 / 32.2% / 42.5% | 71.7 / 30.9% / 42.1% | 121.3 / 28.3% / 26.5% | 48.8 / 38.5% / 44.2% |
| ShapeSplat | Gaussian | 54.5 / 61.2% / 46.7% | 55.7 / 58.8% / 47.4% | 52.4 / 29.9% / 51.5% | 52.2 / 45.2% / 50.1% |
| Naive Baseline | Multiple | 55.6 / 42.1% / 25.5% | 57.2 / 36.2% / 22.1% | 59.1 / 29.4% / 25.1% | 63.4 / 23.4% / 26.7% |
| ReGen3D (本文) | Multiple | 34.5 / 78.4% / 75.2% | 33.1 / 77.6% / 76.6% | 32.1 / 67.5% / 62.0% | 32.2 / 85.1% / 56.6% |
消融实验¶
以 Point、Gaussian、Mesh 参与训练，Voxel 严格留出作为未见表征（PMG 设定）为例，逐层消融 URT、SMI 与 ERA 的效果如下表所示：
| URT | SMI | ERA | 已见P 重建 (CD ↓) | 已见M 分类 (Acc %) | 已见G 分割 (mIoU %) | 未见V 重建 (CD ↓) | 未见V 分类 (Acc %) | 未见V 分割 (mIoU %) |
|---|---|---|---|---|---|---|---|---|
| - | - | - | 34.4 | 62.2% | 48.3% | 57.2 | 36.2% | 22.1% |
| ✓ | - | - | 27.2 | 76.9% | 51.2% | 55.7 | 51.8% | 52.4% |
| ✓ | ✓ | - | 23.4 | 82.1% | 58.9% | 50.6 | 72.6% | 58.6% |
| ✓ | ✓ | ✓ | 23.4 | 82.1% | 58.9% | 33.1 | 77.6% | 76.6% |
关键发现¶
- SMI 是跨表征先验迁移的中枢：从消融数据可清晰看到，仅引入 URT 对齐词元输入空间时，未见 Voxel 重建 CD 仅从 57.2 微弱降至 55.7；而加入 SMI 后，借助全局记忆库对几何拓扑模式的沉淀，未见 Voxel 分类准确率直接从 51.8% 跃升至 72.6%，证明公共记忆槽有效弥补了表征统计特性的断层。
- ERA 专攻未见格式的高效迁移：在已见表征（P/M/G）的指标完全饱和不变（分类维持 82.1%、分割维持 58.9%）的前提下，挂载 ERA 使得未见 Voxel 的重建 CD 从 50.6 锐减至 33.1，分割 mIoU 从 58.6% 暴增至 76.6%，充分表明冻结共享主干配合低秩参数足以应对几何编码的格式迁移。
- 真实扫描与几何扰动下的鲁棒性：在保持 VMG 训练、将真实激光雷达扫描 ScanObjectNN 作为未见点云输入的严苛跨域+跨表征应力测试中，ReGen3D 取得了 40.1 CD 和 70.6% 的分类准确率；在施加 10% 随机噪声、\(\pm 20^\circ\) 旋转、\(\pm 0.1\) 平移以及 \(\pm 10\%\) 尺度缩放下，模型分类准确率分别保持在 75.3%、78.2%、79.9% 与 78.3%，展现出卓越的几何鲁棒性。
亮点与洞察¶
- 表征偏移（Representation Shift）视角的提出：指出现存 3D 深度模型过度绑定专有几何数据格式的弊病，将传统基于数据分布的域泛化升维至几何编码基元维度的表征泛化，极富前瞻性。
- 几何与属性显式解耦的词元化设计：URT 巧妙地利用空间坐标执行无差别的 FPS 与 KNN 局部构图，高维物理属性则借由零填充与共享线性投影对齐，既不丢失多边形法向或高斯辐射参数，又建立了全格式同构的 Patch 词元接口。
- 共享记忆解耦推理与训练约束：SMI 放弃了脆弱的成对跨注意力架构，利用可学习记忆槽作为几何信息聚合的星型拓扑中枢，一举化解了「多表征联合训练易、单表征测试部署难」的长期痛点。
局限与展望¶
- 复杂表面拓扑细节的潜在损失：URT 依赖欧氏空间坐标进行 FPS 采样与 KNN 聚类，在处理具有复杂自交、流形孔洞的多边形网格时，可能会削弱网格原本显式的边面连通性（Mesh Connectivity）拓扑约束。
- 高阶外观属性建模难度较大：作者在正文中指出，3D 高斯体元所包含的视角相关辐射度（Radiance）与复杂色彩属性在跨表征重建中难度显著高于纯几何点坐标，未来仍需引入更丰富的外观感知机制。
- 新表征适配仍需少量梯度优化：ERA 虽然避免了主干的大规模重训，但面对全新表征时仍需一定量的标注样本更新 LoRA 参数，尚未达成纯免训练的即时零样本推理（Zero-shot Inference）。
相关工作与启发¶
- vs Point-MAE / MeshMAE 等自监督掩码模型：MAE 范式仅在单一离散点云或单纯三角形网格内部进行局部遮阻重建，无法跨越表征壁垒；ReGen3D 确立了面向异构几何形态的统一预训练框架，且在测试期对任一单一表征表现出更强的几何补全质量。
- vs Voxel-Mesh Network 等成对多表征融合方法：传统多表征模型必须绑定固定的双分支或三分支架构，测试期必须提供全部配对输入；ReGen3D 的 SMI 机制天然支持动态单分支推理与记忆槽交互，彻底解除了表征共存的强耦合假设。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出表征泛化（RG）问题设定，URT 与 SMI 的解耦交互架构设计极具原创性。
- 实验充分度: ⭐⭐⭐⭐⭐ 构建了覆盖 4 类主流几何表征的 RepShift-3D 基准，跨表征留一验证、真实扫描与几何扰动实验极其完备。
- 写作质量: ⭐⭐⭐⭐⭐ 论文形式化严谨，架构逻辑层层递进，动机剖析深刻清晰。
- 价值: ⭐⭐⭐⭐⭐ 为通用 3D 基础模型统一处理多源异构空间几何数据奠定了重要的理论与架构基础。