SemGeo-Gen: Unsupervised Generation of Approximate Cross-Instance Semantic-Geometric Correspondences¶

会议: NeurIPS 2026
arXiv: 2610.32663
OpenReview: https://openreview.net/forum?id=ytcyAkt461
代码: https://bgu-cs-vil.github.io/SemGeo-Gen/
领域: 3D 理解
关键词: 语义几何对应, 无监督对应生成, 连续分段仿射配准, 特征提升, 合成预训练

一句话总结¶

针对跨实例对应人工标注稀缺且存在天然模糊性的难题，SemGeo-Gen 提出利用多视角 DINOv2 特征提升至 3D 并结合连续分段仿射非刚性形变配准与语义一致性剪枝，全自动生成密集的跨实例 3D/2D 语义-几何近似对应监督，显著提升下游真实图像对应模型性能。

研究背景与动机¶

在同类别不同物体实例间建立对应关系是三维视觉与类别级场景理解的基石，广泛支撑着语义匹配、机器人操作及视角对齐等下游任务。然而，跨实例匹配相比单实例重建与配准极具挑战性：同类别物体在局部几何结构、形体比例、部件拓扑以及纹理外观上存在显著差异，且各实例通常仅共享部分重叠的语义组件。更关键的是，严格的点级对应在不同实例间往往是不适定的（例如不同款式的椅子扶手或机翼连接处并无数学上绝对唯一的对应基准），导致依赖人工标注的关键点基准（如 SPair-71k、KeypointNet、AP-10K）标注成本极高、点位极其稀疏且难以向海量类别扩展。

现有对应监督主要面临两个核心矛盾：其一，纯人工标注受限于标注员主观偏好与稀疏性，无法提供密集几何监督；其二，纯几何变形匹配（如薄板样条 TPS 或刚体对齐）在遇到拓扑缺失或局部形状剧变时极易匹配到几何邻近但语义错误的区域，而现存结合外观的 3D 对应方法（如 DenseMatcher）往往高度依赖人工部件级标注与功能映射，难以无监督泛化到海量类别。

面对这一困境，本文的核心思考在于：既然精确的点级对应天然带有歧义，那么语义合理、几何自洽且具备充分几何多样性的“近似对应关系”（approximate correspondences）是否就足以作为大规模训练现代对应模型的高质量监督信号？ 基于此，本文的核心 idea 是从仅具备粗略类别级旋转对齐的三维资产库出发，将多视角 DINOv2 基础模型特征提升至 3D 点云，利用参数化的连续分段仿射（Continuous Piecewise-Affine, CPA）形变场驱动局部自洽几何配准，并通过双向语义覆盖与一致性剪枝剔除几何接近但语义不匹配的候选，全自动生成可投影至多视角 2D 渲染图的大规模跨模态语义-几何对应数据。

方法详解¶

整体框架¶

SemGeo-Gen 的全自动无监督生成管线输入为粗略旋转对齐且归一化至单位球的三维刚体物体集合对 \((\mathcal{S}, \mathcal{T})\)，输出为高质量的跨实例 3D–3D、3D–2D 及 2D–2D 近似对应集合。整个流程主要包含四个阶段：首先通过已标定虚拟相机渲染各实例并提取稠密 DINOv2 图像特征，多视角反投影提升到三维表面点云构建语义几何点云；随后执行双向语义覆盖度预筛选，剔除语义重叠不足的物体对；接着通过优化 Chamfer 距离与形变平滑项，求解四面体控制网格驱动的连续分段仿射（CPA）形变场将源点云非刚性对齐至目标点云，并在形变空间执行最近邻分配得到初始候选匹配；最后通过特征相似度阈值执行语义一致性剪枝，剔除几何贴近但语义不匹配的伪对应。生成的 3D 匹配可进一步通过相机投影矩阵与深度可见性判定投影至任意渲染视角。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["弱对齐三维物体对<br/>源点云 S 与目标点云 T"] --> B["多视角 DINOv2 特征提升至 3D<br/>反投影与视角平均池化"]
    B --> C{"双向语义覆盖度筛选<br/>覆盖率是否 >= 0.6"}
    C -->|否：语义不匹配| X["丢弃物体对"]
    C -->|是：保留物体对| D["连续分段仿射 (CPA) 非刚性配准<br/>四面体控制网格形变优化"]
    D --> E["形变空间最近邻候选分配<br/>提取初始候选对应集合"]
    E --> F["语义一致性剪枝<br/>过滤余弦相似度 <= 0.575 的点对"]
    F --> G["最终近似跨实例 3D-3D 对应"]
    G --> H["虚拟视角渲染与可见性投影<br/>生成大规模 3D-2D 与 2D-2D 监督数据"]

关键设计¶

1. 多视角基础模型特征三维提升与语义相容性度量：构建跨实例语义感知几何点云

针对三维网格或点云缺乏丰富判别性纹理先验的问题，SemGeo-Gen 借助预训练 2D 基础模型 DINOv2 赋予几何点云语义判别力。系统在一圈标定好的虚拟相机视角下渲染物体表面，在图像空间提取稠密 DINOv2 特征，并依据精确的几何深度与投影矩阵反投影至可见点，对多次观测到的点求平均特征，使每个 3D 采样点 \(x_i \in \mathbb{R}^3\) 均关联高维语义描述符 \(f_i \in \mathbb{R}^C\)。为降低计算复杂度并强化全局类别一致性，所有描述符经联合主成分分析（PCA）降维至 64 维空间得到 \(z_i\)。两点间的语义相容性由 \(L_2\) 归一化特征的余弦相似度判定：

\[s_{\mathrm{sem}}(x_i, x_j) = \frac{z_i^\top z_j}{\|z_i\|_2 \|z_j\|_2}\]

当相似度满足 \(s_{\mathrm{sem}}(x_i, x_j) > \tau_{\mathrm{sem}}\)（默认阈值 \(\tau_{\mathrm{sem}} = 0.575\)）时，两点被判定为语义相容。

2. 双向语义覆盖度预筛选：前置过滤拓扑与结构差异过大的物体对

在海量 3D 资产（如 Objaverse-OA）中，即便是同类别物体，不同实例间也可能存在严重的结构缺失（例如普通轿车与敞篷车，或带扶手椅与无扶手凳）。若直接进行几何形变对齐，模型极易被强行拉伸拟合而产生畸变。为此，算法在几何配准前引入双向语义覆盖率评估：

\[\rho_{\mathrm{sem}}(\mathcal{S} \rightarrow \mathcal{T}) = \frac{1}{|\mathcal{X}_S|} \sum_{x_i^S \in \mathcal{X}_S} \mathbf{1}\left[\max_{x_j^T \in \mathcal{X}_T} s_{\mathrm{sem}}(x_i^S, x_j^T) > \tau_{\mathrm{sem}}\right]\]

仅当源到目标 \(\rho_{\mathrm{sem}}(\mathcal{S} \rightarrow \mathcal{T}) \ge \gamma\) 且反向目标到源 \(\rho_{\mathrm{sem}}(\mathcal{T} \rightarrow \mathcal{S}) \ge \gamma\)（默认 \(\gamma = 0.6\)）同时满足时，才保留该物体对进入后续形变配准。这显著防止了结构严重不重叠样本对后续数据质量的污染。

3. 连续分段仿射 (CPA) 非刚性配准与候选对应分配：在局部弹性与全局刚性间取得平衡

在几何对齐阶段，全局刚体或仿射变换无法适应跨实例局部的长宽比与曲率差异，而全局样条变形（如薄板样条 TPS）计算复杂度高且缺乏局部形变隔离性。SemGeo-Gen 采用连续分段仿射（CPA）映射 \(T_{\mathrm{CPA}}: \mathbb{R}^3 \rightarrow \mathbb{R}^3\)。该方法在归一化 3D 空间上构建 \(6 \times 6 \times 6\) 的规则控制网格（216 个顶点，648 个自由度），并通过 Delaunay 三角剖分分解为四面体单元集合。任意空间点通过其所在四面体顶点的重心坐标插值获取连续位移向量，保证了四面体内部严格仿射且相邻单元间全局位移连续。

在配准完成后，系统将形变后的源点 \(\hat{x}_i^S = T_{\mathrm{CPA}}(x_i^S)\) 投影并与其在目标点云 \(\mathcal{X}_T\) 中的欧几里得最近邻匹配，获得候选对应元组 \((x_i^S, x_{a(i)}^T)\)。这里储存的对应点为原始源空间位置 \(x_i^S\) 与目标位置 \(x_{a(i)}^T\)，形变场仅充当跨实例最近邻查找的非刚性桥梁。

4. 语义一致性剪枝与多模态投影机制：剔除几何邻近误匹配并生成跨模态标注

几何配准即便施加平滑正则，也难免将源物体独有的结构（如客车车顶的天线或敞篷车缺失的车顶）强行压缩变形贴合到目标的邻近表面上。为彻底消除此类几何贴近但语义相悖的错误关联，SemGeo-Gen 在候选对应集上施加硬性语义剪枝：

\[\mathcal{C}_{\mathcal{S}, \mathcal{T}} = \left\{ (x_i^S, x_{a(i)}^T) \in \mathcal{C}_{\mathcal{S}, \mathcal{T}}^0 \;\middle|\; s_{\mathrm{sem}}(x_i^S, x_{a(i)}^T) > \tau_{\mathrm{sem}} \right\}\]

未通过语义相容测试的候选点对被直接剔除。最终留存的高保真 3D-3D 对应可由已知相机参数投影至任意渲染的二维视角对 \((c_S, c_T)\) 中：根据深度缓冲剔除自遮挡点后，诱导生成密集 2D-2D 与 3D-2D 对应训练对。由于 \(N\) 个三维资产可产生 \(\binom{N}{2}\) 个物体对，结合各视角组合，可全自动、零标注地组合式生成数以万计的多模态对应训练数据。

损失函数 / 训练策略¶

CPA 形变场的优化采用梯度下降法（Adam 优化器，学习率 0.005，最多 10,000 步并配合早停机制），联合最小化对称 Chamfer 距离与控制网格边长位移平滑正则：

\[\mathcal{L}_{\mathrm{CPA}} = \mathcal{L}_{\mathrm{Chamfer}}\left(T_{\mathrm{CPA}}(\mathcal{X}_S), \mathcal{X}_T\right) + \lambda_{\mathrm{smooth}} \mathcal{R}(T_{\mathrm{CPA}})\]

其中对称 Chamfer 距离确保形变后的源点云紧密贴合目标点云且反向覆盖目标表面：

\[\mathcal{L}_{\mathrm{Chamfer}}(\widehat{\mathcal{X}}_S, \mathcal{X}_T) = \frac{1}{|\widehat{\mathcal{X}}_S|} \sum_{\hat{x}_i^S \in \widehat{\mathcal{X}}_S} \min_{x_j^T \in \mathcal{X}_T} \|\hat{x}_i^S - x_j^T\|_2^2 + \frac{1}{|\mathcal{X}_T|} \sum_{x_j^T \in \mathcal{X}_T} \min_{\hat{x}_i^S \in \widehat{\mathcal{X}}_S} \|x_j^T - \hat{x}_i^S\|_2^2\]

平滑正则项 \(\mathcal{R}(T_{\mathrm{CPA}})\) 对四面体控制网格边集 \(\mathcal{E}\) 上相邻顶点的位移差施加惩罚：

\[\mathcal{R}(T_{\mathrm{CPA}}) = \frac{1}{|\mathcal{E}|} \sum_{(v_a, v_b) \in \mathcal{E}} \|u_{v_a} - u_{v_b}\|_2^2\]

实验中固定超参数 \(\lambda_{\mathrm{smooth}} = 0.3\)。

实验关键数据¶

主实验¶

论文通过两项严谨实验验证所生成近似对应的价值：其一是将生成的 2D–2D 对应作为预训练数据辅助下游最新 SOTA 语义对应模型在 SPair-71k 真实基准上微调（Table 1 & 2）；其二是在 KeypointNet 上直接对比人工标注稀疏关键点检验 3D 几何与投影 2D 精度（Table 3 & KeypointNet 评测）。

1. 下游 SPair-71k 语义对应提升（Rigid-9 类别，[email protected]）

方法	训练范式	飞机	自行车	船	公交	汽车	椅子	摩托	火车	电视	平均 PCK
DINOv2 + SD (S)	仅真实 SPair-71k	84.7	67.5	64.5	85.7	82.0	57.0	75.9	93.6	70.5	75.71
Jamais Vu	仅真实 SPair-71k	83.6	70.1	64.1	91.4	83.2	61.4	78.4	95.5	80.1	78.64
GeoAware-SC	仅真实 SPair-71k	83.42	71.07	66.68	90.93	86.10	62.18	79.54	95.33	79.00	79.36
GeoAware-SC	真实 + 本文联合训练	86.28	74.60	68.33	93.12	84.73	68.94	79.73	95.31	80.73	81.31
GeoAware-SC	本文预训练 \(\rightarrow\) 真实微调	89.38	76.11	71.15	93.80	86.74	73.80	82.33	95.67	84.59	83.73 (+4.37)
MARCO	仅真实 SPair-71k	92.16	76.76	76.53	93.17	88.57	82.49	82.03	93.62	91.72	86.34
MARCO	真实 + 本文联合训练	92.26	77.49	73.74	92.59	84.86	82.71	79.78	93.22	89.72	85.15
MARCO	本文预训练 \(\rightarrow\) 真实微调	95.59	80.66	79.35	94.59	91.89	91.16	82.30	94.69	93.49	89.30 (+2.96)

在全类别泛化评测中（Table 2），GeoAware-SC 仅在刚体 Rigid-9 预训练后在全部 18 类微调，在未见过的 Non-rigid-7（动物/人）类别上亦获得 +1.29 PCK 增益，全类别均值从 82.09 提升至 84.48，显著优于 DenseMatcher（81.83）。

2. KeypointNet 3D 人工真值对比评测（与 Back to 3D 对比，16 类平均）

方法	监督类型	[email protected]	[email protected]	[email protected]	[email protected]
Back to 3D (1-shot)	少样本关键点监督	0.438	0.632	0.725	0.777
Back to 3D (3-shot)	少样本关键点监督	0.436	0.641	0.740	0.799
SemGeo-Gen (本文)	完全无监督	0.648	0.865	0.945	0.977

在完整管线评测下（保留 68% 高相容物体对），SemGeo-Gen 在 KeypointNet 16 个类别上达到 93% [email protected]、97% [email protected] 与 99% [email protected]，且投影至二维视角的 3D–2D [email protected] 达到 94.2%。

消融实验¶

消融实验深入剖析了配准模型形式与语义过滤模块的必要性：

1. 配准模型消融（KeypointNet 16 类平均）

配准模型	自由度 (DOF)	单对耗时 (s)	[email protected]	[email protected]	[email protected]	[email protected]	[email protected]	说明
全局仿射 (Affine)	12	1.15	0.221	0.686	0.898	0.960	0.982	仅全局缩放旋转对齐，无法建模局部非刚性变形
薄板样条 (TPS)	660	3.71	0.226	0.739	0.919	0.966	0.983	全局径向基函数变形，计算慢且精度略逊
连续分段仿射 (CPA)	648	1.13	0.236	0.729	0.922	0.971	0.986	局部四面体插值，计算速度提升 3.3 倍且整体精度最高

2. 语义过滤机制消融（KeypointNet 16 类平均）

配置	[email protected]	[email protected]	说明
纯几何配准（无任何语义过滤）	0.62	0.84	易产生几何贴近但语义风马牛不相及的匹配
仅点对级语义剪枝	0.73	0.91	过滤局部非对应区域，[email protected] 显著提升 7%
双向物体对筛选 + 点对级语义剪枝（完整模型）	0.75	0.93	前置过滤不相容样本对，总体精度最优

关键发现¶

纯几何对齐不可靠，语义先验至关重要：如果不施加任何语义剪枝，仅靠形变配准与最近邻匹配，[email protected] 仅有 84%；加入特征余弦剪枝后直接跃升至 91%，证明大量几何接近点实际分属不同部件。
预训练-微调优于简单混合训练：实验发现将合成 3D 渲染数据与真实 SPair-71k 数据简单合流训练会导致模型指标停滞甚至下滑，而两阶段“合成预训练 \(\rightarrow\) 真实微调”范式在所有主干网络上均实现稳定爆发式增长（GeoAware-SC 提升 4.37 点，MARCO 提升 2.96 点），表明该方法成功传授了跨实例空间拓扑关系，同时通过微调消除了合成渲染到真实照片的域差距。
CPA 兼顾速度与局部变形精度：相比传统的 TPS，CPA 基于紧凑的四面体局部插值，配准效率快了 3.3 倍且在高容忍度阈值下全面超越 TPS 与仿射基线。

亮点与洞察¶

“求同存异”的近似对应哲学：打破了传统工作对“绝对真值点对”的执念，首次系统性证明语义合理、几何平滑的“近似对应”通过无监督方式生成，作为预训练先验能够显著提高真实世界匹配模型的鲁棒性。
CPA 变形场与 DINOv2 的优雅结合：利用基础大模型的多视角 3D 特征提升，低成本弥补了无纹理几何网格语义感知的短板；同时利用连续分段仿射变换的空间连续性，避免了点云局部破损与跳跃匹配。
极高的数据生产杠杆率：仅依赖类别级弱旋转对齐的 3D 资产，\(N\) 个物体即可衍生出 \(\binom{N}{2}\) 组物体对，结合任意视角渲染可合成近乎无限的跨模态训练集，解决了标注人员主观不一致与高昂成本的瓶颈。

局限与展望¶

依赖预先旋转对齐：论文假设输入 3D 资产具有类别级的粗略规范化姿态对齐。当旋转扰动超过 \(30^\circ\) 时，配准成功率急剧下跌，未来需要集成无监督规范姿态估计（如 CanoVerse）实现全自动预对齐。
非刚性物体的局限：当前的 CPA 变形模型基于刚体网格空间假定，难以直接处理人体、动物等大关节多姿态变化；未来可结合姿态聚类或骨骼蒙皮引导扩展到非刚体。
合成到真实的渲染域差：数据均生成自合成三维模型投影，与真实拍摄图像的复杂光影、运动模糊仍有差距，未来若引入基于真实场景扫描重建的 3D 高斯泼溅（3DGS）资产有望进一步消除域差距。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将多视角大模型特征提升、CPA局部非刚性变形场与无监督语义剪枝有机结合，提出全新的跨实例对应自动生成范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3D-3D、3D-2D、2D-2D 多模态验证，且包含 KeypointNet 真值对照、SPair-71k 下游微调提点及非刚性泛化分析]
写作质量: ⭐⭐⭐⭐⭐ [概念阐述清晰透彻，数学表述严谨自洽，配图与消融设计扎实有力]
价值: ⭐⭐⭐⭐⭐ [为跨实例视觉对应与 3D 语义理解提供了一种无需人工标注且具备组合级扩展潜力的海量数据生成方案]