Ex-Sim(3)-Reg: 2D-3D Correspondence Pruning via Extended Sim(3) Registration¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/anpei96/ex-sim3-demo
领域: 模型压缩
关键词: 图像到点云配准、Sim(3)配准、单目深度噪声、2D-3D对应关系剪枝、兼容图最大团
一句话总结¶
针对基于单目深度先验的 2D-3D 匹配剪枝易受尺度噪声干扰的痛点，论文将经典 Sim(3) 配准拓展为包含逐对应点尺度扰动的扩展 Sim(3) 配准，并通过尺度参数化兼容图的最大团搜索（Ex-Sim(3)-Reg）将非凸欠定问题转化为高内点率 SE(3) 配准，实现高达 24.7% 的配准召回率提升。
研究背景与动机¶
图像到点云（Image-to-Point-Cloud, I2P）配准是视觉定位、大尺度三维重建与多传感器标定的核心底层技术。近年来基于深度学习的 I2P 方法虽在标准测试集上表现优异，但在面对未见场景、严重特征畸变或极低初始内点率的恶劣条件时，特征匹配阶段往往预测出海量的错误 2D-3D 对应关系（outliers）。传统的 RANSAC-P3P 算法在内点率断崖式下跌时极易陷入局部最优或直接发散；而基于分支定界等全局非凸优化的剪枝算法复杂度极高，深度学习过滤网络又往往依赖密集监督或高算力开销。
近期学界出现了一种极具吸引力的几何提升思路：利用单目深度估计大模型（如 Depth Anything）预测的度量深度先验，将 2D 像素反投影为三维点，从而将 2D-3D 对应关系升维为 3D-3D 对应关系。此时相机位姿估计被优雅地形式化为一个尺度不确定下的相似变换配准——即常规 Sim(3) 配准问题，可直接利用成熟的几何投票与兼容图算法无监督求解。然而，单目深度先验固有的尺度歧义与局部几何形变不可避免地引入了显著深度噪声。传统 Sim(3) 强假设所有匹配点共享完全一致的全局尺度因子，这种全局刚性尺度约束在现实非均匀噪声面前极其脆弱，导致误将受噪声污染的真实内点当成外点剪除，或使配准严重降级。
本文的切入视角是显式正视并建模单目深度先验的局部噪声分布，打破全局单一尺度的刚性假设。核心 idea：将单目深度噪声形式化为逐匹配点独立的尺度扰动，将剪枝构建为扩展 Sim(3) 配准问题，并利用一组以尺度假设为参数的二阶兼容图最大团进行尺度校正与内点提取，将欠定问题降维为高保真 SE(3) 配准。
方法详解¶
整体框架¶
Ex-Sim(3)-Reg 的整体处理流水线包含四个逻辑阶段：首先利用单目深度先验将学习阶段生成的 2D-3D 候选匹配对反投影升维为带噪 3D-3D 点对；接着围绕自适应投票得到的粗尺度邻域进行紧凑的尺度假设采样；然后针对每个采样尺度构建二阶扩展兼容图并执行最大团搜索与尺度校正，聚合出高内点率点集；最后在 SE(3) 空间完成刚体位姿估计并经由重投影误差约束的 RANSAC-P3P 细化输出高精度位姿与最终内点集合。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 2D-3D 匹配对 + 单目深度先验"] --> B["尺度假设采样<br/>自适应投票确定粗尺度范围"]
B --> C["兼容图最大团搜索<br/>构建二阶图并求解最大团"]
C --> D["尺度校正映射<br/>乘性校正点云并聚合内点候选集"]
D --> E["位姿估计与重投影细化<br/>SE(3)配准初值 + RANSAC-P3P"]
E --> F["输出: 优化相机位姿与内点子集"]关键设计¶
1. 尺度假设采样：在自适应粗尺度邻域内离散化连续解空间
扩展 Sim(3) 配准中每个内点都满足 \(p_i = s_i R q_i + t\)，其中 \(s_i = s \cdot \delta_i\) 包含全局尺度 \(s\) 与局部乘性扰动 \(\delta_i\)。该模型引入了 \(2N+6\) 个待估变量，远超输入约束数量，直接连续优化是严重欠定的。为使问题可解，算法首先利用双点不变几何距离约束执行自适应区间投票（Adaptive Voting），快速估计出一个全局粗尺度 \(\tilde{s}\)。随后算法将全局连续搜索区间严格截断并限制在置信邻域 \((\tilde{s} - \Delta s, \tilde{s} + \Delta s)\) 内，从中均匀采样 \(K\) 个离散尺度假设 \(\{\zeta_k\}_{k=1}^K\)。这一设计避免了在全空间无序盲搜，将原本无界的欠定连续优化收敛到局部高概率区间，极大缩减了计算复杂度。
2. 兼容图最大团搜索：尺度参数化图拓扑过滤外点
针对每一个采样尺度 \(\zeta_k\)，算法构建一阶扩展兼容图 \(\mathcal{G}_{\text{FOG}}(\zeta_k)\)，其邻接矩阵衡量两个匹配点对在缩放参数 \(\zeta_k\) 下的三维欧氏距离相容性： $\(W_{\text{FOG}}(\zeta_k)_{ij} = \mathbb{I}\left( \big| \|p_i - p_j\|_2 - \|\zeta_k(q_i - q_j)\|_2 \big| \le d_{\text{thr}} \right)\)$ 为进一步压制外点间偶发的虚假一阶相容边，算法通过一阶图邻接矩阵的自乘与哈达玛积计算二阶兼容图 \(\mathbf{W}_{\text{SOG}}(\zeta_k) = \mathbf{W}_{\text{FOG}}(\zeta_k) \circ (\mathbf{W}_{\text{FOG}}(\zeta_k) \cdot \mathbf{W}_{\text{FOG}}(\zeta_k))\)。随后，在每个 \(\mathcal{G}_{\text{SOG}}(\zeta_k)\) 上调用快速最大团搜索（FastMAC），提取在该特定尺度下几何拓扑高度一致的最大连通团 \(\mathrm{Mac}(\mathcal{G}_{\text{SOG}}(\zeta_k))\)。理论分析证明，真实内点集在各个采样尺度对应的有效子集 \(F_k\) 必然包含于其实际图的最大团中，利用图拓扑能从极高外点比例中精准剥离出高置信内点簇。
3. 尺度校正映射：将扩展 Sim(3) 归约为标准 SE(3) 对应集
对于从各个尺度二阶图中筛选出的最大团顶点 \(d_i = (q_i, p_i) \in \mathrm{Mac}(\mathcal{G}_{\text{SOG}}(\zeta_k))\)，原坐标 \(q_i\) 仍带有尺度失真。算法定义尺度校正函数 \(\varphi(d_i, \zeta_k) = (\zeta_k \cdot q_i, p_i) = e_i\)，将反投影三维点直接乘上匹配该团的假设尺度。通过取全部 \(K\) 个尺度的校正内点候选的并集： $\(\{e_j\}_{j=1}^M = \bigcup_{k=1}^K \varphi\big(\mathrm{Mac}(\mathcal{G}_{\text{SOG}}(\zeta_k)), \zeta_k\big)\)$ 此映射直接消去了逐点尺度自由度 \(s_i\)，成功将带局部尺度扰动的扩展 Sim(3) 问题转化为经典刚体变换 \(p_i = R e_i + t\)。合并后的对应点集 \(\{e_j\}_{j=1}^M\) 不仅内点率从初筛的 20% 左右跃升至 50%~70%，且满足严格刚性欧氏距离保真性。
4. 位姿估计与重投影细化：由粗到精的位姿求解闭环
在校正点集 \(\{e_j\}_{j=1}^M\) 上，算法首先应用成熟的任意脱机 SE(3) 解算器（如旋转加权奇异值分解 SVD）计算相机的初始旋转 \(\tilde{R}\) 与平移 \(\tilde{t}\)。由于这一步位姿来源于纯净度极高的内点团，其已经非常逼近真实值。算法最后将这一可靠位姿作为强几何先验接入 RANSAC-P3P：先利用像素重投影阈值 \(\delta_{\text{thr}}\) 对原始所有 2D-3D 候选匹配对 \(\{c_i\}_{i=1}^N\) 执行快速预过滤，剔除重投影残差超标的粗大误差，再利用剩余高纯度匹配执行极低迭代次数的 P3P 优化，输出最终精准相机位姿 \((\tilde{R}_{\text{opt}}, \tilde{t}_{\text{opt}})\) 与内点分类标签 \(\{w_i\}_{i=1}^N\)。
实验关键数据¶
主实验¶
论文在 7-Scenes、TUM、ScanNet 以及 RGBD-v2 等四个公开基准上，基于 MATR 提取的匹配对在干扰攻击（Disturbed）、跨场景泛化（Unseen）和极低内点率（Low-inlier）三种严苛条件下进行了全面对比。下表为 7-Scenes 数据集在对抗特征扰动条件下的内点率（Inlier Ratio, IR）与配准召回率（Registration Recall, RR, 5cm 阈值）测试对比：
| 方法 | 类型 / 解算器 | 内点率 (IR) ↑ | 配准召回率 (RR) ↑ | 相比 Baseline 提升 |
|---|---|---|---|---|
| Baseline | 原始 RANSAC-P3P (无剪枝) | 0.266 | 0.292 | - |
| Sim(3)-FastMAC | 常规 Sim(3) + FastMAC [38] | 0.333 | 0.283 | -0.9% |
| Sim(3)-SC2-PCR | 常规 Sim(3) + SC2-PCR [11] | 0.451 | 0.275 | -1.7% |
| Sim(3)-SC2-PCR++ | 常规 Sim(3) + SC2-PCR++ [10] | 0.268 | 0.073 | -21.9% |
| Sim(3)-MAC | 常规 Sim(3) + MAC [37] | 0.333 | 0.275 | -1.7% |
| Sim(3)-TurboReg | 常规 Sim(3) + TurboReg [29] | 0.333 | 0.343 | +5.1% |
| Ex-Sim(3)-Reg (本文) | 扩展 Sim(3) + 尺度参数化兼容图 | 0.548 | 0.472 | +18.0% |
在极度缺乏几何约束的 RGBD-v2 稀疏低内点场景下，常规方法几乎全部失效，而 Ex-Sim(3)-Reg 的配准召回率达到 0.542（提升 24.7%）：
| 数据集环境 | 指标 | Baseline | 次优基线 (Sim(3)-SC2-PCR) | Ex-Sim(3)-Reg (本文) | 净增幅 |
|---|---|---|---|---|---|
| 7-Scenes (扰动环境) | IR / RR | 0.266 / 0.292 | 0.451 / 0.275 | 0.548 / 0.472 | +28.2% / +18.0% |
| TUM (扰动环境) | IR / RR | 0.230 / 0.117 | 0.378 / 0.077 | 0.485 / 0.302 | +25.5% / +18.5% |
| 7-Scenes → ScanNet (未见域) | IR / RR | 0.409 / 0.431 | 0.579 / 0.260 | 0.662 / 0.635 | +25.3% / +20.4% |
| RGBD-v2 (极低内点率) | IR / RR | 0.166 / 0.295 | 0.249 / 0.355 | 0.327 / 0.542 | +16.1% / +24.7% |
消融实验¶
论文在带噪 7-Scenes 数据集上深入分析了离散尺度采样数量 \(K\)、重投影过滤阈值 \(\delta_{\text{thr}}\) 以及关键模块构成的敏感性（摘自原文 Table 8、Table 9 与 Table 10）：
| 配置项 | 参数 / 模块配置 | IR ↑ | RR ↑ | 耗时 / RTE | 说明 |
|---|---|---|---|---|---|
| 采样区间数 \(K\) | \(K=4\) | 0.505 | 0.362 | 57.6 ms | 采样过疏，内点覆盖率低 |
| 采样区间数 \(K\) | \(K=6\) | 0.542 | 0.394 | 65.4 ms | 精度与计算开销的最佳折点 |
| 采样区间数 \(K\) | \(K=8\) | 0.548 | 0.472 | 73.6 ms | 全模型推荐配置 |
| 采样区间数 \(K\) | \(K=12\) | 0.682 | 0.427 | 89.5 ms | 尺度冗余引入微小误匹配 |
| 重投影阈值 \(\delta_{\text{thr}}\) | \(\delta_{\text{thr}}=8\) 像素 | 0.513 | 0.380 | 0.072 m | 过于严苛，误剔除有效内点 |
| 重投影阈值 \(\delta_{\text{thr}}\) | \(\delta_{\text{thr}}=16\) 像素 | 0.548 | 0.472 | 0.067 m | 最优鲁棒性与平移误差平衡 |
| 核心模块消融 | 仅 FastMAC (无尺度校正 \(\varphi\)) | - | 0.311 | 72.4 ms | 缺失尺度校正导致刚性配准崩溃 |
| 核心模块消融 | MAC [37] + 尺度校正 \(\varphi\) | - | 0.485 | 204.8 ms | 精度极佳但耗时激增 2.78 倍 |
| 核心模块消融 | FastMAC [38] + 尺度校正 \(\varphi\) | - | 0.472 | 73.6 ms | 本文完整方案，精度与耗时兼备 |
关键发现¶
- 常规 Sim(3) 的脆弱性：现有基于常规 Sim(3) 的方法在面对单目深度先验时，配准召回率多数甚至劣于未剪枝的 Baseline（如 SC2-PCR 从 0.292 跌至 0.275，SC2-PCR++ 暴跌至 0.073）。这是因为常规刚性一致性检验将各向异性深度误差误判为外点，导致过度剪枝。
- 尺度校正函数的不可替代性：消融表明，若去除尺度校正函数 \(\varphi(\cdot)\)，仅凭最大团图拓扑，召回率骤降 16.1%（0.472 → 0.311），证实逐点尺度扰动补偿是解耦深度误差的核心物理驱动。
- 即插即用性增益：将 Ex-Sim(3)-Reg 级联至 FreeReg、Top-I2P、MinCD 等前沿 I2P 配准算法后，ScanNet 跨域配准召回率全线突破 93%~96%，普遍取得 4%~15% 的额外绝对增益。
亮点与洞察¶
- 将单目深度误差转化为逐点尺度扰动：传统做法要么盲目相信深度大模型预测的绝对数值，要么仅优化单个全局缩放因子；论文将单目深度噪声建模为 \(s_i = s \cdot \delta_i\)，把不可解的非均匀空间形变优雅地形式化为扩展 Sim(3) 配准，物理意义极为清晰且形式简洁。
- 以尺度假设族化解欠定最大团搜索：扩展 Sim(3) 自由度翻倍至 \(2N+6\) 导致无法直接闭式求解；作者并没有诉诸于高代价的非凸梯度优化，而是设计了尺度参数化图族 \(\{\mathcal{G}_{\text{SOG}}(\zeta_k)\}\)，借助最大团的并集近似理想图的最大团，将原本棘手的欠定连续搜索巧妙化解为离散并行的高效图检索。
- 免训练即插即用的工程通用性：算法完全基于传统图论与确定性几何变换，不含任何可学习网络权重，运行耗时仅约 73ms，能够无缝作为任何学习型 2D-3D 特征匹配或具身定位系统的前置高可靠过滤器。
局限与展望¶
- 理论恢复上限受限于采样并集：作者在文中明确指出，算法恢复的内点候选集本质上是有限离散尺度子集内点簇的并集 \(\bigcup_{k=1}^K F_k\)。即便 \(K \to +\infty\)，该集合仍是全量理想内点集的真子集，无法覆盖跨尺度极端跳跃的离散配对。
- 依赖粗尺度投票初始区间的有效性：算法以自适应投票估计的 \(\tilde{s}\) 为中心展开采样，若初始匹配内点率极低导致初始全局尺度投票严重偏离，整个假设采样区间可能错失真实尺度支撑，引发级联失效。
- 未来方向：可进一步探索非均匀自适应尺度假设采样策略，或利用连续谱图聚类直接联合松弛求解逐点尺度与位姿变换矩阵。
相关工作与启发¶
- vs 常规深度先验配准 (如 Yu et al. / Bie et al.)：以往工作假定度量单目深度仅存在一个全局标量误差 \(s\)，在噪声环境下图拓扑连通度崩塌；本文放宽为点对相关的扰动 \(s_i\)，利用尺度参数化图族恢复了稠密一致的内点团。
- vs 点云配准图割算法 (如 MAC / SC2-PCR)：经典方法均立足于刚体欧氏距离不变性；本文将其推广至多尺度伸缩空间，定义了含尺度参数的一阶与二阶扩展兼容图，为含尺度歧义跨模态配准提供了全新的图论工具箱。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [首次将深度先验 2D-3D 剪枝形式化为扩展 Sim(3) 问题，尺度参数化图族解法新颖巧妙]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越 4 大主流基准、涵盖特征扰动/跨域/极低内点三大极限工况，消融实验扎实严谨]
- 写作质量: ⭐⭐⭐⭐⭐ [动机叙述层层递进，数学形式化清晰，图论理论证明与算法流程高度自洽]
- 价值: ⭐⭐⭐⭐☆ [算法非学习、轻量且效果突出，对视觉定位、SLAM 及激光雷达-相机跨模态标定具有显著实用价值]