Register Anything Model for Generalizable and Robust Point Cloud Registration¶
会议: NeurIPS 2026
arXiv: 2610.28821
代码: https://github.com/qinzheng93/RegisterAnything
领域: 几何匹配与定位
关键词: 点云配准, 跨领域泛化, 几何感知归一化, 几何Transformer, 鲁棒配准
一句话总结¶
针对传统点云配准模型高度绑定单一场景、跨领域泛化能力急剧退化的问题，本文提出统一的 Register Anything Model (RAM)，通过几何感知自适应体素化归一化消解尺度与密度鸿沟，结合建模局部几何一致性的轻量 Transformer (EGeoTR)，在跨室内、室外与物体的 12 个基准上刷新了 SOTA 泛化性能。
研究背景与动机¶
点云配准旨在求解将源点云与目标点云对齐的 6-DoF 刚体变换，是 3D 重建、SLAM、自动驾驶及机器人操作的基石技术。近年来以 Predator、GeoTransformer 为代表的基于深度学习的配准方法取得了突破，但这些方法普遍存在对特定领域的高度定制与依赖——模型往往针对室内深度相机（如 3DMatch）、室外远距离车载 LiDAR（如 KITTI）或单体 CAD 目标（如 ModelNet）分别调优下采样倍率、搜索半径与网络超参。一旦跨入未经训练的新领域，由于传感器机理、空间尺度、点云密度和局部几何模式存在极大的领域偏移（Domain Shift），现有算法的内点率和配准成功率便会出现灾难性下滑。
尽管近期如 BUFFER-X 等自适应迁移工作尝试通过启发式调节体素尺寸与搜索半径缓解跨域问题，但其底层特征提取器依然在单一域上预训练，缺乏对跨域复杂几何特征的泛化表征能力，面对未见领域的低重叠或对称歧义场景时依然容易提取出错误匹配。更本质的矛盾在于微观与宏观结构处理上的两难：微观上点卷积核（如 KPConv）受限于固定的搜索半径，若在不同密度与尺度的点云上强行共用半径，会导致大场景感受野严重不足或小物体局部细节被过度平滑；宏观上全局几何一致性注意力（如 GeoTransformer）计算与内存复杂度高达 \(O(N^2 d)\)，严重阻碍了统一架构在多尺度点云上的直接部署。
本文的切入角度是打破单域隔离范式，通过联合多域数据进行端到端跨域统一训练，构建点云配准的基础模型。核心 idea：将点云预处理形式化为基于几何特征保真度的质量评估自适应归一化，将任意点云映射至标准空间，并引入局部几何一致性 Transformer (EGeoTR) 与重叠感知密集匹配，实现单一权重在室内、室外与物体全域下的高精度与高鲁棒性配准。
方法详解¶
整体框架¶
RAM 采用分层由粗到细（Coarse-to-Fine）的配准范式。输入任意未对齐的源点云 \(\mathcal{P}\) 与目标点云 \(\mathcal{Q}\)，整体流程分为四个连续阶段：首先，通过几何感知归一化模块（Geometry-aware Normalization）自适应求解能够保留显著几何结构的最大体素尺寸，将两点云重采样并缩放到统一参考几何空间；其次，经由 4 阶段 KPConv-FPN 骨干网络提取多尺度分层点云特征；随后，使用高效几何 Transformer (EGeoTR) 在粗粒度超点（Superpoint）间编码局部几何自注意力和交叉注意力，通过双向归一化提取可靠的超点对应对；最后，在各个匹配的超点邻域内，结合轻量 Transformer 特征交互与重叠度预测筛选出细粒度密集点匹配，由局部到全局配准（LGR）解算出精确的刚体变换矩阵 \((\mathbf{R}, \mathbf{t})\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入源点云 P 与目标点云 Q"] --> B["几何感知自适应归一化<br/>PCA几何误差评估与体素缩放"]
B --> C["KPConv-FPN 骨干网络<br/>多尺度分层特征提取"]
C --> D["局部几何一致性超点匹配 (EGeoTR)<br/>k近邻几何自注意力与双向匹配"]
D --> E["密集点匹配与重叠度预测<br/>局域轻量交互与重叠置信度过滤"]
E --> F["LGR 变换矩阵求解<br/>输出 6-DoF 刚体对齐参数 (R, t)"]关键设计¶
1. 几何感知自适应归一化：基于几何复杂度的体素化与空间标准化 针对不同传感器捕获的点云在空间尺度（室外上百米 vs 室内数米）和点密度上的巨大差异，传统固定体素大小或单纯基于包围盒缩放极易破坏局部的精细几何结构。本文将体素尺寸选择建模为点云质量评估问题，旨在迭代寻找一个“在不显著改变局部几何特征的前提下尽可能大”的体素尺寸 \(v_{\text{raw}}\)。算法首先根据点云包围盒对角线长度初始化体素大小 \(v^{(0)}=\phi(\min(d(\mathcal{P}), d(\mathcal{Q})))\)，在迭代第 \(t\) 步，对体素下采样后的点云采样种子点集，并在原始点云与下采样点云的局部球形邻域内计算协方差矩阵的三大特征值 \(\lambda_1 \ge \lambda_2 \ge \lambda_3\)，由此派生出线性度 \(g_1\)、平面度 \(g_2\) 与球状度 \(g_3\)： $\(g_1=\frac{\lambda_1-\lambda_2}{\lambda_1},\quad g_2=\frac{\lambda_2-\lambda_3}{\lambda_1},\quad g_3=\frac{\lambda_3}{\lambda_1}\)$ 由于体素过度平滑主要剧烈破坏局部线性度与平面度，而球状度反映了局部结构的几何复杂度，RAM 选取球状度最大的前 50% 种子点计算线性度与平面度的最大相对误差中位数作为几何误差 \(e\)。若误差均低于容忍阈值 \(\tau=0.15\)，则以比例 \(\alpha=0.05\) 放大体素尺寸进入下一步迭代，直至达到容忍上限。确定最佳 \(v_{\text{raw}}\) 后，通过缩放因子 \(\mathbf{p}_{\text{norm}}=\frac{v_{\text{ref}}}{v_{\text{raw}}}\cdot \mathbf{p}\)（参考体素 \(v_{\text{ref}}=0.025\text{m}\)）将点云映射至标准几何空间，使后续所有神经网络操作均可无缝复用一套统一的搜索半径与感受野。
2. 局部几何一致性 Transformer (EGeoTR)：兼顾全局鲁棒性与计算效率 经典的 Geometric Transformer（GeoTrans）使用全点云对偶几何结构嵌入来维护全局刚体距离与角度一致性，但在大尺度点云下内存复杂度高达 \(O(N^2 d)\)，迫使室外场景必须采取激进的下采样；此外，体素离散化误差容易在远距离超点之间引入伪几何波动。EGeoTR 的设计动机是：远距离点对之间的几何注意力权重经验上极低，跨点云的局部刚体几何一致性足以支撑鲁棒匹配。EGeoTR 将超点自注意力限制在每个超点的 \(k\) 近邻范围（实验设 \(k=128\)），在计算注意力分数 \(a_{i,j}\) 时将成对距离与三元组角度嵌入 \(\mathbf{r}_{i,j}\) 注入 Key 特征中： $\(a_{i,j}=\frac{(\mathbf{x}_{i}\mathbf{W}^{\text{Q}})(\mathbf{x}_{j}\mathbf{W}^{\text{K}}+\mathbf{r}_{i,j}\mathbf{W}^{\text{R}})^{\top}}{\sqrt{d_{\text{c}}}}\)$ 该结构将显存复杂度大幅压缩至 \(O(Nkd)\)，不仅彻底摆脱了针对各领域手动调整下采样率的限制，还天然免疫了远距离体素离散噪声对全局几何拓扑的干扰。在交叉注意力阶段由于不包含几何坐标偏置注入，能够直接受益于 FlashAttention 获得极快加速。
3. 重叠感知密集点特征细化：抑制同簇歧义与非重叠区离群点 在超点粗匹配完成后，传统由粗到细方法直接使用骨干网络的浅层特征在局部 Patch 内通过最近邻寻找细粒度点对。然而，在同一超点覆盖的近距离局部邻域内，骨干网络提取的点特征高度趋同，且处于非重叠边界区域的点极易产生错误对应。RAM 在超点内引入轻量级 EGeoTR（仅使用成对距离自注意力与交叉注意力），强化局部微观几何判别力。同时，网络额外增加轻量线性投影层预测局部稠密点的重叠概率 \(\tilde{\mathbf{o}}^{\mathcal{P}}_i = \sigma(\tilde{\mathbf{H}}^{\mathcal{P}}_i \mathbf{w}^{\text{O}})\)，并将该重叠置信度以哈达玛积显式调制基于特征余弦相似度计算的双向归一化置信度矩阵： $\(\mathbf{S}=\left[\tilde{\mathbf{o}}^{\mathcal{P}}_{i}(\tilde{\mathbf{o}}^{\mathcal{Q}}_{j})^{\top}\right]\odot\varphi_{\text{row}}(\tilde{\mathbf{S}})\odot\varphi_{\text{col}}(\tilde{\mathbf{S}})\)$ 通过显式抑制非重叠区域内点的匹配权重，双向挑选高置信 Top-\(k\) 互匹配点对，从源头剔除粗糙初始匹配中的假阳性离群点。
损失函数 / 训练策略¶
RAM 使用联合多任务损失端到端训练： $\(\mathcal{L}=\lambda_{\text{oc}}\mathcal{L}_{\text{oc}}+\lambda_{\text{nll}}\mathcal{L}_{\text{nll}}+\lambda_{\text{bce}}\mathcal{L}_{\text{bce}}\)$ 其中超点特征受重叠感知 Circle Loss (\(\mathcal{L}_{\text{oc}}\)) 监督以保证特征度量分离度；密集匹配置信度矩阵 \(\mathbf{S}\) 采用真值对应对的负对数似然损失 (\(\mathcal{L}_{\text{nll}}\)) 监督；密集点重叠得分由二元交叉熵损失 (\(\mathcal{L}_{\text{bce}}\)) 监督。模型使用 AdamW 优化器在 3DMatch、KITTI、nuScenes 和 ModelNet 的混合数据集上联合训练 3M 次迭代，训练期间为兼顾吞吐量采用静态体素尺寸加 \([0.8, 1.2]\) 随机尺度扰动增强，推理阶段全面启用自适应几何感知归一化。
实验关键数据¶
主实验¶
论文在涵盖室内（3DMatch、3DLoMatch、ScanNet++、TIERS）、室外（KITTI、nuScenes、ETH、WOD、MIT、Oxford）及物体（ModelNet、ShapeNet）共计 12 个公开基准上与 Predator、GeoTransformer、BUFFER、PARENet 以及前沿 zero-shot 配准模型 BUFFER-X 等进行了严苛评测。
室内基准评测结果（主表 1 摘录）：
| 模型 | 3DMatch IR(%) | 3DMatch RR(%) | 3DLoMatch IR(%) | 3DLoMatch RR(%) | ScanNet++ RR(%) | TIERS RR(%) |
|---|---|---|---|---|---|---|
| GeoTrans | 70.9 | 92.4 | 43.5 | 74.3 | 88.9 | N/A |
| PARENet | 76.9 | 95.0 | 47.5 | 80.5 | 86.8 | N/A |
| BUFFER-X (3DMatch 预训练) | 87.1 | 94.2 | 65.2 | 74.3 | 86.6 | 81.5 |
| BUFFER-X (KITTI 预训练) | 83.1 | 92.3 | 59.5 | 67.1 | 86.6 | 84.6 |
| RAM (仅室内数据训练) | 75.0 | 92.4 | 47.7 | 77.8 | 89.2 | 81.3 |
| RAM (跨域联合训练，本文) | 79.7 | 93.3 | 53.7 | 81.1 | 90.0 | 90.0 |
室外基准评测结果（主表 2 摘录）：
| 模型 | KITTI IR(%) | KITTI RR(%) | nuScenes RR(%) | ETH RR(%) | WOD RR(%) | MIT RR(%) | Oxford RR(%) |
|---|---|---|---|---|---|---|---|
| GeoTrans | 78.5 | 99.5 | 86.5 | 82.5 | 100.0 | 90.9 | 96.0 |
| BUFFER | 84.1 | 99.3 | 91.7 | 97.3 | 100.0 | 99.7 | 99.3 |
| PARENet | 70.5 | 99.5 | 78.3 | 59.8 | 98.5 | 60.9 | 88.7 |
| BUFFER-X (KITTI 预训练) | 73.9 | 99.5 | 93.5 | 100.0 | 99.7 | 98.7 | 99.3 |
| RAM (仅室外数据训练) | 89.5 | 99.5 | 96.8 | 97.9 | 100.0 | 98.7 | 99.0 |
| RAM (跨域联合训练，本文) | 90.7 | 99.5 | 97.4 | 100.0 | 100.0 | 100.0 | 99.3 |
注：在物体级别未见基准 ShapeNet 上，BUFFER-X 配准召回率仅 39.3%~55.3%（严重崩溃），而 RAM 达到了 79.6% RR 和 65.9% IR，全面大幅领跑。
消融实验¶
论文在未见领域（ScanNet++、TIERS、ETH、WOD、MIT、Oxford、ShapeNet）上对核心架构组件进行了剥离分析（主表 4 摘录）：
| 配置 | ScanNet++ IR/RR(%) | TIERS IR/RR(%) | ETH IR/RR(%) | MIT IR/RR(%) | ShapeNet IR/RR(%) | 说明 |
|---|---|---|---|---|---|---|
| 完整模型 (RAM Hybrid) | 70.6 / 90.0 | 66.0 / 90.0 | 97.5 / 100.0 | 74.2 / 100.0 | 65.9 / 79.6 | 跨域联合训练 + 几何感知归一化 + 完整匹配网络 |
| (a.2) 仅室内数据训练 | 65.9 / 89.2 | 48.5 / 81.3 | 77.9 / 87.3 | 23.8 / 58.3 | 21.0 / 30.7 | 跨入物体和稀疏 LiDAR 时性能严重坍塌 |
| (a.3) 仅室外数据训练 | 41.1 / 72.5 | 62.3 / 87.5 | 93.8 / 97.9 | 72.3 / 98.7 | 21.0 / 28.8 | 跨入室内密集深度数据与小物体时失效 |
| (b.2) 无重叠度预测 (w/o OS) | 68.3 / 88.9 | 64.7 / 89.1 | 96.5 / 99.4 | 72.9 / 99.1 | 63.6 / 80.3 | 缺少重叠度过滤导致内点率整体下降 |
| (b.3) 无密集 Transformer (w/o O&T) | 63.7 / 88.9 | 61.0 / 88.7 | 96.3 / 99.0 | 69.3 / 99.1 | 58.6 / 79.6 | 密集点仅依赖骨干特征导致内点质量锐减 |
| (c.2) 固定体素大小 (Fixed Voxel) | 66.8 / 90.6 | 47.8 / 89.2 | 62.4 / 99.0 | 72.0 / 99.1 | 65.9 / 79.6 | 固定体素在 TIERS 和 ETH 等不同传感器场景掉点显著 |
关键发现¶
- 跨域协同显著优于单域隔离：在低重叠困难场景 3DLoMatch 上，混合数据训练的 RAM（81.1% RR）超越了仅在室内数据训练的 RAM 变体（77.8% RR）；即使控制总训练轮次对齐样本曝光量，跨域多源数据依然带来坚实的增益，表明室外稀疏线束与室内丰富表面几何具有正向互补效应。
- 几何感知归一化消除了人工调参依赖：静态体素在未见传感器（如 TIERS 的不同激光雷达）或复杂场景下内点率明显偏低，而自适应归一化无需人工干预即可在保持几何细节的同时对齐尺度。
- 计算时间与吞吐优势：在 3DMatch 上 RAM 模型推理仅需 0.055 秒，整体计算速度达到 4 FPS，远快于 BUFFER-X（总计 0.885 秒）和带有全局稠密注意力的基线模型。
亮点与洞察¶
- 将体素自适应归一化形式化为局部无参几何保真度评估：巧妙利用协方差特征值派生的几何属性（线性度、平面度、球状度），以球状度最高点作为结构锚点过滤低信息量平坦区，兼具理论解释性与自适应鲁棒性。
- 局部约束破解配准大模型计算瓶颈：打破“全域刚体变换必须全局结构嵌入”的思维定势，利用近邻超点几何嵌入解决跨域变长点云的内存爆炸与离散噪声敏感性。
- 点云预处理向自动化 Foundation Model 迈进：展示了一套权重通吃室内扫描、车载 LiDAR、手持扫描和 CAD 网格的可行性，为未来 3D 大模型的统一 Tokenizer 和特征空间设计提供了绝佳范本。
局限与展望¶
- 作者承认的局限：底层 KPConv 骨干网络本质上仍然是非旋转等变（Rotation-variant）的，虽然通过强数据增强和几何约束注意力能够在常规大旋转下保持较优性能，但在极端旋转对抗场景下仍可能出现局部特征退化；此外超大城市级点云受限于显存仍需分块（Tile）切分。
- 离群噪点对几何尺度的扰动敏感：如果输入点云包含远离主体的飞点漂移离群值，初始包围盒对角线会被严重拉大，导致初始体素过大而过度平滑局部细节，实际落地前宜增加轻量统计滤波预处理。
- 跨源（Cross-source）异构匹配仍存差距：在 LiDAR 与 SfM 跨源点云匹配评测中，RAM 虽大幅领先常规单域模型，但由于未显式建模多模态密度与生成差异，与专用跨源架构（如 Cross-PCR）仍有性能差距。
相关工作与启发¶
- vs GeoTransformer: GeoTrans 使用全局全对几何结构嵌入，内存复杂度高达 \(O(N^2 d)\)，跨场景需手动调节降采样倍率；RAM 提出局部 EGeoTR 将复杂度降至 \(O(N k d)\)，消除了长程体素离散误差，推理速度显著加快。
- vs BUFFER / BUFFER-X: BUFFER-X 依赖在单域（如 3DMatch 或 KITTI）预训练后做测试期启发式超参迁移，遇到物体级（ModelNet/ShapeNet）或新传感器时配准大幅崩溃；RAM 采用统一的跨域联合多任务训练与自适应质量评估体素归一化，实现了真正意义上的全域统一零样本泛化。
- vs PARENet: PARENet 侧重利用旋转等变网络解决旋转泛化，但模型复杂度较高且泛化至室外和不同传感器表现不稳定；RAM 通过局部刚体结构保持和数据增强实现了高精度、通用性与低显存开销的平衡。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 提出首个覆盖室内/室外/物体的跨域统一配准模型及几何保真度自适应归一化策略。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 个公开基准、丰富的跨域/跨传感器消融及旋转/跨源拓展实验。
- 写作质量: ⭐⭐⭐⭐⭐ 动机清晰，公式严谨，宏观与微观权衡分析透彻。
- 价值: ⭐⭐⭐⭐⭐ 为 3D 点云处理迈向通用 Foundation Model 提供了扎实的方法学与基准支撑。