Register Any Point: Scaling 3D Point Cloud Registration by Flow Matching¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/PRBonn/RAP
领域: 3D 视觉
关键词: 点云配准、流匹配、刚性约束、多视图融合、跨域泛化

一句话总结¶

RAP 将多视图点云配准改写为局部几何条件下的点坐标生成，用逐步刚性约束稳定流匹配采样，再从生成点恢复各视图位姿，在作者提出的跨域零样本基准上取得 85.9% 边成功率、77.3% 图成功率和平均 8.9 秒的运行时间。

研究背景与动机¶

多视图配准的输入是若干没有初始位姿的局部扫描，目标是把它们放进同一坐标系。传统系统先逐对寻找局部特征对应、估计相对位姿，再用位姿图优化（PGO）处理全局一致性。问题不只是扫描数量增加时，穷举配对的成本随视图数平方增长；更关键的是，一对点云重叠很少时，局部匹配可能根本无法消除几何歧义，而后端拿到的已经是错误的相对位姿。其他视图中本来能够帮助判断的结构，在逐对估计阶段没有被充分利用。

生成式方法提供了另一条路径：不先决定哪些点互相对应，而是让所有输入点共同生成在统一场景中的位置。RPF 已经在物体级位姿估计和部件组装中探索欧氏空间的点流，但迁移到道路、建筑或大范围地图时，原始点数量和尺度差异都会扩大困难。更隐蔽的问题是，网络允许各个点独立移动，一次扫描内部的几何就可能被拉伸或弯曲；即使最终用刚性拟合补救，前面采样过程中积累的偏移仍然会影响后续速度预测。

RAP 因而把局部几何表示、跨域训练和采样中的物理约束放在一起考虑。局部描述子提供可迁移的形状线索，统一尺度与坐标约定让不同传感器的样本可以共享训练目标，多视图注意力则让弱重叠视图借助其他扫描获得上下文。核心 idea：先在欧氏点空间联合推断各视图应该出现在哪里，再在每一步采样中把预测终点拉回各扫描的刚性轨道，让全局生成能力与局部几何保真共同决定配准。

方法详解¶

整体框架¶

输入是同一场景的至少两幅无序点云，不要求初始位姿，但假设它们的重叠关系能够连成一个图。RAP 依次构建紧凑局部几何表示、在规范化坐标中进行条件点流生成，并在采样过程中施加逐步刚性约束；最后用每个视图的输入关键点及其生成位置拟合位姿，变换原始稠密点云。

这里的“生成”不是任意补出一片新场景。每个被生成的关键点仍保留其输入点身份和所属视图，因此输入关键点与输出关键点之间天然具有配对关系，SVD 无须重新寻找跨扫描对应。流程中的“单阶段”也指省去了逐对配准加 PGO 的外部两阶段结构，不代表默认只执行一次神经网络前向计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["无初始位姿的<br/>多视图点云"] --> Local["紧凑局部几何表示"]
    Local --> Flow["规范化条件点流"]
    Noise["高斯噪声与时间"] --> Flow
    Truth["真值配准关键点<br/>仅用于训练"] -.->|速度监督| Flow
    Flow --> Rigid["逐步刚性约束"]
    Rigid -->|更新状态并重复采样| Flow
    Rigid -->|采样结束| Output["SVD 恢复位姿<br/>变换稠密点云"]

关键设计¶

1. 紧凑局部几何表示：不让生成网络直接吞下整幅稠密扫描

作者先做体素降采样，再以最远点采样选出覆盖场景的关键点，各视图关键点数按其物理尺度分配。对每个关键点，在降采样点云中查询半径为体素尺寸 20 倍的局部邻域，归一化邻域后交给预训练的 MiniSpinNet，得到 32 维旋转不变描述子。该骨干预训练于 3DMatch；它让网络看到的是局部表面的形状线索，而不只是一个失去上下文的三维坐标。

关键点承担全局布局，描述子承担局部结构，原始稠密点云则保留到位姿恢复后再变换。这样省去的是对所有原始点反复生成的成本，而不是把问题退回描述子最近邻匹配。不同传感器的密度变化可以先被体素化和局部归一化缓冲，模型再利用这些几何条件判断多个局部观察属于怎样的共同场景；消融中去掉描述子后大幅掉点，说明可扩展性并非只来自更大的 Transformer。

2. 规范化条件点流：用共享坐标约定联合生成所有视图的落点

各视图关键点先分别减去自身质心，共享尺度因子取点数最多视图包围盒的最长边，再统一缩放并施加随机三维旋转。训练目标由真值位姿对齐后的关键点合并得到，重新居中，并采用参考视图的旋转和相同尺度因子。输入不需要知道真值相对位姿；这些真值只用于构造监督目标。关键在于让毫米级物体与大范围地图在类似数值尺度上学习，同时明确目标整体朝向的约定，避免网络既要处理相对配准，又要猜任意的全局坐标选择。

网络条件由 32 维局部描述子和 63 维 Fourier 坐标编码拼接，经线性层映射到 512 维。流模型采用 10 个交替注意力块、8 个注意力头，共 73M 参数：视图内自注意力整合单次扫描的结构，全局注意力让所有视图交换信息。模型不把视图编号编码进条件，因此不固定依赖某一组相机或某一训练视图数，但仍保留视图分组来执行视图内注意力和后续刚性拟合。

训练时，在已经配准的关键点与标准高斯噪声之间取线性插值状态，让网络学习这一状态对应的速度；推理则从噪声逐步走回配准点云。局部坐标与描述子是固定条件，随时间改变的是当前生成坐标。由于所有视图的点在同一全局注意力中共同更新，一个视图中不够明确的墙角或路段，可以利用其他扫描中更完整的结构获得定位线索，而无需先提交一个可能错误的成对变换。

3. 逐步刚性约束：约束每一步预测的终点，而不只修正最终结果

仅靠欧氏点流，网络可能把同一块墙面上的点拉成非刚性形状。RAP 在每一步根据当前状态和预测速度外推完整的干净终点，再对每个视图单独用 Kabsch/SVD 求出输入关键点到该终点的最优刚性变换。随后用这个变换重新放置输入关键点，得到真正保留该扫描内部形状的终点估计，并据此构造下一个时间状态。整个操作在推理时进行，不依赖测试真值，也不是额外的跨视图对应搜索。

需要区分“终点被刚性化”与“所有带噪中间状态本身都是刚体”：该设计校正的是外推的配准终点，再把校正结果反馈给采样轨迹。默认使用 10 个均匀 Euler 步，从 \(t=1\) 走到 \(t=0\)；每步重新预测并投影，限制误差沿着不合理的形变方向累积。作者还指出刚性误差可用于多次生成间的选择，但主文没有给出完整的候选数量与选择协议，因此不把它写成主表结果的已确认默认配置。

采样结束后，各视图的规范化输入关键点与生成点之间再恢复刚性位姿，并与输入规范化变换复合，作用到原始稠密点云，最后还原全局物理尺度。该步骤保留原始观测的稠密细节；生成网络负责推断对齐位置，而非替换传感器测得的每一个点。

一个完整示例¶

设有三幅建筑扫描：第一幅看到门厅，第二幅同时看到门厅和走廊，第三幅主要看到走廊。这只是机制示例，不是论文单独报告的实验；第一幅与第三幅可以没有直接重叠，只要第二幅把整体重叠图连通即可。每幅扫描先抽取关键点及局部描述子，网络同时看到三组条件，而不是独立解决三个扫描对。

从噪声开始的某一步，门厅和走廊的关键点已有大致布局，但第三幅扫描的墙面可能被预测得略微弯曲。逐步刚性约束用第三幅扫描原有的墙面形状拟合这一预测，将其纠正为一个刚性放置的版本，再进入后续采样。10 步结束后，系统把每组关键点恢复出的位姿应用于各自全部稠密点。这个例子说明了为什么全局上下文和单视图刚性约束互补，也说明连通性并不等于要求每一对扫描都重叠。

损失函数 / 训练策略¶

优化目标是条件流匹配：在随机时间及噪声下，让预测速度接近线性插值路径的目标速度。监督需要准确的扫描位姿来构造共同坐标系中的注册点，不需要人工标注关键点或跨扫描对应。缓存的式 (1) 至式 (6) 存在排版提取损坏，因此这里不重建作者的精确公式，而保留可由正文确认的插值、速度监督和投影机制。

训练混合 17 个数据集、超过 100k 个配准实例，包括 12 个室外 LiDAR 数据集、4 个室内深度数据集和 ModelNet。每个实例含 2 至 16 个视图，训练与验证约为 9:1，并排除常用配准测试基准的测试序列；样本包含单帧扫描和累积子地图，并刻意保留低重叠但整体连通的困难组合。这里“无需对应标注”不等于完全无监督，因为准确位姿仍然是生成训练目标的前提。

训练使用 32 张 80 GB A100，约 120k 次迭代、3 天；优化器为 Muon，矩阵类参数初始学习率为 0.002，向量类为 0.0002。动态批处理适配可变视图数和 token 数，每张 GPU 每批最多 110,000 个 token。数据扩展实验显示，仅用 1 或 3 个数据集时 RAP 仍弱于基线，完整的跨域数据混合是这一较弱几何归纳偏置方案获得泛化能力的重要条件。

实验关键数据¶

主实验¶

跨域多视图基准包含物体、室内扫描、室外扫描、地面激光扫描（TLS）和地图五类，作者说明这些数据集不与训练混合重叠。有效边是具有非零重叠的扫描对；边成功率统计这些边的配准是否成功，图成功率则要求一个实例的所有有效边均成功。成功阈值为旋转误差小于 15 度，平移误差除以真值包围盒最长边后小于 2.5%，因此这是粗配准指标，不能直接理解为精密测量精度。

表 1 摘录原文 Table 2。BUFFER-X* 使用与 RAP 相同的扩展数据重新训练，随后接 PGO；RAP 默认使用 10 步采样。运行时间为各实例平均，论文运行时间评估使用单张 24 GB NVIDIA A5000，而非训练用的 32 张 A100。

方法	全部边成功率 (%)	全部图成功率 (%)	平均时间 (秒)
KISS-Matcher + PGO	46.2	29.2	18.4
BUFFER-X + PGO	50.4	32.4	36.0
BUFFER-X* + PGO	57.7	36.5	36.0
SGHR	24.3	17.2	49.7
RPF	1.0	0.6	11.5
RAP	85.9	77.3	8.9

相对同数据重训的 BUFFER-X* + PGO，RAP 的边成功率提高 28.2 个百分点、图成功率提高 40.8 个百分点。在五类场景中，RAP 的室内图成功率为 59.6%，地图为 91.6%；整体优势不能掩盖室内仍较困难这一事实。

双视图结果需单独理解：原文 Table 1 在 ModelNet、3DMatch、3DLoMatch、NSS、ETH、KITTI 六个基准上给出平均成功率 94.92%，BUFFER-X 为 92.46%。不同基准使用各自既有的 RMSE 或旋转、平移阈值，且各学习基线训练数据并不统一；例如 3DLoMatch 上 RAP 为 78.78%，仍低于 PARENet 的 80.50%，所以结论是平均最优，而不是每个基准都最优。

消融实验¶

表 2 摘录原文 Table 3。双视图列沿用各自基准协议，多视图列使用上述跨域基准及 2.5%/15 度阈值。完整 RAP 为 10 个 Transformer 块、10 步采样并带逐步刚性约束；保留原表两位小数，不与主表的一位小数混用。

配置	3DMatch (%)	3DLoMatch (%)	多视图边成功率 (%)	多视图图成功率 (%)
完整 RAP	95.90	78.78	85.92	77.31
去掉逐步刚性约束	94.65	74.63	83.57	72.88
仅 1 步生成	90.35	61.05	72.87	50.32
去掉局部特征提取	83.28	50.05	43.07	26.85
减少到 8 个 Transformer 块	93.24	71.63	81.08	72.19
减少到 6 个 Transformer 块	90.90	57.59	65.64	54.35

关键发现¶

局部描述子的作用最大：去掉后多视图图成功率从 77.31% 降至 26.85%，下降 50.46 个百分点。生成式全局推理仍然需要扎实的局部几何条件。
刚性约束把多视图图成功率从 72.88% 提高到 77.31%，增加 4.43 个百分点；原文 Table 2 中两者平均耗时同为 8.9 秒，至少在所报精度下没有体现额外耗时。
1 步生成的平均时间为 5.8 秒，但图成功率只有 50.32%。原文 Figure 5 中，10 步和 50 步的边成功率分别为 85.9% 与 86.8%，说明继续堆采样步数的收益已较小。

亮点与洞察¶

配准可以通过预测每个输入点的最终位置获得，而不必直接输出一个变换矩阵。保留点身份后，生成结果到位姿之间可用成熟的刚性拟合连接，避免再次做对应搜索。
几何约束不必全部塞进网络结构或训练损失。将刚性投影放进采样循环，能在保留欧氏生成表达能力的同时约束测试轨迹，比只在最后投影更直接。
同数据重训基线提供了重要对照：BUFFER-X 的边成功率从 50.4% 增至 57.7%，仍低于 RAP 的 85.9%。这支持数据、表示和联合生成机制共同作用，而非单纯把结果归功于更多数据。

局限与展望¶

作者明确指出，模型不会判断输入是否来自同一环境，而会尝试把所有输入共同配准。实际系统需要场景一致性检测或拒绝机制，不能把“任意点”理解为无条件接受无关扫描。
作者将非刚性变化处理和更长流式序列列为未来方向。当前刚性采样设置不能直接被当成已经解决动态物体、SLAM 漂移或非度量重建的证据。
本笔记的判断：实测随视图数接近线性并不构成普遍线性复杂度保证。全局注意力对 token 序列仍是平方复杂度，高 token 数下流匹配会成为瓶颈；论文也说明双视图时 RAP 略慢于 KISS-Matcher 和 BUFFER-X*。
本笔记的判断：主指标的 15 度与 2.5% 阈值适合讨论粗配准，而训练又需较大算力和准确位姿。主文提到更严格阈值结果位于补充材料，但当前缓存未包含该材料，不能据此填写未见数值或宣称达到精配准精度。

评分¶

新颖性: 4/5。建立在 RPF 与交替注意力之上，逐步刚性采样及跨域配准体系有明确增量。
实验充分度: 4/5。包含跨域基准、同数据重训对照和机制消融，但部分严格阈值与复现细节需补充材料。
写作质量: 4/5。方法与结果脉络清楚，但“单次前向”的措辞容易与默认多步采样混淆。
价值: 5/5。把物体、扫描与地图配准纳入同一模型，为低重叠多视图几何提供了有力路线。