Unsupervised Point Cloud Registration via Training-Time Semantic Guidance¶

会议: ECCV 2026
论文: ECCV 原文
代码: 待确认
领域: 自动驾驶 / 3D 视觉
关键词: 点云配准、无监督学习、语义引导、语义坍塌、LiDAR

一句话总结¶

针对室外大场景无监督激光雷达点云配准中几何歧义导致伪标签噪声与“语义坍塌”的难题，CAESAR 提出仅在训练阶段引入冻结的离架 3D 语义分割模型提供语义锚点，结合双线索重匹配、轻量批次自适应教师精炼与语义预测蒸馏，在保持推理零额外开销的前提下大幅刷新 KITTI 和 nuScenes 的 SOTA 配准表现。

研究背景与动机¶

室外大场景激光雷达点云配准是自动驾驶与机器人系统中建图、定位和 SLAM 的基石。由于大规模真实场景外参姿态标注极其昂贵，无监督点云配准成为极具吸引力的方向。现有无监督方法普遍采用教师-学生（Teacher-Student）自蒸馏框架，通过几何一致性、空间聚类或帧间渐进扩展来自主挖掘伪标签。然而，室外场景中广泛存在大面积无特征路面、重复建筑外立面等几何歧义区域，尤其在点云极其稀疏、低分辨率的 nuScenes 等数据集上，仅凭几何特征极易产生错误的匹配伪标签。这导致伪标签噪声持续污染教师模型，进而向学生传递错误监督，陷入自我引用的恶性循环。

深入探究该崩溃机制可以发现，点云配准网络自身在未受显式语义监督时，其深层特征即展现出强烈的“内生语义感知”能力，且该语义表征质量与配准精度高度正相关。但这种内生表征在无监督训练时极其脆弱：一旦几何歧义引入噪声监督，网络内部的语义结构便会被迅速侵蚀瓦解，作者将这种失效模式定义为“语义坍塌”（Semantic Collapse）。以往引入语义信息的方法要么局限于全监督场景，要么在推理阶段强依赖昂贵的 3D 语义分割前向计算，甚至直接用离散类别标签做硬阈值剔除，在类边界处极易引入大量误剔除。

本文的切入角度是打破语义信息常驻于推理管线的固有思维，将语义仅仅视为训练阶段的稳定“外部几何/语义锚点”。核心 idea：提出 CAESAR 框架，仅在训练阶段利用预训练且冻结的离架 3D 语义分割模型锚定教师特征，通过重选择而非单纯拒绝机制打捞特征空间近邻中的潜在正确对应点，结合轻量批次自适应教师精炼与上下文语义预测蒸馏，在测试阶段实现严格零计算与参数开销的高精度无监督配准。

方法详解¶

整体框架¶

CAESAR 的整体架构遵循渐进式扩展的教师-学生自蒸馏范式，并利用一个在训练期冻结的离架 3D 语义分割网络提供稳定的高维语义特征与类别概率预测。输入为待配准的点云对 \(\mathcal{P}\) 与 \(\mathcal{Q}\)。在教师侧，教师网络首先提取几何特征，并结合分割模型提供的语义线索，通过双线索引导重匹配（DCRM）从特征空间 top-\(K\) 候选集中重新筛选高置信对应点；随后，语义-几何标签挖掘（SGLM）在每个 mini-batch 动态初始化极小规模的适配参数，通过交替优化执行语义感知教师精炼（SATR），并基于假设检验生成高质量伪标签；最后，学生网络在伪标签的配准损失监督下，配合语义预测蒸馏（SPD）学习隐式语义上下文表征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入点云对 (P, Q)"] --> Feat["特征提取<br/>教师几何特征 + 冻结分割模型语义特征"]
    Feat --> DCRM["双线索引导重匹配 (DCRM)<br/>几何显著性与语义相似度联合重选候选点"]
    DCRM --> SATR["语义感知教师精炼 (SATR)<br/>批次特异轻量残差优化与特征体积正则"]
    SATR --> RLS["可靠伪标签筛选 (RLS)<br/>假设聚类重加权获得最终伪标签 C"]
    RLS --> Student["学生网络训练<br/>配准对比损失 + 语义预测蒸馏 (SPD)"]
    Student --> Out["推理阶段部署<br/>仅保留学生几何编码器，零语义开销"]

关键设计¶

1. 双线索引导重匹配（DCRM）：从候选邻域中重选挽救被掩盖的真实匹配

传统无监督方法往往直接选取特征空间中的一阶最近邻（1-NN），并在遇到几何歧义时通过几何距离或置信度阈值粗暴丢弃可疑外点。作者统计发现，在训练早期超过 80% 的样本点在 1-NN 下匹配错误，但真实内点极大比例潜伏在特征空间的前 5 个近邻之中；粗暴剔除会导致配准算法面临缺乏对应点的“饥饿”状态。DCRM 将范式从“拒绝”转向“重选择”，构建 \(K\)-NN 候选集 \(\mathcal{S}_i = \{(\mathbf{p}_i, \mathfrak{N}^k_\mathcal{Q}(\mathbf{p}_i))\}_{k=1}^K\)，并设计几何显著性 \(s_{\text{geo}}\) 与语义相似度 \(s_{\text{sem}}\) 乘积作为打分准则：

\[c(\mathbf{c}_i) = s_{\text{geo}}(\mathbf{c}_i) \cdot s_{\text{sem}}(\mathbf{c}_i)\]

其中几何显著性 \(s_{\text{geo}}\) 利用局部邻域协方差矩阵特征值的显著性比值 \(\rho = \lambda_1 / (\lambda_1 + \lambda_2 + \lambda_3)\) 奖励边缘与角点等结构显著区域；语义相似度 \(s_{\text{sem}}\) 则摒弃脆弱的离散类别匹配，采用类别 softmax 预测的加权 Jensen-Shannon 散度（JSD）并辅以语义嵌入余弦相似度加权：

\[s_{\text{sem}}(\mathbf{c}_i) = w_e \exp\big(-w_c \cdot \mathrm{JSD}(\mathbf{z}^{\mathbf{p}_i}, \mathbf{z}^{\mathbf{q}_j})\big)\]

该设计要求对应点在几何结构与语义范畴上双重一致，在特征邻域内精准打捞被轻微扰动遮蔽的真实匹配。

2. 语义感知教师精炼（SATR）：单批次动态自适应的紧凑残差优化与体积保护

随着帧间跨度增大与重叠率下降，仅靠固定特征重选仍无法解决严重的特征空间漂移。以往全模型微调开销巨大且易过拟合，而冻结教师又丧失适应性。SATR 仅引入 0.07 M 的微型适配参数（包含残差提取器 \(\Phi_g\)、点级精炼器 \(\Phi_r\) 和门控系数 \(\alpha\)），在每个 mini-batch 临时初始化并优化。为防止高维语义（512维）直接粗暴拼接稀释几何特征（32维）判别力，\(\Phi_g\) 提取紧凑语义残差并受到语义重构损失 \(\mathcal{L}_{\text{rec}}\) 约束；\(\Phi_r\) 将残差通过可学习门控融合回几何空间。针对候选集重排序，SATR 提出平均排名（Average Rank, AR）的可微松弛代理损失 \(\mathcal{L}_{\text{rerank}}\)，在每个候选集内部拉近选中的匹配并推开其余 \(K-1\) 个候选。此外，为防止几何表征坍缩，设计基于批次特征协方差矩阵对数行列式的体积正则项：

\[\mathcal{R}^\mathcal{P} = \frac{1}{\gamma} \log \det\left(\mathbf{I} + \frac{1}{\epsilon} \mathbf{G}^\mathcal{P}_{\text{batch}}\right)\]

总目标形成“探索-利用”闭环，在批次优化的 EM 迭代中快速收敛（通常仅需 3–5 次迭代），更新完毕后参数立即销毁，阻断误差在批次间的确认偏差积累。

3. 可靠伪标签筛选（RLS）与语义预测蒸馏（SPD）：鲁棒监督生成与学生语义内化

得到精炼特征后，RLS 利用空间相容性生成多个刚体变换假设 \(\{\mathbf{T}_k\}_{k=1}^K\)，并用综合匹配分数 \(c(\cdot)\) 对内点一致性集合加权打分，筛选出最佳全局变换 \(\mathbf{T}_{k^*}\)，并据此选出 top-\(M\) 高可信伪标签 \(\mathcal{C}\)，阻断系统性外点。在学生端训练时，如果强行让低维几何特征回归高维语义向量，会破坏几何多样性；SPD 借鉴非对称掩码自编码思想，只针对通过双向互近邻验证的高置信点，随机丢弃 \(r\) 个特征通道并注入高斯噪声，让学生附加的轻量卷积解码器利用周围上下文去重构该点的语义特征：

\[\mathcal{L}_{\text{dstl}}^\mathcal{P} = \sum_{\tilde{\mathbf{p}}_i \in \tilde{\mathcal{P}}} c_i \cdot \text{SmoothL1}\Big(f_\theta\big(\mathbf{F}^{\{\mathcal{P}\setminus\tilde{\mathbf{p}}_i\}}_{\text{stu}} + \boldsymbol{\epsilon}\big), \mathbf{F}^{\tilde{\mathbf{p}}_i}_{\text{sem}}\Big)\]

该策略迫使学生几何网络自主感知周围结构的宏观语义上下文，内化语义判别力，而完全不需要在推理时接入分割模型。

实验关键数据¶

主实验¶

在标准 KITTI LiDAR 数据集以及极具挑战性的低线束、稀疏点云 nuScenes 数据集上，对长距离、低重叠配准场景（\(d \in [5, 50)\,\text{m}\)）进行评估，对比全监督方法及代表性无监督基线（EYOC、INTEGER 等）。

表 1：KITTI 与 nuScenes 上的无监督与代表性监督点云配准对比（摘自原文 Table 1）

数据集	语义依赖阶段	方法	无监督 (U)	mRR (%)	RR@[5,10)	RR@[10,20)	RR@[20,30)	RR@[30,40)	RR@[40,50)
KITTI	无 (N/A)	FCGF (监督)	–	77.4	98.4	95.3	86.8	69.7	36.9
	无 (N/A)	Predator (监督)	–	87.9	100.0	98.6	97.1	80.6	63.1
	推理时常驻	S2Reg (监督)	–	52.2	100.0	94.2	61.3	5.0	1.5
	推理时常驻	ML-SemReg (监督)	–	73.8	98.1	96.3	82.0	68.1	24.3
	无 (N/A)	EYOC	✓	83.2	99.5	96.6	89.1	78.6	52.3
	无 (N/A)	INTEGER	✓	84.0	99.5	97.1	89.6	79.6	54.2
	仅训练时	CAESAR (本文)	✓	86.9	99.5	97.6	91.1	83.1	61.3
nuScenes	无 (N/A)	FCGF (监督)	–	39.5	87.9	63.9	23.6	11.8	10.2
	推理时常驻	ML-SemReg (监督)	–	43.5	87.0	77.1	37.5	12.6	3.2
	无 (N/A)	EYOC	✓	61.7	96.7	85.6	61.8	37.5	26.9
	无 (N/A)	INTEGER	✓	63.1	97.1	86.9	62.9	39.6	29.4
	仅训练时	CAESAR (本文)	✓	79.5	100.0	96.4	85.6	72.2	43.1
KITTI \(\to\) nuScenes	无 (N/A)	INTEGER	✓	62.6	97.5	84.6	62.6	37.8	30.2
(跨域泛化)	仅训练时	CAESAR (本文)	✓	74.1	99.5	94.6	82.3	56.3	37.1

消融实验与分析¶

在 KITTI 数据集上对各核心模块的贡献及分割模型的依赖性进行深度消融验证。

表 2：KITTI 上的核心组件消融实验（摘自原文 Table 3）

模块变体配置	首轮教师内点率 tIR@1st (%)	mRR (%)	RR@[40,50) (%)	RRE (°)	RTE (m)	说明
Full CAESAR (完整模型)	85.6	86.9	61.3	1.10	0.28	完整方案
w/o DCRM (无重匹配)	83.7	85.1	59.8	1.34	0.55	直接采用 1-NN，丢弃候选重选
重选仅依赖 \(s_{\text{sem}}\)	84.8	85.8	59.3	1.47	0.38	缺乏几何显著性支撑
重选仅依赖 \(s_{\text{geo}}\)	84.5	85.6	59.8	1.12	0.31	缺乏语义过滤歧义
w/o SATR (无教师精炼)	83.6	84.8	59.3	1.23	0.51	去除批次特异的教师特征更新
SATR 中去除残差提取器 \(\Phi_g\)	84.9	85.7	59.8	1.30	0.41	直接混合特征
去除体积正则 \(\mathcal{R}\)	84.7	85.8	60.3	1.41	0.40	特征多样性受损
\(\mathcal{L}_{\text{rerank}} \to \mathcal{L}_{\text{reg}}\) (替换为全局对比)	83.3	85.0	59.8	1.25	0.49	全局对比将局部误差扩散至全局
w/o RLS (无可靠伪标签筛选)	81.2	85.2	60.3	1.62	0.53	首轮伪标签噪声急剧放大
w/o SPD (无语义预测蒸馏)	85.6	85.0	58.8	1.26	0.41	学生缺乏语义上下文引导
\(\mathcal{L}_{\text{dstl}} \to L_1\) (改为简单 \(L_1\) 拟合)	85.6	84.0	57.8	1.51	0.49	点级硬拟合破坏学生几何表征

表 3：不同分割网络先验质量对配准性能的影响（摘自原文 Table 2）

分割模型先验	架构类型	领域设置	mRR (%)	RR@[40,50) (%)	RRE (°)	RTE (m)
SphereFormer	Transformer	In-domain (SemanticKITTI)	87.3	63.3	0.97	0.27
SphereFormer	Transformer	Out-of-domain (nuScenes)	86.9	61.3	1.10	0.28
SPVNAS	Point-Voxel	Out-of-domain (nuScenes)	85.6	60.8	1.17	0.30
MinkUNet	Voxel-Based	Out-of-domain (nuScenes)	85.8	61.3	1.07	0.29
DGT-ST (无监督仿真到真实)	–	Sim-to-Real (无真实标注)	85.4	58.3	1.39	0.44

关键发现¶

彻底扭转稀疏点云配准劣势：在点云线束较低、极度稀疏的 nuScenes 上，现有最强无监督方法 INTEGER 的 mRR 仅为 63.1%，而 CAESAR 跃升至 79.5%（绝对提升 +16.4%），远超该数据集上的全监督基线（如 Predator 的 51.0%）。
训练时间反常减少 17.2%：由于引入语义锚点从根本上抑制了特征漂移，避免了教师自循环确认偏差所需的繁重多轮全局微调，在 KITTI 上的训练时间从 INTEGER 的 76.0 小时降至 62.9 小时，同时推理时间依然保持在纯几何 FCGF 水平（约 0.16 s/对）。
对分割模型质量具备极高宽容度：即使完全不使用真实语义标注，仅使用合成数据预训练且跨域迁移性能较差的无监督分割模型 DGT-ST（mIoU 仅 43.1%），CAESAR 依然取得 85.4% 的 mRR，明显高出无语义引导基线。

亮点与洞察¶

训练期语义锚定与测试期零开销解耦：将原本被视为主干依赖的推理期语义模块重新定义为训练期的“几何/语义稳定脚手架”，既利用了深层语义对几何退化的鉴别能力，又彻底杜绝了推理延迟和跨域传感器对齐难题。
将“拒识”变为“重选”破除冷启动饥饿：敏锐地揭示了特征近邻中真实匹配常被微小噪声掩盖这一事实，通过几何与语义协同打分，在不增加模型容量的前提下大幅提高了初始伪标签的挖掘质量与召回率。
批次局部精炼与即用即弃机制：仅优化 0.07 M 参数并在收敛判定后立即丢弃适配器，既让教师网络在每个 batch 能够动态适应点云局部的特异分布，又杜绝了历史噪声沿时序传递污染全局特征权重。

局限与展望¶

对极端几何/语义双重缺失场景的鲁棒性：若环境处于毫无纹理、语义极其单一的大型开阔荒野或隧道内部，分割模型本身输出平坦且无判别力时，语义锚定带来的收益会收敛于纯几何基线。
动态障碍物隐式过滤机制有待加强：当前虽然通过空间相容性与伪标签重选择过滤了大部分外点，但并未显式建模场景中的移动车辆与行人（如通过时序语义流做刚体动态剔除）。
向开放词表 2D-3D 基础模型迁移：未来可探索借助大型视觉语言模型（如 SAM 3D 或 OpenScene）生成的开放词表特征作为训练期教师引导，进一步解放特定 3D 分割架构的依赖。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [揭示无监督配准中内生语义坍塌现象，创新性提出训练期即用即弃语义锚定范式]
实验充分度: ⭐⭐⭐⭐⭐ [KITTI 与 nuScenes 深度评测，跨域泛化及低质分割模型消融完备翔实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，动机到机制设计严密自洽，图表与形式化表述规范]
价值: ⭐⭐⭐⭐⭐ [为室外自动驾驶低成本无标注点云配准提供了极具工业落地价值的高效解决方案]