RVLoss: Runoff Vote Loss for Self-Supervised LiDAR Scene Flow Estimation¶

会议: NeurIPS 2026
arXiv: 2608.18864
OpenReview: https://openreview.net/forum?id=RsacOS2C69
领域: 自动驾驶
关键词: 激光雷达场景流、自监督学习、决选投票机制、刚体运动先验、伪标签监督

一句话总结¶

针对自监督激光雷达场景流估计中最近邻搜索破坏刚体一致性的瓶颈，RVLoss 提出基于引导式空间投票的两阶段决选投票机制，由数据驱动生成聚类级刚体流与自由形变流伪标签，在无需复杂网络结构改造与繁琐正则项的前提下将前馈自监督场景流精度提升达 20%。

研究背景与动机¶

激光雷达场景流（LiDAR Scene Flow）旨在估计连续两帧点云之间点级别的三维运动矢量，是自动驾驶系统中动态障碍物感知、动态三维重建以及多帧 BEV 特征对齐的核心底层能力。近年来，为了摆脱对密集三维标注数据的重度依赖，自监督场景流估计方法得到了长足发展。以 Argoverse 2 场景流挑战赛上的主流前馈模型（如 FastFlow3D、DeFlow、DeltaFlow）为例，绝大多数方法均依赖双向 Chamfer 距离作为自监督训练目标，核心逻辑是通过对源点云进行预测运动补偿后，最小化其与目标点云之间的局部最近邻（Nearest Neighbor, NN）欧氏距离。

然而，基于局部最近邻的几何匹配与交通参与者本质上的“刚体运动”物理规律存在根本性冲突。在自动驾驶常见的大型交通目标（如卡车、公交车或长车身轿车）中，由于点云采样稀疏且大面积平面缺乏几何特征，最近邻搜索倾向于寻找空间位移极小的表面局部对应点，而严重低估物体的整体实际位移。这导致同一刚体对象内部各点的预测流矢量极不一致、甚至相互撕裂。现有方案通常试图通过引入启发式的正则化项（如对静态、动态及聚类点施加平滑正则）或定制专门的网络聚合架构（如 VoteFlow 局部投票模块）来缓解该问题，但往往引入了繁杂的超参数调优，且在跨几何结构与远距离稀疏点云上泛化脆弱，无法根本保证刚体一致性。

本文的切入点在于直接从自监督损失函数的设计上注入刚体物理先验，而非依赖额外的正则项堆叠。作者观察到，虽然单点的最近邻搜索充满噪声，但将聚类内所有点的近邻位移投影至投票空间后，真实的刚体运动往往会跻身票数最高的少数几个主导候选（top-$k$）之中；此时若以这些候选为引导平移点云并展开二次投票，真正的全局刚体运动必将斩获最高的整体共识。核心 idea：将政治选举中的两阶段“决选投票”（Runoff Vote）机制引入场景流损失函数，通过引导式刚体估计从前馈预测中提取 top-$k$ 主导运动候选，再经二次投票决选出最优聚类级刚体流，结合自由形变流直接生成高质量伪标签进行自监督端到端训练。

方法详解¶

整体框架¶

RVLoss 是一种与模型架构完全解耦的自监督损失函数，可即插即用嵌入任意前馈场景流网络。整个前向监督流程输入连续点云帧，网络首先预测初始点级流场，随后系统利用预先获取的点云聚类标签，通过统一的“引导式刚体流估计”（Guided Rigid Flow Estimation, GRF）算子依次执行两阶段级联投票：第一阶段以网络预测流为引导筛选出 top-$k$ 个聚类主导候选刚体流，第二阶段以候选流为引导让各点展开二次决选投票确定唯一的最佳刚体流。最后，结合消除离散量化误差的自由形变流构建伪标签，并在双向循环一致性框架下计算 $L_2$ 监督损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入激光雷达点云序列<br/>P0 与 P1 (含 HDBSCAN 聚类)"] --> B["前馈场景流网络 Gθ<br/>预测初始点级流场 F0"]
    B --> C["引导式刚体运动估计<br/>引导NN搜索 + 2D网格量化投票 + 局部NMS"]
    C --> D["两阶段决选投票机制<br/>Stage 1 选出 Top-k 候选 → Stage 2 决选 Top-1 最佳刚体流"]
    D --> E["刚体-自由形变双流互补监督<br/>聚类刚体流 T0'' + 细粒度自由流 F0'' + 双向循环"]
    E --> F["端到端自监督损失反传<br/>无额外正则项优化网络参数 θ"]

关键设计¶

1. 引导式刚体运动估计：将局部近邻匹配转化为聚类级运动投票候选 针对单点最近邻匹配易陷入局部空间极小的痛点，本文提出了核心通用算子 GRF（Guided Rigid Flow Estimation）。该算子接收源点云 $\mathbf{P}$、目标点云 $\mathbf{Q}$、聚类标签 $\mathbf{c}$、引导流 $\mathbf{F}$ 以及候选数 $k$ 作为输入。首先执行引导式最近邻检索，将源点按引导流平移后查询目标点云中的最近邻，计算点级残差位移 $\mathbf{M} = \text{NN}(\mathbf{P} + \mathbf{F}, \mathbf{Q}) - \mathbf{P}$。随后依据自动驾驶车辆普遍遵循的“平地假设”（flat ground assumption），假定垂直于地面的 $z$ 轴无刚体平移，将点级位移 $(M_x, M_y)$ 投影至步长 $\delta = 1\text{ cm}$ 的二维离散网格累加器 $\mathbf{V} \in \mathbb{Z}^{c \times m \times n}$ 中。同一聚类内的各点独立为对应的网格投出一票，通过 $3 \times 3$ 最大池化抑制局部重复峰值（NMS），最终提取出该聚类得票最高的前 $k$ 个候选运动矢量 $\mathbf{T} \in \mathbb{R}^{c \times k \times 3}$。该设计成功将嘈杂高维的点级空间匹配收敛到紧凑且具有几何共识的离散假设空间中。

2. 两阶段决选投票机制：通过两轮级联投票从主导候选中决选最优刚体流 若直接在一轮投票中贪婪选取票数第一（top-1）的流，对于大卡车等存在大面积无特征平面的对象，过半数的点往往因重叠而投票给近似零位移的局部假匹配，导致真实运动被掩盖。为此，RVLoss 借鉴两轮决选选举制度：在第一阶段，模型以上一迭代前馈网络输出的预测流 $\mathbf{F}_0$ 作为引导流输入 GRF，提取前 $k$ 个（默认 $k=10$）最具潜力的主导运动候选 $\mathbf{T}_0' = \text{GRF}(\mathbf{P}_0, \mathbf{P}_1, \mathbf{F}_0, \mathbf{c}_0, k)$；在第二阶段，利用张量广播技术将源点云沿候选维度复制 $k$ 份，以所有 $k$ 个候选流分别作为引导平移源点，使聚类内的每个点针对全部 $k$ 个假设再次对目标点云重新匹配投票，记为 $\mathbf{T}_0'' = \text{GRF}(\mathbf{P}_0', \mathbf{P}_1, \mathbf{T}_0', \mathbf{c}_0', 1)$。由于全局正确刚体运动平移后的点云与目标点云具备最高的全貌贴合度，此前分散或处于次席的正确运动在第二阶段展现出压倒性的全局共识，从而精准决选出唯一的真实刚体流 $\mathbf{T}_0''$。

3. 刚体-自由形变双流互补与双向优化：兼顾刚性先验、量化容错与循环一致性 空间网格投票虽然锁定了宏观刚体运动，但离散化带来了 $1\text{ cm}$ 的量化阶跃误差；同时道路场景中的行人、骑行者等弱势道路使用者（VRU）存在铰接与非刚性形变，强行施加单一刚体标签会导致优化失真。RVLoss 设计了双流互补机制：在获得刚体流 $\mathbf{T}_0''$ 后，进一步以其作为引导对源点云执行连续微调的最近邻查找，生成保留局部连续几何弹性的自由形变流 $\mathbf{F}_0'' = \text{NN}(\mathbf{P}_0 + \mathbf{T}_0'', \mathbf{P}_1) - \mathbf{P}_0$。单向损失直接计算预测流与两类伪标签的 $L_2$ 距离： $$\mathcal{L}_{\text{RVLoss}}^0 = \frac{1}{L_0} \sum_{i=1}^{L_0} \left( \|\mathbf{T}_0'' - \mathbf{F}_0\| + \|\mathbf{F}_0'' - \mathbf{F}_0\| \right)$$ 为进一步增强鲁棒性，算法对目标点云 $\mathbf{P}_1$ 到 $\mathbf{P}_0$ 交换时序执行对称的引导决选过程，形成完全闭环的双向时空循环一致性监督。

一个完整示例¶

以一辆沿 $x$ 轴正方向以 $15\text{ m/s}$ 高速行驶、车身点云包含 3000 个点的大型卡车聚类为例： 1. 网络初始预测：当前未充分收敛的网络预测流 $\mathbf{F}_0$ 存在较大偏差，均值仅为 $8\text{ m/s}$。 2. 第一阶段主导投票（$k=10$）：通过 $\text{NN}(\mathbf{P}_0 + \mathbf{F}_0, \mathbf{P}_1)$ 检索最近邻位移并在 $1\text{ cm}$ 网格上累计投票。卡车平坦侧厢上的 1800 个点由于局部几何缺乏纵向特征，错误匹配至相邻帧的重叠侧壁，聚集在 $2\text{ m/s}$ 的假阳性区间获得第一高票；然而卡车车头、车尾与车轮处的 1200 个结构点由于具有边缘几何约束，正确指向了真实的 $15\text{ m/s}$ 运动。该真实矢量因此进入前 10 个候选池 $\mathbf{T}_0'$（排名第 3）。 3. 第二阶段决选投票（Top-1）：源点云分别按照 10 个候选速度完整平移。当按照错误的 $2\text{ m/s}$ 假候选平移时，由于车头和车尾出现严重错位，整车仅有少量点找到近距离邻居；而当源点云整体按照 $15\text{ m/s}$ 平移时，整辆卡车的外形轮廓与目标帧点云完美重合，全车 3000 个点中有超过 2800 个点一致投向该速度区间。两轮决选成功排除局部假阳性，将最优刚体流 $\mathbf{T}_0''$ 牢固锁定在 $15\text{ m/s}$。 4. 生成连续自由流与损失回传：在刚体流平移后局部微调生成精确的连续自由流 $\mathbf{F}_0''$，两者联合驱动反向传播，将网络的预测流迅速拉向真实物理运动。

损失函数 / 训练策略¶

RVLoss 采用端到端对称双向优化，总训练目标定义为： $$\mathcal{L}_{\text{RVLoss}} = \frac{1}{L_0}\sum_{i=1}^{L_0}\big(\|\mathbf{T}_{0}^{''}-\mathbf{F}_{0}\|+\|\mathbf{F}_{0}^{''}-\mathbf{F}_{0}\|\big) + \frac{1}{L_1}\sum_{j=1}^{L_1}\big(\|\mathbf{T}_{1}^{''}-\mathbf{F}_{1}\|+\|\mathbf{F}_{1}^{''}-\mathbf{F}_{1}\|\big)$$ 其中 $\mathbf{F}_1$ 表示通过反向近邻索引映射推导的从 $\mathbf{P}_1$ 到 $\mathbf{P}_0$ 的逆向流。在训练配置上，模型在 4 块 NVIDIA A40 GPU 上训练约 3 天；以 HDBSCAN 预计算的无监督空间聚类作为物体分组，无需任何真值语义标注与人工调谐的正则化权重。

实验关键数据¶

主实验¶

在 Argoverse 2 (AV2) 2026 场景流挑战赛官方测试集（In-domain AV2 Test Split）上，RVLoss 分别搭载双帧 DeFlow 和多帧 DeltaFlow 主干网络，与前沿自监督及全监督方法对比结果如下表所示（评价指标包括 35 米范围内的动态分桶归一化端点误差 Dynamic Bucket-Normalized EPE，以及三向端点误差 Three-way EPE，单位 cm）：

主干网络	损失函数 / 监督源	输入帧数	损失帧数	动态归一化 EPE (Mean) ↓	轿车 (CAR) ↓	其他车辆 (O.V.) ↓	行人 (PED.) ↓	骑行者 (VRU) ↓	全局平均 EPE (cm) ↓	前景动态 (FD) ↓	前景静态 (FS) ↓	背景静态 (BS) ↓
全监督方法
DeltaFlow	GT (真值流)	5	-	0.103	0.083	0.132	0.122	0.075	1.76	3.16	1.31	0.81
SSF	GT (真值流)	2	-	0.160	0.115	0.170	0.217	0.137	2.36	4.71	1.69	0.67
自监督方法
DeFlow	SeFlow (Chamfer+正则)	2	2	0.313	0.236	0.295	0.441	0.273	4.76	10.93	2.23	1.12
VoteFlow	SeFlow (结构投票)	2	2	0.290	0.226	0.301	0.383	0.252	4.52	10.36	2.09	1.12
DeFlow++	SeFlow++	3	3	0.283	0.202	0.308	0.387	0.234	4.20	9.49	2.02	1.08
DeFlow	RVLoss (本文)	2	2	0.256	0.160	0.254	0.391	0.218	3.63	7.14	2.16	1.60
DeltaFlow	TeFlow (多帧时序)	5	5	0.202	0.167	0.221	0.273	0.146	3.54	7.02	2.18	1.42
DeltaFlow	RVLoss (本文)	5	2	0.163	0.116	0.154	0.242	0.141	2.95	4.92	2.12	1.82

消融实验¶

在 Argoverse 2 验证集上，基于 DeFlow 主干对 RVLoss 的内部核心损失分支及双向优化策略展开消融验证：

自由形变流 (Free-form)	刚体流 (Rigid)	双向优化 (Bidirect)	动态归一化 EPE (Mean) ↓	轿车 (CAR) ↓	其他车辆 (O.V.) ↓	行人 (PED.) ↓	骑行者 (VRU) ↓	全局平均 EPE (cm) ↓	前景动态 (FD) ↓	前景静态 (FS) ↓	背景静态 (BS) ↓
✓	✓	✗	0.284	0.129	0.267	0.442	0.299	3.59	7.31	1.99	1.48
✗	✓	✓	0.338	0.138	0.268	0.604	0.346	3.70	8.27	1.69	1.14
✓	✗	✓	0.275	0.139	0.266	0.405	0.288	4.68	7.48	3.62	2.94
✓	✓	✓	0.262	0.121	0.246	0.405	0.277	3.47	6.84	2.05	1.53

此外，针对两阶段决选机制中候选数 $k$ 的取值消融（基于 DeFlow 主干，AV2 验证集）： - 单阶段直取（Stage 1: -, Stage 2: $k=1$）：动态均值误差高达 0.499，前景动态 EPE 恶化至 18.5 cm，证明缺失初筛候选阶段会导致投票被局部小位移假阳性彻底带偏； - 两阶段决选（$k=3 \to 1$）：动态均值误差下降至 0.317，前景动态 EPE 降至 9.84 cm； - 两阶段决选（$k=5 \to 1$）：动态均值误差为 0.277，平均 EPE 为 3.73 cm； - 两阶段决选（$k=10 \to 1$，默认配置）：取得最佳性能，动态均值误差达到最优的 0.262，平均 EPE 降至 3.47 cm； - 两阶段决选（$k=20 \to 1$）：动态均值误差略有回升至 0.297，原因在于候选过多引入冗余噪声干扰二次决选判定。

关键发现¶

显著超越现有基线：在相同 DeltaFlow 主干下，RVLoss 较此前最佳的 TeFlow 将动态归一化 EPE 从 0.202 压降至 0.163，相对误差削减近 20%；在 CAR 和 O.V. 刚体类别上分别带来约 5.1 p.p. 与 6.7 p.p. 的实质性跨越。
刚体先验压制静态误漂移：消融实验显示，如果只保留自由形变流（缺少刚体流约束），模型极易高估静态物体的位移，导致背景静态误差（BS）从 1.53 cm 激增至 2.94 cm；刚体流的强先验有效锚定了静态聚类，抑制了点云噪声诱发的虚假运动。
自由形变流弥补非刚性与量化缺陷：若剔除自由形变流、纯靠刚体流监督，行人类别（PED.）误差由 0.405 剧烈恶化至 0.604，印证了离散刚性假设无法直接套用于铰接非刚性目标，双流互补对非刚性物体具有关键保护作用。
强大的跨数据集泛化表现：在未经微调的跨域评估中，DeltaFlow+RVLoss 在 Waymo（0.275）、nuScenes（0.388）、TruckScenes 和 AevaScenes 等五大主流自动驾驶数据集上一致刷新了自监督场景流的最优性能。

亮点与洞察¶

将两阶段政治决选投票机制创造性迁移至损失设计：发现并利用“真实刚体位移即便不是局部多数票，也极大概率进入前 $k$ 候选，但在全局投影重评下必获压倒性共识”的洞察，用优雅的两轮投票彻底取代了手工调权的多重正则项。
纯损失层面的架构无关性：RVLoss 在推理部署时 0 开销，同时不要求主干网络设计复杂的局部注意力或 ICP 模块，能够无缝兼容两帧或多帧、稀疏体素或点云变换的任意场景流骨干。
可迁移的离散-连续双流伪标签生成范式：通过全局投票锁定宏观离散假设、再通过局部近邻微调恢复连续高精位移的双流构造方法，对 3D 目标追踪、无监督点云配准以及雷达测速等低信噪比几何匹配任务具有通用的借鉴价值。

局限与展望¶

高度依赖前端聚类质量：RVLoss 的投票统计建立在空间聚类（HDBSCAN）基础上，若欠分割将两个相对运动的物体合并为一个聚类，投票机制可能产生严重冲突；未来可探索无需显式聚类的隐式运动共识聚合机制。
平面假设与旋转运动建模缺失：当前实现基于平地假设将投票空间限制在二维平移（$x, y$ 轴），假设垂直 $z$ 轴与偏航角旋转为零；这在车辆急转弯、起伏颠簸路段或长时序场景下不够严密，扩展至完整 6-DoF 刚体变换是重要演进方向。
非刚性物体的性能天花板：虽然自由形变流提供了缓冲，但在行人、骑行者等剧烈非刚性目标上，自监督模型与全监督方法仍存在较明显差距（动态 EPE 0.242 vs 0.122），针对骨骼或局部形变结构的先验建模有待进一步突破。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用两阶段决选投票机制从根源上解决最近邻匹配的非刚性缺陷，损失函数思路新颖独特。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 AV2 2026 挑战赛官方榜单、五大自动驾驶数据集跨域评测及深入的消融验证，数据详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条极其自洽，两阶段投票的数学抽象与工程实现（张量广播/最大池化 NMS）交代清晰。
价值: ⭐⭐⭐⭐⭐ 作为即插即用的自监督损失函数，大幅刷新自动驾驶场景流 SOTA，代码与模型开源价值高。