Analytic Bayesian Uncertainty for LiDAR Segmentation: A Single-pass Generative Approach¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5831
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/13400.pdf
领域: 自动驾驶 / LiDAR语义分割
关键词: 生成式分类、正态逆伽马先验、Student-t后验预测、置信度校准、错误检测

一句话总结¶

GMM-NIG在确定性分割骨干后，为类条件高斯混合模型的均值与方差建立共轭贝叶斯后验，再用解析Student-t预测密度输出分类概率和不确定性，使SemanticKITTI上RangeFormer达到65.71% mIoU、2.01% ACE和53.33%错误检测AUPR，而不需要多次随机前向。

研究背景与动机¶

LiDAR语义分割不仅需要回答一个点属于道路、车辆还是植被，还需要告诉下游系统这个判断有多可信。常规softmax分类器主要学习决策边界，即使一个点的特征远离训练中常见的区域，也可能因为某个类别的logit相对更大而给出很高置信度。对自动驾驶而言，“分错但自知不确定”和“分错且非常自信”有不同的风险含义，单独提高mIoU不能解决后一个问题。

深度集成和MC Dropout通过多个模型或多次随机前向估计预测变化，但每帧点云的计算预算有限。温度缩放等后处理可以调整置信度，却没有直接建立分类器参数的不确定性模型；证据深度学习虽然也能单次前向，但输出二阶分布并不自动等价于贝叶斯后验推断。GMMSeg提供了另一个起点：在特征空间为每个类别拟合多个高斯簇，再按生成概率分类。不过，它仍把高斯均值和协方差当作确定的点估计，不能表示这些簇参数本身究竟有多可靠。

本文因此不尝试把整套分割网络改成贝叶斯神经网络，而是在一个可解析的小范围内处理参数不确定性。核心idea：保留确定性骨干，对类条件GMM的均值与方差设置共轭先验并解析边缘化，以Student-t后验预测替代固定高斯密度，让单次前向也能考虑分类头参数估计的不确定性。

方法详解¶

整体框架¶

输入点云先经过球面投影形成距离图，每个像素包含距离、三维坐标和反射强度五个通道。骨干将其编码为64维特征；分类头不直接把特征映射成softmax logits，而是计算这个特征由各类别分布生成的可能性。训练时，用Sinkhorn-EM维护类内混合结构，并配合语义监督塑造特征空间；对各分量参数施加NIG先验后，推理时积分掉未知均值和方差，得到Student-t混合密度。

最终按贝叶斯规则把各类别的生成密度归一化，得到类别后验。最大后验概率用于置信度校准评测，整个类别分布的Shannon熵用于判断哪些像素更可能分错。这里“生成式”指特征密度建模，不是生成新的点云；“单次前向”指骨干只运行一次，不意味着分类头完全没有额外计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["点云与距离图"] --> Backbone["确定性骨干<br/>64维特征"]
    Backbone --> Mixture["类内混合建模<br/>Sinkhorn-EM"]
    Mixture --> Posterior["共轭参数后验<br/>NIG解析更新"]
    Posterior --> Predictive["后验预测与熵<br/>Student-t混合"]
    Predictive --> Output["语义标签、置信度<br/>错误检测分数"]

图中概括训练到推理的数据依赖；Sinkhorn-EM和后验更新属于拟合过程，并不要求每个测试像素重新拟合分类头。PTv3与SphereFormer实验则直接在各自倒数第二层特征后接入该头，不要求先把输入改成距离图。

关键设计¶

1. 类内混合建模：让一个语义类别容纳多个特征模式

同样标为车辆的点，可能来自不同朝向、距离和局部结构，在特征空间不一定形成单个紧致簇。本文沿用GMMSeg的类条件GMM，每个类别默认包含3个分量，类条件密度是这些分量密度的加权组合。类别先验与类内混合权重是两个层次：本文采用均匀类别先验，Sinkhorn-EM中的类内分量权重也设为均匀，但前者参与最终类别比较，后者只控制一个类别内部的混合。

普通EM的E步按单个特征计算分量责任度；这里改为熵正则最优传输问题，通过Sinkhorn迭代获得全局耦合、均衡的分配，以改善高维空间中的数值稳定性。这个均衡约束针对类内分量分配，不应理解成强行让道路和行人的像素数相同。EM处理分量统计量，判别式损失则推动骨干产生适合语义分割的特征，因此这是生成式头与判别式特征学习的混合方案，而不是完全无监督的密度拟合。

2. 共轭参数后验：把簇的位置和尺度也当成未知量

GMMSeg只保存“这个簇在哪里、有多宽”的单一估计；GMM-NIG进一步保存对这些估计的不确定性。论文先讨论完整协方差下的正态逆Wishart（NIW）先验，再采用特征维度条件独立的简化：每个维度的高斯均值与方差配一组正态逆伽马（NIG）先验。NIG是均值与方差的联合先验，不能理解为两者各自随意指定、相互无关的分布。

共轭性意味着观察特征后，后验仍属于同一个分布族，更新只需样本数量、经验均值和离散程度等统计量，不需要对分类头参数反复采样或做一般性的变分推断。后验超参数同时表达位置、均值估计的证据强度以及方差相关信息；证据不足时，参数的不确定性可以进入后续预测。需要保留边界：这个解析后验成立于假定的高斯特征模型之内，骨干权重和持续变化的特征表示本身没有获得完整贝叶斯后验。

3. 后验预测与熵：先积分未知参数，再比较类别

测试时并非从NIG中抽出一组均值和方差代入高斯，也不是把NIG超参数直接当成类别概率。模型对参数后验做解析积分，每个分量得到按特征维度因子化的一元Student-t密度乘积，再在分量间混合。应区分“独立一元Student-t的乘积”和“完整协方差多元Student-t”：前者是本文默认实现，后者对应此前讨论的NIW路线。两者并不能仅靠更换分布名称互相替代。

Student-t的重尾使远离簇中心的特征不至于像固定高斯模型那样迅速失去密度支持；在多个类别都能解释部分特征时，这有助于避免归一化后某一类别过度占优。不过，重尾不保证每个输入的类别后验都更平坦，改善校准仍是实验结果，而不是对所有样本的数学保证。模型先以类条件密度乘类别先验，再除以所有类别的同类项之和，得到后验概率；取最大项作为分类结果及其置信度，以负的“概率乘对数概率”之和计算预测熵。熵越大，表示类别判断越分散，用于错误检测的排序分数。

公式完整性说明：本地PDF文本抽取中，式(1)至式(6)存在条件符号、上下标、括号及正负号缺失，式(3)(4)的共轭更新尤其严重。此处不补造其精确表达，只按可辨认的正文解释机制；预测熵按正文明确指定的Shannon熵理解，不照抄缺负号的残式。先验初值、软分配下的有效样本量及在线更新细节，不能从这些残式可靠恢复。

一个完整示例¶

考虑论文定性分析中的拖车被误判为汽车的区域。对其中一个点，确定性骨干先产生64维特征；分类头分别检查该特征与各类别3个分量的相容程度。传统点估计可能让汽车类占据过高的相对概率，而后验预测把分量均值和方差的不确定性一起计入，可能仍选择汽车，却给出更分散的类别后验和更高熵。这个例子说明，错误检测改善不等于每个错误都被纠正。

对下游系统而言，该熵可以成为进一步检查或拒绝预测的依据；但本文报告的是错误排序指标，没有给出可直接用于车辆控制的安全阈值。上述流程沿用论文展示的场景，不虚构该点的具体概率。

损失函数 / 训练策略¶

训练组合生成式EM负期望对数似然与判别式Lovasz-Softmax、Focal损失。正文给出生成项权重0.1、判别项权重0.9；式(2)的连接符号抽取损坏，因此不将其残式重新排成貌似精确的公式。Focal损失在这里既参与分割监督，也被作者用于改善校准，不能把整套训练策略的收益全部归因于NIG。

距离图分辨率分别为SemanticKITTI的64×1024和nuScenes的32×1024，均为5通道；正文分别写20和16个标注类别，但本缓存未清楚说明SemanticKITTI忽略类如何进入mIoU统计。特征维度64，每类3个分量，AdamW初始学习率0.01，OneCycle调度，batch size为4；两个数据集分别训练50和80个epoch。对照中的MC Dropout使用10次随机前向，深度集成使用5个独立训练的模型。

实验关键数据¶

主实验¶

以下摘录原文表1、表2的验证集结果，均使用RangeFormer。mIoU、ACE、AUROC、AUPR均为百分数；ACE越低越好，其余越高越好。时延为每帧秒数，保留原表的“±”报告值，不推断其统计含义。

数据集	方法	mIoU	ACE	错误检测AUROC	错误检测AUPR	时延（秒）
SemanticKITTI	MSP	63.60	4.97	81.93	37.33	0.21 ± 0.01
SemanticKITTI	深度集成	64.91	2.81	87.61	48.07	1.31 ± 0.03
SemanticKITTI	MC Dropout	64.18	3.21	84.90	46.61	2.18 ± 0.03
SemanticKITTI	GMMSeg	63.90	3.88	86.11	47.01	0.22 ± 0.03
SemanticKITTI	GMM-NIG	65.71	2.01	89.01	53.33	0.23 ± 0.03
nuScenes	MSP	79.81	3.57	86.00	44.08	0.16 ± 0.02
nuScenes	深度集成	80.11	2.01	88.90	51.50	0.98 ± 0.03
nuScenes	GMM-NIG	80.18	1.97	91.08	55.21	0.18 ± 0.01

SemanticKITTI上，相比MSP，mIoU提高2.11个百分点，ACE下降2.96个百分点；相比GMMSeg，mIoU提高1.81个百分点，ACE下降1.87个百分点。nuScenes上相对深度集成的mIoU优势只有0.07个百分点，主要价值更体现在错误检测和时延，不能把所有数据集概括为大幅分割提升。

ACE按自适应置信度分箱，比较箱内平均置信度与经验准确率；以下为正文可辨认的指标定义，其中K为非空箱数：

\[ \mathrm{ACE}=\frac{1}{K}\sum_{k=1}^{K}\left|\mathrm{conf}_k-\mathrm{acc}_k\right|. \]

错误检测把预测正确与否作为二分类目标，使用预测熵进行排序。ACE衡量概率值是否可信，AUROC/AUPR衡量错误能否被优先挑出来，两类指标不应混为一谈。

消融实验¶

原文表5：SalsaNext的类内分量数消融，对应SemanticKITTI设置。

每类分量数	mIoU（%）	ACE（%）	解释
1	54.30	3.04	单峰表达不足
3	57.96	2.10	默认设置，分割最佳
5	56.21	2.01	校准略优，但分割变差
10	56.33	2.86	增加分量未带来持续收益

原文表4：同一SalsaNext设置下的协方差结构对比，FLOPs以batch size为1计算。

分类头	mIoU（%）	ACE（%）	FLOPs（G）
GMM-NIG，因子化	57.96	2.10	63.16
GMM-NIW，低秩R=8	58.01	2.87	66.18
GMM-NIW，低秩R=12	57.33	2.81	67.94

关键发现¶

从1个分量增加到3个，mIoU提高3.66个百分点、ACE下降0.94个百分点，支持类内多峰建模；但5个分量的ACE更低，3并非所有指标上的最优值。
低秩R=8仅换来0.05个百分点mIoU增益，ACE却增加0.77个百分点；增加维度相关性表达不自动带来更可靠的概率。
表3还报告PTv3的ACE由6.81降至3.09，SphereFormer由4.67降至2.08，分别下降3.72和2.59个百分点。正文“约5%”的概括不精确，应以表格为准。
RangeViT在SemanticKITTI上的mIoU从57.58升至62.88，增益为5.30个百分点；摘要“近6%”不是每个骨干都能获得的统一提升。

亮点与洞察¶

最值得复用的是选择可解析的贝叶斯建模范围：不对整个网络做采样，而对有共轭结构的分类头积分。这把不确定性能力与骨干的随机化成本分开，但保留了特征建模假设。
生成式头不是训练后随意套上的密度估计器，特征空间本身受到混合建模和语义监督共同塑造。迁移到其他任务时，应同时检查特征是否支持类条件密度假设。
错误检测收益可以独立于分类改正而存在。一个仍然分错、但熵正确升高的点，依然能提高系统筛查风险区域的能力。

局限与展望¶

作者明确限定贝叶斯推断只覆盖GMM头。最终使用的预测熵也没有显式分解偶然与认知不确定性，不能直接称为纯粹的认知不确定性度量。
因子化假设忽略特征维度相关性；低秩实验仅测试R=8和R=12，尚不能说明所有更丰富的协方差模型都不值得使用。
实验主要针对两个数据集的官方验证集和预测错误检测。当前缓存没有提供充分的跨城市、恶劣天气或未知类别OOD测试，校准优势不能直接外推为分布外安全保证。
“没有额外开销”需要降格为“接近单模型时延”：SemanticKITTI的RangeFormer由0.21增至0.23秒，nuScenes由0.16增至0.18秒。能否实时还取决于目标帧率及完整感知链路。
复现仍需确认先验初值、统计量维护、EM与骨干优化的交替细节。缓存公式损坏，且没有可核验的代码链接；这里不臆造缺失超参数。后续应补先验敏感性、Focal损失独立消融及分布偏移测试。

评分¶

新颖性: 4/5。共轭贝叶斯工具本身经典，但与LiDAR生成式分割头的结合清晰且有效。
实验充分度: 4/5。覆盖多个骨干、两种数据集及结构消融，仍缺更充分的分布偏移与先验敏感性验证。
写作质量: 3/5。主线清楚，但摘要、效率和跨骨干提升的部分表述强于表格证据；公式抽取损坏另属缓存限制。
价值: 4/5。提供低采样成本的校准方案，但实际安全部署仍需任务级阈值验证和更完整的复现信息。