SP-TransientBench: A Real-Captured Single Photon Perception Benchmark¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://huggingface.co/datasets/shuinb/SP-TransientBench
领域: 自动驾驶
关键词: 单光子LiDAR、瞬态直方图、3D感知、多回波分解、基准数据集

一句话总结¶

首个真实采集的多任务单光子LiDAR（SPL）3D感知基准数据集，提供完整的 \(256 \times 192 \times 672\) 瞬态飞行时间直方图、多视角姿态与多回波直方图域语义标注，覆盖深度估计、多视角重建和3D语义分割。

研究背景与动机¶

基于单光子雪崩二极管（SPAD）的单光子激光雷达（SPL）凭借极高的光子灵敏度与皮秒级时间分辨率，成为低功耗主动3D感知、长距离测距和非视域成像的核心前沿。与传统仅记录离散回波峰值的脉冲LiDAR不同，SPL记录光子到达的全时间分辨瞬态直方图，蕴含丰富的光传输、半透明遮挡及多表面散射信息。然而，在真实场景中，环境光引入的泊松噪声导致低信噪比（SBR），加之探测器死区时间、脉冲展宽以及多路径传输，常在单个像素内形成复杂的多峰瞬态结构。当这些原始波形被硬压缩为单回波深度图或稀疏点云时，关键的时间几何细节被不可逆地破坏，严重制约了几何重建精度与语义理解能力。

构建真实世界单光子感知基准面临双重瓶颈：硬件层面，SPAD-LiDAR设备昂贵且多为定制化系统，缺乏标准化的采集校准流程；标注层面，传统标注工具基于单值深度图或拼接点云，完全无法处理单像素光线方向上穿透多个物体的多回波重叠现象（如树冠穿透后照到路面与车辆）。这导致现有SPAD研究要么局限于物理仿真数据（难以复现真实的复杂噪声和探测器非理想特性），要么停留在少数受控场景的单视角深度恢复，缺乏横跨几何与语义的统一实测基准。

针对上述挑战，本文设计了多传感器融合采集系统，提出了基于序列峰值剥离（Sequential Peak Peeling）的直方图域3D语义标注方案，推出了首个涵盖全瞬态直方图的真实世界感知基准 SP-TransientBench（STB）。核心 idea：保留包含完整多回波与噪声特性的 3D 瞬态张量，在直方图时域执行峰值剥离标注出射线上的多个语义实体，以此构建覆盖深度估计、多视角重建和 3D 语义分割的真实单光子感知基准。

方法详解¶

整体框架¶

SP-TransientBench 的构建流程涵盖硬件系统采集、几何标定与参考生成、直方图域多回波标注，以及三大感知评测任务的构建。输入由固态 SPAD-LiDAR（Adaps ADS6311 Hawk）与辅助机械式/固态 LiDAR（Livox Avia）协同采集。系统对原始光子到达时间做时相关单光子计数（TCSPC），形成 \(256 \times 192 \times 672\) 的瞬态直方图张量。辅助 LiDAR 结合板载 IMU 运行激光惯性里程计（LiDAR-inertial SLAM）解算高精度轨迹，并通过棋盘格刚体外参变换对齐到 SPAD 坐标系，提供精确的多视角位姿和稠密深度基准。对于语义任务，直接在直方图时间域通过逐步检测和抑制主回波，解耦单光线上沿光传输方向交叠的多个目标并赋予语义标签。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多传感器硬件协同采集<br/>SPAD-LiDAR + 辅助Livox LiDAR"] --> B["多传感器时空标定与位姿解算<br/>LiDAR-SLAM轨迹 + 外参对准"]
    B --> C["直方图时域序列峰值剥离<br/>主峰检测→半高全宽标注→信号剥离"]
    C --> D["任务基准构建与多视角评测<br/>深度估计 / 神经渲染重建 / 3D语义分割"]

关键设计¶

1. 多传感器时空标定与位姿解算：消除无纹理瞬态数据的几何定位障碍 纯 SPAD 测量在强背景噪声下初始信噪比极低且空间分辨率有限（\(256 \times 192\)），难以仅靠光子直方图本身直接求解稳健的多视角姿态。为此，采集平台刚性集成了 Livox Avia LiDAR 与板载 IMU，利用 LiDAR-SLAM 计算传感器全局轨迹，并通过特制的高精度标定靶标完成 Livox 到 SPAD 的刚体外参变换矩阵求解。同时，利用高反射率（99%）增强镜面反射板（ESR）测定单光子系统的仪器响应函数（IRF），量化激光脉冲展宽和皮秒级时钟抖动。在深度估计轨道中，将多帧 Livox 点云按时序轨迹累积后投影至 SPAD 视角，生成亚厘米级精度的密集真实深度图，为单光子深度恢复提供了可靠的度量基准。

2. 直方图时域序列峰值剥离标注：破解单像素视线上的多回波语义重叠 在真实半透明或边缘遮挡场景中，单根投射光线上会依次穿透前景障碍并打到背景，使得像素直方图呈现多峰结构。传统 2D 语义图或单回波点云标注工具无法表达沿视线方向分布的多个语义实体。本文提出将真值标签表示为直方图语义分桶张量 \(S \in \{0, \dots, C\}^{N \times B}\)（\(N=H \times W\) 为像素总数，\(B=672\) 为时序 bin 数，时间分辨率 \(\Delta t = 750\text{ ps}\)）。标注算法采用迭代的序列峰值剥离机制：首先在时间谱线上识别幅度最大的主回波峰值 \(t_1\)；计算其半高全宽（FWHM）确定该表面的时间支持区间，赋予对应的语义类别；随后在主峰周围较宽的时域邻域内进行信号剥离（抑制已标注能量），暴露出被强光回波掩盖的较弱后续回波（如 \(t_2, t_3\)），循环进行直到所有有效回波被标注完成。最后将各有效 bin 索引按光速反投为度量距离并结合相机内参投回 3D 空间，生成具有多层实体属性的体素化语义真值。

3. 三大感知任务基准统一划分：建立物理噪声与任务泛化的系统评测 为全面评测单光子算法在真实物理噪声下的表现，STB 将全数据集（168.7 GB，包含 10 个深度样本、9 个重建场景与 27 个语义序列共 10,297 样本）划分为统一的评测轨道。深度估计轨道设立了基于飞行时间离散刻度的严格阈值评估（容差 1 bin、3 bins、5 bins 对应的召回率 Recall 与倒角距离 CD）；多视角重建轨道涵盖 3、5、10 视角的瞬态辐射场优化，支持在强度（SSIM、LPIPS）、深度（L1 误差）和瞬态波形本身（PSNR）三个域交叉验证；3D 语义分割轨道建立直方图降噪预处理与点云骨干网络的解耦评测框架，并在 13 个室内外真实语义类别上设立固定划分（8,297 训练样本 / 2,000 测试样本）。

实验关键数据¶

主实验¶

在 STB 设立的三大感知轨道中，各基线方法均在无 RGB 图像引导的纯 SPAD 输入设定下进行评估。

表 1 汇报了 Task 1 深度估计在倒角距离（CD, m）和不同时间容差下召回率（Recall, %）的表现，对比了概率优化模型 Shin、背景解混模型 Rapp、光子高效算法 Li 以及基于稀疏先验的深度网络 SSPINET。

方法	类别	CD ↓ (m)	Recall@1bin ↑ (%)	Recall@3bins ↑ (%)	Recall@5bins ↑ (%)
Shin [37]	物理优化模型	1.6908	25.97	74.83	89.14
Rapp [30]	统计解混模型	1.7486	29.17	68.62	83.88
Li [18]	极限低光子重建	1.5506	34.60	77.20	88.60
SSPINET [44]	稀疏学习网络	1.4978	44.27	83.72	93.68

表 2 汇报了 Task 2 多视角 3D 重建在 10 视角训练设置下，Novel View 合成的新视点在强度域（SSIM, LPIPS）、几何深度域（L1）和瞬态波形域（PSNR）的定量评测。

方法	强度 SSIM ↑	强度 LPIPS ↓	深度 L1 ↓ (m)	直方图 PSNR ↑ (dB)
TransientNeRF [22]	0.7717	0.2315	0.7836	45.4251
Transientangelo [20]	0.7597	0.2501	0.8710	41.5735

表 3 汇报了 Task 3 3D 语义分割中，四种直方图预处理策略与四种主流点云骨干网络在 STB 测试集上的全精度（OA, %）与平均交并比（mIoU, %）性能（3 次随机种子平均值）。

预处理方式	PointNet++ (OA / mIoU)	PointMLP (OA / mIoU)	Point Transformer (OA / mIoU)	PointNeXt (OA / mIoU)
w/o Preprocessing	89.95 / 49.16	89.90 / 49.11	90.23 / 49.51	88.45 / 41.05
Thresholding (固定阈值)	90.53 / 50.58	90.81 / 52.22	89.96 / 48.59	89.05 / 42.86
Matched Filtering [42]	90.26 / 49.71	89.93 / 50.02	90.43 / 50.37	87.07 / 40.04
PPC [10]	90.50 / 50.41	90.59 / 51.50	90.35 / 48.95	88.43 / 41.26
SSPINET [44]	90.73 / 51.31	90.65 / 51.78	90.51 / 50.03	88.46 / 41.54

消融实验¶

表 4 验证了仿真到真实迁移鸿沟（Sim-to-Real Gap）：在 PointNet++ 骨干上，对比单纯用真实数据从头训练（Scratch）与在 ScanNet 仿真 SPAD 点云上预训练后再在不同比例真实数据上微调（Finetune）的准确率与 mIoU（%）。

真实数据比例	Scratch (OA)	Scratch (mIoU)	Finetune (OA)	Finetune (mIoU)
10% 真实数据	\(83.80 \pm 0.79\)	\(33.19 \pm 1.37\)	\(85.58 \pm 0.34\)	\(36.57 \pm 0.61\)
20% 真实数据	\(86.16 \pm 0.68\)	\(37.98 \pm 1.09\)	\(87.52 \pm 0.25\)	\(41.39 \pm 1.42\)
50% 真实数据	\(89.09 \pm 0.36\)	\(45.94 \pm 1.37\)	\(89.55 \pm 0.56\)	\(47.98 \pm 0.93\)
100% 真实数据	\(91.02 \pm 0.11\)	\(52.24 \pm 0.36\)	\(90.61 \pm 0.81\)	\(51.20 \pm 1.41\)

关键发现¶

严格时间容差暴露真实深度质量差异：在深度估计主实验中，当容差放宽至 5 bins（约 3.75 ns）时，所有方法的 Recall 均达到 83%~93%；但在最严格的 1 bin（750 ps）容差下，传统物理与统计优化方法（Shin 仅 25.97%、Rapp 仅 29.17%）出现显著的几何偏倚，而引入深度学习先验的 SSPINET 维持在 44.27%，说明学习型先验对抑制真实仪器响应抖动与峰值不对称至关重要。
预处理比网络骨干更具杠杆效应：在 3D 语义分割中，未经预处理的原始直方图因背景噪点产生大量伪点，使得最新骨干 PointNeXt 的 mIoU 跌至 41.05%；而即便仅采用简单阈值截断，PointMLP 的 mIoU 即可升至 52.22%，证明前置的时域噪声抑制是释放几何表征能力的前提。
仿真预训练存在饱和边界：在极低真实数据场景（10% 数据量）下，仿真预训练带来了 +3.38% mIoU 的初始化收益；但在 100% 真实数据下，Scratch 反超微调方案（52.24% vs 51.20%），揭示了现有基于简化泊松分布的仿真机制无法完全替代真实世界的物理畸变建模。

亮点与洞察¶

完整的瞬态波形发布体系：不同于过去仅公开点云或压缩深度图的 SPAD 数据集，STB 完整保留了全部 \(256 \times 192 \times 672\) 的原始时间到达张量与环境光照度度量，让研究者能够在时域直接分析多径和背景污染，极大地拓宽了物理驱动型计算成像的研究纵深。
直方图域序列峰值剥离工具链：提出并开源了针对多回波脉冲特性的时域分桶标注交互工具，巧妙利用半高全宽边界隔离主要反射，逐层穿透遮挡结构，为非视域与穿透性成像标注提供了可推广的设计范式。

局限与展望¶

参考几何依赖 SLAM 与外参对齐：基准所用的参考真值深度来源于 Livox Avia 的点云投影与激光惯性里程计轨迹，不可避免地包含微量点云漂移与跨模态外参标定误差，评测本质上是与高质量 LiDAR 对齐而非绝对物理真值。
硬件制式单一与场景规模待扩展：当前数据全部采集自单一厂商的固态 SPAD 架构（Adaps ADS6311 Hawk），缺少不同阵列架构与波长探测器的横向对比；未来需引入更多极端恶劣天气（雨、雾、强眩光）以及更高移动动态下的车载工况。

评分¶

新颖性: ⭐⭐⭐⭐⭐（构建了首个具备全瞬态波形与时域多回波语义真值的真实 SPAD 感知基准）
实验充分度: ⭐⭐⭐⭐⭐（覆盖深度估计、神经隐式辐射场重建与点云语义三大任务，开展了详尽的仿真-真实域差分析）
写作质量: ⭐⭐⭐⭐⭐（硬件机理清晰，任务规范完备，图表数据详实自洽）
价值: ⭐⭐⭐⭐⭐（填补了 SPAD-LiDAR 领域长期缺乏标准化大规模真实多任务实测数据的空白）