The Road Ahead in Autonomous Driving: The KITScenes Multimodal Dataset¶

会议: NeurIPS 2026
arXiv: 2606.02956
论文: https://arxiv.org/abs/2606.02956
代码: https://kitscenes.com/
领域: 自动驾驶
关键词: 多模态数据集、高精地图、Lanelet2、长距单目深度、端到端自动驾驶

一句话总结¶

KITScenes Multimodal 是一个面向欧洲复杂城市道路的高保真多模态自动驾驶数据集，配备 72.5 MP 全局快门环视相机阵列、探测距离超 400 米的密集激光雷达与 4D 成像毫米波雷达，首次在公开数据集中提供覆盖 62 平方公里、具备重投影精度与完整拓扑连接的生产级 Lanelet2 高精地图，并构建了涵盖在线拓扑建图、超长距深度、横向新视角合成与地图锚定端到端驾驶的严苛基准。

研究背景与动机¶

过去十年间，以 nuScenes、Waymo Open Dataset 和 Argoverse 2 为代表的开源自动驾驶数据集极大地推动了感知、预测与端到端算法的发展。然而，既有数据集在地理多样性上严重偏向北美与东亚的网格化道路，其传感器配置以滚动快门相机和百米级中短距离激光雷达为主，图像分辨率多在千万像素以下，且点云密度随距离衰减极为剧烈；在地图层面，主流数据集多仅提供简化的车道中心线几何或二维图像级拓扑，缺少带有完整法规约束的真实 3D 交通要素。欧洲历史名城特有的放射状路网、多岔环岛、狭窄街道以及机动车、非机动车和行人混行的高动态复杂环境，在现行评估基准中长期处于严重缺失状态。

随着自动驾驶与具身智能研究向高阶空间推理（Spatial Intelligence）与 L4 级自主能力演进，现有算法在传统基准上已呈现虚假的性能饱和。在线高精地图构建模型仅停留在无类型车道分隔线和人行横道等基础几何图元的拟合，缺乏红绿灯、路标与车道间的拓扑绑定；单目深度估计模型受限于回传点云距离，无法评估 100 米至 200 米以外的高速行车盲区；神经渲染与新视角合成（NVS）通常仅在自车行进轨迹上测试光度重构误差，掩盖了横向位移时微小静态物体的严重三维几何畸变；而端到端规划模型在开环位移误差（ADE/FDE）主导下，忽视了与物理可行驶区域、静态障碍物及多合理机动的深度安全对齐。

为了弥补高保真传感、全要素地理空间上下文与严苛部署级评测之间的鸿沟，卡尔斯鲁厄理工学院（KIT）与 FZI 信息技术研究中心联合打造了 KITScenes Multimodal 数据集。核心 idea：构建以像素级重投影精度与完整拓扑法规约束的 Lanelet2 生产级高精地图为基石的欧洲高保真多模态自动驾驶数据集，依托 72.5 MP 全局快门多目阵列与 400 米超远距激光雷达突破传感极限，并设立揭示拓扑建图、超长距深度、横向 NVS 几何一致性及地图锚定轨迹规划极限的四大部署级基准。

方法详解¶

整体框架¶

KITScenes Multimodal 的系统架构由高精度全同步车载感知硬件平台、高保真无损后处理管线、生产级双层 Lanelet2 高精地图标注体系，以及四项面向具身空间智能的部署级评测任务构成。实车平台整合了 9 台工业级全局快门相机（总分辨率达 72.5 MP）、7 台多波长与多线束激光雷达（包含 1550 nm 远距固态雷达与高密度机械旋转雷达）、3 台 4D 高清成像毫米波雷达以及双 RTK GNSS/INS 组合导航单元，硬件触发实现微秒级全局曝光对齐。采集数据经由保留边缘的高质量去马赛克（AMaZE）、近无损压缩（JPEGLI 4:4:4）与保护测度几何的深度自然匿名化（DNAT）处理。高精地图则融合航空高分影像与实车点云，严格遵循 Lanelet2 标准建立三维几何与法规拓扑关系，并直接输入开源自动驾驶栈 Autoware 完成实车闭环验证。在此基础上，论文形式化了四大超越传统感知的评测基准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph S1["传感平台与数据采集"]
        direction TB
        A["多模态传感器套件<br/>9相机 + 7雷达 + 3成像毫米波 + 双GNSS/INS"] --> B["硬件同步与标定系统<br/>全局快门微秒对齐 + 联立ICP与可微Splatting"]
    end
    subgraph S2["高保真数据处理与地图构建"]
        direction TB
        B --> C["高保真处理与隐私保护<br/>AMaZE去马赛克 + JPEGLI压缩 + DNAT自然修复"]
        C --> D["双层语义Lanelet2地图标注<br/>空地融合 + 3D要素重投影对齐 + 拓扑关联"]
    end
    subgraph S3["评测基准与下游验证"]
        direction TB
        D --> E["地理严格隔离划分机制<br/>多边形区域贪婪聚类 + 70m/100m无泄露缓冲区"]
        E --> F["四大高阶空间智能基准<br/>MapQR-Topo拓扑建图 / 400m长距深度 / 横向NVS评估 / 地图锚定E2E驾驶"]
        D --> G["Autoware闭环实测验证<br/>ROS 2环境规划仿真与实车部署运行"]
    end

关键设计¶

1. 全同步超高清超长距多模态传感平台：解决远距感知与跨模态时间错位瓶颈 针对以往数据集采用滚动快门相机导致的运动果冻效应，以及激光雷达与相机曝光时刻交错导致的动态投影伪影问题，KITScenes 配备了 6 台 7.1 MP 环视相机、1 台 16.2 MP 超长焦前视相机及 1 组前视立体双目相机，全部选用 Lucid Vision 搭配低畸变富士能工业镜头与索尼全局快门传感器，单帧总像素达 72.5 MP。激光雷达系统由车顶 128 线机械雷达（Hesai OT128 / Velodyne VLS128）、2 台车角补盲雷达（Hesai XT32）以及 4 台 1550 nm 探测波长的 Seyond Falcon K1 固态雷达组合而成，单帧点云均值达 906.4k 点（峰值超 1.2M 点），平均最远探测距离达 409.2 米，并在 250 米以外仍具备稠密点云回传。标定流程在静止参考帧下联合求解激光雷达与毫米波雷达的联合 ICP，并利用可微高斯泼溅最大化逆反射激光点云在红绿灯与号牌上的投影对齐，将外参旋转误差压缩至 0.1° 以内、平移误差低于 1 cm。

2. 生产级双层 Lanelet2 高精地图构建：解决在线建图缺乏规制语义与规划可用性的痛点 为了提供可直接服务于下游决策规划的真实环境先验，KITScenes 放弃了传统数据集简化的离散多段线，采用欧洲工业标准的 Lanelet2 图结构描述 62 平方公里的复杂城市路网。地图标注采用双阶段解耦融合策略：第一阶段利用测绘局 6 cm 分辨率正射航空影像完成路面边界、29 类标线（如实线、虚线、双实线、斑马线、停止线等）和车道中心线的俯视绘制；第二阶段利用组合导航与点云回传，将 120 类德国 StVO 交通标志（如限速、禁行、让行等）以及 4 类三维红绿灯、灯杆进行六自由度姿态标注，并精确到相机图像的重投影像素级。地图内每个车道元（Lanelet）均显式建立与之关联的行车优先权、适用交通灯与限速牌拓扑链接，经由 Autoware 栈在仿真环境及真实 Robotaxi 上完成了端到端闭环行车验证。

3. 基于图神经网络的拓扑在线建图与地理隔离划分：打破传统简单几何基元饱和与空间过拟合 针对在线高精地图构建模型在简单几何预测上趋于饱和、且极易因地理重叠而过拟合地图先验的问题，论文提出了两项核心革新。首先，设计了 MapQR-Topo 基线模型，在 MapQR 解码器的地图图元 Query 输出之上，引入图神经网络（GNN）关系预测头，预测道路边界、中心线与交通要素之间的两两连接关系；评测引入基于匈牙利算法与倒角距离的全局最优匹配拓扑评分 $\text{AP}_{\text{Topo}}$，即使图元未能满足严格的几何距离阈值，仍可客观评估拓扑连通逻辑。其次，提出严格的地理多边形贪婪划分协议，验证集与测试集距离训练集分别设置至少 70 米与 100 米的缓冲区，在测试集中对模型隐藏一切地图信息，彻底杜绝了模型依赖隐式定位作弊的可能。

4. 地图锚定与几何一致性驱动的评测基准设计：摆脱传统光度与开环误差对真实安全缺陷的掩盖 为了真实反映模型在 L4 部署中的空间几何理解能力，论文重构了三项主流评测指标。在长距单目深度估计中，利用融合多帧激光点云生成的 400 米地面真值，按近程（0–100 m）、中程（100–200 m）和超远程（>200 m）实施分层误差分析。在新视角合成中，针对传统 PSNR/SSIM 无法度量几何畸变的问题，提出在横向偏移视点（$\Delta y \in \{-3, \dots, +3\}\text{ m}$）下重投影 3D 交通标志，利用开放词表目标检测器（OWLv2）结合激光遮挡过滤计算标志召回率（Traffic Sign Recall）。在端到端驾驶中，利用生产级高精地图多边形与激光雷达占用栅格，引入可行驶区域存活率（Drivable-surface survival）、无碰撞率（Collision-free rate）、中心线偏差（Centerline distance）以及多合理机动评分（MMS），使得离线评估能够精准反映闭环行驶的合规性与安全性。

损失函数 / 训练策略¶

在基准任务的训练与评测形式化方面： 1. 在线建图与拓扑预测（MapQR-Topo）：设预测图元集合为 $\hat{\mathcal{V}}$，真实图元集合为 $\mathcal{V}$。通过基于倒角距离的匈牙利算法建立双射匹配 $\sigma = \arg\min_{\sigma} \sum_{i} \mathcal{L}_{\text{match}}(v_i, \hat{v}_{\sigma(i)})$。对于匹配成功的图元对，GNN 头计算成对连接概率，训练采用二值交叉熵损失： $$\mathcal{L}_{\text{topo}} = -\sum_{(i,j) \in \mathcal{E}} \log P(e_{ij}=1) - \sum_{(i,j) \notin \mathcal{E}} \lambda_{\text{neg}} \log (1 - P(e_{ij}=0))$$ 其中 $\lambda_{\text{neg}}$ 用于平衡缺失连接占绝大多数的样本极度不平衡问题。 2. 长距单目深度估计：采用绝对相对误差（$\text{AbsRel}$）与阈值精度（$\delta_1 = \max(d/\hat{d}, \hat{d}/d) < 1.25$）进行全域与分段统计： $$\text{AbsRel} = \frac{1}{|M|} \sum_{p \in M} \frac{|d(p) - \hat{d}(p)|}{d(p)}$$ 3. 端到端多机动评分（MMS）：将模型在 3 秒时域预测的轨迹 $\hat{\tau}$ 线性外推至 5 秒，与专家人工标注的至少 3 条合理参考机动轨迹 $\{\tau_k^*\}_{k=1}^K$ 计算最佳匹配加权综合得分，评估运动舒适性、指令跟随一致性与防碰撞约束。

实验关键数据¶

主实验¶

论文对四大下游基准开展了广泛的主流模型零样本（Zero-shot）及基线对比测试。

表 1：在线高精地图构建与拓扑预测性能评估（Chamfer 距离阈值 0.5/1.0/1.5 m AP 与拓扑 AP）

模型	$\text{AP}_{\text{LM}}$ (车道标线)	$\text{AP}_{\text{LC}}$ (中心线)	$\text{AP}_{\text{RI}}$ (道路设施)	$\text{AP}_{\text{TL}}$ (交通灯)	$\text{AP}_{\text{TS}}$ (路标)	$\text{AP}_{\text{RM}}$ (路面标记)	$\text{AP}_{\text{Topo}}$ (拓扑连接)
MapTRv2	5.1	18.0	6.7	5.8	3.0	8.1	—
SDTagNet	4.5	19.4	7.1	6.3	2.4	9.0	—
MapQR-Topo	4.1	16.0	5.9	3.6	1.9	5.6	16.4

注：LM 包括道路边界/虚线/斑马线等 11 类；LC 包括机动车/自行车中心线；RI 包括路缘/护栏/建筑物等 8 类；TL 为 4 类三维红绿灯；TS 涵盖 120 类德国标准路标；RM 包括各类导向箭头与限速数字 11 类。在复杂真实全要素定义下，传统模型的 AP 出现崩塌式下跌。

表 2：长距单目深度估计的分距离区间度量（揭示性能排名严重倒挂现象）

方法	0–100 m $\text{AbsRel} \downarrow$	0–100 m $\delta_1 \uparrow$	100–200 m $\text{AbsRel} \downarrow$	100–200 m $\delta_1 \uparrow$	>200 m $\text{AbsRel} \downarrow$	>200 m $\delta_1 \uparrow$	全量 $\text{AbsRel} \downarrow$	全量 $\delta_1 \uparrow$
UniDAC	0.386	24.12%	0.302	40.17%	0.540	1.78%	0.384	24.36%
Depth Anything 3	0.278	48.64%	0.472	12.32%	0.689	0.86%	0.282	47.91%
MapAnything	0.149	83.04%	0.485	16.34%	0.772	0.03%	0.156	81.70%

表 3：端到端驾驶模型在 200 个 9 秒时序切片上的开环规划与地图锚定安全表现（3 秒时域）

模型	FDE@3s $\downarrow$	ADE@3s $\downarrow$	可行驶面存活率 $\uparrow$ (%)	无碰撞率 $\uparrow$ (%)	中心线偏离距离 $\downarrow$ (m)	MMS (多机动得分) $\uparrow$
UniAD	4.85	2.43	55.5	80.9	0.84	3.44
DMAD	4.49	2.30	58.4	85.0	0.59	3.43
SSR (单帧无时序)	7.57	3.97	65.9	78.0	0.68	3.99
SSR (多帧时序聚合)	5.05	2.49	67.6	79.8	0.78	3.90
Epona (自回归, 10步)	7.70	3.62	63.0	81.5	0.62	2.70
Epona (自回归, 100步)	6.04	2.86	57.2	82.1	0.66	3.20
Epona (单步, 10步)	3.98	1.99	81.5	97.7	0.46	3.29
Epona (单步, 100步)	3.99	1.97	78.6	98.3	0.47	3.38

消融实验¶

表 4：神经场景重建模型（ReconDrive）在横向视角偏移下的交通标志识别召回率分析

分辨率标度	真实照片基线 $\uparrow$	-3 m	-2 m	-1 m	0 m (原轨迹)	+1 m	+2 m	+3 m
低分辨率 ($280 \times 518$)	19.7%	4.1% (-79.2%)	6.7% (-66.0%)	11.4% (-42.1%)	18.2% (-7.6%)	11.0% (-44.2%)	5.5% (-72.1%)	3.7% (-81.2%)
高分辨率 ($1600 \times 2844$)	21.6%	3.4% (-84.3%)	5.5% (-74.5%)	9.5% (-56.0%)	15.6% (-27.8%)	9.4% (-56.5%)	4.6% (-78.7%)	3.0% (-86.1%)

注：括号内为相对于真实照片检测能力的相对性能跌幅。

关键发现¶

整体指标掩盖深度估计的严重排名倒挂：MapAnything 在 0–100 m 近距离表现惊艳（$\delta_1$ 达 83.04%），总体排名第一；但在超过 200 m 的远距离，其 $\text{AbsRel}$ 恶化至 0.772，$\delta_1$ 暴跌至 0.03%。相反，整体表现垫底的 UniDAC 在 100–200 m 和 >200 m 处反而具有最稳健的残余估计能力。当前所有基础深度大模型在 200 m 以外均已全面失效。
高精地图全要素化暴露出在线建图模型的巨大断层：以往在线建图模型在 AV2 数据集上已达饱和（AP 逼近 70%），但在包含 120 类真实标志与完整红绿灯的 KITScenes 上，各类别 AP 均跌至个位数（最高车道中心线仅 19.4%），且引入 SD 导航地图先验（SDTagNet）比纯视觉模型展现出更强的鲁棒性。
光度重建高指标掩盖新视角三维几何崩塌：ReconDrive 在自车行进轨迹上的重建 PSNR 达到 32.42 dB，然而一旦施加 $\pm 3\text{ m}$ 的横向位移，其渲染图像中 3D 交通标志的检测召回率相对真实照片剧烈暴跌超过 80%，表明现有 4D 高斯泼溅与 NeRF 模型尚未具备维持几何结构一致性的外推能力。
端到端规划的几何位移与规制遵从产生冲突：基于大规模预训练的自回归世界模型 Epona 具备最强的运动学先验，在 ADE/FDE 及无碰撞率上全面领先；然而在多合理机动准则（MMS）下，带有显式离散导航指令输入的模型（如 UniAD、SSR）能更准确地匹配人类转弯意图。

亮点与洞察¶

真正可闭环部署的 Lanelet2 拓扑高精地图：这是学术界首个实现 3D 重投影精度、覆盖全部 120 类规制路标与四类红绿灯、并在 Autoware 开源软件栈中成功完成实车与仿真闭环验证的传感器数据集，将数据集从“静态感知测试集”提升为“闭环系统基准”。
揭示前沿模型长距深度的虚假繁荣：借助 400 米超远距激光雷达与 16.2 MP 长焦相机，首次证明学术界公认的 SOTA 单目深度模型在高速工况所需的 100 米至 200 米以外几乎失去有效深度感知能力。
从任务指标倒逼神经渲染的几何保真度：摒弃单纯依赖 PSNR/SSIM 等像素级平滑指标评估自动驾驶仿真 NVS 的做法，创新性提出将 HD 地图内的路标三维投影结合物体检测召回率作为几何评估探针，具有极高的工程推广价值。

局限与展望¶

首发版本暂缺动态障碍物三维边界框与时序追踪：作者在局限性中明确指出，当前版本专注于高精地图、静态结构几何与传感器稠密对应，未标注动态车辆与行人的 3D 边界框，该部分将在后续版本中补充。
原始数据时长相对较小：总录制时长为 5.7 小时（162 公里），虽然在传感器分辨率与地图标注深度上远超同类数据集，但作为预训练基础模型底座在规模上仍不及 nuPlan（~120 小时）等纯预训练语料。
端到端基准目前仍停留在开环评测：尽管高精地图本身支持 Autoware 闭环仿真，但论文评测集中目前仅报告了开环轨迹预测误差，未在动态模拟器中全面开展交互式闭环安全评测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提供完全对齐欧洲复杂路网、带完整法规拓扑且支持 Autoware 部署的高保真传感器与高精地图集。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖建图、深度、NVS、端到端四项全新维度的基准评测，实验深入剖析了长距失效与横向失真机理。
写作质量: ⭐⭐⭐⭐⭐ 论文系统性极强，传感器设计指标翔实，图表规范严谨，附录工程细节完备。
价值: ⭐⭐⭐⭐⭐ 为 L4 级具身自动驾驶的真实空间认知、高精度神经仿真和拓扑感知提供了不可替代的高保真学术基石。

分辨率标度	真实照片基线 \(\uparrow\)	-3 m	-2 m	-1 m	0 m (原轨迹)	+1 m	+2 m	+3 m
低分辨率 (\(280 \times 518\))	19.7%	4.1% (-79.2%)	6.7% (-66.0%)	11.4% (-42.1%)	18.2% (-7.6%)	11.0% (-44.2%)	5.5% (-72.1%)	3.7% (-81.2%)
高分辨率 (\(1600 \times 2844\))	21.6%	3.4% (-84.3%)	5.5% (-74.5%)	9.5% (-56.0%)	15.6% (-27.8%)	9.4% (-56.5%)	4.6% (-78.7%)	3.0% (-86.1%)