DiverseAD: A Large-Scale Driving Dataset with Diverse Atmospheric Conditions¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4645
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6838.pdf
作者: Haoyu Wang, Baorui Ma, Donglin Di, Suhang Xuan, Hao Li, Shiliang Zhang
领域: 自动驾驶
关键词: 天气鲁棒性、端到端规划、驾驶意图、场景结构、驾驶数据集

一句话总结¶

DiverseAD 同时提供覆盖多种天气的 15 万场景驾驶数据集和双锚点特征学习方法：用真实轨迹的方向模式与冻结 DINOv3 的场景关系指导视觉表示，在 DiverseAD 上将平均 L2 轨迹误差从已微调 FSDrive 的 1.44 m 降至 1.24 m。

研究背景与动机¶

端到端自动驾驶可以直接从环视图像、历史运动和导航指令预测未来轨迹，但训练数据中的外观规律不一定是可靠的驾驶依据。同一条道路在雾天、强光或夜间会呈现不同的颜色、反光和可见度；如果模型只通过轨迹监督学习，便可能把这些偶然共现的外观与驾驶动作绑定。已有多模态驾驶数据集推动了规划研究，一些恶劣天气数据集也覆盖了感知任务，但作者认为两者仍缺少足够大规模、兼顾天气变化与自车轨迹标注的数据交集。

本文因此不是只替换一个网络组件，而是把数据覆盖和训练约束一起处理。数据端采集真实道路中的天气、道路类型和驾驶行为变化，并提供感知、轨迹与问答标注；模型端则明确规定哪些样本应该拥有相近的视觉表示。仅仅增加天气样本并不能保证模型忽略无关风格，而只追求天气不变也可能损失道路几何等规划必需信息，因此需要与任务有关的参照。

作者选择驾驶意图和场景结构作为两种参照：前者从真实轨迹提取，后者来自预训练视觉模型。这里的“不变性”是训练目标所鼓励的属性，而不是对所有天气和所有驾驶决策的严格保证。核心 idea：在多样化真实驾驶数据上，用轨迹方向关系和场景结构关系共同约束视觉特征，让规划器少依赖天气外观、多保留动作与道路结构信息。

方法详解¶

整体框架¶

工作包含多样化数据构建、驾驶意图锚定、场景结构锚定三个关键设计。训练时，规划器接收当前环视 RGB 图像、过去轨迹和导航指令，将未来轨迹转成离散坐标 token 进行预测；两个锚定分支分别利用真实未来轨迹和冻结 DINOv3 特征，为同一个视觉编码器提供额外监督。

下图区分了训练监督与模型前向预测。两种锚定是并行的辅助约束，不是推理时先预测意图、再重建道路的串行子任务；联合训练完成后，不需要真实未来轨迹或 DINOv3 专家分支来生成规划结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多样化数据构建"] --> B["环视图像<br/>视觉编码器"]
    A -->|真实未来轨迹| C["驾驶意图锚定"]
    B --> C
    B --> D["场景结构锚定"]
    A -->|图像供冻结 DINOv3| D
    C -->|训练约束| E["联合训练"]
    D -->|训练约束| E
    B --> F["VLM 轨迹预测<br/>历史轨迹与导航指令"]
    F -->|轨迹监督| E
    F --> G["未来轨迹"]

关键设计¶

1. 多样化数据构建：把天气覆盖、轨迹监督和场景语义放在同一数据源中

DiverseAD 包含 150K 驾驶场景、约 1M 视频和 150M 帧，覆盖 9 类大气条件、14 类道路以及 0–180 km/h 的车速范围。这里“大气条件”不仅指雨雪雾，也包括正常晴天、黑暗、强光、眩光、尘土和风。作者特别区分 bright 与 glare：前者主要指白天的强光，后者指低照度或夜间的强灯光。这使数据能描述曝光和照明变化，而不只是天气标签。

采集车辆配置 7 个摄像头、LiDAR、IMU 和 GPS。前向摄像头分别提供 30 度和 120 度视场，其他 5 个摄像头覆盖侧前、侧后和后方。数据处理先建立时间戳、位姿与环境元数据，再进行时空对齐和传感器质量检查；稀疏或严重失真的点云、漂移 GPS 和噪声 IMU 被过滤，视觉特征与轨迹相似度用于剔除重复片段。数据集传感器配置与规划器输入不能混淆：正文实验实际使用 6 路图像，前向选用 30 度摄像头，而不是把全部 7 路都送入模型。

感知标注以同步点云和图像为依据，包含三维框、车道线和道路边界，并进行专家复核与算法检查。VQA 则先把三维对象及属性组织为场景图，再由 BEV 投影计算空间关系，使用人工设计的存在性、计数、状态等问题模板，通过深度优先搜索实例化问题和答案，最后结合 VLM 分析与人工检查过滤逻辑错误并改善表述。这样的问答监督有几何来源，而非直接让语言模型凭图像自由编造答案；不过模板问答的覆盖范围仍不等于任意驾驶推理能力。

2. 驾驶意图锚定：让方向模式相近的轨迹对应相近的视觉特征

直接比较两条轨迹的绝对坐标，会把位置偏移当成意图差异。作者先计算相邻轨迹点的位移，再把每个位移归一化为单位方向，用对应时刻方向的平均余弦相似度表示两条轨迹的意图关系。对具有 \(K\) 个路点的样本，定义如下：

\[ S_{\mathrm{int}}^{ij}=\frac{1}{K-1}\sum_{k=1}^{K-1}\hat{v}_k^i\cdot\hat{v}_k^j, \qquad w_{\mathrm{int}}^{ij}=\frac{S_{\mathrm{int}}^{ij}+1}{2}. \]

其中 \(\hat{v}_k^i\) 是样本 \(i\) 的第 \(k\) 段单位位移方向，\(S_{\mathrm{int}}^{ij}\) 位于 \([-1,1]\)，映射后的权重位于 \([0,1]\)。因此两个样本不必来自同一地点，只要轨迹方向变化相近，就能得到较高的关联权重。视觉编码器的归一化特征也计算批内两两余弦相似度，并通过带温度的 softmax 得到相似性分布；作者称其训练约束为软加权 KL 项，用轨迹权重引导该分布，而不是把样本硬切成正负对。

这一步的直觉是让视觉表征保留与转向模式一致的信息，而不过度依赖拍摄时的天气。需要注意，单位方向会丢掉位移幅度，因此该定义并不能完整表达加减速意图；停车时零位移如何归一化，正文也没有说明。它是一个方向型代理监督，不应被解释成完整、无歧义的驾驶意图标签。

3. 场景结构锚定：用冻结视觉专家的样本关系补足道路结构约束

方向相同并不意味着道路场景相同，单靠意图锚定可能把结构不同的样本拉得过近。第二个分支将同一批图像输入冻结 DINOv3，提取并归一化专家特征，以两两内积获得结构相似性，再通过高斯核转换为软权重。主编码器依然学习自己的批内特征相似性分布，但这次由专家提供参照。它蒸馏的是样本之间的关系，而不是要求每个 token 逐元素复制 DINOv3 特征，也不是额外训练一个道路重建网络。

两种锚点作用互补：轨迹关系偏向动作方向，专家关系补充场景布局。作者把 DINOv3 视为较稳定的结构参照，但这种稳定性来自预训练特征的经验表现，并非几何不变量证明。本地全文的高斯核及两个 KL 公式存在排版抽取损坏，因此这里保留可明确核实的计算链条，不擅自修补核的距离项或权重归一化方式；精确复现应核对原 PDF 与实现。

损失函数 / 训练策略¶

轨迹规划被写成问答式序列预测：将 BEV 平面离散化为可输出的路点坐标 token，以真实未来轨迹做交叉熵监督，同时对视觉特征加入上述两个辅助项。根据正文对损失与权重的说明，总目标可记为：

\[ \mathcal{L}=\mathcal{L}_{\mathrm{traj}}+\lambda_{\mathrm{int}}\mathcal{L}_{\mathrm{int}}+\lambda_{\mathrm{str}}\mathcal{L}_{\mathrm{str}}. \]

两个系数控制辅助约束强度，温度控制视觉相似性分布的尖锐程度，核带宽控制结构权重的变化范围。正文未给出这些超参数、坐标网格分辨率以及完整训练配置的数值，因此不能把上述描述当作可直接复现的实现说明。其明确收益是把额外计算留在训练阶段，推理仍由原规划器根据当前观测、历史轨迹与指令输出未来路点。

实验关键数据¶

主实验¶

DiverseAD 按 8:2 划分训练与测试集，输入过去 2 秒轨迹和当前 6 路图像，预测未来 3 秒。表中 L2 为轨迹位置误差，单位 m，越低越好；Avg. 为报告的 1、2、3 秒结果平均值，VQA Acc. 为问答准确率，越高越好。带 * 的基线均已在 DiverseAD 上微调，因此下表比较的不是未经适配模型与本文模型之间的落差。

DiverseAD 方法	1 s L2 ↓	2 s L2 ↓	3 s L2 ↓	平均 L2 ↓	VQA Acc. (%) ↑
UniAD*	1.04	2.06	3.23	2.11	不支持
VAD*	0.72	1.67	2.69	1.69	不支持
OpenEMMA*	0.71	1.60	2.67	1.66	60.28
OmniDrive*	0.61	1.45	2.50	1.52	64.51
FSDrive*	0.59	1.38	2.34	1.44	65.33
本文	0.53	1.21	1.99	1.24	72.68

相对 FSDrive*，平均 L2 下降 0.20 m，约为 13.9% 的相对下降；3 秒 L2 下降 0.35 m；VQA 准确率提升 7.35 个百分点，而不是 7.35% 的相对提升。分天气结果中，黑暗条件的平均 L2 为 1.30 m 对 1.60 m，眩光条件为 1.51 m 对 1.66 m，说明整体收益并非只来自正常天气。

nuScenes 采用 ST-P3 的 L2 与碰撞率计算协议，除历史轨迹外不使用额外自车状态。正文报告本文平均 L2 为 0.39 m，OmniDrive 为 0.40 m；平均碰撞率为 0.16%，与 World4Drive 的 0.16% 持平。本文并非每个时间点都最佳：3 秒碰撞率为 0.41%，高于 World4Drive 的 0.33%。两套数据集的难度与统计分布不同，不能把 0.39 m 与 1.24 m 直接解释成方法本身的能力差距。

消融实验¶

下表摘录 DiverseAD 上的组件与替代设计分析，统一使用平均 L2，单位 m，越低越好；差值由报告结果减去完整模型的 1.24 m 计算。

配置	平均 L2 ↓	相对完整模型增加	说明
完整模型	1.24	0.00	两种软权重锚定
去掉驾驶意图锚定	1.39	0.15	不使用意图约束
意图相似性改用 ADE	1.38	0.14	用平均位移误差代替方向关系
去掉场景结构锚定	1.42	0.18	不使用结构约束
结构相似性改用 Gram 矩阵	1.35	0.11	改变专家关系计算
意图约束改用硬对比学习	1.38	0.14	余弦阈值 0.5 构造样本对
结构约束改用硬对比学习	1.33	0.09	余弦阈值 0.5 构造样本对

关键发现¶

去掉结构锚定增加 0.18 m，去掉意图锚定增加 0.15 m，说明两种参照都有贡献；差距不足以证明其中一种在所有场景都更重要。
ADE 替代与硬对比替代都落后于完整设计，支持“方向关系 + 连续软权重”的选择，而不只是支持增加任意辅助损失。
初始基线在 DiverseAD 上误差很大，微调后显著改善，这说明数据适配本身不可忽略；不能把初始模型到本文的全部改善归因于双锚点模块。

亮点与洞察¶

数据集同时提供规划轨迹和天气变化，避开了“天气丰富但只有感知标注”的使用障碍。问答又由几何场景图支撑，使同一数据源能连接场景理解与轨迹规划。
辅助监督聚焦样本间的关系，不需要给每种天气手工定义独立网络分支。与硬正负对相比，软权重保留了驾驶动作和布局的连续相似程度。
专家和未来轨迹只承担训练监督，不成为推理输入。这样获得了表征正则化的收益，但没有由此证明整个规划器具备实时运行速度。

局限与展望¶

本地缓存包含完整论文正文与参考文献，但未附其反复引用的补充材料和实现细节；公式抽取也有损坏。损失精确形式、特征 token 聚合、超参数及 VQA 判分细则仍需要原始实现或补充材料核验。
已报告证据主要是开环轨迹误差和离线碰撞率，不能直接推出闭环驾驶安全。正文没有明确展示天气留一、跨城市或跨路线隔离测试，因此“跨天气泛化”不等于已证明对未见天气的泛化。
天气并非总是与动作无关：雨雪会改变制动和抓地条件，而方向归一化也抹去了速度幅度。双锚点应理解为有用但不完备的代理约束，需要按真实驾驶条件检验其适用边界。
数据获取需要填写申请表并联系作者，并非正文提供无需申请的完整下载包。数据可访问性、许可和训练配置的进一步公开会直接影响外部复现与比较。

评分¶

新颖性: 4/5。大规模多天气规划数据与双锚点关系监督的结合有明确针对性，基础技术仍以已有表征学习机制为主。
实验充分度: 3/5。包含跨数据集、天气拆分及多种消融，但闭环、隔离泛化和复现细节仍不足。
写作质量: 3/5。数据与方法主线清楚，部分公式与实施信息需要更完整说明。
价值: 4/5。对研究天气鲁棒的端到端驾驶具有实用价值，实际影响取决于数据获取与复现条件。