HAD: Combining Hierarchical Diffusion with Metric-Decoupled RL for End-to-End Driving¶

会议: ECCV2026
论文: ECCV 原文
领域: 自动驾驶
关键词: 层次扩散、轨迹扩展、指标解耦、强化学习、奖励缓存

题名说明：会议任务记录使用 “End-to-End Driving”，对应缓存 PDF 正文题名使用 “End-to-End Planning”；两者其余 HAD 题名一致。本文按任务题名归档，方法与数字依据该 PDF 正文。

一句话总结¶

HAD 先筛选驾驶意图，再围绕少量意图生成结构化轨迹并细化，用逐指标强化学习和离线奖励检索训练，在 NAVSIM v2 达到 88.6 EPDMS，纯相机 HAD-L 在 HUGSIM 公共集达到 47.5 路线完成率。

研究背景与动机¶

端到端驾驶规划可以把相机、LiDAR 和自车状态直接映射为未来轨迹，但“输出轨迹”并不只有一种建模方式。Hydra-MDP 等方法给固定轨迹词表打分，选出适合当前场景的候选；DiffusionDrive 则在锚点附近生成轨迹，让输出不再被固定词表完全限制。问题在于，扩大候选空间之后，模型仍要同时判断转向意图、局部几何和驾驶安全，单次大范围排序很难学好。

扩散生成本身也有驾驶领域特有的问题。若对每个轨迹点独立加高斯扰动，本来平滑的轨迹会变得曲折，模型需要先修复不合理形状，才能比较候选是否适合当前路况。另一方面，模仿专家轨迹不能充分表达所有安全规则，而把碰撞、可行驶区域、进度和舒适性压成单一奖励，又会掩盖某个候选究竟在哪项指标上更好。训练时逐条调用模拟器计算奖励还会拖慢迭代。

这些问题指向同一个设计选择：不同尺度的决策不必使用同样复杂的搜索空间和监督。核心 idea：先用专家相关的粗粒度信号确定少量驾驶意图，再在其附近进行保结构探索，把细粒度安全奖励和指标解耦优化放在局部阶段，并用缓存近似奖励降低训练开销。

方法详解¶

整体框架¶

HAD 的输入为图像、LiDAR 与自车状态，输出是未来自车轨迹。环境编码器沿用 Transfuser；图像和 LiDAR 分支均采用 ResNet34，输出其他交通参与者的查询向量与 8 × 8 BEV 特征。轨迹由两层 MLP 编码，驾驶意图解码器和局部细化解码器各含一层 Transformer，并共享场景条件。

推理的主线是“驾驶意图筛选 → 保结构轨迹扩展 → 局部轨迹细化”。训练时，指标解耦优化利用离线奖励检索，为局部候选提供分项反馈；它不是推理时额外调用的模拟器。最终系统融合专家距离、预测安全指标与 RL 权重，经 softmax 加权得到输出轨迹，而非简单取单个最高分候选。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        sensors["传感器与自车状态<br/>环境编码"] --> intention["驾驶意图筛选"]
        intention --> expansion["保结构轨迹扩展"]
        expansion --> refinement["局部轨迹细化"]
        refinement --> output["分数融合<br/>加权输出轨迹"]
        refinement -.-> optimization["指标解耦优化<br/>与离线奖励检索"]
        optimization -.->|训练反馈| refinement

关键设计¶

1. 驾驶意图筛选：先缩小需要精细比较的区域

第一阶段预定义 20 条稀疏轨迹锚点，粗略覆盖不同驾驶意图。训练时仍然对这些锚点执行截断扩散的高斯加噪，随后让轨迹查询与场景特征交互，输出去噪轨迹与区域分类置信度。分类目标是候选是否与人类示范落在相同驾驶子区域，保留分数最高的 2 条作为后续意图。因此，不能把 HAD 概括为“全流程取消高斯噪声”：它改变的是后续局部候选的扩展方式。

粗阶段只需回答哪些意图值得继续探索，不承担全部安全奖励的细粒度比较。论文第 4.3 节将这一阶段的筛选概括为专家轨迹距离相关监督；第 3.1 节具体描述的是区域分类分数。二者都强调先借助专家相关信号收缩候选空间，而不是让粗阶段直接优化所有分项安全指标。

2. 保结构轨迹扩展：扰动整条轨迹的尺度与方向

对保留的每条轨迹，方法把 Cartesian 坐标转换为极坐标，再对整条轨迹统一施加径向缩放和角度偏移。默认径向系数为 0.92、0.96、1.0、1.04、1.08，角度偏移为 −6°、−3°、0°、3°、6°。每个组合得到一条候选，因此每个意图扩成 25 条，2 个意图共 50 条。按原文式 (5)–(6) 的文字定义整理，核心变换是：

\[ \rho_t^{(u,v)}=\lambda_u\rho_t,\qquad \theta_t^{(u,v)}=\theta_t+\delta_v. \]

之后再转换回 Cartesian 坐标。关键不是“噪声更小”，而是所有时刻共享同一组变换参数，避免逐点独立扰动破坏轨迹形状。相比直接缩放 XY 坐标，角度偏移在近直行、横向坐标接近零时仍能形成横向探索。但这种结构保持不是车辆动力学约束的严格证明，也不能保证每条扩展轨迹都无碰撞。

3. 局部轨迹细化：把几何调整与多维评分放在同一批候选上

局部解码器重新编码扩展轨迹，利用同一组环境特征进一步调整坐标。它同时输出三类信息：到专家轨迹的距离相关分数、NAVSIM 安全指标预测，以及每项指标对应的 RL logit。安全指标预测描述候选预计表现如何，RL logit 则决定优化时该指标下的候选选择概率，两者不是同一个头。

推理时，安全指标按惩罚项和平均项组合为对数域分数，RL 分项权重按类似方式融合。再以 0.6、0.05、0.01 分别加权距离分数、安全综合分数和 RL 综合分数，对候选做 softmax 加权平均。这样输出可以离开离散候选点；相应地，候选平均是否仍保持安全也是需要额外验证的问题，论文没有给出形式化保证。

4. 指标解耦优化与离线奖励检索：在局部组内学习各项偏好

MDPO 将同一意图扩展出的候选视为一组。对于每项驾驶指标，模型在组内单独对 RL logits 做 softmax，得到该指标的选择概率；该指标的真实或近似奖励也在组内独立标准化。训练最大化各指标“选择概率 × 标准化奖励”的加权和，再对意图组取平均。用原文式 (12)–(14) 的符号表示：

\[ p_j^{(m)}=\frac{\exp(\hat{s}_{\mathrm{lcl},j}^{(m\text{-}\mathrm{rl})})}{\sum_{i\in\mathcal{I}_k}\exp(\hat{s}_{\mathrm{lcl},i}^{(m\text{-}\mathrm{rl})})},\qquad \bar r_j^{(m)}=\frac{r_j^{(m)}-\operatorname{mean}_{i\in\mathcal{I}_k}r_i^{(m)}}{\operatorname{std}_{i\in\mathcal{I}_k}r_i^{(m)}+\epsilon},\qquad J=\frac{1}{K}\sum_{k=1}^{K}\sum_m\alpha^{(m)}\sum_{j\in\mathcal{I}_k}p_j^{(m)}\bar r_j^{(m)}. \]

其中，\(\mathcal{I}_k\) 是第 \(k\) 个意图组的候选索引，\(m\) 表示指标，\(\alpha^{(m)}\) 是预设权重。解耦发生在指标专属的概率头与组内奖励归一化，不意味着最终训练目标完全不聚合指标。它也不是通常依赖新旧策略比值裁剪的 PPO 目标，不能把名称中的 policy optimization 直接等同于 PPO。

奖励来源是另一个独立于 20 条意图锚点的密集词表，包含 8192 条参考轨迹。方法预先计算参考轨迹在相应场景中的分项安全分数；训练时，为当前输出找到轨迹距离最近的参考项，把其缓存分数当作当前输出的奖励近似。这减少了即时模拟器调用，但误差取决于词表覆盖与距离度量，尤其是在碰撞边界附近，几何接近不一定代表安全分数接近。

一个完整示例¶

考虑车辆接近弯道的示意场景，这不是额外实验结果。20 条锚点经场景条件去噪后，第一阶段保留 2 个较合理的行驶意图；每个意图以 5 × 5 的尺度和角度组合扩展，共得到 50 条局部候选。

随后局部解码器调整候选轨迹，并预测专家距离、安全指标和 RL logits。训练时，每组 25 条轨迹分别检索缓存奖励，再逐指标比较组内相对优劣；推理时不执行这段奖励检索训练流程，而是融合预测分数输出加权轨迹。表 5 还研究了推理改用 7 × 7 扩展，此时 2 个意图共得到 98 条候选，不能把这种设置与默认 50 条混为一谈。

损失函数 / 训练策略¶

总损失由感知、全局意图和局部细化三部分加权组成。感知部分含 3D 框回归、类别分类与 BEV 语义分割；全局部分含轨迹回归与区域分类；局部部分监督专家距离、安全指标，并纳入最大化 MDPO 奖励的目标。

HAD 使用图像和 LiDAR；HAD-L 沿用 Latent Transfuser 的思路，以可学习位置嵌入替换 LiDAR 输入，因而是纯相机版本。正文没有给出完整的训练轮数、优化器配置与全部损失系数，并将更多损失细节指向附录；当前缓存止于参考文献，没有附录，因此这些设置不作推断。

实验关键数据¶

主实验¶

原文把 NAVSIM 描述为开环规划基准，以模拟器评估预测轨迹的驾驶规则表现；HUGSIM 则是闭环评估，覆盖 400 多个场景，分为 Easy、Medium、Hard、Extreme。二者不能视为同一种闭环能力测量。

PDMS 是惩罚指标乘积与其余指标加权平均的乘积：v1 的惩罚项是无碰撞 NC、可行驶区域遵守 DAC，平均项包括进度 EP、碰撞时间 TTC、舒适性 C；v2 增加行驶方向、信号灯、车道保持与扩展舒适性等约束，报告 EPDMS。HUGSIM 的 RC 衡量路线完成程度，HDS 是综合驾驶质量分数，不是成功率。

原文出处与设置	对比方法	对比结果	本文配置	本文结果	绝对提升
表 1，NAVSIM v1 PDMS	DiffusionDrive，图像 + LiDAR	88.1	HAD，图像 + LiDAR	90.2	+2.1
表 2，NAVSIM v2 EPDMS	EvaDrive，纯相机	86.3	HAD，图像 + LiDAR	88.6	+2.3
表 2，NAVSIM v2 EPDMS	EvaDrive，纯相机	86.3	HAD-L，纯相机	88.5	+2.2
表 3，HUGSIM 公共集 Overall RC	ZTRS	42.6	HAD-L	47.5	+4.9
表 3，HUGSIM 公共集 Overall HDS	ZTRS	28.9	HAD-L	30.8	+1.9

表 3 带星号的基线使用公共与私有数据集，不能与上述公共集结果混合比较。HAD-L 在 Extreme 的 RC/HDS 为 39.1/22.5，ZTRS 为 21.9/11.0；但 Medium 为 49.3/31.4，低于 ZTRS 的 50.9/34.2，优势不是所有难度、所有指标都成立。

消融实验¶

下表全部使用原文报告的 NAVSIM v2 EPDMS；不同表的行属于不同消融轴，不能当成一次连续累加实验。

原文出处	配置	EPDMS	可支持的结论
表 4	局部仅用专家距离	86.7	单一模仿相关评分不足
表 4	局部增加安全评分	87.3	安全监督提供增益
表 4	局部再增加 RL	88.6	局部综合优化表现最好
表 4	全局也增加安全评分与 RL	87.2	更多阶段使用复杂奖励不一定更好
表 5	K=2，训练/推理均 5 × 5	88.5	默认密度对应的明确结果
表 5	K=2，训练 5 × 5，推理 7 × 7	88.6	加密推理获得 +0.1
表 5	K=20，训练/推理均 5 × 5	79.8	不筛意图显著变差
表 6	Random Noise / XY Expand / Polar Expand	84.9 / 85.9 / 88.6	极坐标扩展优于两种替代方式
表 7	单头 PDMS 奖励 / MDPO	87.8 / 88.6	指标解耦带来 +0.8

关键发现¶

表 5 明确区分 50 条与 98 条推理候选；正文默认参数与主表最佳 88.6 的精确配置对应关系未完全展开，应保留这一区分。
第 4.4 节报告单轨迹奖励获取耗时从 0.2449 s 降至 0.0042 s，总训练时间从 64.4 h 降至 13.6 h；后者约 4.74 倍，作者概括为约 5 倍。
表 2 中 HAD 并非每个子指标都最高，例如 EP 为 87.4，EvaDrive 为 96.6；综合得分提升不能理解为所有驾驶能力同步提升。

亮点与洞察¶

将复杂奖励放在局部候选比较上，是比“多加几个奖励头”更重要的结构选择。表 4 中把安全和 RL 同时加入粗阶段反而下降，说明监督复杂度需要匹配搜索尺度。
极坐标扩展编码了整条轨迹的几何先验。它让采样探索方向和长度，而不是让去噪器花容量修复逐点随机扰动。
离线缓存把强化学习成本中的奖励计算单独优化。这个思路可迁移到奖励昂贵、候选空间可离散覆盖的规划问题，但必须同时测量奖励近似误差。

局限与展望¶

作者未设置独立局限章节；以下判断来自方法假设与实验边界，不冒充作者原话。
最近邻检索近似忽略了邻近轨迹在碰撞、越界等离散事件上的突变。可进一步按安全边界距离决定何时重新调用模拟器，而非始终复用最近参考奖励。
Top-K 筛选可能提前排除少见但必要的机动，表 5 只证明所测设置中小 K 更好，并不保证遇到分布外场景仍然最优。
保结构扩展与候选加权平均都没有给出动力学或安全保证。后续可加入可行性检查，尤其验证不同局部意图平均后的轨迹。
当前证据限于 NAVSIM 与 HUGSIM，没有真实道路部署验证；训练效率分析也未在当前正文明确拆分离线预计算成本、缓存大小和硬件条件。

评分¶

新颖性: 4/5。层次搜索、保结构扩展和指标解耦训练形成紧密配合，但各基本技术并非全新。
实验充分度: 4/5。包含两个基准与多个消融轴，缺少奖励近似误差和真实道路验证。
写作质量: 3/5。主线清楚，但默认与最佳采样配置、附录训练细节需要进一步核实。
价值: 4/5。对兼顾规划质量和奖励计算成本的端到端驾驶系统有直接参考意义。