ReflectDrive-2: Reinforcement-Learning-Aligned Self-Editing for Discrete Diffusion Driving¶

会议: NeurIPS 2026
arXiv: 2605.04647
论文: https://arxiv.org/abs/2605.04647
领域: 自动驾驶
关键词: 自动驾驶规划, 离散扩散模型, 自我编辑 (AutoEdit), 强化学习微调, VLA 规划器

一句话总结¶

ReflectDrive-2 提出了一种基于掩码离散扩散与全轨迹强化学习的自动驾驶规划器，通过目标点假设、并行离散轨迹生成与同质空间原地自编辑（AutoEdit），在全流程端到端奖励对齐下将编辑增益从 +0.3 放大至 +1.9 PDMS，以纯视觉输入在 NAVSIM 上达到 91.0 PDMS。

研究背景与动机¶

基于模仿学习的端到端自动驾驶策略在开环与闭环场景中取得了显著进展，但其决策与规划误差并非随机无序分布，而是高度集中在两大结构化维度上：沿纵向速度误判导致的超速、推进不足与制动延迟，以及横向航向漂移引发的车道偏离、切弯与可行驶区域越界。这类误差本质上源于模仿学习固有的协变量偏移累积，传统的连续扩散规划器通常需要数十步高斯去噪迭代且缺乏语义级的局部修正能力，而自回归视觉-语言-动作（VLA）模型则受制于串行逐 token 生成，任何轨迹重修正都必须重新展开完整序列采样，推理开销居高不下。

掩码离散扩散模型（Masked Discrete Diffusion）为轨迹表示提供了天然的原地修正特性：任意轨迹 token 子集都可以被动态重掩码或直接重写，无需引入额外辅助网络。然而，如果仅仅在有监督学习下于轨迹生成模型之上机械叠加一个编辑步骤，其实际闭环收益极为微弱。这是因为在传统有监督模仿下，生成阶段只负责单步模仿专家分布，编辑阶段也仅被动学习误差扰动恢复，两者之间完全解耦——生成器缺乏动力去生成“易于编辑修正的草案”，而编辑器也无法预知哪种 token 级修改能够真正带来闭环驾驶安全与进度的最终回报。

为了打通轨迹草拟与反思编辑之间的协同鸿沟，本文的核心切入点是将自动驾驶规划重构为一个统一的“决策-草拟-反思”（Decision-Draft-Reflect）闭环过程，并在离散 token 空间内将草拟与编辑统一为单次策略展开。核心 idea：构建基于离散 token 原地替换的自编辑机制 AutoEdit，并通过贯穿“草拟-编辑”全展开（Full-Rollout）的强化学习将终端闭环驾驶奖励统一反传至两阶段，使草拟器自适应生成具备修正潜力的候选轨迹、编辑器精准追逐闭环奖励增益。

方法详解¶

整体框架¶

ReflectDrive-2 接收多模态驾驶上下文输入，包括双时序前视及侧前环视相机视觉 token、自然语言导航指令 token 以及自车运动学状态 token。整个规划流程分为三个紧密耦合的阶段：首先，通过多模态上下文预测自车未来终点目标（Goal Point）的离散后验分布，经由非极大值抑制（NMS）采样出若干代表高层行为假设（如跟车、让行、变道）的目标点；随后，以选定的目标点作为行为针点，利用掩码离散扩散在若干轮并行去噪中并行解码出初始离散轨迹草案；最后，AutoEdit 在相同的离散 token 空间中评估草案各位置的置信度，直接对低置信度的非目标 token 执行原地 token-to-token 重写，输出最终可执行轨迹。

在模型底层，视觉、文本指令、自车状态与轨迹动作 token 共享统一的 Transformer 骨干。为了支持高效部署与反思解码，模型在前缀上下文部分采用因果注意力以实现跨阶段 KV Cache 复用，在动作 token 块内采用块级双向注意力以保证并行去噪质量，并在动作分支配备了轻量化的 Action-Expert FFN。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态驾驶上下文<br/>环视图像 + 导航指令 + 自车运动状态"] --> B["目标点后验采样与 NMS 筛选<br/>多模态行为假设生成"]
    B --> C["目标条件掩码离散扩散草拟<br/>固定目标 Token 并行去噪解码"]
    C --> D["结构感知 AutoEdit 原地反思编辑<br/>免重掩码 Token-to-Token 置信度重写"]
    D --> E["全展开强化学习端到端闭环对齐<br/>终端奖励跨草拟与编辑统一信用分配"]
    E --> F["端到端安全合规规划轨迹输出"]

关键设计¶

1. 目标条件掩码离散扩散草拟：解耦高层行为假设与底层轨迹并行生成 传统连续扩散或自回归生成容易陷入单模态坍塌或多模态平均。ReflectDrive-2 将未来规划时间范围离散化为 8 个航点，每个航点用 BEV 平面上的纵向和横向离散坐标表示，构成长度为 $L=16$ 的动作 token 序列 $\bm{x}_0=[x_1,y_1,\ldots,x_8,y_8]$，其中末位坐标对 $(x_8,y_8)$ 即为终点目标。系统首先通过多模态骨干输出目标点后验分布，经 top-$k$ 采样和 BEV 空间的非极大值抑制（NMS）过滤空间冗余，得到表征车道保持、左/右绕行或让行等宏观行为的多候选假设。在轨迹生成时，将选定的目标 token 直接锁定作为上下文锚点，其余 14 个坐标 token 初始化为 [MASK]，通过极少轮（如 3 轮）并行离散去噪，根据模型输出置信度逐轮置换并固化预测 token，使规划生成步数与轨迹 token 长度彻底解耦。

2. 结构感知 AutoEdit：针对驾驶失败轴向的原地 Token-to-Token 编辑 大多数离散扩散模型的自修正依靠将低置信度 token 重新变回 [MASK] 再次去噪，这破坏了已生成的先验空间拓扑。AutoEdit 提出完全原地的 token-to-token 重写机制。在训练阶段，针对模仿学习最常见的两类结构化误差：纵向推进误差（过冲、减速不足或过分保守）与横向偏航漂移（切弯出界、车道偏移），对专家轨迹 $\bm{z}_0$ 施加结构感知扰动算子 $\mathcal{T}$： $$ \tilde{\bm{z}}i = \mathrm{Interp}(\bm{z}0, \beta d_i), \quad \beta \sim \mathcal{U}(\beta, \beta}), \qquad \tilde{\bm{z}i = \mathbf{R}(\alpha)\bm{z}i, \quad \alpha \sim \mathcal{U}(-\alpha, \alpha) $$ 通过离散化扰动轨迹 $\tilde{\bm{x}}_0$，监督共享模型直接预测出原始无扰动 token，使网络学会逆向消除纵横向动力学偏离。在推理阶段，AutoEdit 接收具体轨迹 token $\bm{x}^{(k)}$，直接预测候选替换 token，并依据置信度门控构建提交掩码 $\bm{m}^{(k)}$ 执行原地赋值： $$ \bm{x}^{(k+1)} = \bm{m}^{(k)} \odot \hat{\bm{x}}^{(k+1)} + (1 - \bm{m}^{(k)}) \odot \bm{x}^{(k)} $$ 全过程绝不重新引入 [MASK]，既维持了自车行为意图的稳定性，又消除了辅助修正网络的参数与通信开销。

3. 全展开强化学习对齐：跨草拟与编辑的双阶段联合信用分配 有监督训练仅能教会模型识别合成扰动，但无法感知真实闭环环境中编辑对安全性与行驶效率的非线性影响。ReflectDrive-2 设计了包含草拟阶段 $S_{\mathrm{draft}}$ 步与编辑阶段 $S_{\mathrm{edit}}$ 步的完整策略展开 $\rho_g=(\bm{x}_g^0, \ldots, \bm{x}_g^{S_{\mathrm{draft}}}, \ldots, \bm{x}_g^{S_{\mathrm{draft}}+S_{\mathrm{edit}}})$。在微调阶段，系统不为中间草案打分，而是只将最终编辑后的轨迹 $\tau_g = \mathrm{Detok}(\bm{x}_g^{S_{\mathrm{draft}}+S_{\mathrm{edit}}})$ 输入环境评测器计算驾驶综合得分（PDMS）作为终端奖励 $R(\tau_g)$。利用组内相对优势 $A_g = R(\tau_g) - \frac{1}{G}\sum_j R(\tau_j)$，将离散扩散策略梯度分配给展开过程中所有发生实际 token 状态跃迁的位置： $$ \delta_{g,p}^s = \mathbf{1}{{x - 1 $$ 这种端到端信用分配促使草拟器学习输出“最具改进潜力且易于修正的分布”，同时迫使 AutoEdit 专注于消除威胁安全分数的关键 token 偏差，从而在闭环中彻底释放自编辑机制的能力。}^{s+1} \neq x_{g,p}^s}}, \quad s = 0, \ldots, S_{\mathrm{draft}} + S_{\mathrm{edit}

4. 高效反思解码栈与时序 ASD 调度：兼具极致性能与跨帧自适应 为解决车载芯片上的部署延迟，作者协同设计了一套反思专用运行时栈。首先，由于目标提议、草拟与反思均共享相同的前视图像与导航指令前缀，系统引入共享前缀 KV Cache 复用，并在动作 token 发生变化时回退指针，仅重算轻量动作块。其次，针对动作 token 词表小的特征，将动作分支 FFN 隐层维度由 4096 裁剪至 1024 构建 Action-Expert FFN，并实现融合置信度排序与原地写回的 CUDA 单算子内核。在连续流式驾驶中，提出交替步解码（Alternating Step Decode, ASD）：全步帧执行完整的 $1+3+3$ 轮决策-草拟-反思，而轻量帧则直接利用自车位姿刚体变换将上一帧规划轨迹投影至当前系，作为初始 token 执行极简的 $1+1$ 步 AutoEdit 原地时序更新，使整套管线在端到端几乎无损的前提下在 NVIDIA Thor 上跑出 30.2 ms 的超低平均延迟。

损失函数 / 训练策略¶

ReflectDrive-2 采用两阶段训练机制：在第一阶段（有监督预训练 SFT），总损失由三部分构成： $$ \mathcal{L}{\mathrm{sup}} = \mathcal{L}}} + \lambda_{\mathrm{SAP}} \mathcal{L{\mathrm{SAP}} + \lambda $$ 其中 }} \mathcal{L}_{\mathrm{field}$\mathcal{L}_{\mathrm{DLM}}$ 为对轨迹所有 token 位置联合计算的离散掩码交叉熵损失；$\mathcal{L}_{\mathrm{SAP}}$ 为结构感知扰动恢复损失；$\mathcal{L}_{\mathrm{field}}$ 为针对可行驶区域（DAC）边界距离场构建的对数障碍空间惩罚项，当坐标 token 分布的边际概率质量溢出到高成本非可行驶区域时施加大梯度惩罚。在第二阶段（强化学习微调 RFT），冻结基础感知，基于 PPO/GRPO 式的组相对优势策略梯度公式（式 2），在 NAVSIM 仿真闭环以 PDMS 评分为统一终端奖励对全展开 rollout 执行策略梯度更新，引入重要性采样截断比率与 KL 散度正则 $\lambda_{\mathrm{KL}} D_{\mathrm{KL}}(\pi_\theta \| \pi_{\mathrm{ref}})$。

实验关键数据¶

主实验¶

在 NAVSIM 基准测试集（navtest，136 个复杂驾驶场景）中，ReflectDrive-2 与顶尖端到端和纯视觉 VLA 规划器进行对比，输入仅包含环视相机、导航指令与自车运动状态。

方法	模态输入	无碰撞率 (NC) ↑	可行驶区域遵循 (DAC) ↑	碰撞时间 (TTC) ↑	舒适度 (Comf.) ↑	自车进度 (EP) ↑	综合评分 (PDMS) ↑
UniAD (CVPR 2023)	相机	97.8	91.9	92.9	100.0	78.8	83.4
TransFuser (PAMI 2022)	相机 + 激光雷达	97.7	92.8	92.8	100.0	79.2	84.0
Hydra-MDP (2024)	相机 + 激光雷达	98.3	96.0	94.6	100.0	78.7	86.5
DiffusionDrive (CVPR 2025)	相机 + 激光雷达	98.2	96.2	94.7	100.0	82.2	88.1
GoalFlow (CVPR 2025)	相机 + 激光雷达	98.4	98.3	94.6	100.0	85.0	90.3
AutoVLA (NeurIPS 2025)	相机	98.4	95.6	98.0	99.9	81.9	89.1
DriveVLA-W0 (2025)	相机	98.7	99.1	95.3	99.3	83.3	90.2
ReCogDrive (2025)	相机	97.9	97.3	94.9	100.0	87.3	90.8
ReflectDrive-2 (本文单轨迹)	相机	97.3	98.1	92.5	100.0	89.4	91.0
ReflectDrive-2 (Best-of-6 Oracle)	相机	98.5	99.2	95.5	99.8	93.8	94.8
人类专家驾驶基准	真值参考	100.0	100.0	100.0	99.9	87.5	94.8

消融实验¶

消融实验深入隔离了推理阶段 AutoEdit 在不同训练机制下的核心增益，以及各训练损失对最终闭环能力的贡献度。

表 A：不同训练机制下推理期 AutoEdit 的相对增益（Table 3）

训练阶段与目标配置	无 AutoEdit (PDMS)	启用 AutoEdit (PDMS)	$\Delta$ 闭环增益
基础离散掩码扩散 (DLM)	84.8	85.0	+0.2
DLM + 可行驶区域代价场 (DACF)	87.2	87.3	+0.1
DLM + DACF + AutoEdit 扰动预训练	87.7	88.0	+0.3
DLM + DACF + AutoEdit + 全展开 RL	89.1	91.0	+1.9

表 B：训练目标成分独立消融（无测试期 AutoEdit，Table 6）

训练目标组合	NC ↑	DAC ↑	TTC ↑	Comf. ↑	EP ↑	PDMS ↑
DLM 基线	97.5	93.9	92.8	99.5	79.5	84.8
+ 可行驶区域场损失 ($\mathcal{L}_{\mathrm{field}}$)	97.4	97.0	93.1	99.9	81.4	87.2
+ 结构感知扰动损失 ($\mathcal{L}_{\mathrm{SAP}}$)	97.8	96.7	93.6	99.9	82.2	87.7
+ 全展开强化学习微调 (RLFT)	96.3	97.9	88.9	99.7	89.3	89.1

表 C：车载计算平台 (NVIDIA Thor) 推理加速栈逐层消融（Table 1）

优化模块组合	Prefill + Decision 延迟 (ms)	Decode 延迟 (ms)	端到端单帧延迟 (ms)
原始基线	14.4	56.8	71.2
+ 算子融合推理 (Merged Infer)	13.8	—	70.6
+ 共享前缀 KV Cache 复用	—	42.2	56.0
+ Action-Expert 紧凑 FFN	—	29.6	43.4
+ Fused CUDA 显存内原地更新内核	—	27.3	41.1 (全步帧)
+ ASD 时序交替解码 (轻量帧)	9.8	9.5	19.3 (轻量帧)
全栈均摊延迟 (全步/轻量步交替)	—	—	30.2 (均值)

关键发现¶

RL 是激发自反思机制潜能的核心使能因素：在仅有监督训练时，即使模型接受过大量的结构化扰动修正训练，推理阶段启动 AutoEdit 也仅能带来微乎其微的 +0.3 PDMS 增益；而在全展开强化学习微调下，终端奖励统一分配促使草拟与编辑协同共生，AutoEdit 的独立增益直接跃升至 +1.9 PDMS。
自车前进进度（EP）显著提升：在保持可行驶区域合规率高达 98.1、舒适度保持 100.0 的前提下，全展开 RL 推动 EP 从基础 SFT 的 82.2 跃升至 89.4，表明自编辑机制有效破除了传统端到端规划因保守过拟合而频发的停滞或慢速僵局。
目标点后验蕴含高度真实的多模态行为假设：Best-of-6 Oracle 评测下 PDMS 达到 94.8，追平了真实人类专家基准，证明通过目标点采样与 NMS 筛选出的轨迹候选并不是重复的随机高斯噪声，而是具有清晰语义差异的优质决策空间。

亮点与洞察¶

同质离散空间的原地自反思范式：放弃了给扩散模型外挂独立判别器或重修网络的传统套路，巧妙利用掩码离散扩散在离散 token 空间内自由读取与覆写的物理特性，以同一套网络权重原生实现从草案到精修的端到端演化。
全展开（Full-Rollout）端到端信用分配机制：将反思自编辑显式纳入单次 MDP 强化学习展开序列中，仅对终局轨迹评判闭环奖励，从根本上促成生成器与编辑器之间的博弈协同。
跨时序的 ASD 解码设计构想：将帧内空间维度的 token-to-token 自编辑机制，通过自车动力学坐标变换无缝迁移为连续驾驶视频流中的帧间时序自适应修整器，大幅平抑算力峰值。

局限与展望¶

离散网格量化带来的空间精度上限：轨迹航点采用离散 BEV 网格 token 编码，其空间分辨率受限于分箱粒度，虽然具备天然的可编辑性与语义鲁棒性，但在高动态超精细控制（如狭窄车道微调）中可能受到微小量化误差制约。未来可探索连续-离散混合动作头或残差偏移微调。
强化学习奖励对仿真环境代理指标的依赖：当前 RFT 依赖 NAVSIM 的离散闭环打分（PDMS），该分数对部分突发博弈交互场景的拟真度仍有限，后续需要探索高保真交互式模拟器与物理动力学约束奖惩的结合。
扰动模式仍局限于单车动力学维度：当前结构感知扰动主要涵盖单车沿路径的纵向缩放与横向偏航，未显式建模复杂的多智能体博弈交互失败（如变道切入时机、让行礼让僵局等），扩展多车博弈交互扰动是进一步提升泛化性的重要方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将掩码离散扩散原地重写与全展开强化学习端到端结合，为自动驾驶 VLA 规划开辟了极具说服力的高效自反思范式]
实验充分度: ⭐⭐⭐⭐⭐ [NAVSIM 闭环权威对比完整，消融细致隔离了 RL 协同编辑与各部署加速组件的贡献，兼具理论验证与车载实测]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严密，从驱动痛点、扰动形式化到算法推导与时序优化均表达严密流畅]
价值: ⭐⭐⭐⭐⭐ [在兼顾顶尖规划质量的同时彻底解决了大模型/扩散规划在车端部署高延迟的工程死穴，工业落地与学术参考价值极高]