CRAFT: Counterfactual-to-Interactive Reinforcement Fine-Tuning for Driving Policies¶

会议: NeurIPS 2026
arXiv: 2605.04470
OpenReview: https://openreview.net/forum?id=jvYypWtfPg
代码: https://currychen77.github.io/CRAFT
领域: 自动驾驶
关键词: 自动驾驶、强化学习微调、闭环评估、反事实代理、残差校正

一句话总结¶

针对开环端到端自动驾驶策略在闭环部署中的分布偏移难题，CRAFT 提出代理-残差（Proxy-Residual）强化微调框架，利用群体归一化的密集反事实优势作为代理信号，并结合真实闭环交互中稀疏致命事件的对偶截断残差校正与不对称 KL 自蒸馏，在 Bench2Drive 闭环评测中全面超越主流 RL 微调方法。

研究背景与动机¶

现代端到端自动驾驶系统已从早期的感知-规划模块化架构演进为统一端到端规划器、视觉语言动作（VLA）模型以及世界动作模型。然而，这些模型的主要训练范式仍然是以专家数据为监督的开环模仿学习（Imitation Learning）。在实际开环向闭环部署切换时，微小的规划累积误差会使得自车偏离专家数据流分布，引发严重的策略诱导分布偏移（policy-induced distribution shift），导致长尾罕见场景下的碰撞与失误。

为了缓解分布偏移，现有后训练方法呈现出两极化的权衡：一类是基于交互仿真的纯闭环强化学习微调（如 PPO），它由自车实际执行动作触发反馈，物理交互真实可靠，但有信息量的危险或交互事件在平稳路段极其稀疏，导致策略梯度方差极大、样本效率低下；另一类是反事实微调（如基于非反应式模拟器的 GRPO），它在同一访问状态下对多条候选未来轨迹进行局部推演对比，提供了密集的监督信号，但非反应式或运动学反事实世界无法精确模拟其他交通参与者的动态博弈，从而不可避免地引入了反事实评估偏差。本文的核心 idea 是：将闭环后训练的目标函数显式拆解为同状态分布下的代理与残差两项，利用密集的群体归一化反事实优势作为真实闭环优势的高效代理，同时利用闭环交互中关键危险事件构造接地残差校正来消除反事实偏差，并辅以 EMA 教师自蒸馏稳定策略演进。

方法详解¶

整体框架¶

CRAFT 针对预训练驾驶策略建立了一个在线（on-policy）后训练流程。在每个闭环环境状态下，策略对离散候选轨迹集进行打分并选出一条执行轨迹送入控制器执行；随后，算法一方面调用反事实虚拟世界对该状态下的整组候选轨迹进行快速推演与群体归一化打分，构建密集的反事实代理优势；另一方面，根据自车真实执行动作后触发的关键事件（如碰撞、闯红灯、越界等）计算接地校正奖励，经折现截断后构造残差优势项；最后结合 EMA 教师的不对称 KL 散度约束，联合优化可训练决策分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["环境观察与候选轨迹集合"] --> B["密集反事实代理<br/>虚拟推演 + 群体归一化优势"]
    A --> C["真实闭环执行<br/>执行轨迹下发控制器"]
    C --> D["接地残差校正<br/>关键事件检测 + 对偶截断"]
    B --> E["代理-残差联合优化"]
    D --> E
    F["EMA 教师模型"] -->|不对称 KL 正则| G["在线自蒸馏约束"]
    G --> E
    E --> H["更新规划打分分支参数"]

关键设计¶

1. 代理-残差梯度精确分解与条件方差缩减：消除状态分布偏移并降低残差估计方差 为联合利用密集反事实信号与真实闭环交互，CRAFT 在理论上证明了在同一在策状态访问分布 $d_{\mathrm{real}}^{\pi_\theta}$ 下，真实闭环策略梯度可以精确分解为代理项与残差项之和： $$\nabla_\theta J_{\mathrm{real}}(\pi_\theta) = \mathbb{E}_{s\sim d_{\mathrm{real}}^{\pi_\theta},\,\tau\sim\pi_\theta}\big[\nabla_\theta \log \pi_\theta(\tau\mid s)\,\Phi_{\pi_\theta}(s,\tau)\big] + \mathbb{E}_{s\sim d_{\mathrm{real}}^{\pi_\theta},\,\tau\sim\pi_\theta}\big[\nabla_\theta \log \pi_\theta(\tau\mid s)\,\Delta_{\pi_\theta}(s,\tau)\big]$$ 其中 $\Phi_{\pi_\theta}(s,\tau)$ 为反事实代理优势，$\Delta_{\pi_\theta}(s,\tau) = A_{\pi_\theta}^{\mathrm{real}}(s,\tau) - \Phi_{\pi_\theta}(s,\tau)$ 为残差失配。只要反事实代理与真实优势的协方差满足 $\mathrm{Cov}_\tau(A_{\pi_\theta}^{\mathrm{real}}, \Phi_{\pi_\theta}) > \frac{1}{2}\mathrm{Var}_\tau(\Phi_{\pi_\theta})$，残差变量的方差就严格小于原始真实优势方差，从而使真实闭环交互只需负责对高阶交互误差进行小幅补正，大幅稳定了策略梯度。

2. 密集反事实代理：局部候选轨迹群体归一化 在每个在策访问状态 $s_i$，利用批处理 PID 轨迹跟踪器与动力学自行车模型在虚拟时间步（$H=20$ 步，$\Delta t=0.1\,\text{s}$）内快速推演 $G$ 条候选轨迹。推演过程中融合包含里程进展、道路中心线偏离惩罚、偏离恢复奖励、越界惩罚和速度加权碰撞扣分在内的稠密奖励，得到每个候选轨迹的综合回报 $\tilde{R}_{i,g}$。为了克服不同场景绝对回报尺度的不均，对有效候选集合进行群体均值与标准差归一化： $$\tilde{A}_{i,g} = \frac{\tilde{R}_{i,g} - \mu_i}{\max(\sigma_i, \sigma_{\min})}, \quad \mu_i = \frac{1}{|G_i|}\sum_{g\in G_i} \tilde{R}_{i,g}$$ 以此作为反事实代理优势 $\Phi_{\pi_\theta}(s_i,\tau_g) = \tilde{A}_{i,g}$，通过期望目标 $\mathcal{L}_{\mathrm{cp}} = -\frac{1}{B}\sum_{i=1}^B \sum_{g=1}^G \pi_\theta(\tau_g\mid s_i)\tilde{A}_{i,g}$ 为离散轨迹分布提供稠密的梯度指引。

3. 接地残差校正与对偶截断：聚焦交互关键事件的无 Critic 修正 针对反事实仿真无法建模真实博弈的缺陷，CRAFT 不直接拟合复杂的全状态残差值函数，而是利用自车实际执行时遭遇的高危交互事件（碰撞、闯红灯、停标志违章、越界等）定义稀疏事件校正奖励 $r_t^{\mathrm{gr}}$。将折现后的校正回报缩放并截断至 $[-1, 1]$ 得到残差优势 $\hat{A}_t^{\mathrm{gr}}$。为防止致命碰撞带来的极大负优势破坏策略已有能力，引入对偶截断（Dual-Clipping）机制： $$\mathcal{L}_{\mathrm{gr}} = -\mathbb{E}_{t\in\mathcal{B}}\left[\max(\ell_t(\theta), c\hat{A}_t^{\mathrm{gr}})\mathbf{1}_{\hat{A}_t^{\mathrm{gr}}<0} + \ell_t(\theta)\mathbf{1}_{\hat{A}_t^{\mathrm{gr}}\ge 0}\right]$$ 其中 $\ell_t(\theta) = \min(\rho_t(\theta)\hat{A}_t^{\mathrm{gr}}, \mathrm{clip}(\rho_t(\theta), 1-\epsilon_{\mathrm{clip}}, 1+\epsilon_{\mathrm{clip}})\hat{A}_t^{\mathrm{gr}})$，常数 $c>1$（设为 2.0）。该机制确保罕见致命样本能提供确定性负反馈，同时将梯度上界牢牢锁死在 $[-c A_{\max}, (1+\epsilon_{\mathrm{clip}})A_{\max}]$ 之间。

4. 在策非对称 KL 自蒸馏：兼顾探索自由度与预训练流形锚定 纯 RL 微调易导致策略模式坍塌或激进遗忘。CRAFT 维护一个参数以动量 $m=0.99$ 进行指数移动平均（EMA）的教师模型 $\pi_T$。受 KL 邻近策略改进理论的启发，采用非对称的双向 KL 约束： $$\mathcal{L}_{\mathrm{dist}} = \mathbb{E}\left[\log \frac{\pi_\theta(\tau\mid s)}{\pi_T(\tau\mid s)}\right], \quad \mathcal{L}_{\mathrm{KL}} = \mathbb{E}\left[\log \frac{\pi_T(\tau\mid s)}{\pi_\theta(\tau\mid s)}\right]$$ 通过设置较大的反向 KL 权重 $\beta_r = 0.5$ 惩罚偏离 EMA 教师支撑集的高风险行为，同时辅以较小的正向 KL 权重 $\beta_f = 0.1$ 保持策略分布的多样性，防止策略收缩到单一反事实极值点。

损失函数 / 训练策略¶

CRAFT 采用端到端联合微调目标： $$\mathcal{L}_{\mathrm{all}} = \lambda_{\mathrm{cp}}\mathcal{L}_{\mathrm{cp}} + \lambda_{\mathrm{gr}}\mathcal{L}_{\mathrm{gr}} + \beta_r\mathcal{L}_{\mathrm{dist}} + \beta_f\mathcal{L}_{\mathrm{KL}}$$ 超参数设定为：$\lambda_{\mathrm{cp}} = 1.0$，$\lambda_{\mathrm{gr}} = 0.5$，$\beta_r = 0.5$，$\beta_f = 0.1$。微调过程中严格冻结预训练模型的视觉编码器、地图构建、目标检测与轨迹解码器，仅微调最终负责对候选轨迹集合进行打分的分类分支（或 VLA 决策专家的 LoRA 参数），实现 6~10 小时内的轻量稳定在策闭环微调。

实验关键数据¶

主实验¶

在 Bench2Drive 闭环评测基准上，针对三类不同范式的自动驾驶策略架构（分层规划 HiP-AD、视觉语言动作 MindDrive、词表打分 SparseDriveV2），对比预训练模型以及 REINFORCE++、PPO、GRPO 等强化微调基线。

驱动策略与架构	微调方法	驾驶总分 (DS) ↑	成功率 (SR %) ↑	多技能平均分 (Mean %) ↑
HiP-AD (分层规划)	Pre-trained	73.46	53.64	51.80
HiP-AD	REINFORCE++	74.82	55.00	53.30
HiP-AD	PPO	73.58	53.18	47.70
HiP-AD	GRPO	75.27	55.91	52.20
HiP-AD	CRAFT (本文)	75.79	56.36	55.20
MindDrive (VLA 架构)	Pre-trained	62.60	40.45	40.00
MindDrive	REINFORCE++	63.68	41.36	42.60
MindDrive	PPO	64.61	42.73	43.90
MindDrive	GRPO	65.12	43.18	44.70
MindDrive	CRAFT (本文)	67.45	46.36	46.60
SparseDriveV2 (词表打分)	Pre-trained	66.43	45.45	44.60
SparseDriveV2	REINFORCE++	66.60	46.36	45.20
SparseDriveV2	PPO	67.44	49.09	48.50
SparseDriveV2	GRPO	68.40	48.18	47.70
SparseDriveV2	CRAFT (本文)	71.10	50.45	49.90

消融实验¶

基于 SparseDriveV2 架构对自蒸馏（SD）、反事实代理（CP）与接地残差（GR）三大核心模块的逐步消融分析：

配置 / 组合	SD (自蒸馏)	CP (反事实代理)	GR (接地残差)	驾驶总分 (DS) ↑	路径完成度 (RC) ↑	违章惩罚分 (IS) ↑	成功率 (SR %) ↑
原始预训练策略	✗	✗	✗	66.43	77.53	0.80	45.45
+ 仅自蒸馏	✓	✗	✗	66.49	76.65	0.81	46.36
+ 反事实代理 (类似 GRPO)	✓	✓	✗	68.40	78.28	0.82	48.18
完整模型 (CRAFT)	✓	✓	✓	71.10	80.01	0.84	50.45

关键发现¶

残差校正对安全核心指标贡献最大：消融表明，引入接地残差校正（GR）带来了最显著的违规控制增益，使 IS 从 0.82 提升到 0.84，SR 跃升 2.27%，DS 净增 2.70 分，证明了闭环物理交互对弥补反事实认知偏差的不可或缺性。
数据扩展性与训练稳定性优异：数据规模扩展曲线表明，纯交互方法（PPO/REINFORCE++）随着数据增多收益迅速饱和且方差增大，纯代理方法（GRPO）后期受固有偏差拖累收益停滞甚至下滑；唯有 CRAFT 保持了单调递增的闭环扩展收益。
极端行为修正能力：行人过街定性分析显示，预训练与传统 RL 策略仍倾向于激进的左转加速模式，而 CRAFT 成功将策略主要概率质量转移到安全制动兼容模式。

亮点与洞察¶

正交分解化解长尾矛盾：将高密度推演（解样本效率）与物理碰撞残差（解评估真实性）进行代理-残差解耦，从数理上给出了兼顾高采样效率与低梯度偏差的闭环后训练通用范式。
对偶截断价值自由优化：无需额外训练高方差、易发散的 Critic 价值网络，直接借助对偶截断机制约束稀疏碰撞反馈，实现了极低计算开销下的稳健梯度更新。
范式通用性与即插即用：只微调高层决策或轨迹打分层，视觉主干与几何层完全冻结，单机 8 卡仅需 6-10 小时即可完成复杂端到端策略的闭环强化对齐。

局限与展望¶

反事实交通流模拟保真度受限：当前反事实世界针对周边车辆采用固定的运动学减速与衰减模型，缺乏高精度的多智能体反应式交互，高密度博弈场景下的代理偏差仍有压缩空间。
泛化迁移存在保守倾向：在跨数据集/场景零样本迁移测试中（如从 Bench2Drive 迁移至 Longest6 v2），路径完成度（RC）增益有所收窄，表明为避免违规碰撞而习得的安全策略在陌生复杂场景下可能略偏保守。
未来方向：探索引入轻量化多智能体神经世界模型来提升反事实推演保真度，并将自适应残差权重机制扩展至高动态密集交互工况。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从代理-残差优化视角统一自动驾驶的反事实学习与闭环交互强化学习，理论推导完整严谨。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖分层规划、VLA、词表打分三大主流架构，在 Bench2Drive 等标准基准上进行了系统的主客观实验、消融分析与跨场景泛化测试。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰，理论证明、算法伪代码与工程实现细节详实完整。
价值: ⭐⭐⭐⭐⭐ 为端到端自动驾驶开环模型迈向闭环安全部署提供了极具实用价值的轻量级微调技术路线。