MindDrive: A Vision-Language-Action Model for Autonomous Driving via Online Reinforcement Learning¶

会议: ECCV2026
论文: ECCV 官方页面（4806）
领域: 自动驾驶
关键词: 视觉语言动作模型、在线强化学习、语言动作映射、闭环规划、PPO

一句话总结¶

MindDrive 用共享语言模型、独立 LoRA 的决策专家与动作专家，把在线探索限制在离散驾驶意图上，再由实际轨迹的闭环奖惩优化决策；3B 版本在 Bench2Drive 上达到 80.59 DS、58.26% SR，但验证范围仍限于 CARLA 仿真。

研究背景与动机¶

自动驾驶视觉语言动作模型（VLA）需要把“看懂当前交通情况”转化成车辆未来怎么走，而不是只给出一段合理解释。ORION 等方法借助语言模型的场景理解能力生成连续轨迹，但如果主要依赖模仿学习（IL），训练时见到的是专家已经做对的状态，部署时却会进入自身错误造成的新状态。模型可能学会与动作相关的表面线索，却不理解动作改变环境之后会发生什么，最终在闭环中累积偏差。仅降低离线轨迹误差不能保证交互中的停车、让行和超车时机正确。

直接用强化学习修正轨迹也有难点。连续坐标组成的动作空间很大，无约束探索容易产生无效甚至危险的轨迹，昂贵的仿真交互未必换来有用经验。离线 RL 能利用固定数据改善规划，却不能让当前策略真正经历自己选择的后果；只在语言问答中优化驾驶决策，又缺少把“减速”“保持车道”等意图可靠执行成轨迹的接口。本文希望同时保留模仿学习提供的可行驾驶先验，以及在线交互纠正高层选择的能力，而非让 RL 从头学习所有运动细节。

因此，MindDrive 先让一个专家选择离散意图，再让另一个专家结合当前画面把意图实现为连续轨迹。在线阶段主要改变前者的选择分布，反馈却来自后者在环境中的真实执行结果。核心 idea：先以模仿学习建立情境相关的语言到轨迹映射，再用闭环成败奖励优化离散元动作选择，让探索集中在“该做什么”，而不是任意尝试轨迹坐标。

方法详解¶

整体框架¶

输入是多视角相机图像及导航、语言指令，视觉编码器提供场景表示。决策专家（Decision Expert）输出纵向和横向元动作，动作专家（Action Expert）结合相同场景与指令，将它们转换为速度路点和几何路径路点。两个专家共享基础 LLM，但使用不同的 LoRA 适配器，因而不是两套完全独立的大模型，也不是把决策文本直接当车辆控制量。

训练分两阶段：先用驾驶问答与专家轨迹完成语言动作对齐，再在 CARLA 中执行策略，收集环境反馈，用 PPO 更新决策策略。下图实线表示决策和执行流程，虚线表示训练监督或参数更新；价值网络、奖励计算和参考策略约束均属于训练环节，不是部署时额外调用的驾驶专家。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["多视角图像<br/>与导航指令"] --> DECISION["双专家元动作接口"]
    DECISION --> ACTION["情境化轨迹解码"]
    ACTION --> ENV["执行轨迹<br/>并观察新状态"]
    ENV --> INPUT
    ENV -->|仅在线训练| RL["闭环策略优化"]
    DATA["驾驶问答<br/>与专家轨迹"] -.->|模仿学习| DECISION
    DATA -.->|模仿学习| ACTION
    RL -.->|PPO 与 KL 更新| DECISION

这里的“动态映射”是同一意图在不同场景下生成不同的轨迹，而不是给每种意图绑定一条固定轨迹。例如“保持车道”必须随车道曲率改变路径；“减速”必须结合当前速度和周围交通生成合适的未来路点。离散化的是高层选择接口，最终执行的轨迹仍然连续。

关键设计¶

1. 双专家元动作接口：把探索对象从坐标改成可执行的驾驶意图

决策专家负责读懂场景并作选择，动作专家负责把选择落实成运动。论文将纵向与横向控制分开，设置 7 种速度元动作和 6 种路径元动作，使速度调整与行驶方向可以分别表达。训练规划问答由 LLM 生成，再人工筛选以保证语义与动作对应，同时混合 Chat-B2D 推理数据。这样，决策模型不仅学习输出合法词语，还学习这些词语对应怎样的驾驶行为。两个专家的 LoRA 彼此独立，使决策适配与轨迹适配可以在共享基础知识的前提下承担不同任务。

这一接口对在线 RL 的意义是：采样可以发生在元动作 token 的输出概率上，而不用在多维连续路点空间盲目扰动。动作专家提供模仿学习得到的、人类驾驶风格的运动候选，决策专家探索何时选哪一种。这里不应把 7 与 6 直接理解为论文验证了所有组合都合法，也不应将“元动作对应轨迹”理解为全局固定的一对一查表。正文把完整动作定义和数据构造细节指向附录，但本次缓存只含正文及参考文献，因此不补写未见到的动作清单。

2. 情境化轨迹解码：让离散意图保留连续运动的表达能力

动作专家自回归地整合视觉与语言信息，通过 <speed_waypoints> 和 <path_waypoints> 两个特殊 token 取得用于解码的表征，再交给带 GRU 解码器的变分自编码器（VAE）生成轨迹。纵向分支输出 6 个速度路点，覆盖未来 3 秒、采样频率为 2 Hz；横向分支输出 20 个路径路点，以 1 米间隔描述 20 米几何路径。两者分别约束随时间的运动和沿空间的走向，避免仅靠粗粒度导航命令表达复杂驾驶状态。

VAE 将场景与意图条件下的潜变量变成运动序列，GRU 负责逐步解码，使语言选择具有可以实际评测的后果。其学习依赖专家轨迹的行为克隆损失、VAE 分布约束以及辅助检测监督；这不是把轨迹奖励直接反向传播穿过 CARLA。在线阶段的核心更新目标是决策策略，连续生成能力主要由前一阶段建立。因此，该方案的上限也受动作专家约束：高层选对“让行”并不自动保证轨迹解码在陌生几何环境中也正确。

3. 闭环策略优化：用执行成败更新选择，而非只打分离线答案

在线采集器在每步先编码场景，再从决策专家的元动作 logits 采样，交给动作专家生成并执行轨迹，同时估计当前状态价值。奖励只依赖明确结果：到达目的地为 +1，触发惩罚事件为 -1，其余正常驾驶步骤为 0；触发惩罚立即终止 rollout。惩罚包括与行人或车辆碰撞、闯红灯、驶离道路或偏离路线超过 30 米，以及违反停车标志。所有惩罚分量权重为 1，不另外设计密集的轨迹贴合奖励。

稀疏奖励能够起效的前提是模型已有基本驾驶技能，而且采集能同时得到成功与失败经验。作者重点探索 IL 未完成的场景，并报告使用采样时可以成功到达的 44 条 rollout 路线。终局奖惩通过时间差分与广义优势估计（GAE）分配到之前的决策，PPO 再提高有利选择的概率、限制单次更新幅度。它学习的是具有延迟后果的序列策略，不是把发生碰撞前最后一个 token 简单判成唯一原因；“推理改善”的主要证据也是闭环行为变化，并非独立的因果推理测试。

为降低在线更新的存储与重复计算开销，缓冲区保存视觉编码器得到的状态嵌入，以及价值、决策动作、奖励，不必在每次 PPO 更新时重算所有多视角图像。价值网络复用 LLM 权重，仅以 MLP 头预测状态价值；正文所说“只更新 MLP 头”针对价值网络，不意味着决策专家也被冻结。决策分布另受参考策略的 KL 约束，防止有限的新经验使模型忘掉 IL 已学会的驾驶习惯。这与鼓励更随机探索的熵正则不同，目标是让改进仍靠近可用的先验。

一个完整示例¶

以“沿车道行驶时速度决策不稳定”为例，图 5 给出了同一路段在 IL 与 RL 后的行为片段。两者都可以保持 Lanefollow，真正改变的是何时加速、减速或停车：在 T=4.00s，IL 模型输出 Slow Speed，车速为 0.35 m/s；RL 模型输出 Moderate Speed，车速为 5.17 m/s。这些是该图的观测值，不是所有道路都应该采用的目标速度。

执行时，决策专家给出意图，动作专家把它与当前场景结合生成未来速度和路径，车辆前进后再重新观察。训练时，若整段 rollout 成功或违规，奖励和价值估计才共同决定怎样调整之前那些意图的概率。这个例子说明 RL 可以改变同一几何路径上的时机选择，但不能仅凭更高车速断言更安全，更不能把单个示例当作整体安全保证。

损失函数 / 训练策略¶

IL 阶段联合使用问答 token 的交叉熵、速度和路径路点的 L1 行为克隆损失、VAE 的 KL 损失及辅助检测损失。在线阶段则组合 PPO 策略目标、价值预测的均方误差和带系数的参考策略 KL 正则。为明确最后一项的方向，正文式（14）为：

\[ \mathcal{L}_{KL}=D_{KL}\bigl(P_{\mathrm{ref}}(\cdot\mid s)\parallel P_{\theta}(\cdot\mid s)\bigr). \]

这里约束的是决策专家的元动作输出分布，而非对连续轨迹坐标加欧氏距离惩罚。参考分布提供既有行为的锚点，PPO 则利用新 rollout 的优势信号推动策略改进。缓存中其他多处公式有缺符号、断行和混排，因此本笔记按正文解释其机制，不将猜补后的 PPO、GAE 或总损失表达式冒充作者原式。

视觉编码器为 EVA-02-L，语言骨干分别为 Qwen2-0.5B 和 Qwen2.5-3B，两个专家的 LoRA rank 与 alpha 均设为 16。论文报告实验使用 32 张 80 GB A800，在线数据采集由 24 个 CARLA 仿真实例并行完成。这里“轻量”主要指语言骨干规模，并不等于整套训练的算力或仿真成本很低。

默认每条路线进行 2 个在线 RL epoch。训练次数不是越多越好：图 4 显示继续增加后，DS 从最佳的 78.04 降至 73.69，SR 从 55.09% 降至 45.12%；作者将其归因于对近期经验过拟合和遗忘。正文没有充分披露所有复现所需超参数，不能由“2 个 epoch”推算总交互步数或总训练时长。

实验关键数据¶

主实验¶

Bench2Drive 基于 CARLA。IL 使用官方 base set 的 1000 个 clips，其中 950 个训练、50 个用于开环验证；闭环评测覆盖 44 类交互场景的 220 条短路线。DS 是经交通违规惩罚的路线完成得分，SR 是在规定时间内完成路线的比例；Multi-Ability 分别衡量汇入、超车、紧急制动、让行和交通标志能力，表中 Mean 为五项平均。

下表摘自原文表 1，所有行均为相机输入。Avg. L2 是按 2 Hz 采样、对未来 2 秒预测求平均的开环轨迹误差，越低越好，其余列越高越好。跨方法共享 benchmark/base-set 名义设定，但在线交互预算和完整训练成本不能据此视为完全对齐。

方法	LLM	训练方式	DS	SR (%)	Mean (%)	Avg. L2
ORION	Qwen2-0.5B	IL	72.89	45.83	51.37	0.67
DriveMoE	Paligemma-3B	IL	74.22	48.64	47.91	0.38
AutoVLA	Qwen2.5-3B	离线 RL	78.84	57.73	未报告	未报告
MindDrive	Qwen2-0.5B	IL	75.85	49.30	49.44	0.69
MindDrive	Qwen2-0.5B	在线 RL	78.04	55.09	56.94	0.69
MindDrive-L	Qwen2.5-3B	IL	75.78	50.71	52.10	0.66
MindDrive-L	Qwen2.5-3B	在线 RL	80.59	58.26	60.81	0.66

同模型比较更直接：0.5B 版本在线 RL 带来 +2.19 DS、+5.79 个百分点 SR；3B 版本带来 +4.81 DS、+7.55 个百分点 SR。3B MindDrive-L 相比 AutoVLA 为 +1.75 DS、+0.53 个百分点 SR。原文有些表述使用“%”描述差值，此处统一区分得分增量与百分点，不改写成相对百分比增长。

消融实验¶

以下均使用 0.5B 骨干，在线 RL 默认每条路线 2 个 epoch。表 3 的两组消融分别改变策略正则化和高层控制方式，不是一个完整交叉实验。

消融组	配置	DS	SR (%)	解释
正则化	PPO-Vanilla	74.73	46.73	无所比较的额外正则
正则化	PPO-Entropy	75.71	49.24	熵正则
正则化	PPO-KL	78.04	55.09	参考策略 KL 约束
控制方式	Navigation Command (IL)	68.11	41.59	仅以导航命令控制
控制方式	Meta Action (IL)	75.85	49.30	先建立元动作接口
控制方式	Meta Action (RL)	78.04	55.09	再在线优化选择

KL 相比 vanilla PPO 提升 3.31 DS、8.36 个百分点 SR；vanilla PPO 甚至低于 IL 的 75.85 DS、49.30% SR，说明仅增加在线更新并不足够。元动作 IL 相比导航命令 IL 提升 7.74 DS、7.71 个百分点 SR，接口本身与后续 RL 都有贡献。

原文表 2 进一步累计加入惩罚：C 为碰撞，TL 为闯红灯，RD 为路线偏离，S 为违反停车标志。IL 行是对照，并非“没有惩罚但照常运行 RL”。

配置	DS	SR (%)	Mean (%)
IL 对照	75.85	49.30	49.44
C	75.41	50.70	53.20
C + TL	76.02	51.47	53.32
C + TL + RD	76.95	51.85	54.67
C + TL + RD + S	78.04	55.09	56.94

关键发现¶

闭环收益不依赖开环 L2 改善：0.5B 的 L2 保持 0.69，3B 保持 0.66，却均提高 DS/SR，支持改进主要来自动作选择与交互时机。
惩罚的收益并不在每个指标上单调：只加碰撞惩罚时 SR 上升，但 DS 从 75.85 降到 75.41；不能概括为“任何安全惩罚都会全面提升”。
加入停车标志惩罚后，SR 从 51.85% 到 55.09%，汇入能力从 27.63% 到 32.89%。作者认为该规则与停车元动作直接关联，更容易给选择策略提供有效信号。

亮点与洞察¶

离散与连续并非二选一。离散元动作使策略探索可控，条件轨迹解码仍保留与当前场景匹配的连续执行能力。
IL 在这里也是探索先验，而不只是 RL 前的初始化步骤。它把大量不可行运动排除在高层选择之外，解释了为什么简单终局奖励仍可能有效。
状态嵌入缓存让训练资源集中到决策更新，但并没有消除真实仿真的成本。迁移这一思路时，应同时报告策略更新成本与环境采集成本。

局限与展望¶

作者明确承认：评估限于 CARLA，尚无真实道路交互验证，不能将仿真提升等同于现实部署安全性。
作者明确承认：多个 CARLA 实例难以从完全相同的初始状态同步比较候选动作，限制了 GRPO 的应用；本文实际采用 PPO，而不是组相对优化。
本笔记的判断：44 条 rollout 路线包含可成功采样这一选择条件，正文未充分展示其与 220 条评测路线的重叠关系、总交互预算及跨随机种子不确定性，不宜放大较小的跨方法差值。
本笔记的判断：离散词表与动作专家会限制可探索行为范围；更广泛的危险场景和地图泛化、失败恢复能力，以及独立推理评估仍值得补充。
资料边界：缓存包含完整正文与参考文献，但没有正文引用的附录。完整元动作定义、问答筛选细节、在线训练伪代码及部分超参数不能在本笔记中视为已核验。

评分¶

新颖性: 4/5。主要贡献是将语言动作映射与在线闭环 RL 结合，而非提出新的 PPO 算法。
实验充分度: 4/5。覆盖模型规模、控制接口、奖励、正则及训练轮数，但仅有仿真且复现信息仍不完整。
写作质量: 4/5。主线和消融关系清楚，部分“推理增强”论断强于直接测量证据。
价值: 4/5。为驾驶 VLA 的低维策略探索提供了具体方案，现实安全性仍需另行验证。