Generative Scenario Rollouts for End-to-End Autonomous Driving¶

会议: NeurIPS 2026
arXiv: 2601.11475
OpenReview: https://openreview.net/forum?id=4CvrLyVNLO
代码: https://github.com/qualcomm-ai-research/gero
领域: 自动驾驶
关键词: 端到端自动驾驶、VLA模型、场景外推、自回归生成、强化学习

一句话总结¶

提出即插即用的 VLA 自动驾驶框架 GeRo，通过在紧凑潜空间中进行语言引导的自回归场景外推，结合时序一致性损失与多目标 GRPO 强化学习反馈，显著提升端到端长时规划鲁棒性与语义对齐能力。

研究背景与动机¶

端到端自动驾驶系统近年来正逐步从传统的几何感知规划向视觉-语言-动作（VLA）模型演进。借助多模态大语言模型（MLLM/VLM）丰富的常识推理与语义上下文理解能力，自动驾驶智能体在处理开放场景、复杂交互与长尾罕见工况时展现出巨大潜力。然而，现有基于 VLA 的端到端规划方法普遍面临两大约束：一方面，大多数方法仍停留在依赖专家示范轨迹的单步或短程行为克隆（Imitation Learning）范式，不仅易受分布偏移（Covariate Shift）与复合误差困扰，更严重低估并浪费了大模型作为自回归生成模型在前向预测与反事实推演上的核心潜力；另一方面，既有驾驶数据集中的语言监督大多停留在静态的粗粒度场景描述或事后问答，缺乏与车辆连续动态、时序发展阶段严格绑定的程序性意图描述，常常导致“语言与动作脱节”（例如视觉检测与文本判定要求减速让行，轨迹头却直接根据底层特征加速冲刺）。

要实现真正可靠的高阶自动驾驶，智能体不仅需要感知当前瞬间“发生了什么”，更必须具备面向未来“场景将如何演变、他车将如何交互、自车意图如何展开”的前向推演能力。这就产生了一个核心矛盾：纯基于离散视频生成或高维像素级未来预测的世界模型计算开销极其昂贵且难以直接保证底层规划控制的物理精确性；而传统的紧凑轨迹预测模型又缺乏语言语义的全局引导，极易在无约束的外推推演中迅速发散飘移。

本文的切入角度是打破规划与生成的割裂状态，将未来场景推演与端到端控制统一到紧凑的潜标记（Latent Token）空间中，通过两阶段协同架构实现“语言问答引导的自回归场景生成”与“物理安全加固的高保真轨迹规划”。核心 idea：构建即插即用的生成式场景外推框架 GeRo，在两阶段预训练建立的自车与他车紧凑潜标记空间中进行语言条件引导的自回归时序外推，引入时序一致性损失抵御多步累积漂移，并采用融合碰撞、时空交互裕度（TTC）与语言对齐奖惩的 GRPO 强化学习进行在策略后训练。

方法详解¶

整体框架¶

GeRo 整体采用“双阶段表征解耦与外推优化”的流程架构。输入由多视角连续环视图像序列、当前场景高级类别描述以及针对自车行为意图的场景问答 Prompt 构成；系统最终联合输出自车未来规划航迹点、多交通参与者未来运动轨迹序列以及回答自车行为逻辑的高连贯性自然语言文本。

整个流程划分为两个关键阶段：第一阶段为“潜空间表征预训练”，将自车动力学状态、多目标交互行为与自然语言上下文绑定映射至紧凑的共享 Latent Token 空间中，联合训练多任务预测头以构建稳固的先验表征；第二阶段为“生成式场景外推（Generative Scenario Rollouts）”，以自回归循环的方式向前递推 \(T\) 步预测未来的自车与多车 Latent Token，各步 Token 一方面经解码器转化为物理轨迹与时序文本，另一方面与逐步更新的自车行为问答形成闭环反馈，并通过时序一致性正则与基于 GRPO 的强化学习策略优化实现高安全约束。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角连续图像 + 场景描述 + 自车意图问题"] --> B["阶段1：潜标记联合预训练<br/>视觉编码 + LLM多模态对齐映射"]
    B --> C["阶段2：自回归场景外推<br/>Token级多步循环推演与轨迹/文本解码"]
    C --> D["时序一致性约束<br/>真值/模型自监督KL散度对齐"]
    C --> E["GRPO强化学习反馈<br/>安全碰撞+TTC+语言语义对齐奖励"]
    D --> F["高保真时序轨迹 + 语义解释输出"]
    E --> F

关键设计¶

1. 紧凑潜标记空间联合预训练：解决动静态行为与语言语义的跨模态绑定

为了避免高维像素级空间自回归生成带来的巨大计算负荷，并解决纯轨迹监督下语言与动作严重脱节的弊病，GeRo 在预训练阶段首先将视觉与语言输入投射到统一的潜在空间，通过 LLM 生成自车潜标记 \(z_t^e\) 与多交通参与者潜标记群 \(\{z_t^{(a_i)}\}\)。该阶段采用多任务联合监督目标：规划头利用航迹点 L1 损失与碰撞惩罚预测未来自车轨迹；运动预测头引入辅助 3D 边界框回归与 Focal Loss 分类监督各代理的多模态未来运动轨迹；语言解码器则通过标准交叉熵损失学习场景高层描述与驾驶问答。这一多任务约束迫使离散语言上下文与物理动力学表征在紧凑的潜标记空间中充分对齐，为后续无漂移的自回归场景生成提供了结构化先验支撑。

2. 语言条件自回归场景外推：长时推演与程序化意图引导

在具备先验潜空间后，GeRo 将时序规划显式转化为潜标记序列的自回归外推过程。在步长 \(\Delta \in [0, T-1]\) 内，模型不仅以历史潜标记与多视角观测为条件递推预测下一时步潜标记 \(\tilde{z}_{t+\Delta+1}\)，还引入了随步演化的自车行为交互问答 \(q_{t,\Delta+1} \in \mathcal{Q}\)。在每一个外推步，生成的自车潜标记由 VAE 规划头解码为未来路径点，周围代理潜标记由多层感知机（MLP）解码为多车交互轨迹，同时语言头生成对应时序步的行为解释。通过这种方式，场景生成不再是无目的的发散预测，而是在自然语言意图引导下沿因果链推进的具身推演，使模型能够显式模拟诸如“超车并线”、“十字路口减速让行”等多阶段程序性复杂驾驶行为。

3. 双重时序一致性正则化：抑制自回归长程累积漂移

针对自回归生成中常见的误差累积与时序崩溃现象，GeRo 提出了双重机制的时序一致性损失 \(\mathcal{L}_{\text{roll}}\)。在有标注样本上，外推各阶段轨迹直接与真值轨迹及状态计算模仿学习损失；而在无标注或半监督探索中，模型利用预训练冻结的 VLA 教师模型提取对应时序的潜在先验表征 \(z_{t+\Delta}\) 作为伪标签，通过最小化外推分布与参考分布间的 Kullback-Leibler (KL) 散度施加软约束：

\[\mathcal{L}_{\text{tc}}(\{\tilde{z}_{t+\Delta}\}) = \text{KL}\big(\{\tilde{z}_{t+\Delta}\}\,\|\,\{z_{t+\Delta}\}\big)\]

结合规划与运动损失，整个外推损失在 \(T\) 步时间跨度上累积：

\[\mathcal{L}_{\text{roll}} = \sum_{\Delta=1}^{T} \Big[\mathcal{L}_{\text{tc}}(\{\tilde{z}_{t+\Delta}\}) + \mathcal{L}_{\text{plan}}(\{\tilde{\tau}_{t+\Delta}\}) + \mathcal{L}_{\text{mot}}(\{\tilde{\tau}_{t+\Delta}\})\Big]\]

该机制有效锚定了推演轨迹的时空一致性，消除了单步外推误差向后续时步级联扩散的风险。

4. 多目标 GRPO 强化学习后训练：物理安全与语义意图的双重闭环优化

由于单纯模仿学习难以覆盖罕见工况并容易陷入局部次优，GeRo 引入了基于广义策略输出优化（GRPO）的在线后训练。为了兼顾物理层面的行车安全与逻辑层面的语义一致，GeRo 构建了三合一的可微代理奖励函数：碰撞惩罚 \(\text{Coll}(\cdot)\)、倒数时空交互裕度惩罚 \(\text{TTC}^{-1}(\cdot)\) 以及衡量生成语言与参考意图对齐程度的语言损失项 \(-\mathcal{L}_{\text{VLA}}\)：

\[\mathbf{R}_{t+\Delta} = -\text{Coll}(\{\tilde{\tau}_{t+\Delta}\}) - \text{TTC}^{-1}(\{\tilde{\tau}_{t+\Delta}\}) - \mathcal{L}_{\text{VLA}}(\tilde{q}_{t+\Delta})\]

利用阶段优势值 \(\mathbf{A}_{t+\Delta} = \mathbf{R}_{t+\Delta} - b_{t+\Delta}\)（其中 \(b_{t+\Delta}\) 为基线奖励）聚合多步反馈，策略梯度更新强制模型在生成长程轨迹时优先保留高安全度裕度与严密文本契合度的行为模式，从根本上消除了“口是心非”式的动作-语言背离。

损失函数 / 训练策略¶

GeRo 采用端到端分步训练策略： 1. 预训练阶段：优化整体目标 \(\mathcal{L}_{\text{pre}} = \mathcal{L}_{\text{plan}} + \mathcal{L}_{\text{mot}} + \mathcal{L}_{\text{VLA}}\)，其中自车轨迹采用 L1 损失与碰撞惩罚，代理运动采用 Focal 分类损失与 3D 边界框/轨迹 L1 损失，语言部分使用因果交叉熵损失。 2. 场景外推与强化阶段：联合优化总目标 \(\mathcal{L} = \mathcal{L}_{\text{roll}} + \mathcal{L}_{\text{GRPO}}\)。使用 AdamW 优化器，余弦退火学习率调度器，初始学习率设为 \(2 \times 10^{-4}\)，权重衰减 0.01。外推步数设为 \(T=8\)，采用跨步采样策略覆盖未来最多 32 帧（时间跨度支持大幅长程推理）。

实验关键数据¶

主实验¶

在 Bench2Drive 闭环评测（220 条官方测试路线）与 nuScenes 开环规划基准上，GeRo 分别基于 Qwen2.5VL-3B 和 ORION 骨干进行了验证，展现出相比既有先进规划方案的显著优势：

模型架构	评测基准	导航条件	驾驶得分 (DS) ↑	成功率 (SR %) ↑	平均 L2 误差 (m) ↓
UniAD-Base	Bench2Drive	NC	45.81	16.36	0.73
VAD-Base	Bench2Drive	NC	42.35	15.00	0.91
DriveTransformer-Large	Bench2Drive	NC	63.46	35.01	0.62
Qwen2.5VL (基线)	Bench2Drive	NC	63.90	31.60	0.87
ORION (基线)	Bench2Drive	NC	77.74	54.62	0.68
GeRo (Qwen2.5VL) (本文)	Bench2Drive	NC	79.60 (+15.7)	57.80 (+26.2)	0.60 (-0.27)
GeRo (ORION) (本文)	Bench2Drive	NC	81.90 (+4.16)	60.10 (+5.48)	0.57 (-0.11)

在 Bench2Drive 的 5 项极限驾驶能力（Multi-Ability）评测中，GeRo (Qwen2.5VL) 的平均能力得分从基线的 25.60% 飙升至 61.98%（提升 142%），其中会车让行（Give Way）从 30% 升至 50%，紧急制动从 30.11% 升至 83.10%，超车（Overtaking）从 28.91% 升至 72.81%。

消融实验¶

基于 Qwen2.5VL-3B 骨干在 Bench2Drive 上的组件消融分析详见下表：

配置	场景描述与问答预训练	外推一致性 \(\mathcal{L}_{\text{tc}}\)	外推轨迹监督 (\(\mathcal{L}_{\text{plan}}+\mathcal{L}_{\text{mot}}\))	GRPO 安全奖励 (Coll+TTC)	GRPO 语言奖励 (\(\mathcal{L}_{\text{VLA}}\))	驾驶得分 (DS)	成功率 (SR %)	说明
Baseline	✗	✗	✗	✗	✗	58.2	27.4	纯轨迹预训练基线
+ 预训练语言对齐	✓	✗	✗	✗	✗	63.9	31.6	引入 VQA 场景表征绑定
+ 模型自监督外推	✓	✓	✗	✗	✗	67.8	40.1	仅使用 KL 散度伪标签外推
+ 全轨迹外推监督	✓	✓	✓	✗	✗	74.4	50.4	引入真值轨迹长时外推
+ GRPO 安全优化	✓	✓	✓	✓	✗	78.5	55.7	引入物理碰撞与 TTC 奖励
Full GeRo	✓	✓	✓	✓	✓	79.6	57.8	完整模型：物理安全+语义意图

关键发现¶

生成式外推显著释放潜能：对比单纯预训练基线（63.9 DS），仅通过引入无真值依赖的模型自监督外推损失 \(\mathcal{L}_{\text{tc}}\)，驾驶得分与成功率即可分别跃升至 67.8 和 40.1%，表明自回归潜空间推演本身即为规划器提供了强大的因果模拟与长时视野能力。
强化学习弥补模仿学习短板：在包含完整轨迹外推监督的基础上，GRPO 强化学习引入物理安全反馈使 DS 进一步提高 4.1、SR 提升 5.3%；增加语言意图奖惩后模型彻底消除了多步机动中的意图漂移，成功率再增 2.1%。
强大的零样本跨域泛化：在 nuScenes 开环零样本测试中（仅在 Bench2Drive/CARLA 上训练），GeRo (Qwen) 的平均 L2 误差仍由基线的 0.96m 降低至 0.45m，碰撞率从 0.60 骤降至 0.25，展现出场景级生成推演在仿真到真实场景（Sim-to-Real）迁移中的抗过拟合优势。

亮点与洞察¶

即插即用的生成式外推架构：打破了过去 VLA 仅充当被动轨迹解码器的固化思路，巧妙利用大模型的自回归生成能力在紧凑 Token 空间中推演多车时空互动，兼具世界模型的预判力与几何控制器的计算高效性。
时序语言问答引导的程序化对齐：在外推展开过程中持续以递进式 QA 驱动意图推理，使高级意图推理直接转化为底层动作用以指导决策，从机制上根治了传统 VLA 模型“言行不一”的表层对齐弊端。
软硬兼施的鲁棒长程稳定性：通过预训练教师模型的 KL 散度一致性正则与多目标 GRPO 奖励共同把关，既解决了自回归生成的累积误差漂移，又摆脱了纯模仿学习对极端罕见工况拟合不足的固有缺陷。

局限与展望¶

计算延迟与实时性平衡：在每个决策时刻向前自回归展开 8 个时序步虽然大幅增强了长程预判，但在车端实时计算资源极其严苛的嵌入式平台上可能带来推理延迟开销，未来可探索推演步数自适应触发机制（仅在不确定度高时启动长步展开）。
空间信息几何保真度依赖：潜空间表征主要依赖 Transformer 序列建模，对恶劣天气或严重传感器退化下的精细 3D 拓扑结构敏感度有待进一步加强。
多智能体博弈的单向简化：当前推演将周围交通参与者视作条件解码目标，尚未显式建模周围人类驾驶员对自车外推行为产生动态博弈反应的闭环反馈机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将语言对齐的自回归场景生成推演与端到端 VLA 运动规划紧密结合，机制设计优雅精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Bench2Drive 闭环、多能力专项评测、nuScenes 开环及零样本泛化测试，消融实验逻辑非常严密完整。
写作质量: ⭐⭐⭐⭐⭐ 逻辑主线清晰透彻，问题定义明确，数学公式与算法架构推导自洽。
价值: ⭐⭐⭐⭐⭐ 为具身智能与自动驾驶领域探索大模型生成式能力（World-model-style Rollouts）与物理动作控制的结合指明了极具前景的方向。