DriveFuture: Future-Aware Latent World Models for Autonomous Driving¶

会议: NeurIPS 2026
arXiv: 2605.09701
OpenReview: https://openreview.net/forum?id=tITD5xFjY8
领域: 自动驾驶
关键词: 自动驾驶, 潜在世界模型, 扩散轨迹规划, 未来条件引导, NAVSIM基准

一句话总结¶

DriveFuture 针对端到端自动驾驶中潜在世界模型仅作为未来预测目标而未直接参与决策的瓶颈，提出将真实/预测的未来潜在状态显式作为扩散规划器的双重条件，配合渐进式前瞻引导（PFG）打破推理期循环依赖，在 NAVSIM-v2 navhard 榜单取得 55.5 EPDMS 的 SOTA 表现。

研究背景与动机¶

近年来，世界模型已成为自动驾驶通向高阶智能的核心技术范式。与直接将当前传感器观测映射至控制指令或轨迹的传统端到端方案相比，世界模型通过学习自车与环境交互的潜在动力学演化，能够在采取动作前推演不同决策对应的未来演化分支。特别是潜在世界模型（Latent World Models），因其在紧凑的潜在特征空间（如 BEV 空间）建模、避免了昂贵的高分辨率像素级重构，且能自然滤除低级视觉冗余而聚焦于路网拓扑、交互意图与动作后果，展现出极具潜力的可扩展性。

然而，现有自动驾驶潜在世界模型（如 LAW、World4Drive、WorldRFT 等）存在一个普遍但被长期忽视的结构性缺陷：它们绝大多数将未来潜在状态视为单纯的预测目标或辅助监督信号（通常通过均方误差 MSE 监督未来特征重构），而不是直接用来条件化当前轨迹规划的先验上下文。这种单向预测范式导致潜在空间中当前状态与未来特征严重纠缠，模型虽然能够较好地“脑补”未来场景，却无法让未来可能产生的危险后果直接约束当前的轨迹生成。部分生成式规划方法虽在输出端采样候选轨迹并通过后处理打分，但未能从根本上重塑表征层对未来因果链条的感知能力。

针对这一矛盾，本文借鉴了科幻经典《终结者》中“将未来知识带回当下”的核心思想，认为自动驾驶中未来信息的真正价值绝非被动模拟演化，而是通过逆向条件化来约束与塑造当下的驾驶决策。核心 idea：将未来潜在世界状态从被动的预测目标转变为扩散轨迹规划器的显式输入条件，训练阶段利用真实未来帧特征进行交叉注意力语义锚定并通过 LatentAlign 动态退火，推理阶段提出渐进式前瞻引导（PFG）解耦运动意图与未来预测的循环依赖，实现前瞻感知的端到端闭环决策。

方法详解¶

整体框架¶

DriveFuture 的整体框架旨在建立“当前表征输入 $\to$ 紧凑未来预测 $\to$ 未来特征反哺规划”的闭环链路。给定多视角环视相机图像 $\mathbf{I}_t$ 与自车状态 $\mathbf{s}_t$，系统首先通过共享感知编码器提取当前场景的 BEV 潜在表征 $\mathbf{Z}_t$。随后，潜在动力学预测器结合自车轨迹意图生成预测的未来潜在状态 $\hat{\mathbf{Z}}_{t+T}$。在训练阶段，未来真实观测被送入同一编码器获得真实未来表征 $\mathbf{Z}_{t+T}$，未来对齐适配器通过交叉注意力以紧凑 query 提取规划强相关的真实未来特征，并通过 LatentAlign 课程退火逐步将条件过渡给自预测表征；在推理阶段，未来对齐适配器被旁路，规划解码器基于当前潜在表征与渐进式前瞻引导生成的未来条件，通过扩散模型迭代去噪输出最优自车轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["多视角环视输入 I_t + 自车状态 s_t"] --> BEVEnc["共享感知编码器<br/>提取当前 BEV 潜在表征 Z_t"]
    BEVEnc --> LDP["潜在动力学预测器<br/>多源随机化意图条件化生成未来表征 Z_hat"]

    subgraph TrainAlign["训练期对齐与退火 (LatentAlign)"]
        direction TB
        GTFuture["未来真实帧 I_t+T<br/>stop-gradient 编码 Z_t+T"] --> FAA["未来对齐适配器<br/>跨注意力语义锚定 Z_c"]
        FAA --> Anneal["课程退火混合<br/>α(e)Z_c + (1-α(e))Z_hat"]
    end

    LDP --> TrainAlign
    LDP -->|推理期旁路真实未来| PFG["渐进式前瞻引导 (PFG)<br/>运动学外推 + Tweedie 自洽意图"]

    TrainAlign --> PlanDec["扩散规划解码器<br/>双重上下文交叉注意力去噪"]
    PFG --> PlanDec
    PlanDec --> Out["自车规划轨迹 τ (4秒时域 / 8个航位点)"]

关键设计¶

1. 潜在动力学预测器与多源条件随机化：解耦紧凑未来预测与无条件基线构建 潜在动力学预测器（Latent Dynamics Predictor）旨在以紧凑可控的方式在潜在空间中模拟未来，避免像素或占据网格级生成的高昂开销。输入当前场景表征 $\mathbf{Z}_t \in \mathbb{R}^{65 \times 256}$（包含 64 个空间 BEV token 及 1 个自车状态 token）与分词化的轨迹意图 $\mathbf{E}_\tau = \phi_\tau(\boldsymbol{\tau})$，由 16 个可学习的未来查询向量 $\mathbf{Q}_f \in \mathbb{R}^{16 \times 256}$ 经过 4 层 Transformer 解码器交替执行自注意力和跨注意力，输出紧凑的前瞻潜在表征 $\hat{\mathbf{Z}}_{t+T} \in \mathbb{R}^{16 \times 256}$。这里将查询数量瓶颈限制为 16 个 token，强迫网络仅保留对下游轨迹决策至关重要的路网与交互语义。

为了在训练中对齐推理期的无真值轨迹环境，并为无分类器引导（CFG）提供校准基线，论文提出了条件来源随机化机制。在训练过程中，输入给预测器的轨迹意图按固定概率分布来自三个分支： $$ \mathbf{E}\tau \sim \begin{cases} \phi\tau(\boldsymbol{\tau}^{\text{gt}}), & \text{概率 } p_{\text{gt}}=0.4, \ \phi_\tau(\boldsymbol{\tau}^{\text{kin}}), & \text{概率 } p_{\text{kin}}=0.4, \ \mathbf{E}^\varnothing, & \text{概率 } p_\varnothing=0.2 \end{cases} $$ 其中 $\boldsymbol{\tau}^{\text{kin}}$ 为基于当前自车速度 $(v_x, v_y)$ 与加速度 $(a_x, a_y)$ 进行等加速度外推的物理先验轨迹，$x_k = v_x t_k + \frac{1}{2}a_x t_k^2$；$\mathbf{E}^\varnothing$ 为可学习的空意图向量。专家轨迹分支提供高质量的高阶意图，运动学分支引入现实可部署的粗糙意图扰动，而空分支则建立了严谨的无条件扩散基线，防止后续推理引导退化为两个无校准条件输出的任意差值。

2. 未来对齐适配器与 LatentAlign 退火：从真实未来引导平滑过渡至自预测前瞻 若直接将未受约束的未来预测特征输入扩散规划器，由于梯度只能通过扩散损失间接回传，在训练初期预测表征极易发生语义漂移，陷入次优局部解。为此，未来对齐适配器（Future Alignment Adapter）在训练阶段引入了未来真实观测 $\mathbf{I}_{t+T}$。将未来帧输入相同但应用 stop-gradient 的感知编码器得到 $\mathbf{Z}_{t+T} = \text{sg}(\phi_{\text{enc}}(\mathbf{I}_{t+T})) \in \mathbb{R}^{64 \times 256}$。适配器以预测潜在表征 $\hat{\mathbf{Z}}_{t+T}$ 为 Query、真实未来表征 $\mathbf{Z}_{t+T}$ 为 Key 和 Value 进行多头交叉注意力交互，提取出包含真实未来验证信息的对齐特征 $\tilde{\mathbf{Z}}_{t+T}$。该设计保持了 16 个 query token 的紧凑接口，且不包含残差连接，纯粹作为真实语义的选择器。

为了彻底消除训练阶段依赖真实未来、而推理阶段无未来可用的分布偏移（train-inference gap），论文设计了基于 Sigmoid 的 LatentAlign 课程退火调度机制： $$ \alpha(e) = 1 - \frac{1}{1 + \exp\left[-\beta(e - e_0)\right]}, \quad \tilde{\mathbf{Z}}{t+T}^c = \alpha(e)\mathbf{Z} $$ 在训练早期（}^c + (1 - \alpha(e))\hat{\mathbf{Z}}_{t+T$e \ll e_0$），$\alpha(e) \to 1$，扩散规划器充分吸收真实未来先验指导，建立起高质量的未来特征-动作映射范式；随着训练轮次推进（$e \gg e_0$），$\alpha(e) \to 0$，规划器强行切换为完全依赖模型自预测的未来前瞻表征 $\hat{\mathbf{Z}}_{t+T}$，迫使潜在动力学预测器主动提高预测质量并与下游解码器完美咬合。

3. 渐进式前瞻引导（PFG）：打破推理期轨迹意图与未来潜在状态的循环依赖 在测试推理阶段，真实未来帧不可见且适配器被旁路，系统面临严重的因果循环依赖：计算未来潜在状态 $\hat{\mathbf{Z}}_{t+T} = f_\psi(\mathbf{Z}_t, \mathbf{E}_\tau)$ 必须依赖自车轨迹意图 $\mathbf{E}_\tau$，但高质量的轨迹 $\boldsymbol{\tau}$ 本身恰恰是扩散去噪模型在未来条件约束下尚未生成的产物。

渐进式前瞻引导（Progressive Foresight Guidance, PFG）创新性地在去噪反向扩散过程中，根据去噪进度 $r = s / (S - 1) \in [0, 1]$ 动态融合两种替代意图源。在早期高噪声阶段（$r < \nu = 0.3$），去噪轨迹样本近乎高斯噪声，若利用 Tweedie 公式重建初始样本误差会被放大因子 $\sqrt{\frac{1 - \bar{\alpha}_s}{\bar{\alpha}_s}}$ 极度放大，因此采用无噪声的恒加速度运动学外推 $\boldsymbol{\tau}^{\text{kin}}$ 作为引导源；在晚期低噪声阶段（$r > \rho = 0.7$），扩散样本已初具物理构型，Tweedie 预估轨迹 $\boldsymbol{\tau}^{\text{tw}} = \text{cumsum}\left(\frac{\mathbf{a}_s - \sqrt{1 - \bar{\alpha}_s}\hat{\boldsymbol{\epsilon}}_\varnothing}{\sqrt{\bar{\alpha}_s}}\right)$ 变得高度可靠，此时无缝过渡为自洽前瞻引导。

最终的去噪方向通过三路 CFG 展开为平滑组合： $$ \hat{\boldsymbol{\epsilon}} = \hat{\boldsymbol{\epsilon}}\varnothing + w}}(r)\left(\hat{\boldsymbol{\epsilon}{\text{kin}} - \hat{\boldsymbol{\epsilon}}\varnothing\right) + w_{\text{tw}}(r)\left(\hat{\boldsymbol{\epsilon}}{\text{tw}} - \hat{\boldsymbol{\epsilon}}\varnothing\right) $$ 其中余弦权重包络线控制运动学权重 $w_{\text{kin}}(r)$（最大值 1.5）平滑衰减，Tweedie 权重 $w_{\text{tw}}(r)$（最大值 2.5）平滑上升，在 $[0.3, 0.7]$ 区间平稳交接，确保去噪过程从粗粒度运动学惯性平滑收敛至高精度的意图自洽规划。

一个完整示例¶

为直观理解 DriveFuture 的训练与推理工作流，以一段十字路口左转避让直行车辆的复杂场景为例： 1. 训练阶段前向传播：感知编码器从多视角图像中提取出包含交叉路口结构与周围障碍物的当前 BEV 表征 $\mathbf{Z}_t$。随机机制以 0.4 的概率抽中专家真实轨迹 $\boldsymbol{\tau}^{\text{gt}}$ 编码为意图向量。动力学预测器据此生成左转终态的预测潜在状态 $\hat{\mathbf{Z}}_{t+T}$。随后未来适配器提取真实未来 1.5 秒后的车流位置 $\mathbf{Z}_{t+T}$ 并与 $\hat{\mathbf{Z}}_{t+T}$ 进行跨注意力融合得到 $\mathbf{Z}^c_{t+T}$。在第 80 个 epoch（$e > e_0$），退火系数 $\alpha(e)$ 降至 0.15，输入给扩散头的是以自预测为主、真实特征为辅的融合向量，引导 DiT 预测扩散噪声 $\hat{\boldsymbol{\epsilon}}$ 并计算规划损失。 2. 推理阶段去噪轨迹采样：给定当前观测，系统首先一次性计算好 $\mathbf{Z}_t$、无条件前瞻 $\mathbf{Z}_\varnothing^+$ 与基于当前速度/转角的运动学前瞻 $\mathbf{Z}_{\text{kin}}^+$。扩散步数从 $s=S$ 向 $s=1$ 倒数。在前 30% 的去噪步骤中，$w_{\text{kin}}$ 占主导，指引 100 个高斯噪声粒子大致朝左前方运动；行进至第 50 步中段，根据去噪粒子即时估算 Tweedie 期望轨迹 $\boldsymbol{\tau}^{\text{tw}}$ 并更新 $\mathbf{Z}_{\text{tw}}^+$；在最后 30% 步骤中，Tweedie 引导占主导，未来潜在状态精确指引轨迹避让潜在冲突区域，生成 100 条平滑左转候选轨迹，最终由 GTRS-Dense 评分器挑出兼顾舒适度与避障安全的唯一全局最优轨迹。

损失函数 / 训练策略¶

DriveFuture 的联合训练目标包含轨迹扩散规划损失与辅助 BEV 语义占据损失： $$ \mathcal{L} = \lambda_{\text{plan}} \mathcal{L}{\text{plan}} + \lambda}} \mathcal{L{\text{BEV}} $$ 其中损失平衡权重均设为 $\lambda_{\text{plan}} = \lambda_{\text{bev}} = 10$。规划损失采用标准 DDPM 噪声预测误差： $$ \mathcal{L}}} = \mathbb{E{s, \boldsymbol{\epsilon}, \mathbf{a}0} \left| \boldsymbol{\epsilon} - \epsilon\theta\left(\mathbf{a}s, s, \mathbf{C}}}, \tilde{\mathbf{Z}^c\right) \right|_2^2 $$ 其中场景上下文 $\mathbf{C}_{\text{scene}} = [\mathbf{e}_s \parallel \mathbf{Z}_t]$ 包含时间步嵌入与当前 BEV 表征。辅助 BEV 损失 $\mathcal{L}_{\text{BEV}}$ 对上采样后的 BEV 特征应用 7 类交叉熵分类监督，防止 BEV 编码器在仅有轨迹回归损失下退化，并确保潜在空间在度量几何上与未来帧保持一致的表征结构。

模型在 8 卡 NVIDIA RTX 5090 上采用 bf16 混合精度与 Adam 优化器训练 100 轮，学习率为 $10^{-4}$，梯度裁剪阈值为 1.0。

实验关键数据¶

主实验¶

DriveFuture 在轻量级闭环自动驾驶基准 NAVSIM-v2 navhard、NAVSIM-v2 navtest 以及 NAVSIM-v1 navtest 上均进行了全面评测。NAVSIM-v2 navhard 是业内最具挑战性的评测分割，要求规划器通过 Stage 1 真实观测与 Stage 2 终态周边合成观测的双阶段检验，综合评分 EPDMS 为两阶段分数的乘积。

方法	类别	骨干网络	Stage 1 EPDMS	Stage 2 EPDMS	最终 EPDMS (%)
TransFuser [39]	端到端 (E2E)	ResNet-34	23.1	75.9	23.1
DiffusionDrive [8]	端到端 (E2E)	ResNet-34	24.2	71.2	24.2
GuideFlow [11]	端到端 (E2E)	ResNet-34	27.1	44.5	27.1
Senna-E2E [53]	端到端 (E2E)	ResNet-50	27.2	65.8	27.2
DriveSuprim [54]	端到端 (E2E)	V2-99	42.1	56.1	42.1
ZTRS [55]	端到端 (E2E)	V2-99	48.1	66.1	48.1
GTRS-E [49]	端到端 (E2E)	V2-99+EVA-ViT-L	49.4	56.8	49.4
SimScale [56]	端到端 (E2E)	V2-99	53.2	43.2	53.2
DrivoR [57]	端到端 (E2E)	ViT-S	54.6	44.7	54.6
DiffVLA [59]	视觉语言动作 (VLA)	V2-99+ViT-L	45.0	80.4	45.0
SpanVLA [58]	视觉语言动作 (VLA)	Qwen2.5-VL-3B	40.1	67.4	40.1
MindDrive [14]	世界模型 (WM)	ResNet-34	30.9	71.0	30.9
World4Drive [18]	世界模型 (WM)	ResNet-34	34.9	62.8	34.9
DriveFuture (本文)	世界模型 (WM)	V2-99	99.8	55.5	55.5

在 NAVSIM-v1 navtest 和 NAVSIM-v2 navtest 基准上，DriveFuture 同样取得了领先指标：

基准与指标	本文 (DriveFuture)	之前代表性 SOTA	对比优势
NAVSIM-v2 navtest (修正后 EPDMS)	89.9	Latent-WAM (89.3) / DiffusionDriveV2 (87.5)	+0.6 / +2.4
NAVSIM-v2 navtest (未修正 EPDMS*)	86.4	DiffusionDriveV2 (85.5) / DriveSuprim (83.1)	+0.9 / +3.3
NAVSIM-v1 navtest (PDMS)	90.7	GoalFlow (90.3) / DriveSuprim (89.9) / DriveLaW (89.1)	+0.4 / +0.8 / +1.6
NAVSIM-v1 无责任碰撞率 (NC)	98.8%	LAW (96.4%) / World4Drive (97.4%)	显著降低碰撞风险
NAVSIM-v1 可行驶区域合规率 (DAC)	99.1%	LAW (95.4%) / TransFuser (92.8%)	大幅改善越界违章

消融实验¶

表 4 针对未来监督方式与 PFG 启发式引导策略进行了系统性剥离验证（均在 NAVSIM-v2 navhard 上且不加 GTRS-Dense 打分器）：

未来帧引入 (FF)	隐式注意力对齐 (Impl)	显式特征回归 (MSE)	运动学引导 (KS)	真实轨迹意图 (GT)	EPDMS (%)	NC (%)	DAC (%)	TTC (%)
✗	✗	✗	✗	✗	30.9	81.8	72.6	79.7
✓	✗	✓	✓	✓	32.1	81.7	77.0	78.4
✓	✓	✗	✗	✗	32.0	81.1	75.2	78.1
✓	✓	✗	✓	✓	34.6	82.3	78.8	79.6

表 5 进一步报告了核心超参数的敏感性分析：

未来前瞻时域 $t_f$ (秒)	EPDMS (%)	查询 Query 数量 $q_s$	EPDMS (%)	退火拐点 $e_0$ 比例	EPDMS (%)
0.5 秒	30.2	4	28.2	0.75	29.2
1.0 秒	31.2	16 (默认)	34.6	0.83 (默认)	34.6
1.5 秒 (默认)	34.6	64	33.7	0.95	28.9

关键发现¶

隐式条件化显著优于特征 MSE 回归：消融实验证明，通过交叉注意力将真实未来信息作为隐式条件接入规划器，比直接用 MSE 强行迫使潜在表征对齐未来特征高出 2.5 个 EPDMS（34.6% vs 32.1%）。这表明规划器需要的是未来对决策的可达性约束，而非像素或特征级的细节重构。
PFG 双阶段引导是闭环鲁棒性的基石：去掉运动学与 Tweedie 双源引导后，模型 EPDMS 直接从 34.6% 滑落至 32.0%，且在 Stage 2 的可行驶区域合规率（DAC）和碰撞前时间（TTC）上出现严重劣化。这证实了在去噪早期利用物理惯性压制随机噪声、在晚期借助自洽轨迹修正细粒度动态的必要性。
前瞻时域与 Query 容量存在最优平衡点：时域过短（0.5s）无法捕捉交叉路口与长尾危险，时域过长则预测方差激增；Query 数量设为 16 时表现最佳，过度增加至 64 会带入不必要的低层级视觉干扰，削弱规划瓶颈的提炼作用。

亮点与洞察¶

逆转世界模型因果流向的哲学转变：打破了传统世界模型“当前状态 $\to$ 未来模拟”的单向开环预测惯性，将“未来推演”逆向包装为“当下决策”的先验条件输入，从根本上激活了世界模型对规划的主动指导作用。
优雅精巧的 PFG 循环破除机制：无需引入计算昂贵的两阶段自回归迭代，巧妙利用扩散模型去噪进程中信噪比的单调变化规律，在 Tweedie 公式与物理运动学模型之间架起平滑过度的余弦桥梁。
轻量紧凑的端到端范式：仅使用 16 个潜在 query 和 4 层 Transformer 解码器即完成了复杂的未来动力学推演，避免了视频生成模型巨大的计算与显存负担，具备极高的部署落地价值。

局限与展望¶

作者指出的局限：在极端罕见的偶发长尾动态场景中，若自预测未来潜在状态出现严重误判，可能反向误导规划器生成激进轨迹；此外，当前机制主要聚焦于 1.5 秒附近的近未来时域，尚未覆盖更长时间跨度（如 5 秒以上）的宏观博弈。
潜在不足与拓展：推理阶段依赖 GTRS-Dense 打分器来筛选 100 条候选轨迹，虽然纯生成模型已达到 34.6 EPDMS，但打分器在多阶段级联时增加了额外的计算开销。
改进方向：探索引入不确定性估计机制（如将潜在动力学预测扩展为高斯混合或置信度加权），使规划器在未来状态高度不确定时能自主回退至保守的反应式防御驾驶策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了世界模型仅作为预测目标的固有范式，首创未来条件化扩散规划与 PFG 解环机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 NAVSIM-v1/v2 全套公开基准，包含详尽的 stage-wise 指标拆解与超参数消融。
写作质量: ⭐⭐⭐⭐⭐ 论文动机阐述深刻生动，数学推导完备自洽，方法论与实验分析条理严谨。
价值: ⭐⭐⭐⭐⭐ 登顶 NAVSIM-v2 navhard 榜首，为自动驾驶世界模型的工程落地提供了极具启发性的范例。