Driving on Memory¶

会议: NeurIPS 2026
arXiv: 2608.31029
OpenReview: https://openreview.net/forum?id=AN8g1p8PlR
代码: https://github.com/boschresearch/MemoryDrivoR
领域: 自动驾驶
关键词: 端到端自动驾驶, 规划评测基准, 场景记忆, NAVSIM, 捷径学习

一句话总结¶

本文提出了用于端到端自动驾驶基准测试诊断的探针模型 MemoryDrivoR，通过完全移除被测场景的在线相机输入、仅以位姿检索的历史轨迹潜在记忆作为静态先验结合初始自车状态进行轨迹规划，揭示出 NAVSIM 等主流基准存在无需感知当前动态交通即可逼近 SOTA 的评测捷径。

研究背景与动机¶

端到端自动驾驶模型旨在直接从原始传感器流中规划未来的行驶轨迹。近年来，学术界为了避免传统开环轨迹位移匹配带来的“盲目模仿人类轨迹”缺陷，相继推出了 NAVSIM、Bench2Drive 和 RealEngine 等引入更严苛场景、更丰富合规性及舒适性指标的评测基准。当一个端到端规划模型在这些新基准上获得高分时，社区通常会很自然地推论：该模型已经具备了全景场景理解能力，能够精准识别周围动态交通参与者、推断其意图并做出交互避障与符合规则的决策。

然而，评测基准的高分并不一定等同于系统真实理解了当前动态环境，模型极有可能是在利用数据集中与合规驾驶强相关的简易统计捷径。此前在 nuScenes 上的研究（如 AD-MLP、Ego-MLP）就曾指出，仅凭自车初始速度与导航指令等本体状态便能刷出极高分数；尽管 NAVSIM 尝试通过恒速基线过滤直行场景并引入多指标非反应式仿真来遏制捷径，但评测分数到底有多少比例来自于对当前场景动态变化的实时反应，仍然是一个悬而未决的黑盒问题。

为了将静态环境信息（道路拓扑、车道几何及长期位置先验）与动态交互信息（当前自车周围动态障碍物位置、信号灯即时相位）彻底剥离，本文构建了一个极具批判性质的对比探针——MemoryDrivoR。核心 idea：彻底切断评测场景的实时相机感知输入，改用按位姿检索的历史先验遍历记忆提供静态场景结构，以此探究在完全“失明”于当前动态场景的极端设定下，主流自动驾驶基准能够被推向多高的虚假繁荣。

方法详解¶

整体框架¶

MemoryDrivoR 选用基于 Vision Transformer 且具有明确规划接口的 DrivoR 作为基础骨干架构。在传统端到端规划中，多视角相机图像被送入冻结的视觉编码器，抽取为一组包含场景全局信息的寄存器标记（Register Tokens），再由轨迹提议与打分解码器进行交叉注意力交互。MemoryDrivoR 彻底丢弃当前时刻的在线相机流，代之以两阶段的记忆管线：首先离线构建包含全量训练轨迹的位姿索引记忆库；在测试推理时，模型根据当前自车全局坐标执行空间最近邻搜索，提取多条历史遍历的潜变量记忆，注入相对位姿编码后经由重采样器压缩，替代原本由在线视觉生成的特征输入下游规划器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["离线数据流：训练集多次遍历图像 + 绝对位姿"] --> B["位姿索引记忆库构建<br/>冻结ViT提取寄存器标记并绑定坐标"]
    C["评测在线输入：当前位姿与自车本体状态"] --> D["空间近邻记忆检索<br/>半径内选取至多k条历史遍历"]
    B -.-> D
    D --> E["相对位姿嵌入<br/>计算相对变换并经MLP升维注入"]
    E --> F["重采样器压缩滤波<br/>跨注意力滤除过往动态噪声压缩至固定标记"]
    C --> G["自车状态编码<br/>速度、加速度与导航指令映射"]
    F --> H["DrivoR双阶段规划器<br/>仅在静态记忆与本体状态下生成并评分轨迹"]
    G --> H
    H --> I["输出最终4秒规划轨迹"]

关键设计¶

1. 位姿索引记忆库构建与空间多样性检索：剥离动态交互并保留静态先验 为了完全阻止规划器窥探当前场景的动态交互，模型在训练集覆盖的所有历史驾驶记录中建立离线记忆库。对于每个采样帧 $i$，利用预训练冻结的 DrivoR ViT-S 视觉编码器，将其多视角图像映射为 $n = 64$ 个场景寄存器标记 $Z_i \in \mathbb{R}^{n \times c}$，并附带地面绝对全局位姿 $q_i = (x_i, y_i, \psi_i)$，其中 $\psi_i$ 为航向角。在测试时刻，给定待评测场景初始位姿 $q_t$，系统在全局记忆库中执行欧氏距离近邻搜索，以检索半径 $r = 20\,\text{m}$ 为界筛选至多 $k = 10$ 个最邻近样本。为防止空间视点冗余并最大化静态结构的多样性，算法施加了强制约束：来自同一历史行驶轨迹的样本至多仅允许选入一个，最终输出近邻记忆索引集合 $\mathcal{N}(t)$。

2. 相对位姿编码注入：免几何反投影的坐标系对齐 检索到的历史记忆是从历史采集车视角观察到的潜变量，其视点与当前评测车辆的实际朝向存在几何位姿偏差。MemoryDrivoR 摒弃了复杂的显式深度估计与可微几何网格反投影，采用隐式空间对齐方案。设当前位姿 $q_t$ 与记忆位姿 $q_m$ 对应的二维刚体变换矩阵分别为 $T_t, T_m \in \mathrm{SE}(2)$，则二者之间的相对刚体变换定义为： $$T_{m \to t} = T_t^{-1} T_m$$ 网络将展平后的相对变换矩阵平移分量通过固定范围进行归一化，使用正弦傅里叶位置编码后，输入双层多层感知机（MLP）映射为 $c$ 维的相对位姿嵌入向量。该位姿嵌入以加性方式直接与每个原始记忆标记 $Z_m$ 逐元素相加，使记忆特征以轻量级计算获得了关于当前自车坐标系的空间相对几何指引。

3. 可学习重采样器压缩滤波：消除历史动态残留并适配规划器接口 历史图像中不可避免地记录了采集当天的车辆、行人和临时障碍物，这些陈旧的动态残影若直接输入规划器，将严重干扰对当前静态道路环境的理解。MemoryDrivoR 引入基于 Perceiver 架构的 2 层 Transformer 重采样器（Resampler），利用固定维度的可学习查询向量，将注入位姿后的 $n=64$ 个记忆标记深度压缩为 $\ell = 8$ 个核心记忆标记，随后经线性投影层输出最终记忆表征 $M_{m,t}$。重采样器在监督训练下自发学会过滤掉多余的过往动态信息（BEV 探针实验证实其大幅削弱了历史目标分类信息），仅提炼车道线、可行驶区域边界和路口几何。最后将 $\mathcal{N}(t)$ 中的所有压缩记忆在序列维度拼接，无缝充当 DrivoR 规划器中轨迹提议解码器和打分解码器的键（$K$）与值（$V$）。

损失函数 / 训练策略¶

在训练阶段，视觉编码器保持冻结，位姿嵌入模块与重采样器从零随机初始化，而下游的 DrivoR 规划解码器加载官方预训练权重并以较小代价微调。在 NAVSIM 任务中，仅需在 navtrain 分割上微调 5 个 epoch，学习率与批大小保持与 DrivoR 一致；在 Bench2Drive 上微调 20 个 epoch。模型延续 DrivoR 的多任务端到端监督目标： $$\mathcal{L} = \mathcal{L}_{\text{imitation}} + \sum_{s \in \mathcal{S}} \lambda_s \mathcal{L}_{\text{BCE}}(s, \hat{s})$$ 其中 $\mathcal{L}_{\text{imitation}}$ 惩罚提议轨迹与人类专家未来轨迹的 $L_1$ 偏差，$\mathcal{L}_{\text{BCE}}$ 针对候选轨迹的多项合规子评分进行二元交叉熵监督，包括无责碰撞（NC）、可行驶区域合规性（DAC）、行驶方向合规性（DDC）、碰撞前时间（TTC）、纵向进展（EP）及驾驶舒适度（C）。

实验关键数据¶

主实验¶

论文对 NAVSIMv1（4 秒开环非反应式评测）、NAVSIMv2（引入 3DGS 视角合成与 IDM 反应式交通流的双阶段评测）以及 Bench2Drive（CARLA 闭环交互仿真）进行了全面的实证审计。

下表展示了 NAVSIMv1 官方测试集（navtest）上 MemoryDrivoR 与顶尖相机输入模型的对比结果：

方法	会议	输入模态 (Cam / Mem)	NC (%) ↑	DAC (%) ↑	TTC (%) ↑	EP (%) ↑	PDMS ↑
Human Driver	-	- / -	100.0	100.0	100.0	87.5	94.8
PDM-Closed	CoRL 2023	专家特权 / -	94.6	99.8	86.9	89.9	89.1
UniAD	CVPR 2023	✓ / ×	97.8	91.9	92.9	78.8	83.4
DiffusionDrive	CVPR 2025	✓ / ×	98.2	96.2	94.7	82.2	88.0
AutoVLA	NeurIPS 2025	✓ / ×	98.4	95.6	98.0	81.9	89.1
ReCogDrive	ICLR 2026	✓ / ×	97.9	97.3	94.9	87.3	90.8
DriveSuprim	AAAI 2026	✓ / ×	98.6	98.6	95.5	91.3	93.5
DrivoR (SOTA)	CVPR 2026	✓ / ×	99.0	98.9	96.7	90.0	93.7
Constant Velocity	-	× / ×	68.0	57.8	50.0	19.4	20.7
Ego Status MLP	CVPR 2024	× / ×	93.1	78.3	84.0	63.2	66.4
DrivoR (无视觉控制组)	本文复现	× / ×	96.1	85.6	91.1	62.8	72.9
MemoryDrivoR (本文)	NeurIPS 2026	× / ✓	98.3	98.5	95.3	86.0	91.1

下表展示了 Bench2Drive 闭环长周期驾驶场景下各方法的表现：

方法	会议	输入模态 (Cam / Mem)	路线成功率 SR (%) ↑	综合驾驶分数 DS ↑	效率评分 Eff.	舒适度 Comfort
Think2Drive	ECCV 2024	特权环境状态	85.4	91.9	269.1	26.0
LEAD	CVPR 2026	特权知识对齐	92.3	97.0	-	-
UniAD	CVPR 2023	✓ / ×	16.4	45.8	129.2	43.6
ReCogDrive	ICLR 2026	✓ / ×	45.5	71.4	138.2	17.5
SimLingo	CVPR 2025	✓ / ×	66.8	85.9	244.2	25.5
DrivoR	CVPR 2026	✓ / ×	30.5	61.0	167.8	36.5
AD-MLP	CVPR 2023	× / ×	0.0	18.1	48.5	22.6
DrivoR (无视觉控制组)	本文实现	× / ×	2.4	11.6	225.3	86.9
MemoryDrivoR (本文)	NeurIPS 2026	× / ✓	9.5	34.7	176.4	49.9

消融实验¶

在 NAVSIMv1 验证集（navval）上，作者针对相对位姿编码与重采样器模块开展了正交消融：

搜索半径 $r$ (m)	检索记忆数 $k$	相对位姿编码 (Pose)	动态滤波重采样器 (Resampler)	PDMS 综合分	$\Delta$
5	4	×	×	82.6	基准
5	10	×	✓	82.6	+0.0
20	4	✓	×	88.4	+5.8
20	10	✓	✓	88.9	+6.3

此外，作者在 NAVSIMv1 和 NAVSIMv2 上对比了替换为向量化高清矢量地图（HD map，基于 PriorDrive 的 BERT 向量编码）作为输入的表现： - Ego + Cameras (完整感知): NAVSIMv1 PDMS 为 93.7，NAVSIMv2 EPDMS 为 46.7； - Ego Only (仅自车状态): NAVSIMv1 PDMS 为 72.9，NAVSIMv2 EPDMS 为 28.3； - Ego + HD Map (自车状态 + 高精地图): NAVSIMv1 PDMS 为 86.6，NAVSIMv2 EPDMS 为 40.8； - Ego + Memory (自车状态 + 隐式记忆): NAVSIMv1 PDMS 达到 91.1，NAVSIMv2 EPDMS 达到 45.0。

关键发现¶

NAVSIM 存在显著的动态交互盲区：MemoryDrivoR 在完全切断当前相机输入的情形下，在 NAVSIMv1 取得了 91.1 PDMS，在 NAVSIMv2 取得了 45.0 EPDMS，全面碾压 UniAD、DiffusionDrive 等完整视觉方法并直逼 SOTA。主要原因在于自车初始速度/加速度已经强烈泄露了自车是处于加速还是减速制动状态，结合记忆库提供的车道几何信息，模型即可规划出平滑且符合绝大多数规则的轨迹。
记忆比高精地图携带更多先验：Ego + Memory 比 Ego + HD Map 在 NAVSIMv1 上高出 4.5 分。这是因为视觉记忆潜变量不仅包含了道路拓扑，还隐式编码了地点的长期先验（例如该路段是否常发拥堵、斑马线人流密度习惯等），使得模型能够自发学会减速防御性驾驶。
闭环评测与交互场景具备鲁棒性：在 Bench2Drive 中，自车初始状态均处于静止，且平均行驶里程长达百米以上、包含复杂的强制博弈场景（如急刹、变道插入、无信号交叉口），此时 MemoryDrivoR 出现断崖式下跌，成功率仅为 9.5%（而视觉基线 DrivoR 为 30.5%）。这证明了长周期闭环测试与强交互动态场景才能真正辨识模型的实时感知决策能力。
非地理过拟合：在排除测试城市地理样本后（NAVSIMv2-Geo 排除匹兹堡；Bench2Drive-Geo 排除 Town11 和 Town13），模型的测试表现不但没有崩溃甚至略有上升，排除了网络参数对特定地点的单纯暴力记忆假说。

亮点与洞察¶

将历史记忆用作诊断探针：以往研究多将重访驾驶的地图先验或神经辐射场作为感知增强辅助件，本文打破常规思维，将记忆作为“信息切除探针”，严谨界定了静态结构与动态交互的信息边界。
揭穿短时开环/伪仿真基准的局限：深刻指出了即使是考虑了 IDM 动态交通与神经视角渲染的 NAVSIMv2，只要评测依然依赖起始帧的真实自车状态且时间跨度短（4秒），模型就能依靠防御性减速轻松规避绝大部分碰撞罚分。
轻量隐式空间重采样范式：无需重建 3D 点云或网格，仅凭相对刚体位姿正弦编码与两层 Cross-Attention 重采样器，就能使视觉标记自发过滤历史动态干扰并提供空间上下文。

局限与展望¶

依赖高精度全局位姿与重访覆盖：MemoryDrivoR 需要毫米级至厘米级的空间定位才能准确对齐记忆；在无绝对位姿或缺乏重访轨迹的基准（如 Waymo WOD-E2E）上无法直接应用。
尚未触及静态信息的表征极限：目前的记忆库使用最邻近检索与固定小容量重采样，若进一步结合基于强化学习的主动记忆召回或扩散生成式先验，失明模型的得分上限可能会更高。
对未来基准建设的呼吁：未来的评测协议应尽可能避免向模型泄露反映操作意图的高精度初始动态状态，并强制引入更多对抗性、反应式障碍物交互与长周期闭环闭环仿真。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 构思极具批判性与启发性，以记忆替换实时感知的探针视角对整个领域的研究惯性提出了深刻警示。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 NAVSIMv1、NAVSIMv2、Bench2Drive、RealEngine 与 HUGSIM 等多套主流评测平台，辅以地理划分、BEV探针与位姿噪声敏感性分析。
写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑严密，论证步步深入，对实验现象的归因分析极为清晰客观。
价值: ⭐⭐⭐⭐⭐ 对自动驾驶端到端规划社区具有重要的纠偏价值，直接为下一代评测基准的设计指明了方向。