DriveMind: Mind-Evolving Belief Tracking for Closed-Loop Autonomous Driving¶

会议: NeurIPS 2026
arXiv: 2610.32069
OpenReview: https://openreview.net/forum?id=2Hd1h7AQap
代码: https://github.com/shiyannacl/drivemind
领域: 自动驾驶
关键词: 自动驾驶, 多模态大模型, 信念跟踪, 粒子滤波, 异步规划

一句话总结¶

DriveMind 借鉴粒子滤波思想维护一个由自然语言假设构成的时变信念状态，并通过异步快慢视听动作（VLA）架构将高层多假设演化与低层高频扩散轨迹生成解耦，有效解决了闭环自动驾驶在歧义场景下的过早决策锁定问题。

研究背景与动机¶

多模态大语言模型（MLLM）在自动驾驶领域的引入，使得单一网络能够同时完成多视角交通场景感知、因果逻辑推理以及驾驶决策输出，展现出强大的通用场景理解与可解释能力。然而，现有的端到端语言驱动驾驶系统（如 DriveGPT4、GPT-Driver、SimLingo 等）普遍遵循逐帧独立推理的单链范式，即在每个控制周期面对传感器输入时从头开始生成单一的思维链或推理结果，并在推理完成瞬间直接提交至运动规划层。这种机制本质上是一种贪心式单假设决策，将历史观察中已逐步积累或并存的潜在解释完全丢弃。

这种设计在开放交通场景的闭环控制中存在根本性矛盾。真实道路环境充斥着动态部分可观测性与高度意图歧义：路边减速的车辆可能是在礼让变道、准备掉头，亦或正在躲避前方的隐蔽障碍；路沿伫立的行人在下一刻可能横穿马路，也可能仅是在原地驻足等候。面对这些同等合理的潜在意图，单链推理模型往往在缺乏充分证据的极早期便强行锚定在某一种解释上。在闭环交互中，这种过早承诺（premature commitment）是致命的：一旦初始解释发生偏差，智能体所采取的控制动作会直接改变后续车辆位置与传感器观测，进而产生连锁反应加剧错误，使自车陷入无法挽回的险境。现有的 LLM 不确定性度量工作多局限于同一静态问题的多候选采样方差，无法刻画时间推移与环境闭环交互中信念的动态演进。

面对这一挑战，本文认为解决闭环歧义的关键在于赋予智能体显式追踪多假设演进的能力，即在证据充分显现之前允许相互竞争的解释并行存活，并随时间推移依据新观测动态修正各解释的置信度。核心 idea：将经典粒子滤波的预测-更新-重采样机制拓展至开放语义空间，构建一套维护多条自然语言假设的时变信念状态跟踪系统，并通过高层慢速多假设信念更新与低层快速扩散轨迹生成的异步双环架构，实现鲁棒的闭环自主驾驶。

方法详解¶

整体框架¶

DriveMind 将自动驾驶建模为部分可观测环境下的序贯决策问题，其核心思想是避免在单步推理中强行对开集语义解释空间 $\mathcal{R}$ 做单一取样，而是通过有限个带权重的自然语言假设集合 $\mathcal{B}_t = \{(h_t^k, w_t^k)\}_{k=1}^K$ 近似后验信念分布 $p(h_t \mid \mathcal{H}_t)$。系统的总体运行由异步解耦的高低双环组成：高层慢速大模型推理器以约 2 Hz 的低频运行，模拟粒子滤波状态机依次执行假设的时间推变传播、观测一致性打分重加权以及基于有效样本大小的多样性重采样；低层快速扩散控制器以 10 Hz 的控制频率运行，直接聚合当前信念状态的加权语义嵌入并结合视觉历史，通过条件逆向扩散过程实时生成未来自车航迹点。在两次高层信念刷新之间，低层控制器直接复用最近一次的有效信念上下文，保证闭环控制的高频实时性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    In["多模态感知输入与历史动作<br/>x_t, a_{t-1}, H_{t-1}"] --> P1["假设传播与时间演化<br/>VLM 采样推演各粒子新假设"]
    P1 --> P2["证据一致性重加权<br/>评分函数输出观测吻合度并更新权重"]
    P2 --> P3["多样性维持与重采样<br/>ESS 监测退化与语义相似度重生成"]
    P3 --> P4["异步快慢双环架构与信念条件化轨迹生成<br/>信念聚合嵌入驱动高频扩散控制器"]
    P4 --> Out["闭环轨迹执行与状态转移<br/>H=8 航迹点下发执行与环境反馈"]

关键设计¶

1. 假设传播与时间演化：克服单步单链推理的过早承诺 针对传统端到端驾驶模型在每一帧从零推导单一假设所导致的意图断层与过早固化问题，DriveMind 在高层将每一个候选解释视为粒子滤波中的一个语义粒子。在时间步 $t$，系统继承前一时刻的假设集合 $\{h_{t-1}^k\}_{k=1}^K$ 与前一动作 $a_{t-1}$，结合当前感知输入 $\boldsymbol{x}_t$，利用 VLM 语言模型按转移分布进行前向采样： $$h_t^k \sim p_{\mathcal{M}}(\cdot \mid h_{t-1}^k, a_{t-1}, \boldsymbol{x}_t, \mathcal{H}_{t-1})$$ 这一机制将交通场景中相互竞争的因果猜测沿时间轴串联起来。例如面对交叉路口前方减速的目标车辆，粒子 1 可演进为“前车正在等待对向直行车流后左转”，粒子 2 则演进为“前车因前方道路障碍临时停车”。多条假设在语义空间内并行推演，使模型在环境线索未明朗时不至于被强迫过早收敛到单一结论。

2. 证据一致性重加权：基于当前观测动态调整信念分布 在完成粒子前向推演后，需要依据新到来的视觉事实量化各假设的真实置信度。DriveMind 设计了一个基于打分规则的视觉一致性评估函数 $s_t^k = f_{\mathcal{M}}(h_t^k, \boldsymbol{x}_t, \mathcal{H}_{t-1}) \in [0, 1]$，提示 VLM 针对当前图像细节对假设的合理性进行 1 到 10 的打分，并归一化到单位区间。随后系统借鉴粒子滤波的权重更新公式，将历史权重与观测似然指数项结合并进行归一化： $$\tilde{w}_t^k = w_{t-1}^k \exp(s_t^k / \beta), \quad w_t^k = \frac{\tilde{w}_t^k}{\sum_{j=1}^K \tilde{w}_t^j}$$ 其中超参数 $\beta > 0$ 调节模型对得分差异的敏感度。当后续帧中观察到行人开始向斑马线跨步时，“行人准备横穿”假设的得分显著上升，其归一化权重 $w_t^k$ 指数级累积；反之，若目标车辆亮起右转灯，其他无关假设的权重便会迅速衰减，实现了基于实证的概率质量动态迁移。

3. 多样性维持与重采样：抑制粒子退化并维持语义覆盖 粒子滤波在迭代过程中极易发生退化现象（degeneracy），即个别假设聚集了绝大部分权重，导致其余粒子衰亡并丧失探索能力。DriveMind 实时追踪归一化权重的有效样本大小（Effective Sample Size, ESS）： $$ESS_t = \frac{1}{\sum_{k=1}^K (w_t^k)^2}$$ 当 $ESS_t < \alpha K$（$\alpha$ 为预设阈值）时，系统触发重要性重采样以剔除低权重假设。为防止常规重采样带来的粒子同质化（复制多份完全相同的文本描述），模型引入了基于语义相似度的去重再生机制：利用 VLM 文本编码器提取各粒子的归一化向量，两两计算余弦相似度。对于相似度大于 $\rho = 0.9$ 的假设对，系统保留权重较高者，并利用提示词强制 VLM 重新采样生成一条既契合当前观测 $\boldsymbol{x}_t$ 又在语义上保持独立的新假设，随后将所有粒子权重重置为 $1/K$。该设计有效保障了极端模糊场景下系统对潜在边缘意图的持续警惕。

4. 异步快慢双环架构与信念条件化轨迹生成：解耦认知推理与高频控制 高层 VLM 进行多假设语义推演和评分通常需要百毫秒级计算延迟，无法满足车端 10 Hz 以上的硬实时控制要求。DriveMind 将系统划分为异步协作的快慢双环。慢速端在完成信念更新后，通过对所有存活假设的文本表征进行信念权重加权池化，生成紧凑的全局信念上下文向量： $$c_t = \sum_{k=1}^K w_t^k E_{\mathcal{M}}(h_t^k)$$ 快速端由基于条件去噪扩散模型（DDPM）与 Transformer 架构的低层控制器构成，其运行频率为 10 Hz。扩散策略以高斯噪声 $a_t^T \sim \mathcal{N}(0, I)$ 起始，在历史视觉特征 $\Phi(\mathcal{H}_t)$ 与信念向量 $c_t$ 的双重条件引导下逐步反向去噪，最终输出未来 $H=8$ 步自车局部坐标系下的航向点序列 $a_t = [p_{t,1}, \dots, p_{t,H}]$。当场景处于高度不确定状态（各假设权重接近且存在冲突）时，聚合向量 $c_t$ 平滑地融合了各方诉求，驱动控制器生成偏向防御性驾驶的保守平滑轨迹；而一旦某一主导假设获得高置信度，控制器则果断执行对应策略。

一个完整示例¶

以车辆驶向无信号灯十字路口且人行道旁有行人的场景为例： 1. 初始化时刻 ($t=0$)：系统初始化 $K=4$ 个粒子，赋予均等权重 $w_0^k = 0.25$，分别对应“行人静止等候，自车可平稳通过”、“行人即将起步横穿，自车需减速避让”、“行人仅沿人行道纵向行走”、“前方可能有其他视线盲区遮挡”。信念熵 $U_0 = \log 4 \approx 1.386$。 2. 第一阶段观察 ($t=1 \sim 2$)：高层 VLM 接收连续帧，检测到行人身体微侧但未迈出路沿。粒子 1 和粒子 2 的观测一致性得分相近（$s_t \approx 0.7$），系统保持中等不确定性，聚合向量 $c_t$ 指引低层扩散控制器采取轻度收油减速的防御性滑行，而非盲目急刹或全速冲卡。 3. 关键事件突发 ($t=3$)：后续观测显示行人突然迈入行车道。VLM 打分机制下，粒子 2（减速让行）得分飙升至接近 1.0，而粒子 1（平稳通过）得分骤降至 0.1。权重重加权后，粒子 2 占据绝对优势（$w_t^2 = 0.78$），粒子 1 衰减至边缘。 4. 多样性管理与控制响应：主导权重提升使得 $ESS_t$ 迅速下降触发重采样，系统剔除陈旧的通过假设，并补充生成针对行人通行速率预估的新粒子。低层扩散模型由于直接接收主导让行信念的 $c_t$，在百毫秒内连续输出大幅制动航迹点，车辆平稳刹停于斑马线前。

损失函数 / 训练策略¶

DriveMind 采取两阶段解耦训练策略，避免端到端联合训练造成的梯度干扰与计算开销：

阶段一：高层认知推理器训练
固定或微调 Qwen3VL-2B-Instruct 主干网络，混合 VQA 与动作预测数据，损失函数由两部分组成： $$\mathcal{L}_{\text{high}} = \mathcal{L}_{\text{man}} + \lambda_{\text{score}} \mathcal{L}_{\text{score}}$$ 其中离散动作意图预测损失采用对真实标签 $u_t^* \in \{\text{STOP}, \text{DECELERATE}, \text{GO\_STRAIGHT}, \text{LANE\_CHANGE}\}$ 的负对数似然： $$\mathcal{L}_{\text{man}} = -\log\left(\sum_{k=1}^K w_t^k \, p_{\mathcal{M}}(u_t^* \mid h_t^k, \mathcal{H}_t)\right)$$ 评分损失则使用交叉熵监督模型对人工及专家标注的一致性分值 $r_t^{k*} \in \{1, \dots, 10\}$ 进行文本预测： $$\mathcal{L}_{\text{score}} = -\frac{1}{K}\sum_{k=1}^K \log p_{\mathcal{M}}\left(r_t^{k*} \mid h_t^k, \boldsymbol{x}_t, \mathcal{H}_{t-1}\right)$$

阶段二：低层扩散控制器训练
冻结第一阶段训练完毕的 VLM 模块，离线遍历专家驾驶轨迹，提取并缓存各时刻的三元组 $(c_t, \Phi(\mathcal{H}_t), a_t^0)$，其中 $a_t^0$ 为专家真实航迹。随后利用条件 DDPM 扩散去噪目标训练轨迹生成网络： $$\mathcal{L}_{\text{diff}} = \mathbb{E}_{\tau, \epsilon, a_t^0} \left[ \left\| \epsilon - \epsilon_\theta(a_t^\tau, \tau, c_t, \Phi(\mathcal{H}_t)) \right\|_2^2 \right]$$ 其中 $a_t^\tau$ 为向专家轨迹加入高斯噪声后的带噪航迹点，$\epsilon_\theta$ 负责预测注入的噪声矢量。

实验关键数据¶

主实验¶

在 CARLA 闭环基准 Bench2Drive（共 220 条复杂测试路线，涵盖极端天气与高密度交通流）上，DriveMind 与当前主流端到端自动驾驶及语言驱动驾驶模型进行了全面对比。

方法类型	模型方法	驾驶分数 (DS) ↑	成功率 (SR, %) ↑	行车效率 ↑	舒适度 (Comfort) ↑
传统端到端 (带蒸馏)	TCP-traj (Wu et al., 2022)	59.90	30.00	76.54	18.08
传统端到端 (带蒸馏)	ThinkTwice (Jia et al., 2023b)	62.44	31.23	76.93	16.22
传统端到端 (带蒸馏)	DriveAdapter (Jia et al., 2023a)	64.22	33.08	70.22	16.01
纯视觉端到端	UniAD-B (Hu et al., 2023)	45.81	16.36	129.21	43.58
纯视觉端到端	VAD (Jiang et al., 2023)	42.35	15.00	157.94	46.01
大模型端到端	DriveTransformer-L (Jia et al., 2025)	63.46	35.00	100.64	46.01
大模型认知驱动	ReCogDrive (Li et al., 2025)	71.36	45.45	138.18	17.45
消融基线	DriveMind w/o belief (单链基线)	68.50 ± 1.39	41.36 ± 1.85	134.75 ± 1.86	18.01 ± 0.08
本文方法	DriveMind (Ours)	81.37 ± 1.41	54.09 ± 1.10	114.83 ± 0.33	18.98 ± 0.12

Bench2Drive 细粒度多维度驾驶交互能力测试（Multi-ability Test）结果如下表所示：

模型方法	汇入主路 (Merging, %)	超车避障 (Overtaking, %)	紧急制动 (Emerg. Brake, %)	礼让博弈 (Give-way, %)	交通信号 (Traffic Sign, %)	平均得分 (Mean, %) ↑
TCP-traj	8.89	24.29	51.67	40.00	46.28	34.22
ThinkTwice	27.38	18.42	35.82	50.00	54.23	37.17
DriveAdapter	28.82	26.38	48.76	50.00	56.43	42.08
UniAD-B	14.10	17.78	21.67	10.00	14.21	15.55
ReCogDrive	29.73	20.00	69.09	20.00	71.34	42.03
DriveMind w/o belief	31.25 ± 0.70	57.78 ± 2.77	31.67 ± 1.33	30.00 ± 0.00	34.21 ± 1.47	36.98 ± 1.21
DriveMind (Ours)	41.25 ± 1.10	91.11 ± 1.70	51.67 ± 1.20	70.00 ± 0.00	36.84 ± 2.01	58.17 ± 1.30

消融实验¶

为明确信念跟踪组件、假设规模、打分重加权机制以及异步架构的具体收益，论文给出了以下消融实验与系统分析：

1. 假设数量 $K$ 对闭环表现的影响

实验配置	假设粒子数 $K$	驾驶分数 (DS) ↑	成功率 (SR, %) ↑	说明
单链基线 (w/o belief)	1 (隐式)	68.50	41.36	仅推导单次推理链
基础双假设模型	$K=2$	70.00	48.00	仅覆盖直行与停车
标准完整模型	$K=4$	81.37	54.09	额外覆盖减速让行与变道

2. 权重计算模式对意图预测准确率与分布熵的影响

权重赋权模式	动作意图准确率 (Maneuver Acc.) ↑	信念分布熵 (Entropy)	说明
随机赋权 (Random)	0.644	1.090	权重随机归一化
均匀赋权 (Uniform $1/K$)	0.779	1.386	各假设始终保持均等权重
VLM 一致性打分 (Ours)	0.930	0.711	基于观测一致性动态演化

3. 计算延迟与异步刷新机制分析（NVIDIA RTX A6000 单卡）

执行模块 / 配置	平均耗时 (Mean, ms)	95分位耗时 (P95, ms)	系统级设定	闭环步平均耗时 (ms)
高层假设演化 ($K=2$)	74.0	77.9	同步阻塞运行	177.0
高层假设演化 ($K=4$, 默认)	120.0	125.4	异步刷新 ($s=2$)	94.7
高层假设演化 ($K=6$)	165.5	167.6	异步刷新 ($s=4$)	65.5
低层扩散控制器	45.0	45.0	异步刷新 ($s=6$)	57.1

关键发现¶

复杂博弈场景增益最为显著：在无信号交叉路口（Unsignalized Intersection）和对向来车交互（Opposite Direction）等高歧义场景中，DriveMind 的 DS 分别取得了 +20.0 和 +20.5 的巨大提升；在泊车-行人穿行长尾场景中，DS 从 53.2 跃升至 100.0，SR 从 20% 提高至 100%。这证明多假设信念追踪的最大价值在于解决动态博弈中的意图识别难题。
权重打分不仅带来高准确率，而且促成合理的置信度收敛：相比均匀权重的 77.9% 准确率，VLM 驱动的证据打分将意图预测准确率提升至 93.0%，分布熵从 1.386 降至 0.711，说明系统能够随着连续帧输入果断收敛至真实主导解释。
静态伪闭环评测与真实交互环境的本质差异：在 NAVSIM（开环日志回放回放式评测）中，DriveMind 相比无信念基线仅提升了 +2.8 PDMS（81.0 vs 78.2）；而在 CARLA 真实动态闭环中，DS 提升高达 +12.87。这一反差有力证明了：在没有动态交互反馈的静态评测中，错误决策不会对后续状态产生累积放大破坏，因此多假设时间演进的威力唯有在真正的闭环控制中才能全面释放。

亮点与洞察¶

将经典贝叶斯滤波成功迁移至离散开放语义空间：传统控制理论中的粒子滤波局限于几何坐标或离散状态机，而 DriveMind 巧妙利用现代 MLLM 的开集表征与常识打分能力，将粒子直接定义为自然语言假设，既保留了经典滤波算法严密的时间演进数学骨架，又具备理解复杂交通语境的泛化能力。
快慢双环异步协同的工程设计：自动驾驶系统长期面临“大模型算得慢”与“底盘控制要求高频”的固有冲突。DriveMind 通过语义加权池化向量 $c_t$ 构建低带宽、高信息密度的表征接口，使得高层 VLM 以 2 Hz 充分思考，低层扩散控制器以 10 Hz 敏捷执行，兼顾了认知深度与实时安全性。
泛化迁移至通用具身智能：该方法的核心逻辑（时变多假设追踪 + 语义粒子重采样 + 异步快慢策略）不仅适用于自动驾驶，还能直接迁移到机器人人机协作、动态物体抓取等包含高度意图不确定性的具身交互任务中。

局限与展望¶

假设粒子数与更新频率固定：当前实现中 $K=4$ 以及更新周期是预先设定的硬编码超参数。在空旷直道等简单场景下持续运行 $K=4$ 的 VLM 推理会造成算力浪费；而在高难度十字路口，固定粒子数又可能限制极端情况下的语义覆盖。未来可引入根据场景复杂度或信念熵动态自适应调节粒子规模与刷新频率的机制。
假设空间主要聚焦于自车决策与环境解释，缺乏显式多智能体博弈建模：目前的自然语言粒子多从自车视角推导环境意图（如“行人是否过街”、“前方自车应如何反应”），未对场景中其他动态交通参与者的联合未来轨迹进行显式双向博弈建模，未来可扩展至多主体交互意图的联合信念追踪。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将粒子滤波机制与 MLLM 语义假设空间结合，提出了时变信念跟踪的闭环驾驶新范式]
实验充分度: ⭐⭐⭐⭐⭐ [在 Bench2Drive 闭环仿真与 NAVSIM 伪闭环基准上开展了详实的对比、细分场景分析、消融与延迟评测]
写作质量: ⭐⭐⭐⭐⭐ [方法叙述脉络极为清晰，公式与直观机制对应紧密，问题动机剖析透彻]
价值: ⭐⭐⭐⭐⭐ [为解决端到端自动驾驶及具身智能模型在长尾模糊场景下的过早决策锁定痛点提供了具有高度启发性的技术路径]

执行模块 / 配置	平均耗时 (Mean, ms)	95分位耗时 (P95, ms)	系统级设定	闭环步平均耗时 (ms)
高层假设演化 (\(K=2\))	74.0	77.9	同步阻塞运行	177.0
高层假设演化 (\(K=4\), 默认)	120.0	125.4	异步刷新 (\(s=2\))	94.7
高层假设演化 (\(K=6\))	165.5	167.6	异步刷新 (\(s=4\))	65.5
低层扩散控制器	45.0	45.0	异步刷新 (\(s=6\))	57.1