CausalDriveBench: Evaluating Causal Reasoning in Vision-Language-Action Models for Autonomous Driving¶

会议: NeurIPS 2026
arXiv: 2609.32157
OpenReview: https://openreview.net/forum?id=hdSw2TGIXo
领域: 自动驾驶
关键词: 自动驾驶, 视觉-语言-动作模型, 因果推理, 珀尔因果层次, 反事实轨迹评估

一句话总结¶

首个基于珀尔因果层次（PCH）系统评估自动驾驶视觉-语言-动作（VLA）模型因果推理能力的基准测试，通过构建区分活跃/休眠/干扰实体的因果场景图，产出 7,285 个结构化问答与 1,000 条反事实参考轨迹，揭示了当前模型语言推理与动作规划在因果维度的严重解耦。

研究背景与动机¶

视觉-语言-动作（Vision-Language-Action, VLA）模型正迅速演进为端到端自动驾驶的核心范式，其在单一神经网络中联合统一了环境感知、多模态语义理解、思维链语言推理以及车辆未来轨迹生成。然而，自动驾驶属于高安全敏感型领域，仅在常规工况下输出几何位移误差较低的平滑轨迹远远不够。自动驾驶智能体必须能够准确辨识出是哪些交通实体在因果上直接决定了自车的驾驶决策，而非仅仅依赖高维感知特征之间的统计共现关联或事后生成的合理化伪解释（post-hoc rationales）。当前前沿模型所生成的流畅推理究竟是真实反映了物理场景的因果拓扑，还是仅仅表现为表面的语言描述修饰，此前在学术界尚无严密系统的检验工具。

构建此类因果评估体系面临着三大根本性技术瓶颈。首先，干预（Intervention）与反事实（Counterfactual）场景在物理现实世界收集的真实驾驶数据集中天然不可观测，既有数据集如 nuScenes 仅记录了实际发生的单一历史世界线。其次，传统的端到端规划评估指标（如平均位移误差 ADE 或碰撞率 CR）只关注几何输出结果，对产生轨迹背后的因果决策机制完全不敏感。最后，现有驾驶语言基准主要测试场景感知描述或指令跟随，而通用因果基准仅运行在静态视觉场景上，缺乏具身控制与动态规划约束。面对可见物体与因果相关性混淆的核心困境，现有评测完全无法诊断自动驾驶智能体是否真正理解其动作与外部实体之间的因果逻辑。

本文的切入视角是严格引入珀尔因果层次（Pearl's Causal Hierarchy, PCH）理论，将现实世界场景形式化构建为具备三元因果状态（活跃、休眠、干扰）的因果场景图，并在因果图上执行可控干预以生成高保真问答与反事实物理轨迹。核心 idea：将自动驾驶因果推理严格拆解为因果场景图的三元实体状态划分（活跃、休眠、干扰），全面覆盖珀尔因果层次全部四层（因果发现 R0、关联 R1、干预 R2、反事实 R3），并通过语言级结构化问答与动作级反事实参考轨迹的双通道验证，系统诊断 VLA 模型的因果推理机制及其与规划轨迹的耦合程度。

方法详解¶

整体框架¶

CausalDriveBench 采用一套将因果场景图、结构化因果问答（Causal QA）以及反事实轨迹预测（Counterfactual Trajectory Prediction）深度绑定的双通道评测体系。输入包含当前时刻自车多视角相机采集的时序图像（覆盖 2 秒观测窗口）、鸟瞰图（BEV）高精地图先验、自车运动历史状态与导航控制指令；模型输出包含针对因果查询的结构化文本答案（含思维链推理），并在反事实与干预条件下输出预测规划的未来轨迹。

整个基准的生成与验证流程高度结构化，从原始数据预处理、因果场景图抽取与人工校验、子图模式枚举与聚类多样性采样，到问答对生成与反事实轨迹物理一致性仿真，环环相扣。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像 + BEV地图 + 自车状态序列"] --> B["三元实体因果状态划分<br/>活跃 active / 休眠 dormant / 干扰 distractor"]
    B --> C["因果图模式枚举与子图抽取<br/>Direct / Chain / Confounder / Collider"]
    C --> D["双通道因果评测生成"]
    D --> E["PCH四层因果问答生成<br/>R0发现 / R1关联 / R2干预 / R3反事实"]
    D --> F["反事实参考轨迹合成与动力学约束校验<br/>可行驶区域合规与无碰撞审计 (R2/R3)"]
    E --> G["VLA 模型因果与规划能力综合评测"]
    F --> G

关键设计¶

1. 三元实体因果状态划分：基于干预语义解耦感知显著性与因果相关性

针对驾驶场景中物体“视觉可见但因果无关”的常态，论文基于珀尔干预语义 $\text{do}(X=\text{absent})$ 提出了严格的三元实体因果状态分类器。将场景中的所有视觉可见实体明确切分为活跃（Active）、休眠（Dormant）和干扰（Distractor）三类： - 活跃实体（Active）：若在观测窗口 $(t_0 - \Delta, t_0]$ 内移除实体 $X$ 会直接改变自车在 $t_0$ 时刻的状态（速度、加速度或航向角）： $$\text{active}(e) \iff S(\mathcal{G}_{t_0}) \neq S(\mathcal{G}_{t_0}^{-X})$$ 活跃实体进一步细分为在当前时刻仍然维持约束的持续活跃（sustaining）和仅在窗口早期触发了机动意图的触发活跃（triggering）。 - 休眠实体（Dormant）：当前未直接限制自车，但在自车决策视界 $\delta = 0.5\,\text{s}$ 内，通过该实体自身意图的可实现一步动作转换 $x' \in \mathcal{R}_\delta(X)$ 即可转变为活跃状态： $$\text{dormant}(e) \iff \neg\text{active}(e) \wedge \exists x' \in \mathcal{R}_\delta(X) \text{ s.t. } \text{active}(e \mid X \mapsto x')$$ 论文严格排除了静态无意图物体与机械故障臆想，限定其必须具备运动意愿且无物理阻隔。 - 干扰实体（Distractor）：在因果图上与自车既无活跃边也无休眠边连接的实体（例如隔离栏外停泊的车辆）。此类实体被分配明确的几何排斥理由并用于负样本因果泛化测试。

2. 覆盖珀尔因果全层次的问答体系：构建 16 类结构化因果查询

为了在语言层全面评估模型的因果推断深度，基准将问答任务横跨珀尔因果层次全部四层（R0 因果发现、R1 关联、R2 干预、R3 反事实），结合图拓扑划分为 16 种具体查询类型： - 活跃元素场景：涵盖因果识别（CaI，R0）、因果链归因（CA，R0）、对撞偏置分析（CB，R1）、混杂因子识别（CoI，R2）、后门调整集判定（BAS，R2）、受控直接效应（CDE，R2）、反事实推断（CR，R3）、充分原因判定（SC，R3）、必要原因判定（NC，R3）以及自然直接/间接效应（NDE/NIE，R3）。 - 休眠元素场景：专门设计了视觉判别问答（DQ，R0）、潜伏机制解释（EL，R1，如屏蔽、解耦或混杂共因）以及激活边界界定（AB，R2，识别促使休眠目标激活的临界行为）。 - 干扰元素场景：设置干扰排除（DR，R0）、因果无关性辨识（CI，R1）、零效应干预识别（NI，R2，即验证 $P(Y_{\text{ego}} \mid \text{do}(\text{remove } X)) = P(Y_{\text{ego}})$）与拓展反事实探究（WC，R3，评估改变干扰物属性结构方程下的反事实情境）。

3. 反事实参考轨迹合成与闭环动力学审计：打通语言推理与物理执行的验证闭环

针对 R2 干预与 R3 反事实中答案意味着自车行为发生改变的二值问答对，论文合成了 1,000 条匹配反事实前提的高置信度参考轨迹。轨迹生成管线串联了 LLM 判断器（确定伴随因果干预改变的从属实体）、数值状态突变生成器与工具调用智能体（在可行驶区域网格、航向曲率平滑及动力学约束下求解自车路径点），并在事后施加严格的确定性几何与碰撞审计（过滤掉 177 条潜在越界或碰撞候选轨迹）。这使评测能够对比自车基线轨迹误差（BTE，ADE 指标）与反事实轨迹误差（CTE-R2 与 CTE-R3），从动作空间量化模型是否真正将因果推断落实为合理的避障与机动规划。

4. 混合构建管线与多阶段验证门禁：确保因果图与标签的高信噪比

为了消除大模型在长尾因果关系生成中的固有幻觉，基准采用了五阶段人机协同管线（预处理 $\to$ 结合多视角与 BEV 语义的因果图提取 $\to$ 确定性子图枚举与多样性聚类筛选 $\to$ 规则与 LLM 协同问答生成 $\to$ 轨迹合成与平滑）。针对抽取难度最大的 Stage 1 因果图，引入了 100% 全量独立专家人工校验与编辑门禁（3,189 个场景中有 46% 接受了关系修正，90% 为因果状态降级，杜绝了模型将视觉显著干扰物误标为原因的偏置）。后续对生成的问答实施 5% 分层抽样独立审计，实测标注错误率低至 0.82%（95% Wilson 置信区间 [0.28%, 2.39%]）。

实验关键数据¶

主实验¶

评测涵盖 10 个领域专有自动驾驶 VLA 模型以及 3 个参数量相近（约 8B）的通用视觉-语言基座模型（VLM）。实验在因果问答准确率（VQA Acc）、LLM 评判推理质量得分（0-2 分制，细分为空间定位 Spat.、机制识别 Mech.、条件性意识 Cond.、回答一致性 Cons. 及其综合得分 Comp.）以及轨迹规划位移误差（BTE 基线轨迹误差、CTE-R2 干预轨迹误差、CTE-R3 反事实轨迹误差，单位均为米）上进行了全方位多维对比。

模型类型	模型名称	问答总准确率 (%)	R0 发现 (%)	R1 关联 (%)	R2 干预 (%)	R3 反事实 (%)	推理综合分 (0-2)	条件性意识 (0-2)
通用 VLM	Cosmos-Reason-2	70.56	78.74	68.69	74.45	65.04	1.19	0.70
通用 VLM	Qwen3-VL-8B	66.04	53.38	64.99	82.74	61.39	1.35	0.99
通用 VLM	InternVL-3.5-8B	62.91	54.35	51.74	78.31	64.84	1.19	0.86
驾驶专有 VLA	ImpromptuVLA-7B	69.27	66.43	59.41	85.10	66.93	1.06	0.63
驾驶专有 VLA	OpenREAD	63.76	70.10	48.95	78.89	61.03	1.18	0.83
驾驶专有 VLA	Orion	57.25	25.44	76.03	66.40	52.58	0.19	0.06
驾驶专有 VLA	UniDrive-VLA	54.87	63.69	29.71	68.24	60.08	1.12	0.74
驾驶专有 VLA	RecogDrive	54.25	57.80	38.19	59.20	61.32	1.25	0.75
驾驶专有 VLA	SafeAuto	49.42	51.61	43.16	56.62	47.99	0.50	0.16
驾驶专有 VLA	WiseAD	39.35	22.87	22.20	44.42	57.30	0.71	0.27
驾驶专有 VLA	Alpamayo-1.5-10B	36.86	36.07	21.66	39.87	46.72	0.71	0.38
驾驶专有 VLA	SimLingo	33.95	39.61	25.95	31.42	38.98	0.71	0.30
驾驶专有 VLA	Omnidrive	24.10	6.74	25.89	16.56	37.04	0.65	0.40
参考基线	随机盲猜基线	45.80	25.00	50.00	50.00	50.00	—	—

轨迹误差与反事实规划失效模式分析¶

为探究因果语言理解与下游动作生成的内在关联，下表记录了各模型在常规场景下的基线轨迹平均位移误差（BTE）以及反事实场景下的位移误差（CTE-R2 与 CTE-R3），并剖析了模型应对因果变动时的规划退化状态。

模型名称	BTE 平均误差 (m)	CTE-R2 误差 (m)	CTE-R3 误差 (m)	CTE-R2 / BTE 比值	规划失效模式类型归属
UniDrive-VLA	0.68	2.90	1.96	4.26	模式 B（剧烈摆动失控）
RecogDrive	1.19	4.30	1.97	3.61	模式 A/B（冻结与剧烈摆动混杂）
ImpromptuVLA-7B	1.27	5.69	2.97	4.48	模式 B（剧烈摆动失控）
Alpamayo-1.5-10B	1.31	2.70	1.70	2.06	模式 B+C（摆动与刹停混杂）
Cosmos-Reason-2	1.79	3.46	4.91	1.93	模式 B（反事实变动反应过激）
WiseAD	2.91	1.97	1.57	0.68	模式 C（唯一有效合理减速适应）
Qwen3-VL-8B	3.68	5.76	3.58	1.57	模式 B（摆动偏移）
OpenREAD	3.97	4.34	4.61	1.09	模式 A（冻结盲从基线，42.9% 重合）
SimLingo	4.65	5.07	2.12	1.09	模式 A+C（80.4% 与基线完全重合）
Omnidrive	5.39	4.51	2.48	0.84	模式 C（退化为短距制动）
SafeAuto	5.43	4.53	3.35	0.83	模式 C（退化为短距制动）
InternVL-3.5-8B	7.71	4.81	4.18	0.62	模式 C（退化为短距制动）
Orion	8.10	7.88	4.73	0.97	模式 A（完全冻结，98.7% 与基线重合）

关键发现¶

因果推理极其脆弱且条件意识全线溃败：最高分模型（Cosmos-Reason-2）仅录得 70.56% 的准确率，仅比随机猜测基准（45.8%）高出 24.8 个百分点；评测的 13 个模型中有 4 个准确率甚至跌破 40%（显著劣于随机盲猜）。在 LLM 评判细分维度中，所有 13 个模型的“条件性意识（Conditionality awareness）”得分均为全维度最低（全模型均值仅 0.54，而回答一致性均值为 1.16）。例如在 R1 的对撞偏置（Collider Bias, CB）问题中，常规表现优秀的模型在控制对撞变量时产生严重幻觉，暴露出模型未能掌握真正的条件因果切断机制。
专有微调对因果推理产生严重负迁移：通用基础 VLM 在因果问答上的平均准确率比驾驶专有 VLA 高出整整 18 个百分点。在控制语言基座相同（如对比 Qwen3-VL-8B 与微调后的 OpenREAD、UniDrive-VLA）的严格实验中，后训练导致的性能损失最高可达 33.7 个百分点。其关键诱因在于端到端强化微调（RFT）的奖励函数设计——若将推理过程与既有分布内轨迹强行联合奖励，会导致模型过度过拟合于视觉显著物；反之，若对因果推理本身实施独立解耦的奖励建模，能有效抑制因果退化。
语言因果推理与底层运动规划完全解耦：模型在常规轨迹误差（BTE）上的表现与因果问答准确率几乎不具备相关性（皮尔逊相关系数 $r = -0.1$）。UniDrive-VLA 的 BTE 极小（0.68 米，榜单第一），但其因果问答仅排名第七；而在反事实提示下，绝大部分模型的规划轨迹要么陷入模式 A 冻结失效（完全无视反事实指令，直接复用原轨迹），要么陷入模式 B 剧烈过激摆动（偏离误差陡增 3-4 倍），彻底证实了其生成的 CoT 推理在控制层面上仅仅是“装饰性语言”（ornamental reasoning），并未进入实际决策控制闭环。

亮点与洞察¶

从几何拟合走向因果拓扑审计：成功将经济学与统计学中的珀尔因果层次引入具身驾驶场景，创立了一套严格的活跃/休眠/干扰实体三元划分定义，打破了以往自动驾驶评测中“把高概率统计关联当因果解释”的伪命题。
反事实参考轨迹的闭环动力学合成：在真实采集历史无法重来的物理约束下，设计了结合 LLM 智能体突变与平滑动力学规划器、并经过确定性碰撞与可行驶边界严格剔除的合成方案，为具身智能提供了高质量的 Counterfactual Ground Truth。
直击装饰性思维链（Ornamental CoT）痛点：通过注意力掩码探针与反事实行为对比，直接证明了现有自动驾驶 VLA 模型中“语言讲一套、底盘跑一套”的双轨脱节顽疾，为后续研究将离散语言隐空间强制对齐到底层运动规划原语指明了关键改进方向。

局限与展望¶

地理与传感器场景多样性受限：当前基准完全依托于 nuScenes 构建，数据分布主要受限于波士顿与新加坡的城市道路工况以及 2 Hz 的关键帧采样率，对于高速公路及复杂乡村场景覆盖仍显不足；作者计划未来将此生成管线无缝拓展至 Argoverse 2 与 OpenScenes。
反事实轨迹依赖合成规划器代理：受限于物理世界数据的单向不可逆性，反事实轨迹并非真实人类驾驶员应对突发情况的真实重演，而是由严格动力学及防碰撞规则审计的参考轨迹，可能缺少人类在极端博弈场景下的交互微操。
闭环仿真对抗评测尚待打通：基准目前主要基于离线回放与静态干预，尚未将因果判定模型置于 CARLA 或 NavSim 等闭环模拟器中进行连续时序交互扰动测试。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将完整的珀尔因果层次引入自动驾驶 VLA 评测，提出三元因果状态划分与反事实轨迹评测体系，极具原创性与范式启发性。
实验充分度: ⭐⭐⭐⭐⭐ 评测了 13 个主流 VLA/VLM 模型，跨越 7,285 个 QA 与 1,000 条轨迹，包含了详尽的 LLM-judge、消融分析、注意力和反事实失效模式分类。
写作质量: ⭐⭐⭐⭐⭐ 数学形式化表达严谨清晰，定义自洽，附录提供的决策树与分析极为详实。
价值: ⭐⭐⭐⭐⭐ 敏锐揭示了当前具身智能与端到端驾驶中语言推理与动力学规划解耦的致命安全缺陷，对未来的多模态端到端自动驾驶架构设计具有重大的指导价值。