CausalDrive: Real-time Causal World Models for Autonomous Driving¶

会议: ECCV 2026
论文: https://eccv.ecva.net/virtual/2026/poster/3753
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/2940.pdf
领域: 自动驾驶
关键词: 世界模型、驾驶交互语义、因果自回归、上下文强制蒸馏、策略后训练

一句话总结¶

CausalDrive 仅以初始前视图、自车轨迹和全局交互提示生成可反应的驾驶视频，通过因果自回归教师与上下文强制 DMD 将推理压缩到 1–4 步，在单张 A100 上达到 12.4 FPS，并在 SocioDrive-Bench 的 Polite 条件下取得 82.0% 的让行率，但并未消除所有虚假碰撞。

研究背景与动机¶

驾驶世界模型要成为训练环境，必须回答“当自车偏离记录轨迹时，周围车辆会怎样反应”，而不只是补出一段逼真的视频。MagicDrive、UniScene 等布局条件渲染器预先接收周围车辆的未来位置，因而未来是输入，不是模型预测的反应。日志回放也有相似问题：自车改道，其他车仍按旧轨迹行驶，便可能产生不合理的穿透或碰撞。纯动作条件模型虽然不需要未来布局，却未必严格服从自车控制，也难以用语言指定周围交通参与者整体偏礼让还是偏激进。

实时性又使这个问题更难。双向视频扩散模型一次看到整段时序，适合离线生成；交互模拟只能根据已发生的历史逐块预测，不能预知用户下一步动作。简单把教师换成因果学生，既改变了去噪时可用的信息，也没有解决长时滚动生成的误差累积。尤其当教师一直看到真实历史、学生实际运行时看到自己生成的历史时，即使单步蒸馏效果好，也可能逐步偏离训练分布。

本文把训练数据、因果架构和蒸馏上下文一起调整，而不是只减少采样步数。核心 idea：用驾驶交互语义控制反应分布，先让教师与学生共享因果信息边界，再要求教师在学生自身产生的有误差历史上提供蒸馏指导，从而同时改善交互性和少步流式生成。

方法详解¶

整体框架¶

运行时输入是初始前视图、自车轨迹 \(P\) 和交互提示 \(B\)；输出是按时间块生成的前视驾驶视频，不输入其他车辆的未来布局。离线先构建带交互语义的数据，再训练因果自回归教师，最后经因果 ODE 蒸馏初始化与上下文强制 DMD 得到少步学生。生成器可接规划器、视频奖励模块或人的实时控制，但这三类应用并不是额外的视觉生成分支。

下面的图展示训练依赖；真实部署只运行得到的少步学生，不需要让 VLM/LLM 每一步重新标注，也不需要在线调用完整教师。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    DATA["真实驾驶日志<br/>与安全关键仿真片段"] --> SOCIO["交互语义数据"]
    SOCIO --> TEACHER["双条件因果教师"]
    INPUT["初始前视图<br/>自车轨迹与交互提示"] --> TEACHER
    TEACHER --> ODE["因果 ODE 蒸馏"]
    ODE --> DMD["上下文强制 DMD"]
    DMD --> OUTPUT["少步流式学生<br/>视频与下游交互接口"]

关键设计¶

1. 交互语义数据：让训练条件表达谁对谁作出反应

SocioDrive-Bench 包含 20K 视频片段，其中 80% 来自 nuPlan 真实日志，20% 来自 CARLA，以补充专家驾驶数据稀缺的危险和碰撞事件。它不是只标注“有车”“有路口”，而是区分自车主动施压、自车防御性反应、复杂协商三类交互。例如，自车切入且后车位于 15 m 内，随后后车减速度超过指定阈值或碰撞时间骤降，才形成“自车切入导致后车制动”的交互标签。这里是基于运动学触发与时序关联挖掘监督信号，不应等同于通过随机干预识别了真实因果关系。

标注分两层。VLM 在按 2 Hz 采样的 4 秒左、前、右多视角片段中输出结构化 JSON，并分开描述道路结构与行人等弱势交通参与者，避免把行人的非刚性运动混同于车辆。LLM 再汇总连续片段，形成自车行为叙事、关键交互摘要和可查询的关键事件列表。前者平滑局部描述的时间断裂，中者成为交互提示，后者支持检索危险场景用于训练课程。多视角是标注阶段的信息来源，并不意味着世界模型部署时已经支持环视输出。

2. 双条件因果教师：分别控制自车几何与周围交通的行为先验

基础网络由 Wan2.1-1.3B 视频模型初始化。它把潜在视频分成时间块：同一块内双向注意以保持局部时空一致性，块与块之间只能访问过去，历史通过 KV 缓存复用。这样生成当前块时既能联合组织其中的画面，又不会使用尚未发生的未来块。论文称其为 \(O(1)\) 流式复杂度，但缓存没有交代无限增长历史的截断策略，因此不能进一步推断无限时域总显存恒定。

自车轨迹先转为相机位姿的 Plücker 表示，再由 MLP 得到几何调制参数，通过 AdaLN 注入 DiT；交互描述则由预训练文本编码器转成嵌入，经交叉注意力影响周围参与者的反应。两路条件的分工很关键：几何通道要让转向和位移真正表现为视角变化，语义通道要在这个运动约束下改变其他车辆如何回应。Polite 是全局提高礼让概率的先验，不是能够逐车指定动作的硬脚本；AdaLN 也不是严格的物理约束求解器，其控制精度仍需实验验证。

教师采用连续流匹配，训练当前块时只读取干净的真实历史。缓存清楚保留了数据到噪声的线性插值路径：

\[ \psi_t(z_0)=t z_1+(1-t)z_0,\qquad t\in[0,1]. \]

其中 \(z_0\) 是真实潜在视频块，\(z_1\) 是高斯噪声，网络学习该路径的速度场，生成时从噪声端积分回数据端。因果 teacher forcing 解决的是教师与学生可见信息的结构对齐，并没有单独消除真实历史与生成历史的分布差距；后一问题由第四项设计处理。

3. 因果 ODE 蒸馏：先给少步学生一个信息条件一致的目标

如果双向教师去噪时能看到未来块，而因果学生不能，同一份当前噪声在学生可见条件下就可能对应教师利用不同未来信息得到的多个目标。论文把由此产生的模糊归因于概率流 ODE 的单射性条件被破坏。它的处理不是直接蒸馏原始双向模型，而是先从已经训练好的因果教师采样噪声到数据的 ODE 轨迹。

学生在真实历史与截至当前块的控制信号下，从轨迹中的中间噪声状态回归对应干净目标。这样教师生成目标时依赖的信息不会超出学生能够访问的范围。这个阶段可理解为少步流映射的初始化：先学会在正确上下文上生成清晰视频，再处理学生滚动历史中的偏差。论文用约 50 步说明完整教师的延迟负担，但缓存没有给出所有实验的逐项求解器配置，不能把该例子写成每个基线都固定使用 50 步。

4. 上下文强制 DMD：教师必须面对学生实际留下的历史

标准分布匹配蒸馏若用真实历史估计教师分数，却让学生在自己生成的历史上继续滚动，两者比较的其实是不同条件分布。CausalDrive 先让学生自回放 \(N\) 个块，形成带有自身误差的上下文，再强制冻结的因果教师在这份相同上下文上计算 real score；fake score 网络也以该上下文为条件。蒸馏梯度因此针对“在这个已经有偏差的历史之后，下一块应该怎样生成”，而不是假定历史从未出错。

这种 Self-Corrective Forcing（SCF）不是用教师替换过去所有错误帧，也不是保证任何严重几何错误都能逆转。它让训练覆盖更接近部署的历史分布，减少继续放大偏差的倾向。默认自回放长度为 \(N=4\)，不要把这与 1–4 次去噪函数评估混为一谈：前者是训练时生成多少历史块，后者是推理时生成当前块需要多少步。论文还在 fake score 网络上附加对抗判别器，以保留车道线等高频纹理，但没有独立给出该判别器的消融结果。

一个完整示例¶

以论文图示的路口缓慢探入为例：固定同一初始画面和同一自车轨迹，只改变交互提示。几何通道仍让自车按同一轨迹前进；Polite 提示提高对向车辆让行的概率，激进提示则允许其继续抢行。这说明希望控制的是“相同自车动作下的不同环境反应”，而不是把所有车辆未来坐标当输入。该例是机制说明，缓存未给出这两个提示之间逐实例配对的定量差值。

生成首个时间块后，规划器读取生成画面并输出下一段自车轨迹，学生利用历史 KV 缓存继续生成。用于 RL 时，Video2Reward（V2R）把生成片段映射到标量反馈；缓存明确给出的奖励形式是：

\[ r_k=R_\psi(x_{k+1})=w_1r_{\mathrm{col}}+w_2r_{\mathrm{lane}}. \]

两项分别与碰撞和车道有关，但具体定义、符号约定、权重和 V2R 监督细节未在当前缓存交代。因而只能说明接口如何闭环，不能据此复现完整 RL 算法或宣称奖励已经校准到真实事故风险。人的键盘或方向盘控制可以替换规划器输入，不改变生成器的条件结构。

损失函数 / 训练策略¶

数据课程先使用 OpenDV 的 1,700 小时前视视频学习视觉先验，再用经过标注的 nuPlan 与 SocioDrive-Bench 学习交互，并借助 Bench2Drive 生成的危险场景覆盖非专家自车轨迹。Stage 0 使用 8 张 NVIDIA H20、总 batch size 4、AdamW 和恒定学习率 \(1\times10^{-5}\)。这些是该阶段的设置，不能当成全部蒸馏阶段或 RL 阶段的配置。

训练顺序是基础适配、真实历史条件下的因果流匹配教师、因果 ODE 轨迹回归、带学生自回放的 DMD 与对抗纹理约束。当前缓存中的式 (1)、(3)–(6) 存在明显抽取缺损，因此这里不补写完整流匹配损失、AdaLN 更新式或 DMD 梯度；以上仅保留可辨认的插值与奖励公式，并用文字解释其余机制。Stage 1/2 的完整超参数被论文放到补充材料，而当前缓存不含该部分。

实验关键数据¶

主实验¶

表 1 节选原论文 nuPlan 可靠性比较，仅保留可清晰辨认的 FVD 与速度。FVD 越低越好，FPS 越高越好；12.4 FPS 明确是在单张 A100 上测得，其他方法速度带近似号，缓存未交代足够的跨方法统一硬件与分辨率细节。

方法	FVD	FPS
Vista	323.37	约 0.3
GEM	291.84	约 0.5
Orbis*	196.21	约 1.2
CausalDrive+	113.6	约 0.5
CausalDrive	121.6	12.4

原表的 * 与 + 配置含义未在缓存清楚解释，因此不把 CausalDrive+ 擅自标成确定的某个教师设置。CausalDrive 相较该行速度提高，而 FVD 从 113.6 变为 121.6，说明加速不是在所有视觉指标上无代价。

反应性实验使用激进自车动作，YCR 表示生成邻车正确减速让行的频率。原表 2 中，Log-Replay、Vista、CausalDrive（Polite）的 YCR 分别为 0.0%、12.5%、82.0%，对应 FCR 为 100.0%、87.5%、18.0%。FCR 是论文所称虚假碰撞率，缓存未提供事件判定的完整规则；这三行相加恰为 100%，不能据此推导一般情况下 FCR 必定等于 \(1-\mathrm{YCR}\)。82.0% 是指定提示与测试场景下的结果，不是普遍交通让行概率。

消融实验¶

表 2 摘自原表 3；均在 SocioDrive-Bench 的 Polite 条件下评估。\(N\) 表示学生自回放块数。

配置	FVD	YCR
完整模型	121.6	82.0%
去除交互提示	128.4	45.2%
去除因果自回归教师	157.3	38.6%
去除 SCF，使用标准 DMD	142.1	72.5%
仅 1 类交互	133.7	58.3%
使用 2 类交互	126.2	73.1%
N=1，无自回放	139.8	68.4%
N=2	128.5	77.1%
N=4，默认	121.6	82.0%
N=8	120.9	82.3%

去除因果教师使 YCR 下降 43.4 个百分点，是所列单组件删除中影响最大的；去提示下降 36.8 个百分点，去 SCF 下降 9.5 个百分点。\(N=4\) 增到 \(N=8\) 只增加 0.3 个百分点 YCR，FVD 改善 0.7；论文报告训练代价更高，但未给出对应 GPU 小时。完整模型使用全部 3 类交互，类别数量消融也提示训练分布覆盖的重要性。

关键发现¶

表 3 摘自原表 5，展示 Navsim 上的策略后训练结果。NC 为非碰撞指标，TTC 为碰撞时间相关安全指标，Comfort 为舒适度，PDMS 为规划综合分数，均越高越好；表中 TTC 是评测分数，不是秒数。

策略	NC	TTC	Comfort	PDMS
UniAD	97.8	92.9	100	83.4
DriveDPO	98.5	94.8	99.9	90.0
DiffusionDrive	98.2	94.7	100	88.1
DiffusionDrive-v2	98.4	94.6	100	90.3
RL in CausalDrive	98.7	94.7	100	90.7

相对 DiffusionDrive，RL in CausalDrive 的 PDMS 增加 2.6 分，但 TTC 与 Comfort 持平。原文声称“最高 TTC”，实际 DriveDPO 的 94.8 高于本文 94.7，不能沿用该描述；Comfort=100 也不是本文独有。原表 4 的 ADS 标注为越低越好，却把更大的本文数值加粗，且指标定义不足，因此本笔记不据该表断言所有闭环指标均领先。

亮点与洞察¶

架构对齐与上下文对齐是两个不同问题。先让教师和学生都不看未来，再让它们在同一份生成历史上比较分布，能解释为什么仅换注意力掩码或仅减少采样步数不够。
交互提示控制反应分布而不是逐车未来轨迹。它给同一动作构造多种可能后果提供了入口，同时避免把已知答案作为渲染条件，但其因果真实性仍需独立验证。
学生自己制造的历史偏差可以成为训练条件。这一思路可迁移到长视频预测或机器人视觉模拟，但需要额外检查教师在严重偏离真实数据的上下文中是否仍可靠。

局限与展望¶

作者明确把多相机环视扩展列为未来工作。当前前视单目生成不能替代完整车载传感器仿真，也没有证明遮挡后的跨视角一致性。
“因果”主要落实为时间依赖限制、无未来布局输入和条件反应生成。语义提示不是因果识别证据，Polite 条件也可能使环境过度礼让，从而高估策略安全性。
当前证据支持缓解虚假碰撞，不支持“零碰撞”或“完全消除 ghost effect”。无限时域稳定性、极端长尾场景、不同提示下的反应校准与置信区间仍缺少充分量化。
12.4 FPS 是吞吐率，不等于包含规划、缓存更新和解码的动作到画面延迟。论文另有低于 100 ms 的延迟表述，但当前缓存没有对应测量设置；也不能据此推断车规芯片可实时运行。
公式抽取缺损、补充材料缺失，以及 ADE/FDE 与表中 ADE/Frechet precision/recall 命名不一致，限制了复现。这里不把表中 0.x 的 precision/recall 数字误写成米制位移误差。
V2R 的训练、奖励权重和完整 RL 算法未充分展开；Navsim 分数提升也不等于实车道路验证。后续应增加独立奖励审计、非礼让场景评测与真实交互对照，避免策略利用模拟器缺陷。

评分¶

新颖性：4/5。把驾驶交互语义、因果教师与上下文强制蒸馏组合成可交互系统，但基础蒸馏思想有明确前作。
实验充分度：3/5。有速度、反应性、组件消融和策略后训练，仍缺完整复现设置、误差统计与实车证据。
写作质量：3/5。问题链条清楚，但指标命名、表格方向与部分领先声明不一致；公式缺损还受到当前缓存抽取质量影响。
价值：4/5。对驾驶生成环境的实时化与长时稳定训练有参考意义，尚不能作为已验证安全的通用模拟器。