跳转至

DriveVA: Video Action Models are Zero-Shot Drivers

会议: ECCV 2026
arXiv: 2604.04198
论文: ECCV 原文
领域: 自动驾驶
关键词: 视频动作模型、联合生成、条件流匹配、视频续写、零样本迁移

一句话总结

DriveVA 把未来视频潜变量和自车轨迹作为同一个条件流匹配模型的联合生成目标,以稠密视频监督帮助轨迹学习,并通过历史视频续写组织滚动规划;NAVSIM 主表达到 90.9 PDMS,NAVSIM 训练后的跨数据集测试在 nuScenes 得到 0.84 米平均 L2 误差,但这些结果并不等于验证了真实道路闭环安全性。

研究背景与动机

一个规划器输出“左转”,一个视频模型想象车辆继续直行,即使各自输出看起来合理,二者也没有描述同一个未来。已有驾驶世界模型利用未来预测辅助决策,但视频生成和轨迹生成若是级联或松散连接,规划分支可能没有充分利用视觉预测中的动态结构。数据域变化后,这种不一致尤其值得关注:在原数据集学到的行为模式、镜头外观和车辆状态对应关系,不一定能直接迁移到新的传感器与道路场景。

大规模视频生成模型提供了不同于静态图文预训练的起点:它已经为连续画面、运动和外观变化学习了生成先验,却没有自然具备输出驾驶轨迹的接口。DriveVA 不是另接一个“看完生成视频再预测动作”的独立逆动力学模型,而是把动作也转成 token,放进同一次未来生成过程。视频目标为每段驾驶提供比少量轨迹点更密集的训练信号,动作目标则把可视未来与可执行的自车运动联系起来。

表 5 对这条动机给出直接但有限的支持:保留其余两项设置时,取消视频监督将 PDMS 从 90.9 降至 71.4;这说明本配方中视频学习确实重要,却不能仅凭该差值证明视频与轨迹永远一致,或把所有跨域收益归因于一个注意力机制。核心 idea:让预测的画面和轨迹在共享的潜空间生成过程中共同形成,再用不断更新的历史观测继续预测,而不是把视频只当成规划器的旁路可视化。

方法详解

整体框架

模型接收历史前视视频、当前自车速度分量和可选语言/高层指令,输出未来视频片段以及由位置与航向角构成的轨迹。历史视频由 Wan2.2-TI2V-5B 的因果视频 VAE 编码,自车状态由 MLP 转成 token;二者作为不加噪的条件块。语言由冻结文本编码器处理,通过交叉注意力进入 DiT,不直接拼进视觉与动作序列。

未来视频潜变量和未来动作 token 则组成需要生成的目标块。训练时对这个目标块加噪并学习恢复方向,推理时由高斯噪声开始积分生成;同一个 DiT 同时处理视觉与动作目标,而非先完成视频再运行另一个动作模型。生成结果分别还原为可观察的视频和轨迹,随后按滚动时域设置获取新观测、更新历史,再做下一轮短片段续写。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史视频与自车状态"] --> B["视频先验适配<br/>VAE与状态编码"]
    B --> C["视频动作联合生成<br/>固定条件与带噪目标"]
    T["可选指令<br/>冻结文本编码器"] -->|交叉注意力| C
    C --> D["未来视频与轨迹"]
    D --> E["历史视频续写<br/>获取新观测并滑窗"]
    E -->|下一轮预测| A
    G["训练监督<br/>真实未来视频与轨迹"] -.-> C

图中视频与轨迹是并行输出。重新观测来自执行后的环境,不应把模型生成的视频直接冒充下一轮真实传感器输入;训练用的真实未来只提供目标,不是部署时可见的条件。

关键设计

1. 视频先验适配:把会生成运动的骨干接到驾驶条件与动作空间

DriveVA 选择 Wan2.2-TI2V-5B 作为预训练骨干,利用其视频潜空间和生成网络,而不是从零学习所有视觉动态。因果 VAE 将帧序列压缩到时空潜变量,视觉潜变量展平并投影到模型宽度;当前速度分量通过 MLP 形成状态 token,每个未来动作的二维位置与航向角也通过 MLP 编成一个 token。动作这里指规划轨迹点,不是直接输出方向盘转角、油门或刹车指令。

语言与视觉动作走不同入口。文本编码器保持冻结,输出通过交叉注意力提供指令条件,不随文本长度扩张主要时空 token 序列。文中说明单帧因果编码能构成有效条件,但实际训练进一步使用历史视频;“因果 VAE”不代表完整规划器的所有注意力都必须是时间因果掩码。正文未给出可复现的完整掩码消融,因此不根据旧笔记补造其结构或数值。

全量微调是这套适配的重要部分。表 7 的从头训练、LoRA 和全量微调分别得到 62.9、74.9、90.9 PDMS,表 9 的 14B LoRA 为 80.6。这支持在作者设置下充分适配骨干的价值;没有固定训练算力的对照,不能推广成“任何任务全量微调都比扩大模型更有效”。

2. 视频动作联合生成:把相互关联的未来放进同一个带噪目标块

固定条件块包含历史视觉与当前状态,生成目标块包含未来视觉与动作,两者职责不同:前者始终保留观测信息,后者才需要从噪声中生成。DiT 处理拼接后的条件与目标并预测目标块的速度场,使未来画面与动作在共享生成网络中交互。这比“先生成视频、再让独立模型读视频”少了一道模型间接口,也让视频监督能够影响用于规划的共享表示。

训练时完整视频经 VAE 编码后分为历史与未来,未来真实轨迹也进入干净目标;采样流时间后,仅在目标部分构造噪声插值。推理时未来不可见,用高斯噪声替代目标,再在固定历史和语言条件下生成。训练与推理的条件接口一致,不等于训练没有使用未来监督,也不等于已经排除了递归执行中的分布偏移。

论文的联合建模说法描述的是共享生成机制,不是一个保证物理正确或语义一致的硬约束。图 3 和 DPVO 评测提供一致性证据,但模型仍可能生成“画面与轨迹彼此一致、实际决策却错误”的未来。正文表 5 的无视频监督配置是 71.4 PDMS;旧笔记中的 action-only 47.0 和因果掩码 90.1 在本次可读原文中没有对应依据,因此不沿用。

3. 历史视频续写:用短片段预测和真实历史更新组织滚动规划

一次生成过长未来会增加计算与误差传播。DriveVA 保留一个历史缓冲,每轮预测短视频和动作块,在执行并取得新观测后滑动缓冲,把长期任务组织成重复的短期续写。关键不只是“循环调用网络”,而是训练也采用历史视频作为条件,避免每轮都退回单帧条件、丢失已有运动上下文。

可核验的实现设置是每个样本含 4 帧历史和 8 帧未来,采样频率 2 FPS,图像分辨率为 \(832\times480\)。轨迹时域固定为 \(K=8\)、覆盖 4 秒;未来视频帧数与 VAE 时间压缩后的潜变量步数不同,不能把 8 张图像直接说成 8 个视频潜 token。正文没有给出每轮实际执行多少轨迹点、重规划频率与控制器细节,因此不能用时域长度倒推整段驾驶调用次数。

表 5 去除视频续写时 PDMS 为 84.6,低于完整模型的 90.9,支持历史续写配方有用;这不是对无限时域稳定性的证明。表 6 将未来视频改为 4、8、12 帧时分别得到 82.1、90.9、86.7 PDMS,表明较长不总是更好,但“覆盖不足”和“漂移增加”仍是作者的解释,不是独立排除其他因素后的因果结论。

一个完整示例

考虑一段带左转高层指令的道路片段,以下是依据模型接口构造的解释示例,不是论文额外报告的测试案例。

  1. 收集训练设置所对应的 4 帧历史前视图像和当前横纵速度。视频 VAE 提取历史潜变量,状态 MLP 产生状态 token;指令由冻结文本编码器处理。
  2. 为未来 8 帧视频及 \(K=8\) 个轨迹点准备生成目标。轨迹点包含位置与航向角,视频先在压缩潜空间中表示,两类 token 数量不必相同。
  3. 推理时目标从高斯噪声开始,使用 2 次流匹配采样步骤共同更新。历史条件不加噪,文本经交叉注意力提供左转条件。
  4. 还原未来画面与轨迹,检查二者是否都表达转弯。真正执行后接收新观测并更新历史,下一轮重新预测,而不是盲信整段已生成未来。

该示例不假定采样器一定在 \(s=0.5\) 做一次固定积分,也不声称推理耗时为 0.1 秒:正文只说明 2 步采样,没有提供上述时间点、端到端延迟或执行频率。

损失函数 / 训练策略

文中可读文字给出标准线性流路径:\(Y_s=(1-s)\epsilon+sY_0\),其中 \(Y_0\) 是视频与动作组成的干净目标,\(\epsilon\) 为高斯噪声;目标速度是 \(Y_0-\epsilon\)。其回归目标可概括为:

\[ \mathcal{L}_{\mathrm{FM}}=\mathbb{E}\left[\left\|v_\theta(Y_s,s\mid C,T)-(Y_0-\epsilon)\right\|_2^2\right]. \]

这里 \(C\) 表示固定历史与状态条件,\(T\) 表示文本条件。该式依据第 3、4.4 节可读叙述整理,避免逐字符猜补抽取损坏的式号排版。第 5.2 节另称训练联合未来帧流匹配损失与轨迹预测损失,但未在当前缓存清楚列出后者形式及二者权重,不能把一个简写公式冒充全部训练实现。

训练采用 NVIDIA H20、AdamW、学习率 \(10^{-4}\)、权重衰减 0.01 与分布式 bf16。先以 batch size 80 训练 20k 步,再通过梯度累积达到有效 batch size 640 训练 10k 步;前 1k 步从基础学习率的 \(10^{-3}\) 倍线性 warmup,之后保持恒定。本文不补造 GPU 数量或训练总时长。

完整 NAVSIM 最佳消融行包含 CARLA 混合训练,取消混合时为 90.5 PDMS。另一方面,跨域表 2 明确声明只在 NAVSIM 训练、目标域不微调;解读时必须区分这两套训练口径,不能将含 CARLA 训练的最佳配置直接称为“从未见过 CARLA 的零样本模型”。

实验关键数据

主实验

选取原文表 1 和表 2 的代表结果。NAVSIM 使用 PDM 评分:NC 为无碰撞,DAC 为可行驶区域遵守,TTC 为碰撞时间相关安全项,EP 为自车进度,Comfort 为舒适度。归一化后,PDMS 将 NC 与 DAC 相乘,再乘以 EP、TTC、Comfort 按 5、5、2 加权的均值;表中按百分制展示,不能把 99.2 直接代入归一化公式。

协议与方法 PDMS ↑ NC ↑ TTC ↑ 平均 L2 / 米 ↓ 平均碰撞率 / % ↓
NAVSIM:DiffusionDrive,图像与激光雷达 88.1 98.2 94.7 — —
NAVSIM:WoTE,图像与激光雷达 88.3 98.5 94.9 — —
NAVSIM:PWM,图像 88.1 98.6 95.4 — —
NAVSIM:DriveVA,前视图像 90.9 99.2 98.7 — —
nuScenes 零样本:DriveVLA-W0 — — — 1.43 0.77
nuScenes 零样本:PWM — — — 3.99 0.36
nuScenes 零样本:DriveVA — — — 0.84 0.06
Bench2Drive 零样本:DriveVLA-W0 — — — 3.00 2.52
Bench2Drive 零样本:PWM — — — 2.80 3.76
Bench2Drive 零样本:DriveVA — — — 1.33 1.79

跨域表中的 Avg. 汇总 1、2、3 秒预测时域,不是单独的 4 秒闭环结果。nuScenes 验证使用 150 个场景;表 2 的三种方法均标明无目标域微调。与 PWM 相比,nuScenes 平均 L2 相对下降 78.9%、碰撞率相对下降 83.3%,不是绝对百分点,也不能将碰撞率 0.06% 读作零碰撞保证。

Bench2Drive 的平均 L2 从 2.80 到 1.33 对应约 52.5% 相对下降。碰撞率按表内四舍五入值 3.76 到 1.79 计算约为 52.4%,原文摘要也使用该值;不同数据集的碰撞统计不能只按数值大小当作完全等价的难度对照。

消融实验

下表对应原文表 5,三项开关之外沿用该表配置。含视频监督、CARLA 混合训练与视频续写的完整行得到 90.9 PDMS,而非声称所有“仅 NAVSIM”配置都得到同一分数。

视频监督 CARLA 混合 视频续写 NC ↑ DAC ↑ TTC ↑ Comfort ↑ EP ↑ PDMS ↑
否 是 是 95.0 89.0 93.9 86.6 59.7 71.4
是 否 是 99.0 97.3 98.4 100 83.2 90.5
是 是 否 94.9 95.6 94.2 100 76.9 84.6
是 是 是 99.2 97.5 98.7 100 83.5 90.9

取消视频监督损失 19.5 个 PDMS 点,同时影响进度与安全/舒适项,不能解读为只提升视频观感。续写贡献为 6.3 点,CARLA 混合为 0.4 点;这些是该表配方下的删除比较,没有随机种子方差,不能把差值当成普适常量或直接相加预测新配置。

关键发现

  • 一致性是可评估的对象,而非口头保证。 表 4 用 DPVO 从真实/生成视频重建相机运动,经二维相似变换对齐后计算未来 4 秒平均 L2。NAVSIM 的真实轨迹/真实视频重建为 0.09,预测轨迹/生成视频重建为 0.16;nuScenes 分别为 0.07、0.14。该检验依赖参考轨迹与对齐,不是“完全不需要参考的可信度证明”。
  • 少步数不等于延迟已验证。 表 8 的 1、2、3 步分别为 13.2、90.9、90.9 PDMS。它支持 2 步在该实验中足够,不支持旧笔记中“噪声起点已接近数据分布”的解释;采样起点仍是高斯噪声。
  • 容量与适配要分开看。 表 9 的 5B LoRA、14B LoRA、5B 全量微调为 74.9、80.6、90.9 PDMS,说明此处增加容量没有弥补轻量适配差距,不代表进行了等算力规模定律研究。
  • 视频长度需要与动作时域协调。 表 6 固定 \(K=8\)、4 秒动作时域时,8 帧视频优于 4 帧和 12 帧;这是对该采样率与训练设置的观察,不是一般视频生成最优长度。

亮点与洞察

  • 稠密生成目标可以改变规划学习的可用信息,而不仅增加输出种类。视频监督消融提供了具体证据,但下一步应在固定算力下比较其他稠密目标,判断收益来自何种时空约束。
  • 将条件块和目标块明确分开,有助于避免把训练的真实未来误写为部署条件。多模态联合生成的价值在共享计算过程中建立联系,而不是只用概率分解式声称完成了对齐。
  • 外部里程计让“生成视频是否支持这条轨迹”成为可检查问题。不过相似变换对齐会消除部分尺度和坐标差异,低误差并不同时证明绝对尺度、他车行为或整个场景物理正确。

局限与展望

  • 当前只用前视摄像头,观察范围有限。单目视频生成不能自然消除遮挡或补足未观测交通参与者,真实驾驶仍需要完整感知与控制安全评估。
  • 联合生成鼓励相容,但缺少一致性的硬保证。视频和轨迹可能共同犯错,DPVO 对齐误差小也不能代替决策正确性与反事实互动评估。
  • Bench2Drive 虽然是闭环基准,本文所列跨域主表仍是分时域 L2 与碰撞统计;当前缓存没有完整闭环路线成功率、驾驶分数或控制频率,不能据此宣称已完成真实道路闭环验证。
  • 第 5.2 节明确采用 4 帧历史、2 FPS;可读缓存仅含主文与参考文献,缺少引用的补充材料 S4。因此无法核实完整控制器设置、端到端延迟、额外注意力掩码消融及更细致的一致性分析,不将缺失细节补写为确定实现。
  • 预训练数据覆盖、模型不确定性、异常场景下的失效边界和训练成本尚需更细致报告;“零样本”只表示没有目标域微调,不表示无需驾驶数据训练。

相关工作与启发

  • vs PWM / Epona / DriveVLA-W0:本文强调视频与动作在同一生成网络内共同形成,跨域表提供相同 NAVSIM 训练声明下的比较;不应把所有被引方法都简化成同一种级联架构。
  • vs 视觉语言动作模型:视频先验侧重时间演化而非仅静态语义,但这不证明图文模型完全没有动态知识。公平比较仍需控制训练数据、参数与算力。
  • vs LAW / World4Drive 等潜空间世界模型:DriveVA 显式生成视频,便于检查视觉与轨迹的一致性,同时付出视频生成成本。没有端到端延迟对照,不能直接断定哪类系统更适合实时部署。
  • 研究启发:把相同规划骨干分别配视频、深度或光流目标,并在等预算下比较跨域轨迹与校准误差,可进一步检验稠密时空监督的作用;这是阅读建议,不是论文已完成实验。

评分

  • 新颖性: ⭐⭐⭐⭐ 将视频-动作联合生成引入自动驾驶世界模型的核心思路新颖且有洞察;但流匹配和 DiT 架构本身是已有技术,核心贡献在"组合与适配"层面而非基础方法创新。
  • 实验充分度: ⭐⭐⭐⭐⭐ 主文覆盖 NAVSIM 规划、nuScenes/Bench2Drive 零样本迁移,以及视频监督、续写、CARLA 混合、采样步数、预测帧数、训练策略和模型规模消融,并用 DPVO 检查一致性;补充材料缺失、完整闭环与延迟证据仍有限。
  • 写作质量: ⭐⭐⭐⭐⭐ 问题动机和联合条件/目标接口较清楚,主表与消融便于追踪结论;轨迹损失的具体形式、混合训练与零样本配置的对应仍需更完整说明。
  • 价值: ⭐⭐⭐⭐⭐ 视频监督的 19.5 点 PDMS 差值和跨域结果为视频动作联合学习提供了有价值的证据;2 步采样是效率线索,但尚不能据此认定已满足实时部署要求。