Less Language, More Latents: Annotation-Efficient VLAs for Driving¶

会议: NeurIPS 2026
arXiv: 2609.27747
领域: 多模态VLM
关键词: 自动驾驶, 视觉语言动作模型 (VLA), 隐式动作模型 (LAM), 向量量化 (VQ), 弱监督对齐

一句话总结¶

针对自动驾驶视觉语言动作模型（VLA）极端依赖昂贵且稀缺的自然语言标注问题，LADA提出三阶段解耦流水线，仅用约5%的高级导航指令与反事实标注，即可在闭环驾驶评测Bench2Drive上以87.98驾驶得分超越全量语言监督基线。

研究背景与动机¶

端到端自动驾驶系统近年来正迅速向视觉语言动作模型（VLA）演化，这类模型不仅能直接输出轨迹控制车辆，还具备理解自然语言指令、甚至生成推理链条的能力。然而，现存主流自动驾驶VLA在训练时极度依赖昂贵的人工语言标注——每个时间步都需要配对高级导航指令（HLC）、反事实轨迹指令（CF）、思维链推理（CoT）以及视觉问答（VQA）等多模态标注流。在真实或大规模仿真采集中，传感器视频与专家运动轨迹等低级控制数据极易海量记录，但高质量自然语言指令的标注代价高昂，形成了阻碍VLA规模化扩展的关键瓶颈。

机器人领域常采用隐式动作模型（LAM）从未标注视频中通过逆/正向动力学学习隐式动作表征，以缓解低级动作标签的稀缺。但在自动驾驶场景中，痛点恰恰相反：海量的连续位姿轨迹天然存在，缺失的正是对动作的高级语义抽象。如果直接利用稀缺的少量语言标注训练逆动力学分类器来做伪标签传播，由于样本极少，分类器极易过拟合且严重泛化不足；而若完全放弃未标注轨迹，又浪费了95%以上的专家驾驶示范数据。

面对这种「低级轨迹极充沛、语言指令极稀缺」的核心矛盾，本文的切入角度是将语言条件化轨迹生成的复合难题解耦为语义接地与动作执行两个子任务。核心 idea：利用海量未标注「图像-轨迹」对训练带向量量化瓶颈的隐式动作模型，提取紧凑的车辆意图离散码本；仅用 5% 的少样本语言指令训练轻量翻译器将语言映射到离散意图，从而在不依赖 CoT/VQA 的情况下实现超越全监督模型的高效闭环驾驶。

方法详解¶

整体框架¶

LADA（Latent Action Driving Annotations）整体采用三阶段解耦流水线设计：第一阶段（Stage I）在全量未标注图像与轨迹数据上自监督训练向量量化隐式动作模型（LAM），构建包含高层车辆意图的离散码本；第二阶段（Stage II）冻结LAM编码器，利用仅占约5%的带标注子集训练视觉-语言翻译器（Translator），将视觉观测与高层导航指令映射到码本索引分布；第三阶段（Stage III）在全量数据集上使用LAM伪标注的离散隐式动作训练驾驶模型（Driving VLA），实现视觉+离散意图到连续轨迹的端到端行为克隆。在推理部署时，系统先由翻译器根据当前路况和语言指令预测离散隐式动作，再由驾驶模型解码出平滑规划轨迹：

\[\tau = \text{VLM}_{\text{driving}}\bigl(o, \text{VLM}_{\text{translator}}(o, l)\bigr)\]

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：前视图像 + 专家路径"] --> B["向量量化隐式动作模型<br/>自监督压缩提取意图码本 (C=25)"]
    B --> C["视觉语言意图翻译器<br/>5% 导航指令与反事实梦境对齐"]
    C --> D["全量离散条件化驾驶模型<br/>100% 无标注数据行为克隆"]
    D --> E["闭环输出：几何路径与速度轨迹"]

关键设计¶

1. 向量量化隐式动作模型：从充沛轨迹中自监督压缩车辆高层意图 为了让模型自主提炼高层次的驾驶决策而非死记单次轨迹的局部抖动，Stage I设计了基于噪声替代向量量化（NSVQ）的编码-量化-解码架构。编码器 \(\psi\) 接收前视RGB图像和20个点的自车局部坐标系路径增量（\(\Delta R_t\)），提取出单一连续动作查询向量 \(d_t \in \mathbb{R}^{1 \times d}\)；量化器将其投影至低维空间并从大小仅为 \(C=25\) 的紧凑码本中检索最近邻离散隐式动作 \(z_t\)；解码器 \(\theta\) 接收图像特征（加入 stop-gradient 防止绕过瓶颈）与量化向量 \(e_{z_t}\)，重构连续轨迹 \(\hat{R}_t\)。通过将码本容量限制在极紧凑的 \(C=25\)，强迫网络丢弃细粒度几何微调，仅保留如「路口左转」、「跟车巡航」、「变道超车」等宏观行为意图。

\[\mathcal{L}_{\text{LAM}} = \mathrm{SmoothL}_{1}(\hat{R}_t, R_t) + \|\tilde{d}_t - \mathrm{sg}[e_{z_t}]\|_2^2\]

同时，为了使无监督学习到的离散聚类中心在语义上更贴合人类导航习惯，Stage I引入微弱的辅助对齐损失 \(\mathcal{L}_{\text{align}}\)：在仅占5%的有标签子集 \(\mathcal{D}_\ell\) 上，通过线性探测头预测对应的粗粒度导航指令（HLC），梯度以直通估计器（STE）回传至编码器，从而在不破坏无监督表示能力的前提下，引导码本空间自然向人类指令概念靠拢。

2. 视觉语言意图翻译器：联合条件建模与反事实动作梦境 在Stage II中，离散动作预测被转化为一个标准的25分类任务。翻译器采用基于InternVL2-1B（InternViT-300M视觉编码器全量微调 + Qwen2-0.5B语言模型LoRA微调）的VLM架构，以视觉观测和语言指令为输入，通过追加的可学习动作查询token \(q_{\text{act}}\) 输出离散码本概率。为了兼顾无指令时的自主巡航与有指令时的精确跟随，模型引入哨兵符号 \(\varnothing\)（"Command: unknown."）将条件生成与边缘分布联合建模，同时对极少数的标注样本在每个minibatch中过采样至30%。

更为关键的是解决跨模态退化问题：由于稀疏标注中单张图像几乎仅对应一条专家路径，模型极易产生忽略语言输入、仅凭图像捷径预测动作的病态过拟合。翻译器创新性地引入「反事实动作梦境」（Action Dreaming）机制——在50%的训练概率下，将当前帧的真实指令替换为仿真器生成的物理可行反事实指令（如本车在直行车道，但梦境给出「右变道」指令及专家若执行该指令对应的反事实轨迹 \(\tau'_{i,k}\)），并将反事实轨迹输入冻结的Stage I编码器生成对应的反事实离散隐式标签 \(z'_{i,k}\)。同一视觉观测被迫对齐多个不同的「指令-离散动作」对，彻底切断视觉作弊捷径，强迫翻译器必须依赖语言线索决定动作。

3. 全量离散条件化驾驶模型：免除在线多模态重对齐负担 传统VLA如SimLingo将高级文本指令直接注入大型语言模型以回归轨迹，模型不仅要在长序列上下文里消化多模态提示词，还必须在动态驾驶的微秒级控制中承担复杂的语义消歧和重对齐计算。Stage III彻底剥离了冗长的CoT链条与VQA问答头，只保留精简的核心轨迹预测通道，提示词简化为标准格式（"<image>\n Current speed: <v> m/s. Command: <z_i>. Predict the waypoints."）。

由于此时所有无标注数据都已通过Stage I编码器自动化打上了离散隐式动作伪标签 \(z_i \in \{0, \dots, 24\}\)，驾驶模型得以利用 100% 的海量专家轨迹数据进行高质量行为克隆训练。该模型通过两个专用查询token非自回归地预测未来空间路径点和时间速度剖面，再输入经典PID控制器转换为油门、刹车和转向。这种解耦让驾驶模型专注于视觉物理可行性与精准控制轨迹生成，无需在闭环控制阶段分心处理复杂的语言解析。

损失函数 / 训练策略¶

整个训练流水线分阶段串行执行： 1. Stage I (LAM): 采用 AdamW 优化器，学习率 \(1\times 10^{-4}\)，无权重衰减，梯度截断阈值 0.5。总训练步数 100k 步。每步包括批大小 128 的未标注样本（计算 \(\mathcal{L}_{\text{LAM}}\)，承诺损失权重 1.0）与批大小 64 的 5% 标注样本（计算权重 \(\lambda=0.1\) 的 \(\mathcal{L}_{\text{align}}\)），并对冷门码本向量执行定期动态重置。 2. Stage II (Translator): 采用 AdamW 优化器，学习率 \(3\times 10^{-5}\)，权重衰减 0.1，配合 OneCycleLR 调度策略（warmup 比例 0.05）。训练 15 个 epoch，有效批大小 96。最小化 25 分类的交叉熵损失 \(\mathcal{L}_{\text{TR}}\)。 3. Stage III (Driving VLA): 继承 SimLingo 基础超参，以 bf16 混合精度在 8 张 NVIDIA A100 GPU 上训练 14 个 epoch，以 Smooth L1 损失同时监督未来速度规划序列 \(w\) 和几何路径点序列 \(p\)。

实验关键数据¶

主实验¶

在闭环端到端自动驾驶基准 Bench2Drive（共包含 220 条测试路线，涵盖并道、超车、紧急避险等多种高难度综合能力测试）上，对比不同语言监督预算下的闭环驾驶性能：

方法	语言标注预算 (HLC / CF / CoT / VQA)	驾驶得分 (DS ↑)	成功率 (SR% ↑)	并道 (Merging ↑)	超车 (Overtaking ↑)	紧急制动 (Brake ↑)	礼让 (Give Way ↑)	交通标志 (Sign ↑)	平均能力得分 (Mean ↑)
Heuristic	0% / 0% / 0% / 0%	71.04	37.73	24.98	62.23	45.00	58.87	44.74	47.39
IDM (逆动力学分类器)	5% / 0% / 0% / 0%	77.74	51.36	40.11	68.89	60.00	60.00	55.79	56.93
Anchor (K-means轨迹聚类)	5% / 0% / 0% / 0%	79.97	54.01	–	–	–	–	–	–
5-HLC	5% / 0% / 0% / 0%	78.37	53.40	–	–	–	–	–	–
Full-HLC	100% / 0% / 0% / 0%	82.85	61.36	42.51	71.12	71.61	60.34	73.16	63.69
Full-language (SimLingo)	100% / 100% / 100% / 100%	86.08	65.78	54.01	57.04	88.33	53.33	82.45	67.03
LADA (本文)	5% / 5% / 0% / 0%	87.98 \(\pm\)1.01	70.46 \(\pm\)2.08	55.03 \(\pm\)3.41	71.11 \(\pm\)3.17	86.67 \(\pm\)2.40	50.13 \(\pm\)4.75	81.58 \(\pm\)2.30	68.87 \(\pm\)0.96

消融实验¶

针对 Stage II 翻译器的核心设计选择及不同标注数据预算展开消融分析：

配置	驾驶得分 (DS ↑)	成功率 (SR% ↑)	并道 (Merging ↑)	超车 (Overtaking ↑)	紧急制动 (Brake ↑)	礼让 (Give Way ↑)	交通标志 (Sign ↑)	平均能力得分 (Mean ↑)	说明
LADA (完整模型)	87.98	70.46	55.03	71.11	86.67	50.13	81.58	68.87	5% HLC + 5% CF，完整反事实梦境
无反事实梦境 (w/o CF)	85.27	65.00	47.50	66.67	81.70	50.00	77.89	64.75	去除反事实轨迹，易产生图像捷径过拟合
仅文本同义词改写 (Augmenting HLCs)	86.95	66.37	50.00	75.56	78.33	50.00	78.42	66.46	仅扩充语言表述，缺乏动作层面的负样本对抗
极限微小预算 (~1% HLCs)	84.65	61.81	47.50	57.78	78.33	50.00	77.89	62.30	标注进一步压缩至 1%，性能仍超越 100% Full-HLC
扩大标注预算 (~20% HLCs)	88.01	70.53	55.09	70.24	86.67	51.18	81.64	69.31	标注增加4倍仅带来极其微弱收益 (+0.03 DS)

关键发现¶

标注效率极高且超越全监督：LADA仅耗费 5% 的 HLC 与 CF 标注，完全摒弃 CoT 推理链和 VQA，成功率相比全监督 SimLingo 提升了 +4.68%（70.46% vs 65.78%），驾驶得分提升了 +1.90（87.98 vs 86.08），相比 100% HLC 基线更是大幅胜出约 5 点 DS 与 9 点 SR。
反事实梦境机制是语义破局关键：在消融中去掉反事实梦境导致成功率直接暴跌 5.46%（降至 65.00%）。这证明如果训练数据中视觉与轨迹单一对应，VLM极易退化为纯视觉导航而忽视语言指令；反事实梦境在同一路况下构造不同指令分支，强迫网络真正理解自然语言指令。
码本规模存在清晰的紧凑阈值：实验表明码本尺寸选定 \(C=25\) 时翻译器分类准确率最高；若盲目扩大到 64 或 256，翻译准确度显著下降。过于细碎的离散码会耗尽少样本语言信号的区分能力，紧凑的抽象意图表征是少样本语言对齐的基础。

亮点与洞察¶

将轨迹抽象为离散意图作为多模态缓冲层：巧妙规避了直接用语言指令端到端拟合微观连续轨迹的复合噪声，将语义理解与动力学控制彻底解耦，使自监督连续预训练与离散语义接地各司其职。
反事实动作梦境解决少样本跨模态短路：在样本量仅占5%时，单场景单样本极易导致语言特征被忽略；借助仿真器生成反事实动作并映射回离散动作码，以极低成本构造了跨模态正负样本对比。
对自动驾驶乃至具身智能的迁移启发：该架构完全可泛化至机械臂操作或人形机器人底盘控制——从无标注海量轨迹中离散量化出操作原语（Primitives），再利用大模型少样本对齐自然语言，可摆脱全生命周期依赖遥操作密集语言标注的困局。

局限与展望¶

依赖特权仿真器状态生成反事实：文中的反事实动作梦境高度依赖 CARLA 仿真器的环境动态来推演如果变道/减速车辆的合理轨迹，在纯真实世界离线日志中构建高质量因果反事实轨迹仍是开放挑战。
牺牲了自解释性与视觉问答能力：为追求极高的数据标注效率与控制性能，模型完全剥离了 CoT 与 VQA 模块，导致车辆丧失了像传统 VLA 那样与乘客多轮对话、解释「为何此时减速」的交互能力。
尚未显式建模细粒度速度意图：离散码本目前主要关注宏观空间路径几何（左转、直行、变道等），对复杂博弈下的微观速度控制（如减速让行、滑行微调）尚缺乏精细的离散意图离散化建模。

评分¶

新颖性: ⭐⭐⭐⭐☆ (将隐式动作量化巧妙反转用于自动驾驶语言标注瓶颈解耦，并辅以反事实梦境)
实验充分度: ⭐⭐⭐⭐⭐ (Bench2Drive 全面闭环评测，细致的各能力雷达分解与严密的设计消融)
写作质量: ⭐⭐⭐⭐⭐ (逻辑严密、动机阐述清晰，问题与解法高度契合)
价值: ⭐⭐⭐⭐⭐ (直击自动驾驶 VLA 难以规模化扩展的昂贵数据标注痛点，落地指导意义重大)