Think Densely, Act Sparsely: Latent Expert Cognitive Chains for Vision-Language-Action Autonomous Driving¶

会议: NeurIPS 2026
arXiv: 2610.25734
OpenReview: https://openreview.net/forum?id=tBqhs731Ow
论文: https://arxiv.org/abs/2610.25734
项目: https://wj-cv.github.io/LECDrive/
领域: 机器人/具身智能
关键词: 视觉语言动作模型、自动驾驶、认知链、基础模型蒸馏、闭环规划

一句话总结¶

针对端到端视觉语言动作（VLA）自动驾驶模型因稀疏轨迹监督导致稠密视觉信息过度压缩的本质缺陷，本文提出“稠密思考，稀疏行动”范式与 LECDrive 框架，在隐空间构建表征-语义-几何三阶认知专家链与混合轨迹解码机制，在不增加推理负担的前提下刷新了 NAVSIM 等闭环驾驶与多任务基准。

研究背景与动机¶

自动驾驶从根本上依赖于对驾驶场景的稠密世界感知，包括细粒度的视觉外观纹理、完整的交通要素语义拓扑以及精确的三维空间几何。人类驾驶员在感知物理世界时，并非孤立地接收外界刺激，而是通过多级认知机制自底向上地整合表征、语义与空间测距，从而做出安全平顺的驾驶决策。随着多模态大语言模型（VLM）与统一视觉语言动作模型（VLA）的发展，研究者尝试将多视角车载图像与语言导航指令直接端到端映射为自回归未来轨迹路标点。然而，这种依靠下游稀疏监督信号（单句语言指令或稀疏轨迹坐标）的训练机制，迫使模型将高度富集的像素级物理场景信息粗暴压缩进极低维的动作瓶颈中，导致大量关键道路边界与障碍物几何线索在中间层发生系统性丢失。

针对这种稠密信息丢失问题，学术界衍生出两条主流改造型技术路线：其一是解耦建模范式（如 ORION、ReCogDrive），在 VLM 之后外挂扩散模型或变分自编码器作为专门的动作解码器，但这割裂了语义理解与决策执行的联合表征，削弱了 VLM 原生推理能力向规划的迁移；其二是显式几何增强范式（如 VGGDrive、DrivePI），在隐状态中强行注入三维点云特征或增加体素占据流辅助预测，但这带来了庞大的实时推理计算开销，且多项几何辅助目标容易相互干扰引发表征崩溃。更关键的是，现有工作往往单纯迷信三维几何增强，忽视了高层语义结构与细粒度表征特征对鲁棒决策的协同支撑作用。

本文认为，VLA 模型的退化并非源于网络容量不足，而是隐空间内部严重缺乏诱导稠密世界表征构建的显式约束机制。基于此，本文打破“稀疏观察到稀疏动作”的直接拟合惯性，确立“稠密思考，稀疏行动”（Think Densely, Act Sparsely）的设计哲学，提出将人类从“视觉感知”到“概念理解”再到“几何测量”的认知阶梯内化进模型隐空间。核心 idea：通过向 VLM 视觉序列中注入紧凑的任务专有潜空间专家 Token，依次由 DINOv3、SAM3 和 DepthAnything3 提供多尺度渐进式稠密先验监督，在推理零额外计算代价下完成隐空间稠密世界建模，并协同离散动作基元与连续残差精炼实现高精度闭环轨迹规划。

方法详解¶

整体框架¶

LECDrive 整体架构由三大部分构成：多模态视觉语言大模型主干（采用 Qwen2.5-VL-7B）、潜空间专家认知链（Latent Expert Cognitive Chain）以及训练期轻量级密集感知头。在输入端，模型接收环视多视角相机图像与融入车辆动力学状态的导航指令文本；在每路视角的视觉 Token 序列末尾，显式嵌入专用的潜专家 Token。在多层 Transformer 推理过程中，模型无需加载外部庞大模型，而是通过跨层抽取的专家潜状态隐式构建稠密物理世界表征；在输出端，语言头以自回归方式输出环境问答、风险目标感知预测，动作头则基于离散运动基元匹配与连续偏移回归输出未来安全轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角车载图像 + 动力学指令"] --> B["潜空间专家认知链<br/>注入DINOv3/SAM3/DepthAnything3前置Token"]
    B --> C["跨层隐状态特征聚合<br/>抽取第4/10/18/28层隐向量对齐伪标签"]
    C --> D["轻量密集感知头监督<br/>表征MSE + 语义加权CE + 深度平滑L1"]
    C --> E["离散动作基元检索与连续残差精炼<br/>2048类Top-10基元采样 + 航向/位置残差微调"]
    E --> F["高精度安全驾驶轨迹与多任务预测"]

关键设计¶

1. 紧凑潜空间专家认知链：分层注入多模态基础先验

针对常规 VLA 模型因端到端动作损失稀疏而无法维持环境稠密表征的瓶颈，本文模仿人类认知的递进式感知规律，引入三个视觉大模型的知识链条进行课程学习式引导。系统在每路相机的视觉 Token 之后仅追加 $n=8$ 个任务专用潜 Token：内部表征 Token <DINO_TOKEN>、语义结构 Token <SAM_TOKEN> 以及空间几何 Token <DEPTH_TOKEN>。这三组 Token 充当知识吸收的“紧凑载体”，分别对接三个冻结的顶级视觉基础模型所生成的伪标签：8.4亿参数的 DINOv3 ViT 提供鲁棒的不变性自监督视觉特征；SAM 3 提炼涵盖车辆、行人、交通标志、交通灯、地面标线与道路边缘 6 类核心交通实体的语义分割真值；14亿参数的 DepthAnything3 结合车载相机内外参输出高保真度度量级深度图。这三者并非平行无序的多任务分支，而是形成“表征感知 $\rightarrow$ 语义解析 $\rightarrow$ 几何测距”的内在认知因果链，先期建立的低阶纹理表征为中阶语义和高阶几何提供稳固的上下文，使得模型在生成动作前已在认知层面透彻理解了周围三维动态环境。

2. 跨层隐状态特征聚合：融合多尺度表征并解耦任务干扰

传统外挂感知分支往往仅截取 Transformer 最后一层的输出，但在极小 Token 预算（每视角仅 8 个 Token）下，单层表征难以兼顾浅层的几何细节与深层的高阶语义。若直接复用视觉 Patch Token 进行多任务监督，多目标梯度冲突会导致规划性能急剧恶化。为此，LECDrive 采用显式的跨层特征聚合机制：从 28 层 Transformer 中依层次递进抽取浅层（第 4 层）、中浅层（第 10 层）、中深层（第 18 层）和深层（第 28 层）的对应专家隐藏状态： $$D_{i} = \begin{cases} H_{i}, & M_{id}^{\text{depth}} = 1 \\ 0, & \text{otherwise} \end{cases}, \quad i \in \{4, 10, 18, 28\}$$ 利用位置掩码精确解耦出不同专家的隐向量并沿通道维度拼接，形成综合跨层多尺度感知信息的增强嵌入。紧接着，训练期部署由 Pixel Shuffle 构成的双阶段轻量感知上采样头，将紧凑潜在 Token 还原为二维稠密预测图并与伪标签对齐。值得注意的是，这些感知头与外部基础模型在部署推理时全部丢弃，仅保留 8 个专家 Token 伴随主干前传，全系统推理耗时仅从 0.80 秒微增至 0.85 秒（仅增加约 2.7% 的输入 Token 长度），实现了极高的运行效率。

3. 离散动作基元检索与连续残差精炼：兼顾轨迹鲁棒性与几何精度

直接用神经网络回归高自由度的连续坐标点容易受多模态驾驶行为分布的干扰，导致出现非物理轨迹；而完全离散化的轨迹分类又面临量化误差过大、转弯转向不足与直行抖动的缺陷。本文提出离散基元与连续修正结合的混合轨迹建模架构。首先，从驾驶数据集中抽取约 12 万条人类专家轨迹，基于包围框几何多边形序列构建两两欧式距离度量，通过密度峰值贪婪聚类算法（Density-Peak Greedy Clustering）构建包含 2048 个高质量轨迹原语（Motion Primitives）的高密度基元词表。在训练阶段，模型将连续目标轨迹重构为“基元检索 + 连续偏移”：在 Top-$k$（$k=10$）最相近基元候选集中进行多模态抽样检索，选出最接近的动作类别作为宏观引导；随后针对航向角与坐标偏置构建连续残差项进行显式微调，从而在保证多模态宏观驾驶行为合规性的同时，恢复亚米级的细粒度微操精度。

损失函数 / 训练策略¶

LECDrive 采用端到端联合多任务优化目标，总损失函数定义为四个加权项的和： $$\mathcal{L} = \lambda_1 \mathcal{L}_{\text{CE}} + \lambda_2 \mathcal{L}_{\text{DINO}} + \lambda_3 \mathcal{L}_{\text{SAM}} + \lambda_4 \mathcal{L}_{\text{DEPTH}}$$ 其中超参数配置为 $\lambda_1 = 1.0, \lambda_2 = 0.5, \lambda_3 = 0.5, \lambda_4 = 1.5$。各子项损失定义如下： - $\mathcal{L}_{\text{CE}}$：标准的语言建模自回归交叉熵损失，用于监督文本回答、风险目标描述以及离散轨迹动作基元分类； - $\mathcal{L}_{\text{DINO}}$：均方误差（MSE）损失，最小化上采样特征 $F^{pre}$ 与 DINOv3 目标特征 $F^{gt}$ 之间的欧式距离：$\mathcal{L}_{\text{DINO}} = \frac{1}{N} \|F^{pre} - F^{gt}\|_2^2$； - $\mathcal{L}_{\text{SAM}}$：类别加权交叉熵损失，用于交通语义分割。针对背景像素过多导致的类别不平衡，将背景权重赋为 0.2，其余 6 种前景交通实体权重均赋为 1.0； - $\mathcal{L}_{\text{DEPTH}}$：掩码 Smooth $L_1$ 损失，仅对有效度量深度区域（$0 < D_i^{gt} \le 60\text{ m}$）进行梯度回传，避免远距离无效背景发散： $$\mathcal{L}_{\text{DEPTH}} = \frac{\sum_{i=1}^{N} M_i \cdot \text{SmoothL1}(D_i^{pre}, D_i^{gt})}{\sum_{i=1}^N M_i + \epsilon}$$ 模型在 8 张 NVIDIA H200 GPU 上采用 AdamW 优化器训练 5 个 epoch，学习率设为 $5 \times 10^{-5}$。

实验关键数据¶

主实验¶

LECDrive 在 NAVSIM-v1 闭环驾驶基准以及 NuInstruct 风险感知与状态预测基准上取得了显著突破，全面超越现有开闭环 SOTA 方案。

基准数据集 / 方法	输入模态	核心指标 (PDMS / MAP)	碰撞违规率 (NC) / 准确率	可行驶区合规 (DAC) / BLEU	综合得分 / 进展
NAVSIM-v1 (闭环规划)		PDMS ↑	NC ↑	DAC ↑	EP ↑
Qwen2.5-VL-7B Baseline	Camera	86.04	97.83	94.08	81.00
ReCogDrive (Decoupled SOTA)	Camera	86.80	98.30	95.10	81.10
AdaThinkDrive (RL-Decoupled)	Camera	87.50	98.90	95.30	80.60
DiffusionDrive (E2E)	Camera & Lidar	88.10	98.20	96.20	82.20
Hydra-NeXt (Distillation)	Camera & Lidar	88.60	98.10	97.70	81.80
VGGDrive (CVPR 2026 SOTA)	Camera	88.76	98.55	96.30	82.92
LECDrive (本文方法)	Camera-only	89.81	98.72	96.97	83.68
NuInstruct (感知与预测)		MAP ↑	Accuracy ↑	BLEU ↑	Average ↑*
GPT-4o (Zero-shot)	Multi-view	0.00	10.64	7.08	1.95
InMLLM (Fine-tuned)	Multi-view	21.93	32.48	35.20	20.13
Fine-tuned Baseline	Multi-view	6.15	47.71	75.75	31.32
VGGDrive (Prior SOTA)	Multi-view	37.49	56.37	81.13	42.98
LECDrive (本文方法)	Multi-view	38.25	57.02	82.38	43.52

消融实验¶

在 NAVSIM-v1 上对各核心组件进行递进式消融测试，验证认知链各模块及架构设计的必要性：

实验配置 (Config)	NC ↑	DAC ↑	EP ↑	TTC ↑	PDMS ↑	改进说明
(1) Baseline (直接坐标回归)	97.83	94.08	81.00	94.04	86.04	基础 Qwen2.5-VL 端到端规划
(2) + 离散基元检索 (MT)	98.44	94.95	81.45	95.72	87.44	引入 2048 类轨迹先验 (+1.40)
(3) + 连续残差修正 (Offset)	98.62	96.06	82.38	95.78	88.49	恢复微观几何平滑度 (+1.05)
(4) + DINOv3 表征专家	98.53	96.57	82.99	95.97	89.07	增强底层视觉特征泛化 (+0.58)
(5) + SAM3 语义专家	98.68	96.76	83.27	95.97	89.31	强化交通要素结构先验 (+0.24)
(6) + DepthAnything3 几何专家 (Full)	98.72	96.97	83.68	96.39	89.81	构建空间度量完整世界 (+0.50)
-- 架构消融：直接复用图像 Token 接感知头	98.58	96.28	82.73	95.82	88.73	无专有 Token 导致多任务干扰 (-1.08)
-- 架构消融：仅抽取第 28 层潜 Token	98.59	96.78	83.14	95.94	89.26	缺少浅中层多尺度表征聚合 (-0.55)
-- 顺序消融：DINO $\rightarrow$ 几何 $\rightarrow$ 语义	98.58	96.54	82.93	96.26	89.18	打乱认知因果层级 (-0.63)

关键发现¶

专家认知链的协同累加效应：在拥有混合轨迹建模的基础上，DINOv3（+0.58）、SAM3（+0.24）和 DepthAnything3（+0.50）的渐进注入带来稳步增益，三者合力将 PDMS 拔高至 89.81。若剥离轨迹编码方案单独测试，三大专家亦能直接为 Baseline 带来 +3.11 的巨额提升（86.04 $\rightarrow$ 89.15），证实稠密世界建模对决策能力赋能的独立性与普适性。
任务专用 Token 的隔离解耦价值：若省去 8 个专用 Token，直接强行让视觉主干 Patch Token 承载稠密重构损失，模型 PDMS 剧烈下跌 1.08 分，甚至低于单用纯轨迹方案的配置，直接暴露出跨模态梯度的破坏性冲突。
认知层级因果顺序决定知识吸收效率：按照“表征 $\rightarrow$ 语义 $\rightarrow$ 几何”的认知顺序训练可达 89.81，而如果逆转为“表征 $\rightarrow$ 几何 $\rightarrow$ 语义”（89.18）或“语义 $\rightarrow$ 表征 $\rightarrow$ 几何”（89.66），性能均出现明显折损，证明人类感知的抽象进阶顺序在神经网络隐空间同样具备严格的数学意义。

亮点与洞察¶

“稠密思考，稀疏行动”设计哲学：从根本上指出了端到端自动驾驶 VLA 模型退化的根源在于稀疏监督造成的隐空间表征坍缩，通过紧凑潜载体在内部激活稠密世界模型，为自动驾驶具身系统指明了全新方向。
极小推理开销的隐式蒸馏：通过“训练期专用 Token 伴随 + 轻量级投影上采样对齐 + 推理期全部剪除”的优雅设计，仅以 2.7% 的 Token 增量换取了顶级视觉基础模型的全面赋能，推翻了“几何增强必大幅增加计算延时”的既有困境。
离散鲁棒性与连续平滑度的混合解耦：将大模型擅长的离散分类用于 2048 种拓扑原语匹配，将回归用于残差修正，解决了纯分类离散化不平稳与纯回归多模态漂移的双向顽疾。

局限与展望¶

依赖外部大模型伪标签质量上限：模型学到的稠密表征天花板严格受制于 DINOv3、SAM3 和 DepthAnything3 的伪标签标注质量与域泛化能力，在极端恶劣天气或夜间强眩光场景下可能引入偏差。
固定 Token 数量的表现力瓶颈：当前每视角固定分配 8 个潜在 Token，虽然计算极其高效，但在高度动态复杂的密集十字路口可能构成信息瓶颈，未来可探索根据场景熵值动态分配 Token 的自适应机制。
缺乏时序稠密动态一致性：当前主要基于单帧多视角建模，尚未在隐空间建立跨时间步的四维连续一致性世界模型，未来拓展至时空联合潜专家预测将极大增强对动态弱势道路使用者的轨迹推演能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆性提出“稠密思考，稀疏行动”理念，设计潜空间认知专家链与零推理代价蒸馏机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 NAVSIM-v1/v2 闭环、nuScenes 开环、NuInstruct 问答、DriveLM、OmniDrive 五大核心榜单，消融实验极其详实严密。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络行云流水，图表精致且直击痛点，认知科学比喻与技术落地高度融洽。
价值: ⭐⭐⭐⭐⭐ 为解决自动驾驶与机器人领域 VLA 模型的隐空间表征退化问题提供了通用且落地的标准范式。