From Representational Complementarity to Dual Systems: Synergizing VLM and Vision-Only Backbones for End-to-End Driving¶

会议: NeurIPS 2026
arXiv: 2602.10719
代码: https://github.com/WilliamXuanYu/HybridDriveVLA
领域: 自动驾驶
关键词: 端到端自动驾驶、视觉语言模型、纯视觉骨干、表征互补性、快慢双系统

一句话总结¶

论文系统揭示了端到端自动驾驶中 VLM 与纯视觉编码器在决策层形成共享子空间但保留长尾互补特有因子的机制，并据此设计了基于轨迹评分选择的 HybridDriveVLA 与快慢协同的 DualDriveVLA 双系统架构。

研究背景与动机¶

端到端自动驾驶规划直接将多模态视觉观测映射到未来运动轨迹，显著减少了对手工规则模块化流水线的依赖。随着多模态大模型的蓬勃发展，视觉-语言-动作（VLA）自动驾驶架构逐渐成为前沿热点，研究者通常认为 VLM 拥有通用的常识语义理解和强大的长尾推理能力，而传统的纯视觉编码器（如 ResNet、ViT、EVA-CLIP）则具备高计算效率和空间几何感知优势。然而，学界此前并不清楚 VLM 表征与纯视觉表征在经过下游策略学习后究竟存在何种内在差异，这些差异是否会在实际轨迹规划中转化为有意义的驾驶行为分歧，以及如何在工程上兼顾两者的长处。

这种机制认知的模糊导致了系统设计上的困境：现有工作要么倾向于用庞大的 VLM 全盘替代轻量视觉骨干，承受沉重的显存开销与高延迟推理负担；要么尝试粗暴地将两种表征拼接或知识蒸馏，往往导致特征互相干扰或冗余坍缩。更关键的是，如果在下游策略训练完成后，两种编码器产出的特征已经高度同质化，那么复杂的融合机制便失去了意义；反之，若两者保留了不可替代的独特信息，简单的特征级门控又往往难以捕捉具体的闭环轨迹优劣。

针对这一根本矛盾，本文在下游扩散规划器（DiT）与动作头完全一致的受控实验框架下，系统比较了主流 VLM（InternVL3、Qwen3VL）与纯视觉骨干在骨干层与决策层的表征对齐程度。研究发现，虽然下游策略训练显著放大了两者的共享决策子空间，但双方依然保留了具有明确驾驶行为意义的特有残差因子，且这种互补性在简单几何与复杂语义场景间呈现清晰的长尾分离。核心 idea：将 VLM 与纯视觉策略视作互补的候选轨迹生成器而非互相替代的特征输入，利用轻量级轨迹评分器进行跨模型轨迹筛选（HybridDriveVLA），或构建仅在困难场景激活大模型的快慢协同双系统（DualDriveVLA）。

方法详解¶

整体框架¶

整个研究遵循“表征分析（RQ1）\(\rightarrow\) 行为互补性诊断（RQ2）\(\rightarrow\) 双系统机制转化（RQ3）”的闭环逻辑。在基础架构上，论文构建了统一的“VLM 隐藏状态 + 扩散规划器（DiT）”双分支框架。VLM 分支采用领域自适应的冻结 VLM 编码器输出视觉-语言 token 序列；纯视觉分支则采用 ViT 等标准视觉编码器。两者的输出通过线性适配层映射到统一维度后送入完全相同的下游 DiT 规划器和 MLP 动作头。

在分析诊断的基础上，论文提出了两套实际系统：HybridDriveVLA 在推理时同时运行双分支，并在线性插值扩充的跨模型紧凑候选集上，通过学习得到的轨迹评分器挑选全局最优轨迹；DualDriveVLA 则采用快慢决策范式，默认仅执行计算高效的纯视觉快路径，仅当快路径的预测置信评分不足设定阈值 \(\gamma\) 时，才按需唤醒沉重的 VLM 慢路径进行双分支协同决策。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角/单目视觉观测与导航输入"] --> B["双分支编码器与扩散规划<br/>VLM 分支 vs 纯视觉 ViT 分支"]
    B --> C["共享-特有稀疏自编码器诊断<br/>分解决策层共享成分与特有残差"]
    C --> D["行为互补性分析与长尾场景划分<br/>几何主导胜出 vs 复杂语义/交互胜出"]
    D --> E{"系统机制选择"}
    E -->|精度优先并行选择| F["HybridDriveVLA 轨迹评分筛选<br/>端点与插值候选集精细打分"]
    E -->|效率优先快慢切换| G["DualDriveVLA 快慢双系统部署<br/>纯视觉默认快推 + 阈值触发 VLM 慢推"]
    F --> H["最终执行轨迹输出"]
    G --> H

关键设计¶

1. 共享-特有稀疏自编码器（Shared–Unique SAE）：解耦可迁移成分与模型特有残差

为了超越线性 CKA 和 CCA 仅能衡量全局几何相似度的局限，精确诊断两类骨干网络表征的互换性，论文提出了 Shared–Unique SAE 架构。该模块在标准化特征空间中工作，将 VLM 特征 \(x\) 与纯视觉特征 \(y\) 分别编码为共享潜在变量（\(z_s^x, z_s^y \in \mathbb{R}^{d_s}\)）与特有潜在变量（\(z_u^x, z_u^y \in \mathbb{R}^{d_u}\)），并通过可加性线性解码器进行重构：

\[ \hat{x} = W_s^x z_s^x + W_u^x z_u^x + \mathbf{1}(b^x)^\top, \quad \hat{y} = W_s^y z_s^y + W_u^y z_u^y + \mathbf{1}(b^y)^\top \]

为了确保共享编码具有功能可替代性并防止信息泄露，训练损失集成了全重构损失 \(\mathcal{L}_{\mathrm{rec}}\)、自身共享重构损失 \(\mathcal{L}_{\mathrm{sh}}\)、交叉共享重构损失 \(\mathcal{L}_{\mathrm{cross}}\)（即用 \(z_s^y\) 经过 \(W_s^x\) 重构 \(x\)）、VICReg 风格的方差-不变性-协方差防坍缩损失 \(\mathcal{L}_{\mathrm{vic}}\)、共享与特有特征间的协方差正交约束 \(\mathcal{L}_{\mathrm{ort}}\) 以及特有编码的 \(\ell_1\) 稀疏惩罚 \(\mathcal{L}_{\mathrm{sp}}\)。实验测得决策层的交叉解释方差 \(R^2_{\mathrm{cross}}\) 显著高于骨干层（如 ViT 侧从 0.623 升至 0.763），这在数学上确凿证明了下游策略训练会强力压缩并对齐跨模态的决策共性，但两者依然各自保留了不可替代的特有方差。

2. 潜空间干预与长尾行为诊断：验证残差因子的功能因果性

针对静态特征层门控（Representation-only Gating）仅能取得边际改善（PDMS 从 90.80 微升至 90.96，远低于 Oracle Best-of-2 的 93.58）的负面结果，论文设计了潜空间干预实验与场景级长尾归因方案。通过使用 SAE 解耦出的不同隐变量子集重新训练规划策略，证明仅使用共享隐变量时 PDMS 为 83.0，而加入 VLM 特有因子后性能跃升至 86.9，且在 187 个复杂困难场景中高质量规划率从 33 翻倍至 86。

行为学统计表明，VLM 分支倾向于保持更高的平均车速（5.31 m/s vs. 5.17 m/s）和路径长度，同时伴随更为激进的紧急制动与累积减速度；而 ViT 分支则更倾向于平稳控车。在语义归因下，ViT 在简单车道保持场景胜出居多（55/92），而 VLM 则在遮挡稠密杂波（12/12 全胜）、复杂路口语义（58/78）、施工区域锥桶（12/15）等交互密集型长尾场景占绝对优势。这种稳定的两极分化揭示出两类模型不是单纯的“强弱”关系，而是具有正交专长的候选发生器。

3. HybridDriveVLA 跨模型轨迹评分与候选集增强：从表征融合跃迁至轨迹级优选

基于两模型在行进与制动折中上互为补充、且人类专家轨迹往往介于两极之间的洞察，HybridDriveVLA 摒弃了在特征维度进行加权平均的常规思路，转向轨迹空间的离散选择与局部连续扩充。对于每个场景，首先生成 VLM 预测轨迹 \(\tau_{\mathrm{vlm}}\) 与 ViT 预测轨迹 \(\tau_{\mathrm{vit}}\)，并通过显式线性凸组合引入轻量级插值候选集：

\[ \tau_\alpha = \alpha \tau_{\mathrm{vit}} + (1 - \alpha) \tau_{\mathrm{vlm}}, \quad \alpha \in \{0.1, 0.2, \ldots, 0.9\} \]

所构建的紧凑候选集 \(\mathcal{C} = \{\tau_{\mathrm{vit}}, \tau_{\mathrm{vlm}}, \tau_{0.1}, \ldots, \tau_{0.9}\}\) 送入一个轻量级轨迹评分器（Trajectory Scorer）。评分器采用 DINOv2-Small 提取环境场景特征，并将候选轨迹编码为查询向量，解耦预测轨迹的无碰撞安全性（NC）、驾驶舒适度（Comfort）、行驶进度（EP）等细粒度子分数，最终融合成元评分 \(\hat{s}(\tau)\) 并选出最佳轨迹 \(\tau^\star = \arg\max_{\tau \in \mathcal{C}} \hat{s}(\tau)\)。

4. DualDriveVLA 快慢系统自适应分流：计算与精度的极致帕累托优化

为了在车端严苛的算力与延迟约束下部署该互补机制，DualDriveVLA 将上述架构转化为快慢协同控制系统。在日常大部分常规工况下，车辆仅运行耗时极低（约 120 ms）的纯视觉 ViT 快分支，并由轻量评分器直接评估当前快路径轨迹的可靠性 \(\hat{s}(\tau_{\mathrm{vit}})\)。

仅当快路径评分低于安全置信度门限 \(\gamma\)（即识别到当前处于高风险或语义不明确场景）时，系统才会异步触发庞大且昂贵的 VLM 慢路径（约 280 ms），构建联合候选集并通过多目标打分执行融合决策。该机制将 VLM 的调用率骤降至仅约 15% 的关键场景，使得端到端平均推理延迟缩短近一半（280 ms 降至 150 ms），在实现 1.9 倍推理加速的同时，闭环驾驶性能依然超越了单体 VLM 基线。

实验关键数据¶

主实验¶

论文在主流端到端自动驾驶闭环基准 NAVSIM 上进行了充分评测。表 1 对比了 NAVSIM-v1 测试集（navtest）上各主流规划方案的闭环规划综合得分（PDMS）及关键安全子项，涵盖传统端到端方法与最新 VLA 模型。

类别 / 模型	无碰撞 (NC) ↑	区域依从 (DAC) ↑	碰撞时距 (TTC) ↑	舒适度 (Comf.) ↑	行驶进度 (EP) ↑	PDMS (%) ↑
传统端到端规划器
UniAD (CVPR 2023)	97.8	91.9	92.9	100.0	78.8	83.4
Hydra-MDP (2024)	98.3	96.0	94.6	100.0	78.7	86.5
DiffusionDrive (2024)	98.2	96.2	94.7	100.0	82.2	88.1
DiffusionDriveV2 (2025)	98.3	97.9	94.8	99.9	88.0	91.2
iPad (2025)	98.6	98.3	94.9	100.0	88.0	91.7
VLA 规划器
DrivingGPT (2024)	98.9	90.7	94.9	95.6	79.7	82.4
PARA-Drive (CVPR 2024)	97.9	92.4	93.0	99.8	79.3	84.0
AutoVLA (2025)	98.4	95.6	98.0	99.9	81.9	89.1
ReCogDrive (2025)	97.9	97.3	94.9	100.0	87.3	90.8
Curious-VLA (2026)	98.4	96.9	97.9	98.1	88.5	90.2
WAM-diff (2025)	99.1	98.3	96.5	99.9	84.4	91.0
HybridDriveVLA (本文)	98.6	98.6	96.2	100.0	87.3	92.1

消融实验¶

表 2 展示了在 NAVSIM navtest 上针对轨迹级优选、单/跨模型采样扩展以及特征门控等不同机制的系统性消融。

决策机制 / 候选配置	PDMS (%) ↑	相对单模型提升	机制说明
单模型基线
ViT-large 单模型	88.88	-	纯视觉下游扩散规划基线
InternVL3-2B 单模型	90.80	-	VLA 下游扩散规划基线
单模型采样多样性 (Best-of-N)
ViT-large (n=6)	89.32	+0.44	单纯增加单模型内随机采样增益迅速饱和
InternVL3-2B (n=6)	91.95	+1.15	VLM 内部采样增益同样存在瓶颈
特征级表征门控 (Representation-only)
MLP 隐空间分类器	90.80	+0.00	静态特征空间无法可靠分离两模型优劣
Self-Attention 回归门控	90.96	+0.16	仅取得边际改善，远脱离行为闭环
跨模型候选融合与优选
跨模型 Oracle (Best-of-2 端点)	93.58	+2.78	理想二选一上限，证明互补性极其显著
跨模型 Oracle (Best-of-6 混合)	94.00	+3.20	引入插值后的理论性能天花板
双端点轨迹直接平均 (Mean)	91.18	+0.38	盲目几何折中容易破坏物理与动态可行性
自适应权重预测 (\(\alpha\))	91.31	+0.51	回归插值权重优于简单平均
端点轨迹评分优选 (Endpoints only)	91.75	+0.95	仅在两个模型原始输出中评分二选一
HybridDriveVLA (端点+插值候选集)	92.10	+1.30	紧凑插值扩充配合轻量评分器取得最佳表现
DualDriveVLA (15% VLM 触发率)	91.00	+0.20	150ms 延迟（1.9× 加速），精度仍超越单体 VLM

关键发现¶

表征与行为层面的非对称收敛：下游端到端训练使跨分支决策层 CKA 从 0.22 剧增到 0.54，高相关 CCA 方向从 5 维扩展至 28 维；但 Shared–Unique SAE 证实两模型仍保留了无法相互替代的特有方差，正是这些残差赋予了两类模型截然不同的驾驶风格。
静态特征门控的根本局限：基于 SAE 能量比值或特征向量构建的分类/回归门控几乎无法带来有效增益（最好仅 90.96），表明“哪个模型更好”不是表征本身的固有属性，而是高度依赖场景环境动态与具体轨迹几何约束的闭环行为表现。
单模型内采样的边际递减与跨模型互补的巨大收益：单个模型增加 diffusion 采样数（从 1 增至 6）带来的提升十分有限，而 VLM 与 ViT 的 Best-of-2 理论上限高达 93.58 PDMS。通过简单的凸组合扩充与轻量打分，HybridDriveVLA 成功兑现了这一潜在红利。

亮点与洞察¶

首个系统揭示 VLA 与纯视觉骨干“貌合神离”的分析工作：采用严格配对与控制变量设计，首次从数学诊断（CKA/CCA/SAE）深入到行为因果验证（潜空间干预与长尾切片），彻底澄清了 VLM 在端到端驾驶中到底提供了哪些独特表征价值。
化竞争为协同的快慢系统（DualDriveVLA）工程范式：不执着于在网络底层通过复杂注意力强行拼接多模态特征，而是将两类模型作为外挂的快慢系统。通过 15% 的极低调用率撬动大模型红利，为大模型在低功耗车端芯片上的落地提供了极具实用价值的范式。

局限与展望¶

模型架构范围局限：论文主要基于将 VLM 作为视觉隐藏状态生成器（如 RecogDrive 模式）的 VLA 框架，对于纯自回归生成文本动作 token 的端到端模型（如 Orion、SimLingo），如何抽离并对齐其骨干表征仍需重新定义对比基准。
插值轨迹的动力学平滑性：HybridDriveVLA 目前采用简单的线性端点插值生成中间候选轨迹，虽然在离线评测中效果突出，但在极端工况下可能偶发动力学不平滑问题，未来可引入基于样条或车辆动力学约束的轨迹生成器。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从微观表征几何与长尾行为双重视角深入剖析 VLM 与视觉骨干的互补性，立意深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CKA、CCA、SAE 严密推导、消融、场景级归因切片及 NAVSIM 闭环 benchmark。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条极其紧密，实验分析层层递进，从理论诊断自然推导至工程系统构建。
价值: ⭐⭐⭐⭐⭐ 为端到端自动驾驶如何高效、低延迟落地 VLM 提供了兼顾理论深度与工业实用性的完整蓝图。