Scene-Adaptive VLA: Efficient Autonomous Driving via Dynamic Layer Routing¶

会议: NeurIPS 2026
arXiv: 2610.24590
OpenReview: https://openreview.net/forum?id=Pko5Y47PI3
代码: https://github.com/yang-luvu/Scene-Adaptive-VLA
领域: 多模态 VLM
关键词: 自动驾驶, 视觉语言动作模型, 动态层路由, 场景自适应, 推理效率

一句话总结¶

针对端到端自动驾驶中视觉语言动作（VLA）模型车载推理计算开销巨大的瓶颈，提出 Scene-Adaptive VLA 框架，通过量化时序视觉变化与相邻帧决策偏差感知场景复杂度，结合轻量查询与两阶段优化动态调度模型激活层数与层组合，在 Bench2Drive 闭环测试中降低 53.5% 的计算开销且几乎无损驾驶性能。

研究背景与动机¶

基于视觉语言模型（VLM）演化而来的视觉语言动作（VLA）模型，已成为端到端自动驾驶的前沿范式。它将多模态视觉感知、高级语言推理与连续动作规划统一进同一神经网络架构中，在复杂长尾交通场景中展现出优异的语义泛化与因果解释能力。然而，VLA 模型百亿或十亿级的庞大参数规模给车载硬件带来了严峻的实时计算开销与推理延迟瓶颈，不仅显著加剧车端能耗、侵蚀电动汽车续航里程，还制约了高频控制闭环的部署可行性。因此，在维持驾驶安全性与语言可解释性的前提下最大限度压缩车载推理负载，成为端到端自动驾驶落地的迫切需求。

当前针对高效 VLA 推理的优化主要集中于序列自适应维度，例如通过动态调整思维链（CoT）推理长度或按场景自适应裁剪输入视觉 token 数量。然而，结构自适应这一极具潜力的方向却鲜有探索。驾驶场景具有极强的动态多变性：在空旷直线车道巡航等简单常规场景中，模型往往只需极小比例的参数即可维持稳定控制；而在人车混行、近距离避障或突发转弯等复杂高危场景中，才需要深层网络的全部表征容量。现有静态剪枝或固定激活比例方案在复杂场景中极易诱发偏航、碰撞等致命失败，而传统的早退（Early-exit）策略又往往因破坏跨层特征交互而导致轨迹规划严重恶化。

这种困境的核心矛盾在于：如何在无需引入沉重外置评估网络的前提下，从模型自身感知视角精准量化当前驾驶场景的动态复杂度，并建立起“场景动态-计算预算-网络层组合”的自适应映射。核心 idea：利用场景时序连续性与模型预测不确定性理论，将帧级时序视觉变化与前后决策偏差编码为场景感知 token，通过浅层语言前缀引导轻量查询进行预算分配与动态层路由，实现计算资源随驾驶复杂度按需分配的端到端结构自适应。

方法详解¶

整体框架¶

Scene-Adaptive VLA 的核心在于构建轻量且自洽的场景复杂度感知与动态层分配管道。整个模型以密集型骨干网络（如 InternVL2-1B 及其语言底座 Qwen2-0.5B-Instruct）为基础，将语言模型划分为浅层前缀层（$L_{\text{pre}}$ 层）与后续可路由子层（$L_{\text{sub}}$ 层）。系统输入除了包含前视视觉 token、车速、导航指令与航点查询等全局 Prompt 外，显式引入了 3 个场景感知偏差 token（场景时序偏差 token、路径决策偏差 token、速度决策偏差 token）以及 2 个专有查询 token（预算查询 token、层路由查询 token）。

在推理过程中，整个序列首先进入浅层前缀层进行深度交叉融合。在前缀层中间位置，预算调度器依据预算查询的隐层状态评估当前决策难度，输出离散预算动作并映射为全局激活预算比例；该预算经正弦编码后注入序列，驱动前缀层末端的路由调度器生成可路由子层的激活掩码。未被激活的 Transformer 层被残差连接直接旁路跳过，从而以极低计算成本完成当前帧的轨迹生成与驾驶解释。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态驾驶输入<br/>图像/车速/导航指令/航点查询"] --> B["场景复杂度感知表征<br/>视觉EMA时序变化 + 历史轨迹/速度决策偏差"]
    B --> C["浅层前缀层特征融合<br/>全局Prompt + 场景感知Token + 专有查询"]
    C --> D["预算感知计算调度<br/>评估不确定性并分配动态计算预算 b"]
    D --> E["动态子层路由选择<br/>Top-k Gumbel-Softmax 生成二进制激活掩码 M"]
    E --> F["残差旁路稀疏推理与解码<br/>闭环控制航点 + 驾驶解释文本"]

关键设计¶

1. 场景复杂度感知表征：融合视觉时序动态与决策不确定性

针对外部感知模型计算开销大、难以反映主干网络自身认知难度的痛点，该设计从模型内部视角出发，联合构建时序场景偏差与跨帧决策偏差两类信号。对于视觉时序动态，模块对当前帧视觉 token 进行平均池化获得全局场景向量 $\mathbf{g}^t$，并维护一个基于指数移动平均（EMA）的历史场景表示 $\mathbf{g}_{\text{hist}}$。通过多头交叉注意力机制显式捕捉当前观测相对于历史预期的视觉突变 $\mathbf{c}^t = \text{MHA}(\mathbf{g}_{\text{hist}}, \mathbf{e}_I^t, \mathbf{e}_I^t)$，进而通过 MLP 将当前表征、差异特征与残差拼接压缩为场景偏差 token $\mathbf{e}_s = \text{MLP}_s([\mathbf{g}^t, \mathbf{c}^t, \mathbf{g}^t - \mathbf{c}^t])$。对于决策偏差，利用连续轨迹在时间上的重叠特性，无需多次前向计算即可提取模型在 $t-1$ 与 $t-2$ 步所预测航点的空间自车运动补偿差值 $\Delta \mathbf{W}_p$ 与速度分布差值 $\Delta \mathbf{v}$，分别经由一维卷积、平均池化与 MLP 映射为路径偏差 token $\mathbf{e}_{pw}$ 与速度偏差 token $\mathbf{e}_{sw}$。三者共同量化了场景外在视觉突变与内在规划认知的不确定性。

2. 预算感知计算调度：离散预算决策与安全下界保障

针对不同路况对算力需求异质性强的特征，系统在前缀层中段由轻量 MLP 预算调度器读取预算查询向量 $\mathbf{h}_{q_b}$，预测离散预算等级动作 $a \in \{0, \dots, K-1\}$。为了避免过度稀疏化破坏语言模型最基本的句法理解与轨迹解析能力，系统确立了自适应安全下界机制：

\[b = \max\left(\frac{1}{K}\cdot(a+1),\, b_{\min}\right), \quad \text{其中 } b_{\min} = \max\left(0.2,\, \frac{L_{\text{pre}}}{L_{\text{llm}}}\right)\]

计算所得的标量预算 $b$ 经过正弦位置编码与预算编码器映射为密集预算向量 $\mathbf{e}_b$，完全替换初始的无信息预算查询 $\mathbf{q}_b$，使得后续前缀层在充分感知所分配算力约束的前提下继续进行注意力交互。

3. 动态子层路由选择：直通式 Top-k 掩码与残差跳接

针对固定结构裁剪灵活性差、层早退策略在深层表征迁移中易丧失非线性组合能力的缺陷，路由调度器在前缀层输出端接收路由查询 $\mathbf{q}_{lr}$ 与预算向量 $\mathbf{e}_b$ 的拼接特征，预测后续 $L_{\text{sub}}$ 层的选择概率分布 $\boldsymbol{\pi}_{\text{layer}} \in \mathbb{R}^{L_{\text{sub}}}$。根据预算 $b$ 量化得出需激活的子层数 $k = \max(0, \lfloor L_{\text{llm}}\cdot b \rfloor - L_{\text{pre}})$ 后，通过 Top-$k$ Gumbel-Softmax 生成离散可微二进制掩码：

\[\mathbf{M} = \text{GumbelSoftmax}_{\tau}(\boldsymbol{\pi}_{\text{layer}})_{\text{top-}k}, \quad \text{s.t.} \; \mathbf{M}_j \in \{0,1\}, \; \sum_{j=1}^{L_{\text{sub}}} \mathbf{M}_j = k\]

在训练中借助直通估计器（Straight-Through Estimator）实现梯度的端到端回传，在推理中掩码直接控制 Transformer 模块计算：$\mathbf{M}_j=1$ 时正常执行该层自注意力和前馈网络计算，$\mathbf{M}_j=0$ 时激活残差恒等映射跳过该层，从而支持非连续、任意组合的灵活层分配。

损失函数 / 训练策略¶

整个系统采用两阶段训练策略，兼顾表征学习稳定性与强化学习策略收敛：

第一阶段：场景表征与层路由监督微调（SFT）
冻结预算调度器，在均匀采样预算 $b \sim \mathcal{U}[b_{\min}, 1]$ 的条件下联合微调前缀层 LoRA、场景编码器及路由调度器。目标函数由驾驶航点 Smooth-L1 损失 $\mathcal{L}_{\text{wp}}$ 与自回归语言因果损失 $\mathcal{L}_{\text{lang}}$ 构成主监督，并引入多样性正则 $\mathcal{L}_{\text{div}}$ 防止不同场景收敛至同一退化路由，以及平衡正则 $\mathcal{L}_{\text{bal}}$ 促使网络各层的实际激活频率贴近目标预算均值： $$\mathcal{L}_{\text{stage1}} = \lambda_{\text{wp}}\mathcal{L}_{\text{wp}} + \lambda_{\text{lang}}\mathcal{L}_{\text{lang}} + \lambda_{\text{div}}\mathcal{L}_{\text{div}} + \lambda_{\text{bal}}\mathcal{L}_{\text{bal}}$$

第二阶段：预算调度强化学习微调（GRPO）
冻结路由调度器和底层前缀层，采用 Group Relative Policy Optimization（GRPO）优化预算调度策略 $\pi_\theta(a \mid \mathbf{h}_{q_b})$。为每个驾驶状态采样 $G$ 个候选预算动作，构建兼顾驾驶质量增益与算力节约的复合奖励函数： $$r_{i,g} = w_d \tanh\left(\mathcal{L}_{\text{full},i} - \mathcal{L}_{i,g}\right) - w_b \frac{b(a_{i,g}) - b_{\min}}{1 - b_{\min}}$$ 通过重要性采样与裁剪替代目标进行更新，同时引入锚定损失 $\mathcal{L}_{\text{anchor}} = \frac{1}{|\boldsymbol{\phi}|}\sum_j (\phi_j - \bar{\phi}_j)^2$ 约束微调参数，防止网络遗忘第一阶段已学得的稳定表征。

实验关键数据¶

主实验¶

评估在基于 CARLA 的 Bench2Drive 闭环驾驶基准（220 条 150 米长尾测试路线）上开展，评估指标包括驾驶得分（Driving Score, DS）、成功率（Success Rate, SR）、行车效率（Efficiency）、舒适度（Comfortness）以及计算开销（TFLOPs、延迟与显存）。同时对比了通用端到端模型及 SOTA 高效 VLA 方法。

方法	模型参数量 / 激活参数 (B)	驾驶得分 (DS) ↑	成功率 (SR, %) ↑	行车效率 ↑	舒适度 ↑	决策计算量 (TFLOPs) ↓	推理延迟 (ms) ↓	峰值显存 (GB) ↓
UniAD-Base	-	45.81	16.36	129.21	43.58	3.42	-	-
VAD	-	42.35	15.00	157.94	46.01	1.14	-	-
TCP-traj	-	59.90	30.00	76.54	18.08	0.04	-	-
AutoVLA (Fast CoT)	3.00	78.84	57.73	146.93	39.33	10.52	1322.85	7.18
DriveMoE (Single-view)	3.00	74.22	48.64	175.96	15.31	3.17	319.54	14.85
ORION	7.00	77.74	54.62	151.48	17.38	9.07	5440.70	17.83
ORION + SA (本文)	3.68 (激活 52.6%)	75.88	50.45	150.09	25.29	4.77	2971.60	17.83
SimLingo (基线)	0.50	85.07	67.27	259.23	33.67	0.59	410.79	2.03
SimLingo + SA (本文)	0.23 (激活 44.6%)	84.87	65.45	266.19	54.36	0.27	214.01	2.01

消融实验¶

消融实验系统验证了动态预算调度机制以及三类场景复杂度感知 token（场景时序偏差 $\mathbf{e}_s$、速度决策偏差 $\mathbf{e}_{sw}$、路径决策偏差 $\mathbf{e}_{pw}$）在 Bench2Drive 闭环评测中的各自贡献。

配置方案	动态预算调度	场景偏差 $\mathbf{e}_s$	速度偏差 $\mathbf{e}_{sw}$	路径偏差 $\mathbf{e}_{pw}$	驾驶得分 (DS) ↑	成功率 (SR, %) ↑	行车效率 ↑	舒适度 ↑	平均激活预算 (%) ↓
完整模型 (Full)	✓	✓	✓	✓	84.87	65.45	266.19	54.36	44.64%
随机预算基线	×	✓	✓	✓	83.81	62.55	259.18	51.49	60.03%
去除速度偏差	✓	✓	×	✓	84.60	64.09	249.68	37.63	71.89%
去除路径偏差	✓	✓	✓	×	83.88	63.63	247.17	30.75	66.70%
去除速度+路径偏差	✓	✓	×	×	84.12	63.18	241.10	34.24	68.05%
去除场景时序偏差	✓	×	✓	✓	83.37	64.09	258.74	56.74	54.37%
去除全部偏差 Token	✓	×	×	×	84.04	63.18	254.06	35.35	73.59%

关键发现¶

决策偏差是驱动算力节约的核心信号：移除速度偏差 $\mathbf{e}_{sw}$ 或路径偏差 $\mathbf{e}_{pw}$ 后，平均激活预算分别剧增至 71.89% 与 66.70%，且舒适度大幅下跌（从 54.36 骤降至 37.63 与 30.75）。这说明车辆动作预测的相邻帧不确定性是判断路况是否平顺或突变的最敏锐指标。
动态路由远优于随机或固定比例剪枝：以平均 44.64% 算力运行的完整模型不仅在成功率（65.45%）上大幅优于激活 60% 算力的随机分配基线（62.55%），且显著逼近 70% 固定激活基线（64.09%），证明了在直道等简单工况下精准节约算力、在弯道复杂交互中及时调集深层容量的合理性。
舒适度与效率意外提升：SimLingo + SA 的行车效率（266.19 vs 259.23）与舒适度（54.36 vs 33.67）甚至超越了原始密集基线，原因在于场景感知模块对相邻帧轨迹偏差进行了显式平滑约束与敏感惩罚，减少了过拟合深层噪声所带来的频繁突刹与方向抖动。

亮点与洞察¶

无外置开销的内省式复杂度建模：巧妙地利用连续帧轨迹预测的重叠时序残差构建不确定性偏差，无需运行昂贵的外置场景分类器或多模型集成，几乎零成本提炼了场景复杂度。
自适应下界与非连续路由组合：提出 $b_{\min}$ 约束彻底避免了稀疏化造成的基底推理崩溃，同时相比限制层序的 Early-exit 机制，全自由度 Top-$k$ 子层选择为深层特征提供了跨越式路由空间。
跨骨干架构的可迁移性：方法不仅成功轻量化 InternVL2 (Qwen2) 架构，还在基于多视角与 Vicuna-7B 的 ORION 模型上验证了 47.4% FLOPs 削减的泛化潜力。

局限与展望¶

作者指出的局限：受制于大规模闭环仿真与强化学习调优的高昂算力成本，尚未在更多异构 VLA 骨干（如基于扩散策略或大型双向编码器架构）上完成更全面的多卡规模化验证。
实际存在的挑战：在安全性分析中，模型在 Route Compliance（路径依从性/偏航）指标上的轻微扣分略有增加，说明动态跳层可能微弱削弱了远距离细粒度车道线拓扑的连续追踪能力。
后续改进方向：可进一步将序列级自适应（如动态视觉 token 聚合与变长 CoT）与本文的结构级层路由相融合，形成“Token 空间-网络深度”双维稀疏化的高效自动驾驶推理范式。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将时序动作不确定性感知与动态层路由结构自适应结合引入端到端驾驶 VLA。
实验充分度: ⭐⭐⭐⭐⭐ 兼具 CARLA 闭环 Bench2Drive 完整评测、语言问答评测、消融实验、安全性违规归因分析与跨模型泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，问题陈述明确，框架图与数学公式完备自洽。
价值: ⭐⭐⭐⭐⭐ 针对自动驾驶车载端计算受限的行业真痛点，具有强工程落地前景与参考价值。