跳转至

Grounding Driving VLA via Inverse Kinematics

会议: NeurIPS 2026
arXiv: 2605.21061
OpenReview: https://openreview.net/forum?id=SgCKaaYRfX
领域: 自动驾驶
关键词: 自动驾驶, 视觉语言动作模型, 逆运动学, 视觉接地, 扩散策略

一句话总结

针对自动驾驶 VLA 模型易走自车状态与文本指令捷径而忽视视觉特征的“盲开”痛点，本文借鉴逆运动学需初末双重状态的视角，提出下一视觉状态预测监督与仅以首末视觉特征为瓶颈输入的条件扩散 IK 网络，以 0.5B 小模型在 NAVSIM 与 nuScenes 上媲美 7B–8B 大模型。

研究背景与动机

视觉-语言-动作模型（Driving VLA）正在成为端到端自动驾驶的重要发展方向，通过将多视角相机图像与文本导航指令输入多模态大语言模型，直接自回归或回归输出未来轨迹，展现出统一感知、预测与规划的简洁架构与扩展潜力。然而，现有 Driving VLA 普遍陷入一种“盲目规划（blind planning）”困境：模型表面上接收多路相机特征，实际规划时却几乎完全忽略视觉 token，轨迹输出高度退化为仅由自车物理状态（速度、加速度、横摆率等）和宏观文本导航指令所主导的统计平均拟合。即便在车辆正前方凭空合成插入近距离障碍物车辆，主流 7B 乃至更大规模的 VLA 规划轨迹依然毫无反应地径直向前穿行，暴露出视觉接地（visual grounding）严重失效的安全隐患。

从任务形式化层面深入剖析，这一盲开现象并非训练不充分或数据不足，而是标准轨迹回归目标在物理和数学机制上的结构性缺陷。在实际真实驾驶数据分布中，绝大多数场景属于常规跟车巡航或顺畅车道行驶，只有极少比例（论文量化仅约 10%–30%）属于需要视觉强介入避障纠偏的 vision-critical 场景。在直接回归未来轨迹的均方误差损失下，将轨迹输出随视觉特征波动的残差项设为零，恰好构成了在绝大多数非视觉主导样本上的最优经验风险解，导致视觉表征在梯度反向传播中长期遭受惩罚与衰减，形成严重的捷径学习（shortcut learning）。

本文的切入视角借鉴机器人逆运动学（Inverse Kinematics, IK）：轨迹求解在物理本质上需要起始状态与目标终止状态构成的双重边界条件，而现有 VLA 仅输入当前单帧视觉状态便直接监督轨迹，模型既缺乏推断未来视觉演化的监督激励，解码器结构又留有直接绕过视觉直达自车状态与文本的直通旁路。核心 idea：将 Driving VLA 重构为逆运动学求解范式，一方面引入下一视觉状态预测任务迫使 LLM 预测未来场景表征以提供密集视觉监督，另一方面设计独立的条件扩散逆运动学网络（IK Network），强制解码器仅以当前与预测未来的视觉特征对为输入瓶颈，彻底切断自车状态和文本指令的旁路捷径。

方法详解

整体框架

本文提出的 Driving VLA 架构由视觉编码器投影层、多模态语言骨干网络（LLM）以及专用的逆运动学网络（IK Network）协同组成。系统输入当前时刻三路前方环视相机图像（前视、左前视、右前视）、自车物理动力学状态（速度、横摆角速度、加速度等物理向量）以及文本导航指令与可选的场景感知问答。整体执行流程清晰解耦为“多模态理解与未来视觉演化预测”和“基于视觉首末边界条件的轨迹逆求解”两阶段：首先，DINOv3 视觉编码器提取多视角图像 patch 特征，经由 MLP 投影与自车状态嵌入一同输入 LLM，LLM 负责自回归生成感知问答文本并在特殊标记间预测未来 \(\Delta t\) 秒时刻的自车视角视觉特征；随后，独立的 IK 网络将当前真实视觉 token 与 LLM 预测的未来视觉 token 作为唯一输入条件，利用逆向去噪扩散过程求解生成物理可行且避开视觉障碍物的未来轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像输入<br/>前视 / 左前 / 右前"] --> B["DINOv3 视觉编码器 + MLP 投影"]
    C["自车状态 + 文本指令"] --> D["多模态大模型 Qwen2.5-0.5B"]
    B --> D
    D --> E["下一视觉状态预测<br/>预测未来视觉表征"]
    D -.->|多任务问答| F["场景驾驶问答输出"]
    B --> G["逆运动学网络 IK Network<br/>双交叉注意力条件扩散"]
    E --> G
    G --> H["去噪生成未来自车轨迹"]

关键设计

1. 下一视觉状态预测监督：打破绝大多数巡航样本中的视觉崩塌

现有模型之所以在常规直行场景中把视觉权重优化归零，是因为轨迹目标在绝大多数样本下仅凭当前速度与朝向即可拟合。为了在损失层面对视觉特征提供持久的强监督梯度，本文让语言骨干网络显式承担未来视觉状态预测任务。令当前视觉 token 为 \(V_t\)，自车物理状态为 \(E_t\)，导航文本为 \(C_t\)，LLM 骨干 \(w_\phi\) 在输出端的 <next_start> 到 <next_end> 占位符位置预测未来时刻的特征向量 \(\hat{V}_{t+\Delta}\)，并与真实未来帧经过同一视觉编码器投影后的目标特征 \(V_{t+\Delta}\) 施加均方误差监督：

\[\mathcal{L}_{\text{visual}} = \|w_\phi(V_t, E_t, C_t) - V_{t+\Delta}\|_2^2\]

通过对该损失进行偏差-方差分解，由于物理世界视觉场景具有内生多样性，其条件方差 \(\sigma_V^2 = \mathbb{E}_{E,C}[\text{Var}(V_{t+\Delta} \mid E,C)] > 0\) 严格大于零。若模型选择忽视视觉特征 \(V_t\) 发生退化崩塌，其预测损失将永远受限于数据内在方差而无法下降。该目标因此在数学上构成了持续激活视觉表征参数的反崩塌屏障。

2. 仅以视觉对为输入的逆运动学瓶颈解码器：从结构上阻断状态捷径

仅有未来状态预测并不足以确保下游轨迹必定依赖视觉，若轨迹解码器仍能直接获取自车状态 \(E\) 和指令 \(C\)，优化过程依然倾向于沿短路流动。为此，本文设计了独立的逆运动学网络（IK Network）\(h_\psi\)，其输入存在强硬的结构约束：严禁任何自车物理状态或文本嵌入直接接入该网络，该解码器只接收当前视觉特征 \(V_t\) 与预测的未来视觉特征 \(\hat{V}_{t+\Delta}\) 构成的状态对作为条件。

在这一结构瓶颈下，模型若试图在轨迹端忽略视觉信息，其输出将退化为恒定常数，从而无法匹配随不同初始状态变化的真实位移，导致偏差项急剧飙升。因此，模型必须且只能通过“视觉提取自车位置演化与周围障碍物间隙”来重建运动学轨迹，迫使自车状态的先验影响必须完全投影在视觉未来表征的预测中，实现了在轨迹求解层面的因果视觉接地。

3. 基于双层交叉注意力的条件扩散轨迹生成机制

针对多模态自动驾驶中轨迹分布的高维度与多峰特性，IK 网络被实例化为基于连续扩散过程的条件生成模型（DDPM）。网络主体包含堆叠的交叉注意力层与前馈网络，将加噪后的轨迹噪声向量 \(x_t \in \mathbb{R}^{2 \times H}\)（叠加时间步正弦嵌入）作为 Query，依次以当前视觉 token \(Z_t\) 和预测的未来视觉 token \(\hat{Z}_{t+\Delta t}\) 作为 Key 与 Value 进行双阶段特征交互：

\[\epsilon_\theta(x_t, t, Z_t, \hat{Z}_{t+\Delta t}) = \text{MLP}\Big(\text{CrossAttn}\big(\text{CrossAttn}(x_t + \text{TE}(t), Z_t), \hat{Z}_{t+\Delta t}\big)\Big)\]

训练阶段遵循余弦加噪调度表优化噪声预测损失 \(\mathcal{L}_{\text{ik}}\)，在推理阶段从高斯噪声出发历经 50 步反向扩散求解生成平滑且兼顾动力学可执行性的航向轨迹，不仅有效规避了回归头输出确定性平均导致的碰撞折中，也显著优于简单的确定性 MLP 投影。

损失函数 / 训练策略

模型整体采用端到端联合多任务优化目标：

\[\mathcal{L} = \lambda_{\text{state}} \mathcal{L}_{\text{visual}} + \lambda_{\text{traj}} \mathcal{L}_{\text{ik}} + \lambda_{\text{qa}} \mathcal{L}_{\text{qa}}\]

其中 \(\mathcal{L}_{\text{qa}}\) 为针对场景问答数据的标准自回归下词交叉熵损失。优化器采用 AdamW，配置余弦衰减学习率调度策略及 1.0 的梯度截断。针对 LLM 骨干（Qwen2.5-0.5B）与轻量 IK 网络在结构容量与优化动态上的差异，实施差异化学习率配置（骨干网络设为 \(1 \times 10^{-5}\)，扩散 IK 网络设为 \(1 \times 10^{-4}\)）。在 NAVSIM 评测中，遵循两阶段范式：首先在 navtrain 数据集进行 44 轮监督微调（SFT），随后采用基于 PDMS 闭环评分奖励的强化学习算法（GRPO）微调，预测未来 4 秒内的 8 个航路点；在 nuScenes 上则联合 QA 数据完成 4 轮训练，输出未来 3 秒内的 6 个轨迹点。

实验关键数据

主实验

论文在极具挑战的闭环基准 NAVSIM（v1 与 v2）以及经典开环基准 nuScenes 上开展了全面评估。在与完全相同训练数据、超参数与 0.5B 骨干的严格对齐基线 OpenDriveVLA* 比较中，本文方法展示了爆发性性能跃升，并在多项指标上达到或超越参数量大一个数量级以上的 7B–8B 模型。

基准 / 数据集 评价指标 本文模型 (0.5B) 严格对照 OpenDriveVLA* (0.5B) 行业 SOTA (7B–8B 级代表) 相对 baseline 提升
NAVSIM-v1 (闭环) 规划得分 PDMS ↑ 92.2 73.2 91.8 (DriveFine-8B) / 90.2 (DriveVLA-W0-7B) +19.0
NAVSIM-v1 (闭环) 无碰撞率 NC (%) ↑ 99.1 92.2 98.8 (DriveFine-8B) +6.9
NAVSIM-v1 (闭环) 碰撞时间 TTC (%) ↑ 99.1 91.2 96.2 (DriveFine-8B) +7.9
NAVSIM-v2 (闭环) 拓展得分 EPDMS ↑ 90.6 70.2 89.7 (DriveFine-8B) / 86.5 (DriveVLA-W0-7B) +20.4
NAVSIM-v2 (闭环) 车道保持 LK (%) ↑ 97.4 90.8 97.7 (DriveFine-8B) +6.6
nuScenes val (开环) 3s 平均位移误差 L2 (m) ↓ 0.06 0.35 (OpenDriveVLA-0.5B) 0.33 (OpenDriveVLA-7B) / 0.30 (Impromptu-7B) -0.29 m
nuScenes val (开环) 3s 碰撞率 Collision (%) ↓ 0.09 0.09 (OpenDriveVLA-0.5B) 0.10 (OpenDriveVLA-7B) 持平 / 优于大模型

消融实验

在 nuScenes 验证集上对各个核心组件进行系统剥离消融，验证了视觉状态预测与结构瓶颈的决定性作用：

配置 轨迹误差 ADE (m) ↓ 说明
Full model (完整模型) 0.06 包含下一视觉状态预测 + 扩散 IK 瓶颈网络
去除下一状态预测 (改为重建当前状态) 0.07 在转向等强动态工况下显著劣变（\(p=1.2 \times 10^{-14}\)）
去除扩散机制 (改为注意力池化 + MLP) 0.16 生成式建模对复杂多模态轨迹质量有显著增益
去除 IK 网络瓶颈 (直接用 LLM 隐藏状态接 MLP) 0.31 轨迹误差剧增超 5 倍，模型重新退化至忽略视觉的捷径中

在反事实障碍物缝合（Counterfactual Obstacle Stitching）测试中，面对前方合成障碍物： - OpenDriveVLA-0.5B：减速避障响应比例仅 44.2%，平均终点缩短距离仅 -0.06 m； - Alpamayo-R1-10B：减速响应比例 54.5%，平均缩短距离 -0.12 m； - 本文 0.5B 模型：减速避障响应比例达 63.8%，平均位移缩短达 -1.04 m，证实视觉特征真实在因果意义上驱动轨迹响应。 - 此外，视觉显著性 GradCAM 评测中，本文在前景目标注意力集中度（Pointing Mass）达 0.268，超越 OpenDriveVLA（0.205）与 Impromptu-VLA（0.103），注意力不再涣散在天空或路面。

关键发现

  • 结构隔离比模型规模更关键：消融显示将 IK 瓶颈网络移除后，误差由 0.06 陡增至 0.31，说明即使存在未来视觉预测，只要解码器能“偷看”自车状态，捷径学习就会不可避免地死灰复燃。
  • 动态场景受益最深：下一状态预测在全局巡航下看似与当前重建差距不大，但在涉及转向角速度偏转等高动态驾驶工况下，两者的表现差距统计极其显著，证明终点视觉锚定在复杂转向决策中具有不可替代的作用。

亮点与洞察

  • 物理视角的任务重构：敏锐地将轨迹规划归结为逆运动学问题，指出缺乏目标终点状态输入是造成当前端到端模型投机取巧的本质诱因，立意深刻且切中要害。
  • 纯架构级捷径阻断设计：通过 IK 瓶颈层将自车状态隔绝在轨迹解码器之外，无需额外设计复杂的对抗正则化或启发式剪枝，结构优美自然。
  • 小模型以巧破力：凭借 0.5B 规模的多模态小模型直接斩获 NAVSIM-v1 (92.2) 和 v2 (90.6) 顶尖水准，全面倒挂甚至超越了 7B–8B 规模的庞大基线，为边缘端低算力高安全驾驶提供了极具吸引力的范式。

局限与展望

  • 推理延迟与采样步数：IK 模块采用 50 步 DDPM 扩散采样，虽然轨迹维度较小，但在对实时性要求极苛刻的毫秒级车载控制中仍存在计算开销，未来可引入 Consistency Model、Flow Matching 或单步扩散蒸馏进行极致加速。
  • 预测视界与多相机范围：当前实验仅基于前方三路相机预测固定时间步（3-4 秒）的下一视觉状态，面对倒车或大曲率弯道掉头等极端环视工况的泛化边界有待进一步探索验证。

相关工作与启发

  • vs DriveVLA-W0 / LAW：现有结合世界模型的方法通常仅将未来预测视作辅助多任务损失，轨迹解码器依然直接读取全部自车状态与多模态上下文，未从架构上根除捷径；本文则将未来预测作为轨迹解码不可或缺的首末边界条件之一，并物理隔绝直接状态旁路。
  • vs OpenDriveVLA / EMMA：传统 Driving VLA 直接依赖 LLM 自回归生成动作 token 或坐标文本，容易在缺乏强视觉因果绑定的情况下强行死记硬背数据分布；本文解耦为“LLM 演化空间预测 + 逆运动学扩散解算”，兼顾了通用语义理解与底层几何控制的物理严谨性。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 逆运动学初末状态重塑 VLA 物理边界条件的视角极为新颖独到。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖闭环仿真、开环规划、反事实障碍物因果探针与 GradCAM 热力图，论证闭环扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从偏差方差分解到架构映射逻辑严密。
  • 价值: ⭐⭐⭐⭐⭐ 0.5B 模型力压 7B 巨兽，对具身智能与自动驾驶的轻量化部署与理论设计具有重大启发。

相关论文