跳转至

OmniSpace: Efficient Geometry Awareness for Autonomous Vehicles MLLMs

会议: NeurIPS 2026
arXiv: 2606.22617
OpenReview: https://openreview.net/forum?id=XICFVurCWx
论文: https://arxiv.org/abs/2606.22617
领域: 多模态VLM
关键词: 自动驾驶, 多模态大模型, 几何感知, 极线注意力, 3D几何蒸馏

一句话总结

OmniSpace 通过相机位姿注入器（普吕克光线嵌入）、多视角极线注意力和时序几何聚合蒸馏，使多模态大模型在纯 2D 推理时无需外部 3D 辅助网络即可获得强几何感知与轨迹规划能力。

研究背景与动机

多模态大语言模型（MLLMs）在各类 2D 视觉与语言理解任务中展现出卓越的泛化能力，自然成为替代传统自动驾驶模块化与端到端系统的重要探索方向。然而，现有多模态自动驾驶方案普遍将多视角驾驶理解退化为常规的 2D 视觉自回归生成问题。由于其视觉主干大多继承自基于图像-文本语义对齐预训练的 CLIP 式范式，模型虽然能精准识别目标语义，却无法建立内部公制度量深度与场景三维几何结构；深度、物理尺度、相机外参和跨视角对应关系被深埋在扁平的视觉 token 中，造成下游路径规划与碰撞避让常出现严重几何幻觉。

为弥补三维空间智能的缺失，近期工作（如 VGGDrive、SpaceDrive 等）往往在测试阶段外挂独立的 3D 几何估计或基础模型。尽管这一外挂范式在一定程度上改善了感知，但由于在推理时引入额外的 3D 模块，推理吞吐量急剧跌落至 0.03~0.25 FPS，不仅部署复杂度剧增，更面临上游 3D 估计失真引发的级联崩溃风险。这引发了一个根本性问题：多模态大模型能否在完全不增加测试期计算负担与外部网络的前提下，直接在自身视觉表征中内生出坚实的几何感知？

诊断实验（Geo-Bench）进一步揭示了当前 MLLM 在多视角自动驾驶理解中的核心瓶颈正是在于单目公制深度估计与跨视角对应关联（Cross-view Correspondence）。核心 idea：将 3D 几何先验彻底约束在训练阶段，通过普吕克光线注入显式视线几何、多视角极线注意力约束空间对应搜索，并结合多帧时序几何聚合蒸馏，使纯 2D MLLM 在测试阶段零额外开销实现端到端几何感知。

方法详解

整体框架

OmniSpace 接收自动驾驶多相机采集的同步多视角图像序列与驾驶指令，最终直接自回归生成控制轨迹、风险评估或场景描述文本。整个架构在推理期保持纯 2D 视觉-语言前向通路，而在训练期通过三级递进机制完成几何能力的注入与内化：首先利用普吕克光线参数化为每个视角图像 token 注入视角原点与方向信息；其次通过极线几何约束跨视角注意力交互区域，滤除几何不一致的冗余检索；最后在训练阶段借助前向 3D 基础模型（VGGT）聚合多帧时序点云特征进行稠密特征蒸馏，推理时彻底丢弃 3D 教师网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    I["同步多视角图像<br/>I_t = {I_t^1, ..., I_t^N}"] --> E["2D 视觉编码器<br/>提取多视角特征 F^2D"]
    R["相机内外参<br/>光线原点与方向"] --> P["相机位姿注入器<br/>普吕克光线嵌入 P_ij"]
    E --> J["加权融合特征<br/>F_bar^2D = F^2D + phi_p(P)"]
    P --> J
    J --> A["多视角极线注意力<br/>约束对极几何线核聚合"]
    A --> M["几何增强视觉 Token<br/>输入 MLLM 骨干网络"]
    subgraph S_Train["训练阶段专属几何蒸馏"]
        direction TB
        T["时序多帧滑动窗口<br/>C_t = {I_{t-K}, ..., I_{t+K}}"] --> G["3D 教师网络 VGGT<br/>提取 3D 特征序列"]
        G --> TA["时序特征均值聚合<br/>消除单帧遮挡与稀疏重叠"]
    end
    M -.->|MLP 维度对齐| D["3D 几何蒸馏损失 L_3D<br/>自适应池化对齐特征图"]
    TA -.-> D
    M --> O["下游任务自回归生成<br/>规划轨迹 / 风险评测 / QA"]

关键设计

1. 相机位姿注入器：普吕克光线消除尺度与原点歧义

传统视觉编码器对输入图像缺乏相机空间坐标系的感知，若朴素地将光心原点 \(\mathbf{o} \in \mathbb{R}^3\) 与归一化视线方向 \(\mathbf{d}\) 拼接为 \((\mathbf{o}, \mathbf{d})\)，同一几何直线上任意偏移点 \(\mathbf{o}' = \mathbf{o} + t\mathbf{d}\) 会生成不同的向量表示，导致光线几何在代数上失去唯一性。为解决该问题，OmniSpace 引入神经光场中的普吕克光线（Plücker Ray）参数化：

\[P_{ij} = (\mathbf{o} \times \mathbf{d}_{ij},\, \mathbf{d}_{ij}) \in \mathbb{R}^6\]

由于任意共线偏移满足 \((\mathbf{o} + t\mathbf{d}_{ij}) \times \mathbf{d}_{ij} = \mathbf{o} \times \mathbf{d}_{ij} + t(\mathbf{d}_{ij} \times \mathbf{d}_{ij}) = \mathbf{o} \times \mathbf{d}_{ij}\)，普吕克坐标天生具备投影变换下的唯一不变性。所得 6 维光线图通过轻量级 \(1 \times 1\) 卷积 \(\phi_p\) 映射为位置偏置，并以残差方式融入原始视觉特征：\(\bar{F}_{ij}^{2D} = F_{ij}^{2D} + \phi_p(P_{ij})\)。为避免在微调初期破坏预训练 2D 特征流的语义分布，\(\phi_p\) 采用零初始化（zero-initialization），使模型在训练初期平滑起步并渐进学习相机空间先验。

2. 多视角极线注意力：几何约束空间对应点搜索

在常规全注意力机制下，跨视角 token 交互由于搜索空间过大极易建立语义相似但空间矛盾的虚假关联。为此，OmniSpace 将极线几何（Epipolar Geometry）显式嵌入 cross-view attention 机制中。给定视角 \(i\) 中的源查询 token \(s\)，系统根据相机内外参矩阵推导其在其他所有视角 \(j \neq i\) 中对应的极线 \(l_j\)：

\[\hat{\mathbf{F}}^{2D}_{i,s} = \mathrm{SoftMax}\left(\frac{Q(\bar{\mathbf{F}}^{2D}_{i,s}) \cdot K([\bar{\mathbf{F}}^{2D}_{i} \mid \bar{\mathbf{F}}^{2D}_{j,l_j}])^{\top}}{\sqrt{d}}\right) \cdot V([\bar{\mathbf{F}}^{2D}_{i} \mid \bar{\mathbf{F}}^{2D}_{j,l_j}])\]

其中 token 在同视角内保持全局自注意力以捕捉完整单帧语境，而在跨视角分支中，Key 和 Value 仅保留落在对极线 \(l_j\) 上的候选点集 \(\bar{\mathbf{F}}^{2D}_{j,l_j}\)。针对特征图离散化步距和相机标定微小噪声，极线通过 \(3 \times 3\) 膨胀卷积扩展局部邻域窗口。输出再经过零初始化的投影层 \(\phi_f\) 残差注入主干：\(\tilde{\mathbf{F}}^{2D}_{i,s} = \phi_f \hat{\mathbf{F}}^{2D}_{i,s}\)，在保留大模型原有语义理解的同时强迫特征在几何物理真值约束下完成多视角对齐。

3. 3D 几何蒸馏：多帧时序聚合消除室外感知噪声

即便建立了视线嵌入与极线约束，模型本身仍未直接获得绝对的三维场景公制结构。直接引入测试期 3D 模块会拖慢推理，而在训练阶段若仅将当前帧多视角图像输入通用 3D 基础模型（如 VGGT），由于自动驾驶环视相机视场重叠极小、测距范围广且存在动态遮挡，单帧前向点云常常高度嘈杂。OmniSpace 提出对称时序滑动窗口机制，在时间戳 \(t\) 采样前后 \(2K+1\) 帧同步多视角构图 \(\mathcal{C}_t = \{\mathcal{I}_{t-K}, \ldots, \mathcal{I}_t, \ldots, \mathcal{I}_{t+K}\}\)，通过时序均值聚合构建结构稳定的教师特征：

\[\tilde{\mathbf{F}}^{3D}_{teacher} = \frac{1}{2K+1} \sum_{\tau=t-K}^{t+K} \mathbf{F}^{3D}_{\tau} \in \mathbb{R}^{HW \times \hat{D}}\]

学生多模态特征经过轻量 MLP 映射后，与经自适应平均池化匹配分辨率的教师特征计算均方误差损失：

\[\mathcal{L}_{3D} = \left\| \tilde{\mathbf{F}}^{3D}_{stud.} - \mathrm{Pool}(\tilde{\mathbf{F}}^{3D}_{teach.}) \right\|_2^2\]

该设计不仅利用车辆移动自然扩充了多视角基线重叠度、修补了瞬时遮挡，更使整个 3D 基础模型在部署时完全剥离，实现了零推理延迟代价的三维几何迁移。

损失函数 / 训练策略

OmniSpace 的总体训练损失由下游任务的标准自回归交叉熵损失 \(\mathcal{L}_{task}\) 与 3D 几何蒸馏损失 \(\mathcal{L}_{3D}\) 联合构成：

\[\mathcal{L}_{total} = \mathcal{L}_{task} + \lambda \mathcal{L}_{3D}\]

微调策略基于 LoRA（rank=16），仅对大语言模型权重注入低秩适配器，而保持原 2D 视觉编码器及图文投影层冻结。默认采用 Qwen3-VL-4B 作为主干，VGGT 作为离线特征提取教师，时序滑动窗口半长设为 \(K=2\)（即总共 \(N=4\) 级时间聚合）。在 8 张 NVIDIA A100 (40GB) 上采用批大小 8、余弦退火学习率 \(1 \times 10^{-4}\) 训练 2 个 epoch。

实验关键数据

主实验

在 nuScenes 开环端到端规划基准测试中，OmniSpace 与各类型自动驾驶模型（涵盖传统端到端、纯 2D MLLM 及测试期外挂 3D 模型方法）的全面对比如下表所示：

方法 主干 LLM 参数量 推理速度 (FPS) ↑ 轨迹误差 L2 (Avg.) ↓ 碰撞率 Collision (%) ↓ 违规截断率 Intersection (%) ↓
UniAD – 125M 1.8 0.46 0.37 1.59
VAD-Base – 58M 4.5 0.37 0.33 2.47
纯 2D MLLM 基线
Qwen2.5-VL 7B (Baseline) Qwen2.5-VL 7B 7.75B 0.42 0.37 0.31 3.59
InternVL3.5 4B (Baseline) InternVL3.5 4B 4.73B 0.47 0.37 0.35 3.59
Qwen3-VL 4B (Baseline) Qwen3-VL 4B 4.40B 0.44 0.36 0.36 3.05
DriveVLM Qwen-VL 9.60B – 0.40 0.27 –
外挂测试期 3D 模型
ORION Vicuna-7B 7.55B – 0.34 0.37 –
OmniDrive LLaVA-7B 7.20B 0.27 0.33 0.30 3.00
VGGDrive Qwen2.5-VL 7B 8.50B 0.03 0.31 0.22 2.31
SpaceDrive Qwen2.5-VL 7B 8.70B 0.25 0.32 0.23 1.27
OmniSpace（训练期蒸馏，本文）
OmniSpace (Qwen2.5-VL) Qwen2.5-VL 7B 7.79B 0.40 0.28 0.22 1.25
OmniSpace (InternVL3.5) InternVL3.5 4B 4.77B 0.46 0.30 0.20 1.50
OmniSpace (Qwen3-VL) Qwen3-VL 4B 4.44B 0.42 0.28 0.19 1.27

在闭环仿真评测 Bench2Drive 基准上，OmniSpace 表现出强劲的驾驶稳定性：采用 Qwen3-VL 4B 实现了 81.40 的驾驶得分（Driving Score）与 65.52% 的成功率（Success Rate），超越外挂深度估计的 SpaceDrive（78.02 / 55.11%）和 ORION（77.74 / 54.62%）。

消融实验

针对所提出的三大模块在 nuScenes 规划任务上的有效性消融结果如下表所示：

实验配置 相机位姿注入器 多视角极线注意力 3D 几何蒸馏 L2 误差 (m) ↓ 碰撞率 Collision (%) ↓ 违规截断率 Intersection (%) ↓
#1 (Vanilla Baseline) ✗ ✗ ✗ 0.36 0.36 3.05
#2 ✓ ✗ ✗ 0.32 0.24 2.80
#3 ✗ ✗ ✓ 0.30 0.23 2.92
#4 ✗ ✓ ✗ 0.33 0.23 2.84
#5 ✓ ✗ ✓ 0.29 0.21 2.52
#6 (Full Model) ✓ ✓ ✓ 0.28 0.19 1.27

在光线嵌入方式消融中，朴素光线向量 \((\mathbf{o}, \mathbf{d})\) 的 Intersection 仅降至 2.50%，而普吕克光线则大幅降至 1.27%；跨视角注意力设计中，常规全注意力（Vanilla Attention）的碰撞率为 0.24%、截断率为 1.96%，而极线注意力凭借空间几何约束将二者分别压降至 0.19% 与 1.27%。此外，时序窗口大小从单帧 \(N=0\)（L2: 0.32, 碰撞率: 0.26%）扩展到 \(N=4\) 时指标显著优化至 0.28 与 0.19%，但进一步增大至 \(N=6\) 时边际收益饱和且特征提取耗时激增（82h → 110h）。

关键发现

  • 几何与安全强相关：纯 2D 大模型在引入相机几何与极线注意力后，碰撞率从 0.36% 骤降至 0.19%，且道路违规截断率（Intersection）降低了 58%，证明轨迹安全主要取决于空间几何精确度而非单纯的语言逻辑推理。
  • 训练期蒸馏兼得效果与效率：相比同为 3D 几何增强的 VGGDrive（0.03 FPS）和 SpaceDrive（0.25 FPS），OmniSpace 维持在 0.42 FPS（与原始 2D MLLM 的 0.44 FPS 基本持平），完全规避了推理阶段外挂深度与 3D 点云的算力瓶颈。
  • 语言泛化与风险感知全面收益：NuInstruct 风险感知准确率由基线的 59.51% 提升至 64.81%（MAP 提升至 40.36），OmniDrive 语言描述 CIDEr 由 94.93 跃升至 96.70，表明 3D 几何特征注入并未引起语言对齐能力的退化，反而深化了对动态交通环境的语境描述。

亮点与洞察

  • 普吕克参数化巧妙解耦共线歧义：利用外积 \((\mathbf{o}+t\mathbf{d}) \times \mathbf{d} = \mathbf{o} \times \mathbf{d}\) 的几何性质，完美克服了世界坐标系下沿视线位移导致的表示发散，以极简形式为视觉 token 赋予物理坐标含义。
  • 时序聚合化解 3D 基础模型域迁移难题：敏锐指出通用 3D 教师模型（VGGT）在室外车载场景中单帧重叠不足的致命缺陷，通过时序多帧聚合以时间换空间，构建出高质量的自动驾驶蒸馏监督信号。
  • 推训分离的工程落地哲学：将几何重载转移到离线训练期，推理保持纯 2D 纯前向，解决了自动驾驶部署对实时性与鲁棒性的苛刻要求。

局限与展望

  • 作者指出的局限：时序几何聚合目前仅采用简单的滑动窗口等权均值池化，未对本车自运动（Ego-motion）以及动态背景目标进行精确的自车运动补偿；此外极线注意力与普吕克光线高度依赖于相机标定矩阵的绝对精准度，对传感器抖动与外参漂移的容忍度有待检验。
  • 实际应用展望：当前仅使用了单一固定的通用 3D 教师（VGGT），未来可探索针对大规模室外自动驾驶场景预训练的时空 BEV 基础大模型作为教师，以进一步提升复杂恶劣工况下的几何鲁棒性。

相关工作与启发

  • vs VGGDrive / SpaceDrive: 后两者在推理时必须并行运行 VGGT 或通用单目深度估计器，推理极慢且易产生级联误差；OmniSpace 仅在训练阶段借助 VGGT，推理时零外挂，速度提升超过 10 倍。
  • vs UniAD / VAD-Base: 传统端到端感知规划模型缺乏大语言模型的少样本推理与指令跟随交互能力；OmniSpace 则完整保留了 MLLM 强大的语言理解与通用常识推理底座。

评分

  • 新颖性: ⭐⭐⭐⭐ [普吕克光线与极线注意力结合时序几何蒸馏，构架清晰精巧]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 nuScenes 开环、Bench2Drive 闭环、NuInstruct 风险、OmniDrive 语言及 DriveBench 泛化五大基准]
  • 写作质量: ⭐⭐⭐⭐⭐ [诊断实验动机明确，数学推导与实验论证严谨充实]
  • 价值: ⭐⭐⭐⭐⭐ [为多模态大模型在端到端具身智能与自动驾驶中的高效空间几何落地提供了范式参考]

相关论文