BEVLM: Distilling Semantic Knowledge from LLMs into Bird's-Eye View Representations¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4104
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4498.pdf
项目: BEVLM
领域: 自动驾驶
关键词: 鸟瞰图表征、语义蒸馏、视觉问答、空间推理、闭环安全评估

一句话总结¶

BEVLM 先验证融合多视角的 BEV token 更适合语言模型进行空间推理，再用冻结 LLM 的问答梯度和检测监督共同训练 BEV 编码器，在部署时不引入 LLM 的前提下，将 UniAD 的 NeuroNCAP 分数从 2.38 提升到 3.05，碰撞率从 0.56 降至 0.47。

研究背景与动机¶

自动驾驶里的多模态语言模型通常把每个摄像头、每个时间帧分别编码，再把视觉 token 交给语言模型。这样能利用互联网图文预训练，却把同一驾驶场景拆成不同坐标系的图像片段：一个对象在不同视角中的位置、两个对象之间的真实距离，都需要语言模型重新拼接。帧数增加还会重复处理相关内容，因此语义强并不等于跨视角几何推理强。

BEVFormer、UniAD 和 VAD 采用另一种中间表示：将多视角与时序信息融合到自车坐标系下的鸟瞰网格。这个网格适合描述空间关系，也便于检测、预测和规划模块共享，但通常依靠三维框等几何标注训练。“车在哪里”有直接监督，“前方车道被占用意味着应该提前避让”却不一定被编码。反过来，图文基础模型虽然拥有更广的语义知识，也未必能准确理解相机之间的几何关系。

本文没有直接让语言模型控制汽车，而是先问 BEV 是否已经是一种有效的语言模型输入，再问能否把语言模型所需的安全语义留在 BEV 编码器里。核心 idea：把冻结 LLM 作为可反向传播的语义教师，用驾驶问答塑造 BEV 特征，同时用原有检测任务维持空间结构，最后将增强后的编码器交回常规端到端驾驶系统。

方法详解¶

整体框架¶

论文有两个相互支撑但不能混淆的部分。表征研究固定驾驶场景和问题，比较原始 VLM 图像特征、UniAD 融合前图像特征、融合后的 BEV 特征，判断空间融合的价值；语义蒸馏则进一步更新 BEV 编码器，让其服务于安全相关问答，再验证更新后的表示能否改善驾驶。

蒸馏时，多帧多视角图像经过 BEV 编码器形成共享网格。一条分支将网格压缩、投影后输入冻结 LLM，另一条分支继续做目标检测；二者的监督共同更新编码器。蒸馏完成后，冻结增强编码器并重新训练 UniAD 或 VAD 的任务头，实际驾驶链路不再调用语言模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["多帧多视角图像"] --> BEV["BEV 编码器<br/>共享空间网格"]
    BEV --> ALIGN["BEV 语言接口<br/>池化与 MLP 投影"]
    DATA["驾驶问答与三维框"] --> COORD["自车坐标问答<br/>空间指代转换"]
    ALIGN --> JOINT["冻结教师与几何约束<br/>LLM 问答 + 目标检测"]
    COORD --> JOINT
    BEV -->|检测分支| JOINT
    JOINT -->|联合梯度更新编码器| DISTILL["语义增强 BEV 编码器"]
    DISTILL -->|冻结编码器并训练任务头| DRIVE["UniAD 或 VAD<br/>部署时无需 LLM"]

关键设计¶

1. BEV 语言接口：先把统一空间表示变成语言模型可消费的 token

作者采用 UniAD 的 BEV 编码器，把网格最大池化为 \(50\times50\)，得到 2,500 个视觉 token，再用可学习的 MLP 投影器对接语言模型的嵌入空间。使用 BEV token 时，原 VLM 的视觉编码器被停用，不是把两套图像 token 与 BEV token 再堆在一起。语言端选择 InternVL3 或 DeepSeek-VL 的语言组件，理由是这些模型已经做过跨模态对齐，同时也方便与它们原有的图像输入方式比较。

这个接口首先需要通过一个很具体的检查：语言模型能否回答某个方向有没有某类物体，而不只是猜数据集里最常见的答案？在 DriveLM 的物体存在性问题上，作者比较多数类先验、BEV 线性探针、UniAD 检测头派生的规则答案和 BEVLM。10 类平均准确率分别为 78.2%、88.7%、92.8%，而 InternVL3-8B 接 BEV 达到 95.3%。这说明简单投影至少保留了足以支持该任务的线索，但不能据此推断所有几何信息都无损地传给了 LLM。

接着，表征研究把 UniAD 图像主干融合前后的特征分别接入同类语言模型，以减少“模型本来就更大”的混淆。跨视角 Ego3D 问题要求理解不同摄像头中的两个对象，而不是只看一个方向；这正是共享 BEV 坐标比独立图像片段更有用的地方。最大池化并非新型推理模块，它只是一个低成本接口：下采样消融中，InternVL3-8B 的平均池化和最大池化都达到 95.3% 准确率，作者依据语言指标的差异选择后者。

2. 自车坐标问答：让文字里的空间指代与 BEV 网格处于同一坐标系

DriveLM 问答中的对象位置可能用图像像素表达，但 BEV 网格以自车为中心。直接把“对象位于图像的某个像素位置”交给 BEV 语言接口，会要求模型额外恢复相机投影关系，因此作者先转换问答中的空间指代：将真实三维框投影到图像平面，通过 IoU 匹配对象，只保留超过预设阈值的匹配，再改写成相对自车的米制位置。

这里三维真值框用于训练数据转换，不是部署时的额外输入。它解决的是监督表达方式和输入表示之间的错位，而非给语言模型提供一个额外的场景检测结果。缓存主文没有给出 IoU 阈值的具体数值，因此不能补写一个看似常用的阈值；同样，匹配不可靠的对象不应被强行赋予三维位置。

3. 冻结教师与几何约束：让语义需求改变 BEV，而不是让新解码器记答案

在蒸馏阶段，LLM 参数保持冻结，但损失仍然可以经过 LLM 反向传播到投影器与 BEV 编码器。给定“自车采取什么行动更安全”这类问题，正确答案的交叉熵会要求输入特征包含车道阻塞、潜在危险和行为后果等信息。所谓教师不是先输出一段文字、再让学生模仿那段文字；这里更重要的是教师已经学好的语义计算路径，它把问答误差转化为对学生输入特征的约束。

冻结这一点区别于普通辅助任务。如果语言解码器也从头学习，它可能用答案模板适应现有 BEV，而不迫使编码器补充真正有用的语义。作者用随机初始化辅助 Transformer 做对照，控制有效可训练参数量约为 13M，与 BEVLM 投影器相当；该方案闭环表现反而变差。这支持预训练教师有作用，但并不等价于证明每个内部特征已经可解释地对应某种安全概念。

另一方面，问答只约束与答案有关的场景信息，不会覆盖所有对象位置和空间关系。为防止编码器为语义任务牺牲几何结构，作者保留原有目标检测监督，将其与 VQA 蒸馏等权联合训练。因而增强后的表示仍可交给原来的驾驶任务头，而不是变成只能用于聊天的全局场景向量。

一个完整示例¶

以论文给出的坐标转换说明为例：原问题引用图像中的位置 (450 px, 360 px)，转换后可表述为“自车前方 3 米、左侧 1.5 米的对象”。这些数字是论文的说明性例子，不是一个测得的匹配结果。多视角图像先形成 BEV 网格，文字查询也被放到相同的自车参考系；池化后的 2,500 个 token 经 MLP 进入冻结 LLM，答案损失就能针对该空间关系回传，而检测分支继续约束对象位置。

再考虑论文图 4 的定性场景：自车右转后最右侧车道被挖掘机挡住，邻道还有一辆直行车辆逼近。增强后的驾驶系统提前调整轨迹，基线则犹豫并发生碰撞。这里没有在线的“LLM 先解释、控制器再执行”过程，也不能把上述坐标例子当成该场景的测量值；两者分别说明监督如何对齐，以及离线语义增强可能如何体现为闭环行为。

损失函数 / 训练策略¶

缓存中的原文式 (1) 抽取不完整，不能可靠复原其完整符号表达。下面只按主文明确说明的“冻结 LLM 交叉熵代理 + 等权目标检测”写出便于理解的训练目标，不冒充原式 (1)：

\[ \mathcal{L}_{\mathrm{train}}=\mathcal{L}_{\mathrm{VQA}}+\mathcal{L}_{\mathrm{det}},\qquad \mathcal{L}_{\mathrm{VQA}}=\operatorname{CE}\!\left(p_{\phi}(\cdot\mid P_{\psi}(E_{\theta}(X)),q),a\right),\quad \phi\ \text{frozen}. \]

其中 \(E_{\theta}\) 表示 BEV 编码器，\(P_{\psi}\) 概括池化与可学习投影，\(q,a\) 是问题与答案，\(p_{\phi}\) 是冻结语言模型。冻结的是参数更新，不是输入梯度；不能在 LLM 输入处切断计算图。这里也没有一个可直接访问、可逐点回归的“理想语义 token”标签，原文把这种理想表示作为解释，实际用答案交叉熵作为可微代理。

训练从 BEVFormer 检测预训练权重开始，使用完整 DriveLM-nuScenes 的感知、预测、行为、规划问答蒸馏 1 个 epoch。之后冻结蒸馏好的编码器，UniAD 的任务头训练 20 个 epoch，VAD 训练 12 个 epoch；基线同样冻结未蒸馏的预训练编码器并训练任务头，以考察表示变化的效果。

实验使用 8 张 NVIDIA A100 80GB。1B 教师的完整问答蒸馏约需 35 小时，8B 教师约需 100 小时；UniAD 后续训练仍为 115 小时。因此该方案不把 LLM 成本带入驾驶推理，但确实增加离线训练成本。数据子集消融为匹配总迭代数，让较少的行为与规划数据训练 3 个 epoch，而感知与预测子集训练 1 个 epoch，不能误写为所有子集都只训练相同轮数。

实验关键数据¶

主实验¶

Ego3D 使用跨视角、以对象为中心的问题，语言端为 InternVL3-1B。MCQ 是多选题准确率，数值距离误差为 L1、单位米；下表摘自原文表 3。I 为图像空间输入，B 为 BEV 输入，ft. 为微调配置。

表征	视觉编码器参数量	视觉 token 数	MCQ 平均准确率 (%)，越高越好	距离 L1 (m)，越低越好
原 VLM 图像特征 \(I_{\mathrm{ViT}}\)	400M	4,608	28.57	14.15
\(I_{\mathrm{ViT}}\) w/ ft.	400M	4,608	62.19	7.42
UniAD 融合前 \(I_{\mathrm{UniAD}}\)	40M	2,250	42.02	9.01
UniAD 融合后 \(B_{\mathrm{UniAD}}\)	44M	2,500	61.34	7.05

61.34% 相比 42.02% 增加 19.32 个百分点，即约 46.0% 的相对提升，而不是增加 46.0 个百分点。距离误差从 9.01 降至 7.05，约降低 21.8%。BEV 的准确率仍略低于微调 ViT 的 62.19%，因此结论是以更小视觉编码器达到接近表现，并非全面优于该基线。

驾驶评估摘自原文表 4：开放环在 nuScenes 测量预测轨迹 L2，闭环使用 NeuroNCAP，所有闭环值为 50 个随机种子运行的均值和标准差。NeuroNCAP 分数取值 0 到 5，依据碰撞冲击速度评价，5 表示无碰撞；CR 为碰撞率，数值按比例而非百分数记录。

驾驶框架与配置	平均 L2 (m)，越低越好	NeuroNCAP 分数，越高越好	CR，越低越好
UniAD，基线 BEV	1.05	2.38 ± 1.52	0.56 ± 0.31
UniAD，随机辅助问答头	1.16	1.75 ± 0.96	0.73 ± 0.19
UniAD，VLM-AD trans.	1.07	2.02 ± 1.18	0.70 ± 0.23
UniAD，VLM-AD CLIP	1.07	2.07 ± 1.13	0.67 ± 0.23
UniAD，1B 蒸馏 BEV	0.97	2.93 ± 0.69	0.54 ± 0.19
UniAD，8B 蒸馏 BEV	1.00	3.05 ± 1.26	0.47 ± 0.30
VAD，基线 BEV	0.82	3.24 ± 1.21	0.37 ± 0.24
VAD，8B 蒸馏 BEV	0.74	3.42 ± 0.97	0.34 ± 0.20

UniAD 的 8B 蒸馏使分数相对提升约 28.2%，碰撞率相对降低约 16.1%，对应绝对降低 9 个百分点。VAD 的两个闭环指标也改善，但幅度较小。8B 的开放环平均 L2 为 1.00，比 1B 的 0.97 更差，闭环却更好，说明不能用轨迹模仿误差代替安全性判断。

消融实验¶

下表摘自原文表 6，均为 UniAD；蒸馏配置使用 1B 教师。碰撞速度只在发生碰撞的样本上计算，单位 m/s，不能当作所有场景的平均车速。

问答监督	平均 L2 (m)，越低越好	NeuroNCAP 分数，越高越好	CR，越低越好	碰撞速度 (m/s)，越低越好
无蒸馏	1.05	2.38 ± 1.52	0.56 ± 0.31	6.11
感知 + 预测	1.02	2.77 ± 1.11	0.54 ± 0.25	4.64
行为 + 规划	1.01	2.75 ± 1.30	0.54 ± 0.26	3.97
全部四类问答	0.97	2.93 ± 0.69	0.54 ± 0.19	4.08

关键发现¶

语义来源重要。 同一批问答配随机辅助头不能复现收益；作者的 VLM-AD 风格复现也低于 BEVLM，支持冻结预训练 LLM 的作用，但不构成对原 VLM-AD 官方系统的直接复现结论。
更安全不一定意味着更少碰撞。 1B 的 CR 只从 0.56 变成 0.54，而碰撞速度从 6.11 降至 4.08。其分数收益主要体现为碰撞后果减轻，8B 才同时带来更明显的碰撞率下降。
问答子集互补，但并非所有指标同时最优。 全量问答的分数 2.93 最好，行为与规划子集的碰撞速度 3.97 最低；不能把“分数最优”改写成“所有安全指标最优”。

亮点与洞察¶

教师可以只存在于训练时。 语义通过输入梯度进入已有 BEV，而非要求规划器每次生成文本，因此改进方向与成熟驾驶架构兼容。
先验证接口，再讨论知识迁移。 物体存在性和跨视角实验先证明 BEV 能被语言模型利用，随后闭环评估再检验语义增强是否转化为行为收益，论证顺序比单看问答分数更完整。
几何是语义训练的约束，不是需要被替换的旧能力。 检测分支让语言任务补足安全相关信息，而不是接管整个表示；类似思路可用于保留机器人场景表示的空间结构，但本文没有验证该迁移。

局限与展望¶

作者承认的数据范围限制。 蒸馏主要依赖 DriveLM-nuScenes，选择理由是与 nuScenes 兼容且标注质量较好；更丰富数据上的扩展规律尚未验证。
闭环证据仍局限于仿真。 NeuroNCAP 的危险场景结果不是道路部署安全保证；标准差较大，主文没有给出配对显著性检验，不能仅根据均值宣称稳定胜过所有基线。
因果控制仍不完整。 融合前后视觉编码器为 40M 与 44M，token 数也不同；作者用较小增量和大 ViT 对照支持 BEV 的贡献，但这并非严格的等参数、等 token 实验。
替代监督比较有复现边界。 VLM-AD 的原系统和监督数据不可公开获取，文中比较的是作者按其思路构造的版本；同时未展示移除检测约束的直接消融，无法单独量化几何正则的贡献。
成本与可复现细节。 8B 蒸馏需要额外约 100 小时的所述训练配置。可用缓存没有附录，且式 (1) 抽取损坏，IoU 阈值等细节未能核实；本文笔记不补写这些缺失内容，项目链接也不等同于已核验的代码仓库。

评分¶

新颖性: 4/5。把 BEV 的空间优势研究与冻结 LLM 语义蒸馏连接起来，创新主要来自组合方式和实证链条。
实验充分度: 4/5。涵盖表征对照、两种驾驶框架、教师规模和问答子集，但真实道路泛化与几何约束独立消融不足。
写作质量: 4/5。研究问题逐步推进，训练与部署边界清楚；部分较强的机理解释仍需更直接证据。
价值: 4/5。为不增加在线 LLM 负担的安全表征增强提供了可借鉴路径，但收益仍应限定在已测场景。