AiSCREAM: Absolute Target Localization with Language-Conditioned Cross-View Alignment for Autonomous Vehicles¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4382
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5680.pdf
项目: AiSCREAM
领域: 自动驾驶
关键词: 语言条件目标定位、生成式俯视图、跨视角语义对齐、多任务学习、预测条件纠错

一句话总结¶

AiSCREAM 把单张前视图生成的俯视图作为辅助空间线索，以语言条件语义分割对齐两种视角，再用多任务定位与 MLLM 纠错输出米制目标坐标和可接受区域，在 DRAMATiST 上将最强模型基线的 RMSE 从 8.56 米降至 5.00 米。

研究背景与动机¶

当用户要求车辆“停在垃圾桶旁边”时，识别垃圾桶只是第一步：系统还要选择垃圾桶哪一侧可停车，并把图像中的位置变成相对车辆的米制坐标。指代表达检测通常输出物体框，指代分割输出像素掩码，GENNAV 等可导航区域方法进一步判断该停在哪片区域，但这些结果仍不等于能交给下游规划器的空间目标。从单张前视图完成这一步尤其困难，因为远近尺度、地标相对关系与道路边界都受到透视压缩。

传统 BEV 表示能组织空间，却未必保留指令需要的细粒度外观。论文特别关注颜色、行人装束等参照信息：简化为少量语义类别或线稿式布局后，“穿棕色裤子的行人”可能只剩下“行人”。另一方面，直接让 MLLM 从图像报距离虽能利用语义先验，却缺少可依赖的数值锚点。这篇工作的切入点不是增加真实传感器，而是生成一张尽量保留外观的俯视图，让它与原图共同约束目标位置。

这种俯视图不是经过测量的真实鸟瞰场景，也不是精确的几何投影。因此，仅把生成图交给定位模型并不足够，关键是利用两种视角共同可识别的语义结构，使生成先验受到真实图像的约束。核心 idea：把生成式俯视图当作辅助空间表征，通过一致语义掩码与双向注意力对齐前视图，再让 MLLM 围绕已有数值预测做局部纠错，而不是从零猜目标距离。

方法详解¶

整体框架¶

论文将任务称为 RNPL（Referring Navigable Position Localization）。输入只有导航指令和单张前置相机图像，输出是自车坐标系下的目标中心与圆形可接受区域。这里的“绝对”表示有米制尺度的目标坐标，而非地图全球坐标；任务假定目标在图像内可见，不预测到达目标的轨迹，也不直接生成车辆控制量。

系统分为 AiRAM 和 MTAPL 两个主要模块。AiRAM 先生成 Aerial Semantic（AiS）俯视图，通过跨视角一致语义分割 CVSS 与双向交叉注意力得到融合表示；MTAPL 再结合指令预测位置及区域，并用 MLLM Reshape Localizer 检查和修正初始预测。HC 损失在训练阶段约束多任务定位，不是额外的推理阶段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["前视图 + 导航指令"] --> AiS["外观保留的俯视生成"]
    AiS --> Align["语义锚定的跨视角对齐"]
    Input -->|原图与类别提示| Align
    Align --> Locate["多任务定位与障碍约束"]
    Input -->|指令嵌入| Locate
    Locate --> Refine["预测条件纠错"]
    Input -->|原图与指令| Refine
    Refine --> Output["米制目标中心<br/>与可接受半径"]

关键设计¶

1. 外观保留的俯视生成：把透视图换成有助于判断相对空间的辅助视角

AiS 生成器接受前视图及文本条件，在图像域合成俯视图。主实验采用 Nano Banana；方法描述也列出 Qwen Image Edit 作为可选生成模型，但不能把它理解为主表中已验证的同等配置。与把特征投影到地平面的传统 BEV 路线相比，这种做法希望保留颜色和场景外观，让模型既能看“地标长什么样”，又能从俯视布局判断“地标旁边哪片空间可以作为目标”。

生成图并没有提供一次新的真实观测，主要价值在于把模型学到的空间先验转换成可处理的图像。它可能放大或扭曲某些几何关系，所以原始前视图始终保留在后续计算中。实验中只用 AiS 的初始定位反而比只用前视图差，说明收益来自互补对齐，而不是俯视生成天然恢复了真实三维场景。

2. 语义锚定的跨视角对齐：先在各视角内融合外观和结构，再跨视角交流

普通语义分割模型通常在真实相机视角上训练，直接用于生成式俯视图可能产生视角相关偏差。CVSS 因此采用 SAM3 一类语言条件分割器，用文本指定场景语义类别，分别提取前视图和 AiS 的掩码。这里的类别提示提供共同语义参照，不应与用户的导航指令混为一谈；共享类别也不意味着掩码已经具有精确像素对应关系。

接着，前视图、AiS 图及它们各自的分割结果通过共享图像编码器与 MLP 投影，得到四路特征。主实验使用 DINOv3。先在每个视角内执行双向交叉注意力 BiCA：一侧作为查询、另一侧作为键和值，然后交换方向并拼接结果，使外观能够读取结构，结构也能读取外观。再对两路融合结果做一次跨视角 BiCA，最后经自注意力形成跨视角表示。这样，语义掩码是可学习匹配的结构锚点，而不是用硬几何变换强行对齐每个像素。缓存的式（1）和式（2）存在等号、括号与字符损坏，本笔记仅保留可由紧邻正文确认的运算顺序，不补写损坏公式。

3. 多任务定位与障碍约束：让坐标预测同时接受区域与可通行性监督

导航指令先由 Qwen3-Embedding-0.6B 编码，随后与跨视角特征做 Hadamard 逐元素乘积，并送入 Transformer 形成共享表示。这个融合步骤使“靠近哪个地标”“停在哪一侧”等指令信息参与数值定位，而不只在最初的图像理解阶段出现。共享表示接三个预测头：前视区域头、AiS 区域头和绝对目标头。前视区域头与绝对目标头承担主要任务，AiS 区域头通过辅助监督提供俯视结构线索。

论文称前两个头为 segmentation head，但正文把每个头的输出都写成三维向量，最终区域又以中心与半径表示。因此不能仅凭名称将它们扩写成正文未给出的密集掩码解码器。HC（Height-based Cross-View）损失联合绝对位置监督、AiS 区域监督与障碍重叠惩罚；前视区域的 L1 监督再参与总目标。障碍项针对的是“坐标接近地标，但允许停车的圆覆盖障碍物”这种错误，辅助区域监督则帮助模型在两种投影中保留目标结构。两者作用不同，不能只靠中心点误差衡量其全部价值。

4. 预测条件纠错：把已有坐标作为 MLLM 判断的参照

初始定位后，系统把绝对目标预测叠加到原始前视图，并提供显式数值与导航指令，让 GPT-5.2 检查该位置及区域是否符合指令和物理场景；若认为不合理，再给出修正结果。相比让 MLLM 直接从单图猜出位置，这一步已经有“图中标出的点对应多少米”的参照，模型可以围绕候选位置判断哪一侧更合适。具体提示词在补充材料中，当前缓存未包含，不能据此虚构提示模板。

最终输出为 $\tilde{y}_{\mathrm{abs}}=(\tilde{x},\tilde{y},\tilde{r})$，前两个量表示目标中心，最后一个量表示圆形可接受区域半径。这个“分布”不是已证明校准的概率密度，也不能直接当作置信区间。正文在初始预测的一处写成 AiS 下标，但叠图和最终输出均明确采用绝对目标头；这里按后者讲述数据流，并保留原文符号不一致这一复现注意点。

一个完整示例¶

以论文图 3 的“在道路右侧橙色锥桶旁靠边停车”为例，模型必须同时确定“右侧锥桶”与“车辆能到达的锥桶旁空间”。AiS 生成提供另一种场景布局，CVSS 为两张图建立共享类别的结构线索，跨视角注意力把这些线索与原图外观关联起来。MTAPL 再根据指令输出初始目标，并利用障碍约束避免可接受区域扩展到车辆或其他障碍上。

之后，MLLM 查看叠加预测，检查目标是否落在锥桶可通行的一侧。论文描述该案例中 GENNAV 把目标放到道路左侧且区域覆盖卡车，直接 GPT-5.2 虽靠近锥桶却选了不可通行侧，AiSCREAM 则定位到道路内侧。这是论文报告的定性结果，不是逐模块可视化追踪，不能据此给每个中间步骤编造坐标。任务定义另给出 $ (x,y,r)=(-3.0,10.0,2.0)\,\mathrm{m} $ 的示意输出，表示中心坐标和可接受半径，不是这个锥桶案例的测量值。

损失函数 / 训练策略¶

缓存中的 HC 损失式（3）与总损失式（4）严重损坏，无法可靠恢复权重、障碍惩罚形式或所谓 height-based 机制的精确定义。可以确认的监督关系是：前视区域 L1、绝对位置、AiS 辅助区域和障碍重叠约束共同训练定位模型。下文按原文表 3 报告损失消融，不自行补造完整公式、超参数或高度图构建流程。

作者分别在两个数据集的训练集上训练、验证集上调参、测试集上评估，图像缩放到 224×224。GRiN-Drive 的训练/验证/测试为 8,349/1,163/508，DRAMATiST 为 4,362/949/930。可训练部分约 41.5M 参数、662M 乘加操作，GRiN-Drive 上使用 RTX 4090 训练约 3 小时。它们不是整套基础模型栈的总规模；网络自身约 9 毫秒的推理耗时也不能代表包含生成和纠错的端到端延迟。

实验关键数据¶

主实验¶

GRiN-Drive 使用单目标子集；新建 DRAMATiST 包含 6,241 条样本，由 DRAMA 中的地标名词短语填入导航模板，再由人工标目标位置。其米制目标不是直接传感器测量值：作者取二值标注掩码质心、最大内切圆半径，并使用单目深度模型把中心转换到自车坐标系；对其他基准与分割基线采用相同转换流程。

RMSE 是主指标，AED 是预测与参考目标之间的平均欧氏距离，两者单位均为米、越低越好；mIoU 衡量预测区域与参考区域的平均交并比，越高越好。缓存未提供补充材料中的精确实现，因此这里不推定 RMSE 的分量归一化方式。下表摘录原文表 1，数值为五次试验的均值 ± 标准差。

方法	GRiN RMSE ↓	GRiN AED ↓	GRiN mIoU (%) ↑	DRAMATiST RMSE ↓	DRAMATiST AED ↓	DRAMATiST mIoU (%) ↑
GENNAV	10.51 ± 0.52	6.35 ± 0.35	7.25 ± 0.31	8.56 ± 0.52	6.45 ± 0.60	2.83 ± 0.49
GPT-5.2，零样本直接预测	12.44 ± 0.15	9.07 ± 0.13	6.26 ± 0.16	11.29 ± 0.24	7.91 ± 0.08	3.22 ± 0.17
AiSCREAM	4.72 ± 0.14	3.95 ± 0.09	11.89 ± 0.69	5.00 ± 0.05	4.03 ± 0.02	6.16 ± 0.37
人类，单图受限协议	7.45 ± 0.50	4.00 ± 0.20	4.82 ± 0.56	7.00 ± 1.62	4.69 ± 1.20	6.50 ± 0.63

相对 GENNAV，AiSCREAM 的 RMSE 在两个数据集分别减少 5.79 米和 3.56 米。不能把“超过人类”推广到所有指标：DRAMATiST 的人类 mIoU 为 6.50%，仍高于模型的 6.16%。人类实验每个数据集抽取 250 条，共 500 条，由 10 位参与者完成 1,500 次预测，且只允许看单张图；该协议不同于完整环境中的真实驾驶判断。

基线训练条件也不相同：分割方法经过微调，VLA 和直接 MLLM 基线采用零样本设置，VLA 还被限制为无历史的单张前视输入。因此结论是当前 RNPL 协议下的目标定位优势，不是全面胜过这些系统原本的驾驶任务。

消融实验¶

下表摘录原文表 2。RL 指 MLLM Reshape Localizer，不是强化学习；移除 AiS 或 CVSS 都以“关闭 RL”为对照，不应将各行差值全部解释为对完整模型的独立消融。

配置	GRiN RMSE (m) ↓	GRiN AED (m) ↓	DRAMATiST RMSE (m) ↓	DRAMATiST mIoU (%) ↑
完整模型	4.72 ± 0.14	3.95 ± 0.09	5.00 ± 0.05	6.16 ± 0.37
关闭 RL	4.95 ± 0.08	4.18 ± 0.06	5.19 ± 0.07	5.90 ± 0.58
关闭 RL，再移除 AiS	6.60 ± 0.10	5.61 ± 0.10	5.57 ± 0.13	3.35 ± 0.35
关闭 RL，再移除 CVSS	5.80 ± 0.10	4.83 ± 0.06	5.34 ± 0.06	3.43 ± 0.23

原文表 1 与表 2 的完整模型 GRiN mIoU 标准差分别写为 0.69 和 0.59，均值同为 11.89；主表采用表 1，不自行统一这一原文差异。上面的消融表未重复该列。

为避免纠错阶段掩盖训练损失的影响，原文表 3 全部关闭 RL：

初始定位训练配置	GRiN RMSE (m) ↓	DRAMATiST RMSE (m) ↓	DRAMATiST mIoU (%) ↑
保留 AiS 辅助项与障碍项	4.95 ± 0.08	5.19 ± 0.07	5.90 ± 0.58
移除 AiS 辅助项	5.17 ± 0.06	5.24 ± 0.02	5.30 ± 0.29
移除障碍项	5.27 ± 0.16	5.24 ± 0.06	4.06 ± 0.69

关键发现¶

在 GRiN-Drive 的无 RL 设置中，移除 AiS 增加 1.65 米 RMSE，移除 CVSS 增加 0.85 米；RL 本身仅改善 0.23 米。主要证据支持跨视角表征，而不是把改进主要归因于 GPT-5.2。
DRAMATiST 移除障碍项后 RMSE 只增加 0.05 米，但 mIoU 从 5.90% 降至 4.06%。中心点误差与区域可接受性是不同问题，后者不能被前者替代。
原文表 4 中，AiSCREAM 只用 AiS 的 GRiN RMSE 为 7.70 米，只用前视为 6.60 米，双视角初始定位为 4.95 米。生成视角必须与原始观测结合，不能单独替换原图。
原文表 5 将 AiS 替换为 GaussianLSS 或 BEVFormer v2 表示，GRiN RMSE 分别为 6.48、6.74 米，高于 AiS 配置的 4.72 米；这支持该任务中的表示选择，但不代表所有 BEV 方法或多传感器配置都较差。

亮点与洞察¶

生成图可以用来组织先验，而不是伪装成新传感器。 这篇工作的有价值之处是保留原始观测，并用语义结构约束生成视角的使用；只看生成图的消融说明这种约束确实重要。
让大模型修正候选，比让它独立报坐标更有依据。 叠图加数值为纠错提供参照，但增益幅度有限，部署时值得单独衡量这一步的成本与收益。
分开评估中心和区域更接近导航需求。 障碍损失在区域指标上的作用明显超过中心误差所呈现的改善，提示可导航目标学习需要多种互补评价，而不是只追一个平均距离。

局限与展望¶

端到端尚非实时。 模型自身约 9 毫秒，但完整流水线约 10.3 秒，其中 AiS 生成约 8 秒。作者提出蒸馏、少步生成或去掉推理阶段显式生成；不能把网络局部耗时宣传为车辆在线响应时间。
米制参考目标依赖单目深度。 人工二维标注经深度估计转换后仍可能存在系统尺度偏差；这里的定位误差衡量与该参考的接近程度，并非独立真实测距精度。进一步评价应使用传感器标定目标或明确误差传播。
生成几何的真实性缺少直接验证。 作者承认没有 AiS 真值，只通过向图像注入高斯噪声测试敏感性。像素噪声不能覆盖地标遗漏、道路拓扑错误等结构性生成错误，这是笔记的额外审视。
可通行性与安全没有闭环证明。 目标被限定为可见、单目标，输出圆形区域也难表达复杂道路边界或多个有效目的地；数米级误差和较低 mIoU 尚不足以保证安全停车。论文不评估轨迹执行、碰撞率或动态交互。
对象中心参照系仍会出错。 论文图 4 中“绕过停着的公交车继续向前”应定位到公交车前方，多个模型却定位到后方。引入对象朝向推理或显式参照系建模是合理改进方向，尚非本文验证结果。

评分¶

新颖性：4/5。生成式俯视视角、共享语义锚定与预测条件纠错的组合有针对性，主要组件本身来自已有基础模型。
实验充分度：4/5。两个基准、模块与损失消融、视角替换及人类对照较全面，但缺少真实米制标注验证和闭环安全测试。
写作质量：3/5。任务与模块动机清晰，不过符号、表格标准差存在不一致，缓存损坏公式也限制了精确复现。
价值：4/5。为语言导航目标的空间落地提供了有效路径，但生成成本和可接受区域精度仍是部署障碍。