RoadBench: Benchmarking MLLMs on Fine-Grained Spatial Understanding and Reasoning under Urban Road Scenarios¶

会议: ECCV 2026
arXiv: 2511.18011
代码: https://github.com/tsinghua-fib-lab/RoadBench
领域: 多模态VLM / 空间推理 / 自动驾驶
关键词: MLLM评估, 细粒度空间理解, 道路标线推理, BEV/FPV双视角基准, 城市场景

一句话总结¶

RoadBench提出首个以道路标线为核心的城市场景细粒度空间理解与推理基准，包含BEV卫星图和FPV车载图双视角下的8个分级任务共3040个人工核验测试用例；对20个主流MLLM的系统评估表明，现有模型在细粒度空间理解上严重不足——最佳模型在BEV车道计数上F1仅0.355，在车道方向识别上甚至不敌基于交通常识的规则基线，揭示了MLLM从"看见"到"推理"之间的巨大能力鸿沟。

研究背景与动机¶

MLLM在通用视觉理解和空间推理上已取得长足进展，城市场景作为关键落地场景也涌现出CityBench、UrBench、DriveBench等一批空间理解基准。然而，这些基准的评估粒度止步于建筑、车辆、交通标志等粗粒度孤立对象的识别，对道路标线（车道线、转向箭头等）这类真正组织城市空间的细粒度结构元素几乎没有任何覆盖。

这并非偶然疏忽，而是存在真实的技术壁垒：其一，道路标线细长且贯穿整幅图像，要求MLLM具备全局范围的细粒度结构感知能力——不是在局部patch里找物体，而是在整图尺度上追踪毫米级宽度的线条；其二，道路标线之间存在强相互依赖关系，单条车道线的语义取决于它与其他标线组成的整体系统（如多车道转向规则），孤立评估无法反映这种联合理解需求；其三，构建高质量标注数据成本极高，需要专业交通知识且无法纯靠算法自动生成——这解释了为什么此前没人做。

该工作的可行性来自三个关键使能因素：一是MLLM基础能力已演进到可以挑战此类细粒度任务的水平；二是高德等一线地图服务商的数据库可提供经过线上服务验证的车道数、车道方向、路口位置等高精度真值标注；三是卫星影像和街景数据的普及使得BEV+FPV双视角系统性评估成为可能。

RoadBench以道路标线为切入点，设计BEV+FPV双视角下从局部感知（车道计数）到联合理解（车道方向识别）再到全局推理（路网纠错）和跨视角对齐的8个分级任务，覆盖MLLM对细粒度空间元素的识别、联合理解、推理和领域知识融合四条能力链。

核心idea：用道路标线这一城市空间中最基础也最被忽视的细粒度元素作为"探针"，系统诊断MLLM在真实复杂场景下从底层感知到高层推理的完整空间智能水平，暴露那些在粗粒度基准中被掩盖的能力短板。

方法详解¶

整体框架¶

RoadBench的核心设计理念是将空间理解拆解为一条从局部到全局的能力链，通过8个任务逐级加码评估MLLM的细粒度空间智能。输入为两类城市场景图像：BEV卫星图（2137张，来自Google Maps，覆盖路口和路段场景）和FPV车载相机图（721张，来自高德众包数据，覆盖不同光照和遮挡条件），所有图像来自中国5个交通规则相对一致的城市。

8个任务按所需空间范围分为四个层级：局部感知层包含BEV/FPV车道计数和FPV道路类型分类，要求模型从图像中提取局部细粒度信息（数车道、判主辅路）；联合理解层包含BEV/FPV车道方向识别，要求模型综合理解一组道路标线的整体语义（如多车道各自的方向指派）；全局推理层包含BEV路网纠错，要求模型基于图像全局上下文推理路口和路段的空间结构并输出精确坐标；跨视角推理层包含Cross-View版本的车道计数和方向识别，要求模型在地理配对的BEV-FPV图像对之间建立空间对应关系并联合推理。全部3040个测试用例均经5名领域专家在LabelU平台上逐个人工核验，存疑样本直接剔除而非重标注，保证标签零主观偏差。

关键设计¶

1. 分级任务体系：从"数车道"到"纠路网"的完整能力链评估

现有城市场景基准的任务设计往往是扁平化的——不同任务平行评估孤立能力，彼此之间缺少递进关系。RoadBench的核心设计选择是将8个任务组织为一条显式的难度和能力递进链：最底层的车道计数只要求MLLM在参考线指示区域内识别细长车道线的数量（纯感知），中层的车道方向识别要求在此基础上联合理解多车道标线的组合语义并融入交通领域知识（感知+联合理解+知识融合），上层的路网纠错要求模型在理解道路拓扑的基础上输出精确的结构化坐标（感知+全局推理+精确结构化输出），顶层的Cross-View任务要求在不同视角间建立场景级空间对应（跨视角对齐+融合）。这种递进式设计使得研究者能够精确定位MLLM空间能力的断裂点——比如某个模型在FPV车道计数上表现尚可但在BEV同一任务上骤降，说明其瓶颈在全局细粒度感知而非语义理解。

2. 双视角互补设计：BEV拓扑结构与FPV语义细节的张力场

BEV和FPV两种视角在空间信息分布上天然互补：BEV提供完整的道路拓扑鸟瞰，道路标线在整图尺度上清晰但分辨率有限；FPV提供高保真的路面语义细节（标线纹理、交通标志、环境上下文），但视野受限、深度信息缺失。RoadBench在同一任务上同时设置BEV和FPV版本（如车道计数和方向识别），这不是简单的"换个视角再测一遍"，而是有意构造一个信息不对称的张力场——BEV任务迫使MLLM依赖全局细粒度结构分析（因为标线在BEV下非常细），FPV任务则测试模型能否从局部高分辨率线索中推断全局空间关系。实验结果显示MLLM在FPV上的表现系统性地优于BEV，这一差距本身就揭示了当前模型的真正短板在全局细粒度感知而非语义推理。此外，Cross-View任务将这种张力推到极致：模型必须对齐两个完全不同信息分布的视角，测试其是否真正"理解"场景空间结构而非仅做模式匹配。

3. 三阶段数据构建管线：自动化匹配打底 + 人工核验兜底 + 存疑必剔除

大规模高质量标注数据是细粒度基准的最大瓶颈。RoadBench采用三阶段管线解决这个问题。数据准备阶段：从OpenStreetMap提取路口位置，人工在Google Maps卫星图上逐一核验图像有效性和清晰度，排除伪路口、严重遮挡和不可辨认样本；同时收集FPV图像时主动纳入一定比例的夜间、逆光和标线遮挡等挑战性场景，确保难度覆盖。数据处理阶段：将BEV边界框和FPV拍摄坐标输入高德地图服务商数据库，自动匹配提取车道数、车道方向、路口位置等已在线上服务中验证的高精度真值；路网纠错任务则利用OSM的原始参考线与数据库真值的差异自动构造"错误参考线+正确标注"样本对。质量控制阶段：5名领域专家在LabelU平台对所有测试用例进行全覆盖人工复核，关键原则是存疑样本直接剔除而非人工重标注——这避免了主观标注偏差混入基准，确保所有保留样本的标签均无争议。此外，所有数据经过去隐私处理（UUID随机化ID、坐标转像素坐标、FPV图像中的人脸车牌手动模糊）。

4. 任务特化的多维度评估指标体系：从分类精度到结构化输出保真度

不同任务对MLLM的输出要求截然不同，一刀切的评估指标会掩盖关键能力差异。RoadBench为每类任务精心选择了最反映其核心挑战的指标：车道计数作为多分类问题，同时报告考虑类别不平衡的加权F1-Score和直接反映计数偏差的RMSE（两者互补——F1衡量分类正确率，RMSE衡量"错了几条车道"的实际影响）；车道方向识别因每车道方向是多标签组合（如"直行+右转"），采用Hamming Loss作为主指标（衡量逐标签的平均误判率），并用全对准确率作为严苛标准（要求所有车道方向完全正确才算对）；路网纠错因输出是路口坐标点和路段折线，采用带距离上限阈值的RMSE评估路口点偏差、Fréchet Distance评估路段折线相似度——选择Fréchet Distance而非Hausdorff的关键原因是前者考虑了折线的方向性，而路网纠错中方向错误与位置错误同等致命。所有距离指标在坐标归一化到[0,1]后计算，THETA阈值取{10%, 20%, 50%}三个等级以分析不同精度要求下的模型表现。

实验关键数据¶

主实验¶

RoadBench评估了20个主流MLLM，包括开源（LLaMA-3.2-Vision 11B/90B、Qwen2.5-VL 7B/32B/72B、Qwen3-VL 2B-235B、Gemma-3 12B/27B、GLM-4.5V）和闭源（Gemini-2.5 Flash/Pro、GPT-5 Nano/Mini/5）系列。下表汇总各任务的最佳模型与规则基线对比。

任务	指标	最佳闭源模型	最佳开源模型	规则/随机基线
BEV 车道计数	F1↑ / RMSE↓	GPT-5-Mini 0.355/1.162	GLM-4.5V 0.289/1.183	0.248/1.383
BEV 方向识别	HL↓ / Acc↑	GPT-5-Mini 0.103/0.662	Qwen3-VL-32B 0.188/0.515	0.149/0.587
BEV 路网纠错(路口)	RMSE@20%↓	GPT-5-Nano 0.132	Qwen3-VL-235B 0.139	0.156(Do Nothing)
BEV 路网纠错(路段)	FD@50%↓	GPT-5-Mini 0.235	Gemma-3-27B 0.232	0.379(Do Nothing)
FPV 车道计数	F1↑ / RMSE↓	Gemini-2.5-Pro 0.522/0.802	Qwen3-VL-235B 0.369/1.034	0.284/1.430
FPV 方向识别	HL↓ / Acc↑	GPT-5 0.122/0.626	GLM-4.5V 0.145/0.571	0.127/0.605
FPV 道路类型	Acc↑	Gemini-2.5-Pro 0.748	GLM-4.5V 0.570	0.458
CV 车道计数	F1↑ / RMSE↓	GPT-5 0.400/0.878	Qwen3-VL-32B 0.298/1.185	0.252/1.395
CV 方向识别	HL↓ / Acc↑	GPT-5-Mini 0.121/0.588	GLM-4.5V 0.142/0.557	0.130/0.588

核心结论：(1) 所有模型在所有任务上均未达到可用水平——BEV车道计数最佳F1仅0.355，远未饱和；(2) 在BEV方向识别、FPV方向识别和CV方向识别三个任务上，多数MLLM不敌基于交通常识的规则查表法；(3) BEV路网纠错中，路口RMSE@20%和路段FD@50%的最优值与上限阈值同数量级，说明模型输出的坐标存在严重偏移，本质上无法做到精确结构化空间输出；(4) FPV任务表现系统性优于BEV同类型任务，差距在F1上可达0.2+，说明当前MLLM的短板在于BEV视角下的全局细粒度感知。

微调实验¶

模型	BEV LC F1↑	BEV LD HL↓	BEV RNC RMSE@20%↓	FPV LC F1↑	FPV LD HL↓	FPV RTC Acc↑	CV LC F1↑	CV LD HL↓
Qwen3-VL-2B	0.186	0.313	0.154	0.210	0.286	0.539	0.152	0.268
Qwen3-VL-2B(tuned)	0.319	0.232	0.114	0.387	0.103	0.830	0.421	0.105
Qwen3-VL-4B(tuned)	0.339	0.230	0.107	0.517	0.100	0.800	0.535	0.096
Qwen3-VL-8B(tuned)	0.339	0.230	0.097	0.433	0.094	0.830	0.540	0.085

在RoadBench训练集上微调后，Qwen3-VL系列模型性能全面提升：最小的2B(tuned)模型在BEV车道计数F1上从0.186跃升至0.319，超过GPT-5(0.305)；FPV道路类型分类准确率从0.539飙升至0.830，超过Gemini-2.5-Pro(0.748)；跨视角任务同样大幅提升，说明这些能力并非完全不可习得。然而，微调模型仍与GPT-5、Gemini-2.5-Pro等顶级闭源模型在综合表现上存在差距，表明模型规模和预训练管线仍是重要优势。

关键发现¶

细粒度感知是MLLM的阿克琉斯之踵：BEV下所有模型的F1均未超过0.36，误差高达1.16条车道以上，说明MLLM在全局尺度上追踪毫米级细线条的能力几乎为零。这一点在消融分析中得到进一步印证——在FPV任务中，当道路标线被遮挡而需要转而依赖标志牌等其他线索时，GPT-5和Gemini-2.5-Pro的性能反而提升，说明这些强大模型的视觉感知能力远弱于常识推理能力。
规则基线暴露出"伪推理"：BEV/FPV方向识别中基于交通常识的查表规则（最左车道=左转、最右车道=右转、中间=直行）在不看图像的情况下竟超过GPT-5-Mini之外的所有模型。这意味着当前MLLM在这些任务上的"推理"很大程度上是基于表面视觉特征的猜测，而非真正的空间结构理解。
跨视角对齐仍是开放难题：Cross-View任务中即使最强的GPT-5和Gemini-2.5-Pro也有明显性能下降，大多数模型在Cross-View方向识别上完全失败（Gemini-2.5-Pro的HL高达0.282），表明从两个不同信息分布的视角建立统一空间表征的能力尚未在现有MLLM中涌现。
参数量不是万能解药：GPT-5-Mini在多数任务上优于GPT-5，Qwen2.5-VL-32B在FPV方向识别上优于72B版本，说明视觉-语言模态融合策略和训练数据分布对细粒度空间能力的影响可能大于参数量。
提示格式偏好存在显著模型差异：在BEV任务的参考线提示方式消融中，GLM-4.5V对箭头条形视觉提示有强依赖（去掉后性能骤降），而GPT-5-Mini对不同提示格式不敏感，反映了两者在视觉-文本信息整合机制上的本质差异。

亮点与洞察¶

"不敌规则基线"是这篇论文最有力的发现：用最简单的交通常识查表法打败了几乎所有MLLM在方向识别上的表现，这种"反直觉"结果比任何绝对分数都更有说服力地证明了MLLM细粒度空间理解的缺失。这个实验设计思路——用不依赖图像的规则基线来标定"模型的视觉输入到底贡献了多少"——值得所有benchmark论文借鉴。
"存疑直接剔除"的质控策略：一般的benchmark做法是发现标注错误后修正它，但RoadBench选择直接移除存疑样本。这个看似保守的策略实际上保证了两个关键属性：标签的零主观偏差（不会被修正者的个人判断污染）和评估信号的高信噪比（所有保留样本都是人类专家无争议可正确回答的）。这对于评估本身就表现很差的MLLM尤为重要——如果连标签都对不上，就无从判断是模型错了还是标注有误。
FPV>BEV的性能不对称性是诊断工具：作者没有停留在报告"FPV比BEV好"这个表面结论，而是将其解读为一个能力诊断信号——既然同一模型在FPV和BEV上的语义理解能力应该相同，那么BEV上的显著劣势就只能归结为全局细粒度视觉感知的不足。这种"控制变量法"式的任务设计让benchmark本身成为了一个分析工具。
Fréchet Distance选用的深意：路网纠错中用Fréchet Distance而非更常见的Hausdorff Distance评估折线相似度，因为Fréchet考虑了折线的方向性——两条形状相似但走向相反的折线Hausdorff距离很小但Fréchet距离很大。在路网纠错中，方向错误（如将双向道路判为单向）和位置错误一样致命，这个指标选择体现了对任务本质的深刻理解。

局限与展望¶

地理和交通规则的局限性：数据仅来自中国5个城市，交通规则（如靠右行驶、中国特有标线规范）相对一致。靠左行驶国家、不同标线规范体系下的泛化性未经验证，这是实际部署前必须补上的评估维度。
缺少人类基线：作者认为质控阶段已确保人类可完全正确完成所有任务故无需人类基线，但这回避了一个关键问题——需要多少专业训练？普通人能否完成？人类完成的速度和准确率如何？一个真正全面的基准应该量化"人类有多难"作为参照。
部分split样本量偏小：FPV方向识别和Cross-View任务的测试用例较少（受限于地理配对BEV-FPV数据的高获取成本），导致对这些任务的小样本性能差异不宜过度解读为确定性的模型排名。作者在附录中补充了3次重复评估的均值和标准差以缓解此问题，但本质上仍需要扩大这些split的规模。
评估的是"指令遵循+感知+推理"的耦合体：当前设置下，如果模型理解了图像但没按YAML格式输出，会被记为错误。虽然设置了6次重试机制，但无法完全排除输出格式解析失败对评估结果的干扰。
可扩展方向：将评估范围从道路标线扩展到其他细粒度城市元素（如路沿石、斑马线、隔离带）；引入agent框架评估MLLM在多步交互中的空间推理能力（而非单次前向）；增加时序维度（连续帧FPV视频）评估动态空间理解。

评分¶

新颖性: ⭐⭐⭐⭐☆ 以道路标线为切入点的细粒度空间理解基准是明确的空白填补，8任务分级体系和双视角设计有清晰的动机和差异化定位
实验充分度: ⭐⭐⭐⭐⭐ 20个主流MLLM全覆盖评估、微调实验、提示消融、环境条件分析、3次重复评估、附录完整数据——benchmark论文的实验标准做到位了
写作质量: ⭐⭐⭐⭐☆ 任务定义和评估指标的选择理由交代清楚，核心结论（不敌规则基线、FPV>BEV不对称性）反复强化；但部分任务描述较简略（如Cross-View的prompt设计细节在正文中被压缩到附录）
价值: ⭐⭐⭐⭐☆ 对MLLM空间理解研究有明确的诊断价值——不是又一个"跑分的benchmark"，而是揭示了当前模型在细粒度感知上系统性不足的具体证据；对自动驾驶和HD地图领域的MLLM应用也有直接的指导意义