OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/SIGMME/OmniMapBench
领域: 视觉语言推理
关键词: 地图理解、视觉问答、多步空间推理、视觉依赖指数、文本化捷径

一句话总结¶

OmniMapBench 用九类地图的 2,096 道人工核验问题及受限文本描述对照，检验模型是否真正依赖视觉关系推理；25 个受测模型中最高最终得分为 75.03%，地图在 1,024 token 描述预算下仍保留 0.338 的视觉依赖指数。

研究背景与动机¶

视觉语言模型（VLM）的文档问答成绩不断提高，但看图得到正确答案并不必然说明它具备复杂视觉推理能力。许多表单、报告和统计图可以先通过 OCR、版面分析或图表转表格变成结构化文本，再交给大语言模型求解。例如，只要把统计表的行列关系保留下来，“某一组的比例是多少”往往就成为文本查找题。这并不否定文档识别的价值，却让一个更具体的问题难以回答：模型的高分到底依赖视觉结构，还是依赖已经文本化的信息？

地图提供了一个不同的检验对象，因为答案经常取决于路线连续性、相对方位、区域边界以及图例与符号之间的对应。知道图中有哪些站名，并不等于知道两站是否直接相连；列出建筑名称，也未必能恢复沿某条道路行进时的左右关系。先前地图基准往往集中于交通线路或分级设色地图，覆盖不了旅游示意图、疏散图、地形图和游戏地图之间的视觉差异。本文因此同时扩展地图类型和推理层级，而不是仅增加同一种地图上的问答数量。

另一个关键选择是让图像描述者不知道具体问题，避免它提前把答案所需的局部关系挑出来写进文本。如果完整图像能够支持作答，而相同模型生成的通用描述不能，即可测量这种信息替换带来的损失。增加描述预算后损失是否消失，比一次无图测试更能揭示地图中难以被通用文字摘要保留的信息。 核心 idea：用多类型、分层级的地图问答测模型能力，再用问题无关的描述替代图像，测量基准在明确预算下对视觉信息的依赖。

方法详解¶

整体框架¶

本文提出的是数据集和评测协议，不是一个新的地图识别网络，也没有训练一个 OmniMapBench 专用回答模型。数据构建依次完成地图采集筛选、分层问答标注、独立交叉核验，最终得到图像、问题、选项和标准答案。常规评测把地图图像与问题送入受测 VLM，以思维链（CoT）提示引导推理，再检查最终答案是否严格匹配。按推理层级和地图类型拆分成绩，是为了区分基础感知困难与复杂关系推断困难。

视觉依赖实验则固定一个参考模型，比较直接看图与“先描述、后作答”两条路径。中间表示是一段有 token 上限、但不包含具体问题信息的图像描述，并非作者人工制作的地图拓扑真值。回答阶段只接收这段描述和问题，不再访问图像；因此测到的是该描述协议能够保留多少可用于回答的信息。最终输出包括常规得分、视觉依赖指数 VDI 和描述饱和指数 DSI，而不是训练损失或地图重建结果。

关键设计¶

1. 多类型地图采集：保留风格差异与细粒度视觉信息

作者先从网络收集超过 5,000 张地图，并用 GPT-5 根据种子词扩展检索词，以覆盖预定义的九类地图。自动抓取之外，还从政府门户和社交平台人工获取交通图、旅游图等对清晰度和表现风格有特殊要求的材料。之后剔除高度相似、分辨率或清晰度不足，以及涉及政治敏感区域的图像，留下约 2,000 张进入标注。最终问答关联到 1,603 张图像；这一数字与标注前保留的图像数属于不同阶段，不能混用。九类分别是室内导航、教育与历史、工程与设施、交通、旅游、地形与遥感、环境与自然、社会经济和游戏。其中室内导航有 294 张，游戏类只有 39 张，说明视觉种类丰富并不等于各类样本完全均衡。

图像按原始分辨率保留，尺寸从 233 × 464 到 11,811 × 9,442，平均为 2,055 × 1,705 像素。这让细字、密集符号和连线不必在数据集制作时被统一缩小丢弃，也使输入复杂度更接近真实地图文档。但“保留原图”只描述数据存储，不意味着每个受测模型内部都以同样分辨率处理图像。对结果的理解因此不能只看语言模型规模，还需注意视觉编码、切图和分辨率策略可能影响细节识别。这一点是阅读评测时的解释边界，并非论文已完成的分辨率控制实验。

2. 分层标注与双团队核验：让问题既依赖地图又能客观判分

专业标注者依据地图人工提出问题，要求仅凭图中信息即可作答，不依赖地理常识或外部检索。单选、多选和排序三种格式把答案约束在明确空间内，降低自由文本答案措辞不一致造成的评判歧义。题目同时分为 L1 感知、L2 单步空间推理、L3 多步关系推理，分别对应读出局部信息、判断直接空间关系和组合多个关系。例如，沿线路追踪途经区域需要维持路径顺序，而识别建筑入口上的符号主要依赖局部感知。这些层级是数据标签，不是训练课程，也不是每道题必须依次经过的三个模型模块。

初始 3,386 道问题经筛选和平衡后剩下 2,882 道，再交给两个独立团队复核。复核者不参与自己所检查数据的初始标注；任一团队认为问题含糊、答案错误或层级不符，该条就被删除。最终保留 2,096 道：单选 1,461、多选 269、排序 366，分别占 69.70%、12.83%、17.46%。层级分布为 L1 441 道、L2 802 道、L3 853 道，占 21.04%、38.26%、40.70%（表 1，第 7 页）。语言分布为英语 1,274 道、中文 822 道，占 60.78% 和 39.22%；这并不代表同一问题都有中英配对版本。这种核验机制针对答案可靠性和任务定义，但正文没有给出标注一致性系数，不能据此宣称彻底消除了主观偏差。

3. 受限文本替代与 VDI：测量通用描述遗漏了多少可答信息

参考模型固定为 gpt-4.1-2025-04-14，同一个模型负责直接作答、图像描述和基于描述作答。先测它输入图像及问题时的完整输入准确率，再分别在 64、128、256、512、1,024 token 上限下生成描述。描述提示要求尽量详细，也允许使用代码表达图表或表格，因此并非刻意禁止所有结构化表达。重要限制是描述阶段看不到问题；否则模型可按问题挑选证据，测量对象就从通用文本替代变成问题驱动的信息抽取。接着移除图像，只把描述与原问题交给模型，按精确匹配计算文本路径准确率。

VDI 是完整输入准确率与文本路径准确率之差，再除以完整输入准确率。下式依据第 12 页算法 1 第 12 行重述；缓存中第 10 页的排版公式提取损坏，但算法和定义文字相互印证。

\[ \mathrm{VDI}(k_{\max})=\frac{\mathrm{Acc}_{\mathrm{full}}-\mathrm{Acc}_{\mathrm{text}}(k_{\max})}{\mathrm{Acc}_{\mathrm{full}}}. \]

这里分母必须非零；0.338 表示相对于完整图像路径损失 33.8% 的准确率，而不是绝对下降 33.8 个百分点。较小的 VDI 表示该协议下描述已经保留大部分可答信息，较大的 VDI 表示仍存在明显残余损失。不过，指标仍依赖参考模型、描述提示和预算，不是独立于实现的“视觉不可替代性”物理常数。其定义也没有强制截断：若描述路径优于完整输入，理论上可能为负，不应把论文的“约 0 到 1”当成严格界限。

4. DSI 与分层对照：区分描述长度、语言猜测和多步推理困难

设置最大 token 数并不保证模型一定生成那么长，所以作者还记录每个样本的实际描述长度。 DSI 等于实际长度与允许上限之比的样本平均，用于辅助判断描述是否持续占满预算。下式对应第 12 页算法 1 第 13 行，使用该算法可核对的求平均和归一化关系。

\[ \mathrm{DSI}(k_{\max})=\frac{1}{N}\sum_{i=1}^{N}\frac{k_{\mathrm{actual},i}}{k_{\max}}. \]

高 DSI 只说明描述长度接近上限，不直接证明描述准确，也不能单独判断回答是否需要视觉。将它与 VDI 联合阅读，才能区分“短描述已经够用”和“描述仍较长但回答信息依然缺失”。作者进一步提供完全无图对照：模型只看问题和选项，没有图像，也没有图像描述。这与 VDI 的文本路径不同，主要检验语言先验、常识和选项偏差是否足以取得高分。最后按 L1、L2、L3 查看主实验，可以观察失败是否集中在多步关系组合，而非只凭最终总分猜测原因。所有这些操作都是评测时干预；正文没有专用训练目标、微调策略或新模型损失函数。

实验关键数据¶

主实验¶

表 4（第 13 页）评测 25 个模型，使用 CoT 提示，单选、多选和排序都要求最终答案严格匹配标准答案。下表摘录代表模型，数字单位均为百分比，Final Score 按原表保留。具体提示和解码配置在附录中，当前全文缓存未包含附录，因此不补写温度或输出长度。

模型	L1 感知	L2 单步	L3 多步	Final Score
Gemini-3.1-Pro	88.24	81.53	62.88	75.03
Qwen3.5-397B-A17B	83.89	79.01	60.37	72.22
Qwen3.5-27B	82.93	77.10	53.97	68.62
Kimi-K2.5	74.77	74.80	56.71	67.64
Gemini-2.5-Pro	73.70	70.70	46.31	61.40
GPT-5	63.10	61.47	48.53	56.54
GLM-4.5V	66.67	54.24	35.80	49.33
GPT-4.1	48.52	45.14	37.87	42.88
GPT-4o	40.09	31.80	26.73	31.47

Gemini-3.1-Pro 的最终得分比 Qwen3.5-397B-A17B 高 2.81 个百分点，不能概括成所有闭源模型都领先开源模型。它从 L1 的 88.24% 降到 L3 的 62.88%，相差 25.36 个百分点，多步任务仍是显著弱项。这是不同问题子集上的对比，不是对同一道题逐步增加推理步数的受控实验。

消融实验¶

表 2（第 8 页）用固定参考模型 gpt-4.1-2025-04-14 比较完整图像路径与问题无关描述路径。下表选择两个描述上限，VDI 和 DSI 均为无量纲数值，保留原表三位小数。

基准	VDI，512 token	DSI，512 token	VDI，1,024 token	DSI，1,024 token
OmniMapBench	0.474	0.915	0.338	0.629
AI2D	0.035	0.597	0.019	0.336
ChartQA	0.147	0.698	0.143	0.394
DocVQA	0.122	0.795	0.076	0.516
InfoVQA	0.155	0.961	0.049	0.762
MathVista	0.126	0.478	0.051	0.269
MMMU-Pro	0.257	0.459	0.117	0.273
OCRBench	0.044	0.244	0.043	0.124

1,024 token 时，OmniMapBench 的 VDI 在完整表中的 11 个基准里最高；DSI 则低于 InfoVQA，并不是最高。较长描述确实有帮助，OmniMapBench 的 VDI 从 512 token 时的 0.474 降至 0.338，但没有接近零。第 15 页另报告三个代表模型的无图平均准确率由 58.87% 降到 23.35%，绝对下降 35.52 个百分点。逐模型无图结果与替换参考模型的详细消融仅指向附录，不能从这一均值推断每个模型的降幅。

关键发现¶

多步关系推理比局部感知更困难，但严格匹配也会让排序中的局部错误造成整题失分。
高 VDI 与无图低分是互补证据：前者检验描述替代的信息损失，后者检验没有视觉证据时的猜测能力。
第 14–15 页指出旅游图总体较容易，地形与遥感图较困难；雷达图未给出可可靠摘录的逐类数值，故不估读分数。

亮点与洞察¶

问题无关描述是重要控制条件，避免“描述者已经替回答者找完答案”的隐性泄漏。这使实验更接近评估一份可复用于多个问题的通用文档表示。
描述预算曲线比单个无图分数更有解释力，可以观察增加文本容量后视觉依赖是否仍然存在。 DSI 则提醒读者区分允许写多长与实际写了多长。
多种地图风格把测试从站名识别扩展到符号、连通性与沿途顺序理解。可迁移的评测思路是同时改变内容类型和关系复杂度，而非只扩大题量。

局限与展望¶

VDI 同时受描述模型的感知能力、摘要选择和文本作答能力影响；它不能证明任意文本表示都无法解决这些问题。更强的结构化地图表示、问题驱动检索或更大描述预算，是值得另行比较的条件，不是本文已经验证失败的方案。
类别分布不均衡，且 L3 占 40.70%；最终得分会受题目组成影响。本文正文未报告置信区间、标注一致性系数或跨语言配对控制，因此细小排名差异和语言差异需谨慎解释。
附录未包含在当前缓存中，无法核对替换参考模型的完整数表、逐模型无图消融和详细解码设置。已提取公式存在排版损坏，本笔记只保留算法 1 能独立确认的 VDI 与 DSI 定义。
可进一步对连线追踪、图例匹配和视角相关方位分别设计错误分析。这是读者建议，用来定位感知与推理的交界问题，并非论文已完成的消融结论。

评分¶

新颖性: 4/5。多类型地图与问题无关文本替代相结合，评测问题明确；VDI 本身是简洁的归一化差值。
实验充分度: 4/5。覆盖 25 个模型、11 个基准的依赖分析和无图对照，但当前可读材料缺少附录细节。
写作质量: 4/5。数据阶段与实验目标清晰，“不可文本化”的措辞仍需结合模型和预算条件理解。
价值: 4/5。适合评估真实视觉关系推理，并可帮助识别仅靠文本化捷径获得的表面进步。