DRAGON: A Benchmark for Evidence-Grounded Visual Reasoning over Diagrams¶

会议: NeurIPS 2026
arXiv: 2604.25231
领域: VLM Reasoning
关键词: 图表问答, 证据定位, 视觉推理, 评测基准, 多模态大模型

一句话总结¶

提出了图表证据定位基准 DRAGON，涵盖科学图表、统计图表、电路原理图、信息图和地图等 6 大领域共 2,445 个高质量人工核验实例，设计 EDGE、SAGE、VERGE 三种渐进式提示协议，揭示了主流 VLM 即使答对问题也极难精准定位完整推理证据链的核心缺陷。

研究背景与动机¶

图表（如折线图、柱状图、电路图、流程图、信息图表以及地理地图）是人类传递结构化高维信息的核心视觉媒介。理解图表不仅要求模型解析符号文本，更要求其在离散空间几何布局中建模要素间的拓扑连接、刻度映射以及因果路径。近年来，视觉语言模型（VLM）在传统图表问答（DQA）基准（如 AI2D、ChartQA 等）上取得了耀眼的准确率表现。然而，高准确率往往掩盖了模型推理机制的严重缺陷：许多模型并非真正基于图表中的视觉要素进行逻辑演绎，而是过度利用了语言先验、问题文本相关性或数据集固有的浅层统计偏差来“猜测”答案。这种仅以答案对错论英雄的粗粒度评估模式，严重限制了多模态系统的可信度与可解释性。

人类在解读复杂图表时，必须经历显式的视觉核验过程——先定位相关图元、对照图例与坐标轴刻度、追踪连接线导向，最后综合多处局部证据得出结论。与之相对，当前的评测范式无法获知模型生成答案时到底“看”了哪里，也无法判断模型是否真正抓取到了支撑答案成立的必要视觉前提。尽管此前已有通用图像指代理解或基于注意力的显著图分析，但它们大多针对自然物体定位或单点答案区域，无法覆盖包含标题、轴标签、图例、连接导线与数据点等多元要素构成的完整推理证据链。

为了打破“答案正确即代表视觉理解正确”的假象，亟需构建一套直接评估推理级视觉证据定位（Evidence-Grounded Visual Reasoning）的标准化评测体系。本文的核心切入点在于：解耦答案预测与证据检索，以“图表图像+问题+真实答案”作为输入，要求模型预测证明答案成立所需的最小视觉要素边界框集合。核心 idea：构建跨 6 大异构图表领域的推理级视觉证据评测基准 DRAGON（含 2,445 个高一致性人工核验测试实例），并提出 EDGE、SAGE、VERGE 三种提示协议，系统量化当前主流 VLM 在粗粒度定位与完整推理链证据捕获之间的巨大鸿沟。

方法详解¶

整体框架¶

DRAGON 围绕“多源异构图表融合”、“统一结构化证据标注管线”以及“三阶段多范式提示评测协议”三个核心支柱展开。在基准构建阶段，DRAGON 从 6 个代表性图表问答公开基准中抽取实例，通过单应性变换辅助的跨图模板迁移、多模态大模型候选提议生成，以及资深专家多轮交互核验，产出包含 11,664 个标注实例的全量数据与 2,445 个测试集黄金证据集合 \(B^\star\)。在评测阶段，模型输入图表图像 \(I\)、问题 \(q\) 和验证答案 \(a\)，输出预测的像素级证据边界框集合 \(\hat{B}\)，并通过成对匹配与合并重叠等几何度量量化证据完备性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多领域图表数据汇聚<br/>ChartQA / Circuit / InfoVQA / MapIQ / MapWise / AI2D"] --> B["几何单应性模板迁移<br/>RANSAC 特征匹配求解 H 矩阵转换候选框"]
    B --> C["模型辅助提议与人工复审<br/>DIAGRAMS 界面双盲标注 + CVR/CEA 仲裁"]
    C --> D["黄金证据基准库 DRAGON<br/>11,664 总量 / 2,445 人工核验黄金测试集"]
    D --> E["三种提示评测协议实施<br/>EDGE 单步 / SAGE 规划分解 / VERGE 反思精炼"]
    E --> F["双重几何一致性指标评估<br/>最大成对 IoU (MPIoU) + 区域合并 Grounding IoU (GIoU)"]

关键设计¶

1. 几何对齐辅助与人机协同标注管线：解决异构图表结构化标注成本极高与标准漂移问题

不同领域的图表在图元风格、拓扑符号及坐标系统上差异极大，且多数公开数据集完全缺失底层边界框标注。为高效构建高质量证据集，本文设计了三阶段混合管线。首先针对无标注图表引入模板迁移机制：人工标注典型模板图 \(I_t\) 及其边界框集合 \(B_t\)，在待标注目标图 \(I_s\) 之间计算 SIFT 特征匹配点 \(\{x_i\} \leftrightarrow \{x_i'\}\)，并通过 RANSAC 鲁棒估计单应性变换矩阵 \(H\)，满足 \(x_i' \sim H x_i\)。对于模板框角点 \(C_i = \{p_1, p_2, p_3, p_4\}\)，映射转换并重构目标轴对齐边界框：

\[b_i' = \left[\min_x(H p_k),\; \min_y(H p_k),\; \max_x(H p_k),\; \max_y(H p_k)\right]\]

在匹配特征不足时平滑退化为各向同性比例缩放 \((s_x = W_s/W_t, s_y = H_s/H_t)\)。第二阶段利用多模态模型以 \((I, q, a)\) 为条件生成候选提示。第三阶段在自研 DIAGRAMS 交互界面中由 6 位标注员双盲核验，按“完全视觉推理链（CVR）”与“核心证据对齐（CEA）”统一准则仲裁，只保留支撑答案所不可或缺的最小完备要素集 \(B^\star\)。

2. 层次化提示评测协议体系（EDGE / SAGE / VERGE）：解耦直接感知、显式规划与反思自检能力

为了全方位探测模型在不同认知负荷与推理结构下的证据定位能力，本文提出了由浅入深的三种评测协议： - EDGE（直接证据定位）：单步直接预测，将问题、答案与图表一次性输入模型，令其端到端回归所有支撑边界框 \(\hat{B} = f_{\text{EDGE}}(I, q, a)\)，作为衡量无规划先验下感知-证据联结的最简基线。 - SAGE（选定再定位证据）：将证据挖掘拆解为“找什么”与“在哪里”的两阶段解耦链条。第一阶段显式输出证据语义列表 \(E = \{d_j\}_{j=1}^M = f_{\text{select}}(I, q, a)\)（如“1985 年数据点”、“图例中代表增长的实线”）；第二阶段将描述文本送入空间定位器预测具体边界框 \(\hat{B} = f_{\text{ground}}(I, q, a, E)\)。 - VERGE（验证与精炼定位）：在直接定位的基础上引入自检回环。模型生成初始预估 \(\hat{B}^{(0)}\) 后，被促使重新审视原图检查是否有遗漏的坐标轴、混淆的连线或多余干扰框，产生最终精炼集 \(\hat{B}^{(1)} = f_{\text{verify}}(I, q, a, \hat{B}^{(0)})\)。

3. 多粒度证据几何评估体系：精准度量单点命中与全链完备性之间的结构性断裂

传统物体检测指标难以直接衡量逻辑证据的完备性。如果仅评测单个最佳匹配框，模型只要撞大运圈出答案标签就会虚高；如果简单平均，多框与少框的惩罚无法区分。本文制定了互补的几何评估准则。首先，最大成对 IoU（Max Pairwise IoU, MPIoU） 衡量单点命中的最佳精度：

\[\text{MPIoU} = \max_{B_p \in \hat{B}, B_{gt} \in B^\star} \frac{\text{Area}(B_p \cap B_{gt})}{\text{Area}(B_p \cup B_{gt})}\]

其次，成团定位 IoU（Grounding IoU, GIoU） 通过 Shapely 多边形运算计算所有预测框并集与所有黄金框并集的空间重叠：

\[\text{GIoU} = \frac{\text{Area}\left(\left(\bigcup B_p\right) \cap \left(\bigcup B_{gt}\right)\right)}{\text{Area}\left(\left(\bigcup B_p\right) \cup \left(\bigcup B_{gt}\right)\right)}\]

这一合并交并比强力惩罚冗余无意义框与大面积覆盖，从而能极其敏锐地检验模型是真正掌握了整条因果链，还是靠广撒网投机。在此基础上计算阈值 \(\tau\) 下的框级别精确率、召回率与综合 \(F_1\) 分数。

实验关键数据¶

主实验¶

评测涵盖 8 款代表性前沿模型，包括闭源商业旗舰（Claude Opus 4.6、Claude Sonnet 4.6、Kimi K2.5、Gemini 3 Pro、Llama 4 Maverick）与主流开源权重模型（Qwen3.5-35B-A3B、Gemma3-27B-IT、InternVL3.5-38B）。下表展示各模型在 EDGE、SAGE、VERGE 三种提示下跨 6 大领域的平均表现（节选自原文 Table 3）。

模型	类型	ChartQA (GIoU / F1)	Circuit-VQA (GIoU / F1)	InfoVQA (GIoU / F1)	MapIQ (GIoU / F1)	MapWise (GIoU / F1)	AI2D (GIoU / F1)
Claude Opus 4.6	商业闭源	11.4 / 6.9	3.9 / 3.4	4.3 / 3.7	28.4 / 21.8	8.3 / 6.4	23.8 / 14.7
Claude Sonnet 4.6	商业闭源	7.7 / 2.3	2.2 / 0.1	1.6 / 0.1	21.3 / 13.8	9.7 / 4.2	15.9 / 5.5
Kimi K2.5	商业API/开源	15.1 / 9.5	3.4 / 2.8	3.3 / 3.4	17.4 / 12.5	10.8 / 9.3	19.0 / 12.2
Gemini 3 Pro	商业闭源	9.7 / 6.5	5.6 / 5.7	5.5 / 4.0	4.3 / 3.1	8.5 / 7.7	14.2 / 12.6
Llama4-Maverick-17B-IT	开源权重	4.9 / 0.6	1.8 / 0.2	1.5 / 0.0	6.2 / 1.0	5.2 / 1.1	9.5 / 2.4
Qwen3.5-35B-A3B	开源权重	5.7 / 0.8	2.1 / 0.2	1.3 / 0.0	4.7 / 0.8	4.3 / 0.8	9.2 / 1.2
Gemma3-27B-IT	开源权重	4.1 / 0.2	1.6 / 0.2	1.1 / 0.1	4.5 / 0.7	5.1 / 0.7	12.4 / 2.0
InternVL3.5-38B	开源权重	3.8 / 2.6	2.0 / 1.8	1.1 / 0.8	2.5 / 2.0	2.7 / 2.3	9.2 / 6.0

消融与提示策略对比¶

原文 Table 2 深入对比了顶级模型在不同提示协议下的细粒度表现（以 Claude Opus 4.6 与 Kimi K2.5 为代表）：

模型	协议	ChartQA (MPIoU / GIoU / F1)	Circuit-VQA (MPIoU / GIoU / F1)	MapIQ (MPIoU / GIoU / F1)	AI2D (MPIoU / GIoU / F1)
Claude Opus 4.6	EDGE	27.6 / 13.9 / 9.0	7.0 / 4.1 / 3.5	51.1 / 31.0 / 22.9	34.5 / 23.7 / 15.8
Claude Opus 4.6	SAGE	8.6 / 4.6 / 2.4	12.2 / 3.8 / 3.0	51.6 / 24.3 / 20.3	42.5 / 24.2 / 14.1
Claude Opus 4.6	VERGE	35.7 / 15.6 / 9.3	10.3 / 3.8 / 3.6	58.4 / 30.0 / 22.3	40.6 / 23.5 / 14.3
Kimi K2.5	EDGE	32.1 / 18.6 / 11.8	7.5 / 4.1 / 3.6	36.5 / 17.4 / 13.6	30.4 / 18.3 / 13.8
Kimi K2.5	SAGE	32.6 / 13.7 / 7.9	14.3 / 2.8 / 2.0	46.4 / 18.3 / 12.8	42.2 / 20.9 / 12.4
Kimi K2.5	VERGE	34.6 / 13.0 / 8.7	11.6 / 3.4 / 2.7	40.2 / 16.6 / 11.2	35.1 / 17.7 / 10.3

关键发现¶

全线能力匮乏与虚假理解暴露：即使在已知正确答案并要求定位视觉依据的宽松设定下，顶尖模型（如 Claude Opus 4.6）在 AI2D 上的 Grounding IoU 仅为 23.8%，在电路图 Circuit-VQA 上仅有 3.9%，InfoVQA 上更是低至 4.3%。这表明模型先前的 DQA 高准确率严重依赖文本线索与伪相关性，其内部缺乏对图表视觉结构的保真推理。
单点粗定位与完整证据链存在严重鸿沟：各模型的 MPIoU 普遍显著高于 GIoU 与 F1（例如 Claude Opus 在 MapIQ 上 MPIoU 达到 53.7，而 F1 仅 21.8；ChartQA 上 MPIoU 达 23.9，F1 仅 6.9）。这意味着模型往往能模糊蒙对某一处图元，但无法捕获由“数据点+图例+轴标”构成的连贯证据闭环。
提示工程的局限性：提示策略对定位精度的影响因领域和模型而异，不存在通用的最优解。VERGE 自检能提升粗定位召回（如 Claude Opus 的 MPIoU），但在真正考量全链证据的 F1 表现上增益极为有限，难以弥补底层视觉表征与空间解析能力的欠缺。
闭源商业模型与开源权重模型的代差：开源中量级模型（如 InternVL3.5、Qwen3.5、Llama 4）在多数图表任务中的 F1 跌至 0~2% 附近，对复杂信息图与电路拓扑几乎完全丧失定位能力，显著落后于头部闭源系统。

亮点与洞察¶

将“知其然”推进至“知其所以然”：DRAGON 首次系统化地将图表问答从纯粹的文本生成任务转变为严格的视觉证据定位任务，填补了推理可信度评估的长期空白。
构建了高质量的人机协同异构基准：通过将单应性矩阵变换（RANSAC）应用于缺乏标注的图表图元迁移，配合专家在双重准则（CVR/CEA）下的多轮清洗，确立了极高可靠性的黄金证据标准。
指出多模态强化学习的下一代监督信号：当前的 VLM 强化学习（如 GRPO、PPO）主要围绕最终文本答案构建奖励；DRAGON 的证据标注为引入“空间证据重叠奖励”（Grounding Reward）提供了绝佳的基石，能够从根本上抑制多模态幻觉。

局限与展望¶

轴对齐矩形边界框的表达粗糙度：作者指出矩形框在处理极度狭长、弯曲的导线、折线走势或流程图不规则箭头时，会不可避免地框入过多背景空白与干扰文本。未来引入分割掩码（Mask）或有向拓扑图表示将更加精确。
当前仅开源测试集：出于防止数据污染和建立防刷评测标尺的考虑，当前首发仅开放了 2,445 个测试实例，限制了直接在 DRAGON 上进行大规模有监督对齐或端到端微调的灵活性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统提出图表推理的完整证据链定位评测，定义了全新的评估范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 8 大顶尖模型、6 大异构图表领域与 3 种提示协议，度量深入且指标设计完备。
写作质量: ⭐⭐⭐⭐⭐ 论证严密清晰，评测管线与实验分析层次极其分明。
价值: ⭐⭐⭐⭐⭐ 为多模态图表理解指出了不可忽视的严重幻觉痛点，对未来可信多模态与证据导向 RL 训练极具指导价值。