Chartographer: Counterfactual Chart Generation for Evaluating Vision-Language Models¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/compling-wat/Chartographer
领域: 多模态VLM
关键词: 图表反事实评测, 视觉语言模型, 反向工程代码重构, 捷径学习诊断, 可执行QA逻辑
一句话总结¶
CHARTOGRAPHER 将图表逆向工程解析为语义数据与可执行绘图代码,在自反思与人工验证保证保真度后生成底层数据受控改变的反事实图表,并用可执行逻辑重新计算答案,系统揭示了前沿 VLM 在原始图表做对后仍广泛无法随视觉证据改变而更新答案的泛化盲区。
研究背景与动机¶
图表是定量事实与数据关系的高度凝练表达,理解图表不仅要求多模态大模型(VLM)能够识别基础的文本标签和图例标记,还需要其精准解析坐标映射、度量几何距离、聚合多序列数值并完成复合逻辑推理。随着 VLM 在科研文献分析、金融报表审计和工业仪表盘监控中的广泛应用,图表问答(Chart QA)已演进为评估多模态复杂视觉推理的核心基准。现存主流基准(如 ChartQA、CharXiv、ChartMuseum)构建了丰富的现实图表和多样化问题,推动了图表理解技术的演进。
然而,现存绝大多数评测基准长期受限于固定的「图表-问题-答案」三元组范式。在单一静态图表上测得的高准确率往往存在严重的评测幻觉:模型往往无需真正执行严密的视觉感知与推理链路,仅凭问题文本本身的语言统计模式、常见图表模板的先验偏置,甚至预训练语料中泄漏的图表图像及其参数化记忆,就能通过投机捷径猜出正确答案。一旦底层视觉证据发生变动,模型究竟是在依据视觉信号动态推演,还是在刻舟求剑式地盲从先验记忆,现有评测体系完全无法区分。
打破这一评测瓶颈的根本障碍在于,传统基准若要改变图表数据,往往需要耗费巨大的人力重新绘制并标注问答,或者仅能退而求其次地在固定图表上提出假设性问题,亦或仅施加全局噪点、模糊等低级扰动,未触及视觉证据变动时的推理本质。核心 idea:将图表逆向工程为「语义数据 + 可执行绘图代码」,在严格保持图表结构与问答任务不变的前提下受控改变底层数据生成反事实变体,并用可执行 QA 代码动态求值生成新黄金答案,通过「图表-问题家族」系统切分视觉推理与捷径记忆。
方法详解¶
整体框架¶
CHARTOGRAPHER 的核心设计是将孤立的图表问答样本拓展为包含控制对照与反事实干预的「图表-问题家族」(Chart-Question Family)。整个流水线分为四个串联阶段:源数据逆向解析与代码重构、迭代式自我修正与人工在环验证、基于随机种子的反事实图表渲染、以及基于可执行逻辑的答案动态求值。输入原始图表后,系统首先将其语义结构与绘图实现解耦为 Python 代码和 JSON 数据;基准重构图作为对照组验证重绘保真度,而变体数据生成器则负责衍生多组证据变动图表。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["源图表 QA 样本<br/>原始图像 + 问题 + 黄金答案"] --> B["图表逆向工程与数据代码解耦<br/>VLM 提取语义数据与 make_figure 函数"]
B --> C["迭代式自我修正与人工在环验证<br/>多轮对比修正与任务保真度审核"]
C --> D["种子受控的反事实数据与图表渲染<br/>保持图表模式与结构生成 10 个数据变体"]
D --> E["可执行逻辑驱动的动态问答求值<br/>Python 函数计算变体新答案并适配问题"]
E --> F["图表-问题家族评测套件<br/>综合测算 OA / RA / VA / RVC / CVA / CU / NU / SP"]
关键设计¶
1. 图表逆向工程与数据代码解耦:将不可控像素映射为参数化可变资产
直接在栅格化图像上进行反事实修改极易引入几何失真、笔触破损或文字重影等视觉伪影,导致评测噪声。针对传统图像级编辑无法精确操控数值关系的痛点,CHARTOGRAPHER 采用大模型引导的图表到代码反向工程。系统促使 VLM 从原始图像中解析出两个严格解耦的组件:结构化语义数据(包含实体、序列类别、坐标轴标签、数值矩阵及组别排列关系)与独立的绘图代码模块 make_figure(data, savepath=None)。通过将绘图样式(色彩映射、边距、字体排版、坐标轴刻度布局)固化在代码中,而将图表承载的数值事实完全剥离到数据字典内,使底层数据具备了程序化、批量化扰动的能力,确保后续变体能完全继承原始图表的视觉排版范式与先验外观。
2. 迭代式自我修正与人工在环验证:消除重构伪影并严守任务可解性
单次图表逆向工程常因细节遮挡、字体过小或非标准排版出现重构偏差,若基准重构本身丢失了原题关键线索,反事实评测便无从谈起。为此,流水线引入闭环自我修正(Self-improvement Loop):每次重构完成后,系统自动渲染图像并与源图进行多模态视觉差异诊断,由模型自主生成修正计划并重新调整数据提取与绘图脚本,最多迭代 5 轮直至关键视觉元素一致。在此基础上,流水线配备人工在环验证机制(Human-in-the-loop Validation),由评审专家专门核验坐标轴尺度、复杂图例对应关系与问题可答性。只有在基准重构完全保留原题判定证据且未改变任务难度的前提下,该样本才被接纳为合法家族,从机制上排除了绘图失真对下游推理评估的干扰。
3. 种子受控的反事实数据与图表渲染:跨越微小扰动实现证据维度的深度干预
为严密检验 VLM 是否真正依赖视觉证据进行动态推演,反事实生成必须走出单纯加噪的浅层扰动,直接改变关键答案支撑点。CHARTOGRAPHER 为每个被接纳的图表定制确定性生成模块 generate_data(data_template, seed),通过种子(Seed 0–9)控制 10 组具备显著数值与关系变动的变体。生成器在严格保持原图数据结构规范、量纲单位和物理常识的前提下,系统性地重排曲线轨迹交叉点、调换柱状图高低峰值极值、重构比例切片甚至颠倒排名顺序。这使得反事实图表在视觉语法与风格上高度逼近原图,但在 answer-relevant 数据点上形成实质性语义反转,迫使模型必须重新调动视觉感知算力,而无法通过沿用记忆或模板猜出结果。
4. 可执行逻辑驱动的动态问答求值:解耦标注成本并杜绝答案幻觉
传统人工为数千个新图表逐一重新标注黄金答案不仅代价高昂,而且在涉及多级计算时极易引入人工失误。针对此瓶颈,CHARTOGRAPHER 设计了可执行问答生成机制,包含 adapt_question(data) 与 generate_answer(data) 两个 Python 逻辑函数。当变体数据生成后,答案直接由 generate_answer 依据底层数据对象通过精确代码计算得出,绝不依赖可能产生幻觉的模型标注;同时 adapt_question 在保持原问题表述最大一致性的前提下,仅在必要时进行语法微调以确保问题逻辑成立。通过执行环境与语义判定器的无缝衔接,系统实现了大规模反事实标注的绝对客观与精准,为后续自动化行为诊断奠定了可靠基准。
评测指标与行为诊断体系¶
为全面刻画模型在面对视觉证据变动时的抗干扰与泛化能力,CHARTOGRAPHER 提出了五大核心评测指标与三大行为诊断模式: - 原始准确率(OA):模型在未经改动的基准原始图表上的常规准确率: $\(OAm,d = \frac{1}{|F_d|} \sum_{i \in F_d} \mathbf{1}[\hat{y}^o_{m,i} \equiv y^o_i]\)$ - 重构准确率(RA):在未改变底层数据的基准重构图上的准确率,用于检测代码重绘引入的保真度偏差。 - 变体准确率(VA):模型在 10 个种子控制的反事实变体上的平均表现: $\(VAm,d = \frac{1}{|F_d|} \sum_{i \in F_d} \frac{1}{|V_i|} \sum_{j \in V_i} \mathbf{1}[\hat{y}^v_{m,ij} \equiv y^v_{ij}]\)$ - 相对变体变化率(RVC):衡量模型对图表变动的敏感度,\(RVC_{m,d} = 100 \times \frac{VA_{m,d} - OA_{m,d}}{OA_{m,d}}\)。 - 条件变体准确率(CVA):反事实泛化能力的最核心衡量尺度,仅在模型答对原始图表(\(\hat{y}^o_{m,i} \equiv y^o_i\))的前提子集 \(S_{m,d}\) 内计算变体准确率,精准剔除模型本身能力不足导致的本底错误: $\(CVAm,d = \frac{1}{\sum_{i \in S_{m,d}} |V_i|} \sum_{i \in S_{m,d}} \sum_{j \in V_i} \mathbf{1}[\hat{y}^v_{m,ij} \equiv y^v_{ij}]\)$ - 更新行为细粒度诊断:在原始图表答对的样本空间中,将变体预测细分为三种归宿: 1. 正确更新(Correct Update, CU):模型感知到视觉变化并给出了正确的新答案。 2. 陈旧预测(Stale Prediction, SP):模型未能重新锚定视觉证据,固执重复原图的旧答案且判定为错,是典型的参数化记忆或捷径行为。 3. 嘈杂更新(Noisy Update, NU):模型意识到图表改变并变动了输出,但由于推理逻辑链断裂或数值定位偏差,给出了错误的新答案。
实验关键数据¶
主实验:多模型跨基准综合准确率与敏感度对比¶
实验在 ChartQA、CharXiv 以及 ChartMuseum 三大基准的验证/开发集上全面铺开,覆盖了包括最新商业闭源旗舰与主流开源指令微调 VLM 在内的 15 个模型。
| 模型类型 / 具体模型 | ChartQA (OA / RA / VA / RVC) | CharXiv (OA / RA / VA / RVC) | ChartMuseum (OA / RA / VA / RVC) |
|---|---|---|---|
| 商业闭源模型 | |||
| Claude Haiku 4.5 | 0.907 / 0.933 / 0.878 / -3.2% | 0.541 / 0.608 / 0.574 / +6.2% | 0.472 / 0.451 / 0.357 / -24.3%** |
| Claude Sonnet 4.6 | 0.927 / 0.933 / 0.905 / -2.3% | 0.662 / 0.750 / 0.697 / +5.2% | 0.690 / 0.704 / 0.541 / -21.6%*** |
| Gemini 2.5 Flash | 0.933 / 0.933 / 0.891 / -4.5%** | 0.608 / 0.669 / 0.647 / +6.4% | 0.641 / 0.606 / 0.493 / -23.1%*** |
| Gemini 2.5 Pro | 0.947 / 0.927 / 0.897 / -5.2%** | 0.682 / 0.750 / 0.726 / +6.3% | 0.732 / 0.704 / 0.529 / -27.8%*** |
| GPT-4.1 | 0.927 / 0.900 / 0.869 / -6.3%** | 0.547 / 0.574 / 0.534 / -2.3% | 0.507 / 0.549 / 0.392 / -22.6%** |
| GPT-4.1 mini | 0.880 / 0.900 / 0.861 / -2.1% | 0.412 / 0.622 / 0.476 / +15.6% | 0.528 / 0.528 / 0.446 / -15.5%* |
| GPT-4o | 0.860 / 0.887 / 0.841 / -2.2% | 0.432 / 0.426 / 0.389 / -10.2% | 0.345 / 0.366 / 0.287 / -16.7% |
| GPT-5.4 | 0.927 / 0.947 / 0.916 / -1.2% | 0.770 / 0.757 / 0.803 / +4.3% | 0.704 / 0.718 / 0.554 / -21.3%*** |
| GPT-5.4 mini | 0.940 / 0.940 / 0.917 / -2.5% | 0.676 / 0.696 / 0.696 / +3.0% | 0.486 / 0.514 / 0.425 / -12.5% |
| 商业模型均值 | 0.916 / 0.922 / 0.886 / -3.3% | 0.592 / 0.650 / 0.616 / +3.8% | 0.567 / 0.571 / 0.447 / -20.6% |
| 开源模型 | |||
| Gemma 4 E4B IT | 0.860 / 0.853 / 0.839 / -2.5% | 0.365 / 0.439 / 0.411 / +12.6% | 0.289 / 0.261 / 0.251 / -12.9% |
| InternVL3-8B | 0.847 / 0.853 / 0.816 / -3.6% | 0.311 / 0.318 / 0.304 / -2.2% | 0.268 / 0.239 / 0.223 / -16.6% |
| LLaVA-OneVision-Qwen2-7B | 0.707 / 0.680 / 0.612 / -13.4%** | 0.250 / 0.189 / 0.196 / -21.6% | 0.190 / 0.211 / 0.164 / -13.7% |
| Pixtral-12B | 0.827 / 0.787 / 0.767 / -7.3%* | 0.372 / 0.365 / 0.317 / -14.7% | 0.246 / 0.254 / 0.211 / -14.6% |
| Qwen2.5-VL-7B-Instruct | 0.840 / 0.880 / 0.790 / -6.0% | 0.338 / 0.372 / 0.343 / +1.6% | 0.275 / 0.211 / 0.223 / -18.7% |
| Qwen3-VL-8B-Instruct | 0.907 / 0.907 / 0.882 / -2.7% | 0.480 / 0.568 / 0.506 / +5.5% | 0.380 / 0.423 / 0.339 / -10.7% |
| 开源模型均值 | 0.831 / 0.827 / 0.784 / -5.9% | 0.352 / 0.375 / 0.346 / -3.1% | 0.275 / 0.267 / 0.235 / -14.5% |
(注:显著性标记代表基于成对符号翻转置换检验的原始与变体差异:*p < .05, **p < .01, ***p < .001)
消融与诊断实验:更新行为分解与推理类型细分¶
为了深入探究模型在原始图表做对后面对变体的具体行为模式,下表统计了三大数据集上的正确更新率(CU)、嘈杂更新率(NU)和陈旧预测率(SP),并汇总了 ChartMuseum 上不同推理类型的条件变体准确率(CVA)。
| 数据集 / 维度 | 商业闭源模型 (CU / NU / SP) | 开源模型 (CU / NU / SP) | 全局洞察与说明 |
|---|---|---|---|
| ChartQA | 0.929 / 0.066 / 0.005 | 0.851 / 0.125 / 0.023 | 结构常规且简单,绝大多数成功案例能够顺畅泛化到反事实变体。 |
| CharXiv | 0.726 / 0.214 / 0.060 | 0.473 / 0.378 / 0.149 | 科学图表多子图复杂交互,开源模型有近 15% 呈现死记硬背式的陈旧预测。 |
| ChartMuseum | 0.579 / 0.327 / 0.094 | 0.410 / 0.432 / 0.158 | 人工复杂设计图表上泛化剧烈崩塌,开源模型正确更新率仅 41.0%,错误更新(NU+SP)占近 60%。 |
| ChartMuseum 推理类型 (CVA) | 商业模型均值 | 开源模型均值 | 关键差异 |
| 纯文本类(Text) | 0.787 | 0.482 | 依赖图表上明确印刷的文字/数值,模型泛化最佳。 |
| 图文混合(Visual/Text) | 0.620 | 0.464 | 文本辅助定位,泛化能力居中。 |
| 综合推理(Synthesis) | 0.532 | 0.413 | 涉及趋势归纳与多点关联,表现明显滑坡。 |
| 纯视觉类(Visual) | 0.460 | 0.331 | 依赖纯视觉标记对比与空间几何定位,泛化性能全面垫底。 |
此外,在对 ChartMuseum 重构保真度的人工抽样审计中,98 张留存图表和 142 个 QA 家族全部(100.0%)被证实有效保留了答题所需的关键证据且具备完全可解性;97.2% 的重构案例在难度上与原图保持完全一致。而在图像分辨率消融实验中,将 ChartMuseum 重构图长宽双向缩放至 75% 与 50% 后,GPT 家族的重构准确率从 0.535 分别回落至 0.513 与 0.511,与原始准确率(0.514)高度契合,证明了重构图原生的微小准确率上扬主要来源于矢量渲染去除扫描杂质带来的清晰度红利,而非任务难度的系统性漂移。
关键发现¶
- 原始成功不代表真实泛化:单图评测严重夸大了 VLM 的鲁棒性。在更具挑战性的 ChartMuseum 基准上,前沿商业模型在面对反事实数据修改时出现了超过 20% 的断崖式性能暴跌(平均 RVC 为 -20.6%,如 Gemini 2.5 Pro 从 0.732 跌至 0.529,RVC 达 -27.8%)。
- 嘈杂更新与陈旧预测的显式表征:错误更新中以嘈杂更新(NU)最为普遍,表明模型虽有意识放弃原答案,却缺乏在更新图像中重组正确视觉推理路径的能力;而在 ChartMuseum 与 CharXiv 上,陈旧预测(SP)分别占到了 9.4%~15.8% 与 6.0%~14.9%,思维链盲审实验显示 SP 案例的陈述重用率(Claim Reuse)高达 85%~89%,直接印证了模型对原图记忆或先验文本捷径的依赖。
- 纯视觉定位是最大短板:当问题答案完全依赖纯视觉几何标记(条形长短、离散路径跳数、曲线斜率拐点)时,模型的 CVA 跌至冰点(商业 0.460,开源 0.331);而一旦图表带有清晰的局部文本标注,泛化率显著上升至 0.787,暴露出当前 VLM 在跨模态图表推理时依然极度偏向「以文解图」的文本捷径依赖。
亮点与洞察¶
- 解耦式代码重构范式:将像素级图表反解为语义 JSON 和 Python 绘图代码,兼顾了图表视觉风格的保真度与底层数据任意可控扰动的灵活性,为多模态反事实基准提供了一套标准可复用的自动化工具链。
- 可执行代码闭环求值:采用确定性 Python 逻辑函数同步求出反事实图表的答案,彻底摆脱了人工复核的沉重负担与多模态模型自动标注带来的幻觉蔓延,保障了评测基准的高度客观。
- 「图表-问题家族」与 CVA 评测体系:将基准重构作为严格对照,以条件变体准确率(CVA)和 CU/NU/SP 行为解耦为核心,建立起了一套穿透「单图准确率虚高」幻觉的因果评估框架,能够直接迁移至几何多模态推理、文档解析等相关领域。
局限与展望¶
- 可重构图表范围的覆盖局限:方法依赖于图表到代码的可解析性,论文排除了约 4.2% 包含密集不可辨重叠数据或非标准极坐标、Sankey 复杂流向图的样本,未来需要探索更通用甚至跨渲染引擎的图表编译器。
- 仅干预数据而保持布局恒定:当前框架专注于在固定图表模式下干预数值事实,并未涵盖图表类型切换(如折线转条形)、图例重排或问题重述等更广义的视觉表征扰动。
- LLM Judge 语义判定的潜在偏差:尽管论文通过多 Judge 复核取得了超过 98% 的极高决策一致性,但在边缘数值近似与主观实体匹配上,自动化评委仍可能存在少量系统性偏好,引入交互式人机协同裁决将是未来的演进方向。
相关工作与启发¶
- vs ChartQA / CharXiv / ChartMuseum: 传统基准局限于静态图表-问题-答案三元组,模型常通过问题语言先验或图表外观记忆猜出答案;本文通过逆向工程生成反事实图表家族,强制要求模型随视觉证据更新推理,实现了真正的视觉理解因果探测。
- vs Chart-HQA: Chart-HQA 仅在文本提问中加入假设性条件(如“如果 A 增加…”),图像本身并未变动,仍属于纯文本反事实推理;本文直接重新渲染像素图像本身,要求模型真正从视觉感知端重读改变的数据。
- vs ChartInsights / ChartR: 现有鲁棒性工作主要通过增加高斯噪声、模糊、调整色调等底层画质退化进行攻击;本文保持图表语法和画质完全正常,精准针对底层 answer-relevant 数据进行反事实置换,直击高层语义推理核心。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 创造性地通过图表到代码的反向工程实现可控反事实图表家族生成,选题切中痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 个主流闭源与开源模型、三大主流基准,且包含详细的人工保真度审计与思考链盲审。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑极为清晰连贯,实验图表与行为细分定义严谨。
- 价值: ⭐⭐⭐⭐⭐ 为多模态大模型的视觉推理能力评估树立了崭新的反事实因果评测标准,对行业基准去伪存真具有重大启示。