Diagram-MMU: A Multi-Modal Benchmark for Scientific Diagrams¶

会议: ECCV2026
论文: ECCV 原文
PDF: 会议全文
数据集: AIGrounding/Diagram-MMU
作者: Weihao Bo, Shan Zhang, Yanpeng Sun 等
领域: 多模态 VLM
关键词: 科学图表、TikZ 代码生成、图表编辑、对象级评测、智能体能力
阅读日期: 2026-09-17

身份核验：清单 ID 3381、stub 和缓存首页标题一致，未见副标题变化。缓存来自会议 PDF，包含正文及参考文献共 19 页，不含正文引用的附录；本文不补写未核验的 arXiv、代码仓库或附录参数。

一句话总结¶

Diagram-MMU 用六类科学图的 TikZ 解析、编辑和开放式问答联合评测 12 个多模态模型，发现 Gemini-3.0 Pro 的问答准确率虽达 86.46%，其解析对象 F1 仅为 54.64%，说明答对问题并不等于能忠实重建图形。

研究背景与动机¶

科研写作中的图不只是需要识别的图片，也是可以修改的结构化对象。研究者希望把电路、分子结构或几何图转成可编译的 TikZ，再改标签、连线或拓扑，最后将结果放入 LaTeX 稿件。只问模型“这是什么”或者“哪个数最大”，无法判断它是否真的保留了图中的对象、位置与关系。

以往评测往往只覆盖这条工作链的一部分。ChartQA、CharXiv 主要考查图表问答，Plot2Code 和 ChartMimic 聚焦图表代码生成；已有 TikZ 基准也偏重解析，缺少跨领域编辑与问答的统一测试。Python 或 SVG 输出固然可用，但它们通常作为独立图片进入稿件，不等于能够直接在 LaTeX 中编译、修改的 TikZ 表达。本文因而选取真实手册和社区示例，而不是仅生成一种图形来测试某个专用解码器。

更重要的是，加入工具或中间步骤不一定解决问题：模型可能检索了大量无关语法，也可能把错误的中间代码当成后续推理依据。核心 idea：在同一科学图资源上联合测试解析、编辑和问答，再用对象上下文、语法检索、中间代码和可选规划的受控设置，区分模型会不会理解、能不能重建，以及是否知道何时借助工具。

方法详解¶

整体框架¶

这是一项评测基准工作，不是提出新的可训练网络。输入资源是科学图及其 TikZ 源码；经过简化、编译验证和人工审核后，构建图到代码解析 D2C-P、图到代码编辑 D2C-E、图问答 DQA 三类样本。评测端分别检查渲染图像、代码和图形对象，对问答另用二元正确性判分。

整体设计由四部分组成：真实图源的质量控制、共享图源上的任务构造、对象与编辑分区指标、受控智能体设置。前两部分确保问题可答且参考答案可执行，后两部分避免把“图看起来相似”或“多走了几步”直接解释为可靠能力提升。它不是固定的工具增强算法，16 种设置是相互比较的实验条件。

关键设计¶

1. 真实图源的质量控制：保留可执行的科学结构

作者收集 6,849 段 TikZ 代码，其中 3,540 段来自官方手册，3,309 段来自社区。手册覆盖 TikZ/PGF、PGFPlots、CircuiTikZ、TKZ-Euclide、ChemFig 和 TikZ-Network；社区来源包括 texample.net、TeX Stack Exchange 和 GitHub tikz_favorites。这样的选择提供了不同绘图包的真实语法和领域符号，但也将评测范围限定在 TikZ 生态。

简化阶段删除与绘图无关的导言区包或冗余代码，再用 pdflatex、lualatex 或 xelatex 编译。原始与简化后渲染结果先经多模态模型比较，再人工核查；编译失败或外观不一致的样本被移除。之后人工去除近重复、单箭头、边框或标志等过于简单的图，并由 Qwen3-VL-235B-A22B 初步分类、人工复核。最终正文报告 3,744 张唯一图，覆盖统计图、平面几何、三维形状、图结构、化学表达式和电路六类。

2. 共享图源上的任务构造：把重建、修改与理解分开测

D2C-P 给模型原图和必要的导言区，包括文档类、宏包及库，要求输出完整可执行的 LaTeX。提供导言区减少环境配置的不确定性，但不会提供图的完整源码；核心难点仍是从视觉对象恢复绘图程序。D2C-E 同样从图像出发，还给一条修改指令，要求输出修改后的完整代码，而不是默认把参考源码交给模型编辑。

编辑模板围绕 text、color、scope、layout 四个维度。它们分别涉及标签文字、元素颜色、局部元素增删或变换，以及整体布局或拓扑调整。例如，柱状图转折线图须保持数值和图例，电路串并联转换则必须改变连接关系，不能仅改变视觉样式。构造时，智能体为图选择两个领域相关模板、生成答案、检查并修改，最后人工复核；全体样本由 13 名审核者交叉验证。正文报告 7,420 条编辑样本，不能将“每图选两个模板”机械当成最终样本总数。

DQA 是开放式回答，不是多选题。60 个模板分为 23 个描述模板、18 个标准推理模板和 19 个 what-if 模板。描述题也要求领域语义：相同的连线，在几何中可能是线段，在化学中可能代表化学键。推理题再要求用欧姆定律、面积公式或图路径性质完成计算；what-if 题则先应用假定修改，再重新求值。论文强调它考查基本领域语义和数值计算，不等于专家级科学研究能力。

3. 对象与编辑分区指标：区分外观相似、内容正确和修改成功

图像级评价同时使用 SSIM、CLIP Score、LPIPS 和 FID，前两者越高越好，后两者越低越好。代码级使用 CrystalBLEU 比较生成与参考 TikZ 的语法和结构相似性。这里必须区分“代码像参考答案”与“程序在功能上等价”：不同代码可能画出相同的图，因此低 CrystalBLEU 本身不能证明编译失败或语义错误。

对象级评价先将生成代码与参考代码编译为 DVI，再转成 SVG，从中抽取语义对象模型（Semantic Object Model，SOM）。SOM 将节点、路径、文本和数据序列等表示为带类型与属性的元素列表。类型 F1 比较圆形节点、矩形节点等对象类型，文本 F1 对标签和数值作精确字符串匹配；颜色匹配采用 CIEDE2000 感知色差和置换分配，位置匹配使用边界框 IoU，阈值为 0.3。

四个维度的汇总直接按原文第 3.4 节定义：

\[ F_{1,\mathrm{avg}}=\frac{F_{1,\mathrm{type}}+F_{1,\mathrm{text}}+F_{1,\mathrm{color}}+F_{1,\mathrm{bbox}}}{4}. \]

编辑任务进一步把代码级与对象级分数拆成 preserve-only 和 edit-only，分别考查不该改的内容有没有保留、被要求改变的部分有没有改对。否则，模型即使完全忽略一个小修改，也可能因为大部分图未变而得到不错的整图相似度。DQA 使用 Qwen3-Next-80B-A3B-Instruct 提取答案并给出 0/1 判分，准确率表示被判正确的回答占比。具体 SOM 抽取、逐维匹配公式和裁判提示见原文附录 C，当前缓存未附这些细节。

4. 受控智能体设置：测试工具和中间状态究竟帮了哪一步

表 4 定义 16 种设置，其中 S1、S6、S12 分别是直接解析、直接编辑和直接回答，其余 13 种测试智能体能力。上下文利用通过额外提供图形对象来测试，解析中的 S4 则要求模型自己先感知对象再生成代码；两者不能混为一谈，前者提供了额外信息，后者会继承模型自身的感知误差。

工具使用通过统一的 TikZ 文档检索 MCP 接口测试。作者使用 Mintlify 基于整理好的 TikZ 文档提供选择性检索，避免通用搜索引入论坛噪声，也避免将约 560 页的 PGFPlots 手册整体塞入上下文。接口统一不代表每个模型会正确使用：查询内容、调用时机和何时停止，都由模型能力决定。

状态管理设置要求先生成原图代码，再据此编辑或回答问题；规划设置则允许模型判断是否需要生成代码，并在部分条件中结合工具或对象信息。这使“有一份中间代码”与“能判断何时需要它”成为两个独立变量。正文表 4 的 S11、S16 简写与后文表述并不完全一致；本笔记对具体实验采用表 6、表 7 的释义：S16 为可选代码加工具，S11 为可选编辑前代码加工具，不把标签简写当成精确运行脚本。

损失函数 / 训练策略¶

本文没有训练新的模型，也没有新的损失函数。全量基础能力实验评估 12 个模型，包括 6 个闭源模型和 6 个开源模型；其中 TikZero+ 10B 是在 456K 图与 TikZ 配对上微调的专用基线，因为未针对编辑或问答训练，所以只测 D2C-P。其训练规模是基线背景，不是 Diagram-MMU 的训练集大小。

主表采用 pass@1，并对六种图形类别取平均。智能体实验另外抽取 300 张图，每类 50 张，共 1,500 个实例，解析、编辑、问答分别为 300、600、600，仅测试 6 个代表模型。模型温度、生成长度等配置指向附录表 D.1，缓存未包含该表，因此不能声称这些预算已经核实。

实验关键数据¶

主实验¶

下表摘录原文表 5 的全量 pass@1 结果；数值单位为百分数，编辑分数为对象级 F1，而非编译成功率。

模型	解析 F1avg	编辑保留 F1avg	编辑修改 F1avg	DQA 准确率
Gemini-3.0 Pro	54.64	65.12	40.24	86.46
Gemini-3.1 Pro	49.94	60.60	40.84	86.29
GPT-5.2	51.35	55.59	31.15	81.67
Claude-4.6 Opus	52.23	62.56	31.95	68.75
Kimi-K2.5	57.48	63.12	36.52	79.74
Qwen3-VL-8B	44.66	21.26	9.95	47.12

Kimi-K2.5 的解析对象 F1 为全表最高的 57.48，但问答不是最高；Gemini-3.0 Pro 的 DQA 为 86.46，且编辑保持较强。任务间名次不同，比将 F1 和准确率相减更能说明“理解不等于重建”。专用 TikZero+ 10B 的解析 F1 仅为 15.43，说明在本文跨领域分布上，专用训练并未自动带来优势。

消融实验¶

以下为原文表 6、表 7 的受控条件对照，不是新模型的模块删除消融。基线与增量均来自同一 300 图子集；“设置后”由基线加论文增量计算，变化单位为百分点。

来源	模型与指标	条件变化	子集基线	增量	设置后
表 6	Claude-4.6 Opus，解析 F1avg	S1 → S5，对象加工具规划	48.5	+5.1	53.6
表 6	Gemini-3.1 Pro，解析 F1avg	S1 → S3，语法检索	47.1	-4.3	42.8
表 6	Claude-4.6 Opus，DQA 准确率	S12 → S14，强制先生成代码	80.7	+3.8	84.5
表 6	Seed-2.0 Pro，DQA 准确率	S12 → S16，可选代码加工具	86.0	-8.8	77.2
表 7	GPT-5.2，编辑保留 F1avg	S6 → S7，提供对象	54.9	+10.6	65.5
表 7	GPT-5.2，编辑修改 F1avg	S6 → S7，提供对象	29.3	+5.9	35.2

关键发现¶

对象上下文对编辑最稳定：表 7 六个模型的保留部分均提升 4.1 至 10.6 点，修改部分均提升 3.3 至 7.1 点。这支持“明确目标对象有助于局部修改”，但不证明模型自身感知变强。
工具不是普适增益。表 6 中 Gemini-3.1 Pro 的检索条件下降 4.3 点；作者检查轨迹后归因于反复检索、缺乏停止准则直至触及 token 上限，这是轨迹分析而非独立随机化因果检验。
可选代码步骤会干扰问答。表 6 的 S15 下六个模型均下降，但 S16 中 Gemini-3.1 Pro 为 0.0 变化，不能笼统说每个工具规划条件都下降。
图 5 显示 pass@k 从 1 到 2 的收益最大，超过 4 后趋于饱和；图 6 按解析能否成功渲染分组后，编辑和问答表现也随之分化。两者分别是采样与相关性分析，不是训练收益。

亮点与洞察¶

将“保留正确”和“修改正确”分开，可以发现整图相似度掩盖的小范围编辑失败。这种分区评价可迁移到网页或矢量图编辑，但需要任务对应的对象抽取器。
同一图源上的三类任务让错误链可被追踪。模型能回答领域问题却无法重建图形，提示需要独立测试视觉对象定位与程序表达，而不能用问答榜单替代代码生成验证。
受控设置比只报告一个复杂智能体总分更可解释。对象信息、检索工具和中间状态的贡献可能方向相反，逐项比较能定位工程改进应该发生在哪里。

局限与展望¶

作者明确称其为智能体能力的试点评测，并不覆盖完整科研写作或完整智能体能力；DQA 也以基础领域规则和计算为主，不能外推为专家级科研推理。
手册与社区来源可能引入训练数据重合，当前正文没有给出可验证的污染排查结果。六类图也不均衡，宏平均与现实图形出现频率未必一致。
表 2 六类解析样本数相加为 3,739，而正文称 3,744 张唯一图；结合编辑 7,420 与问答 7,146，任务样本总数为 18,305。这里保留原文两种口径，不擅自把 5 张差异解释为过滤结果。
对象匹配依赖 DVI/SVG 抽取和阈值，文本精确匹配可能惩罚等价写法；CrystalBLEU 也不等价于功能正确性。未来可加入结构关系或执行等价验证。
当前缓存缺附录，无法核验逐模型生成预算、完整提示词、对象抽取细节和工具失败率；DQA 还依赖单个 LLM 裁判。复现时需补齐附录，并用人工抽检、置信区间和跨裁判一致性检验补强结论。

评分¶

新颖性: 4/5，三任务、六领域和智能体对照的组合有明确价值，单项指标多沿用已有方法。
实验充分度: 4/5，覆盖 12 模型并提供分区评价，但智能体仅测小子集，当前缓存缺复现附录。
写作质量: 3/5，主线清楚，样本口径与部分设置简写存在需澄清之处。
价值: 4/5，适合诊断科研绘图助手，尤其能暴露问答准确率掩盖的代码重建弱点。