Scientific Image Synthesis: Benchmarking, Methodologies, and Downstream Utility¶

会议: ECCV2026
论文: ECCV 原文
作者: Honglin Lin, Chonghan Qin, Zheng Liu, Qizhi Pei, Yu Li, Zhanping Zhong, Xin Gao, Wei Li, Wentao Zhang, Yanfeng Wang, Conghui He, Lijun Wu
领域: 图像生成
关键词: 科学图像合成、程序化生成、视觉必要问答、结构精度、多模态推理

一句话总结¶

本文以 SciGenBench 衡量科学图像是否保留可用于解题的信息，用“理解、规划、代码”式 ImgCoder 对比直接像素生成；Gemini-3-Pro-ImgCoder 在默认评估器下取得 77.87% 的整图逆向验证通过率，合成数据也能改善下游多模态推理。

研究背景与动机¶

科学插图不是把文字换成一幅看着合理的画：电路的连接拓扑、函数的极值位置、分子的化合价，都可能决定一道题的答案。自然图像生成擅长的纹理与整体语义相似性，并不能保证这些离散关系或定量约束正确。尤其在合成训练数据时，一幅漂亮但错误的图不是无害装饰，而会成为错误监督。

现有科学绘图研究包括代码生成、模板渲染和论文插图生成，但“适合展示”与“足以支撑推理”仍是两种目标。本文因此同时比较像素生成和程序化生成，建立面向科学信息的评测，再检查这些图训练出来的模型是否更会解题。其主要贡献是统一研究协议与效用证据，而不是提出新的扩散架构，也不是把所有科学推理都交给形式化求解器。

核心 idea：将科学图像质量定义为结构和信息能否被可靠读回，利用可执行代码显式控制图形约束，再把图像级验证与下游推理训练连接起来。

方法详解¶

整体框架¶

输入是经过筛选的科学题目描述，输出既包括生成图像，也包括评测结果和用于训练的图文题目。流程先构建科学指令，再进行双范式生成；随后通过视觉必要问答和多维评审检验图像，最后用合成图像开展下游强化学习实验。SciGenBench 约含 1.4K 道题，覆盖 5 个学科和 25 类图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["科学文本与真实参考图"] --> Data["科学指令构建"]
    Data --> Gen["双范式生成<br/>像素生成或 ImgCoder"]
    Gen --> Eval["视觉必要性与<br/>混合评测"]
    Data -->|源指令提供原子事实| Eval
    Eval --> Train["下游效用检验"]
    Train --> Output["图像质量与推理表现"]

关键设计¶

1. 科学指令构建：先确定哪些文字值得转成图

主要题源是 MegaScience 和 WebInstruct-verified。作者并不把所有科学文本都送去绘图，而是筛除抽象推导等没有具体可视结构的内容。Gemini-3-Flash 在一次推理中同时完成可视化适宜性筛选和细粒度分类，使留下的描述能够对应可检查的几何实体、物理装置或其他图形结构。

分类采用“学科、图像类型”两层：数学、物理、化学、生物，以及容纳跨学科结构的 Universal；图像类型包括分子结构、电路图、图表、实验装置等。这个组织方式有助于分辨模型是在科学知识上失败，还是面对密集标签和拓扑关系时失败。它不是只按学科平均分判断优劣。

另一路参考来自 SeePhys 的 vision-optional 子集，称为 SciGenBench-SeePhys。真实参考图参与各类评测，并为真实与合成图像的分布比较提供依据；只有这一子集用于依赖参考图的传统指标，不能把这些指标的样本范围误写为整个 SciGenBench。

2. 双范式生成：把结构规划从最终渲染中显式分离

像素路线直接把文字变成图像，但提示词仍施加三类约束：完整呈现所有实体，不泄漏计算步骤或最终答案，并采用清晰的教科书式风格。因此对照不是随意的一句提示，而是经过科学任务适配的生成流程。参评模型覆盖 Qwen-Image、HunyuanImage-3.0、GPT-Image-1.5、Nanobanana-Pro 等。

ImgCoder 则先理解题目，再规划，最后生成可执行绘图代码并确定性渲染。规划必须交代四件事：图像内容列出实体及其关系；布局预先规定坐标系与拓扑，减少误重叠；标签确定文本内容和锚点；绘图约束检查领域规律，同时禁止答案泄漏。这样，原本隐含在像素中的关系被移到可执行的结构描述里。例如，坐标和曲线由数值计算得到，而不是依靠模型“画得像”。

这仍是提示驱动的程序化基线，不是新增一个经过训练的绘图网络，也没有证明代码天然符合科学规律。错误的理解、规划或公式仍会生成错误图，确定性只保证忠实执行代码。论文使用 Qwen3-235B-Instruct 和 Gemini3 系列骨干，主表分别列出 Qwen3、Gemini-3-Flash 与 Gemini-3-Pro 的 ImgCoder 版本。

3. 视觉必要性与混合评测：既检查局部事实，也检查整张图能否使用

原子问答从源指令而不是从生成图的表面内容建立。Gemini-3-Flash 抽取数值、几何关系或领域属性，将每个事实转成只针对一项信息的问题；GPT-5-nano 随后在不看图的情况下独立作答 4 次。如果一个问题 4 次全对，就剔除它，以降低文字泄漏和常识捷径。这个规则不保证剩余问题绝对无法盲答，只表示它未通过这一严格的重复盲答筛查。

每种图像类型优先保留有效原子问题较多的样本，再由专家检查逻辑和事实。生成图交给 Gemini-3-Flash 作视觉问答，只有关联问题全部答对，整张图才通过逆向验证。按正文对式 (2) 的定义整理为下面的标准记法；缓存中的公式排版破损，因此这里不是逐字转录原公式：

\[ R_{\mathrm{inv}}=\frac{1}{|\mathcal D|}\sum_{I\in\mathcal D}\mathbf{1}\!\left[\sum_{q\in Q_I}V(I,q)=|Q_I|\right]. \]

其中 \(\mathcal D\) 是评测图像集合，\(Q_I\) 是图像关联的原子问题，\(V(I,q)\in\{0,1\}\) 表示视觉问答是否正确，\(\mathbf{1}\) 是指示函数。表格以百分比报告这个比例；它不是把所有问题混在一起算平均正确率。整图全对的要求能暴露单个关键关系的缺失，但也会受每图问题数量以及问答模型能力影响。

另一条评测支路由 Gemini-3-Flash 在五个维度分别给出 0、1、2 分：正确性与忠实度、布局与精度、可读性与遮挡、科学合理性、表达性与丰富度。它能区分“逻辑准确但图像简略”和“表现丰富但数值关系错误”。PSNR、SSIM、CLIP、FID 则作为辅助参照，不承担科学正确性的判定责任。

4. 下游效用检验：避免图文训练退化为只读题干

训练数据需要保留科学题目的可靠监督，同时让图像确实参与解题。作者遮蔽原题文本中的部分信息线索，迫使模型从图像恢复它们，而不是在看似多模态的任务中直接照着文字作答。这与评测端的盲答筛查作用不同：前者改训练输入，后者筛评测问题。

下游比较用不同生成器制作的数据训练同一个 Qwen3-VL-8B-Instruct，还加入去除错误图像后的 Nanobanana-Pro (Filt) 和 Qwen-Image (Filt) 两组。由此能观察生成范式、教师质量以及数据过滤是否转化为真实推理收益。并非所有训练组都预先过滤，所以不能笼统声称每组训练图都经过同样强度的验证。

一个完整示例¶

图 2 用 \(y=x\ln x\) 说明精度差异。像素模型可能画出平滑且符合“函数图”外观的曲线，却把截距和极值画错；ImgCoder 的理解阶段识别函数与坐标轴，规划阶段确定绘图区和标签，再让代码计算函数值并绘制。这里决定信息是否正确的是函数和坐标计算，不是纹理细节。

接着，从源题事实建立的原子问题会检验图中关系能否被读回。只要一个必要关系无法正确读取，该图就不通过整图逆向验证，即使标签很清楚、视觉上很精致。反过来，代码渲染若省掉弹簧系统的场景细节，也可能损失表达性；图 2 的另一组例子正用这一点说明程序化方案并非全面优于像素生成。

损失函数 / 训练策略¶

ImgCoder 本身是理解、规划与代码生成的推理流程，正文没有新增专用训练损失。下游采用 VeRL 实现的 rollout 式强化学习，训练 200 个 global steps，每个提示进行多次 rollout，由 Compass-Verifier-8B 统一负责答案核验和奖励计算。

测试使用 MathVisionmini 与 Geometry3Ktest，并通过多次采样报告平均表现；图 5 的准确率标为 Avg@4。当前缓存只含主文与参考文献，没有所引用的补充材料，因此学习率、batch size、精确 rollout 数量、RL 目标形式和硬件设置不能补写成已知事实。

实验关键数据¶

主实验¶

下表摘自原文表 2。\(R_{\mathrm{inv}}\) 单位为 %，越高越好；其余列为 Gemini-3-Flash 评审的 0–2 分，越高越好。五维缩写依次对应正确性与忠实度、布局与精度、可读性与遮挡、科学合理性、表达性与丰富度。

方法	\(R_{\mathrm{inv}}\) (%)	C&F	L&P	R&O	SP	E&R
Qwen-Image	38.86	0.24	0.70	1.48	0.30	0.76
GPT-Image-1.5	63.52	0.98	1.70	1.97	1.17	1.62
Nanobanana-Pro	73.41	1.59	1.87	1.98	1.72	1.93
Qwen3-ImgCoder	56.38	1.21	1.30	1.62	1.39	1.29
Gemini-3-Flash-ImgCoder	76.93	1.80	1.88	1.88	1.92	1.91
Gemini-3-Pro-ImgCoder	77.87	1.82	1.93	1.91	1.93	1.90

Gemini-3-Pro-ImgCoder 比 Nanobanana-Pro 高 4.46 个百分点，但可读性与表达性略低。Qwen3-ImgCoder 比 Qwen-Image 高 17.52 个百分点；两者不是同一模型仅切换渲染器的严格控制实验，不能据此独立归因出“代码执行的净收益”。

原文表 6 的下游比较如下，GEO3K 与 MV 为答题表现分数，按百分制报告。AVG 原样保留，不能自行改成两列的简单平均。

RL 数据来源	GEO3K	MV	AVG（原文）
Base	61.9	39.0	54.5
Qwen-Image	68.2	45.9	57.1
Qwen-Imgcoder	67.9	46.9	57.4
Qwen-Image (Filt)	68.6	47.0	57.8
Nanobanana-Pro	70.1	46.1	58.1
Gemini-ImgCoder	69.1	46.9	58.0
Nanobanana-Pro (Filt)	68.7	47.7	58.2

原文据 AVG 报告最佳组相对 Base 提升 3.7 分。不过 Base 的 61.9 和 39.0 算术平均为 50.45，不是 54.5，正文没有解释这一差异；这里保留原值并标记口径待核。可单独核实的 MV 变化是 39.0 到 47.7，提高 8.7 个百分点。

消融实验¶

下表摘自原文表 5；\(R_{\mathrm{inv}}\) 按原表精度报告，Tokens 为报告的 token 用量，Runtime 单位为秒。表题是“Planned ablation of ImgCoder components”，但正文将其作为已观察结果讨论，故这些数值按原文报告而非已独立复现实验引用。

配置	\(R_{\mathrm{inv}}\) (%)	Tokens	Runtime (s)
Gemini3-F-ImgCoder	76.9	7412	37.5
w/o Plan	74.8	3663	18.7
w/o Code	75.5	3205	16.9
w/o Plan & Code (Direct)	74.3	3046	16.1

完整流程比直接生成高 2.6 个百分点，同时增加 4366 tokens 和 21.4 秒。规划与代码均有正向关联，但推理预算也改变了，因此这不是固定计算量的纯组件贡献比较；无代码版本的具体实现和时间测量条件在当前缓存中未充分说明。

关键发现¶

评估器会影响榜首：表 4 改用 GPT-5-mini 后，Gemini-3-Pro-ImgCoder 的逆向验证率从 77.87% 降到 75.16%，Nanobanana-Pro 则从 73.41% 升到 77.31%。总体排序相关不等于每个名次不变。
人类验证由 10 名 STEM 标注者覆盖 500 个样本；Elo 初值 1500、尺度参数 400、更新系数 32，随机打乱比较顺序重复 100 次。图 4 中，人类 Elo 与逆向验证率、评审均分的 Pearson 相关分别为 0.957、0.911。
图 5c 将 Nanobanana-Pro 合成训练集从 50 扩展至 1400 个样本，MV Avg@4 从 43.9% 增至 46.1%，即 2.2 个百分点。它支持该区间内的增长趋势，而非已建立可无限外推的 scaling law。

亮点与洞察¶

将“整张图的所有必要信息都能读回”作为指标，比图像相似度更贴近科学训练数据的用途。五维评审又保留诊断性，避免一个通过率掩盖标签遮挡与领域知识错误的差异。
ImgCoder 的价值在于显式规定内容、坐标、标签锚点和科学约束，而不只是让模型输出代码。这种设计适合图表、电路和几何图，但仍需要检验规划本身是否正确。
把数据质量与训练收益放在同一研究中，让生成评测不止于排行榜。过滤后 MV 改善但 GEO3K 未必单调上升，也提醒使用者按任务检查数据增强是否有效。

局限与展望¶

作者讨论了精度与表达性的取舍：代码图常偏示意化，像素模型更擅长丰富场景；混合方案值得探索，但本文并未验证一个完整的混合生成系统。
逆向验证仍依赖视觉问答模型，且不同图的问题数不同；问题越多越可能因一次识别失败而整图不通过。跨家族评审和人工偏好降低了单评估器风险，但不能证明每个样本的科学正确性。
表 5 的计算预算不匹配、表 6 的 AVG 口径异常以及缺失补充材料，限制了严格复现。不能用这些结果断言固定成本下代码生成必然更优。
200 步 RL 和 50–1400 样本的扩展实验规模有限。扩大训练规模、报告方差，并用解析器或领域求解器复核拓扑和数值约束，会比只增加一个模型评审更有说服力。

评分¶

新颖性: 4/5。统一科学图像评测与效用验证有价值，生成框架本身主要是结构化提示基线。
实验充分度: 3/5。多模型、人类评审和跨家族评估覆盖较广，但预算控制和数值口径仍有缺口。
写作质量: 3/5。研究链条清楚，表题、AVG 和补充设置的可核查性不足。
价值: 4/5。适合作为科学多模态数据构建与验收的参考，而非无条件的代码生成优越性结论。