GRADE: Benchmarking Discipline-Informed Reasoning in Image Editing¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
项目: GRADE
代码: https://github.com/VisionXLab/GRADE
数据集: VisionXLab/GRADE
领域: 视觉语言推理 / 图像编辑
关键词: 学科知识、隐式推理、图像编辑、自动评测、结构约束

一句话总结¶

GRADE 将图像编辑变成必须遵守学科知识与图示约束的综合考试，在520个样本上用三维评分评测20个模型，发现最佳模型的严格准确率仍只有46.2%，而提供显式编辑步骤能显著缓解但不能消除失败。

研究背景与动机¶

统一多模态模型希望把理解、推理和图像生成放在同一个系统里，但生成一张自然的图片并不能证明这些能力已经协同工作。常见编辑任务会明确要求替换物体、改变颜色或调整背景，模型可以直接把文字映射成外观变化。即使指令包含隐含条件，许多已有评测依赖的仍是日常常识，而不是必须按规则执行的专业知识。 RISEBench 和 KRISBench 已经把推理引入编辑评测，但其知识范围与面向学科图示的任务并不相同。例如，给定一张分子结构图，要求画出反应产物，模型必须先确定化学变换，再把它落实到正确的键和原子上。

这类任务同时约束答案和表达答案的方式：反应机理正确，却改坏了不应变化的骨架，仍不能作为合格编辑。几何图中的旋转轴、乐谱中的音高、历史时间轴中的空缺位置，也都要求模型理解图形元素的学科语义。只看图文相似度或视觉美感，很容易放过符号错位、错误标签和不成立的空间关系。 MMMU、HLE 等理解基准能够检验知识，却通常不要求模型把答案画回原图；MMMG、GenExam 等生成基准也没有同样的输入结构保留压力。因此，本文补的是“读懂专业图示之后，能否在约束下正确修改它”的评测空白，而不是提出新的编辑网络。

GRADE 选择十个学科的人工作图任务，并给每个任务建立参考结果和可以逐项核对的知识评分点。这种设计让评测不再只问输出像不像目标，而是追问该做的变化是否完成、不该动的内容是否保留、结果是否能被正确解读。研究重点是隐式指令：告诉模型需要达到的学科目标，而不直接给出全部图形操作。显式指令只在消融中作为辅助条件，用来估计失败有多少与知识推导有关。 核心 idea：用学科知识规定编辑目标，再把推理正确性、任务相关的一致性和逻辑可读性联合起来，检验理解是否真正转化成了可靠的视觉修改。

方法详解¶

整体框架¶

GRADE 的全称是 Grounded Reasoning Assessment for Discipline-informed Editing，是数据集与评测协议，而非待训练模型。每个样本包含输入图像、文本编辑指令和参考图像（GT）；被测模型接收前两者并输出编辑后的图像。参考图像用于评测，不是作为标准任务输入直接交给编辑模型的答案。数据准备阶段先建立学科任务，再构建经过专家复核的知识评分点和任务一致性类别。评测阶段由 Gemini-3-Flash 对模型输出打分，最后分别报告维度分数、严格准确率和宽松分数。四个关键设计依次是学科任务构建、知识评分点、任务相关视觉约束、双层汇总与诊断。这些中间表示都是样本注释与评价规则，不是新的隐变量、神经网络分支或训练监督模块。因此本文不需要用网络结构图表达贡献，也没有为 GRADE 定义训练损失或宣称经过微调的模型改进。

关键设计¶

1. 学科任务构建：让修改目标依赖专业知识而非表面匹配

数据集共520个样本，覆盖数学、物理、化学、生物、历史、地理、体育、音乐、计算机科学和经济学。其中大部分由六名具备相关学术背景的标注者，从开放教材、网站及其他参考材料中选取概念明确的图像。标注者手工制作输入与参考图像对，并设计与修改目标对应的指令，再由另外两名专家交叉验证。剩余样本来自 MMMU：自动流程先做粗筛，两名专家人工选择并设计编辑指令，另两名专家继续交叉验证。这里的人工编辑不是为了制造更多视觉风格，而是保证参考结果对应一个可以检查的学科要求。相比仅用语言模型生成题目，这一步把图像、指令和正确修改三者的对应关系纳入专家审核。主文没有给出两种来源各自的数量，因而不能据此声称数据全部独立于已有基准。

学科下面还划分更细的二级类别，例如数学中的平面几何、立体几何、函数、图与统计。这样既能保留总体可比较性，也能观察错误是否集中在特定知识结构上。指令通常保留需要推导的部分，例如要求生成反应产物，而不逐条说明应删除或增加哪些化学键。在图最短路径任务中，要求标出正确路径，也不等于已经告诉模型要把哪几条边涂色。这让图像感知、知识选择、推理步骤和最终绘制共同决定结果，而不是只测按文字执行编辑动作。需要注意，十学科覆盖不代表每个学科具有相同规模或同等难度，不能把总体结果解释成无偏的专业能力排名。

2. 知识评分点：把正确性拆成可核验的二值条件

学科推理（Discipline Reasoning）关注编辑结果是否正确体现所需知识，而不是模型是否写出了看起来合理的解释。 GPT-5 为每个样本生成若干带权重的二值问题，权重之和为1。两名具有相关学科知识的专家独立检查所有评分点，再由第三名专家交叉验证。这些问题在正式评价前准备好，避免对不同模型临时更换成功标准。正式评测时，Gemini-3-Flash 结合评分点与参考图像，判断编辑结果是否满足每个条件。因此，GPT-5 的角色是准备评分标准，Gemini-3-Flash 的角色是依据标准评价输出，二者不是同一个阶段。

以原文图1的最短路径任务为例，评分点分别检查三条目标边是否变红、是否形成从 A 到 H 的连续路径、是否没有多余红边。这五个条件各占0.2，说明“画出了几条正确边”和“完整解出任务”可以被区分。将某个样本第 \(k\) 个问题的回答记为 \(b_k\in\{0,1\}\)、权重记为 \(w_k\)，主文第3.2节的文字规则可写成：

\[ R=\sum_{k=1}^{K}w_k b_k,\qquad \sum_{k=1}^{K}w_k=1. \]

这里 \(R\) 在0到1之间，公式是对原文评分定义的记号化表达，不是论文新增的优化目标。参考图像帮助裁判识别目标状态，二值问题则明确哪些学科性质必须成立，减少一句笼统评价指令遗漏要求的风险。但细化问题并不自动消除裁判偏差：评分点是否充分、权重是否合适、裁判是否识别细小符号，仍会影响结果。

3. 任务相关视觉约束：区分应该保留什么，以及答案是否可读

视觉一致性（Visual Consistency）不能简单理解为越接近输入越好，因为有些正确编辑本来就必须改变整体结构。 GRADE 将任务分成三类，由标注者讨论确定类别，再使用相应的评价提示词。局部一致性适用于只改特定区域或元素的任务，例如补全时间轴或调整经济图中的曲线，其他元素应保持不变。风格一致性适用于允许整体结构变化的任务，例如分子结构变化后仍需使用原来的键线表示，而不是改画球棍模型。一致性独立适用于无需保留输入外观的任务，例如由机械零件渲染图生成工程正投影视图。第三类不是说输出可以没有规范，而是规范来自目标表达方式，不能用与原图相似这一条统一惩罚它。每个样本最终获得0、1或2分的一致性评价；主文没有展开各类别的完整提示词和具体分档边界。

逻辑可读性（Logical Readability）同样使用0、1或2分，但关心的是学科信息能否被清晰解释。一张图即使轮廓清晰、分辨率足够，也可能因为曲线无法区分、图例缺失或标签矛盾而不可用。裁判检查表达的逻辑清楚程度、注释与图例、文字拼写以及表示习惯是否一致。因此，推理正确性对应“表达了正确知识没有”，逻辑可读性对应“读者能否可靠理解这份表达”。把这两项分开，有助于区分答案错了与答案被画坏了，而不是把所有失败都笼统归为生成质量差。视觉一致性又约束了编辑范围，避免模型通过重新画一张无关但正确的示意图绕过原任务要求。反过来，几乎不修改原图也可能获得较高的一致性与可读性，所以这些维度必须和学科推理联合使用。

4. 双层汇总与诊断：同时观察完整成功和部分进展

严格准确率规定三个维度必须同时达到最高分，才把该样本算作成功。用 \(C,L\in\{0,1,2\}\) 分别表示一致性和可读性，对 \(N\) 个样本的规则可写为：

\[ \mathrm{Accuracy}=\frac{100}{N}\sum_{i=1}^{N}\mathbf{1}[R_i=1\land C_i=2\land L_i=2]. \]

这一指标检验的是完整交付能力，所以一个仅遗漏必要标签或多画一条边的结果也可能失败。它不是推理分数的另一种名称，更不能把77.5分的平均推理表现直接解释为77.5%的完整编辑成功率。为避免严格门槛掩盖部分进步，作者还把三个维度分别归一化到0至100，按0.6、0.3、0.1加权形成宽松分数。即宽松分数是归一化学科推理的60%、视觉一致性的30%和逻辑可读性的10%之和。严格分数适合判断能否直接使用输出，宽松分数适合观察模型是否开始满足部分要求，但会容许维度之间相互补偿。

自动裁判的可靠性通过68个跨学科抽取样本核对，输出来自 Nano Banana Pro、GPT-Image-1.5 和 Qwen-Edit-2511。五名专家按同一协议打分，使用专家分数平均值作为人类参照，并分别报告各维度的平均绝对误差（MAE）与标准差（STD）。另一个诊断保持输入和参考图像不变，只把隐式指令改成直接说明所需知识性编辑的显式版本。该干预减少了模型自行推导操作的负担，但仍要求模型识别图像并正确执行绘制，不能当成完全隔离所有变量的因果实验。错误分析则结合 Nano Banana Pro 的输出与论文报告的思维链（CoT），区分图像识别、知识、推理过程和生成过程四类错误。这四类是定性诊断类别，主文没有给出其在整个基准上的占比，不能据案例推算总体错误分布。

实验关键数据¶

主实验¶

原文表1（第9页）评测20个模型配置，包括10个闭源和10个开源配置；下表选取有代表性的结果。所有维度分数均归一化到0至100，准确率为三维同时满分的百分比；条件为完整520样本基准的隐式指令。

模型	学科推理	视觉一致性	逻辑可读性	严格准确率（%）
Nano Banana Pro	77.5	89.5	95.8	46.2
Nano Banana 2	72.6	86.4	95.9	39.6
Seedream 5.0	64.1	87.5	90.6	24.7
GPT-Image-1.5	54.5	82.3	90.7	16.0
Qwen-Edit-2511	18.6	45.2	52.1	2.7
Step-1X (think+reflect)	19.2	57.2	66.9	2.3
FLUX.2 dev	23.0	56.4	69.0	2.1
DreamOmni	17.4	83.2	89.1	1.0

Nano Banana Pro 比 GPT-Image-1.5 高30.2个百分点，但自身仍有超过一半样本未完全满足要求。 Qwen-Edit-2511 是严格准确率最高的开源配置，不是表1学科推理分数最高的开源配置；FLUX.2 dev 在后一指标上为23.0。 DreamOmni 的一致性83.2、可读性89.1与准确率1.0形成反差，作者将其联系到模型倾向最小修改甚至不修改输入。原文表3（第11页）给出 Nano Banana Pro 宽松分数82.9，说明部分正确与完整成功之间差距很大。

消融实验¶

原文表5（第13页）在68样本子集比较隐式与显式指令，输入和参考图像保持不变；量纲与主表一致。这一子集的基线不同于完整基准，不能把35.3与主表39.6直接比较来解释指令效果。

模型	指令	学科推理	视觉一致性	逻辑可读性	严格准确率（%）
Nano Banana 2	隐式	67.9	83.8	95.6	35.3
Nano Banana 2	显式	89.7	93.0	95.5	65.7
Qwen-Edit-2511	隐式	18.9	40.0	47.8	1.5
Qwen-Edit-2511	显式	44.7	60.0	81.6	8.8

Nano Banana 2 的严格准确率提高30.4个百分点，Qwen-Edit-2511 提高7.3个百分点；后者相对增幅更大，但绝对成功率仍低。学科推理分别提高21.8和25.8分，支持隐式知识推导是重要瓶颈，但并不证明生成执行已经解决。 Nano Banana 2 的可读性从95.6降至95.5，因此不能把该实验概括成每个模型的每个维度都提升。

关键发现¶

原文表4（第12页）的裁判分析使用上述人类对齐设置，分数归一化到0至1，以下 MAE/STD 均越低越好。

裁判模型	推理 MAE / STD	一致性 MAE / STD	可读性 MAE / STD
Qwen3-VL-235B	0.1798 / 0.3504	0.1231 / 0.3523	0.0838 / 0.2944
GPT-5	0.1519 / 0.3227	0.1677 / 0.4386	0.1221 / 0.3638
Gemini-3-Flash	0.1194 / 0.2834	0.0954 / 0.3047	0.0838 / 0.2944

Gemini-3-Flash 在推理和一致性上误差最低，在可读性上与 Qwen3-VL-235B 并列，不能说它在所有列都严格优于其他裁判。原文第4.4节的时间轴案例还显示，闭源模型可能选错补字位置，开源模型则可能找对位置却填错事件，失败并非沿单一能力轴排列。 原文数值冲突：第10页正文将 FLUX.2 dev 的一致性写为17.6%，但表1为56.4；本笔记保留表1值并标注冲突，未擅自修正原文。

亮点与洞察¶

知识评分点让局部正确可被诊断，而严格门槛要求完整交付。两种视角互补，能减少只看平均分而高估可用性的风险。
一致性按任务语义定义，比统一要求“保留原图”更合理。局部编辑与工程视图转换本来就不该使用同一种外观保持标准。
显式指令干预提供了实用诊断方向。读者可借鉴它，将推导目标和执行修改分别测试，但不应把两阶段系统的有效性当成本文已验证的结论。

局限与展望¶

覆盖面与统计稳定性有限：520个样本分布在十学科，主文未报告主要排名的置信区间或重复生成方差，细小差距不宜过度解释。
裁判仍有误差：68样本上的人类对齐支持局部可靠性，但推理 MAE 为0.1194，不能证明全量严格成功判定都可靠。
严格全满分会放大边界评分误差，宽松指标又可能奖励保守不编辑；实际使用应同时看分维度结果与典型失败。
当前材料为主文，完整二级分类、评分提示词和更详细采集过程被指向补充材料，本笔记不补造这些细节。
作为读者提出的后续方向，可用符号检查器验证几何或图论约束，并增加跨裁判、跨运行的稳定性分析；本文没有验证这些方案。

评分¶

新颖性: 4/5。将学科知识与编辑约束结合，评测定位明确，贡献主要在基准设计。
实验充分度: 4/5。覆盖20个配置并有人类对齐和指令消融，但子集规模与不确定性报告仍有限。
写作质量: 3/5。核心协议清楚，但存在正文与表格数值冲突，以及对最优维度的概括不够严谨。
价值: 4/5。为专业图示编辑提供可解释的能力诊断，但还不能视为实际学科工作流的全面可靠性认证。