UniREditBench: A Unified Reasoning-based Image Editing Benchmark¶

会议: ECCV2026
论文: ECCV 原文
项目: UniREditBench
领域: 图像生成 / 推理式图像编辑
关键词: 双参考评测、视觉推理、多对象交互、游戏规则、思维链

一句话总结¶

UniREditBench 将图像编辑评测扩展到真实世界交互与游戏规则推理，用文本和目标图像共同约束裁判，并通过合成思维链数据训练 UniREdit-Bagel，使其域内总分达到 78.15，但域外 RISEBench 仍落后于最强闭源模型。

研究背景与动机¶

图像编辑模型已经能完成改颜色、换材质、删除物体等操作，但“画面发生了变化”不等于“变化符合指令隐含的因果关系”。当指令要求把桨向后划过水面时，模型需要理解桨、水和船的相互作用，而不只是把桨换到另一个位置。当输入变成推箱子棋盘时，模型还必须遵守箱子不能穿墙、不能被拉动等人为规则。这两类任务的共同要求，是把对场景与规则的理解落实到编辑后的可见状态。传统编辑基准更关注局部属性和外观变化，RISEBench、KRISBench 虽引入推理评测，但本文认为其多对象交互与游戏场景覆盖仍不充分。

另一个问题出在评分端：编辑模型可能画错，负责打分的视觉语言模型也可能看错。若裁判只有一段目标描述，它可能看到迷宫里有一条连续红线，就忽略这条线是否多绕进了死胡同。原文图 2 给出的案例中，只有文本参考时该输出获得 5 分，加入目标图像后变为 3 分。这不是说图像参考自动等于真理，而是说明复杂空间约束仅靠自然语言描述，容易留下裁判未认真核对的细节。因此，增加任务难度的同时也要验证评分协议，否则榜单提升可能混入评价误差。

本文据此把工作拆成相互衔接的评测与训练两部分：先定义更广的任务空间及双参考评测，再用对应的数据合成机制提供训练监督。真实世界图像靠文本规划和生成模型构建，游戏图像则由程序生成合法状态与答案，避免把两种数据都交给同一种生成方式。合成数据还包含说明编辑后果的思维链，使 Bagel 不仅学习目标画面，也学习从输入状态推导目标的文字过程。 核心 idea：用“规则或物理后果是否被正确画出来”组织图像编辑任务，以文本和目标图像共同约束评测，再把可规模化生成的推理轨迹用于训练。

方法详解¶

整体框架¶

这篇论文不是另造一个编辑网络，而是同时提供 UniREditBench、UniREdit-Data-100K 和基于 Bagel 的训练验证。基准含 2,700 个样本；每个样本提供输入图像、编辑指令、目标效果的文字参考和目标图像参考。编辑模型在测试时根据输入图像与指令产生结果，参考答案用于裁判评分，不是默认提供给待测模型的额外输入。评测输出分为指令遵循、视觉一致性、视觉质量，再按固定权重汇总。训练集另含 100,421 个样本，并为图像编辑对加入逐步推理文字。 UniREdit-Bagel 学习先输出推理过程，再生成编辑图像，由此检验数据能否同时改善推理与视觉执行。

整体设计可归为四部分：任务覆盖、双参考评测、分场景数据合成，以及思维链与图像联合监督。任务覆盖规定应该测试哪些能力，双参考评测规定如何判断结果，而后两部分负责提供训练实例与验证学习效果。这里不把裁判、数据合成器和编辑模型画成同一个推理网络，因为它们分别属于评价、离线数据准备和模型训练环节。这种边界也很重要：域内成绩提升证明该数据对相近任务有效，能否跨任务迁移仍须看独立的域外结果。

关键设计¶

1. 任务覆盖：从单物体变化扩展到交互后果与显式规则

真实世界部分不只要求识别物体，还要求把操作引起的变化落实到结构、运动或环境介质上。原文第 3.2 节将单对象变换展开为视角变换、姿态调整、时间演化和材质修改。多对象交互则包含结构完整性变化、运动状态变化、机械反应、介质交互与空间排列。例如针刺入气球不仅改变针的位置，还可能改变气球的完整状态；操作机械装置也应产生对应的部件状态变化。这种设计使模型不能仅靠“把指令中的名词都画出来”取得理想结果。它必须决定哪些内容应当改变、变化的方向是什么，以及哪些背景和属性应保持不动。

游戏世界部分覆盖长程规划、逻辑谜题、策略推理和空间智能。 Maze 与 Sokoban 检查多步路径和状态转移，Sudoku、Tic-tac-toe、Word Search 检查形式约束和符号关系。 Pacman、Jewel2、Space Invader 提供不同的动作或策略规则，3D Reconstruction 则检查空间结构理解。正文称基准有 8 个主维度、18 个子类别，每个子类别包含 150 个经人工检查的样本。需要注意，第 3.2 节的叙述分组与表 2 的真实世界列名不完全一致；表 2 使用属性修改、结构变换、物理交互、属性响应等汇总名称。因此，这里保留原文的覆盖范围与总数，不自行补造两套分类之间的精确映射。

2. 双参考评测：分别判断目标实现、内容保留和画面质量

指令遵循分数 IF 由 GPT-4.1 联合查看原图、指令、生成图、目标图像及目标文字描述后给出。文字参考解释应该发生什么，图像参考让裁判直接比较空间布局与可见结果，两者承担互补作用。视觉一致性 VC 则查看原图、指令和生成图，检查与编辑无关的区域或属性有没有被意外修改。视觉质量 VQ 查看生成图，评估伪影、失真及物理或逻辑上的不合理之处。三个维度不能互相替代：整张重画可能看起来很好，却破坏身份或背景；保留原图也可能几乎没有完成编辑。双参考主要进入 IF 的判断，并不意味着 VC 和 VQ 都额外接收同样的参考输入。

三个原始评分都采用 1 到 5 分，第 3.3 节明确给出的汇总公式为：

\[ S_{\mathrm{Overall}}=0.5S_{\mathrm{IF}}+0.3S_{\mathrm{VC}}+0.2S_{\mathrm{VQ}}. \]

指令遵循权重最高，使“是否正确完成任务”比单纯美观更重要，同时仍惩罚无关内容改变和低质生成。正文称权重选择与人类评分的一致性有关，但具体权重消融放在未随本缓存提供的附录中。主结果表采用另一数值尺度，而可读正文未交代从 1 到 5 分转换到表中分数的明确公式。因此下文按原表报告“分数”，不把 78.15 解释为成功率，也不臆测线性换算方式。人工评估使用 6 位专家、200 个随机样本和 4 个模型，以平均绝对误差 MAE 衡量裁判与人工评分之差，越低越好。

3. 分场景数据合成：自然图像靠语义生成，游戏状态靠程序约束

真实世界数据采用先文本、后图像的顺序，起点是人工编写的三元组：原图描述、编辑指令、预期效果描述。 Gemini 2.5 Pro 扩写这些种子文本，GPT-4o 再根据文本合成原始图像和编辑后的目标图像。这样先把编辑前后应有的语义关系说清楚，再生成图像，而不是从任意两张相似图片猜测编辑关系。随后由 VLM 检查视觉保真度、指令一致性和幻觉风险，并为通过筛选的实例生成思维链。图 4 的纸牌屋案例体现了这种监督：触碰底层支撑会导致底部纸牌移位和上层结构开始坍塌，而背景与照明应保持一致。这里的参考图像来自生成流程，不应被理解为真实物理实验记录。

游戏数据则先定义问题和规则，再用对应 Python 程序产生初始状态、编辑后状态、指令与文字参考。程序同时输出可追踪的推理步骤，因此答案不仅有一幅图，也有与状态变化对应的解释来源。 VLM 将程序式轨迹转换为自然语言思维链，随后进行质量过滤。与自然图像合成相比，这条路径把合法移动和约束满足交给程序处理，更适合棋盘、迷宫和规则游戏。基准样本还经过 VLM 筛选和人工检查；训练集每类超过 4,000 条，用于扩大监督覆盖。这些质量控制并不等于所有合成内容都无偏，特别是生成模型及其审核模型可能共有某些盲点。

4. 思维链与图像联合监督：不仅学会描述后果，也要把后果生成出来

每条训练样本由原图、指令、逐步思维链和目标编辑图像组成。模型先在原图与指令条件下预测推理文字，再在原图、指令和推理文字条件下生成图像。文本监督使用负对数似然，让输出轨迹接近合成的推理说明；图像监督使用潜空间流匹配目标。两种监督分别约束解释过程和视觉输出，避免只训练会说理由却无法执行编辑的模型。它也区别于在推理时临时加一句“请逐步思考”：本文把思考轨迹与目标图像一起用于参数更新。推理文字是训练时有监督的中间表示，而不是评测时把参考答案直接塞给模型。

原文第 4.2 节的文本损失、流匹配损失和总损失公式在缓存中均有明显字符缺失。可读正文足以确认损失类别、条件输入和联合监督关系，但不足以忠实复原完整数学表达。因此本笔记不补写作者的精确流匹配路径或损失展开式，只保留明确可读的训练设置。尤其不能把损坏的潜变量路径表达直接当成一个新颖的编辑算法贡献。作者在讨论中提到思维链作用分析，但对应附录未提供，当前可见结果也不能单独量化思维链监督相对于新增数据的贡献。

损失函数 / 训练策略¶

训练更新 Bagel 除 VAE 外的所有组件，共 5,000 次迭代，优化器为 Adam。学习率使用余弦调度，预热 500 步，峰值为 \(2\times10^{-5}\)，最低为 \(10^{-6}\)。文本与图像损失权重分别为 \(\lambda_{\mathrm{text}}=2\)、\(\lambda_{\mathrm{img}}=1\)。 UniREdit-Bagel 推理采用 Bagel 官方配置，其他基线也采用各自原始推理配置。这是保留模型原有使用方式的比较，不等同于统一推理时计算量、分辨率或耗时预算。

实验关键数据¶

主实验¶

下表摘自原文表 2，第 11 页；数据集为 UniREditBench，裁判为 GPT-4.1，数值越高越好。 “真实世界”和“游戏世界”保留原表平均分，“总体”保留原表 Overall，未重新计算聚合方式。

模型	真实世界	游戏世界	总体
GPT-4o	81.01	62.07	73.39
Nano Banana	75.22	60.39	68.26
Qwen-Image-Edit	70.95	41.92	56.52
Bagel	56.60	39.42	48.01
Bagel-Think	56.80	45.10	50.96
UniREdit-Bagel	75.74	80.48	78.15

UniREdit-Bagel 总分比 Bagel-Think 高 27.19 分，比 GPT-4o 高 4.76 分，但真实世界分数仍低于 GPT-4o。游戏世界方面，表内 80.48 与 62.07 相差 18.41 分；第 5.3 节文字却写为 +17.08，二者不一致，本笔记不替作者修正原始结果。

下表摘自原文表 3，第 13 页；数据集为域外 RISEBench，仍用 GPT-4.1 评测，百分号沿用原表。当前缓存未完整展开这些百分比的判定阈值，不应与上一表分数直接相减或比较绝对大小。

模型	时间	因果	空间	逻辑	总体
GPT-4o	34.1%	32.2%	37.0%	10.6%	28.9%
Nano Banana	25.9%	47.8%	37.0%	18.8%	32.8%
Qwen-Image-Edit	4.7%	10.0%	17.0%	2.4%	8.9%
Bagel	3.5%	4.4%	9.0%	5.9%	5.8%
Bagel-Think	4.7%	15.5%	14.0%	1.2%	9.2%
UniREdit-Bagel	22.4%	18.9%	21.0%	10.6%	18.3%

域外总体从 Bagel-Think 的 9.2% 提升到 18.3%，增加 9.1 个百分点。不过它仍低于 GPT-4o 的 28.9% 和 Nano Banana 的 32.8%，不能把域内领先延伸为所有推理编辑任务上领先。

消融实验¶

下表是原文表 4，第 14 页的裁判可靠性分析，并非训练组件消融；指标为人工评分与 GPT-4.1 评分的 MAE，越低越好。该分析涉及 6 位专家和 200 个随机样本；IF、VC、VQ 分别对应指令遵循、视觉一致性、视觉质量。

被评模型	IF MAE	VC MAE	VQ MAE	平均 MAE
Qwen-Image-Edit	0.73	0.62	0.47	0.61
Nano Banana	0.85	0.42	0.66	0.64
GPT-4o	0.42	0.68	0.22	0.44
UniREdit-Bagel	0.66	0.54	0.51	0.57

原文图 7 比较双参考、无图像参考、无文本参考，作者报告双参考在各个人工分数档的 MAE 都最低。缓存中的图线没有可可靠读取的逐点数值，因此不把视觉趋势补成精确消融表。权重、游戏数据迁移、思维链以及 20K 到 100K 的数据规模分析仅在正文中指向附录，这里不编造具体配置差值。

关键发现¶

提升主要体现在游戏任务，但不是以全面超越真实世界编辑为前提；GPT-4o 的真实世界平均分仍更高。
域外测试支持一定迁移能力，但闭源模型仍有明显优势，说明域内任务匹配不能代替一般化评估。
双参考降低裁判误差的证据来自人工比较，而不只是模型榜单；不过 MAE 小于 1 不能证明所有样本判断都正确。

亮点与洞察¶

把规则满足落到图像结果上，比仅检查模型是否说出了正确答案更接近编辑需求；游戏状态使这类约束便于程序化生成。
评分区分目标实现和无关内容保留，能暴露“生成了好看的新图，但没有忠实编辑原图”的问题。
两种合成策略各用所长：自然场景扩大语义覆盖，程序场景保证状态与规则对应，而不是追求单一数据生成器。

局限与展望¶

读者判断：训练集和域内基准共享合成思路及任务类别，域内成绩容易受分布匹配影响；缓存正文不足以确认完整去重与泄漏审计细节。
读者判断：单幅目标图像可能偏向某一种合法解，特别是开放的真实世界后果；值得增加多参考或规则可执行校验，避免把不同但正确的编辑判错。
读者判断：合成器、过滤器和裁判均依赖强 VLM，潜在相关偏差不能仅靠小规模人工 MAE 排除，也不能由此断言已发生偏袒。
原文证据边界：损失公式损坏、附录缺失、表 2 与正文增益冲突、评分尺度转换未明确，限制了当前笔记对精确复现细节的判断。

评分¶

新颖性：4/5。任务覆盖与双参考评价的组合有清晰价值，模型侧主要复用 Bagel。
实验充分度：4/5。包含域内、域外和人工评分分析，但缺失附录使当前可核实的训练消融有限。
写作质量：3/5。整体问题定义清楚，分类表述与增益数字不一致影响精确解读，另有缓存公式提取损坏。
价值：4/5。适合研究图像编辑的规则执行、推理数据合成和评价可靠性，结果需结合域外差距理解。