MDMR-Bench: A Multi-Dimensional Benchmark for Multi-Reference Image Generation¶

会议: NeurIPS 2026
arXiv: 2610.32459
论文: https://arxiv.org/abs/2610.32459
代码: https://github.com/LHRYANG/MDMR-Bench
领域: 其他
关键词: 多参考图像生成, 评测基准, 清单评估协议, 实体融合, 属性迁移

一句话总结¶

本文针对多参考图像生成评测维度单一且依赖粗粒度标量打分的瓶颈，提出了覆盖实体融合、属性迁移、单图多元素抽取、信息图表操控和视觉推理五大能力维度的基准 MDMR-Bench，并引入解耦全局意图与原子细节的 Checklist 二元评测协议，揭示了闭源与开源模型在复杂多图条件生成中的显著差距与细粒度失效模式。

研究背景与动机¶

文本引导的图像生成与单图指令编辑近期取得了显著突破，但纯文本提示往往难以精确表达高保真视觉细节（如特定的服饰剪裁、复杂发型、特定艺术笔触或空间姿态），用户在真实创作中更倾向于提供多张参考图像来联合表达视觉诉求。随之而来的 Qwen-Image-Edit、FLUX.2 以及 GPT-Image-1.5、Seedream、Nano Banana 等商业闭源系统相继开放了多参考图像输入能力。然而，与日渐成熟的单图编辑和文生图评测相比，多参考图像生成的评测体系建设严重滞后。

现有评测基准存在三大核心缺陷：其一，评测规模受限且场景覆盖面狭窄（如部分基准仅有数百条样例，且局限于单一的虚拟试衣或简单物体粘贴拼接）；其二，参考图像大多缺乏视觉自然度，主要由强行抠图的简单前景拼接构成，无法体现真实世界背景与复杂构图的干扰；其三，也是最本质的局限在于评测维度高度同质化，绝大多数基准仅按参考图像数量或粗粒度任务划分，缺乏针对复杂多元素拆解、信息图表排版编辑与跨图隐式关系推理等关键能力的专项考察。更严重的是，以往基准普遍依赖 VIEScore 等标量打分机制（如 0-10 分），其评分严重受制于评测模型的主观偏置与打分漂移，极易忽略服饰微观纹理错位、无关区域被窜改等细粒度失效现象。

针对多参考图像生成在任务复杂度与评测可靠性上的双重挑战，本文设计了包含 2,390 个逼真样本的多维度评测基准 MDMR-Bench。核心 idea：将多参考图像生成解耦为实体融合、属性迁移、单图多元素抽取、信息图表操控和视觉推理五大互补能力维度，并首次为多图生成任务建立结合全局意图与原子级细节的二元 Checklist 评测协议，以可解释、高一致性的细粒度视觉问答替代粗粒度标量打分。

方法详解¶

整体框架¶

MDMR-Bench 的系统构建与评测管线由两大支柱构成：大规模高质量样本构建流水线，以及基于全局与原子双层问答的结构化 Checklist 评测框架。

在样本构建阶段，系统首先利用大规模图库（LAION 高清子集结合前沿生成模型补充合成）提取超过 50 万张高质量图像，并通过多模态大模型 Gemini-3-Pro 自动化标注高层实体类别、细粒度视觉属性及构图元数据；随后通过预定义的任务桶（Task Buckets）进行受控约束采样，覆盖 2 到 4 张参考图的复杂组合；最后通过 VLM 任务一致性校验、中英双语指令生成与严格的人工审计，过滤伪影、裁切不当与语义冲突样例，最终沉淀 2,390 个覆盖五大能力维度的基准样本。在评测阶段，对于任一待评测模型生成的结果，评测管线结合指令与参考图调用 VLM 裁判对预生成的五大维度 Checklist 逐项判定 "Y/N" 并输出依据，通过层级加权聚合计算各维度及全任务的综合能力得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源图像库与细粒度语义标注<br/>500K 真实与合成高质图像池"] --> B["五大任务维度与任务桶受控采样<br/>实体/属性/单图多元素/图表/推理"]
    B --> C["双语指令生成与专家级质量清洗<br/>沉淀 2,390 个多参考基准样例"]
    C --> D["双层 Checklist 问答评估协议<br/>解耦全局意图与原子级可验证事实"]
    D --> E["五大诊断维度层级加权计分<br/>Following/Consistency/Composition/Minimality/Quality"]

关键设计¶

1. 五大多参考挑战维度划分：兼顾常规组合与高阶结构推理

针对现有基准仅关注表面风格混搭或单一前景替换的局限，MDMR-Bench 将多参考生成能力系统性拆解为五个正交且互补的维度： - 实体融合与属性迁移（Entity Fusion & Attribute Transfer）：基础评测基石，分别包含 936 和 982 个样本，严格控制参考图数量在 2 到 4 张之间，考察模型跨多张图像绑定特定实体身份、姿态、风格、材质及局部细节的能力。 - 单图多元素抽取（Multi-Element Extraction）：打破“单张参考图仅提供单一线索”的简化假设，构建 101 个样本，要求模型从单张复杂的参考图中精准定位并同时解耦抽取出多个目标视觉属性（如同时提取某图中的发型与背包），并融合至另一场景中，考察局部注意力解耦能力。 - 信息图表操控（Infographic Manipulation）：针对实际工业设计与海报排版需求构建 278 个样本（涵盖 155 个中文与 123 个英文样例），覆盖艺术字、Logo、排版布局的新增、替换、颜色材质编辑与排版迁移，填补多参考生成中富文本排版评测的空白。 - 视觉推理驱动生成（Visual Reasoning）：包含类比推理与逻辑推理两大子类，要求模型自主推断多张参考图之间的隐式物理规律、时序状态演变（如时间、季节流转）或拓扑变换模式，而无需在文本提示中直接指明具体修改步骤。

2. 自动化可扩展的数据构建与人工清洗流：兼顾真实多样性与语义准确性

为摆脱传统基准图像视觉单一、主体与背景剥离的不自然感，本文构建了一套三阶段半自动采样清洗管线。第一阶段建立包含约 50 万张分辨率大于 1024 的图像库，其中以真实世界采集数据为主，同时针对特定干净背景补充由 Nano Banana Pro 与 GPT-Image-1.5 生成的高质量合成图（最终基准中 29% 的参考图为合成图像），并通过 Gemini-3-Pro 提取两层结构化标签：实体标签（人物、动物、物体、场景、文字、服饰等）与属性标签（艺术风格、滤镜、年代、纹理、发型、妆容等）。第二阶段通过任务桶策略（Task Bucket Filling）确保多样性，每个任务细分桶内依标签组合受控抽取 10 到 50 个样本。第三阶段利用多模态大模型双向校验输入图像组合的逻辑合理性并生成中英双语指令，最后引入专业人员排查模糊提示、过度遮挡与逻辑歧义，确保评测数据的绝对可信度。

3. 全局与原子级解耦的 Checklist 评测协议：高一致性细粒度诊断

摒弃粗糙且受主观打分偏置影响严重的 0-10 标量打分，本文引入结合全局宏观与原子微观的二元问答 Checklist 评测机制。针对每个评测样本，由评测模型在指令和参考图像驱动下预先生成五大维度的问答清单： - Following（指令遵循）：前两题为全局级整体意图达成判断，后续题目为具体子指令执行的原子级是/否核验。 - Consistency（参考一致性）：细化到特定主体的面部特征、服饰纹理与色彩保真度，验证是否忠实继承自对应的参考图而非发生图间串扰混淆。 - Composition（构图与物理交互）：核查多主体空间位置、光照方向一致性、透视比例与遮挡关系的物理真实性。 - Minimality（修改最小化 / 保持性）：严格审查画面中未被指令要求的非目标区域是否保持原样，惩罚过度编辑与不必要的背景窜改。 - Quality（图像真实度与美感）：排查结构畸变、AI 伪影与清晰度瑕疵。

在评测执行时，VLM 裁判针对待测图像回答每个问题（仅允许回答 "Y" 或 "N" 并附带简短证据理由）。每个维度的得分由其 "Y" 的通过比例计算，单样本综合得分采用加权公式聚合：

\[\text{Score}_{\text{sample}} = 0.20 \times \text{Following} + 0.25 \times \text{Consistency} + 0.25 \times \text{Composition} + 0.20 \times \text{Minimality} + 0.10 \times \text{Quality}\]

该权重显著强化了对多图一致性、交互融合度与最小修改的考核，压低了泛化美学权重的干扰。最终在汇总总体表现时，各任务家族采用跨子任务分层平均后再取等权平均，消除因不同类别样本量差异导致的评价偏置。

实验关键数据¶

主实验¶

本文在 MDMR-Bench 上全面评测了包括 6 个主流闭源商业模型（GPT-Image-2、Nano Banana Pro、Nano Banana 2、Seedream 5.0、Seedream 4.0、GPT-Image-1.5）和 5 个代表性开源多模态生成编辑模型（FLUX.2、Qwen-Image-Edit、BAGEL、DreamOmni2、OmniGen2）。使用 Gemini-3-Pro 作为默认裁判评测出的主榜单结果如下表所示。

模型	Following (%)	Consistency (%)	Composition (%)	Minimality (%)	Quality (%)	Overall (%)
闭源商业模型
GPT-Image-2	90.1	87.4	90.8	84.5	93.2	88.8
Nano Banana Pro	91.2	84.6	83.9	80.4	87.0	85.1
Nano Banana 2	88.0	82.0	81.2	72.1	84.1	81.2
Seedream 5.0	86.2	74.0	81.1	71.5	84.3	78.8
Seedream 4.0	85.3	73.4	80.7	69.7	82.8	77.8
GPT-Image-1.5	90.3	72.1	85.9	56.8	85.6	77.5
开源开源基线
FLUX.2	46.5	50.0	51.1	51.5	63.8	51.3
Qwen-Image-Edit	47.7	46.4	51.5	49.1	61.3	49.9
BAGEL	37.3	40.7	34.7	58.1	39.8	41.9
DreamOmni2	43.9	31.0	49.8	33.1	63.0	41.9
OmniGen2	30.1	22.2	34.6	21.1	42.1	28.6

消融实验与诊断分析¶

1. 跨任务类型细分表现¶

为了深入剖析各模型在不同能力维度的擅长与缺陷，下表展示了 11 个模型在五大任务子集上的细分评测结果。

模型	实体融合	单图多元素抽取	视觉推理	属性迁移	图表操控	Overall
GPT-Image-2	91.5	89.6	84.8	90.2	87.6	88.7
Nano Banana Pro	84.9	87.2	85.6	83.3	84.7	85.1
Nano Banana 2	82.5	85.6	75.9	82.4	79.8	81.2
Seedream 5.0	77.9	81.3	83.6	78.6	72.5	78.8
Seedream 4.0	77.9	83.1	83.7	76.6	67.9	77.8
GPT-Image-1.5	81.8	78.4	76.5	82.3	68.5	77.5
FLUX.2	73.5	54.1	36.7	47.9	44.0	51.3
Qwen-Image-Edit	66.9	55.3	44.3	44.1	39.2	49.9
BAGEL	41.5	39.9	52.1	35.6	40.5	41.9
DreamOmni2	50.0	44.2	34.2	43.1	38.0	41.9
OmniGen2	44.9	29.0	22.7	26.9	19.7	28.6

2. VLM 评测裁判与人类评估的一致性检验¶

在 200 个案例、800 张图像和 5,924 项 Checklist 判定上进行的人机评估对齐检验表明，Checklist 协议带来了极高的跨模型评测稳定性。

裁判模型	人类一致率 (Agreement)	Pearson \(r\)	Spearman \(r\)	Cohen's \(\kappa\)
Gemini-3-Pro (默认)	0.853	0.643	0.862	0.642
GPT-5.4	0.854	0.621	0.834	0.618
Doubao-1.8	0.849	0.617	0.784	0.617
Qwen3-VL-32B	0.800	0.475	0.725	0.472

关键发现¶

闭源商业模型与开源生态存在巨大代差：开源 SOTA 模型 FLUX.2（51.3%）与闭源第一名 GPT-Image-2（88.8%）存在超过 37 个百分点的巨大差距。开源模型在生成基础视觉质量（Quality ~61-64%）上尚可，但在严格遵循指令与维持多参考图一致性上严重失分，频繁出现参考混淆或属性遗漏。
单图多元素抽取优于分散多图输入：几乎所有前沿模型在单图多元素抽取任务上的表现均显著优于输入 3-4 张独立参考图的融合任务。这表明多张独立参考图带来了更长的视觉 Token 序列和注意力稀释，造成更严峻的多图构图与绑定困难；而同一张图中的视觉上下文有助于模型隐式绑定多个要素。
图表排版与人体属性操控是行业普遍痛点：除 Nano Banana Pro 与 GPT-Image-2 外，绝大多数模型在信息图表操控（艺术字渲染、版面协调）上出现大幅滑坡（低于 70%）。诊断热图同时显示，涉及人脸五官、发型、妆容和姿态等精细人体属性迁移时模型故障率激增。
指令遵循与局部保持的内在权衡：以 GPT-Image-1.5 为代表的部分模型表现出很高的 Following 分数（90.3%），但其 Minimality 分数暴跌至 56.8%。这暴露出其“过度编辑”的倾向——为了强行执行新属性迁移，无差别修改了无需改动的背景与伴随物体。
参考图数量扩展性瓶颈：随着参考图像数量从 2 张增加至 4 张，所有模型的综合得分平均下降约 10.6 个百分点，构图融合度（Composition）更是下降 12.2 个百分点，表明目前图像生成模型对长视界视觉条件的长程上下文建模能力依然十分脆弱。

亮点与洞察¶

评测协议从“整体印象打分”演进为“原子事实校验”：借鉴自然语言推理与问答评测哲学，率先在多图条件视觉生成领域建立 Checklist 体系，以客观测量的“是/否”命题消除主观打分偏置，为细粒度错误归因提供了高置信度工具。
全能力维度的正交化解耦设计：跳出单一“换脸/换衣/拼接”的低级陷阱，前瞻性地将信息图表排版与跨图视觉隐式推理作为独立挑战维度立项，对多模态生成模型的原生图文混合排版与内在视觉认知能力构成了极具区分度的压力测试。
可复用的评测思想迁移：将参考属性拆解为“全局语义约束 + 原子可验证事实”并以结构化 JSON 指引 VLM 进行保守评估的方案，可直接无缝迁移至 3D 资产多视图定制、长视频角色一致性编辑等复杂条件生成任务。

局限与展望¶

高阶任务覆盖规模仍然受限：由于视觉推理与信息图表生成样本在语义自洽性与构图逻辑上要求极高，其构建高度依赖专家级人工复核与多重校验，导致这两类高阶任务的绝对样本体量相对常规融合与迁移子集偏小。
极端参考图数量扩展测试不足：除属性迁移和实体融合包含 2-4 张图输入外，其余更复杂的推理与抽取任务目前多局限于 2 张参考图设置，尚未全面涵盖 5 张以上多图长视觉上下文的极端压力测试。
复杂美学与艺术主观性难以完全量化：尽管 Checklist 在事实保真度与排版位置等客观维度表现优异，但对于艺术风格意境、画面隐喻意图等高级视觉表现力，纯布尔值问答仍存在难以完全覆盖的颗粒度边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对多参考图像生成的五维能力评测体系与原子级 Checklist 评测协议，评测范式创新显著。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 11 款主流开源与闭源前沿系统，配合人类裁判一致性审计与跨模型交叉验证，数据详实有力。
写作质量: ⭐⭐⭐⭐⭐ 论文框架设计严密，问题定义精准，图表与实验诊断分析层次极其清晰。
价值: ⭐⭐⭐⭐⭐ 为多参考图像生成、图像编辑以及统一多模态生成模型的精准诊断提供了高价值的标准基准与基石工具。