UEval: A Benchmark for Unified Multimodal Generation¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 统一多模态生成、评分量规、图文一致性、多步骤规划、自动评测

一句话总结¶

UEval 用 1,000 道必须同时生成图像和文字的问题及 10,417 项人工校验评分标准，检验统一模型能否真正用图文共同回答问题；GPT-5-Thinking 总分仅为 66.4，最佳开源模型 Emu3.5 为 49.1。

研究背景与动机¶

视觉问答通常让模型看图后输出文字，文生图则让模型根据描述绘制图像。这两类测试分别检查理解与生成，却没有直接验证同一次回答里的图像和文字能否互相支持。例如，解释自由女神像为何能够供游客站立，画出整座雕像并配上正确文字仍可能没有回答视觉问题：关键是展示游客实际进入的冠冕内部结构。同样，逐步画画教程不能只靠最终成品好看来过关，还必须保证中间画面、步骤编号和文字操作相互对应。

这种开放式输出没有一个可以直接做字符串匹配的答案，而统一的泛化评分提示又容易忽略每题真正重要的视觉细节。两两比较模型输出需要大量比较，并且所得胜率依赖参与比较的模型集合。 UEval 因此选择先为每个问题建立独立的评分量规（rubric），让评判依据随题目变化，而不是让裁判凭整体观感打分。 核心 idea：把参考图文答案转化为人工审核的逐项可判定要求，再分别检查生成图像、文字及二者关系是否满足这些要求。

方法详解¶

整体框架¶

UEval 是评测数据集和评分协议，不是新的生成网络，也没有提出用于训练模型的损失函数。构建端从真实资料获取参考图文、形成问题并制定评分量规；测试端让模型回答问题，再由多模态裁判逐项判定。参考答案的作用是帮助建立可靠的评价标准，不是要求被测模型逐像素复刻参考图片。最终产物是覆盖 8 项任务的 1,000 道问题和 10,417 项标准，以及可分解到任务和输出模态的成绩。

这套协议区分了两件事：回答中有没有图像，以及这张图像有没有承担解释、演示或表达技术关系的任务。标准中约一半检查图像，其余检查文字；跨模态对应和跨步骤连续性则通过具体条目约束。因此，即使语言部分很强，模型仍可能因画错结构、遗漏关键动作或重复步骤标签而失分。下文按任务构建、标准生成、人工审核、评分适配说明这一机制。

关键设计¶

1. 任务构建：把知识解释与开放式演示分开测量

封闭式任务包含 Space、Textbook、Diagram 和 Paper，关注有明确目标内容的事实解释。 Space 从地标问题出发，以 20 个种子问题让 GPT-5 扩展候选，再由人工确认真实建筑特征，并寻找能展示该特征的图片及解释。 Textbook 使用 TQA 的教材图文参考，生成需要解释科学现象的问题，再检查问题是否科学、明确且能由参考内容回答。这使视觉要求不是装饰性的“配一张图”，而是呈现问题涉及的结构或机制。

Diagram 与 Paper 都涉及论文图，但对被测模型的要求不同。 Diagram 从较新的论文中选图，结合全文生成自足的技术描述，让模型不读取原论文也能据此画出架构并配图注；作者有意避开过于知名的论文图以降低记忆影响。 Paper 则使用 Transformer、ResNet 或 D2L 等来源中的图和说明，构造面向读者的技术理解问题，要求模型用图文解释概念。开放式 Guide 包含 Art、Life、Tech 和 Exercise，参考来自 WikiHow 等教程与 YouTube 演示视频，要求输出具有连续进展的步骤图文。问题不限定步骤数，允许单张组合图或多张图；因此评测应检查过程是否合理，而非强迫所有模型遵循参考答案的固定排版。

2. 标准生成：让每道题定义什么才算答对

Gemini-2.5-Pro 接收问题及参考图文答案，为该题生成多个细粒度评分条目。封闭式任务强调参考内容中的关键信息：自由女神像的图片应显示冠冕相关部位，文字应解释内部楼梯如何通向可供站立的空间。这些要求让“画了一个大致相关的物体”与“图像真正支持答案”得到不同评价。这里的参考图像帮助确定要检查的事实，不等于使用图像相似度作为评分函数。

开放式任务则更强调高层属性，例如每张图是否对应同编号步骤、后续图是否在前一步基础上合理演进，以及文字是否描述了完整过程。这样可以容纳多种合理画法，同时惩罚步骤跳跃、状态回退和图文错位。原文示例也出现“先画圆形”等具体操作条目，所以不能把开放式量规理解成完全不受参考解法约束。开放程度与具体要求之间仍依赖人工判断，单有高层措辞并不能自动消除参考答案偏好。

3. 人工审核：消除重复计分并补足遗漏要求

初始条目不是直接投入使用，而是经过两轮人工检查。第一轮由主要标注者核对问题、参考答案和标准是否正确且相互一致；第二轮由其他共同作者独立审阅，只保留所有审阅者一致认为清晰且符合任务的条目。检查对象覆盖输入问题、参考输出和评判标准，而不仅是评分提示的语法。例如，“步骤必须顺序排列”和“步骤应遵循逻辑顺序”会被合并，避免同一要求重复影响分数。

人工还补充初稿遗漏的要求，例如生成图像中的文字应拼写正确、自然可读，不出现乱码或无意义字符。这一操作很重要：若标准只检查概念正确性，模型可能在文字解释上得分，却凭难以辨认的图中标签蒙混过关。因此人工审核既是质量控制，也是在定义该任务允许哪些失败、必须惩罚哪些失败。最终的 10,417 项标准是审核后的总数，而不是模型未经筛选生成的条目数量。

4. 评分适配：逐项判定，再区分语言与视觉短板

默认裁判为 Gemini-2.5-Pro，它根据题目量规检查被测模型输出的图像和文字。按原文对单个样本分数的定义，可将百分制得分写为下式；这是对文字定义的记号化，并非论文中另行提出的损失函数。

\[ S_q = 100\frac{\sum_{k=1}^{K_q}\mathbf{1}[\text{criterion}_{q,k}\text{ is satisfied}]}{K_q}. \]

其中 \(K_q\) 为该题的条目总数，每个条目按满足与否计分。论文另外报告任务成绩及总体 Avg，并将图像和文字条目分开统计；不能仅凭总分推断图像能力，也不应把总分解释成整题全对比例。样本间条目数量不同，因此也不要未经说明地把报告的平均分替换为全数据集所有条目的合并通过率。

Janus-Pro、Show-o2、MMaDA 和 BAGEL 在实验所用设置下不能单次同时输出图像和文字，作者对同一问题分别执行图像生成与文字生成，再组合用于评价。 GPT-5 和 Gemini 等支持联合输出的系统则直接收集多模态回答；两种方式并非完全相同的推理调用协议。 GPT-5 的两个版本通过官方聊天界面访问。本文没有训练阶段；缓存正文未包含其所引用的附录评分提示及完整生成超参，不能据此补写温度、种子或统一计算预算。

实验关键数据¶

主实验¶

原文表 1 在全部 8 项任务上比较 9 个统一模型，默认使用 Gemini-2.5-Pro 裁判。下表摘录总体 Avg；Reference 是参考图文答案的裁判得分，不是另一个被测模型，也不是保证为满分的人工上限。

系统	类型	Avg，百分制
Reference	参考答案	92.2
BAGEL	开源	31.0
Emu3.5	开源	49.1
Gemini-2.0-Flash	闭源	55.1
Gemini-2.5-Flash	闭源	66.0
GPT-5-Instant	闭源	65.2
GPT-5-Thinking	闭源	66.4

GPT-5-Thinking 与 Emu3.5 相差 17.3 分，与 Gemini-2.5-Flash 仅相差 0.4 分。论文没有为这些接近的总体分数提供显著性检验，不能把微小差距当作稳定的能力排序。

消融实验¶

本文没有模块删除式消融；以下使用原文表 2 的模态分解作为诊断分析，分数按对应模态的标准统计。

系统	图像得分	文字得分
Reference	87.8	96.8
BAGEL	13.6	48.5
Emu3.5	33.6	64.6
Gemini-2.5-Flash	56.4	75.5
GPT-5-Instant	52.8	77.7
GPT-5-Thinking	49.1	83.8

关键发现¶

GPT-5-Thinking 的文字得分为 83.8，图像仅为 49.1；其总分最高不意味着图像最强，Gemini-2.5-Flash 的图像得分为 56.4（表 2）。
人工验证按任务随机抽取 GPT-5-Thinking 输出的 10%，条目判定约 90% 一致，问题级分数的 Pearson 相关系数为 0.88（图 7、图 8）；这不是对全部模型输出的人工审计。
更换裁判会明显改分：对同一批 GPT-5-Thinking 输出，Life 得分由 Gemini-2.5-Pro 的 63.8 变为 GPT-5-Thinking 裁判的 50.1（表 3），说明裁判并非可任意替换。
将 GPT-5-Thinking 的推理轨迹追加到原问题后，GPT-5-Instant 和 Gemini-2.5-Flash 的自由女神像案例更准确，BAGEL 没有受益（图 9）；原文未给出该干预的总体增益表。

亮点与洞察¶

逐题标准把“生成得像样”转成“是否呈现回答所需证据”。这种做法适合迁移到科学插图或操作教程，但前提是标准覆盖真实错误而非仅检查风格。
图像与文字分开诊断揭示总分可能掩盖的短板。提高语言推理能力与提高图像执行能力不是同一件事，模型选择应看用途对应的子分。
把步骤数量留给模型可以测试自主组织能力。相应地，评价需要关注状态连续性与图文对应，而不是简单比较图像数量。

局限与展望¶

作者指出开放式参考答案分数偏低可能来自多图判读困难；参考答案均分为 92.2 而非满分，也说明自动裁判存在误差空间。
从实验范围看，人工一致性仅检查 GPT-5-Thinking 的抽样输出，尚不能保证同样适用于更弱模型或异常输出。
从控制变量看，双次分离生成与原生联合输出共存，GPT-5 又使用聊天界面；榜单应被理解为这些具体系统设置下的比较，而非架构本身的严格因果比较。
推理轨迹实验属于定性证据，尚缺少全量任务、等长度提示和等预算对照；后续可区分额外知识、提示长度与推理结构各自的贡献。
Diagram 有意识避开知名论文图，但 Paper 使用经典论文与公开教材来源；这降低了部分构建难度，却不等于排除了训练数据记忆，属于阅读时需保留的风险判断。

评分¶

新颖性: 4/5。面向图文联合响应的逐题量规具有明确价值，但量规思路本身来自已有评测工作。
实验充分度: 4/5。包含跨模型、模态分解、人工一致性及裁判比较，推理迁移仍缺量化对照。
写作质量: 4/5。任务实例和标准机制清楚，但部分概括应结合细分表格与裁判差异谨慎理解。
价值: 4/5。适合诊断解释性图像和多步骤生成失败，不应被当成所有多模态能力的单一排名。