SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis¶

会议: NeurIPS 2026
arXiv: 2602.00249
OpenReview: https://openreview.net/forum?id=frX29me8bk
领域: 预训练
关键词: 文本到图像生成, 组合性评估, 开放词表检测, 故障模式诊断, 多模态评测

一句话总结¶

SANEval 针对文生图模型组合生成中固定词表与不可解释痛点，构建了解耦空间关系、属性绑定与数量计数的开放词表评估基准与诊断流水线，通过 LLM 同义词扩展结合 YOLO-E 与 VLM 裁判实现了对细粒度失败模式的自动归因。

研究背景与动机¶

近年来文生图（Text-to-Image, T2I）扩散模型与自回归生成架构取得了令人瞩目的逼真画质与视觉保真度，但在涉及多对象、多属性绑定以及复杂空间布局的组合提示词渲染上，主流模型仍然频繁出现语义错位、概念泄漏或实体缺失等严重故障。评估这类细粒度组合依从性构成了推动生成模型迭代的关键瓶颈，而传统的通用表征指标（如 FID、IS 或 CLIPScore）往往只能粗粒度捕捉全局语义或特征分布质量，不仅对实体计数和属性归属极不敏感，更无法指出具体出错的感知维度。

现有针对组合性评测的基准主要依托两类范式，却各自面临显著局限：一类是基于视觉问答（VQA）的评测方案，尽管具备自然语言交互的灵活性，但其推理链路呈黑盒状态，判别结果极易受提问句式与先验偏差扰动，输出的二元标量完全无法解释生成失败的物理根因；另一类则是基于传统闭集目标检测器（OD）的方案（如以 MS-COCO 80 类为核心的验证器），受制于预设词表的严重束缚，一旦提示词涉及罕见生物、复杂人造物或细粒度概念，就会遭遇致命的“词表失配”而彻底失效。更关键的是，现有基准缺乏诊断级反馈机制，无法明确指示画面中究竟缺少了什么对象、多出了何种冗余实体，或哪一个属性与主体发生了错误绑定。

为了打破闭集词表限制并提供可解释的细粒度诊断反馈，必须构建一个能够深入理解提示词语义结构、具备开放世界实体感知并能逐维度解耦评分的综合评估系统。核心 idea：将文生图组合性评测解耦为空间关系、属性绑定与数量计数三个独立维度，利用大语言模型（LLM）进行提示词语义结构化解析与同义词集扩展，结合开放词表检测器 YOLO-E 与视觉语言模型（VLM）裁判生成连续依从性得分与结构化失败归因标签。

方法详解¶

整体框架¶

SANEval 评估框架整体由两大底层核心技术模块与三大专项评测支路构成：输入为文本提示词以及由待测文生图模型生成的图像，输出为细粒度多维度依从性得分及针对具体失败模式的结构化诊断标签（如提示词遗漏实体、属性绑定错误或数目超量）。

整体处理流程分为两个通用先导步骤：首先，提示词理解模块（Prompt Understanding Module）利用 LLM 解析输入自然语言，抽取出预期的实体集合、每个实体关联的属性列表、空间关系三元组以及对应的基数要求；随后，增强型目标检测模块（Enhanced Object Detection Module）利用 LLM 对抽取出的实体展开同义词扩充，并结合无固定类别限制的开放词表检测器 YOLO-E 定位图像中的对应目标边界框。在此基础上，流水线分流进入属性绑定评估（提取目标局部图块送入 VLM 判定色彩/形状/纹理并用 LLM 语义打分）、空间关系评估（基于检测框几何质心验证相对方位）与数量计数评估（比对检测框数量与期望基数），最终综合输出量化分数与结构化诊断报告。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与生成图像"] --> B["提示词理解模块<br/>提取对象/属性/空间关系/数量"]
    B --> C["增强目标检测模块<br/>LLM同义词扩展 + YOLO-E开放检测"]
    C --> D{"三向解耦评测模块"}
    D --> E["属性绑定评估<br/>目标图块裁剪 + VLM盲测 + 语义连续打分"]
    D --> F["空间关系评估<br/>几何拓扑判断与质心相对位置校验"]
    D --> G["数量计数评估<br/>检测框计数与基数比对及超额/缺失诊断"]
    E --> H["综合评测报告与结构化故障诊断反馈"]
    F --> H
    G --> H

关键设计¶

1. 提示词理解与多级结构化解析：避免脆弱的规则词典匹配

传统基准在处理复杂长难句时主要依赖规则模板或简单的命名实体识别，面对倒装、隐式修饰和从句嵌套时极易发生实体属性错配。针对该问题，SANEval 引入大语言模型（默认采用 Gemini 2.5 Flash，支持即插即用替换）构建结构化解析引擎。该模块通过少样本指导将非结构化自然语言提示词解析为标准键值对系统：为每个独立主体建立对象字典，明确挂载其色彩、几何形状与表面纹理属性；将相对位置关系抽象为形如 \(\langle \text{object}_1, \text{relation}, \text{object}_2 \rangle\) 的拓扑三元组；并显式记录每个类别的正整数基数目标。这种基于大模型深层常识推理的解析方式，不仅对语法瑕疵与多样化修辞高度鲁棒，还从根本上杜绝了因前序解析偏差导致的不公平打分。

2. 增强型开放词表目标检测：结合同义词扩展消除词表失配

以往基于目标检测的评测体系局限于 MS-COCO 等闭集静态类别，无法覆盖现实开放场景（例如“信天翁”、“水豚”等细粒度概念）。SANEval 采用解耦提示编码器的先进开放世界检测器 YOLO-E 作为视觉检测底座，摆脱固定分类头限制。为了解决检测器可能因词面表达不完全吻合而发生漏检的冷门词瓶颈，该模块创新性地集成了 LLM 同义词扩展机制：当提示词抽取目标为特定实体时，LLM 先行派生出上位词、常见近义词和上下文化词簇（例如将 albatross 拓展为 {albatross, seabird, large bird}）；YOLO-E 在图像中检出的类别标签与该候选近义词库进行模糊双向对齐。这种设计既保留了目标检测边界框的高空间可解释性，又借助语言模型的联想能力打破了词汇壁垒，显著提升了在罕见概念与复杂语境下的检测召回率。

3. 基于局部裁剪与无偏提示的双阶段属性绑定诊断

在多对象多属性共存的场景中，直接将全图交由模型评分极易引发属性“概念串扰”与幻觉偏见。SANEval 将属性绑定解耦为色彩、形状和纹理三个独立子维度，并推行局部化视线隔离：系统首先根据检测框从原图裁剪出独立的物体子区域，随后由 LLM 自动生成无偏属性提问（例如针对“米色长裙”生成“这条裙子是什么颜色的？”），严禁在向 VLM 裁判提问时泄露预期真实属性。视觉语言模型观察裁剪局部图像并给出开放式回答后，第二阶段由评估 LLM 衡量预测回答与真实属性之间的连续语义相似度，映射为 \([0.0, 1.0]\) 区间分值（如蓝绿相近时赋予平滑中间分）。若分值低于 0.5，系统自动触发故障报告，生成如“属性绑定缺陷：期望米色裙子但实际检测为灰色裙子”等精准诊断日志。

4. 空间拓扑与基数计数的细粒度几何校验与超额诊断

在空间与数量维度上，SANEval 摒弃了黑盒 VQA 的模糊判断，转向严密的几何与集合基数验证。空间评测模块定义了包含“左侧”、“上方”、“后方”等 8 类基本拓扑关系的几何判据，利用检测框的几何质心坐标 \((\bar{x}, \bar{y})\) 与空间包围边界执行确定性向量判定，一旦关系不成立，便精准输出“期望猫在狗右侧：缺失实体猫”等结构化归因。数量评测模块则直接核验检测框数目与期望基数的映射关系：若数目完全一致赋予 1.0 分，存在目标但数量不符赋予 0.5 分，目标缺失赋予 0.0 分；更重要的是，系统会显式计算差额并生成如“检测到 2 辆冗余卡车，缺失 1 个人类实体”的因果反馈，为下游强化学习提供高信息密度的非标量奖励信号。

损失函数 / 训练策略¶

SANEval 作为免微调（Training-free）的通用评测基准，其评测模块不涉及生成模型权重的梯度更新。评测执行环境依托云端轻量化容器（ARM64 Linux，8 vCPU，12 GB 内存），调用 Gemini 2.5 Flash 作为默认语言理解与 VLM 裁判引擎，图像端结合预训练冻结的 YOLO-E 目标检测骨干。经测算，全套三维评测在消费级硬件单图本地 CPU 延迟约 0.49 秒，单图综合 API 成本控制在 0.02 美元以内，展现出极高的高吞吐批处理可扩展性。

实验关键数据¶

主实验¶

论文在全新构建的 SANEval-Simple 基准（包含约 5,000 组提示词及多模型生成图像）上评测了六大前沿闭源与开源文本到图像生成模型。评测涵盖空间（Spatial）、数量（Numeracy）以及属性绑定（Attribute-Binding，细分为颜色 Color、形状 Shape、纹理 Texture）三大领域，并报告了采用 Llama-4 替换默认判别骨干 Gemini 2.5 Flash 后的得分扰动 \(\Delta\)。

数据集 / 模型	空间得分 (Spatial)	数量得分 (Numeracy)	颜色绑定 (Color)	形状绑定 (Shape)	纹理绑定 (Texture)	全局均分 (Averaged)
Imagen 3.0	0.3524	0.5779	0.5780	0.2499	0.4272	0.4371
Imagen 4.0	0.3362	0.5192	0.5453	0.2704	0.4339	0.4210
Imagen 4.0 Ultra	0.4222	0.6087	0.6090	0.3521	0.5041	0.4992
Nano Banana (Gemini)	0.4076	0.6087	0.5927	0.2827	0.4800	0.4743
Seedream 3.0	0.4636	0.5900	0.6334	0.2805	0.4969	0.4929
GPT Image 1	0.4372	0.5966	0.5850	0.2972	0.4655	0.4763

消融实验¶

为验证增强型目标检测模块中基于大语言模型同义词扩展（Synonym Expansion, Syn）的核心贡献，作者在完整流水线与剔除同义词映射机制的对照组之间进行了严谨的消融对比实验。

配置 (Config)	评测维度 (Metric)	包含同义词扩展 (w/ Syn)	剔除同义词扩展 (w/o Syn)	相对降幅 (Rel. Drop ↓)	检出独立物体数 (Unique Objects)
消融同义词机制	数量计数 (Numeracy)	0.5835	0.3312	43.23%	118 降至 77
消融同义词机制	空间关系 (Spatial)	0.4032	0.0980	75.69%	49 降至 40
消融同义词机制	属性绑定 (Attribute)	0.4491	0.1934	56.94%	136 降至 128

关键发现¶

模块消融显示同义词扩展机制极为关键：移除同义词扩展后，空间关系依从性得分剧烈下滑 75.69%，数量评分下降 43.23%，检出的独特物体类别数全线坍塌（数量任务从 118 种直降至 77 种），充分证明开放词表同义泛化是缓解实体词汇失配的核心支柱。
主流生成模型展现出鲜明的特化能力差异：Imagen 4.0 Ultra 在细粒度几何形状（0.3521）、纹理（0.5041）与综合得分（0.4992）上居首；Seedream 3.0 则在空间方位构图（0.4636）和色彩绑定（0.6334）上表现最强。
组合复杂度递增诱发严重的性能退化崩溃：在提示词对象数量从 1 个增加至超过 10 个时，所有模型的属性绑定得分均发生单调急剧滑坡。其中几何形状绑定最为脆弱（例如 Imagen 3.0 的形状正确率从单物体的 0.3159 骤降至 10 个以上物体的 0.0612），而色彩绑定相对最稳健。
评测框架对判别 LLM 底座具备极高鲁棒性：将默认的闭源 Gemini 2.5 Flash 替换为开源 Llama-4 后，全部模型跨维度的平均分差仅为 -0.046，表明 SANEval 评测的是生成模型的真实能力，而非对特定 LLM 的过拟合偏好。

亮点与洞察¶

巧妙的混合评测范式：将开放检测器 YOLO-E 的确定性空间坐标与大语言模型的抽象语义常识相结合，既拥有目标检测定位的高透明度，又具备大模型理解复杂开放概念的灵活性。
无偏图块隔离机制：对检测目标局部裁剪并采用中立提问向 VLM 索取属性判定，有效避免了将整图交由多模态模型时引发的提问泄漏与注意力混淆问题。
从“标量打分”到“因果归因”：基准不仅给出一个介于 0 到 1 之间的数字，更能输出形如“缺失某物体”或“检测到 N 个冗余实体”的结构化故障报告，为利用 AI 反馈强化学习（RLAIF）指导生成模型定向自修正提供了即插即用的高质量监控信号。

局限与展望¶

依赖上游检测器定位质量：若被测生成图像质量极差或物体发生极重度空间遮挡，导致开放检测器初筛直接漏检目标边界框，后续属性与空间判决将不可避免地级联失效。
语言模型的先验偏见残留：局部属性判定与同义词生成仍深度依赖基础大语言模型与多模态大模型的认知，可能在某些极小众文化符号或非常规艺术表现形式上存在认知偏差。
未来演进方向：作者指出可将该结构化评测反馈直接作为密集奖励模型接入扩散模型的对齐训练（如 DPO 或 RLHF 管线），实现真正闭环的组合生成能力进化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 LLM 同义词空间扩展、YOLO-E 开放词表检测与 VLM 隔离裁判融合用于解耦组合式文生图评估，开创了细粒度失败模式归因诊断范式。
实验充分度: ⭐⭐⭐⭐⭐ 构建了包含 5,000+ 简单与 250+ 困难提示词的双数据集，横跨六大顶尖商业与开源生成模型，结合模块消融、基数扩展压力测试与人工一致性双向交叉校验。
写作质量: ⭐⭐⭐⭐⭐ 框架设计严谨，评测指标与模块消融论证清晰，结构化诊断示例详尽，实验论述逻辑自洽。
价值: ⭐⭐⭐⭐⭐ 打破了文生图组合性评测长年受制于闭集类别与不可解释标量的困境，为下一代可控可信文本到图像生成提供了关键基准支撑。