TIIF-Bench: How Does Your T2I Model Follow Your Instructions?¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 指令遵循、长短提示、二元验证、文本渲染、风格控制

一句话总结¶

TIIF-Bench 将文生图评测拆为分层的长短配对提示、逐属性二元检查与专用文本/风格指标，并把 Qwen3VL-8B 训练为可解释评估器，在人工标注验证集上达到 91.07% 准确率。

研究背景与动机¶

一张生成图像可以很漂亮，却没有照做：颜色绑定到了错误物体、数量比较反了，或者画出了要求排除的对象。CLIP 类整体相似度容易捕获“有哪些概念”，却未必能验证“概念之间是什么关系”。直接让视觉语言模型给整张图打分，也可能把多项要求压成一个难以解释的分数；若评估问题附带完整生成提示，还可能诱导评估器把指令当成已经发生的视觉事实。

评测输入本身也有盲点。短模板常反复组合类似实体，既缺少语义覆盖，也无法回答一个很实际的问题：同一个要求写得更长、更有修饰，模型是否仍然遵守？与此同时，文字渲染、艺术风格和设计师真实需求并不能全部用目标检测或物体属性检查来衡量。TIIF-Bench 因此同时改造测试提示和打分方式，而不是只在旧数据上换一个更大的评分模型。

本文把“指令遵循”视为一组可核验的约束，并保留不同能力的独立度量。核心 idea：对语义一致的长短提示逐项检查是否满足要求，用任务适配的推理型评估器处理属性与关系，再用专用指标补足文字和风格维度。

方法详解¶

整体框架¶

输入是待测文生图模型及一组分层提示，输出包括短提示和长提示下的各维度分数与总体分数。基准先从概念池构造提示，再准备每条提示对应的检查清单；待测模型生成图像后，TIIF Evaluator 回答清单中的二元问题，文字与风格任务则采用额外的专用度量。

这里有两个不同的模型角色：文生图模型是被测对象，Qwen3VL-8B 派生的 TIIF Evaluator 是裁判。论文训练的是后者，并没有提出新的图像生成架构，也没有实验证明把这个裁判当奖励后能提升生成模型。

关键设计¶

1. 分层长短提示：把组合难度和语言长度分开观察

作者先从已有基准抽取物体与属性/关系，借助 GPT-4o 建立 10 个概念池，并归入属性、关系和推理三组。随后使用 36 种组合策略及对应元提示生成自然语言指令。Basic Following 主要在同组内组合；Advanced Following 跨组组合，例如把数量约束与颜色约束放在同一条提示中。这样，难度来自需要同时满足的条件，而不是简单增加几个单词。

在组合任务之外，文本渲染提示来自 Lex-Art，风格控制提示来自 AIGC 社区，另有人工收集的 100 条设计师级提示。前两者属于高级层，最后一类单列为 Designer Level。表 1 给出构造规则与类别计数，第 3.2 节报告完整基准共 5,000 条提示、12,074 个二元问题；TestMini 包含 554 条提示、1,446 个问题。这些是论文报告的规模，不应再把长短版本重复乘入总数。

每条原始提示都扩写出保持核心语义的长版本，使同一个约束集合能在两种语言长度下接受测试。长版本可能帮助模型理解风格，也可能让关键约束被修饰语淹没，因此长提示并非天然更难或更好。论文用 CLIP 文本嵌入余弦相似度 0.85 的去重阈值分析语义独特性，但该分析不等同于人工证明每对长短提示完全等义。

2. 逐属性二元检查：从整体印象改为约束满足率

对于一般组合提示，先抽取核心概念，再让强闭源语言模型生成对应的 yes/no 问题及目标答案。评估时向裁判提供生成图像和问题清单，而不是要求它读完整提示后给一个整体分数；设计师级提示则人工设计更长的专用清单，覆盖其中的现实约束。目标答案并非一律为 yes，否定性要求也必须按清单设定正确答案。

单图分数是各问题预测答案与目标答案一致的比例。它衡量图像满足了多少项指令，不是评估器在人类标注数据上的分类准确率；两者虽然形式相似，参照的真值不同。下面按第 3.3 节文字恢复排版受损的原式，其中 \(N\) 是问题数，\(a_i\) 是预测答案，\(\hat a_i\) 是提示要求对应的答案：

\[ s=\frac{1}{N}\sum_{i=1}^{N}\mathbb{I}[a_i=\hat a_i]. \]

这让错误具有可定位性：某幅图可以满足颜色要求但违反空间关系，而不再只是获得一个“中等相似”的分数。不过，逐项平均也意味着满足多数简单条件可能掩盖一个关键约束失败；它不等于整条提示完全成功的概率。

3. 文本与风格专用度量：不把所有能力交给同一个裁判

文本渲染采用 Global Normalized Edit Distance（GNED）。先把提示要求出现的词与 OCR 识别到的词作为两组元素，计算每对词的字符级归一化编辑距离，再通过匈牙利算法找总代价最小的匹配。多写或漏写的词按数量差惩罚，最后除以较大词数。这样，模型不能靠画出大量额外文字来轻易提高召回率。

以下公式依据第 3.3 节的文字定义恢复；缓存中的公式排版不完整。\(m,n\) 分别是要求词数与识别词数，\(\mathcal M\) 为最优匹配，\(\operatorname{NED}\) 为词间字符级归一化编辑距离：

\[ \operatorname{GNED}(P,G)=\frac{\sum_{(i,j)\in\mathcal M}\operatorname{NED}(p_i,g_j)+|m-n|}{\max(m,n)}. \]

GNED 越低越好，0 表示完全匹配；表 2 的 Text 列使用 \(1-\operatorname{GNED}\)，统一为越高越好。该匹配主要考察文字内容，不能据此认为它也验证了词序、版式或指定位置，OCR 识别错误也会传导到最终分数。

风格任务提供 16:9、5:4、1:1、4:5、9:16 五种比例的参考图，评分时选择最接近生成图比例的参考图。TestMini 参考图由 Nano-Banana-Pro 生成，完整基准由 Qwen-Image 生成，之后人工检查。参考图用于评分，不是额外输入给被测生成模型的条件。

这里存在原文口径不一致：第 3.3 节说取 CSD 与 DINOv3 相似度的平均值，前文则提到 CSD、DINOv3、SigLIP2 的加权组合。本笔记按方法节解释，不自行补充权重；复现实验前需要以实际发布实现确认。这也提醒读者，风格分数是对参考图的代理相似度，不是直接的人类审美评分。

4. 推理型评估器：用任务适配换取可靠的细粒度判断

直接使用通用 VLM 并不够可靠。作者让 30 个文生图模型分别对全部 5,000 条提示生成两轮，得到约 300K 张图像和 724K 个二元问题实例。先人工标注 300 张图像对应的 560 个问题作为验证集，其中 yes/no 各 280 个；GPT-4o 在该集合上的准确率为 90.18%，未适配 Qwen3VL-8B 为 84.11%。这一差距支持进行任务适配，但不能把 GPT-4o 当成无误差真值。

排除人工验证集后，用 GPT-4o 为其余数据标注答案和思维链，经筛选与类别平衡得到 109K 个正例、109K 个负例。对 Qwen3VL-8B 比较三种训练形式：直接输出答案、最终隐状态接两层 MLP 分类、先输出推理再给答案。最后选择第三种，并非因为它准确率最高，而是它接近最佳分类结果且能解释哪项要求失败。

损失函数 / 训练策略¶

三种范式均训练 1 个 epoch。直接预测和推理型预测分别监督答案或推理加答案，表示分类则通过两层 MLP 接收二元分类监督；主文没有给出可直接复现的完整损失公式、学习率或优化器配置，因此这里不补造训练超参数。

推理型裁判的解释可以帮助人工排查失败，也被作者讨论为未来奖励信号的候选。但论文没有报告使用该奖励训练生成模型的结果；“可作为奖励”仍是用途展望，而不是已经验证的优化收益。

实验关键数据¶

主实验¶

来源：原文表 2，摘录代表性模型。数值沿用原表的百分制分数，均越高越好；Text 是变换后的文字得分，不是 GNED 本身。短/长指语义配对提示。第 4.1 节分别报告基础、高级和设计师层，但当前主文没有明确表 2 使用完整集还是 TestMini，也未完整列出各模型采样配置，不能把排名当作严格计算预算对齐的比较。

模型	Overall 短	Overall 长	Text 短	Text 长	Designer 短	Designer 长
Qwen-Image	87.0	87.5	79.0	81.0	89.9	90.6
FLUX.2 dev	87.2	87.3	71.0	73.0	91.3	90.9
SD 3.5	69.5	68.5	55.0	43.0	66.0	65.6
JanusPro	65.5	66.6	27.0	32.0	67.4	59.3
Emu3.5-Image	88.4	87.1	82.0	83.0	90.5	89.4
GPT-Image-1	86.1	87.6	79.0	81.0	90.8	92.5
NB-Pro	93.1	93.3	84.0	85.0	95.2	95.5

消融实验¶

来源：原文第 3.4 节的正文结果，该组消融没有独立表号。所有准确率针对同一个人工标注的 560 问题验证集，不是上表的生成质量分数；后三行使用相同基座并各训练 1 个 epoch。

评估器 / 范式	准确率	说明
GPT-4o	90.18%	教师可靠性参照
Qwen3VL-8B，未适配	84.11%	通用模型直接评估
Qwen3VL-8B，直接预测	89.46%	只输出二元答案
Qwen3VL-8B，表示分类	91.43%	最终隐状态加两层 MLP
Qwen3VL-8B，推理型预测	91.07%	最终采用，提供推理过程

关键发现¶

推理型评估器比未适配基座高 6.96 个百分点，但比表示分类低 0.36 个百分点。选择它的理由是可解释性，并非分类精度最优。
NB-Pro 的 Overall 为 93.1/93.3，长短变化较小；SD 3.5 的 Text 从 55.0 降到 43.0，说明总分变化小也可能掩盖单项能力明显退化。
不宜照抄“闭源文字能力远超所有开源模型”的叙述：Emu3.5-Image 的 Text 为 82.0/83.0，高于 GPT-Image-1 的 79.0/81.0。结论应依具体模型和列值判断。
第 4.2 节还比较 CompBench++、GenAI Bench 与 TIIF-Bench，并邀请 10 名志愿者盲排 8 个模型的输出；具体 Spearman 相关系数在未随当前缓存提供的附录中，因此不引用数值。

亮点与洞察¶

长短配对把提示改写鲁棒性变成可测对象。它比单纯增加长提示更有诊断价值，因为可以追踪同一语义要求是否被冗余描述干扰。
检查清单把错误定位到具体条件。若用于后续模型开发，应同时保留逐项结果与整条指令的完全成功率，避免均分掩盖关键失败。
GNED 同时惩罚漏字与多字。其全局匹配思路也可用于其他集合式输出评测，但空间布局仍需要额外约束。

局限与展望¶

作者承认提示主要覆盖常见对象、全部使用英语，也没有系统考察正式与口语等语言风格变化；长短配对不能替代这些泛化测试。
评估器人工验证集仅有 560 个问题，主文未报告置信区间；0.36 个百分点的范式差距不足以支持稳定的精度优劣结论。
训练输出与验证输出均来自基准提示体系。主文说明排除验证图像，但没有明确按提示或生成模型完全隔离，应进一步测试新提示、新模型上的裁判泛化。
GPT-4o 伪标注、OCR 误差和生成参考图都可能引入系统偏差。尤其风格指标存在前后口径差异，复现时须确认实现、参考图与分数聚合方式。

评分¶

新颖性: 4/5。长短配对、专用指标和适配裁判形成互补设计，但多项基础技术已有来源。
实验充分度: 4/5。覆盖多类生成模型并比较评估器范式，仍缺更大人工验证集与明确的泛化隔离。
写作质量: 3/5。问题设定清晰，但风格指标和部分模型比较叙述存在口径不一致。
价值: 4/5。适合诊断文生图指令遵循，使用时应保留分项结果与评估器误差边界。