DynT2I-Eval: A Dynamic Evaluation Framework for Text-to-Image Models¶

会议: NeurIPS 2026
arXiv: 2605.06170
OpenReview: https://openreview.net/forum?id=ZEtQFW9Sfu
代码: https://github.com/xxx
领域: 图像生成
关键词: 文本到图像生成, 动态评测, 贝叶斯排名, 提示词去污染, 微批次对齐

一句话总结¶

针对静态提示词集容易发生过拟合与基准污染的问题，提出全自动动态评测框架 DynT2I-Eval，通过解构长文本构建结构化语义提示词空间，并在微批次胜负比较下结合 UCB 调度与置信加权贝叶斯更新，维持自进化的文本到图像生成在线排行榜。

研究背景与动机¶

文本到图像生成（Text-to-Image, T2I）模型在语义渲染、感知保真度及美学表现上取得了显著突破。随着模型迭代速度急剧加快，客观可靠的基准评测成为对比模型优劣、驱动技术演进的核心依据。然而，现有的主流 T2I 评测基准普遍采用固定的测试提示词集。一旦测试集公开并在学术界和工业界反复使用，模型开发者便不可避免地针对既有测试分布进行显式或隐式的提示词工程调优与过拟合，导致排行榜分数与开放真实环境下的通用泛化能力产生脱节与基准污染。

这种局限性促使评测范式从一劳永逸的静态评测转向持续引入全新提示词的动态评测。然而，在视觉生成领域实现全自动动态评测面临两大严苛挑战：首先，动态生成的提示词必须兼具极高的语义覆盖度、判别力与可评测性，避免退化为语义模糊、平庸或不可判别的无意义样本；其次，当测试样本随评测轮次不断流变时，不同轮次间模型缺乏静态测试集下的统一参考系，难以保证跨轮次得分与位次的一致性和稳定性。本文的核心 idea 是：将长文本描述解构为可控正交维度构建达 $10^{12}$ 规模的结构化动态提示词流，将异构评测维度统一转化为同提示词下的微批次胜负对决，并结合 UCB 探索调度与置信加权贝叶斯后验更新，实现低开销且高鲁棒的自进化在线排行榜。

方法详解¶

整体框架¶

DynT2I-Eval 将传统一次性的静态评测转变为一个闭环持续演进系统，主要包含提示词动态生成引擎、多维度异构评测统一映射、以及在线调度排位三大子系统。首先，系统从密集图像长描述中抽取结构化语义单元，按评测任务差异构建独立的提示词采样空间，配合难度分层策略实时合成高质量评估提示词与原子核对清单；接着，多维度判别器在相同提示词下对模型对生成样本进行评测，将异构结果规范化为胜/负/平三值比较；最后，排位调度器通过 UCB 机制选取最具信息量的对决模型对，采用微批次（micro-batch）聚合与置信度加权贝叶斯法则更新模型后验实力，驱动排行榜平稳进化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长文本描述解构<br/>DOCCI 语义正交维度解耦"] --> B["任务特异性提示词空间与分层采样<br/>对齐与质量空间分离 + 难度感知"]
    B --> C["原子核对清单与动态提示词生成<br/>LLM 重写为自然语言及检验项"]
    C --> D["异构评估器三值化映射<br/>对齐/感知质量/美学统一转换为 pairwise"]
    D --> E["UCB 动态配对调度<br/>全局覆盖枢轴 + 局部实力差探索"]
    E --> F["微批次聚合与置信加权贝叶斯更新<br/>硬性胜负与软平局后验均值/方差修正"]
    F --> G["保守评分在线排行榜<br/>不确定性惩罚与热身保护"]

关键设计¶

1. 结构化动态提示词空间与难度感知采样：构建超大规模抗污染测试集

为了解决动态测试样本容易退化为无意义或不可判别提示词的痛点，该设计从 DOCCI 的 14,845 条长图像描述出发，将自然语言解构为六个正交语义维度：主体、认知逻辑约束（属性绑定、计数、空间关系、动作状态、文本渲染）、环境、光照氛围、相机构图及媒介格式。针对不同评估任务对语义负载的需求差异，框架显式解耦出文本对齐空间与图像质量空间：对齐空间强制包含清晰主体、显式逻辑约束与一个辅助维度；质量空间则侧重单主体与双辅助环境，大幅削弱逻辑约束以防干扰感知与美学判断。对齐空间进一步划分为简单（基础属性绑定）、中等（引入计数与短文本）、困难（引入复杂空间位置关系）及困难长文本四级难度分层。通过固定采样分布后由大模型重写为自然语言并导出原子核对清单（atomic checklist），在规则约束下可产生超过 $10^{12}$ 种合法语义组合，从根本上杜绝了对静态测试集的记忆与过拟合。

2. 异构评测维度统一三值化：构建一致的成对博弈接口

为了避免综合评分被主观权重稀释并维持排行榜的模块化解耦，评测框架在文本对齐、感知质量和美学质量三个独立维度上分别评测，但将各维度的异构输出统一映射为相同提示词下的三值对决结果 $\{A, B, \mathrm{Tie}\}$。在文本对齐维度，利用视觉语言判别器（Qwen3.5）结合原子清单与原始提示词进行双向对决，通过输入顺序交换消除位置偏置；在感知质量维度，利用无参考 IQA 模型（VisualQuality-R1）对单图进行 $K$ 次随机采样获得均值与方差，借助 Thurstone 概率模型推导胜率并通过阈值判定平局区间；在美学质量维度，利用 ArtiMuse 输出标量美学分，设定分差阈值以滤除微弱差异。三类不同形式的判别输出借此归一化为同质的博弈信号，为下游统一贝叶斯排位提供输入。

3. UCB 局部与全局兼顾的对决调度机制：高效收敛与冷启动保护

动态排位需要以最小的评估开销快速确定模型实力，针对传统随机配对效率低下及新模型难以发现的问题，系统为每个模型维护贝叶斯评分状态 $(\mu_i, \sigma_i)$，在第 $r$ 轮调度中首先选取全场评测次数 $c_i$ 最少的活跃模型作为枢轴（pivot）以保障全局覆盖；随后，利用类 UCB（Upper Confidence Bound）准则检索字典序最优的对手模型 $j$： $$ \Pi(i,j)=\left(-|\mu_{i}-\mu_{j}|+\alpha\sqrt{\frac{\log(\max(1,r))}{\max(1,n_{ij})}},\ \sigma_{j}^{\gamma_{\sigma}},\ \xi_{ij}\right) $$ 第一项优先挑选后验均值接近的模型以提升局部排序分辨率，第二项向历史交锋较少（$n_{ij}$ 小）的配对倾斜探索预算，末项用于平局扰动打破僵局。在对外榜单展示时，采用保守评分 $s_i = \mu_i - \eta_i \sigma_i$，其中不确定性惩罚系数通过热身系数动态缩放 $\eta_i = \eta \cdot \mathrm{clip}(c_i / C_{\mathrm{warm}}, r_{\min}, 1)$，既防止新模型高估虚高，又避免在冷启动阶段被过度压制。

4. 微批次聚合与置信加权贝叶斯后验更新：抑制样本噪声与平局吸收

针对单提示词评估偶然性大、多轮提示词分布漂移的问题，该设计引入大小为 $N$（默认 15）的微批次评测单元，统计两模型的胜场数 $w_A, w_B$ 与平局数 $\tau$。定义经验胜率 $p_A = (w_A + 0.5\tau) / N$，设置非对称决策阈值 $[p_{\mathrm{low}}, p_{\mathrm{high}}]$（默认 $0.42, 0.58$）输出宏观胜负或平局。为了防止边缘胜负带来过度后验修正，定义置信度权重： $$ \omega = \min!\left(\omega_{\max},\ 1+\lambda_w (p_w - 0.5)\right) $$ 其中压倒性胜负获得最高达 $\omega_{\max}=2.0$ 的权重，而平局批次权重固定为 1。对于显著胜负采用高斯近似贝叶斯规则做均值修正与方差收缩；对于平局批次则采用软收敛更新： $$ \mu_A' = (1-\rho)\mu_A + \rho \frac{\mu_A + \mu_B}{2}, \quad \mu_B' = (1-\rho)\mu_B + \rho \frac{\mu_A + \mu_B}{2} $$ 配合 $0.98$ 的方差收缩系数，有效过滤了提示词级偶发噪声并平滑融入相近实力判定。

一个完整示例¶

假设系统在第 120 轮挑选枢轴模型 SD3.5-Medium（$\mu_A=850, \sigma_A=35$），调度器检索发现同层级的 CogView4-6B（$\mu_B=840, \sigma_B=38$）在均值差距小且历史对决较少，被确立为对决对手。系统从文本对齐空间的“困难”层级即时采样一个包含“左侧蓝色陶瓷花瓶与右侧三只编织竹篮”的空间与计数复合配置，并经由 LLM 展开为 15 组互不重复但语义结构严格同级的微批次提示词及原子清单。两模型各生成 15 张图片后经由 Qwen3.5 交叉裁判，结果为 SD3.5-Medium 获胜 10 场、CogView4-6B 获胜 2 场、平局 3 场，折算经验胜率 $p_A = (10 + 1.5)/15 = 0.767$。由于超过 $p_{\mathrm{high}}=0.58$，判定 SD3.5-Medium 宏观获胜，计算置信度权重 $\omega = \min(2.0, 1 + 2.0 \times (0.767 - 0.5)) = 1.534$。随后系统以 $1.534$ 的加权步长对 SD3.5-Medium 施加正向后验更新，对 CogView4-6B 施加反向拉低并同步收敛双方后验方差 $\sigma$。

实验关键数据¶

主实验¶

在由 12 款主流文本到图像模型构建的动态竞技场中，经过 250 轮微批次对决（每维度约 48 小时）后，三个解耦维度的动态排行榜完全稳定。实验还特意在榜单成型后注入晚入局基准模型（Late-entry anchors，带 * 标号）。

模型	文本对齐 Rk (Score / $\mu$ / $\sigma$)	感知质量 Rk (Score / $\mu$ / $\sigma$)	美学质量 Rk (Score / $\mu$ / $\sigma$)	综合特征
FLUX.2-klein-9B	1 (1507.69 / 1617.64 / 36.65)	4 (1059.62 / 1142.07 / 27.49)	9 (565.02 / 653.12 / 29.37)	语义与文本渲染遥遥领先
LongCat-Image	2 (1361.83 / 1458.22 / 32.13)	2 (1407.11 / 1532.49 / 41.80)	3 (1198.11 / 1315.04 / 38.98)	各维度均衡顶尖
FLUX.2-klein-4B*	3 (1200.82 / 1368.95 / 56.04)	8 (883.49 / 1003.02 / 39.84)	10 (510.62 / 607.86 / 32.42)	晚入局快速收敛至前三
FLUX.1-Krea-dev	4 (1133.53 / 1239.13 / 35.20)	9 (733.53 / 821.74 / 29.40)	1 (1470.65 / 1579.26 / 36.20)	美学表现极高
Z-Image-Turbo	5 (1124.74 / 1232.08 / 35.78)	1 (1443.63 / 1576.85 / 44.41)	12 (347.66 / 446.19 / 32.84)	感知保真度最高
SD-3.5-Large	6 (829.00 / 948.65 / 39.88)	11 (571.97 / 658.61 / 28.88)	4 (1183.99 / 1308.78 / 41.60)	偏向美学表现
FLUX.1-dev	7 (771.57 / 868.78 / 32.40)	3 (1171.46 / 1288.40 / 38.98)	5 (949.07 / 1057.33 / 36.09)	质量与美学均衡
SD-3.5-Medium	8 (763.20 / 862.19 / 32.99)	10 (613.03 / 690.86 / 25.94)	7 (714.93 / 835.18 / 40.09)	中等体量模型
CogView4-6B	9 (567.48 / 662.80 / 31.77)	12 (567.45 / 651.46 / 28.00)	11 (462.32 / 555.52 / 31.07)	各维度表现均偏弱
SD-3-Medium	10 (550.83 / 637.25 / 28.81)	7 (905.71 / 1001.90 / 32.06)	8 (691.53 / 813.23 / 40.56)	感知质量中游
SD3.5-Large-Turbo	11 (483.74 / 599.04 / 38.43)	6 (994.74 / 1073.75 / 26.33)	6 (945.98 / 1051.20 / 35.07)	快速蒸馏牺牲对齐
SDXL-Base-1.0*	12 (-48.15 / 246.50 / 98.22)	5 (1019.97 / 1121.73 / 33.92)	2 (1405.49 / 1517.68 / 37.40)	对齐极差但美学高居第二

动态评测抗过拟合与迁移性验证¶

为了验证固定测试集过拟合现象及动态提示词流的鲁棒性，实验利用生成器独立生成 4 个包含 500 提示词的数据集 A/B/C/D，将 A 暴露给模型用于搜索最佳推理超参数（如步长、CFG 等），并在私有流 B/C/D 上测试增益迁移率（Transfer Ratio, TR）和对应名次变化：

评估器与模型	配置策略	暴露集 A 最优配置	私有动态流 B/C/D 迁移率 (TR)	私有动态流 B/C/D 排名 (越小越好)
VQAScore (SD3.5 Medium)	Top-1 on A	在 A 达到最优超参	-0.11 / 0.14 / 0.14	23 / 21 / 22 (共 26 组)
VQAScore (SD3.5 Medium)	Avg. Top-5 on A	前 5 组平均	0.12 / 0.32 / 0.37	13 / 12.6 / 12.2 (共 26 组)
VQAScore (FLUX.2-klein-4B)	Top-1 on A	在 A 达到最优超参	-0.0023 / -0.0002 / -0.0018	3 / 6 / 4 (共 24 组)
LMM4LMM (SD3.5 Medium)	Top-1 on A	在 A 达到最优超参	-0.14 / 0.06 / 0.12	24 / 19 / 15 (共 26 组)
LMM4LMM (FLUX.2-klein-4B)	Top-1 on A	在 A 达到最优超参	-0.0028 / -0.0010 / -0.0004	4 / 5 / 4 (共 24 组)

消融实验与机制分析¶

在涵盖基准环境、高噪声评测、极端困难、提示词校准偏移等 6 种仿真压力环境的蒙特卡洛实验中，对比了核心设计去除前后的整体综合表现（Ours-only Obj.）及关键指标：

机制变体	综合目标得分 (Ours-only Obj.)	相对差距 ($\Delta$)	主环境 SRCC@500	压力环境 SRCC@1500	新模型发现耗费批次 (Discovery)
完整配置 (Paper config)	5.2643	0.0000	0.7803	0.6118	5.08
去除热身机制 (w/o $\eta$ warmup)	5.0345	-0.2298	0.7803	0.6118	9.47 (定位大幅滞后)
去除置信加权 (w/o decisive weighting, $\omega=1$)	4.9029	-0.3614	0.6789	0.6604	7.83 (早期收敛显著恶化)

关键发现¶

能力正交与维度权衡：三个维度的排行榜存在剧烈倒挂。FLUX.2-klein-9B 在对齐上夺冠却在美学仅列第 9，SDXL-Base-1.0 对齐位列末席但在美学高居第 2，证实了统一单标量榜单会掩盖模型真实的缺陷与强项，三维度独立榜单不可或缺。
静态调优的虚假增益：针对固定提示词集 A 优化出来的“SOTA 超参”，迁移到动态提示词流 B/C/D 时迁移率几乎为零甚至出现负增益（排名由前列跌落至倒数），确凿证明了针对静态 Benchmark 的定向调优无法泛化到动态测试分布。
极速冷启动与长期保真平衡：在 6 个仿真测试场景下，本文方法在前 500 轮与 1500 轮的 SRCC 均全面超越 K-Sort Arena、TrueSkill、Glicko-2 等，发现注入高潜力新模型平均仅需约 5 个批次（约 30 轮），兼具快速发现与长期排序稳定性。

亮点与洞察¶

从离散静态测试集向无穷生成流演进：将高质量图像长文本解构为六大语义组件，构建出超 $10^{12}$ 规模的组合空间，彻底封死了“死记硬背”提示词来刷榜的作弊路径。
双轨制目标驱动：对外公示采用偏下界的保守分 $s_i = \mu_i - \eta_i \sigma_i$ 规避排名虚高与偶然侥幸，而调度核心依据后验均值相近度与探索度撮合对手，以精巧的博弈优化换取最小评测开销。
软平局吸收机制（Soft Tie Update）：不同于常规 Elo/TrueSkill 在平局时要么丢弃、要么僵硬套用胜率公式，本文设计了凸组合均值拉近与温和方差收缩，有效将边界样本的相持判定转化为信息量。

局限与展望¶

判别器依赖与固有偏置：自动化打分仍强依赖 Qwen3.5、VisualQuality-R1 和 ArtiMuse 等既有判别大模型，判别器本身的审美偏置与多模态感知盲区可能间接传递给动态榜单。
长文本渲染与高复杂度几何关系的自动检验：当前虽然能够生成长文本与复杂空间约束提示词，但自动裁判（如 VLM）在细颗粒度长文本拼写纠错和严苛 3D 几何拓扑空间理解上仍有错判率。
未来方向：引入评测模型集成（Ensemble）与人机回环校准，并将动态自适应提示词生成扩展到视频生成评测等更长时序高维领域。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立全自动、抗污染的文本到图像动态评测与在线自进化排位架构。
实验充分度: ⭐⭐⭐⭐⭐ 包含 12 个真实模型三维度评测、450 例人工一致性检验、提示词过拟合迁移实验及跨 6 种极端环境的大规模蒙特卡洛仿真消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论数学表述与框架流水线清晰自洽。
价值: ⭐⭐⭐⭐⭐ 为快速更迭的多模态生成模型提供了可持续、低开销且抗作弊的权威评测新范式。