RubricRL: Simple Generalizable Rewards for Text-to-Image Generation¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 文本到图像、评分标准、可解释奖励、强化学习、动态轨迹采样

一句话总结¶

RubricRL 用 GPT-o4-mini 为每条提示词生成十项可检查的视觉标准，以逐项二元评分的均值指导生成模型后训练，配合混合轨迹采样使 Phi3 的 GenEval 总分从 0.7624 提升至 0.8468，并将同一奖励接口迁移到扩散模型。

研究背景与动机¶

文本到图像模型生成得像照片，并不等于严格执行了用户要求。长提示词同时规定对象数量、颜色归属、位置关系、画中文字和风格，整体图文相似度可能很高，某个关键约束却已经丢失。因此，后训练需要奖励这些用户真正关心的属性，而不只是继续最大化训练数据的似然。 AR-GRPO、X-Omni 等方法把 CLIP、OCR、真实感等信号组合起来，能覆盖多个维度，却要处理不同评估器的量纲和固定权重。一条没有文字的风景提示与一条要求准确书写的海报提示，显然不应该把 OCR 当作同等重要的信号。

另一类方法用人类偏好数据训练统一奖励模型，让图像和提示词直接映射为一个分数。这样优化接口更简单，但分数低究竟因为对象缺失、关系颠倒，还是画面质量差，往往不容易追溯。增加一个新的评估要求，也可能意味着重新收集偏好标注或调整奖励模型。 RubricRL 选择利用视觉语言模型已有的理解能力，把奖励的定义先暴露为人能读懂、能修改的检查清单。这里需要区分两个问题：评判器是否能可靠地识别错误，以及奖励接口是否能告诉开发者它在检查什么；可解释清单直接解决后者，但不能保证前者永远正确。

本文的切入点不是设计新的图像生成网络，而是把提示词中隐含的成功条件显式写出来。同一个标准生成与评判接口既服务于自回归模型，也服务于扩散模型，模型族之间改变的是优化器。 核心 idea：让提示词决定检查哪些视觉标准，再用这些标准的完成比例作为奖励，使后训练信号既随任务变化，又能逐项审计。

方法详解¶

整体框架¶

输入是一条描述目标图像的提示词；生成模型输出候选图像，GPT-o4-mini 则从同一提示词构造评分标准并检查候选图像。中间表示不是额外的视觉特征网络，而是一组“评估键 + 检查描述”以及每张图像对应的十项二元判断。自回归版本依次使用提示词评分标准构建、逐项二元奖励、混合轨迹采样和保留组归一化，再通过 GRPO 更新图像 token 的生成策略。扩散版本复用前两个奖励组件，把标量奖励接入 DiffusionNFT；不能把自回归采样消融直接当作扩散训练机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Prompt["输入提示词"] --> Rubrics["提示词评分标准构建"]
        Prompt --> Generator["生成模型<br/>候选图像"]
        Rubrics --> Reward["逐项二元奖励"]
        Generator --> Reward
        Reward -->|自回归训练| Sampling["混合轨迹采样"]
        Sampling --> Norm["保留组归一化"]
        Norm --> GRPO["GRPO 更新"]
        GRPO -.->|训练反馈| Generator
        Reward -->|扩散训练| NFT["DiffusionNFT 更新"]
        NFT -.->|训练反馈| Generator

这张图表示训练时的数据流，不表示用户每次生成图片都必须再调用评判器。常规推理使用更新后的生成模型与各自的引导设置；文中的 Best-of-N 是单独评估的测试时选择基线。最终交付仍是一张图像，标准列表和评分向量主要用于奖励计算与错误诊断，而不是图像解码所必需的输入。

关键设计¶

1. 提示词评分标准构建：把笼统的好图像拆成与当前请求相关的条件

GPT-o4-mini 首先阅读提示词，生成包含短评估键和具体描述的条目。评估键可对应对象数量、属性、空间关系、文字准确性、美学或风格一致性，描述则说明当前图像到底应该满足什么。因此，“属性准确”不是空泛打分维度，而可以落实为某个指定对象必须呈现指定颜色。一个评估键允许出现多个条目，以覆盖多个对象或多种属性；十项标准并不意味着必须有十类不同任务。这种文本形式还让开发者能通过修改系统提示来调整奖励关注点，而不是重新训练一套专用分类器。

构建过程不是只问一次模型便接受输出：作者随机打乱候选评估方面的顺序，多轮请求，每轮要求生成 10 项标准。随后汇总有效的键与描述配对，删除模糊或格式错误的条目，形成候选标准池。 GPT-o4-mini 再从池中选出与当前提示词最相关、最关键的 top-10，减少重复并控制最终评分长度。打乱顺序针对的是生成标准时的位置偏差，多轮构建针对的是单次调用覆盖不全的问题。正文未给出查询轮数、完整系统提示或标准池大小，不能据此重建一个参数完全确定的标准生成器。

2. 逐项二元奖励：可解释性来自分项判断，而非另一个黑箱总分

评判时，GPT-o4-mini 同时看到候选图像、原提示词与选出的标准，为每一项判断“是否完全满足”。满足记为 1，否则记为 0；例如颜色正确但对象数量错误，可以得到不同条目的不同反馈。这里的“独立评估”指逐标准给出判断，不意味着作者部署了十个独立模型，也不意味着必须发起十次 API 调用。优化器最终只使用这些判断的均值，分项向量则保留了追查失败原因的能力。

按原文第 7 页式 (2) 及其文字定义，奖励为：

\[ R(I,p,\mathcal{C})=\frac{1}{M}\sum_{i=1}^{M}y_i,\qquad M=10,\quad y_i\in\{0,1\}. \]

其中图像、提示词与标准集合共同决定判断，奖励在 0 到 1 之间，以 0.1 为间隔。这一聚合方式也让不同提示词都落在相同的数值范围内，但相同分数未必意味着相同难度或相同类型的错误。尤其要注意摘要中的“提示词自适应加权”：方法节实际给出的是等权均值，没有额外的可学习或显式非均匀权重。可确认的自适应性来自标准内容及其选择；某类属性占据更多条目时也会获得更多总贡献，但这不是一个单独训练的权重网络。

3. 混合轨迹采样：先保留高奖励样本，再留出探索空间

自回归生成一张图像对应一条较长的 token 轨迹，如果只抽取少量候选，有时很难得到既高质量又有区分度的更新组。作者先为同一提示词生成更多轨迹，再从中挑选用于反向更新的子集。具体做法是从候选中保留奖励最高的 top-K，然后从剩余候选随机抽取补足目标组大小。高分部分保证组内包含模型当前做得较好的图像，随机部分避免所有训练样本都挤在最高分附近。这个策略既不是推理时只输出最高分图像，也不是 DAPO 那样根据整组结果过滤整个提示词。

主实验每条提示词生成 16 个候选，只保留 4 个用于更新；正文没有给出 top-K 中 K 的具体取值。因此只能复述“高分保留 + 其余随机”的规则，不能声称作者固定使用 2 个高分加 2 个随机。对照方法 FFKC-1D 先选奖励接近中位数的轨迹，再贪心加入与已选奖励距离大的样本，强调奖励空间的覆盖。本文认为单纯拉开奖励距离不一定保留足够有价值的高质量样本，因此把利用高分轨迹与随机探索结合。这一步省下的是部分反向更新计算，16 个候选的生成和评分仍然要付出成本，不能把 16 选 4 说成端到端成本缩小到四分之一。

4. 保留组归一化：让优势统计对应实际参与更新的轨迹

选完轨迹后，GRPO 将每条轨迹的奖励减去组均值，再按组内奖励标准差归一化，得到相对优势。同一提示词内表现较好的候选被强化，较差候选被抑制，更新再受到 PPO 风格的概率比裁剪约束。这样模型学习的是相对改进方向，而不需要另训练一个价值网络来为每张图像预测基线。缓存中的式 (3)、式 (4) 数学排版损坏，本文仅据相邻正文解释机制，不猜补裁剪参数、稳定项或精确损失表达式。

动态选择带来一个具体问题：均值与标准差应该来自全部 16 个候选，还是最终保留的 4 个？ RubricRL_GN 使用所有候选，RubricRL_LN 只使用保留子集，本文采用后者。如果被丢弃的低质量或高方差轨迹继续决定归一化尺度，参与更新的子集可能得到不匹配的优势统计。 LN 直接围绕真实训练组计算相对奖励，因而与前一步的混合选择配套。这是组相对统计的设计，并非对十项标准分别估计方差或给不同标准分配方差权重。

一个完整示例¶

以原文图 6 的提示词为例：桌面中央放着菠萝，左侧有一瓶绿色瓶装啤酒，右侧有两瓶相同啤酒，还要求瓶身呈现冷凝水。评分标准可以分别核查对象位置、左右数量、瓶子外观以及冷凝水细节，避免把“整体场景很像”当作所有条件都满足。这些具体标准是对原文流程的说明性展开，不是原文公开的完整十项评分清单。若某候选满足 8 项、另一候选满足 6 项，奖励分别是 0.8 与 0.6；这里的判断数量是教学假设，不是实验观测。训练时先对 16 个候选评分，再按混合策略选出 4 个，用保留组的奖励统计形成 GRPO 优势。假如评判器把右侧两瓶误数成一瓶，错误就会进入奖励并影响更新；可读标准让错误更容易定位，却不会自动纠正视觉误判。

损失函数 / 训练策略¶

训练数据由 JourneyDB 与 Synthetic-1M 抽取的 11,000 张图像构成，GPT-o4-mini 重新描述这些图像以获得不同长度的提示词。训练时为每张图像随机选择一条描述；后训练的奖励来自新生成图像与提示词的满足关系，而不是要求逐像素复制这张来源图像。两种自回归骨干都从 SFT 检查点开始，Phi3-3.8B 使用 LlamaGen VQ 解码器，Qwen2.5-0.5B 使用 Cosmos-Tokenizer。对应输出分辨率为 512 与 1024；TRL 训练学习率为 1e-5，预热比例 0.1，批量大小 28，训练 3 个 epoch，使用 8 张 NVIDIA A100。自回归推理采用无分类器引导，CFG scale 为 7.5。扩散实验使用 Qwen-Image 与 FLUX.1 Dev，DiffusionNFT 配合 LoRA rank 32、缩放系数 64，学习率 3e-4、批量大小 3。每个 epoch 有 48 组、每组 24 个样本，正文另列 12 个 rollout 采样步和 40 个去噪步；两者不能混写为同一个步数。扩散推理中 Qwen-Image 的 CFG scale 为 7.5，FLUX 的 guidance scale 为 3.5；扩散特定算法细节指向补充材料，当前正文缓存不含该补充材料。

实验关键数据¶

主实验¶

下表选取原文表 1 至表 4（第 9–11 页）的总分；GenEval 与 DPG-Bench 均为越高越好，保留各自原始量纲。 “对照奖励”行给出相应模型在 GenEval 上最好的非 RubricRL 奖励，其 DPG-Bench 数值也来自同一个配置，不代表 DPG-Bench 最优对照。作者称同一骨干的奖励对照使用相同 RL 框架与超参数；自回归评测对 GenEval 和 DPG-Bench 均进行提示词改写。跨骨干的解码器、分辨率和优化器不同，不能用这张表单独推断架构优劣。

骨干	配置	GenEval Overall	DPG-Bench Overall
Phi3-3.8B	SFT	0.7624	81.25
Phi3-3.8B	CLIPScore 对照奖励	0.8086	84.15
Phi3-3.8B	RubricRL	0.8468	86.07
Qwen2.5-0.5B	SFT	0.5239	78.02
Qwen2.5-0.5B	Unified Reward 对照奖励	0.5727	79.69
Qwen2.5-0.5B	RubricRL	0.6014	81.43
Qwen-Image	基础模型	0.8406	82.40
Qwen-Image	X-Omni 对照奖励	0.8535	85.80
Qwen-Image	RubricRL	0.9091	86.23
FLUX.1 Dev	基础模型	0.8121	63.99
FLUX.1 Dev	CLIPScore 对照奖励	0.8518	65.82
FLUX.1 Dev	RubricRL	0.8969	67.70

表 3、表 4 将 Qwen-Image 标为 4B，将 FLUX.1 Dev 标为 12B；前者的参数标注在本笔记中不视作已经独立核实的官方规格。 Phi3 的 GenEval 提高 0.0844，DPG-Bench 提高 4.82 分；Qwen-Image 与 FLUX 的 GenEval 分别提高 0.0685 和 0.0848。这些是绝对分数差，原文将后两个变化写为 +6.85% 和 +8.48%，不应误解成相对增长率。

消融实验¶

下表合并表 5（第 11 页）与表 6（第 12 页），均使用 Phi3 骨干、在 GenEval 评测；最后两行只改变优势归一化的统计范围。

配置	Counting	Position	Color Attr.	Overall
Vanilla，无动态采样	0.6031	0.7975	0.7525	0.8349
FFKC-1D	0.5656	0.8250	0.7500	0.8353
DAPO	0.6125	0.7975	0.7275	0.8333
Hybrid，混合采样	0.6125	0.8275	0.7650	0.8468
RubricRL_GN，全部候选归一化	0.6781	0.7850	0.6825	0.8337
RubricRL_LN，保留组归一化	0.6125	0.8275	0.7650	0.8468

Hybrid 相比 Vanilla 的总分提高 0.0119，LN 相比 GN 提高 0.0131，但 GN 的 Counting 更高，不能称 LN 在每个维度都更好。原文说 FFKC-1D 不优于 Vanilla，而表 5 给出 0.8353 对 0.8349，实际有 0.0004 的小幅优势；这里保留表中数值，也不在缺少误差条时解释其显著性。

关键发现¶

小模型并非全面受益：表 1 中 Qwen2.5 的 Counting 从 0.2500 变为 0.2469，表 2 的 Other 从 84.27 降到 68.00。作者将其与低质量图像引发的计数误判联系起来。
表 7（第 13 页）的 Best-of-N 实际是生成 8 张、按 rubric 奖励选前 4 张评测。Phi3 的总分为 0.7927，对比 RubricRL 的 0.8468；Qwen2.5 为 0.5953 对 0.6014，收益并非同样大。
第 13 页人工检查使用 100 条提示词、每条 10 项标准，共 1,000 个提示词与标准配对，由 10 位标注者评估。作者报告标准一致性 98.1%、幻觉约束 0.95%、评判器与人工一致率 94.8%。

亮点与洞察¶

奖励的可解释性发生在聚合之前。训练仍然消费标量，但开发者能看到哪个条件被判失败，比只观察总体偏好分更便于诊断。
自适应不一定依赖复杂权重网络。先选出与请求相关的标准，再做简单平均，就能改变模型被鼓励学习的视觉行为。
采样与优势估计需要配套。候选筛选改变了训练组的分布，归一化统计也应被当作需要实证检验的设计，而不是无关紧要的实现细节。

局限与展望¶

作者明确展示了评判器在遮挡、重叠和结构混乱时误判数量的案例。可解释文本不等于可靠监督，尤其不能把图像质量较差的小模型当作同样容易评估的对象。
当前正文未量化多轮标准构建、16 个候选评分带来的 API 成本与延迟，也未给出 K、查询轮数和完整提示模板。复现需要补充这些信息，不能仅凭“奖励简单”推断系统便宜。
基准总分缺少重复运行误差条，人工研究规模有限，也未明确给出人工一致率的详细聚合方式。94.8% 不应泛化成所有提示词上的固定正确率。
表 7 的 Qwen2.5 SFT Colors 为 0.7314，而表 1 为 0.7606；两处 Overall 都是 0.5239。保留这一原文冲突，不自行选择一个颜色数值作为修正版。
读者推断：十项等权二元标准可能让某个关键错误被其他通过项稀释，也难以表达部分满足。可研究关键条件门控或显式置信度，但本文没有验证这些扩展。

评分¶

新颖性: 4/5。将提示词标准生成、二元奖励和轨迹选择连成可解释的图像后训练流程，贡献偏向实用框架设计。
实验充分度: 4/5。覆盖两类生成架构、两项基准、采样消融与人工核查，但成本和统计不确定性报告仍不足。
写作质量: 3/5。主线清楚，但“加权”的表述、少量表文冲突及未交代超参数影响精确理解。
价值: 4/5。为需要逐项控制图像对齐目标的后训练系统提供可复用接口，但应把评判器错误纳入风险评估。