跳转至

RubricRM: Generative Reward Modeling via Dynamic Rubrics for Image Generation and Editing

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/zijiankan/RubricRM
领域: LLM 推理
关键词: 奖励模型, 动态评分准则, 图像生成与编辑, 多模态评估, GRPO

一句话总结

针对视觉生成与编辑评估中固定指标或标量奖励难以适应多样化指令且缺乏可解释性的问题,RubricRM 提出在单次前向推理中先动态生成包含原子维度、归一化权重与分级标准的任务自适应评分准则,再对候选图像进行逐维度打分与加权聚合,并通过轨迹 SFT 与细粒度维度级奖励 GRPO 两阶段训练显著超越同量级专用奖励模型。

研究背景与动机

视觉生成模型的后训练对齐(如扩散模型的 RLHF 或 DPO 优化)极度依赖高质量奖励模型将人类偏好转化为可学习的反馈信号。然而,当前主流评估范式存在明显的表达与适应瓶颈:以 CLIPScore 为代表的全局图文相似度指标对细粒度组合语义缺乏敏感度;以 ImageReward、HPS v2/v3、PickScore 及 EditReward 为代表的判别式偏好模型虽然在人类对齐率上有所提升,但本质上仅输出单一标量分数,无法为最终的偏好裁决提供透明、可追溯的推理依据;而近期涌现的基于多模态大模型的生成式奖励模型(如 UnifiedReward 等),大多依赖预先固化的评估维度与静态判定规则,难以兼顾不同视觉任务之间高度分化的评估侧重点。

这种局限性在文本到图像生成(T2I)和指令引导的图像编辑(Image Editing)任务中尤为尖锐。不同类型的输入文本在本质上要求完全不同的评估准则:例如写实摄影类提示词首要强调物理真实性、人体解剖结构以及光影合理性,而创意概念或幻想类提示词更侧重主体构图的新颖性与风格还原;在图像编辑场景下,评估不仅要衡量编辑指令的执行保真度,还必须严格约束非编辑区域的内容保留度与背景融合度,且不同编辑意图(如对象替换、风格迁移与复杂推理编辑)之间的权衡维度差异极大。若强行使用固定维度或未加权的自由文本生成解释,模型往往会在不同属性之间产生标准漂移,既无法给出稳定的维度级置信度,也极易在候选样本间产生评分噪声。

为了解决这一核心矛盾,必须在自由格式的推理轨迹与不可解释的标量偏好之间建立一个结构化、自适应的中间评估协议。自动化评分准则(Rubric)能够明确规范待评估的原子维度、相对权重以及每个分值档位对应的具体表现定义,使评价体系能够针对输入指令动态调整,同时保持整个判决流程的高度可检验性。核心 idea:将视觉偏好判决解耦为“输入自适应的动态评分准则生成”与“基于准则的逐维度评估打分”,并在单次推理中完成端到端输出;采用第一阶段完整轨迹模仿微调(SFT)建立评分范式,第二阶段利用固定准则展开结合细粒度维度级奖励的群组相对策略优化(GRPO)精准校准维度间分差与偏好方向。

方法详解

整体框架

RubricRM 旨在为文本到图像生成与图像编辑构建统一且自适应的成对偏好评估体系。对于 T2I 任务,模型输入为文本提示词 \(q\) 和两张候选图像 \(I_A, I_B\);对于图像编辑任务,\(q\) 进一步包含原始源图像 \(I_{\text{src}}\) 与编辑指令。在单次前向推理过程中,RubricRM 依次生成结构化的思维链与裁决结果:首先深入挖掘输入意图并动态构建一个包含 \(N\) 个原子维度、归一化权重与分级打分细则的评分准则 \(\mathcal{R} = \{(d_i, w_i, L_i)\}_{i=1}^N\);随后严格对照准则 \(L_i\) 对两张图像逐维度输出文本分析并赋予 \(0 \sim 4\) 分的离散分数 \(s_A^i, s_B^i \in [0, 4]\);最终计算加权总分 \(S(I_k) = \sum_{i=1}^N w_i \cdot s_k^i\)(其中 \(\sum_{i=1}^N w_i = 1\)),选取总分更高者作为最终偏好标签 \(\hat{y} \in \{A, B\}\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入:提示词 q(及源图)+ 候选图像对 (I_A, I_B)"] --> Step1["分类驱动的均衡采样与标签条件轨迹构建"]
    Step1 --> Step2["动态准则构建与单阶段端到端推理"]
    Step2 --> Step3["固定准则展开与维度级奖励设计"]
    Step3 --> Step4["饱和组过滤的连续 GRPO 策略优化"]
    Step4 --> Out["输出:动态准则 + 逐维度得分 + 加权总分偏好裁决"]

关键设计

1. 分类驱动的均衡采样与标签条件轨迹构建:解决长尾指令覆盖不足与教师偏好瓶颈 训练鲁棒的动态评分准则生成器要求数据分布具有极高的广度与多样性。由于单一维度的粗粒度分类无法捕捉图像的多重视角,作者设计了多标签层级分类体系(T2I 覆盖 6 个一级大类和 42 个二级标签,编辑覆盖 12 个一级大类和 30 个二级标签),利用大模型完成自动标签标注,并通过多标签分层采样严格平衡二级标签覆盖,对文本渲染(6.45%)、逻辑推理(8.98%)和世界知识(15.83%)等长尾稀疏类别定向扩增合成提示词,最终构建出包含 31.8K 对 T2I 和 30.7K 对图像编辑的高质量偏好样本。在轨迹生成阶段,为防止教师模型的固有判断偏置成为数据质量的上限瓶颈,研究采用标签条件轨迹合成方案:在向教师模型输入图文时显式提供人类真实偏好标签,迫使教师模型围绕预先锚定的人类偏好结论去推导合理的评估维度、权重划分与分级评分标准,从而将不可导的人类偏好无损转化为结构化的全流程推理轨迹。

2. 动态准则构建与单阶段端到端推理:消除多阶段多模型级联延迟并规范原子维度 不同于现有方法使用外部多模态模型多次调用分别生成规则和判别评分的繁琐流水线,RubricRM 将意图分析、准则生成、双图逐维对比打分与加权聚合整合为单次模型推理。模型被引导先进行深层意图挖掘,依据输入内容自适应挑选 \(3 \sim 5\) 个互不重叠的原子维度(如主体保真度、光影氛围、文本拼写、局部背景保留等),并动态分配相加严格为 100% 的百分比权重。评分标准统一采用标准化的 5 档分级量表(0 分代表严重失效/存在重大逻辑伪影,1 分代表仅微弱满足且有重大瑕疵,2 分代表部分满足但缺陷明显,3 分代表良好仅有细微瑕疵,4 分代表极佳且高度一致)。这种自闭环推理设计避免了多阶段通信误差与规则格式解析断裂,使模型在单次解码中自发形成自洽严谨的判决链条。

3. 固定准则展开与维度级奖励设计:克服标量强化学习稀疏性与维度对齐难题 在 SFT 阶段后,模型虽掌握了准则的生成格式,但在细粒度候选图像间依然存在打分精度漂移。若直接采用最终的二元胜负标签作为强化学习奖励,不仅反馈信号过于稀疏,还会对“维度裁决完全相反但总分偶然蒙对”的错误推理赋予完全相同的奖励。为此,作者提出了基于固定准则的强化学习策略:在训练时冻结教师生成的标准准则 \(R_j\),强制所有 Rollout 在统一的维度与分值标准下仅生成候选图像的分析与打分 \(J_j\),实现模型打分与真实标注维度的精确一一对应。针对每个维度 \(d_i\),计算预测差值 \(\Delta_{\text{pred}}^i = s_{A,\text{pred}}^i - s_{B,\text{pred}}^i\) 与参考差值 \(\Delta_{\text{gt}}^i = s_{A,\text{gt}}^i - s_{B,\text{gt}}^i\),通过幅度因子 \(b_i = 1 - \frac{|\Delta_{\text{pred}}^i - \Delta_{\text{gt}}^i|}{2(s_{\max} - s_{\min})}\) 奖励分差精度的贴近,并引入方向惩罚因子 \(\phi_i\)(正负号完全一致为 1.0,恰有一方为零时设为 0.6,方向完全逆转时给予严厉惩罚 0.1),最终综合奖励定义为加权求和 \(R = \sum_{i=1}^N w_i b_i \phi_i\)。

4. 饱和组过滤的连续 GRPO 策略优化:抑制组内低方差噪声导致的策略漂移 GRPO 算法通过对每个输入采样 \(G\) 个候选响应(设置 \(G=8\)),并将样本奖励转化为组内相对优势 \(\hat{A}_i = \frac{R_i - \mu_R}{\sigma_R + \epsilon}\)。但在连续打分奖励机制下,当某一组内的 8 个 Rollout 给出的打分极其接近时,组内标准差 \(\sigma_R\) 会趋近于 0。此时奖励上的微小随机浮动会在归一化后被急剧放大为巨大的虚假相对优势,促使策略网络拟合无意义的数值噪声,导致训练后期出现响应长度激增、奖励均值骤降与熵崩溃。作者提出了动态饱和组过滤机制,引入方差截断阈值 \(\sigma_{\text{th}} = 0.05\):当 \(\sigma_R < \sigma_{\text{th}}\) 时直接将该组所有样本的优势值置零(\(A_i = 0\)),放弃无有效对比价值的组更新;仅当组内打分具有充分区分度时保留原始优势 \(\hat{A}_i\)。该机制从数学与工程层面保障了连续奖励强化学习在训练全周期的平稳收敛。

损失函数 / 训练策略

整个训练流水线分为两个阶段: 第一阶段为有监督微调(SFT),在过滤后的数据集 \(\mathcal{D}_{\text{SFT}}\) 上采用标准自回归负对数似然损失学习完整的生成轨迹: $\(\mathcal{L}_{\text{SFT}} = - \sum_{j} \sum_{t=1}^{T_j} \log \pi_\theta(t_{j,t} \mid x_j, t_{j,<t})\)$ 学习率设置为 \(5\times 10^{-6}\),配合余弦退火调度训练 2 个 epoch。

第二阶段为维度级奖励 GRPO 强化学习,使用与 SFT 不相交的约 15K 样本集展开优化,采用带有裁剪机制的代理目标函数: $\(\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{\tilde{x}, \{o_i\}_{i=1}^G} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( \rho_i A_i, \, \text{clip}(\rho_i, 1-\epsilon, 1+\epsilon) A_i \right) - \beta D_{\text{KL}}(\pi_\theta(o_i \mid \tilde{x}) \parallel \pi_{\text{ref}}(o_i \mid \tilde{x})) \right]\)$ 其中重要性采样比率 \(\rho_i = \frac{\pi_\theta(o_i \mid \tilde{x})}{\pi_{\theta_{\text{old}}}(o_i \mid \tilde{x})}\),优势函数 \(A_i\) 经过上述饱和组动态过滤;超参数设置学习率 \(5\times 10^{-7}\),KL 散度系数 \(\beta = 0.05\),裁剪范围 \(\epsilon = 0.2\)。训练在 8 张 NVIDIA H20 GPU 上完成。

实验关键数据

主实验

在文生图(T2I)评估基准(MMRB2、GenAI-Bench 以及经专家严格复核过滤的 GenAI-Bench-Verified)与图像编辑(Image Editing)评估基准(MMRB2、EditReward-ERB 及包含多维指标的 EditScore-ERB)上,RubricRM 分别对比了主流商业闭源模型、开源通用多模态大模型及同类专用奖励模型。

模型 MMRB2 (Gen) GenAI-Bench GenAI-Bench-Ver. MMRB2 (Edit) EditReward-ERB (Avg) EditScore-ERB (Avg)
Claude Sonnet 4.6 (闭源) 70.80 65.80 75.30 71.70 44.10 79.30
GPT-5.4 (闭源) 67.50 64.20 74.20 68.50 42.50 74.60
Gemini 3.1 Pro (闭源) 74.40 73.90 84.80 74.90 45.00 81.60
Qwen3-VL-8B 61.20 63.30 72.50 63.40 40.90 76.90
Qwen3.5-9B 66.30 63.30 70.70 64.40 37.40 72.00
Qwen3.5-397B-A17B 72.70 66.20 77.00 73.70 43.90 81.20
HPSv3 60.20 70.90 81.00 - - -
EditReward-7B - - - 67.20 38.40 78.30
UnifiedReward-Flex-8B 69.20 73.40 84.20 - - -
RubricRM-4B (Ours) 70.50 73.20 83.11 73.20 45.50 85.50
RubricRM-9B (Ours) 72.00 74.12 84.45 75.40 46.40 85.64

在图像编辑细粒度指标上(EditScore-ERB),RubricRM-Edit-9B 在指令遵循(Prompt Following, PF)、一致性保持(Consistency, C)和整体质量(Overall Quality, O)分别达到 88.60%、79.66% 和 87.70%,尤其在最难的一致性保持(C)上领先开源最强编辑奖励基准 EditReward-7B(67.20%)超过 12.4 个百分点。

消融实验

下表给出了两阶段训练流程(Base Backbone → +SFT → +RL/GRPO)在文生图与图像编辑两大核心任务中的逐级消融结果,以及与直接标签监督(Label-only SFT)的独立对比。

模型配置与阶段 T2I MMRB2 GenAI-Bench GenAI-Ver. Edit MMRB2 EditReward-ERB EditScore-ERB
Qwen3.5-4B (Base) 63.30 61.90 69.70 64.70 37.10 72.20
+ Rubric SFT 70.10 (+6.8) 72.00 (+10.1) 82.90 (+13.1) 71.50 (+6.8) 43.60 (+6.5) 83.30 (+11.1)
+ Dimension GRPO (Full) 70.50 (+0.4) 73.20 (+1.2) 83.10 (+0.2) 73.20 (+1.7) 45.50 (+1.9) 85.50 (+2.2)
Qwen3.5-9B (Base) 66.90 63.40 72.50 64.40 37.40 72.00
+ Rubric SFT 70.30 (+3.4) 73.00 (+9.6) 83.20 (+10.7) 73.80 (+9.4) 45.00 (+7.6) 85.10 (+13.1)
+ Dimension GRPO (Full) 72.00 (+1.7) 74.10 (+1.2) 84.50 (+1.2) 75.40 (+1.6) 46.40 (+1.4) 85.60 (+0.5)
Qwen3.5-9B + Label-only SFT 66.40 (-3.9) 71.10 (-1.9) 80.90 (-2.3) 69.20 (-4.6) 40.80 (-4.2) 83.90 (-1.2)

关键发现

  • SFT 承担范式习得,GRPO 专注精度校准:SFT 贡献了绝大部分精度提升(在 9B 模型上为 T2I 和编辑任务带来 9~13 个百分点的飞跃),说明教会模型结构化分解意图、构建原子维度和赋权打分是偏好判断能力的核心基石;随后的维度级 GRPO 进一步提供稳定收益(各数据集稳定提升 0.5~2.2 个百分点),专门校准打分差值幅度并消除判决方向反转。
  • 动态准则显著优于直接标签拟合:对比 Label-only SFT 可以发现,在相同骨干网络和训练数据下,省略评分准则而直接拟合 A/B 偏好标签会导致显著的性能坍塌(T2I 各基准下降 1.9~3.9 点,编辑任务下降 1.2~4.6 点),证明可解释准则不仅是判决依据,更是激发模型多模态细粒度比对推理的关键认知脚手架。
  • 饱和组过滤是连续强化学习稳定的关键:分析表明若去除低方差截断(\(\sigma_{\text{th}} = 0.05\)),GRPO 训练在后期会出现严重的熵塌缩和回复长度恶性膨胀,而动态过滤有效抹平了无意义梯度震荡。

亮点与洞察

  • 显式协议与可审计推理链:不同于输出单一标量的“黑盒”奖励模型,RubricRM 将裁决依据量化为原子维度、归一化权重和 5 级标准,使得每个偏好决策都包含可追溯的证据链条,便于开发者复盘下游对齐缺陷。
  • 训练期固定准则展开(Fixed-Rubric Rollout):在 RL 阶段巧用教师给定的准则作为上下文提示词,使多路 Rollout 输出严格遵循相同维度体系,从而化解了动态生成导致维度无法对齐的难题,实现高信噪比的维度级差值奖励。
  • 可复用的饱和组方差截断策略:针对连续值强化学习奖励在组内相对优势归一化时的分母不稳定性,提出基于奖励标准差的动态筛选门控,为多模态连续推理 RL 提供了通用的稳定性机制。

局限与展望

  • 教师模型依赖与潜在偏置继承:训练轨迹的合成依赖商业闭源大模型(Gemini 3.1 Pro),虽然通过注入人类真实标签锚定了偏好方向,但在维度颗粒度划分与权重倾斜上仍可能继承特定教师的主观偏见。
  • 静态图像局限:目前框架专注于单张图像的文本生成与单步编辑,尚未覆盖视频生成及多帧时空一致性编辑,而动态序列评测需要引入时空连贯性等全新维度。
  • 未来方向:探索无教师自主进化的准则优化机制(Self-Correction/MCTS 准则搜索)、引入人在回路(Human-in-the-loop)准则修正,以及拓展至长视频连续动作与具身智能环境交互评估。

相关工作与启发

  • vs ImageReward / HPS v2/v3 / EditReward: 传统判别式奖励模型直接拟合人类对图像的总体偏好标量,计算效率高但缺乏对复杂长指令和多属性权衡的解释能力;RubricRM 通过生成式评分准则在保证高判别精度的同时提供了完全可检验的维度级打分。
  • vs UnifiedReward-Think / UnifiedReward-Flex: 现有生成式奖励模型虽引入了自由文本推理或个性化考量,但多依赖固定预设维度且缺乏显式权重和分级量规;RubricRM 实现了原子维度、归一化权重和 0~4 档精细准则的全动态生成与单阶段闭环计算。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 提出视觉生成的动态评分准则奖励模型概念,并巧妙设计了固定准则下的细粒度维度级 GRPO 机制。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个主流文生图与编辑评测集,包含完备的消融对比、标签拟合对比、准则多样性与跨教师一致性分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严密,问题定义形式化完备,训练动机与技术实现环环相扣。
  • 价值: ⭐⭐⭐⭐⭐ 为多模态后训练对齐提供了一种兼具高判别性能与高度透明可解释性的新一代奖励模型范式。