Omni-RRM: Advancing Omni Reward Modeling via Automatic Rubric-Grounded Preference Synthesis¶

会议: ECCV2026
论文: ECCV 官方页面 · 论文 PDF
领域: 对齐/RLHF；多模态 VLM
关键词: 全模态奖励模型、评分准则、偏好合成、双教师共识、GRPO

一句话总结¶

Omni-RRM 先用双教师共识合成带五维评分准则解释的偏好数据，再以 SFT→GRPO 学习跨图像、视频和音频的成对回答判别，使 7B 奖励模型的五基准平均准确率由骨干的 60.2% 提升到 70.4%，并能在不更新生成器参数的情况下改善候选回答选择。

研究背景与动机¶

多模态模型会回答问题，并不等于它能判断两个答案谁更值得信任。图像回答可能认错属性，视频回答可能颠倒事件顺序，音频回答可能与实际声音不符；这些错误往往藏在流畅的叙述中。奖励模型需要识别这些差别，才能为后训练或推理时重排序提供有意义的信号。然而，已有奖励数据与模型偏重视觉，而把复杂比较压成一个分数，又会丢失究竟错在事实、推理还是指令遵循上的信息。

自由形式的思维链或评论能提供更多文本，却不保证每次都检查相同维度，也不保证图像、视频与音频使用可比较的评价接口。另一端，依赖人工逐维标注会使稀缺模态的数据扩展成本更高。本文要解决的不是再训练一个更大的多模态生成器，而是把“如何生产可靠偏好”和“如何训练有据可查的评判者”连接起来：候选回答需要有质量差异，但不能简单认定强模型永远正确；解释需要结构约束，但不能只作为输出模板出现。

作者因此采用固定的五维 rubric（评分准则），让异构教师在胜负、分数与理由之间取得一致，再让同一准则贯穿监督微调和强化学习。核心 idea：把偏好监督从孤立的胜负标签变成可逐维检查的比较记录，并用这套结构同时约束数据合成与奖励模型优化。

方法详解¶

整体框架¶

Omni-RRM 的输入是多模态上下文与两个候选文本回答，输出是结构化比较记录，而不是只输出一个标量。记录包含两个 0–10 分的总评分、A/B/E 三类偏好标签、五个维度的比较理由，以及用于稳健解析的重复裁决字段；E 表示平局。这里的“全模态”指模型能够处理文本、图像、视频和音频条件，本文合成训练数据的统计则覆盖图像、视频和音频三类。

训练数据先经过能力差候选配对，再由双教师进行五维共识标注，得到 Omni-Preference；随后以渐进式准则训练得到 Omni-RRM。部署时不再调用数据合成教师，而是让训练好的奖励模型直接比较新候选，也可以把多次比较串成 Best-of-N 选择。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像、视频、音频<br/>及用户问题"] --> B["能力差候选配对"]
    B --> C["双教师五维共识"]
    C -->|训练监督：偏好与理由| D["渐进式准则训练<br/>SFT → GRPO"]
    D --> E["Omni-RRM"]
    F["推理：新上下文<br/>与两个候选回答"] --> E
    E --> G["结构化比较记录<br/>或 Best-of-N 胜者"]

关键设计¶

1. 能力差候选配对：用生成能力差异增加可辨别的回答差异

如果从同一个模型反复采样，两个回答可能同样正确或同样含糊，教师容易判平局，固定标注预算下能留下的明确偏好就少。作者改为对同一上下文调用强、弱生成器配对：图像使用 Qwen2.5-VL-7B，对照 Qwen2.5-VL-3B 或 LLaVA-1.5-7B；视频使用 Qwen2.5-VL-7B 与 3B；音频则使用 R1-AQA-7B、Qwen2.5-Omni-7B 与较弱音频模型的组合。这样做只负责拓宽质量差异，不把模型大小当作真值：强模型也可能回答错误，最终胜负交给下一阶段决定。

数据来源分别是图像 RLAIF-V，视频 ActivityNet、Charades、Ego4D、NextQA、YouCook2，以及音频 Clotho-AQA。原文表 1 给出最终 41.0k 对样本，其中图像 17.0k、视频 12.2k、音频 11.8k。需要区分“自动生成偏好注释”和“所有原始资源都不依赖人工”：流水线复用已有数据来源，因此自动化贡献主要在候选生成、偏好筛选与结构化理由监督上。

2. 双教师五维共识：让胜负、分数和具体证据相互约束

GPT-4o-mini 与 Gemini-2.0-Flash 分别为同一候选对输出评分、偏好标签及五维理由。只有两者给出相同的非平局裁决，而且各自的分数排序和理由与裁决一致，样本才保留。这比“强模型答案直接作为 chosen”更能处理质量反转，也比只要求两个教师同意一个字母提供更多可审查信息。不过，共识只是筛选机制，并不是无偏真值；两个教师共享的判断盲区仍可能进入数据。

五维准则是流畅性与连贯性、相关性、准确性与完整性、推理质量、安全与伦理对齐。接口固定，证据却随模态改变：图像检查物体属性、空间关系和 OCR 细节，视频进一步检查时间顺序与事件一致性，音频检查声音事件、语音内容及其与回答是否吻合。因此，它不是让所有模态使用完全相同的观察证据，而是让不同证据落入同一组评价问题。每维输出比较理由，但两个数值分数是回答总分，不应误读成五组独立的维度数值评分。

作者以协调后的两个总分之差定义难度：

\[ \Delta = |s_A - s_B|, \qquad \Delta < 2 \Rightarrow \mathrm{Hard}. \]

小分差意味着两个回答质量接近，判别更容易受标注噪声影响。本文强调在这一边界上改善奖励模型，但不能由此推断它只用 Hard 样本训练；正文未给出足以确认的独立困难样本重采样比例。

3. 渐进式准则训练：先学会合规评判，再强化细微差别的辨识

第一阶段用结构化教师记录做 SFT，使模型学会按统一接口生成比较理由和裁决；第二阶段用 GRPO 对同一输入采样多份完整评判，比较它们获得的奖励，再更新奖励模型自身。这里被强化学习优化的是“评判者如何判断两个答案”，不是下游回答生成器。先 SFT 的作用是建立稳定输出格式，避免 RL 的探索预算主要消耗在修复 JSON 或遗漏字段上。

GRPO 使用三类奖励信号：格式项检查严格 JSON/schema 与必要字段；偏好项检查胜负是否正确、分数排序是否与裁决一致；rubric 项通过理由一致性启发式与一致性检查鼓励有内容的逐维解释。例如判 A 胜时 A 的分数应更高，判平局时两者分数应相同。输出解释因此不仅是展示层文字，还参与训练约束；但启发式奖励并不能单独证明理由真实反映了模型内部决策，这一点应与“更易审查”区分。

一个完整示例¶

下面是按论文机制构造的教学示例，不是原文实验样本。假设视频中人物先打开盒子，再取出杯子；候选 A 如实描述，候选 B 则把动作顺序写反。两个回答都流畅、都回应了问题，差别主要应落在准确性与推理质量，而不是让较长的答案天然获胜。

候选生成阶段不论 A 来自强模型还是弱模型，都将二者交给教师。假设两位教师均判 A 胜，评分排序与理由也一致，其中协调后的总分为 A=8、B=7，则这对样本可以保留，且分差为 1，属于 Hard；若任一教师判平局或两者胜负不一致，就不会进入保留集合。具体分数如何在教师间协调需要补充材料，不能把此示例当作作者的聚合算法。

SFT 学习这份完整评判，GRPO 再比较同一输入下多次生成的评判是否同时满足格式、正确胜负和理由要求。部署时，模型直接接收新视频与候选，不需要再次查询两位教师。若有 10 个候选，论文采用固定对阵顺序的单淘汰赛，经 9 次成对比较选出一个回答，而不是把成对总分直接当作可跨上下文比较的绝对质量分。

损失函数 / 训练策略¶

SFT 使用标准自回归负对数似然训练结构化目标序列，并采用 LoRA 降低微调成本。GRPO 对组内奖励做归一化以计算相对优势，使用裁剪的策略梯度目标，并通过相对 SFT 参考策略的 KL 惩罚约束更新。骨干为 Qwen2.5-Omni-3B/7B，主结果分别给出只做 SFT 与 SFT+RL 的模型。

本地全文中式 (2)、式 (3) 的 PDF 文本抽取已损坏，因此这里依据完整文字说明解释目标，不猜补成作者精确公式。正文将 GRPO 完整更新式、奖励规则及权重放在补充材料 A.1，将合成、训练和评测预算放在 A.2；所提供缓存不包含这些补充材料，无法据此核实学习率、LoRA 秩、组大小、GPU 时长或具体奖励权重。

实验关键数据¶

主实验¶

表中是原文表 2 的偏好准确率（%，越高越好），衡量裁决与基准偏好标签的一致程度，不是回答生成准确率。VL-Reward 使用 Reasoning 划分；ShareGPT-Video 是从 DPO 数据中筛出人类评分差较大的测试对。Audio-HH 把 HH-RLHF 的提示转成语音，保留原有回答与人类偏好；TA2T 是外部音频条件基准，主表包含平局样本，因此不能把它完全按二分类口径理解。

模型	VL-Reward	MM-RewardBench	ShareGPT-Video	Audio-HH	TA2T（含平局）	五基准 Overall
Qwen2.5-Omni-7B	57.8	57.5	66.3	62.4	56.9	60.2
Omni-RewardModel-BT	60.4	58.4	63.7	61.3	60.5	60.9
Gemini-2.0-Flash	73.4	62.8	74.6	60.1	59.9	66.2
Gemini-2.5-Pro	79.6	63.3	78.8	66.5	64.9	70.6
Omni-RRM-7B，SFT	60.4	61.0	70.5	62.8	58.5	62.6
Omni-RRM-7B，SFT+RL	67.1	72.9	80.2	66.8	65.0	70.4

Overall 是五列的非加权均值。完整 7B 模型相对同骨干提升 10.2 个百分点，原文报告相对增益为 17.0%；相对 SFT-only 则提高 7.8 个百分点。与 Gemini-2.5-Pro 的平均差距为 0.2 个百分点，但 VL-Reward 仍落后 12.5 个百分点，不能概括为所有模态或所有子任务均领先。

消融实验¶

下表来自原文表 3，固定为 7B，并在相同 SFT+RL 预算下比较理由监督与 rubric 奖励。这里不包含 TA2T，Overall 是四基准平均值，不能与上表的 70.4 直接相减。

配置	VL-Reward	MM-RewardBench	ShareGPT-Video	Audio-HH	四基准 Overall
去掉五维理由监督	64.0	60.6	68.7	64.3	64.4
GRPO 去掉 rubric 奖励项	65.2	66.6	75.4	65.0	68.1
完整模型	67.1	72.9	80.2	66.8	71.8

完整模型比无理由版本高 7.4 个百分点，比无 rubric RL 高 3.7 个百分点。前者说明训练中保留结构化理由有价值，后者说明仅学会输出理由还不够，RL 阶段的相关约束也有贡献；消融并未证明任意生成的解释都是忠实解释。

关键发现¶

视频上的 GRPO 收益明显：7B 从 SFT 的 70.5% 提升到 80.2%，增加 9.7 个百分点；这比只说明输出格式学会了更有实质意义。
原文 §4.4 固定 Qwen2.5-Omni-7B 为生成器，在 N=10 时，Omni-RRM 的 Best-of-N 相对多数投票使 MMMU 从 54.5% 到 56.4%、Video-MME 从 52.4% 到 54.1%、AVQA 音频单模态设置从 77.7% 到 80.3%。这些是下游问答准确率，且额外付出 9 次奖励模型比较，不能视作同计算量收益。
原文 §4.5 在相同 3B 骨干、SFT+GRPO 超参数及总更新/样本预算下改变模态组成，联合训练的 Audio-HH 为 65.1%，仅音频训练为 63.8%。这支持本设置下的跨模态帮助，但不足以证明任意数据混合都不会出现负迁移。

亮点与洞察¶

把候选多样性与偏好真值分开：能力差负责制造有差别的答案，教师共识负责决定谁更好。这个拆分避免把“来源更强”直接编码为正确答案。
同一 rubric 贯穿标注、SFT 和 RL，使逐维解释不只是部署时的提示词。四基准消融也分别检验了理由监督和 rubric 奖励，而非只报告总体增益。
统一准则不等于抹平模态差异。将“准确性”具体化为视觉定位、时间一致性或声音证据，是迁移这一方法时最值得保留的设计。

局限与展望¶

作者明确指出 Audio-HH 是 TTS 构造的受控代理，不覆盖真实噪声与说话人变化。加入 TA2T 缓解单一测试来源问题，但不替代真实场景音频鲁棒性评估。
作者承认结构化理由增加奖励模型解码延迟；详细时延与预算在未提供的补充材料中。本缓存不足以判断单位成本收益，也不足以复现奖励启发式的具体实现。
笔记判断：严格共识且排除平局会丢掉教师分歧最强的样本，训练分布可能偏向双方易达成一致的偏好。应进一步检查分歧样本保留策略，以及训练排除平局与 TA2T 含平局评测之间的校准问题。
笔记判断：理由可读不等于因果忠实，固定五维也可能遗漏任务特定要求。可用答案顺序交换、无关措辞扰动和证据遮蔽测试，检查模型是否真正依赖它所声称的判断依据。

评分¶

新颖性: 4/5。主要贡献在准则化数据、全模态评判与训练目标的一体化，而非单独发明 SFT 或 GRPO。
实验充分度: 4/5。覆盖多模态偏好、匹配预算消融和下游选择，但当前可读正文缺少完整成本与奖励实现细节。
写作质量: 4/5。总体流程明确，需注意主表与消融均值范围不同，以及关键细节对补充材料的依赖。
价值: 4/5。为可审查的跨模态奖励模型提供了可借鉴方案，真实部署仍需评估延迟、教师偏差与解释忠实性。