跳转至

OmniVerifier-C1: Decomposed Graded Verifier for Rule-Governed Generative World Modeling

会议: NeurIPS 2026
arXiv: 2610.22355
代码: https://github.com/Cominclip/OmniVerifier
领域: 视频生成
关键词: 生成式视觉验证器, 细粒度分解连续评分, 解耦强化学习, 成对参考验证, 规则约束世界建模

一句话总结

提出显式分解与逐级连续评分的视觉验证器 OmniVerifier-C1，通过解耦强化学习同时优化子问题二元判断与全局对齐评分，并引入参考真值图的成对验证范式，为文生图对齐及规则约束世界模型生成提供高保真判别奖励。

研究背景与动机

多模态生成模型在视觉保真度与美学质量上取得了显著进展，但当生成任务从单纯的开域艺术创作转向遵循严苛组合指令与具身环境规则时，模型能否忠实遵循细粒度物理约束、空间拓扑以及世界推演动力学成为了关键瓶颈。视觉验证器（Visual Verifiers）作为评估生成结果与输入指令对齐程度的核心组件，不仅承担着测试基准的评估职责，还广泛作为测试期扩展（Inference-time Scaling）的过滤引导器与基于强化学习（RL）微调的生成式奖励模型（Generative Reward Models）。

然而，现存的视觉验证器绝大多数采用二元判别范式（Discrete Binary Judgment），仅输出最终的 True/False 离散判定。在离线测试期推理中，二元判断尚可充当门控开关，但在以群组相对策略优化（如 GRPO）为主的强化学习阶段，这种二元粗粒度奖励暴露出严重的局限性：它对不同质量的未完全正确样本（Partial Correctness）一视同仁地赋予负奖励，抹杀了样本组内细微但关键的质量梯度差，直接削弱了梯度更新的优势排序；同时，极度压缩的 0/1 标量结果促使验证器倾向于拟合表面视觉捷径（Shortcut Learning），陷入奖励黑客（Reward Hacking），无法真正理解物体、属性与空间交互的精细组合逻辑。

为解决这些瓶颈，需要一种能细粒度解构复杂环境规则并给出连续评分的判别机制。核心 idea：将复杂文本指令或环境状态规则显式分解为一系列细粒度子问题进行局部二元判断，由子规则达成率自底向上合成全局连续评分，并通过解耦强化学习与成对参考验证范式，彻底消除目标隐式推断的认知误差，为世界模型强化学习构建精准保序的判别奖励。

方法详解

整体框架

OmniVerifier-C1 建立了一套面向规则约束生成世界模型的两阶段训练与评判闭环。在验证器构建阶段，系统首先利用高阶多模态模型提炼结构化分解先验，并利用解耦强化学习（Decoupled RL）在子问题二元判定与全局连续评分之间建立跨层次的联合优化；在指导生成模型优化阶段，系统针对传统文生图与规则世界模拟任务设计了点对点（Pointwise）与成对（Pairwise）判别接口，消除世界推理中的目标状态推断噪声。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 / 环境状态与规则"] --> B["规则显式细粒度分解<br/>提炼 K 个原子子命题"]
    B --> C["解耦强化学习联合优化<br/>局部 0/1 判定与全局连续对齐评分"]
    C --> D{"任务场景分类"}
    D -->|文生图对齐| E["逐点评分奖励驱动<br/>聚合子问题达成比例赋分"]
    D -->|规则约束世界建模| F["成对参考真值图验证<br/>直接比对生成态与真值态消除推断误差"]
    E --> G["DiffusionNFT 扩散策略优化"]
    F --> G

关键设计

1. 规则显式细粒度分解与保序连续奖励：消除二元奖励造成的质量折叠

针对传统二元判别将部分正确样本全部坍缩为 0 奖励、无法支持组内相对强化学习优势计算的缺陷，OmniVerifier-C1 引入无损解构机制。假设输入提示词或规则 \(c\) 被分解为 \(K\) 个互不重叠的原子子问题 \(\mathcal{Q}=\{q_1, q_2, \dots, q_K\}\)，视觉生成样本 \(x\) 实际满足的子命题数量为 \(z(x) \in \{0, 1, \dots, K\}\)。系统定义连续评分奖励 \(r_c(x)\) 与离散二元奖励 \(r_d(x)\)：

\[r_c(x) = \frac{z(x)}{K}, \quad r_d(x) = \mathbf{1}[z(x) = K]\]

在强化学习（如 GRPO）的分组归一化优势计算中，更新权重的相对排序完全取决于奖励值的单调性。理论证明表明，对于任意两个真实质量不同的生成样本 \(z(x) \neq z(x')\)，连续奖励保持严格单调性，其排位精度（Ranking Accuracy）恒等于 1：

\[\mathrm{Acc}_{\mathrm{rank}}(r_c) := \mathbb{P}\Big((r_c(x) - r_c(x'))(z(x) - z(x')) > 0 \;\Big|\; z(x) \neq z(x')\Big) = 1\]

而离散二元奖励的排位精度满足 \(\mathrm{Acc}_{\mathrm{rank}}(r_d) = \frac{2q_K(1-q_K)}{1-\sum_{k=0}^K q_k^2} \leq 1\)（其中 \(q_k = \mathbb{P}(z(x)=k)\)）。只要生成候选集中存在两种不同级别的未完全正确样本（\(0 \leq k_1 \neq k_2 < K\)），二元奖励就会引发两者的排位信息坍缩（差值为 0），造成无法提供有效梯度。连续分解评分确保每个微小进步都能转化为优势权重差，极大稳定了策略梯度的更新方向。

2. 解耦强化学习联合优化机制：建立局部原子判别与全局评分的互锁

单纯依靠连续得分进行端到端优化极易促使多模态验证器学会数字幻觉，而单纯训练子问题又缺乏整体宏观认知。OmniVerifier-C1 提出解耦强化学习策略（Decoupled RL）。对于给定的图像与提示词样本对，系统将其衍生为 \(K+1\) 个并行强化学习样本：其中 1 个样本专注于全局连续对齐评分预测，剩余 \(K\) 个样本独立负责单个子问题的精确二元判别。

全局连续评分样本要求验证器输出预测得分 \(\hat{S} \in [0, 1]\)，其对应的标量奖励根据预测与真值差距确定为 \(\mathcal{R}_{\mathrm{score}} = 1 - |\hat{S} - S^*|\)；每个子问题二元判断样本则要求模型判断第 \(k\) 个命题的二值满足情况 \(\hat{A}_k \in \{0, 1\}\)，奖励采用严格匹配指示函数 \(\mathcal{R}_{\mathrm{judgment}} = \mathbf{1}[\hat{A}_k = A_k^*]\)。通过利用 DAPO 算法在大规模 GPU 集群上交替混训，局部子任务的确定性 0/1 梯度筑牢了感知细节与视觉逻辑根基，使全局预测打分具备坚实的因果支撑，有效遏制了奖励黑客现象。

3. 成对参考真值图验证范式：解耦推理误差与判别误差

在规则约束的世界模拟任务中（如数独解算、迷宫求解、几何辅助线构造），未来状态具有唯一合法的真值参考图像 \(y^*\)。传统的逐点式（Pointwise）验证要求验证器接收 \((x, c, y)\) 并自主在思维链中推断隐式目标状态 \(z_k = \mathcal{T}(q_k, x, c)\)，导致总偏差复合了推理误差与判别误差：\(\epsilon_{\mathrm{point}} = \epsilon_{\mathrm{reasoning}} + \epsilon_{\mathrm{judge}}\)。在复杂长程规划任务中，验证器本身的推理失误会引入严重的噪声奖励。

OmniVerifier-C1 提出显式输入真值图 \(y^*\) 的成对（Pairwise）验证范式，将验证器输入转为四元组 \((x, c, y, y^*)\)。评分形式简化为：

\[S_{\mathrm{pair}} = \frac{1}{K}\sum_{k=1}^K \mathcal{J}(q_k, y, y^*)\]

该设计将复杂的“先内部推演再判断”任务彻底降解为“基于标准参考图的差异比对”，直接消除 \(\epsilon_{\mathrm{reasoning}}\)，使总误差收敛为纯粹的判别误差 \(\epsilon_{\mathrm{pair}} = \epsilon_{\mathrm{judge}}\)。这种成倍提升信噪比的奖励反馈为世界建模生成器的 Diffusion Transformer（DiT）提供了高质量策略监督。

损失函数 / 训练策略

验证器主干基于 Qwen3-VL-8B 构建，先通过蒸馏自 Seed1.8 的高质量结构化分解数据进行有监督微调（SFT），并借助 GPT-5 执行 Bo10 精度筛选以剔除低质样本；随后在 16 块 A800 GPU 上利用 DAPO 执行 Decoupled RL（训练 80 steps）。在生成模型策略优化阶段，采用 DiffusionNFT 算法更新 DiT 参数（迭代 200 steps），文本编码器（Text Encoder）始终保持冻结，驱动 DiT 参数原生学习环境空间与规则推演能力。

实验关键数据

主实验

论文在 ViVerBench 多模态评测基准、传统文生图基准 GenEval / CLIPScore，以及 6 类规则约束世界建模任务（迷宫 Maze、数独 Sudoku、辅助线绘制 Aux. Line、序列预测 Sequence、单词搜索 Word Search、3D 正交投影 3D Proj）上进行了系统评测。

在 ViVerBench 综合评测中，OmniVerifier-C1 展现出跨领域的泛化能力：

模型方案 概念存在 (Obj / Attr) 空间关系 (Spat) 状态价值 (Maze / F.Lake) STEM (Chart / LaTeX) 综合均分 (Overall)
Qwen3-VL-8B (Base) 0.710 / 0.690 0.642 0.489 / 0.420 0.540 / 0.773 0.654
+ SFT(Binary) + RL(Binary) 0.735 / 0.721 0.719 0.532 / 0.446 0.553 / 0.814 0.672
+ SFT(Graded) 0.724 / 0.709 0.679 0.543 / 0.427 0.656 / 0.830 0.659
OmniVerifier-C1 (+ SFT+RL Graded) 0.758 / 0.735 0.736 0.559 / 0.466 0.567 / 0.839 0.684

在规则世界建模图像转换任务（Qwen-Image-Edit-2509 生成基座）中，成对参考验证与逐点验证的对比极为显著：

任务配置 Qwen-Image-Edit 基座 + SFT + SFT + RL (Pointwise) + SFT + RL (Pairwise) 相对提升 (Pairwise vs Pointwise)
Maze (Normal / Hard) 17.31 / 8.73 56.77 / 18.96 67.81 / 34.78 85.31 / 51.92 +17.50 / +17.14
Sudoku (Normal / Hard) 22.21 / 5.62 63.62 / 29.99 77.74 / 50.71 89.97 / 62.99 +12.23 / +12.28
Aux. Line (Normal / Hard) 16.79 / 7.32 57.62 / 26.84 66.98 / 37.49 76.19 / 46.12 +9.21 / +8.63
Sequence Pred. (Normal / Hard) 9.18 / 4.33 46.53 / 27.96 61.27 / 34.18 73.48 / 63.64 +12.21 / +29.46
Word Search (Normal / Hard) 6.28 / 2.46 37.36 / 17.29 50.92 / 26.94 62.18 / 34.27 +11.26 / +7.33
3D Projection (Normal / Hard) 3.86 / 1.71 42.94 / 23.37 52.19 / 33.16 69.28 / 47.51 +17.09 / +14.35

在传统文生图（FLUX.1-dev 生成基座）评测中，本文方法同样表现优异：GenEval 综合得分由基座 0.68 和二元奖励 RL 的 0.70 提升至 0.79（其中属性绑定从 0.58 跃升至 0.71），CLIPScore 达到 34.5。

消融实验

论文针对子问题层面的二元判别准确率以及分解粒度（子问题数量）进行了深度消融：

验证器配置 GPT-5.5 标注匹配率 (%) Gemini-3.1-Pro 标注匹配率 (%) 人工标注匹配率 (%) 子问题粒度设置 平均对齐误差 (MAE ↓)
Qwen3-VL-8B (Base) 68.5 69.5 67.0 \(K \leq 10\) 0.083
+ SFT(Graded) 76.0 76.5 74.5 \(11 \leq K \leq 20\) 0.039
+ SFT(Graded) + RL(Graded) 94.5 96.0 94.0 \(21 \leq K \leq 30\) 0.072

关键发现

  • 解耦强化学透细粒度子问题：消融显示单纯 SFT 后子问题判别准确率仅约 75%，而加入解耦 RL 后飞跃至 94% 以上，验证了子问题级别的 0/1 奖惩是建立可靠全局连续打分的地基。
  • 分解粒度过犹不及：子问题数量在 11–20 之间取得最优对齐误差（0.039）；过多分解（21–30）会导致幻觉生成无关约束（如询问“苹果是否是水果”），破坏了客观评估权重。
  • 纯 DiT 具备世界规则内化潜力：在整个 RL 微调过程中文本编码器全程冻结，依然能够在数独、迷宫及空间投影任务上获得 40%–60% 的绝对胜率提升，证明视觉扩散模型主干原生具备承载与执行严密推理的能力。

亮点与洞察

  • 数学证明保序性优势：严谨论证了连续分解奖励的组内排序准确率恒为 1，从理论机理上澄清了二元判别奖励引发优化震荡的数学根源。
  • 成对验证彻底剥离推断噪声：敏锐抓住规则世界模型具有基准真值图的物理特性，提出双图成对对比范式，将原本脆弱的“先推理再判定”收敛为确定性的“参考对比”。
  • 解耦多任务采样范式：巧妙将每个 Prompt 拆分为 \(K\) 个原子样本与 1 个宏观样本并行馈入 RL，实现了极高样本效率的细粒度感知校准。

局限与展望

  • 依赖封闭确定性规则与唯一真值：成对验证范式依赖初始状态与规则能唯一确定真值图像，在现实世界开放物理交互（如随机天气碰撞）中难以泛化。
  • 计算与推理开销增加：成对验证需要两张图及多轮子问题判定，测试期评判开销显著高于单一二元打分。
  • 未来方向：探索多重合法终态条件下的弱监督成对对比机制，并将该架构推向三维物理引擎与自动驾驶模拟器。

相关工作与启发

  • vs OmniVerifier / OmniVerifier-M1: 原版 OmniVerifier 开创了生成式通用验证器体系，OmniVerifier-M1 引入了空间标定框与线条约束，但两者最终依然采用离散二元 True/False 判决；本文 OmniVerifier-C1 彻底转向分解连续评分与成对比较。
  • vs UnifiedReward / ImageReward: 传统连续奖励模型通过单标量回归拟合偏好，缺乏解释性且易受跨域分布偏移影响；本文基于显式子问题分解自底向上汇总分数，具备极佳的可解释性与泛化能力。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向生成式世界建模的分解逐级评分与成对参考验证范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个游戏化世界建模任务、两大经典图文基准与细粒度人工标注审计。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨，动机链条明晰，图表详实自洽。
  • 价值: ⭐⭐⭐⭐⭐ 为多模态扩散模型从“开域绘画”向“严密世界模拟智能体”的进化指明了奖励模型的设计路线。

相关论文