GR-GRPO: Graph-Diffused Credit for Autoregressive Image RL Alignment¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/vivoCameraResearch/GR-GRPO
领域: 图像生成 / 对齐RLHF / 多模态VLM
关键词: 自回归图像生成 / 强化学习对齐 / GRPO / 向量量化码本 / 图扩散信用分配

一句话总结¶

针对基于向量量化（VQ）的自回归图像生成在强化学习对齐中采样开销巨大、小分组（small-$G$）GRPO 存在单点信用稀疏的问题，GR-GRPO 利用码本离散空间的局部可替换性，在预计算的码本 K-NN 图上扩散成功轨迹的正向证据构建平滑软目标，以近乎零额外开销实现密集化监督，在 Janus-Pro-1B 上以约 $4.6\times$ 更少的采样耗时超越 $G=64$ 的大分组 GRPO 表现。

研究背景与动机¶

自回归（Autoregressive, AR）模型凭借 Decoder-only Transformer 架构与 Next-token 预测范式，在视觉生成与多模态统一建模中展现出强大的可扩展性。为了使自回归生成器更好地契合人类偏好或遵循复杂的指令约束，基于群体相对策略优化（GRPO）的强化学习对齐技术已被广泛引入。然而，图像生成面临极其高昂的 Rollout 采样开销：生成单张图像动辄依赖成百上千个视觉 token 的自回归串行解码，导致在线强化学习的训练耗时几乎完全被轨迹采样所统治。虽然传统 GRPO 通过扩大单 Prompt 采样组规模（例如增大 $G$）能够显著拓宽轨迹探索并稳定组内相对信用估计，但计算开销随 $G$ 呈线性倍增，使得大规模组采样在计算资源受限下难以维系。

这一计算瓶颈在离散向量量化（VQ）表征下被进一步急剧放大。在 VQ 码本中，嵌入空间距离邻近的 Code ID 往往对应解码后视觉与语义高度相似的内容，在 token 级别展现出强烈的「局部可替换性」。然而，标准 GRPO 的 Softmax 策略梯度本质上是一种 ID 专属的单点更新机制：在获得正向回报的成功轨迹中，梯度仅显式奖励被实际采样命中的极少数特定 Code ID，而将该位置所有未被采样的候选 ID（即使它们在码本语义空间中极其邻近且能生成同样合格的图像）一概按当前概率压低。在小 $G$ 采样下，这种机制导致成功样本所支持的候选解覆盖度（SuccessSetMass）严重不足，策略被过早局限在少数狭窄的采样路径上，造成探索效率低下与性能瓶颈。

作者通过 token 替换扰动实验证实：将成功序列中的 token 替换为码本 K-NN 邻居，其验证器通过率与 CLIP 语义一致性远高于随机替换，证明正向信用完全有理由在局部码本流形内共享。核心 idea：充分利用 VQ 码本预先固化的局部几何拓扑，将成功 Rollout 中的正向击中证据在离散码本 K-NN 图上扩散为平滑的密集软目标，并通过置信度自适应门控与辅助交叉熵损失进行策略正则化，在完全不增加采样 Rollout 开销的前提下大幅扩展成功支撑集覆盖度。

方法详解¶

整体框架¶

GR-GRPO 的整体架构围绕「以图扩散扩展信用覆盖、以极低开销逼近大分组收益」展开。模型首先对输入 Prompt 进行难度感知预算评估，动态分配采样组大小 $G(p)$；接着自回归策略根据 Prompt 采样 $G$ 条 token 序列并解码为图像，由离散验证器或连续奖励模型评判得到轨迹优势值；对于正向轨迹，算法在每个解码步收集命中的 Token 出现计数，并在离散码本嵌入空间的固定 K-NN 图上将正向证据扩散至邻近 Code ID；随后在稀疏局部支撑集上完成归一化构建软目标分布，并依据当前策略预测 logits 的 top-1/top-2 置信度边际动态门控扩散强度，最终通过辅助交叉熵正则化损失与主 GRPO 损失联合反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文本提示词 Prompt"] --> B["难度感知预算调度<br/>评估初始难度分配 G(p)"]
    B --> C["自回归生成与环境采样<br/>解码 G 条视觉序列并计算优势"]
    C --> D["正向证据聚合与码本 K-NN 图扩散<br/>筛选正样本在局部余弦图扩散计数"]
    D --> E["支撑集限制归一化与软目标构建<br/>局部稀疏候选集 Ut 归一化生成 qt"]
    E --> F["置信度自适应门控匹配<br/>基于 logit margin 调节辅助交叉熵 L_GR"]
    F --> G["联合优化策略更新<br/>L_GRPO + KL 惩罚 + L_GR"]

关键设计¶

1. 正向证据聚合与码本 K-NN 图扩散：打破单点信用孤岛
传统 GRPO 针对单个被采样命中的 token 赋予孤立的正向脉冲，忽略了 VQ 码本在流形空间中的语义冗余。为从稀疏采样中提取更鲁棒的结构化监督，本设计首先筛选出组内的正向轨迹集合 $\mathcal{P}$（对于离散验证器，$\mathcal{P}=\{j \mid R^{(j)}=1\}$；对于连续奖励，取组内 reward 排名前 50% 的轨迹）。在每个自回归生成步 $t$，统计正向轨迹在码本各 ID $i \in \{1,\dots,V\}$ 上的离散击中频次 $c_t(i) = \sum_{j \in \mathcal{P}} \mathbb{I}[x_t^{(j)} = i]$。预先在归一化码本嵌入空间按余弦相似度构建无自环的 $K$-近邻图 $\mathcal{N}(i)$，邻居转移权重由 Softmax 归一化余弦相似度给出： $$a_{ij} = \frac{\exp(\mathrm{cos}(\bar{e}_i, \bar{e}_j))}{\sum_{\ell \in \mathcal{N}(i)} \exp(\mathrm{cos}(\bar{e}_i, \bar{e}_\ell))}, \quad j \in \mathcal{N}(i)$$ 正向离散计数 $c_t$ 顺着图拓扑向邻居单步扩散，得到扩散伪计数 $\tilde{c}_t(j) = \sum_{i: c_t(i)>0} c_t(i) a_{ij} \mathbb{I}[j \in \mathcal{N}(i)]$。值得注意的是，该扩散严格限定仅在正向证据上执行：负样本失败模式具有高度异质性，其 token 往往分散在码本各处，对负样本执行扩散会污染无辜的正常语义邻域，导致性能显著下降。

2. 支撑集限制归一化与软目标匹配：集合级正向概率注入
若在整个词表大小 $V$ 上进行全局概率稠密化，不仅计算与显存开销显著上升，更会不可避免地在异质前缀上下文之间引发过度平滑问题。因此，本设计定义严格受限的局部稀疏支撑集 $U_t = \{i \mid c_t(i) > 0\} \cup \mathcal{N}(\{i \mid c_t(i) > 0\})$，即仅包含被实际采样的成功 token 及其直接 $K$ 近邻。在支撑集 $U_t$ 内部计算未归一化的质量分布： $$\hat{q}_t(i) = c_t(i) + \alpha_s \tilde{c}_t(i), \quad i \in U_t$$ 其中 $\alpha_s \in [0, 1]$ 控制向邻域分配的质量比例。经过局部归一化 $q_t(i) = \hat{q}_t(i) / \sum_{j \in U_t} \hat{q}_t(j)$ 后，得到紧致的软目标分布 $q_t$。在梯度视角下，传统 GRPO 在步骤 $t$ 对 logit $z_t(i)$ 施加的无裁剪梯度正比于 $A^{(j)}(\mathbb{I}[i=x_t^{(j)}] - \pi_\theta(i))$；而引入辅助交叉熵后，软目标梯度的驱动方向转变为正比于 $(q_t(i) - \pi_\theta(i))$。这一转变将原本仅针对单一离散 ID 的牵引力，升级为沿着局部码本几何流形对所有潜在有效替代候选的集合级牵引，从理论上补足了小分组下的信用覆盖短板。

3. 置信度自适应门控机制：平衡邻域泛化与过度平滑
在自回归生成轨迹中，不同 token 位置的模型确定性存在巨大差异：某些基础背景或强上下文依赖位置已被策略高度确定，而某些关键属性或多分支构图位置则存在多个势均力敌的合理选项。若对所有位置施加均匀强度的图扩散正则，可能在模型本已做出正确且坚决决策的位置强行分散概率质量，破坏细粒度属性绑定的准确性。为此，设计引入基于当前 logit margin 的自适应门控。对于前缀 $(x_{<t}^{(j)}, p)$，提取模型预测 logits 的 top-1 与 top-2 差值 $m_t^{(j)} = z_{t,(1)}^{(j)} - z_{t,(2)}^{(j)}$，并通过平滑 Sigmoid 函数计算门控系数： $$g_t^{(j)} = \sigma\left(\frac{\beta - m_t^{(j)}}{\tau}\right)$$ 当边际 $m_t$ 较小时，表明当前分布较为平坦、模型对离散采样存在犹豫，单次硬采样击中的偶然性极高，门控 $g_t \to 1$ 激发强图扩散监督以稳定探索；当边际 $m_t$ 极大时，表明模型已经形成稳定的主导性优质选择，门控 $g_t \to 0$ 自动抑制扩散以防过度平滑。在反向传播中对 $g_t$ 实施截断梯度（stop-gradient），使其纯粹充当自适应重加权标量。

4. 难度感知采样预算动态调度：正交互补的 Rollout 效能最大化
除对单条正向轨迹进行信用稠密化外，不同 Prompt 在 RL 探索中的需求也是非均质的：简单提示词仅需极少采样即可命中正样本，而高难度组合式提示词若沿用固定小 $G$ 则可能整组均无正样本从而导致无法计算图正则。本设计引入离线提示词难度打分，利用初始模型对提示词集进行探索成功率分桶，对困难 Prompt 动态分配较大的组采样数 $G(p)$，对简单 Prompt 则降低采样数保持总体预算中立。该策略与图扩散信用机制正交，为图正则化提供了更稳定的正向种子轨迹来源。

损失函数 / 训练策略¶

GR-GRPO 的总优化目标联合了主 GRPO 裁剪目标、KL 散度约束项以及辅助图正则化交叉熵损失： $$\mathcal{L}(\theta) = \mathcal{L}_{\text{GRPO}}(\theta) + \lambda_{\text{KL}}\mathcal{L}_{\text{KL}}(\theta) + \lambda_{\text{GR}}\mathcal{L}_{\text{GR}}(\theta)$$ 其中辅助图正则化损失仅在正样本轨迹前缀上由门控调节计算： $$\mathcal{L}_{\text{GR}}(\theta) = -\frac{1}{G}\sum_{j \in \mathcal{P}}\sum_{t=1}^{T} g_t^{(j)} \sum_{i \in U_t} q_t(i) \log \pi_\theta(i \mid x_{<t}^{(j)}, p)$$ 训练采用 8 卡 NVIDIA H20 GPU 平台，在 50K GenEval 训练集（离散验证器）和 15K HPSv2 数据集（连续 HPSv2.1 奖励）上微调 1600 步。核心超参数设定为：$\lambda_{\text{KL}} = 0.01$，$\lambda_{\text{GR}} = 0.05$；K-NN 图取 $K=64$；扩散混合系数 $\alpha_s = 0.5$；门控参数设为 $\beta=1.0, \tau=0.5$；学习率在 GenEval 上设为 $3\times 10^{-6}$，DrawBench 上设为 $1\times 10^{-6}$。

实验关键数据¶

主实验¶

在代表性自回归图像生成基座 Janus-Pro-1B 与 Janus-Pro-7B 上，GR-GRPO 与标准 GRPO 及最新同类算法在 GenEval（组合式生成评测）与 DrawBench（偏好与质量多维评测）进行了全面对比。

表 1：GenEval 组合式对齐基准结果对比（官方验证器成功率）

方法 / 模型	Overall↑	单目标 (Sing Obj.)↑	双目标 (Two Obj.)↑	计数 (Counting)↑	颜色 (Color)↑	空间位置 (Position)↑	颜色属性 (Color Attr.)↑
Janus-Pro-1B (Base)	0.73	0.98	0.82	0.51	0.89	0.65	0.56
Janus-Pro-1B + GRPO	0.84	1.00	0.95	0.59	0.84	0.88	0.77
GCPO-1B	0.85	1.00	0.96	0.63	0.88	0.91	0.73
GR-GRPO-1B (本文)	0.87	1.00	0.98	0.67	0.89	0.94	0.76
Janus-Pro-7B (Base)	0.80	0.99	0.89	0.59	0.90	0.79	0.66
Janus-Pro-7B + GRPO	0.87	0.99	0.92	0.71	0.94	0.92	0.73
GCPO-7B	0.90	0.99	0.95	0.90	0.90	0.95	0.76
STAGE-7B	0.89	0.99	0.95	0.82	0.90	0.89	0.79
GR-GRPO-7B (本文)	0.92	1.00	0.97	0.91	0.92	0.96	0.74

在 DrawBench 连续偏好奖励对齐场景下，GR-GRPO 在多项业界主流评测模型上全面超越基线：

表 2：DrawBench 偏好与图像生成质量多指标评测

方法 / 模型	HPSv2.1↑	DeQA↑	PickScore↑	ImageReward↑	Aesthetic↑	UniReward↑
Janus-Pro-1B (Base)	25.63	3.58	21.55	0.54	5.89	2.76
Janus-Pro-1B + GRPO	27.22	3.72	21.71	0.73	6.04	2.80
GCPO-1B	27.18	3.71	21.72	0.71	6.05	2.82
GR-GRPO-1B (本文)	27.55	3.76	21.73	0.74	6.06	2.85
Janus-Pro-7B (Base)	26.74	3.61	22.06	0.87	5.90	3.02
Janus-Pro-7B + GRPO	27.52	3.68	22.11	0.92	5.99	3.06
GCPO-7B	26.84	3.59	22.04	0.84	5.87	3.01
STAGE-7B	27.76	3.70	22.19	0.96	6.00	3.10
GR-GRPO-7B (本文)	28.25	3.74	22.21	0.99	6.06	3.07

消融实验¶

消融实验均在 Janus-Pro-1B 上针对 GenEval 任务展开，系统验证了各核心模块的独立贡献及关键超参数敏感性。

表 3：GenEval 核心组件消融实验（Janus-Pro-1B）

方法变体配置	Overall↑	单目标↑	双目标↑	计数↑	颜色↑	空间位置↑	颜色属性↑	说明
GRPO (Baseline)	0.84	1.00	0.95	0.59	0.84	0.88	0.77	基础 GRPO 基线
GRPO + Budget Control	0.84	1.00	0.96	0.60	0.84	0.88	0.76	仅加预算调度无明显增益
GR-GRPO w/o Budget Control	0.86	0.99	0.96	0.64	0.88	0.90	0.77	纯图扩散正则提升显著 (+0.02)
GR-GRPO + Budget Control (完整)	0.87	1.00	0.98	0.67	0.89	0.94	0.76	两者协同达到最优性能 (+0.03)

表 4：超参数与机制设计敏感性分析（GenEval, Janus-Pro-1B）

探究维度	具体设置	Overall↑	关键变化与结论
邻居数量 $K$	32 / 64 (Ours) / 128	0.84 / 0.87 / 0.86	$K=32$ 覆盖不足，$K=128$ 引入噪声，64 最优
门控策略	固定门控 $g_t \equiv 1$ / 自适应门控 (Ours)	0.83 / 0.87	固定门控造成严重过度平滑，自适应门控带来 +0.04 飞跃
扩散范围	仅扩散正向 (Ours) / 正负向均扩散	0.87 / 0.84	负样本模式异质分散，扩散负向破坏有效表征并跌回基线
扩散强度 $\alpha_s$	0.3 / 0.5 (Ours) / 0.7	0.84 / 0.87 / 0.84	$\alpha_s$ 过低正则不足，过高稀释正确 token 监督

关键发现¶

图扩散正则带来质的飞跃：在固定较小 $G=8$ 采样下，仅引入图正则项（w/o 预算调度）便将 Janus-Pro-1B 在 GenEval 上从 0.84 提升至 0.86，在空间相对位置（Position: 0.88 → 0.94）与数量计数（Counting: 0.59 → 0.67）等重度依赖局部绑定的维度增益尤为显著。
算力-覆盖权衡大幅改善：如图 1 所示，标准 GRPO 从 $G=4$ 拓展到 $G=64$ 虽然能将性能逐渐推高，但 Rollout 耗时暴涨近十倍；GR-GRPO 通过码本图扩散人工稠密化了 SuccessSetMass，以约 $4.6\times$ 更短的采样时长在 1B 模型上取得了超越 GRPO ($G=64$) 的评测分数（0.87 vs 0.86 档位）。
置信度门控不可或缺：若强行采用常数全通门控 $g_t \equiv 1$，评测分数直接从 0.87 骤降至 0.83（甚至低于基础 GRPO 的 0.84）。这确凿证明了在模型确定性高的位置盲目扩散会导致语义模糊。

亮点与洞察¶

将预训练离散流形嵌入先验转化为在线 RL 监督先验：多数 AR 视觉对齐工作将 Codebook 仅视作孤立的离散索引 ID，本研究敏锐抓住了 VQ 嵌入空间天然的连续拓扑邻近性，用无参数开销的预计算 $K$-NN 图架起了点到面的信用桥梁。
正负证据的非对称扩散洞察：明确指出了正样本解在局部流形中具有紧致聚类特性（微小扰动仍满足约束），而负样本原因千奇百怪、分布离散。这一发现对后续生成模型中的负反馈正则化设计极具指导意义。
极佳的可移植性与性价比：扩散过程仅涉及静态稀疏图查表，完全在 GPU 显存内轻量级执行，不涉及任何昂贵的多重推理或额外判别器前向，极其容易插拔到现有的各类自回归架构强化学习管线中。

局限与展望¶

依赖 VQ 离散码本假设：核心扩散机制建立在离散嵌入字典与 $K$-NN 邻域上，无法直接无缝迁移到连续 token（Continuous Visual Token，如 Fluid、Transfusion 等）或端到端连续扩散流模型中。
静态局部图结构未考虑全局语义上下文：固定余弦距离图是与位置和提示词解耦的无条件近邻，在极其特定的上下文语义下，某些邻近 ID 可能恰好发生语义突变（例如色彩或反义概念碰撞）。
未来改进思路：作者提出后续可探索在连续 token 自回归模型或 Diffusion-Token 混合架构中，通过动态度量学习在线构建邻域拓扑；此外可引入上下文感知的自适应图剪枝机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在自回归视觉 RL 中揭示小分组信用稀疏与 VQ 局部可替换性的内在关联，提出优雅的图扩散正向信用机制]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 1B/7B 双尺度、GenEval 离散与 DrawBench 连续双评测体系、完备的消融分析及精细的算力-性能折线]
写作质量: ⭐⭐⭐⭐⭐ [问题动机剖析入木三分，公式推导与梯度视角对比极为清晰自洽，图表信息充实]
价值: ⭐⭐⭐⭐⭐ [直击自回归图像生成 RL 训练最昂贵的 Rollout 算力痛点，代码开源且即插即用，极具落地推广价值]

探究维度	具体设置	Overall↑	关键变化与结论
邻居数量 \(K\)	32 / 64 (Ours) / 128	0.84 / 0.87 / 0.86	\(K=32\) 覆盖不足，\(K=128\) 引入噪声，64 最优
门控策略	固定门控 \(g_t \equiv 1\) / 自适应门控 (Ours)	0.83 / 0.87	固定门控造成严重过度平滑，自适应门控带来 +0.04 飞跃
扩散范围	仅扩散正向 (Ours) / 正负向均扩散	0.87 / 0.84	负样本模式异质分散，扩散负向破坏有效表征并跌回基线
扩散强度 \(\alpha_s\)	0.3 / 0.5 (Ours) / 0.7	0.84 / 0.87 / 0.84	\(\alpha_s\) 过低正则不足，过高稀释正确 token 监督