Policy-Based Tuning of Autoregressive Image Models with Instance- and Distribution-Level Rewards¶

会议: ECCV 2026
论文: ECCV Poster
代码: https://github.com/bugrabaran/ar-policy-tuning
领域: 图像生成
关键词: 自回归图像生成、策略优化、GRPO、分布级奖励、留一法FID

一句话总结¶

将离散token自回归图像生成建模为马尔可夫决策过程，提出基于EMA特征矩的留一法FID（LOO-FID）分布级奖励，结合实例级感知奖励与自适应熵正则化进行GRPO策略微调，不仅彻底解决了强化学习微调中的模式与多样性崩溃难题，更在完全摆脱分类器无引导（CFG）2倍计算开销的同时显著提升了生成质量与分布覆盖度。

研究背景与动机¶

自回归（AR）模型借助 Transformer 解码器统一了视觉生成与语言建模范式，在结合离散Tokenizer（如VQGAN、LlamaGen）后展现出抗衡甚至超越扩散模型的生成质量与采样吞吐。然而，绝大多数AR图像生成器仍完全依赖最大似然估计（MLE）训练。MLE的目标是在真实前文token条件下最大化下一个真实token的对数似然，这种逐token交叉熵优化既无法对最终生成整图的语义一致性与人类审美偏好进行端到端反馈，也导致模型在后训练阶段缺乏精确的控制力。

在扩散模型领域，利用强化学习（如DDPO、Diffusion-DPO）引入人类偏好或对齐奖励已成为主流，但这类策略优化普遍面临严重的样本多样性崩溃（Diversity Collapse）与窄模式过拟合，且由于去噪扩散轨迹的连续反向传播开销巨大。近期探索AR模型强化学习的并行工作（如AR-GRPO、VA-\(\pi\)）虽利用AR天然的离散序列策略规避了价值网络，但它们无一例外仅依赖单图实例级标量奖励（如CLIPScore、HPSv2）。这种单纯追求单图分数的奖励机制在全局视角下极度容易牺牲分布覆盖度，导致生成样本聚集于少数高分模板，无法保证生成分布与真实数据分布的统计匹配。

为了破除质量提升与分布覆盖不可兼得的固有矛盾，本文选择从奖励的层级结构切入：既然实例级奖励只关注个体合理性，就必须引入能够直接度量全局分布统计差异的信号，并在策略更新中将二者联合优化。核心 idea：将离散图像生成建模为MDP，首创基于运行特征矩EMA的留一法FID（LOO-FID）分布级奖励，显式奖惩单个样本对生成分布全局对齐的边际贡献，并协同实例级感知奖励与自适应熵正则化在GRPO下实现防模式崩溃的高效微调。

方法详解¶

整体框架¶

本文针对类别条件离散图像自回归生成，将序列生成过程显式形式化为马尔可夫决策过程（MDP）。给定类别条件 \(c\) 与离散Tokenizer构建的词表大小为 \(K\) 的码本，在每一步 \(t\)，状态为 \(s_t = (c, x_{<t})\)，动作为预测的当前离散token \(a_t = x_t\)，策略由自回归解码器 \(\pi_\theta(a_t \mid s_t)\) 给出。完整序列 \(x_{1:T}\) 生成完毕后经由VQ解码器重建为图像，进入多目标奖励评估与策略更新闭环。

整体训练流程采用群体相对策略优化（GRPO），不需要训练额外的价值网络。对于每个输入条件采样包含 \(G\) 个样本的组，经由联合奖励函数计算出归一化优势，结合序列重要性采样比率进行策略梯度更新。整个框架由三大核心模块紧密协同：负责语义偏好与美学的实例级复合奖励、负责全局多样性与分布逼近的LOO-FID分布级奖励、以及动态防低熵收敛的自适应熵正则化器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["类别条件 c 与前文 token 序列"] --> B["自回归解码策略采样<br/>组采样 G 个候选 token 序列"]
    B --> C["离散Tokenizer图像重构<br/>获得各候选生成图像"]
    C --> D["复合奖励分配与全局更新<br/>CLIP+HPSv2 实例奖励与 EMA LOO-FID 分布奖励"]
    D --> E["自适应熵正则化动态调控<br/>闭环追踪目标熵 target H 调节系数"]
    E --> F["GRPO 策略参数更新<br/>优势归一化与序列概率比率截断更新"]

关键设计¶

1. 基于运行特征矩EMA的留一法FID分布级奖励：消除小批量统计方差并规避模式崩溃

单纯依靠单图打分的实例级奖励无法约束全局分布形态，极易诱发模式崩溃。引入FID作为奖励时，最大的痛点在于小批量（minibatch）样本数量极其有限，直接计算单批次样本均值与方差会产生剧烈方差与瞬态波动，不仅无法反映生成器的宏观分布演进，反而会导致模型对批次内异常值过拟合。

为此，作者提出了基于指数移动平均（EMA）的留一法FID（Leave-One-Out FID）估计器。首先离线计算真实参考数据集在Inception特征空间中的均值与对角标准差 \((\mu_r, \sigma_r) \in \mathbb{R}^D \times \mathbb{R}^D_{\ge 0}\)。在训练阶段，算法维护生成模型长程特征分布的一阶矩 \(\mu^{(t)}\) 与二阶未中心化矩 \(m_2^{(t)}\) 的EMA轨迹（衰减系数为 \(\alpha \in (0, 1)\)）：

\[\mu^{(t+1)} = (1-\alpha)\mu^{(t)} + \alpha\hat{\mu}, \qquad m_2^{(t+1)} = (1-\alpha)m_2^{(t)} + \alpha\widehat{m_2}\]

此时生成分布对应的标准差由方差开方得到：\(\sigma^{(t+1)} = \sqrt{\max(m_2^{(t+1)} - \mu^{(t+1)} \odot \mu^{(t+1)}, 0) + \varepsilon}\)。为了将宏观分布级信号精确解耦并分配到具体样本 \(j\)，算法构建了一个假设的“留一（LOO）”更新：从当前批次统计中剔除样本 \(j\) 的特征 \(f_j\)，得到剔除后的批次矩 \((\hat{\mu}_{-j}, \widehat{m_{2,-j}})\)，并将其代入EMA公式推导出剔除该样本后的假设全局状态 \((\mu_{-j}^{(t+1)}, \sigma_{-j}^{(t+1)})\)。样本 \(j\) 获得的分布级奖励定义为：剔除该样本时的对角FID减去包含该样本时的全集对角FID：

\[r_j^{\text{dist}} = \text{FID}_{\text{diag}}(\mu_r, \sigma_r;\, \mu_{-j}^{(t+1)}, \sigma_{-j}^{(t+1)}) - \text{FID}_{\text{diag}}(\mu_r, \sigma_r;\, \mu^{(t+1)}, \sigma^{(t+1)})\]

如果剔除样本 \(j\) 会导致全局FID恶化（数值变大），则说明该样本的存在拉近了生成分布与真实分布的距离，奖励 \(r_j^{\text{dist}} > 0\)；反之若样本属于冗余重复或偏离数据流形的退化样本，则受到惩罚。这一机制赋予了策略优化明确的“覆盖流形空缺”的边际激励。

2. 实例级语义与审美复合奖励：保障图像个体的高保真度与文本对齐

分布级奖励虽然提供了群体统计指导，但无法单独保证每个具体生成实例是否严格契合给定的文本或类别语义。为此，设计了与分布奖励相乘协同的实例级复合奖励 \(r_j^{\text{inst}} = r_j^{\text{clip}} \cdot r_j^{\text{hps}}\)。

其中 \(r_j^{\text{clip}}\) 采用 CLIPScore，将类别名构造成形如“a photo of {class-name}”的文本提示，计算预训练CLIP图像编码器与文本编码器嵌入的余弦相似度，驱动生成内容精准对应类别内涵；\(r_j^{\text{hps}}\) 则利用在海量人类画质与审美偏好数据上训练的 HPSv2 模型直接打分，惩罚伪影并奖赏高质感纹理。整体验收奖励为 \(r_j = r_j^{\text{clip}} \cdot r_j^{\text{hps}} \cdot r_j^{\text{dist}}\)，在组内计算均值 \(\bar{r}\) 与标准差 \(s_r\)，得到无偏优势估计 \(A_j = (r_j - \bar{r}) / (s_r + \varepsilon)\)，驱动策略在保持个体生动美观的同时契合全局真实流形。

3. 自适应闭环熵正则化：动态阻止策略退化并维持Token探索多样性

在多目标高维策略搜索中，AR模型的词表采样分布极易在少数高确定性token处过早收敛，造成策略熵骤降，进而引发不可逆的生成多样性退化。常规的静态或余弦衰减熵权重无法响应训练过程中由于奖励驱动产生的突发熵坍缩。

本文设计了一种闭环自适应熵调控机制。在每个位置 \(t\) 计算基于softmax预测分布的Token熵 \(H_t = -\sum_{v=1}^K \pi_\theta(x_t=v \mid s_t) \log \pi_\theta(x_t=v \mid s_t)\)，并以理论最大熵 \(H_{\max} = \log K\) 归一化为相对熵比率 \(\hat{H} = \frac{1}{T}\sum_{t=1}^T H_t / H_{\max}\)。控制系统预设目标探索熵 \(\hat{H}_{\text{target}}\) 与死区阈值 \(\delta\)。当实际熵偏离目标时，在基础余弦预热退火系数 \(c_{\text{sched}}(p)\) 基础上执行指数级闭环修正：

\[c_{\text{eff}} = \text{clip}\left(c_{\text{sched}}(p) \cdot e^{k(\hat{H}_{\text{target}} - \hat{H})},\, c_{\min},\, c_{\max}\right)\]

当策略熵过低时，\(c_{\text{eff}}\) 迅速抬升，向损失函数注入强熵惩罚，强制解码器保持探索宽度；当熵过高影响收敛确定性时则降低系数。该机制与LOO-FID配合，从微观token逻辑值和宏观特征空间双重锁定了采样多样性。

损失函数 / 训练策略¶

在训练阶段，模型基于组样本序列计算完整序列重要性采样比率 \(\rho_j(\theta) = \prod_{t=1}^T \frac{\pi_\theta(x_{j,t} \mid c, x_{j,<t})}{\pi_{\theta_{\text{old}}}(x_{j,t} \mid c, x_{j,<t})}\)。GRPO代理损失函数结合PPO截断操作定义为：

\[\mathcal{L}_{\text{GRPO}}(\theta) = -\frac{1}{G}\sum_{j=1}^G \min\left(\rho_j(\theta)A_j,\; \text{clip}(\rho_j(\theta), 1-\epsilon, 1+\epsilon)A_j\right)\]

为防止策略偏离原始预训练基础模型过远，引入近似KL散度惩罚项 \(D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}})\)。加上自适应熵奖励后，总优化目标为：

\[\mathcal{L}(\theta) = \mathcal{L}_{\text{GRPO}}(\theta) + \beta D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) - c_{\text{eff}}\frac{1}{T}\sum_{t=1}^T H_t\]

在4张NVIDIA A100 GPU上仅需训练600次迭代（耗时约10~14小时），即可实现对基础AR骨干网络的高效微调。

实验关键数据¶

主实验¶

在ImageNet 256×256类别条件生成任务上（50,000张验证集完整评测），本文对比了LlamaGen全系列骨干网络（B、L、XL）在微调前后的表现（表1），并在完全禁用分类器无引导（CFG scale=1.0）的严苛测试下评估了策略内生质量提升与推理加速潜力（表2）。

表1：LlamaGen各尺寸骨干在有CFG（scale=1.5）下的微调结果对比（原论文 Table 1）

模型配置	FID ↓	IS ↑	CLIPScore ↑	Precision ↑	Recall ↑
LlamaGen-B (基线)	7.06	119.52	0.2262	0.74	0.61
LlamaGen-B + 本文方法	6.31	163.37	0.2347	0.82	0.54
LlamaGen-L (基线)	4.64	196.78	0.2350	0.78	0.63
LlamaGen-L + 本文方法	3.83	215.90	0.2360	0.79	0.63
LlamaGen-XL (基线)	3.96	187.75	0.2346	0.74	0.67
LlamaGen-XL + 本文方法	3.82	195.58	0.2370	0.77	0.67

表2：无分类器引导（No-CFG, scale=1.0）下的基线与微调性能对比（原论文 Table 2）

模型配置	FID ↓	IS ↑	CLIPScore ↑	Precision ↑	Recall ↑
LlamaGen-B (无CFG)	20.89	47.96	0.2082	0.47	0.46
LlamaGen-B + 本文 (无CFG)	8.91	112.83	0.2304	0.78	0.54
LlamaGen-L (无CFG)	10.24	82.38	0.2200	0.53	0.48
LlamaGen-L + 本文 (无CFG)	5.12	143.32	0.2325	0.77	0.63
LlamaGen-XL (无CFG)	12.66	78.02	0.2192	0.60	0.74
LlamaGen-XL + 本文 (无CFG)	4.55	148.16	0.2305	0.74	0.68

消融实验¶

表3：与AR-GRPO基线及奖励消融对比（LlamaGen-L, CFG=1.5, 原论文 Table 4 与 Table 8）

配置与方法	包含奖励项	FID ↓	IS ↑	Precision ↑	Recall ↑
LlamaGen-L (预训练基线)	-	4.64	196.78	0.78	0.63
仅实例奖励消融	仅 CLIP	6.00	217.54	-	-
仅实例奖励消融	仅 HPSv2	7.30	176.73	-	-
仅实例奖励消融	CLIP + HPSv2	6.21	220.28	-	-
AR-GRPO 基线 (无分布奖励)	CLIP + HPSv2	6.37	223.95	0.82	0.56
本文完整方法	CLIP + HPSv2 + LOO-FID	3.83	215.90	0.79	0.63
AR-GRPO 基线 (+MANIQA)	CLIP + HPSv2 + MANIQA	9.34	147.30	0.70	0.59
本文完整方法 (+MANIQA)	CLIP + HPSv2 + MANIQA + LOO-FID	6.43	175.34	0.74	0.64

表4：LOO-FID对角协方差近似与计算开销对比（原论文 Table 10）

协方差估计形式	特征维度	每步LOO-FID耗时 (ms)	FID ↓	IS ↑
对角协方差近似 (PCA降维)	128	~30 ms	4.30	224.16
全协方差矩阵 (PCA降维)	128	~550 ms	4.13	209.45
对角协方差近似 (原始特征, 本文默认)	2048	~30 ms	3.83	215.90

关键发现¶

分布级奖励是守住生成多样性与全局逼真度的决定性支柱：在消融实验中，若剔除LOO-FID奖励仅使用实例奖励微调，模型在Inception Score上虽有冲高，但FID从基线的4.64大幅恶化至6.21甚至7.30，且Recall严重滑落（AR-GRPO降至0.56）。只有加入LOO-FID后，FID突破至3.83，并在DreamSim（0.53）和LPIPS（0.73）测试中完美维持了预训练基线的多样性水平。
无CFG下的巨幅突破带来2倍推理加速：在完全不使用CFG引导的情况下，本文微调后的LlamaGen-XL将FID从12.66腰斩式降低至4.55，IS从78.02翻倍至148.16。其性能已经能够匹敌甚至超越需要双倍推理步数的有CFG基础模型（FID 3.96），这意味着在推理部署时可以直接省去无条件前向传播，获得实打实的2×加速。
对角协方差近似在计算效率与优化表现上兼具压倒性优势：全协方差矩阵计算不仅在低维（128-D）下因矩阵求逆和行列式导致时间暴增18倍（550ms vs 30ms），且高维难以扩展；而对角近似使计算复杂度降为 \(O(D)\)，使得在全量2048维原生特征空间进行每步30ms极低开销的分布反馈成为可能，更取得了最优的3.83 FID。

亮点与洞察¶

EMA特征矩驱动的LOO-FID设计极度优雅：传统微调难以引入分布级指标是因为小批次估计方差大，直接加批次FID无法归因到单样本。本文通过维护跨迭代平滑的长程EMA特征矩，以“剔除样本后全局FID的变化差值”精准计算单图对分布对齐的边际功过，既稳定了训练又实现了精准的信用分配（Credit Assignment）。
解耦CFG依赖，重塑自回归原生策略分布：通常生成模型高度依赖CFG在推理时外力“挤压”低概率分支，这本质上是对有缺陷基础策略的妥协。通过在RL微调中联合优化实例与分布奖励，模型自身学会了生成清晰可信的边缘分布，使免CFG部署成为可能，这一理念对视频或端侧高吞吐生成极具复用价值。
与并发工作的互补性与泛化能力：该方法在VQGAN和LlamaGen各种规模上均即插即用，仅需600步迭代便显著超越5000步额外MLE续训。且由于分布奖励与底层优化器解耦，可无缝叠加到后续针对优势加权或关键Token挖掘的改进算法中。

局限与展望¶

受限于预训练视觉特征抽取器与奖励模型偏置：LOO-FID计算重度依赖预训练Inception-V3的特征空间假设，如果Inception表征对某些细粒度伪影不敏感，模型可能在该维度产生盲区；实例级奖励亦受CLIP和HPSv2自身审美与领域偏见的影响。
当前验证局限于类别条件图像生成：所有定量实验集中于ImageNet 256×256的分类标签条件生成，尚未在大规模开放域自由文本提示（Text-to-Image）以及更高分辨率（如512×512或1024×1024）下展开长程文本评测。
未来方向：探索跨模态更丰富的多尺度分布感知奖励模型（如DINOv2或多模态LLM表征），将该策略微调框架推广至自回归文本到视频（T2V）以及3D多视角连续生成的对齐任务中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在自回归图像生成RL微调中提出基于EMA与留一法的分布级FID奖励，结构设计兼顾理论意义与工程可行性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖LlamaGen全尺寸骨干与VQGAN，详尽评估了有/无CFG、人类偏好评测、多样性感知度量（DreamSim/LPIPS）及消融实验。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学推导自洽，消融实验直指各组件设计本质。
价值: ⭐⭐⭐⭐⭐ 不仅解决了AR图像生成强化学习中的多样性坍缩核心难题，更展示了免除CFG计算负担实现2倍推理加速的实用落地前景。