When Policy Entropy Constraint Fails: Preserving Diversity in Flow-based RLHF via Perceptual Entropy

会议: NeurIPS 2026
arXiv: 2605.12112
OpenReview: https://openreview.net/forum?id=2TmlUKr7RZ
领域: 对齐/RLHF
关键词: 流匹配、RLHF、流模型对齐、多样性坍缩、感知熵

一句话总结

揭示了流匹配 RLHF 中策略熵恒定与感知多样性坍缩并存的反常悖论，提出在感知特征空间度量的感知熵及其正则化约束，在显著提升生成质量的同时保持多样性。

研究背景与动机

流匹配（Flow Matching）已成为文生图扩散与流模型的核心范式，为了进一步让生成图像符合人类审美、语义一致性与安全约束，基于人类反馈的强化学习（RLHF，如 Flow-GRPO）被广泛应用于后训练微调。然而在线强化学习在带来显著画质与偏好得分飞跃的同时，常常伴随着严重的多样性坍缩：微调后的模型倾向于针对不同提示词反复生成相似的人像姿态、室内布局、布光与纹理风格，严重削弱了模型的泛化应用价值，也降低了后续多轮强化学习进一步探索新样本空间的能力。

在传统强化学习与大语言模型（LLM）对齐研究中，生成多样性通常由策略熵（Policy Entropy）直接刻画，并通过在损失函数中增加策略熵正则项来维持多样性。但本文发现这一经典机制在流模型中彻底失效：在整个微调过程中，策略转移概率的熵值始终保持恒定，而输出图像在人类视觉感知层面的多样性却断崖式下跌。这种反常现象的核心矛盾在于：流模型的单步反向转移被预设的高斯噪声调度表严格锁定，其协方差完全独立于网络参数，导致策略熵作为代理指标对模式塌陷完全脱敏；与此同时，策略梯度的反向 KL 散度本质上具备强烈的寻模（mode-seeking）属性，驱使策略将概率质量迅速聚集在少数高奖励感知区域。

针对这一理论与现实的错位，本文跳出生成潜空间度量熵的传统局限，将多样性度量迁移至人类特征表征空间。核心 idea：定义感知熵（Perceptual Entropy）以忠实刻画特征感知空间的多样性弥散度，并设计感知熵约束（PEC）与生成空间感知一致性约束（PCVAE），结合奖励重塑稳定优化，实现高画质与丰富多样性的双赢平衡。

方法详解

整体框架

本文首先从理论上证明了流模型策略熵恒定性的数学根源，并分析了策略梯度优化下的寻模机制。随后构建感知熵代理，将潜空间反向采样状态映射至感知特征空间中计算条件高斯对数似然，最后将感知熵与生成潜空间一致性设计为感知奖励重塑项，无缝嵌入 Flow-GRPO 的组归一化优势优化框架中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词与高斯噪声"] --> B["流模型反向扩散采样<br/>生成轨迹 rollout"]
    B --> C["感知熵估计：映射至感知特征空间<br/>计算局部高斯对数似然"]
    C --> D["感知正则化约束：PEC 与 PCVAE<br/>最大化多样性或对齐 VAE 先验"]
    D --> E["感知奖励重塑与 Flow-GRPO 优化<br/>联合组内优势归一化"]
    E --> F["输出兼具高审美与多样性的图像"]

关键设计

1. 策略熵恒定与多样性坍缩解耦分析：揭示流模型对齐失效的数学根源

在基于流模型的强化学习中，反向 SDE 单步转移满足高斯分布 \(\mathbf{x}_{t-1} \sim \mathcal{N}(\mathbf{x}_{t-1}; \mu_\theta(\mathbf{x}_t, t, c), \sigma_t^2 \mathrm{d}t \mathbf{I})\)。模型参数 \(\theta\) 仅影响均值速度场 \(\mu_\theta\)，而协方差矩阵由预设的噪声调度表完全决定。由此推导出的单步条件策略熵仅取决于数据维度与常数噪声尺度，在参数微调过程中恒定不变：

\[\mathcal{H}_t(p_\theta) = \frac{d}{2} + \frac{d}{2} \log (2\pi \sigma_t^2 \mathrm{d}t)\]

然而，未截断策略梯度方向本质上驱动当前策略逼近经优势加权的目标分布，其等价目标中包含了以当前策略为第一项的反向 KL 散度 \(-D_{\mathrm{KL}}(p_\theta \| p_{\mathcal{A}})\)。反向 KL 具有强烈的寻模倾向，在多模态分布中会强行收缩覆盖范围并塌缩至局部单峰高奖励区域，从而在策略熵毫无波动的假象下引发感知层面的严重多样性坍缩。

2. 感知熵代理构建：跨异构表征空间捕捉感知离散度

为了使熵正则化机制能重新感知多样性变化，本文引入感知熵概念。记复合映射 \(\phi = \mathcal{E}_p \circ \mathcal{D}_{\mathrm{vae}}\)，其中 \(\mathcal{D}_{\mathrm{vae}}\) 为 VAE 解码器，\(\mathcal{E}_p\) 为感知编码器（如 PickScore 或冻结的 DINO/CLIP 视觉基座）。对于反向探索采样的噪声样本 \(\mathbf{x}_{t-1}^k\)，以旧策略均值的感知映射 \(\phi(\mathbf{m}^k)\) 为中心建立局部感知高斯似然：

\[p_\theta^{\mathrm{perc}}(\mathbf{x}_{t-1}^k \mid \mathbf{x}_t^k, c) := \mathcal{N}\left(\phi(\mathbf{x}_{t-1}^k); \phi(\mathbf{m}^k), \sigma_t^2 \mathrm{d}t \mathbf{I}\right)\]

由似然负对数期望定义的感知熵 \(\mathcal{H}_{\mathrm{perc}}(p_\theta) = \mathbb{E}_{t,k}[-\log p_\theta^{\mathrm{perc}}(\mathbf{x}_{t-1}^k \mid \mathbf{x}_t^k, c)]\) 能够近似跟踪条件特征空间的方差 \(\mathrm{Var}(\mathbf{z}_{t-1} \mid \mathbf{x}_t)\)，与大语言模型中的经验熵-奖励反比律 \(\mathcal{R} = -a \exp(\mathcal{H}_{\mathrm{perc}}) + b\) 保持严格自洽。

3. 感知正则化策略与奖励重塑：消除梯度冲突并保证平稳收敛

基于感知熵，本文设计了两种互补的正则化策略：其一是感知熵约束（PEC），直接在目标中最大化感知熵 \(\mathcal{J}_{\mathrm{PEC}}(\theta) = \mathbb{E}[\mathcal{R}] + \lambda \mathcal{H}_{\mathrm{perc}}\)，促使策略探索更广阔的视觉特征模态；其二是生成空间感知约束（PCVAE），利用 KL 散度将坍缩的感知空间对齐至结构保持平稳的 VAE 潜空间先验 \(\Omega = -D_{\mathrm{KL}}(p_\theta^{\mathrm{perc}} \| p_\theta^{\mathrm{vae}})\)。

若直接将上述正则项作为独立辅助损失进行端到端反向传播，会因无序随机性产生与主奖励梯度的剧烈冲突导致训练发散。本文提出感知奖励重塑机制，将反向轨迹上的步进感知对数似然累积并内化为主任务奖励的一部分：

\[\tilde{\mathcal{R}}_{\mathrm{PEC}}^k = \mathcal{R}(\mathbf{x}_0^k, c) - \lambda \mathbb{E}_t \left[\log p_\theta^{\mathrm{perc}}(\mathbf{x}_{t-1}^k \mid \mathbf{x}_t^k, c)\right]\]

重塑后的综合奖励直接输入 Flow-GRPO 的组内归一化算子中计算优势 \(\hat{\mathcal{A}}_k^{\mathrm{PEC}}\)，实现正则项与任务奖励尺度的自适应对齐。

损失函数 / 训练策略

最终优化基于截断代理目标的 Flow-GRPO 损失进行单步策略更新：

\[\mathcal{J}_{m\text{-GRPO}}(\theta) = \mathbb{E}_{c, \{\mathbf{x}_t^k\}}\left[\min\left(\rho_{t,k}(\theta) \hat{\mathcal{A}}_k^m, \operatorname{clip}(\rho_{t,k}(\theta), 1-\epsilon, 1+\epsilon)\hat{\mathcal{A}}_k^m\right)\right]\]

其中重要性权重比值为 \(\rho_{t,k}(\theta) = \frac{p_\theta(\mathbf{x}_{t-1}^k \mid \mathbf{x}_t^k, c)}{p_{\theta_{\mathrm{old}}}(\mathbf{x}_{t-1}^k \mid \mathbf{x}_t^k, c)}\)，超参数调节系数 \(\lambda \in [0.03, 0.10]\) 控制多样性与美学质量之间的权衡偏好。

实验关键数据

主实验

在 FLUX.dev 基础模型与 Pick-a-Pic 提示集上，使用 PickScore、审美评分（Aes.v2.5）、ImageReward、CLIP 等评估图像生成质量，并在 HPD 测试集上通过 Vendi Score（V.S.）及特征方差度量生成多样性。

方法	感知空间	质量 (Aes.v2.5)↑	质量 (ImageReward)↑	多样性 (V.S. DINO)↑	多样性归一化均值↑	综合总分↑
Flux Dev (Base)	–	5.837	1.089	27.05	0.753	0.376
Flow-GRPO (Baseline)	–	6.305	1.375	16.91	0.047	0.366
Flow-GRPO w/ KL	–	5.998	1.289	25.42	0.599	0.459
Clip-Higher	–	6.273	1.367	15.51	0.025	0.321
Entropy Reg.	VAE	5.965	1.362	20.02	0.247	0.360
Entropy Reg.	PickScore	6.079	1.365	25.75	0.519	0.498
Clip-Cov	PickScore	6.153	1.448	25.21	0.466	0.573
KL-Cov	PickScore	6.296	1.474	23.82	0.393	0.588
PCVAE (Ours, \(\lambda=0.03\))	DINO	6.362	1.497	20.14	0.342	0.609
PEC (Ours, \(\lambda=0.05\))	PickScore	6.412	1.446	26.11	0.626	0.734
PEC (Ours, \(\lambda=0.10\))	DINO	6.195	1.327	30.41	0.989	0.728

消融实验

针对 PEC 架构中感知熵设计以及感知编码器计算开销进行消融分析：

配置	熵代理类型	审美得分 (Aes.v2.5)↑	ImageReward↑	CLIP 分数↑	DINO 方差↑
PEC (原生策略熵)	原生反向转移熵 \(\mathcal{H}\)	6.372	1.439	0.405	89.98
PEC (感知熵)	本文感知熵 \(\mathcal{H}_{\mathrm{perc}}\)	6.412	1.446	0.412	105.01

方法	感知编码器	相对迭代耗时	显存峰值
Flow-GRPO	无（–）	\(1.00\times\)	78.7G
PEC (Ours)	PickScore Encoder	\(1.01\times\)	78.7G
PEC (Ours)	DINO Encoder	\(1.03\times\)	79.2G

关键发现

• 相比原始 Flow-GRPO，标准熵正则在潜空间完全无能为力（多样性归一化均值仅 0.247），而引入感知熵能将多样性平均得分从基线的 0.047 恢复至最高 0.989，打破了对齐微调中画质与多样性的极端对立。
• PEC 配合 PickScore 编码器（\(\lambda=0.05\)）在实现最优审美评分（6.412）的同时取得最高综合评分 0.734，相较基线的 0.366 几乎翻倍。
• 采用预训练视觉基座计算感知熵带来的额外开销微乎其微：使用已有 PickScore 仅增加约 \(1\%\) 耗时且显存恒定；采用独立 DINO 编码器额外开销也仅 \(3\%\)，展现出极强的工业落地可行性。

亮点与洞察

• 敏锐捕捉到流匹配机制下策略熵不变性与感知多样性坍缩并存的理论佯谬，为扩散与流模型强化学习的多样性机理研究提供了关键视角。
• 提出的感知奖励重塑机制有效避免了独立熵正则导致的双目标梯度震荡，以优雅的无监督方式将视觉感知离散度对齐到强化学习优化中。
• 即插即用且兼容多种视觉表征模型（PickScore、DINO、CLIP），无需修改流匹配主干网络参数或重训辅助价值网络。

局限与展望

• 当前探索主要基于 Flow-GRPO 框架和文生图任务展开，尚未覆盖视频流模型（Video Flow Matching）以及音频多模态对齐。
• 在计算感知似然时忽略了跨异构特征变换的雅可比行列式修正，理论严密性仍有待进一步完善；未来可探索针对多样性敏感的自适应 \(\lambda\) 调度策略。

相关工作与启发

• vs Flow-GRPO: Flow-GRPO 依赖纯任务奖励驱动策略更新导致灾难性的感知模式塌陷；本文通过感知熵重塑奖励，在保留 GRPO 稳定性的同时维持丰富多样性。
• vs KL 惩罚基线 (Flow-GRPO w/ KL): KL 散度强行将策略锚定回未微调前状态，严重损伤对齐收敛速度与最终审美画质上限；PEC 则允许策略自由探索多个高奖励模式。
• vs LLM 熵正则化: 大模型因离散 Token 概率分布可直接优化单步转移熵，而连续流模型依赖固定加噪协方差使传统熵正则失效，必须显式重定向至人类感知表征空间。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次系统论证流模型策略熵失效悖论并提出感知熵及其配套奖励重塑机制。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖多基模型、多种奖励类型及感知编码器，实验指标详实且提供了系统的多样性与开销评测。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，图表与论述高度自洽，逻辑链条层层递进。
• 价值: ⭐⭐⭐⭐⭐ 解决了文生图对齐微调中普遍存在的风格趋同顽疾，具备极高工程参考与学术启发价值。

相关论文

• [NeurIPS 2026] SCOPE-RL: Stable and Quantitative Control of Policy Entropy in RL Post-Training
• [ICML 2026] SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR
• [NeurIPS 2026] Distributionally Robust Token Optimization in RLHF
• [AAAI 2026] When Human Preferences Flip: An Instance-Dependent Robust Loss for RLHF
• [NeurIPS 2026] S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF