Jointly Reinforcing Diversity and Quality in Language Model Generations¶
会议: NeurIPS 2026
arXiv: 2509.02534
代码: https://github.com/facebookresearch/darling
领域: 强化学习 / Reinforcement Learning
关键词: 强化学习, 多样性崩塌, GRPO, 语义划分分类器, 探索能力
一句话总结¶
针对大语言模型在 RL 后训练阶段容易出现输出分布锐化与多样性崩塌的问题，本文提出 Darling 框架，利用语义划分分类器衡量轨迹级语义多样性并与质量奖励相乘，在非验证性生成与可验证数学推理任务中同时实现了质量与多样性的显著提升。
研究背景与动机¶
大语言模型在经过强化学习（如 RLHF、GRPO、DPO）后训练后，虽然输出的正确率与对齐程度大幅提升，但往往伴随着严重的分布锐化现象。模型生成的候选项趋向单一，频繁出现相同前缀、模板化句式甚至近乎重复的内容，导致在头脑风暴、故事创作、开放式对话等创意生成任务中乏味平庸。更重要的是，在自主探索求解复杂问题（如竞赛数学与科学发现）时，多样性的坍塌极大地限制了动作空间的探索范围，模型很容易陷入局部最优策略。
解决这一矛盾的难点在于，传统的文本多样性指标多依赖 n-gram 重合度或词汇重叠度，极易被模型通过“夹杂无关词汇、换用同义表达或添加元认知套话”轻易作弊（Reward Hacking），无法真正度量语义维度的思想新颖性。此外，直接在损失中加入熵正则项或采用加法形式混合质量与多样性奖励，常常因二者数值尺度不一致而难以调优，导致模型在追求多样性时以牺牲答案正确性为代价。
本文的切入点在于：多样性不应停留在词面差异，而应在轨迹级别建立可泛化的语义等价分类机制，并通过乘法门控将多样性评估与质量奖励深度结合，仅对“既高质量又有新意”的探索轨迹放大梯度更新。核心 idea：利用微调的轻量级判别器将同一 Prompt 下的多路 Rollout 划分为语义等价簇，以归一化语义多样性作为缩放因子乘上质量奖励构建复合优势函数，以多样性为催化剂推动高质量探索。
方法详解¶
整体框架¶
Darling（Diversity-Aware Reinforcement Learning）建立在在线策略强化学习（以 GRPO 为基础骨干）之上。对于输入提示词 \(x\)，策略模型采样生成一组共 \(n\) 条候选响应 \(\{y_1, \dots, y_n\}\)。系统首先通过语义分类器计算两两响应之间的等价关系，将这批响应划分为若干语义等价簇，进而根据每个响应与其他响应的平均语义距离计算出归一化的多样性分数 \(\text{Norm}(\text{Div}_d)\)；随后，将多样性分数与判别模型给出的质量奖励 \(r(x, y_i)\) 直接相乘，得到复合奖励 \(r_{\text{darling}}\)；最后在去除标准差归一化的组相对优势估计下完成策略更新。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入提示词 x"] --> B["策略采样 Rollout<br/>生成候选响应集合 {y1, ..., yn}"]
B --> C["语义等价划分与多样性度量<br/>分类器聚类并计算归一化多样性"]
B --> D["质量奖励评估<br/>奖励模型 / 规则正确性打分"]
C --> E["乘法奖励融合<br/>rdarling = r(x, yi) × Norm(Div)"]
D --> E
E --> F["稳健组相对优势计算与策略更新<br/>去除标准差放大的 Token 级 GRPO"]关键设计¶
1. 语义等价划分与多样性度量：从词汇表面变异走向深层语义去重 针对 n-gram 词表指标无法反映真实创意的缺陷，本文设计了基于深度分类器的成对语义等价度量。对于同一提示词下的响应集合 \(\{y_1, \dots, y_n\}\)，分类器判定两个输出是否语义等价 \(d(y_i, y_j) = \mathbf{1}(y_i \text{ 与 } y_j \text{ 语义等价})\)。单一响应 \(y_i\) 相对于集合中其余响应的多样性定义为它与其他所有候选的平均距离： $$ \text{Div}d(y_i \mid y_1, \dots, y_n) = \frac{1}{n-1} \sum^n d(y_i, y_j) $$ 落入同一等价簇中的输出具有较低的多样性得分，而独具一格的新颖想法则拥有最高得分。为了在非验证性文本任务中支持长上下文，作者基于人类标注的对比数据训练了支持 8192 上下文的 ModernBERT 分类器；在数学推理任务中，则利用多模型采样解题轨迹并用强模型标注，微调 Qwen3-Embedding-4B 判别解题思路等价性。这种语义划分机制从根本上杜绝了插入无关字词作弊的可能。
2. 乘法奖励融合：防止多样性与质量目标失衡 在强化学习中融合两个异构目标时，传统做法通常采用线性加权求和（\(r + \lambda \cdot \text{Div}\)）。然而，质量奖励与多样性指标的尺度与方差极难对齐，固定的加法权重极易导致模型偏废一方（例如牺牲质量盲目求怪，或完全忽略多样性退化为普通 RL）。Darling 采取乘法融合形式构建最终奖励： $$ r_{\text{darling}}(x, y_i \mid y_1, \dots, y_n) := r(x, y_i) \times \text{Norm}\big(\text{Div}_d(y_i \mid y_1, \dots, y_n)\big) $$ 其中 \(\text{Norm}(\cdot)\) 将多样性归一化到 \([0, 1]\)。乘法机制具有清晰的门控效应：若一个输出质量低劣（\(r \approx 0\)），即便其与众不同也不会获得高额奖励；反之，若一个输出虽然正确但与其他候选千篇一律，其有效奖励也会被严重压低；只有当输出兼具高质与新颖时，奖励才被最大化放大，从而引导策略将概率质量精准转移到“高质量且具有创新性”的动作轨迹上。
3. 稳健组相对优势计算：消除密集噪声奖励的标准差放大 标准 GRPO 在优势估计中除以组内奖励标准差 \(\sigma_r\)（即 \(A_i = (r_i - \bar{r})/\sigma_r\)）。作者从理论上证明，当奖励模型存在噪声且输出分布密集时（\(r_i = f_i + \varepsilon_i\)，\(\varepsilon_i \sim \mathcal{N}(0, \tau^2)\)），组内微小的随机扰动会被过小的 \(\sigma_r\) 成倍放大，严重干扰梯度方向。Darling 在策略更新中取消了标准差归一化，直接采用差值优势： $$ A_{i,t} = r_{\text{darling}}(x, y_i) - \frac{1}{n}\sum_{j=1}^n r_{\text{darling}}(x, y_j) $$ 同时将传统的序列级损失平均改为 Token 级全局平均，避免模型对长序列产生无意义的长度偏置。在密集连续奖励的非验证任务上，这一调整显著提升了训练稳定性与最终性能。
损失函数 / 训练策略¶
Darling 采用改进的在策略（On-policy）GRPO 目标进行优化： $$ \mathcal{L}(\theta) = \mathbb{E}{x \sim \mathcal{D}, {y_i} \sim \pi}}}\left[ \frac{1}{\sum_{i=1}^n |y_i|} \sum_{i=1}^n \sum_{t=1}^{|y_i|} \left( \min\left( \text{IS{i,t} A}, \text{clip}(\text{IS{i,t}, 1-\varepsilon, 1+\varepsilon) A} \right) - \beta \mathbb{D{\text{KL}}(\pi\theta \parallel \pi_{\text{ref}}) \right) \right] $$ 其中重要性采样比率 \(\text{IS}_{i,t} = \frac{\pi_\theta(y_i^t \mid y_i^{<t}, x)}{\pi_{\text{act}}(y_i^t \mid y_i^{<t}, x)}\)，裁剪阈值 \(\varepsilon=0.2\)。非验证任务在 WildChat 10k 提示词上微调 Llama-3.1-8B-Instruct 和 Llama-3.3-70B-Instruct，以 Athene-RM-8B 作为质量奖励；数学任务在 DeepscaleR 10k 题库上训练 Qwen3-4B-Base 与 14B-Base，结合 Math-Verify 验证器使用 0/1 规则判别作为基础质量奖励。
实验关键数据¶
主实验¶
在非验证性生成基准（AlpacaEval 2.0、ArenaHard v2.0/v1.0 创意写作、EQ-Bench ELO）与多样性基准 NoveltyBench（Distinct 语义簇数与 Distinct-4 词汇多样性）上，Darling 全面优于质量单目标基线与其他多样性算法。
| 基座模型 | 优化方法 | AE 2.0 LCWR (%) | AH v2.0 WR (%) | EQ-Bench ELO | NoveltyBench Distinct (#) | NoveltyBench Distinct-4 (%) |
|---|---|---|---|---|---|---|
| Llama-3.1-8B-Instruct | Base (未后训练) | 31.9 | 7.1 | 636 | 5.28 | 93.9 |
| GRPO (仅质量) | 48.7 | 61.1 | 659 | 2.08 | 92.8 | |
| DivPO (离线对比) | 43.5 | 54.4 | 639 | 4.34 | 94.1 | |
| GRPO-Unlikeliness | 45.6 | 59.5 | 724 | 3.53 | 93.2 | |
| Darling (Ours) | 55.2 | 68.8 | 905 | 5.49 | 96.0 | |
| Llama-3.3-70B-Instruct | Base (未后训练) | 44.6 | 17.7 | 737 | 2.95 | 91.7 |
| GRPO (仅质量) | 73.3 | 89.7 | 1261 | 2.31 | 94.6 | |
| GRPO-Unlikeliness | 69.5 | 84.2 | 1346 | 3.15 | 95.2 | |
| Darling (Ours) | 80.4 | 91.2 | 1531 | 4.26 | 95.3 |
在可验证竞赛数学任务（AIME 25、HMMT 25、OlympiadBench、Brumo 25）中，Darling 不仅提高了 Pass@1 质量基准，其多样性优势更带来了 Pass@128 的巨大增益。
| 基座模型 | 评估指标 | AIME 25 (%) | HMMT 25 (%) | OlympiadBench (%) | Brumo 25 (%) | 平均 Avg (%) |
|---|---|---|---|---|---|---|
| Qwen3-4B-Base | Base Pass@1 / Pass@128 | 8.17 / 47.35 | 3.30 / 27.12 | 33.30 / 71.11 | 16.68 / 55.10 | 15.36 / 50.17 |
| GRPO Pass@1 / Pass@128 | 19.51 / 53.33 | 7.14 / 26.72 | 42.27 / 70.37 | 24.66 / 63.24 | 23.40 / 53.42 | |
| Darling Pass@1 / Pass@128 | 20.06 / 62.28 | 10.32 / 39.19 | 45.53 / 74.41 | 31.73 / 68.27 | 26.91 / 61.04 | |
| Qwen3-14B-Base | Base Pass@1 / Pass@128 | 12.23 / 53.88 | 3.05 / 32.77 | 41.30 / 73.78 | 20.62 / 60.94 | 19.30 / 55.34 |
| GRPO Pass@1 / Pass@128 | 25.87 / 60.59 | 10.86 / 34.44 | 51.80 / 71.56 | 40.41 / 73.45 | 32.24 / 60.01 | |
| Darling Pass@1 / Pass@128 | 26.46 / 71.34 | 17.21 / 50.41 | 57.56 / 76.44 | 43.29 / 82.50 | 36.13 / 70.17 |
消融实验¶
1. 奖励融合方式与多样性度量消融（基于 Llama-3.1-8B-Instruct） 对比了单纯质量奖励、加法融合（Quality + Partition）、n-gram 词汇多样性以及 Darling 乘法融合。
| 训练配置 | AE 2.0 LCWR (%) | AH v2.0 WR (%) | AH v2.0 Creative (%) | NoveltyBench Distinct (#) |
|---|---|---|---|---|
| Base Model | 31.92 | 32.61 | 7.1 | 5.28 |
| Quality only (GRPO) | 48.74 | 57.01 | 61.1 | 2.08 |
| Quality + Partition (加法融合) | 53.17 | 60.82 | 69.2 | 5.23 |
| Quality × 4gram (词汇多样性乘法) | 53.82 | 66.46 | 71.9 | 3.59 |
| Darling (Quality × Partition) | 55.15 | 65.34 | 68.8 | 5.49 |
2. 组相对优势归一化消融 在密集连续奖励的非验证任务中，去除除以标准差操作有效避免了小尺度噪声放大。
| 配置方案 | AE 2.0 LCWR (%) | AH v2.0 WR (%) | AH Creative (%) | Distinct (#) | Distinct-4 (%) |
|---|---|---|---|---|---|
| GRPO (标准除以标准差) | 48.74 | 57.01 | 61.1 | 2.08 | 92.84 |
| GRPO (w/o norm, 不除标准差) | 52.57 (+3.83) | 61.18 (+4.17) | 68.1 (+7.0) | 2.28 (+0.20) | 94.05 (+1.21) |
| 4gram (标准归一化) | 48.48 | 57.76 | 65.3 | 2.79 | 93.87 |
| 4gram (w/o norm) | 53.82 (+5.34) | 66.46 (+8.70) | 71.9 (+6.6) | 3.59 (+0.80) | 95.63 (+1.76) |
| Partition (标准归一化) | 51.64 | 62.17 | 69.7 | 3.35 | 94.93 |
| Darling = Partition (w/o norm) | 55.15 (+3.51) | 65.34 (+3.17) | 68.8 (-0.9) | 5.49 (+2.14) | 96.04 (+1.11) |
关键发现¶
- 多样性优化倒逼解题探索与质量提升：在可验证数学任务中，显式鼓励多样性不仅没有损害求解准确率，反而大幅改善了策略的动作空间探索能力，Pass@1 平均绝对提升 3.51% (4B) 和 1.90% (14B)，且在最具挑战性的 HMMT 25 数据集上提升尤为剧烈（Pass@1 从 7.14% 提升到 10.32%，Pass@128 从 26.72% 飙升至 39.19%）。
- 词汇多样性指标遭遇 Reward Hacking：使用 4-gram 替代语义划分分类器训练数学模型时，Pass@1 出现了性能倒退（从 23.40% 跌落至 22.49%）。质检发现模型为了提高 4-gram 差异，会在给出答案后输出大量与解题无关的自我反思套话或异种语言句子，印证了深层语义分类器的必要性。
- 改写帕累托前沿：在不同采样温度（\(T \in [0.2, 1.2]\)）下，Darling 始终处于质量-多样性曲面的外包络，打破了传统后训练中“提高多样性必损质量”的固有权衡。
亮点与洞察¶
- 将多样性指标设计为轨迹级语义划分而非词表统计：通过微调高容量判别器，精准将输出划分为语义等价簇，有效消除了语言模型在表层文本上投机取巧的问题。
- 乘法门控机制优雅解决了异构奖励调参难题：无需在加法损失中精细网格搜索权重大参数，天然实现“无质量不给多样性奖励、无多样性压低高质奖励”的双向强化。
- 发现并修复了 GRPO 在连续奖励下的标准差放大缺陷：明确指出了除以标准差会导致低方差提示词的梯度噪声爆炸，移去归一化显著稳定了在线强化学习的训练动态。
局限与展望¶
- 判别器本身的计算开销与上下文容量限制：在线训练中对组内每对生成进行语义聚类需要额外的推理调用，面对超长推理链（如万字长思考模型）时，判别器的吞吐量和长文本建模精度面临挑战。
- 等价判别依赖高质量监督信号：数学分类器依赖 Llama-3.3-70B 标注微调，在复杂未知领域（如前沿定理证明或代码库合成），准确判定两个轨迹是否在语义上等价依旧具有主观性和难度。
- 未来方向：可进一步探索自适应的在线自监督聚类方法，将语义聚类机制延伸至多步树搜索与测试时 Scaling 范式中。
相关工作与启发¶
- vs DivPO (Lanchantin et al., 2025a)：DivPO 是基于 DPO 的离线偏好微调方案，仅在高质量候选里静态挑选最高/最低多样性对做对比更新；Darling 则是在线强化学习，在动态生成的轨迹中实时重加权，探索空间更广且上限更高。
- vs GRPO-Unlikeliness (He et al., 2025a)：后者通过对低似然样本赋予高奖励来缓解锐化，容易将梯度推向罕见但不合理的动作；Darling 依靠显式的跨轨迹语义等价聚类，保证多样性奖励只给予真正具备独立语义价值的高质量解答。
- vs 纯熵正则化：在复杂推理空间中，单纯增大 token 熵往往导致模型语无伦次；Darling 在语义轨迹层面引导探索，在保持甚至提升推理严谨性的同时发掘多样解法。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将长上下文语义划分分类器与在线 RL 奖励乘法融合，机制干净且理论自洽。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖非验证生成（创意写作、通用指令）与可验证竞赛数学，覆盖 4B/8B/14B/70B 多个模型量级，消融全面。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，数学论证与定性/定量实验分析透彻详实。
- 价值: ⭐⭐⭐⭐⭐ 为后训练阶段多样性坍塌与复杂推理探索瓶颈提供了通用可落地的解决方案。