Focal Reward: Balanced Reinforcement Learning under Rubric-Based Rewards¶

会议: NeurIPS 2026
arXiv: 2605.26579
领域: 强化学习
关键词: 细则奖励, 强化学习, 逆奖励投影, 焦点重加权, 多目标对齐

一句话总结¶

针对开放域生成中基于细则的强化学习（Rubric-based RL）因静态标量化权值导致的奖励极化与维度不平衡瓶颈，本文提出 Focal Reward，利用逆奖励投影机制动态估计前沿样本各维度的饱和度，将优化重点自适应转移至高提升潜力的未饱和准则，在三大模型规模与六大评测基准上均超越现有静态聚合基线。

研究背景与动机¶

大语言模型在数学和代码等形式化任务中能够依赖可验证的正确性奖励，但在开放域文本生成任务中，质量评判天生具备多维主观性与复杂的约束权衡。为了克服整体偏好信号过于模糊和不可解释的缺陷，基于细则（Rubric-based）的 AI 裁判逐渐成为前沿对齐范式的核心接口，通过多项细粒度准则（如行文流畅性、格式规范、事实严谨度、特定角色设定与深层指令约束）对候选响应展开成对多维评分。然而，在现有将多维细则反馈转换为标量强化学习信号的管线中，主流做法依然依赖预设或均匀的静态加权标量化（Static Scalarizer）。

这种静态加权机制在强化学习训练轨迹中暴露出了致命的「奖励极化失衡」矛盾。由于细则涵盖的各维度难度截然不同，语言模型在训练初期即可迅速攻克流畅度、字数要求或基础排版等表层「简单准则」，使其率先进入饱和区；而涉及微妙逻辑推理、角色人设保持或深层特定指令等「高难准则」，往往需要更长的训练步数且难以突破。静态标量化无法感知不同准则的动态饱和演变，依然向早熟饱和的简单维度持续分配固定权值。结果导致模型出现高奖励却严重缺陷的行为：即便生成的响应严重违反了核心的人设或关键指令，只要在表层质量与排版上表现优异，累加的标量奖励依然高于完全遵循关键指令的响应，强化学习退化为「刷容易得分的维度，忽视用户真实诉求」。

面对这一困境，现有规则截断或硬性否决机制（如 Veto、Min-Score）往往由于非平滑或对裁判噪声极其敏感而难以规模化扩展。本文的切入角度是：无需改动细则设计、裁判模型或底层策略优化算法，仅仅在细则评分向标量奖励聚合的合成节点进行动态矫正。核心 idea：利用基于 Gibbs 采样的逆奖励投影机制，自适应估计候选前沿集合在各细则维度的动态饱和度，据此调低已饱和维度的权重并放大高剩余提升空间（High-Headroom）维度的更新信号，在训练过程中动态平衡策略优化方向。

方法详解¶

整体框架¶

在基于细则的组相对策略优化（如 GRPO / GSPO）设定下，输入提示词 $x$ 采样出包含 $G$ 个候选响应的组 $Y = \{y_i\}_{i=1}^G$。评测阶段通过 LLM 裁判针对细则中的 $K$ 项准则 $\mathcal{C}=\{c^{(k)}\}_{k=1}^K$ 提供成对评分向量 $\bm{s}_{i,j} \in [0, S_{\max}]^K$。传统方法使用静态基础权重 $\bm{w}_{\mathrm{base}}$ 直接点积求和得到标量边际并计算成对排名奖励；而 Focal Reward 则在保持评分完全复用的前提下，引入轻量的前沿逆投影与自适应焦点重加权聚合，使策略梯度的信用分配紧密跟随仍有提升空间的瓶颈维度。

方法的整体工作流包含三个阶段：首先利用静态基础权重计算初始基础奖励，并借助 Gibbs 温度分布将离散成对优胜聚合为响应级前沿权重；随后将前沿权重逆向投影回细则各维度，衡量不同准则在当前强响应前沿的饱和程度；最后结合剩余空间缩放系数与平滑曲率生成焦点权重向量，重新计算成对边际与标量奖励并推入组策略梯度优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["提示词与候选采样<br/>组采样 G 个候选响应"] --> B["细则裁判成对多维评分<br/>获得 K 维细则评分矩阵"]
    B --> C["前沿逆奖励投影<br/>Gibbs 权重加权估计各准则饱和度"]
    C --> D["焦点权重重平衡<br/>依据剩余空间放大未饱和准则权重"]
    D --> E["焦点标量奖励合成与策略优化<br/>重新标量化计算优势并执行组相对更新"]

关键设计¶

1. 基础成对聚合与离散奖励评分：构建初始基准信用

在输入提示词 $x$ 下，裁判对有序响应对 $(y_i, y_j)$ 在准则 $c^{(k)}$ 上打分 $s_{i,j}^{(k)} \in [0, S_{\max}]$。静态基准标量得分与成对边际定义为加权内积： $$S_{i,j}(\bm{w}) = \langle\bm{w}, \bm{s}_{i,j}\rangle = \sum_{k=1}^K w^{(k)} s_{i,j}^{(k)}, \qquad \Delta_{i,j}(\bm{w}) = S_{i,j}(\bm{w}) - S_{j,i}(\bm{w})$$ 为了克服连续小分值噪声带来的梯度扰动，成对边际经过带强偏好阈值 $\tau$ 的离散计分函数 $\Phi_\tau(\Delta)$ 转换为成对胜负点数，并在采样组内对所有对比样本累加得到候选响应 $y_i$ 的基础标量奖励 $R_i(\bm{w}_{\mathrm{base}})$： $$\Phi_\tau(\Delta) = \begin{cases} 2\,\mathrm{sgn}(\Delta), & |\Delta| \ge \tau \\ \mathrm{sgn}(\Delta), & 0 < |\Delta| < \tau \\ 0, & \Delta = 0 \end{cases}, \qquad R_i(\bm{w}) = \sum_{j \ne i} \Phi_\tau(\Delta_{i,j}(\bm{w}))$$ 该步骤确立了未校准前的响应整体优劣排序，构成了后续前沿识别的锚点。

2. 前沿逆奖励投影：基于 Gibbs 分布估计维度饱和度

简单对整个候选池中所有响应的细则得分取算术平均并不能真实反映模型的「改进前沿」，因为低质劣解的普遍欠缺会掩盖优秀候选在关键准则上的真实瓶颈。Focal Reward 引入温度为 $T > 0$ 的 Gibbs 分布，将各响应的基础标量奖励转化为归一化概率权重 $r_i$： $$r_i = \frac{\exp(R_i(\bm{w}_{\mathrm{base}})/T)}{\sum_{i'=1}^G \exp(R_{i'}(\bm{w}_{\mathrm{base}})/T)}$$ 利用这一强化了优秀响应权重的分布向量 $\bm{r}=(r_1, \dots, r_G)$，对每个候选在各准则上的平均成对得分 $\bar{s}_i^{(k)} = \frac{1}{G-1} \sum_{j \ne i} s_{i,j}^{(k)}$ 进行加权逆投影，从而计算出第 $k$ 个准则在当前强响应前沿的有效饱和度 $P^{(k)} \in [0, 1]$： $$P^{(k)} = \frac{\langle\bm{r}, \bar{\bm{s}}^{(k)}\rangle}{S_{\max}}$$ 当优秀响应在某准则上普遍得分极高时，$P^{(k)} \to 1$，表明该维度优化已接近平台期；反之，若优秀候选在某准则上依然得分低迷，则 $1 - P^{(k)}$ 保持高位，精准标识出仍具巨大提升潜力的前沿短板。

3. 焦点自适应重加权聚合：守恒总质量下的潜力引导

在得到饱和度向量 $\bm{P} = (P^{(1)}, \dots, P^{(K)})$ 后，模型使用未饱和裕度（Remaining Frontier Headroom） $\bm{1} - \bm{P}$ 对基础细则权重 $\bm{w}_{\mathrm{base}}$ 进行非线性调制。为了防止零权重导致的梯度截断并调节重加权强度，引入平滑常数 $\epsilon > 0$ 与曲率超参数 $\gamma > 0$： $$\tilde{\bm{w}} = (\bm{1} - \bm{P} + \epsilon)^\gamma \odot \bm{w}_{\mathrm{base}}, \qquad \bm{w}_{\mathrm{focal}} = \frac{\langle\bm{w}_{\mathrm{base}}, \bm{1}\rangle}{\langle\tilde{\bm{w}}, \bm{1}\rangle} \tilde{\bm{w}}$$ 归一化因子保证了 $\bm{w}_{\mathrm{focal}}$ 的权重总和与 $\bm{w}_{\mathrm{base}}$ 严格恒等，使得重加权仅改变不同准则间的相对重要性，而不会任意缩放总体奖励量级或破坏策略优化器的超参数稳定性。随后将 $\bm{w}_{\mathrm{focal}}$ 代入成对边际计算，生成焦点奖励 $R_i(\bm{w}_{\mathrm{focal}})$。计算全过程完全复用已有的裁判成对得分张量，单次梯度步增加的合成耗时仅为数十毫秒。

损失函数 / 训练策略¶

计算得到修正后的标量奖励 $R_i(\bm{w}_{\mathrm{focal}})$ 之后，算法将其转化为采样组内的相对优势值： $$\hat{A}_i = \frac{R_i(\bm{w}_{\mathrm{focal}}) - \mathrm{mean}(\{R_j\})}{\mathrm{std}(\{R_j\})}$$ 采用 GRPO / GSPO 的裁剪重要性采样目标进行策略更新： $$\mathcal{J}_{\mathrm{GRPO}}(\theta) = \mathbb{E}\left[ \frac{1}{G}\sum_{i=1}^G \frac{1}{|y_i|}\sum_{t=1}^{|y_i|} \left( \min(r_{i,t}(\theta)\hat{A}_i, \mathrm{clip}(r_{i,t}(\theta), 1-\epsilon_{\mathrm{clip}}, 1+\epsilon_{\mathrm{clip}})\hat{A}_i) - \beta D_{\mathrm{KL}}(\pi_\theta \| \pi_{\mathrm{ref}}) \right) \right]$$ 理论层面，作者推导了局部信用错配上界 $\Pr(L_t \bm{a}^\top \bm{D}_t \le 0) \le \exp(-\frac{1}{2} \Xi_t(\bm{a}))$，其中 $\Xi_t(\bm{a})$ 刻画了标量化器的局部信噪比。理论证明在各准则剩余提升空间异质时，最优标量化器方向满足 $[\bm{a}_t^\star]^{(k)} \propto w_{\mathrm{base}}^{(k)} (H_t^{(k)})^{\gamma_0}$，静态权重相较于最优方向产生的代理损失差距严格正比于加权方差 $\mathrm{Var}_\mu(H_t^{\gamma_0})$，有力证明了动态引入前沿剩余裕度调优奖励的理论完备性。

实验关键数据¶

主实验¶

实验基于 verl 框架与 GSPO 算法，在 32 张 H800-80GB GPU 上对 Qwen2.5-7B-Instruct、Qwen3-8B 以及 Qwen3-30B-A3B 三种规模模型进行训练。训练数据包含通用域与科学域各 10K 样本，评测涵盖通用基准（AlpacaEval 2.0、Arena-Hard、WritingBench、EQ-Bench 3）与科学基准（GPQA Diamond、HealthBench）。

下表为不同骨干模型在六大基准上的综合性能对比（单位：%）：

骨干模型与方法	AE2	AH	WB	EQB3	GPQA	HB	平均分
Qwen2.5-7B-Instruct (Base)	24.50	39.91	47.16	35.31	33.74	22.29	33.82
+ Veto (硬规则否决)	35.84	40.70	50.92	40.42	34.96	38.27	40.19
+ Min-Score (瓶颈最小分)	40.31	37.18	50.81	39.16	35.90	40.18	40.59
+ Static (uniform 均匀权重)	41.22	48.06	53.52	41.78	36.05	40.31	43.49
+ Static (prior 先验权重)	40.86	47.48	52.71	41.24	36.55	40.65	43.25
+ Focal Reward (uniform)	44.06	51.93	54.76	43.72	37.44	42.16	45.68
+ Focal Reward (prior)	43.75	50.83	53.89	43.53	37.63	41.89	45.25
Qwen3-8B (Base)	53.86	49.90	63.51	47.70	48.33	36.57	49.98
+ Static (prior)	71.81	60.23	68.04	53.07	51.31	47.37	58.64
+ Focal Reward (uniform)	74.15	59.83	70.50	54.69	52.15	48.81	60.02
+ Focal Reward (prior)	73.96	60.47	70.24	54.38	52.21	48.50	59.96
Qwen3-30B-A3B (Base)	63.36	55.26	64.76	51.80	51.10	40.26	54.42
+ Static (prior)	75.63	80.21	72.05	58.13	56.22	55.95	66.36
+ Focal Reward (uniform)	76.87	83.99	73.92	58.98	57.04	56.67	67.91
+ Focal Reward (prior)	77.59	88.69	73.38	59.03	57.07	57.39	68.86

消融实验与机制分析¶

针对核心模块设计的必要性，作者在通用域 Qwen2.5-7B-Instruct 上进行了关键组件消融，下表展示了具体指标变化：

实验配置	AE2	AH	WB	EQB3	平均分	说明
Focal Reward (完整方法)	44.06	51.93	54.76	43.72	48.62	动态前沿加权 + 在线自适应
w/o 前沿加权 (Frontier Weighting)	41.75	48.73	53.96	42.35	46.70	退化为全采样池均匀平均计算饱和度，丢点 1.92
w/ 冻结标量化器 (Frozen Scalarizer)	40.97	47.67	53.63	41.89	46.04	仅在第一步计算权重后全程冻结，丢点 2.58，甚至略低于静态基线
Static Baseline (基准静态聚合)	41.22	48.06	53.52	41.78	46.15	固定均匀权重

此外，针对细则难度的层级分析与计算开销如下： 1. 难度层级指标：初始得分 $<5$ 的困难准则上，Static 训练后通过率为 39.2%，而 Focal Reward 跃升至 47.4%（均分从 5.24 提至 5.71）；而在初始得分 $>8.5$ 的简单准则上，Focal 保持 9.50 分与 88.2% 通过率，与 Static（9.51 分、88.6%）完全相当，证实高难准则的跃升并未牺牲已掌握的简单维度。 2. 训练效率与文本长度：在 Qwen2.5-7B-Instruct 上，Static 最终输出均长达 1351 tokens，而 Focal Reward 仅为 1083 tokens（缩短 268 tokens）。由于消除了靠堆砌篇幅和表层修饰赚取奖励的作弊行为，单步端到端耗时从 282.0 秒骤降至 175.4 秒（节省 106.6 秒），而奖励合成计算本身仅微增 36 毫秒。

关键发现¶

前沿识别对饱和度估计至关重要：若抛弃 Gibbs 权重改用全局算术平均，得分大幅滑落至 46.70；这是因为劣质生成普遍欠佳的分值会稀释强响应的真实瓶颈，导致权重无法精准向关键未饱和维度倾斜。
在线动态重加权的不可替代性：冻结初始计算得到的权重（46.04 分）比静态均匀基线更差，说明策略在训练推进过程中其能力短板处于动态转移状态，唯有在线自适应跟踪方能维持最优梯度方向。
对先验权重的强鲁棒性：无论从 Uniform（均匀）还是 GPT-4o 生成的 Prior（先验）初始化出发，经过 Focal Reweighting 调制后的权重向量余弦相似度均高达约 0.90，证明该方法具备收敛到内在数据瓶颈的极强抗先验干扰能力。

亮点与洞察¶

将 Focal 机制精妙映射至多准则前沿标量化：经典目标检测中的 Focal Loss 作用于样本分类置信度，而本文将这一思想升华为强化学习多维细则中前沿饱和度的逆投影计算，机制简洁且无需二次调用大模型裁判。
天然抑制长文本谄媚与冗余作弊：静态加权常诱导模型通过拉长文本、增加空洞排版来刷取表层质量分；Focal Reward 快速压制了表层格式维度的奖励贡献，迫使模型直击核心难题，在生成长度显著缩减约 20% 的同时全面提升了实质解答质量。
计算代价几乎为零的即插即用升级：方法完全解耦于裁判生成模型与策略架构，不增加生成轮数或裁判推理前向次数，仅通过矩阵级向量操作调制权重，能够无缝嫁接到任何基于细则的 RL 管线中。

局限与展望¶

受制于裁判评分标定的绝对可信度：虽然方法通过成对边际差值驱动最终优势，但逆投影估计饱和度时依赖裁判给出的绝对分值。若裁判模型存在严重的单调漂移或尺度混乱，可能导致饱和度估计失真。
准则间正负相关性未被协方差建模：目前自适应权重按维度独立缩放（即假设不同准则为对角残差），尚未考虑跨准则之间可能存在的互斥对抗约束或协同效应。
未来的动态超参数探索：当前曲率 $\gamma$ 和温度 $T$ 为全局固定静态设定，未来若能根据策略训练熵或损失曲率自适应退火，有望进一步加速收敛过程。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次敏锐指出细则强化学习中的饱和极化困境，将逆奖励投影引入多准则标量化，设计精炼自洽。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B、8B、30B-A3B 三类主流模型，跨越通用与科学六大多维评测基准，并配套详细的机制验证与开销分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备，问题剖析层层递进，实验图表严谨翔实。
价值: ⭐⭐⭐⭐⭐ 作为即插即用的奖励合成算子，能直接提升工业界与学术界开放域大模型 RLAIF 的训练效率与对齐质量。