Bayesian Preference Learning for Test-Time Steerable Reward Models¶

会议: NeurIPS 2026
arXiv: 2602.08819
领域: LLM对齐
关键词: 奖励模型, 贝叶斯偏好学习, 上下文学习, 测试时可控对齐, 强化学习

一句话总结¶

本文提出变分上下文奖励建模框架（ICRM），将测试时偏好建模转化为基于 Beta 先验的摊销变分推断，仅凭少量示例即可实现对未见偏好标准的单目标与多目标测试时动态调控，并从理论上证明了 KL 正则项对奖励过度优化的抑制作用。

研究背景与动机¶

在基于人类反馈强化学习（RLHF）的语言模型后训练管线中，分类器奖励模型（Classifier RM）通常基于 Bradley-Terry（BT）成对偏好模型构建，用于拟合静态偏好分布并充当单次提示-响应对的标量打分代理。然而，经典分类器奖励模型在训练完成后权重即被固化，既无法在测试时根据不同用户或动态准则自适应调整评估标准，又极易在强化学习策略迭代过程中陷入奖励过度优化（Over-optimization / Reward Hacking）。尽管基于生成式大模型的评测裁判（LLM-as-a-Judge）具备一定的少样本上下文适应能力，但其推理延迟极高、计算开销巨大且严重依赖专有闭源模型，无法满足大规模 RL 训练的高吞吐打分需求。

这种局限性的核心矛盾在于：现有的分类器奖励模型将偏好强度抽象为确定性的单一静态标量打分机制，缺乏一种既能保持高效分类打分架构、又能将提示中的上下文示例（In-Context Demonstrations）动态转化为后验偏好分布的贝叶斯推断框架。现有工作要么依赖多头结构预先固定有限的评价维度（如帮助性与无害性），要么通过模型合并粗粒度插值，难以灵活应对真实世界中多准则交织且动态迁移的复杂偏好。

本文的切入角度是：将上下文偏好示范视为关于潜在偏好概率的贝叶斯证据，利用 Bradley-Terry 模型在二元成对比较下的伯努利似然性质，引入共轭的 Beta 分布先验实现解析级摊销变分推断。核心 idea：将上下文奖励建模形式化为带有 Beta 先验的摊销变分推断（ICRM），由双输出分类头联合预测效用均值与证据置信度，利用 KL 正则化保障全局内部极值，从而在测试时仅靠少量示例实现方向可控、校准可控及多目标 Pareto 权衡的动态偏好对齐。

方法详解¶

整体框架¶

ICRM 的整体架构旨在保留经典分类器奖励模型单次前向打分高效性的同时，赋予其测试时上下文可控能力。给定由 $N$ 个偏好三元组构成的上下文示例集合 $\mathcal{C} = \{(x_j, y_{j,w}, y_{j,l})\}_{j=1}^N$ 以及待评估目标对 $(x, y_w, y_l)$，模型将整个上下文示范序列与目标对拼接后送入基础语言模型主干。分类头的最后一层被扩展为二维投影矩阵 $W_p \in \mathbb{R}^{d_{\text{model}} \times 2}$，分别输出与上下文紧密相关的局部效用得分 $u_\theta(x, y, \mathcal{C})$ 和置信度（证据强度）得分 $s_\theta(x, y, \mathcal{C})$。通过对成对差值与置信度的参数重整化，模型直接输出潜在偏好概率 $z \in [0, 1]$ 对应的 Beta 后验分布参数，并通过加权变分证据下界（Weighted ELBO）实现端到端训练。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：上下文示范集合 C<br/>与待评测候选对 (x, yw, yl)"] --> B["双头投影架构<br/>输出效用 u 与置信度 s"]
    B --> C["Beta 后验重参数化<br/>预测均值 μ 与集中度 τ"]
    C --> D["加权变分目标优化<br/>重构误差 + 均匀 Beta KL 约束"]
    D --> E["测试时置信度加权打分<br/>单目标/多目标动态自适应"]

关键设计¶

1. 双头投影架构：解耦偏好相对效用与上下文证据置信度 传统奖励模型仅预测一个标量得分，无法表达模型对上下文示范信息量与偏好确定性的认知。为了让模型在单一前向传播中同时编码偏好方向与证据强度，ICRM 将最后一层的投影头设计为双通道 $W_p \in \mathbb{R}^{d_{\text{model}} \times 2}$。对于给定的提示 $x$、候选响应 $y$ 以及上下文示范 $\mathcal{C}$，模型输出效用标量 $u_\theta(x, y, \mathcal{C})$ 和置信度标量 $s_\theta(x, y, \mathcal{C})$。当评估候选响应对 $(y_w, y_l)$ 时，分别计算所选与所弃响应的打分，记为 $u_w, u_l$ 及 $s_w, s_l$。效用差值决定偏好倾斜方向，而双样本置信度之和则反应了整体推断的确定性。

2. Beta 后验重参数化：将 Bradley-Terry 嵌入共轭贝叶斯推断 经典 Bradley-Terry 模型假定偏好概率由效用差值的 Sigmoid 函数给出：$P(y_w \succ y_l \mid x) = \sigma(r(x, y_w) - r(x, y_l))$，其观测似然为伯努利分布。利用伯努利似然与 Beta 分布的共轭性，ICRM 引入潜在偏好概率变量 $z = P(y_w \succ y_l \mid x, \mathcal{C}) \in [0, 1]$，并用变分后验分布 $q_\theta(z \mid x, y_w, y_l, \mathcal{C}) = \text{Beta}(z; \alpha_q, \beta_q)$ 近似真实后验。参数构造采用后验均值 $\mu$ 与集中度 $\tau$ 进行重整化： $$\mu = \sigma(u_w - u_l), \qquad \tau = \text{Softplus}(s_w) + \text{Softplus}(s_l) + 1$$ 对应的 Beta 分布超参数为 $\alpha_q = \mu \tau$、$\beta_q = (1 - \mu)\tau$。后验期望 $\mathbb{E}_{q_\theta}[z] = \frac{\alpha_q}{\alpha_q + \beta_q} = \mu$ 精确恢复了 Bradley-Terry 偏好形式，而 $\tau > 0$ 则刻画了后验分布的锐度，使模型天然兼容传统 BT 架构并具备不确定性表达能力。

3. 加权变分目标优化：通过狄利克雷/贝塔共轭实现解析解与边界防塌缩 真实后验难以解析求得，ICRM 构建加权证据下界（Weighted ELBO）作为优化目标： $$\mathcal{L}_{\text{ICRM}}(\mu, \tau; \alpha_0, \beta_0) = -\mathbb{E}_{q_\theta}[\log z] + \lambda(N) \mathbb{D}_{\text{KL}}(q_\theta(z) \parallel p(z))$$ 其中先验 $p(z)$ 选用无偏的均匀 Beta 先验 $\text{Beta}(1, 1)$（即 $\alpha_0 = \beta_0 = 1$），权重 $\lambda(N) = \lambda \cdot N^{-1}$ 随着示例数 $N$ 增加而单调衰减。由于 Beta 分布的期望对数具有解析形式，重构项可严格表示为双伽马函数之差：$-\mathbb{E}_{q_\theta}[\log z] = -(\psi(\mu \tau) - \psi(\tau))$；同时两个 Beta 分布之间的 KL 散度也具备解析闭式解。理论分析证明，当预测概率极化（$\varepsilon = 1 - \mu \to 0^+$）时，KL 项产生的效用梯度系数以 $\frac{\lambda \beta_0}{\tau \varepsilon}$ 的速率急剧发散，形成一道天然的数值屏障；定理 3.2 进一步证明优化目标在开区间内存在唯一的全局最优解： $$\tau^\star = \alpha_0 + \beta_0 + \frac{1}{\lambda(N)}, \qquad \mu^\star = \frac{\alpha_0 + 1/\lambda(N)}{\alpha_0 + \beta_0 + 1/\lambda(N)} \in (0, 1)$$ 这从数学上彻底杜绝了概率退化为 1 的边界塌缩，有效抑制了奖励模型的过度拟合与过度优化。

4. 测试时置信度加权打分：支撑下游 RL 探索的可靠标量信号 为了在强化学习训练（如 RLVR / GRPO）中将变分后验直接作为策略优化的标量奖励，ICRM 将学到的效用头与置信度头解耦整合为置信度加权打分函数： $$R(x, y, \mathcal{C}) = \text{Softplus}(s_\theta(x, y, \mathcal{C})) \times u_\theta(x, y, \mathcal{C})$$ 该设计直观地结合了偏好方向（效用 $u_\theta$）与上下文证据强度（置信度 $s_\theta$）。当上下文示范与待测样本高度相关、证据充分时，高置信度放大有效奖励；反之当上下文模糊或冲突时，置信度自适应降低，防止策略在低确定性区域激进漂移。

损失函数 / 训练策略¶

模型在微调阶段使用 Skywork-Preferences-v0.2 数据集，以预训练基座模型 Qwen3-4B 与 Llama-3.2-3B 为初始化底座，最大上下文长度设为 16,384 tokens。训练过程中针对每个样本随机从训练集采样 $N \in \{1, 2, 4, 8, 16\}$ 个示范构建上下文 $\mathcal{C}$，使用无任何自然语言提示语的极简模板拼接。超参数设置包括 $\lambda \in \{0.1, 0.5, 1.0\}$，有效批大小为 128，采用 Paged AdamW 8-bit 优化器，峰值学习率 $5.0 \times 10^{-6}$，经 512 次梯度更新完成单轮微调。

实验关键数据¶

主实验¶

在 RM-Bench 全面评测基准上，ICRM 与静态分类器奖励模型及生成式裁判基线进行了对比。下表汇总了各模型在 Chat、Safety、Code、Math 领域的偏好准确率（%），其中 ICRM 汇报了 4 次随机种子的均值与标准差：

模型类型	评估模型 / 配置	Chat	Safety	Code	Math	平均准确率
生成式基线	LLM-as-a-Judge (Qwen3-4B)	69.2	90.9	54.3	67.6	70.3
生成式基线	GRAM-r2	61.1	92.9	54.7	61.6	67.6
静态分类器	BTRM (Skywork)	69.3	96.0	53.2	62.1	70.2
静态分类器	ArmoRM	67.8	92.4	53.1	57.5	67.7
静态分类器	GRM	62.7	90.0	57.8	62.5	68.2
ICRM (本文)	$N = 1$	48.2 ± 12.6	85.6 ± 15.4	50.2 ± 6.5	58.0 ± 10.1	60.5 ± 3.5
ICRM (本文)	$N = 4$	59.5 ± 3.2	92.0 ± 0.9	53.3 ± 5.8	58.0 ± 1.8	65.7 ± 2.0
ICRM (本文)	$N = 8$	66.6 ± 1.9	91.7 ± 0.2	53.7 ± 6.1	58.5 ± 1.1	67.6 ± 1.6
ICRM (本文)	$N = 16$	64.5 ± 1.8	92.4 ± 0.9	54.3 ± 2.5	58.7 ± 0.4	67.4 ± 0.4
ICRM (本文)	$N = 32$	69.8 ± 3.1	91.1 ± 4.1	55.0 ± 0.7	60.3 ± 0.7	69.1 ± 0.9
ICRM (本文)	$N = 64$	70.1 ± 3.0	95.4 ± 0.5	55.4 ± 2.0	62.1 ± 1.1	70.8 ± 1.0

在可验证奖励强化学习（RLVR，数学推理 Qwen3-1.7B + GRPO）实验中，ICRM 与黄金答案验证器（Verifier）及经典 BT 模型对比，在 MATH-500 测试集上的策略准确率如下：

奖励配置	皮尔逊相关系数 $r$	线性拟合 $R^2_{\text{OLS}}$	等保拟合 $R^2_{\text{Iso}}$	MATH-500 策略准确率
初始基座 (Qwen3-1.7B Base)	—	—	—	37.2%
规则验证器 (Gold Verifier)	—	—	—	50.4%
经典 Bradley-Terry RM	0.663	0.439	0.428	51.4%
ICRM ($\lambda = 0.5$)	0.685	0.469	0.461	50.2%
ICRM ($\lambda = 0.1$)	0.691	0.477	0.459	53.8%

消融实验¶

基于 Qwen3-4B-Base 探究变分目标中 KL 正则化与示范自适应权重 $\lambda(N)$ 的核心作用（PKU-SafeRLHF 上的 ECE / RMSE 及 Pareto 超体积 HV，RM-Bench 上的 HV）：

模型变体	上下文示范数 $N$	PKU-SafeRLHF ECE ↓	PKU-SafeRLHF RMSE ↓	PKU-SafeRLHF HV ↑	RM-Bench HV ↑
上下文 BT (IC-BT)	4	0.25	0.29	0.33	0.89
ICRM (无 KL, $\lambda=0$)	4	0.28	0.34	0.29	0.84
ICRM (固定 KL, $\lambda(N)=0.1$)	4	0.20	0.22	0.38	0.96
ICRM (加权 KL, $\lambda(N)=\lambda/N$)	4	0.24	0.25	0.38	0.94
上下文 BT (IC-BT)	16	0.27	0.31	0.34	0.93
ICRM (无 KL, $\lambda=0$)	16	0.25	0.30	0.33	0.93
ICRM (固定 KL, $\lambda(N)=0.1$)	16	0.14	0.17	0.40	0.97
ICRM (加权 KL, $\lambda(N)=\lambda/N$)	16	0.13	0.16	0.40	0.98
上下文 BT (IC-BT)	32	0.26	0.29	0.35	0.93
ICRM (无 KL, $\lambda=0$)	32	0.25	0.29	0.34	0.91
ICRM (固定 KL, $\lambda(N)=0.1$)	32	0.14	0.16	0.38	0.98
ICRM (加权 KL, $\lambda(N)=\lambda/N$)	32	0.10	0.14	0.40	0.99

关键发现¶

上下文示例的显著单调增益：随着上下文示例数量从 $N=1$ 增加到 $N=64$，ICRM 的 RM-Bench 平均准确率从 60.5% 单调攀升至 70.8%，在 Chat 领域提升达 21.9%；反观静态 BTRM 与 GRM，在直接注入示例时准确率反而不升反降（BTRM 从 70.2% 降至 67.8%），证明静态模型无法自然具备上下文偏好理解能力。
KL 散度正则化是校准控制的核心支柱：消融实验显示，如果去掉 KL 正则项（$\lambda=0$），即使采用 Beta 重参数化，校准误差（ECE 0.25~0.28）和超体积也与普通 IC-BT 相当甚至更差；加入 KL 约束后，ECE 显著降低至 0.10，证明先验正则对抑制过度自信和维持连续调控至关重要。
极端偏好反转与多目标 Pareto 前沿平滑扩展：在道德两难与偏好反转实验中，ICRM 能够以高度平滑的对角线性跟踪翻转比例 $r$（ECE 从 0.099 降至 0.076，显著优于 LLM-as-a-Judge）；在应对“应当回答”与“应当拒绝”的冲突安全目标时，通过混合示例比例可平滑扫描整个 Pareto 前沿，且随着 $N$ 增加超体积持续扩大。
RLVR 中超越黄金验证器：在 MATH-500 任务中，基于 ICRM 置信度加权奖励训练的策略达到了 53.8% 的准确率，相比黄金答案验证器的 50.4% 和静态 BT 模型的 51.4% 分别高出 3.4% 和 2.4%，展现出连续置信度奖励相比离散 0/1 规则反馈的优越性。

亮点与洞察¶

贝叶斯框架与经典判别式奖励模型的优雅闭式统一：本文巧妙利用成对偏好的伯努利似然特性，将 Beta-Bernoulli 共轭结构无缝嵌入神经网络分类头，使变分推断中的重构项与 KL 项全部具备解析解，既无需复杂的蒙特卡洛采样，又彻底摆脱了生成式裁判的高昂时延。
理论推导破除过度优化宿命：通过对边界偏好梯度的渐近分析，严密证明了在有限置信度下 KL 正则项构筑的效用阻尼屏障，确立了唯一的内部全局最优解 $\mu^\star \in (0, 1)$，为长久以来困扰 RLHF 的奖励过度优化问题提供了坚实的数学理论解释与解决方案。
即插即用的多目标测试时动态转向：无需重新微调模型权重或预设离散目标维度，用户仅需在 Prompt 中变更或混合几条示范样本，即可实时重塑奖励模型的价值取向，为个性化智能体对齐提供了极具实用价值的范式。

局限与展望¶

长上下文长度限制：当前实验中模型的最大上下文窗口限制在 16,384 tokens，当示范样本推理链较长或样本数量大幅增加时可能超出窗口，未来需要拓展至更大上下文窗口模型。
潜在的双刃剑安全风险：实验表明 ICRM 具备极强的方向适应性，在注入反转示范时甚至能以高达 89% 的准确率顺从有害偏好，这要求在实际部署时必须强制引入底层的安全护栏约束，防止恶意示范劫持奖励信号。
先验分布的多样性有待扩展：当前方法主要采用无信息的均匀 Beta 先验 $\text{Beta}(1, 1)$，未来可以探索利用群体合成角色（Synthetic Personas）或多模型投票构建更具结构化的先验分布。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 Beta 先验共轭变分推断引入成对奖励建模，实现了闭式解析优化与测试时动态偏好调控。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RM-Bench、道德困境、安全冲突 Pareto 前沿及 RLVR 强化学习下游验证，消融与梯度理论完备。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密规范，问题界定清晰，理论分析与实验设计自洽且具有极强的启发性。
价值: ⭐⭐⭐⭐⭐ 为轻量分类器奖励模型注入了急需的测试时灵活性与抗过度优化机制，极具工程落地与学术价值。