S2T-RLHF: Hierarchical Credit Assignment for Stable Preference-Based RLHF¶

会议: NeurIPS 2026
arXiv: 2607.18258
OpenReview: https://openreview.net/forum?id=s0T8MQbeRk
代码: https://pasalab.github.io/S2T-RLHF
领域: 对齐/RLHF
关键词: 大语言模型对齐, 人类反馈强化学习, 信用分配, 纳什讨价还价, 狄利克雷分布

一句话总结¶

针对传统 RLHF 仅依赖序列级标量奖励导致信用分配模糊、策略更新方差过大的痛点，本文提出两阶段分层信用分配框架 S2T-RLHF，先通过句子间合作讨价还价分配语义奖励，再通过轻量狄利克雷网络实现有界词元级微调，在无需重训奖励模型的前提下显著提升了对齐训练的稳定性与鲁棒性。

研究背景与动机¶

基于人类偏好反馈的强化学习（RLHF）已成为大语言模型对齐的核心范式，在提升模型有用性、无害性及指令遵循能力方面发挥着关键作用。然而，现有标准 RLHF 流程在长程文本生成优化中普遍面临显著的不稳定性问题，诸如长度偏置（length bias）、奖励高度集中（reward concentration）以及偶发的奖励崩塌（reward collapse）等病态现象屡见不鲜。其深层根源在于奖励信号与生成粒度之间的结构性失配：判别式的偏好奖励模型仅向完整响应输出一个全局标量得分，导致强化学习必须将该终端标量沿着自回归解码轨迹反向传递，在数十乃至数百个离散词元决策步中产生方向高度一致、方差剧烈放大的梯度更新。

为缓解这一监督过粗的问题，近期工作尝试将序列级奖励细化为更加密集的词元级信用分配（如利用注意力权重、辅助判别器或 Shapley 值分解）。然而，这些尝试普遍隐含着一个假设——分配粒度越细，策略优化就越好。本文指出该假设在偏好对齐场景下是不完备的：人类对文本质量的判断通常锚定在句子或完整语义命题单元上（例如某一陈述是否准确、指引是否落实、语气是否合规），单个离散词元由于缺乏上下文往往缺乏可解释的独立偏好意义。当偏好信号本身包含噪声且仅定义于响应层面时，强行追求极细粒度的逐 token 拆解反而会放大奖励模型的不确定性与局部伪影，在较高学习率下极易诱发优化漂移乃至策略崩塌。

因此，稳定 RLHF 的关键不在于追求极限的分配精度，而在于使奖励分配粒度与自然语言的层级语义结构深度对齐。核心 idea：提出层次化语义信用分配框架 S2T-RLHF，将全局偏好奖励分解为句子级纳什合作讨价还价分配与句子内部有界狄利克雷词元微调两阶段，在不重训奖励模型和无需人工细粒度标注的前提下实现稳定且语义自洽的密集强化学习监督。

方法详解¶

整体框架¶

S2T-RLHF 遵循“语义粗分、局部微调”的层级设计思想。系统输入为 Prompt \(x\) 与策略模型生成的完整响应序列 \(y=[s_1,\dots,s_K]\)，固定且冻结的偏好奖励模型计算出全局序列级标量得分 \(R(x,y)\)。在第一阶段（句子级分配），框架提取各句子的上下文嵌入，通过轻量级语义扰动探测各句子对全局奖励的潜在影响向量，构建句子交互矩阵，并利用纳什讨价还价（Nash Bargaining）不动点求解器将全局奖励质量严格守恒地分配到各句子上；在第二阶段（词元级微调），基于策略隐层表示，轻量狄利克雷词元分配网络（DTAN）在单句单纯形约束下预测归一化的非负 token 权重，进而对 PPO 优势函数实施有界调制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt + 生成响应序列"] --> B["句子语义扰动与潜在影响估计<br/>单句删除扰动拟合影响向量 v_i"]
    B --> C["句子级合作讨价还价分配<br/>纳什均衡不动点迭代解算句子奖励 r_i"]
    C --> D["狄利克雷词元级有界微调<br/>DTAN 网络输出局部单纯形权重 c_s,t"]
    D --> E["调制型优势函数构建与策略更新<br/>全局标量基准截断调制，PPO 稳定更新"]

关键设计¶

1. 句子级潜在语义影响估计与交互建模：解决单句贡献不可观测难题 为了刻画各句子在整个自回归上下文中对全局奖励的真实敏感度，模型首先将每个句子 \(s_i\) 映射为编码嵌入 \(z_i = \text{Enc}(s_i)\)。针对句子 \(s_i\)，系统通过删除内容词生成最多 \(K_p=3\) 个局部扰动变体 \(s_i^{(k)}\)，将变体插回原序列得到扰动响应 \(x^{(i \to k)}\)，分别测量全局奖励差异 \(\Delta R_{i,k} = R(x) - R(x^{(i \to k)})\) 与嵌入语义变化 \(\delta_{i,k} = z_i - z_i^{(k)}\)。随后，利用岭回归（Ridge Regression）拟合该句子的奖励敏感方向向量 \(v_i \in \mathbb{R}^d\)：

\[v_i = \arg\min_{v} \sum_{k} \left(\Delta R_{i,k} - \langle v, \delta_{i,k} \rangle\right)^2 + \lambda \|v\|_2^2\]

根据各句子的影响向量矩阵 \(V = [v_1,\dots,v_K] \in \mathbb{R}^{d \times K}\)，定义句子语义交互矩阵 \(M = V^\top V\)。\(M_{ij}\) 刻画了句子 \(i\) 与句子 \(j\) 在偏好特征空间中的语义对齐度与协同效应，彻底摆脱了对奖励模型可微性或内部注意力权重的先验假设。

2. 基于纳什讨价还价的公平奖励分配：打破序列长度偏置与单句抑制 在句子层级，信用分配的核心在于保证逻辑完整性与句子间公平性，避免长句因 token 数量多而垄断更新梯度。S2T-RLHF 将句子分配建模为合作博弈中的纳什讨价还价问题。引入讨价还价系数 \(\beta \in \mathbb{R}^K_{>0}\) 定义聚合语义方向 \(h = \sum_j \beta_j v_j\)，句子 \(i\) 的潜在效用定义为其与群体方向的对齐度：\(u_i = \max((M\beta)_i, \varepsilon)\)。通过最大化乘法形式的纳什乘积目标 \(\mathcal{B}(\beta) = \sum_{i=1}^K \log u_i\)，诱导出尺度不变且对称的均衡分配：

\[\beta^{(t+1)} = (1 - \eta)\beta^{(t)} + \eta \left(\max(M\beta^{(t)}, \varepsilon)\right)^{\odot -1}\]

其中 \(\eta \in (0, 1]\) 为阻尼因子，\(\varepsilon > 0\) 为正性安全阈值。收敛后归一化得到句子分配权重 \(\omega_i = u_i / \sum_j u_j\)，各句子获得的初始奖励分额为 \(r_i = \omega_i R(x)\)。该机制严格满足奖励守恒性 \(\sum_i r_i = R(x)\)，有效防止核心语义句被低估或淹没。

3. 基于狄利克雷网络的有界词元微调：兼顾信息密度差异与方差控制 句子内部不同词元的信息密度迥异，动词、名词、逻辑连接词承载核心信息，而助词或虚词贡献微弱。但无约束的逐 token 重新加权会导致梯度方差激增。S2T-RLHF 设计了轻量级狄利克雷词元分配网络（DTAN），利用策略隐层状态 \(h_{s,t}\) 映射为正向集中参数 \(\alpha_{s,t} = \text{softplus}(f_\phi(h_{s,t}))\)，其中 \(f_\phi\) 为轻量双层 MLP。token 的局部贡献系数 \(c_{s,t}\) 显式取自狄利克雷分布的期望值：

\[c_{s,t} = \frac{\alpha_{s,t}}{\sum_{k=1}^{L_s} \alpha_{s,k}}\]

天然满足非负性 \(c_{s,t} \ge 0\) 与句内单纯形归一化 \(\sum_{t=1}^{L_s} c_{s,t} = 1\)。单个词元对应的分配质量为 \(w_{s,t} = \omega_s \cdot c_{s,t}\)，确保了整体奖励质量在 token 层级的完整守恒与处处可微。

损失函数 / 训练策略¶

DTAN 网络不参与奖励模型的预训练阶段，而是在 RLHF 优化期间与策略模型 \(\pi_\theta\) 端到端联合更新。为避免极值 token 权重破坏 PPO 训练的稳定性，系统将平铺后的全序列归一化权重 \(w_t / \bar{w}\)（其中 \(\bar{w} = \frac{1}{T}\sum_t w_t\)）作为调制因子，并引入截断区间与混合系数 \(\lambda \in [0, 1]\) 构造稳定的词元级优势函数：

\[A_t = A^{(\text{seq})} \cdot \left[ (1 - \lambda) + \lambda \cdot \text{clip}\left(\frac{w_t}{\bar{w}}\right) \right]\]

其中 \(A^{(\text{seq})} = R^{(\text{seq})} - b\) 为传统 PPO 的序列级全局优势。策略模型以 PPO 目标函数进行更新：

\[\mathcal{L}_{\text{RLHF}}(\theta) = -\mathbb{E} \left[ A_t \log \pi_\theta(y_t \mid x, y_{<t}) \right]\]

通过有界截断调制，S2T-RLHF 既保留了全局优势的大尺度方向与符号控制，又赋予关键决策词元差异化的学习强度，从根本上削弱了全局优势对齐效应与长程方差放大。

实验关键数据¶

主实验¶

实验采用 Gemma-2-9B 作为策略模型基座，以 RM-Gemma-2B 为训练奖励模型，在开源偏好基准 HH-RLHF 上基于单卡 A100-80GB 进行标准 PPO 训练。评测采用双评测器协议，分别使用 GPT-4o-mini 作为独立裁判（LLM-as-a-Judge）以及独立的强判别模型 RM-Gemma-7B 进行成对偏好胜率评估。基线包括传统序列级 RLHF、基于注意力分配的 ABC 以及基于 Shapley 值边际贡献分解的 SCAR。

评测模型	对比基线	本文胜率 Win (%) ↑	负率 Lose (%) ↓	平局 Tie (%)
GPT-4o-mini	vs. RLHF	53.0	36.5	10.5
GPT-4o-mini	vs. ABC	51.5	38.0	10.4
GPT-4o-mini	vs. SCAR	48.1	43.1	8.8
RM-Gemma-7B	vs. RLHF	51.1	39.5	9.4
RM-Gemma-7B	vs. ABC	48.7	43.8	7.5
RM-Gemma-7B	vs. SCAR	45.8	44.1	10.1

消融实验¶

为系统解构两阶段层级架构的作用，论文对比了序列级基线（RLHF）、仅句子级均匀分配（Sent.）、仅词元级细化分配（Token）以及机制替换方案（纳什分配替换为均匀/按句长分配，DTAN 替换为均匀/线性Softmax）。

评测器 / 机制配置	对比项 / 分配方案	胜率 Win (%) ↑	负率 Lose (%) ↓	平局 Tie (%)	优化抖动 Obj-Δ ↓
GPT-4o-mini 评测	vs. RLHF (序列基线)	53.0	36.5	10.5	-
GPT-4o-mini 评测	vs. Sent. (仅句子级)	54.5	35.4	10.1	-
GPT-4o-mini 评测	vs. Token (仅词元级)	48.6	41.6	9.8	-
Stage-I 机制消融	Uniform (均匀分配)	51.4	38.8	9.8	0.00622
Stage-I 机制消融	Length-prop. (按句长)	51.1	41.3	7.6	0.00229
Stage-I 机制消融	Nash (本文纳什讨价还价)	53.3	38.3	8.4	0.00101
Stage-II 机制消融	Uniform (句内均匀)	48.5	39.1	12.4	0.00132
Stage-II 机制消融	Linear+softmax	52.9	38.5	8.6	0.00192
Stage-II 机制消融	DTAN (本文狄利克雷)	53.3	38.3	8.4	0.00101

关键发现¶

训练过程中的优化目标波动（Obj-\(\Delta\)）显示，S2T-RLHF 在早期阶段（0–1000步）的 Obj-\(\Delta\) 仅为 0.00101，相比传统 RLHF 的 0.01134 降低了一个数量级，大幅平抑了优化抖动。
仅做词元级分解（Token-only）在后期虽然能带来较强策略漂移（KL 上升），但在高学习率（如 \(1\times 10^{-5}\)）压力测试下极易产生高频震荡乃至训练崩溃（训练奖励转为负值）；而句子级分配（Sent-only）能在早期迅速稳住优化进程。
计算耗时分析表明，S2T-RLHF 单步训练耗时 21.18 秒，相比 Shapley 边际贡献方法 SCAR（26.98 秒/步）显著节省 21.5% 耗时；开销主要集中在单句扰动的多次前向打分（8.81 秒），而纳什求解（0.12 秒）与 DTAN（0.61 秒）自身极为轻量。

亮点与洞察¶

提出“粒度与语义层次匹配”而非盲目追求极细粒度的对齐哲学：从理论上揭示了粗暴推进到 token 级分解会放大奖励模型噪声与局部伪影，证明了句子级语义单位作为中介桥梁对稳定训练的决定性作用。
巧妙将博弈论纳什讨价还价引入序列级奖励分配：不依赖奖励模型梯度或注意力机制，通过黑盒语义扰动与不动点迭代解算多句协同权重，兼具尺度不变性与公平性。
狄利克雷网络实现单纯形约束下的有界优势调制：利用狄利克雷期望的非负与归一化特性，避免了无界权重的梯度爆炸风险，为其他长序列强化学习的细粒度信用分配提供了通用范式。

局限与展望¶

严重受制于黑盒奖励模型本身的准确性：分层奖励分解仅重塑学习梯度的流向，无法纠正奖励模型自身存在的偏见或错误偏好（若奖励模型为错误响应打出高分，分解后依然会强化该错误偏好）。
对代码执行与严格数学证明等强符号推理任务适配性有限：此类任务高度依赖符号逻辑步骤的确定性验证（如编译通过或中间步验证），以自然语言句子为单位的语义讨价还价难以直接捕获符号推理依赖。
扰动前向评估存在一定计算开销：每个句子都需要前向探测全局奖励变化，未来有必要探索基于参数化摊销评估（Amortized Estimation）或批处理缓存来进一步降低推断延迟。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将句子级纳什博弈与狄利克雷词元微调结合，重新思考了偏好对齐中奖励粒度与稳定性的关系，视角新颖]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖多类评测器、跨数据集零样本泛化、多阶学习率压力测试、稳定性定量分析及机制消融，论证详实]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述逻辑自洽，数学推导与附录证明完整，图表详实且对传统 RLHF 失败机理分析透彻]
价值: ⭐⭐⭐⭐☆ [为解决大模型 RLHF 训练高方差与崩塌难题提供了即插即用、无需重训奖励模型的实用解法，工业落地价值高]