跳转至

HARVE: Hacking-Aware Reward-Head Vector Editing for Robust Reward Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/olivialiu121/HARVE-Reward-Head-Editing
领域: 信息检索 / 奖励模型鲁棒性
关键词: 奖励模型, 奖励作弊, 向量编辑, 免反向传播, 高风险专业领域

一句话总结

本文提出免反向传播的标量奖励模型头向量编辑方法 HARVE,通过从被攻破样本中提取多方向作弊子空间并消除头向量投影分量,在无需微调的情况下显著提升高风险专业与通用领域的防作弊鲁棒性。

研究背景与动机

在大语言模型(LLM)的对齐流程与强化学习反馈(RLHF)中,奖励模型(Reward Model, RM)扮演着核心打分与价值导向的角色。然而,现有标量奖励模型普遍存在严重的奖励作弊(Reward Hacking)漏洞——候选回复常常能够利用表面相关但与事实正确性或逻辑质量无关的浅层线索(例如冗长篇幅、客套修饰、自信语气或格式伪装)骗取高额奖励分。已有基准主要聚焦于长度偏置、输出格式或通用对话偏置,而对于法律、政策与合规等现实高风险专业领域的复杂作弊模式,学术界尚缺乏系统性的评测基准与机理解析。在高风险领域,模型生成带有虚假判例或法律引注的内容不仅极具欺骗性,还可能造成严重的合规与伦理危害。

为了应对奖励作弊,现有防御方法主要依赖数据中心策略与重训练流程:要么收集对抗性偏好样本或去偏数据,要么通过全参数微调或参数高效微调(如 LoRA)对奖励模型进行重训练。然而,重训练路线不仅计算开销巨大、极易引发通用评估能力的灾难性遗忘,更面临严重的扩展性瓶颈——每当安全团队发现一种新型作弊模式,就必须重新经历数据清洗、超参调优和微调流水线。同时,奖励模型在线性分类头之前的表征空间中如何编码这些作弊模式,以及这种敏感性是否能在不改变 Transformer 骨干网络的前提下被手术式剥离,仍是一个悬而未决的问题。

本文的切入点在于利用标量奖励模型输出头的几何线性性质:标量分数直接由最终隐藏状态与奖励头向量的点积计算而来,因而消除奖励模型对特定作弊特征的敏感性可以转化为参数空间中的子空间正交投影。为了验证并支撑这一思路,作者首先构建了涵盖 13 种子类别的基准 REWARDHACKBENCH,揭示出主流开源奖励模型在高风险领域的严重脆弱性。核心 idea:HARVE 完全摒弃反向传播与模型微调,仅利用少量被攻破样本在残差流中的均值差向量构建多方向作弊子空间,并通过 SVD 正交投影精确消除奖励头向量中对齐该子空间的分量,实现对作弊特征的零微调手术式防御。

方法详解

整体框架

HARVE 专门针对标量奖励模型(Scalar Reward Model)设计,整体架构由三个清晰阶段构成:首先是在给定的标量奖励模型上识别被攻破样本(Fooled Subset);随后提取各目标子类别的残差流均值差向量,利用奇异值分解(SVD)正交化构建多方向作弊子空间投影矩阵;最后直接通过线性代数运算对奖励头向量进行子空间正交切除,全程冻结 Transformer 骨干网络且无需任何梯度计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["输入查询 Q 与对比回复对 (yg, yh)<br/>(标注基准与潜在作弊响应)"] --> B["阶段 1:被攻破样本筛选与差分提取<br/>筛选 r(Q, yh) > r(Q, yg) 提取均值差向量"]
    B --> C["阶段 2:多方向作弊子空间正交化构建<br/>堆叠多类别向量 Vhack,SVD 分解得基底 Uhack 与投影矩阵 Phack"]
    C --> D["阶段 3:奖励头向量手术式正交切除<br/>计算 wnew = wr - α Phack wr,直接修正打分头"]
    D --> E["输出无梯度修改后的稳健奖励模型<br/>在保留通用评估能力的同时消除作弊偏置"]

关键设计

1. 被攻破样本筛选与差分提取:解决混合全样本均值差稀释作弊特征信号的问题 在提取各作弊子类别 \(k \in \mathcal{K}\) 的特征向量时,若直接使用全部训练样本计算金标回复 \(y_g^i\) 与作弊回复 \(y_h^i\) 的隐藏状态差,由于模型原本就能正确区分其中一部分样本,这些未被攻破样本的隐状态差会夹杂大量无关的语义正负反馈,从而严重稀释奖励头真正偏好作弊特征的方向。HARVE 显式筛选出基座模型打分翻车(即 \(r(x_i, y_h^i) > r(x_i, y_g^i)\))的被攻破子集 \(\mathcal{F}_k\)。对于每个被攻破样本,提取最终层隐藏状态 \(h_h^i = h_{\text{final}}(x_i, y_h^i)\) 与 \(h_g^i = h_{\text{final}}(x_i, y_g^i)\),通过计算均值差并进行 L2 归一化提取纯净的作弊方向向量: $\(\tilde{v}_k = \frac{1}{|\mathcal{F}_k|} \sum_{i \in \mathcal{F}_k} (h_h^i - h_g^i), \quad v_k = \frac{\tilde{v}_k}{\|\tilde{v}_k\|}\)$ 这一设计确保提取出的残差流方向严格对应导致奖励模型做出错误高分判决的表征分量。实验证实该过滤机制将奖励头与作弊向量的余弦对齐度从 -0.05 逆转提升至 +0.24。

2. 多方向作弊子空间正交化构建:解决单一表面特征无法覆盖多元复杂作弊模式的问题 作弊模式在特征空间并非孤立单一的标量维度,而是涵盖伪造法条、删除抗辩免责词、颠倒举证责任等多种交织机制。HARVE 将选定的 \(K\) 个目标子类别方向堆叠为矩阵 \(V_{\text{hack}} = [v_{k_1}, \dots, v_{k_K}] \in \mathbb{R}^{d \times K}\)。由于各子类别的方向向量互不正交且存在特征重叠,HARVE 采用奇异值分解(SVD)正交化其张成的子空间 \(\mathcal{S}_{\text{hack}} = \text{span}(V_{\text{hack}})\): $\(V_{\text{hack}} = U \Sigma Q^\top\)$ 保留奇异值 \(\sigma_j > 10^{-6}\) 的列向量构成标准正交基底 \(U_{\text{hack}}\),由此计算出严格的子空间投影矩阵: $\(P_{\text{hack}} = U_{\text{hack}} U_{\text{hack}}^\top\)$ 通过子空间正交化,系统消除了多目标之间的共线性干扰,使得单一投影矩阵能够一次性捕获高维残差流中联合起效的多维作弊模式。

3. 奖励头向量手术式正交切除:解决传统模型微调破坏通用表征且算力昂贵的问题 由于标量奖励模型的打分机制满足严格的线性点积形式 \(r(x, y) = w_r^\top h_{\text{final}}(x, y)\),奖励头对作弊特征的响应直接由其在作弊子空间上的投影分量所决定。HARVE 无需改动数十亿参数的 Transformer 骨干网络,直接对 \(d\) 维奖励头权重向量 \(w_r\) 实施闭式几何编辑: $\(w_r^{\text{new}} = w_r - \alpha P_{\text{hack}} w_r\)$ 其中 \(\alpha \ge 0\) 为干预强度控制超参数。当 \(\alpha = 1\) 时完全切除平行于作弊子空间的分量;\(\alpha > 1\) 时施加反向抑制修正。超参数 \(\alpha^\star\) 在验证集上通过权衡曲线选择,既最大化目标作弊类别的防御收益,又约束非目标与通用评测任务的性能衰减不超过 4 个百分点。修正后的奖励打分直接变为 \(r_{\text{new}}(x, y) = (w_r^{\text{new}})^\top h_{\text{final}}(x, y)\),推理阶段零额外延迟,更新过程耗时仅毫秒级。

评估基准与实验设计

为了系统评测奖励作弊,作者构建了 REWARDHACKBENCH,共包含 1,203 对严格配对的金标与作弊响应(Gold–Hacked Pairs),涵盖 5 大类别共 13 个子类别: 1. 表面形式拟态 (Surface-Form Mimicry): A1 伪造来源 (Made-up Sources), A2 法条充数 (Legalese Padding), A3 引用通胀 (Citation Inflation)。 2. 逻辑断裂 (Broken Reasoning): B1 遗漏核心要件 (Missing Elements), B2 举证责任倒置 (Burden Inversion)。 3. 迎合型作弊 (Sycophantic Hacking): C1 迎合用户偏好 (User-Aligned Reasoning), C2 滥用免责声明 (Safety Disclaimers), C3 剥离审慎限定词 (Hedge Stripping)。 4. 跑题作弊 (Off-Topic Hacking): D1 邻近问题偏移 (Neighbor Drift), D2 指令漂移 (Instruction Drift)(源自 LLMBar)。 5. 华而不实 (Style-Over-Substance): E1 自信用词错误 (Confident Errors), E2 隐蔽实质瑕疵 (Subtle Errors), E3 精制干扰项 (Crafted Distractors)(源自 LLMBar)。

在高风险专业领域(A-C),团队通过两名持证执业律师和法学生监督构建,严格将作弊与金标回复的字数比控制在 1.01,彻底剥离长度混淆因素。专业类别按 20%/10%/70% 划分为训练集(157 对,仅用于方向提取)、验证集(79 对,选定 \(\alpha^\star\))和测试集(548 对);通用类别 419 对全部留作独立盲测。评测指标为金标偏好率(Gold-Preference Rate, GP %),即奖励模型打分 \(R(x, y_g) > R(x, y_h)\) 的比例。

实验关键数据

主实验

在涵盖 0.6B 至 20B 参数量的 8 款主流开源标量奖励模型上,对比基座模型、LoRA 数据增强微调基线(3:1 与 5:1 比例)以及 HARVE。实验同时在 REWARDHACKBENCH 测试集和完全留出的 RM-Bench Hard 跨领域基准上展开。

奖励模型 规模 方法 目标类别 (Tgt ↑) 非目标类别 (Non-Tgt ↑) REWARDHACKBENCH 总均分 (Avg ↑) RM-Bench Hard 均分 (Avg ↑)
Skywork-V2-Qwen3 0.6B Baseline 53.16 73.07 67.53 56.90
Skywork-V2-Qwen3 0.6B Finetune (5:1) 58.36 75.50 70.01 57.00
Skywork-V2-Qwen3 0.6B HARVE (\(\alpha^\star=1.50\)) 83.64 73.50 76.32 64.23
InternLM2-reward 1.8B Baseline 58.93 74.24 70.01 59.56
InternLM2-reward 1.8B Finetune (5:1) 62.50 75.25 71.68 58.96
InternLM2-reward 1.8B HARVE (\(\alpha^\star=1.00\)) 78.57 75.40 76.29 59.58
GRM-Llama-3.2 3B Baseline 46.47 84.81 74.15 53.03
GRM-Llama-3.2 3B Finetune (5:1) 54.28 86.25 77.37 53.18
GRM-Llama-3.2 3B HARVE (\(\alpha^\star=1.00\)) 72.86 86.82 82.94 54.26
Skywork-V2-Llama-3.2 3B Baseline 75.09 85.51 82.83 69.43
Skywork-V2-Llama-3.2 3B Finetune (5:1) 76.90 86.09 83.74 69.33
Skywork-V2-Llama-3.2 3B HARVE (\(\alpha^\star=1.25\)) 92.42 86.52 88.00 70.91
RM-Mistral 7B Baseline 67.87 72.32 71.04 44.41
RM-Mistral 7B Finetune (5:1) 84.48 78.55 80.20 47.88
RM-Mistral 7B HARVE (\(\alpha^\star=2.50\)) 90.25 76.52 80.35 65.06
FsfairX-LLaMA3-RM 8B Baseline 57.49 75.66 71.77 50.46
FsfairX-LLaMA3-RM 8B Finetune (5:1) 71.50 80.13 77.87 52.47
FsfairX-LLaMA3-RM 8B HARVE (\(\alpha^\star=1.75\)) 86.96 76.58 79.47 54.38
Skywork-Reward-Llama-3.1 8B Baseline 65.94 91.17 84.07 54.68
Skywork-Reward-Llama-3.1 8B Finetune (5:1) 73.55 92.19 86.97 54.79
Skywork-Reward-Llama-3.1 8B HARVE (\(\alpha^\star=1.10\)) 84.42 89.58 88.11 61.22
InternLM2-reward 20B Baseline 73.19 82.78 79.94 62.65
InternLM2-reward 20B Finetune (5:1) 75.36 83.07 80.97 62.47
InternLM2-reward 20B HARVE (\(\alpha^\star=1.60\)) 88.41 80.90 82.94 63.78

消融实验

为了探究奖励作弊方向是否仅由通用的表层文风/长度特征所主导,作者将提取的作弊方向向量分解为与风格对齐的分量以及正交的类别特定残差分量 \(v_k = (v_k^\top v_{\text{sty}}) v_{\text{sty}} + v_{k,\perp\text{sty}}\),并在 8 款模型上分别消除单个分量与完整联合向量(Joint)。

奖励模型 规模 目标基准 (Base GP %) 消除纯风格分量 \(v_{\text{sty}}\) (pp ↑) 消除类别残差分量 \(v_{k,\perp\text{sty}}\) (pp ↑) 消除完整联合向量 Joint (pp ↑) 非目标基准 (Base GP %) 非目标消除联合向量 Joint (pp ↑)
Skywork-V2-Qwen3 0.6B 52.16 -3.99 +5.95 +27.89 87.82 +1.76
InternLM2-reward 1.8B 58.93 -15.36 +3.93 +19.64 89.66 +1.45
GRM-Llama-3.2 3B 45.70 +8.58 +2.80 +27.26 85.24 +3.95
Skywork-V2-Llama-3.2 3B 73.89 +1.09 +6.93 +10.91 89.88 +3.00
RM-Mistral 7B 67.97 +3.52 +5.14 +13.00 93.96 +2.58
FsfairX-LLaMA3-RM 8B 58.21 -2.05 +7.66 +13.77 89.26 +2.08
Skywork-Reward-Llama-3.1 8B 65.98 +1.36 +1.80 +12.24 94.94 +0.67
InternLM2-reward 20B 73.26 +0.36 +8.34 +8.68 92.45 +1.07
平均 (Mean) — 62.01 -0.81 +5.32 +16.67 90.40 +2.07

关键发现

  • 显著超越微调基准:HARVE 在 8 个模型的目标子类别上平均提升金标偏好率 22.4 个百分点,相比表现较强的 5:1 微调基准高出 15.1 个百分点。这证明对于表征空间中结构清晰的作弊特征,直接在最终头向量进行几何正交剥离比反向传播调整数亿权重更为精确彻底。
  • 跨领域泛化与超加性协同:在完全未参与调参的 RM-Bench Hard 跨领域测试集上,HARVE 实现了全模型正向迁移(平均提升 5.3 个百分点,RM-Mistral 提升高达 20.7 个百分点)。消融实验进一步证实,消除完整联合作弊向量带来的收益(平均 +16.67 pp)显著高于单独消除风格(-0.81 pp)或单独消除类别残差(+5.32 pp)的线性叠加,表明奖励作弊是由残差流中多方向特征相互交织协同产生的。
  • 缓解 Best-of-N 搜索过拟合膨胀:在代理下游实验中,随着候选数 \(N\) 从 1 增加至 256,未编辑模型与传统微调模型对欺骗性候选的虚高奖励打分急剧膨胀(如 GRM-3B 在 \(N=256\) 时差距高达 9.62);而经过 HARVE 编辑后,奖励膨胀被压制在 3.28,有效遏制了强化学习搜索空间中的假阳性高分。

亮点与洞察

  • 零梯度开销的即插即用编辑:HARVE 巧妙利用标量奖励头的线性打分性质,仅通过 SVD 和一次矩阵减法在毫秒内完成模型修复。相比耗时数小时且需要维护繁琐超参的微调流水线,为工业级在线对齐系统提供了轻量级的安全补丁方案。
  • 被攻破样本(Fooled Subset)过滤的提纯机制:仅依靠模型自身打分翻车的少量样本来抽取方向向量,有效排除了模型原本就能正确辨析的混杂信号,使提取的向量与奖励头的余弦对齐度由负转正(跨模型平均由 -0.05 提升至 +0.24)。
  • 作弊表征机理揭示:研究证实奖励模型的作弊敏感性并不等同于简单的 Token 长度统计偏好(二者相关性仅为 +0.20),而是由风格拟态、法律要件残缺及用户迎合等多维语义向量共同张成的表征子空间。

局限与展望

  • 模型结构局限性:HARVE 严格依赖标量奖励模型(具备可访问的线性头向量 \(w_r\) 和残差流隐状态),无法直接应用于闭源 API 评测器或基于自回归生成理由的生成式裁判模型(Generative Pairwise Evaluators)。
  • 样本覆盖度依赖:子空间的有效性高度依赖提取阶段被攻破样本的多样性。面对极其隐蔽、上下文高度依赖或未被预先探针覆盖的极端作弊变体,静态的投影子空间可能存在防御盲区。
  • 全流程 RL 验证缺失:当前下游评估局限于构建候选池重排序(Reranking)和 Best-of-N 搜索代理实验,尚未将编辑后的奖励模型置入端到端 PPO 或 DPO 在线强化学习训练环路中观察长期策略演化。

相关工作与启发

  • vs 数据增强微调 (Data-Augmented Fine-Tuning / RRM): 传统方法通过注入对抗样本并重调模型参数来纠正偏置,成本高昂且极易导致非目标通用任务掉点;HARVE 完全免训练、零反向传播,且可作为 RRM 之后的即插即用互补模块,进一步抹除训练残留的作弊敏感分量。
  • vs 表征工程与激活工程 (Representation Engineering / Activation Steering): 传统激活工程主要针对生成式 LLM 在推理生成时修改残差流或隐藏层激活;HARVE 则专注于判别式标量奖励模型,直接在静态参数空间永久修剪奖励头,推理阶段无任何动态介入开销与显存膨胀。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从线性子空间投影视角提出免反向传播的奖励头向量编辑方法,机理清晰优雅。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款跨架构跨尺度的开源标量奖励模型,构建了高质量的高风险专业基准 REWARDHACKBENCH 并辅以详尽的机理解析。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨,数学形式简洁明了,实验消融与下游 Best-of-N 验证层层递进。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型对齐与奖励模型安全性提供了极具工业实用价值且计算开销极低的全新防御范式。