ABC-Align: Prediction-Powered Alignment with Adaptive Bias Control

会议: NeurIPS 2026
arXiv: 2609.34374
论文: https://arxiv.org/abs/2609.34374
代码: https://github.com/SewoongLab/abc-align
领域: 安全
关键词: 大语言模型对齐, 半监督学习, 预测驱动推断, 自适应偏差控制, 强化学习

一句话总结

针对大语言模型对齐中人类偏好标注稀缺、伪标签存在系统性偏差的瓶颈，提出双参数自适应偏差控制梯度估计器 ABC-Align，打破了传统预测驱动方法 \(\Theta(1/n)\) 的无偏方差下界，在 RM、DPO 与 GRPO 上全面取得更优对齐效果。

研究背景与动机

在大语言模型（LLM）的后训练对齐阶段，无论是基于成对偏好反馈的强化学习（RLHF）、直接偏好优化（DPO），还是针对推理模型的组相对策略优化（GRPO），都高度依赖高质量的人类偏好与真实标签。然而，人工标注成本高昂、采集缓慢且标注者间存在明显分歧。虽然借助较强模型或模型自身生成伪标签（如 RLAIF、自博弈或教师蒸馏）能以极低成本提供海量训练信号，但模型生成的伪标签往往具有系统性偏差（例如谄媚性、冗长偏见或模式坍塌），若直接混合训练会导致严重的性能退化与奖励破解。

为了利用大量未标注数据同时修正教师偏差，近期基于预测驱动推断（Prediction-Powered Inference, PPI）的半监督优化方法（如 PP-SSL）通过少量可信的人工标注构建零均值控制变量，试图消除教师偏差。然而，这类方法坚守“梯度必须无偏”的设计准则，在数学结构上将人工梯度的权重固定为 1。当人工标注样本数 \(n\) 极小（\(n \ll N\)）时，无论补充多少未标注样本 \(N\)，梯度估计器都会受到 \(\Theta(1/n)\) 的不可缩减方差下界制约，无法有效吸收海量伪标签带来的方差缩减红利。

本文的切入角度是打破严格无偏的教条约束：在真实学习中，一个带有微小受控偏差但方差大幅降低的估计器，在均方误差（MSE）和收敛速度上往往优于方差巨大的无偏估计器。核心 idea：通过引入双参数梯度族，将人类修正信号与未标注伪标签信号解耦，并构建基于校正范数代理的在线自适应偏差控制器（ABC），以允许微量受控偏差换取大幅方差降低，使收敛速度逼近海量伪标签的 \(\Theta(1/N)\) 水平。

方法详解

整体框架

ABC-Align 将通用的半监督自适应偏差控制（ABC-SSL）落地到 LLM 对齐的三大核心范式中：奖励模型训练（RM）、直接偏好优化（DPO）和组相对策略优化（GRPO）。在每个训练迭代中，系统同时抽取批大小为 \(n\) 的小批量人工标注数据 \(\mathcal{B}_t^{\mathrm{lab}}\) 以及批大小为 \(N\) 的大批量未标注数据 \(\mathcal{B}_t^{\mathrm{unl}}\)。通过在标注集上同步前向计算人类标签与教师伪标签，获得人工梯度 \(g_t^n\)、标注集教师梯度 \(g_t^{n,f}\) 以及未标注集教师梯度 \(g_t^{N,f}\)。随后，自适应偏差控制器利用在线凸优化（或在 GRPO 中利用分批插件估计）动态计算最优的权重参数对 \((a_t, b_t)\)，对优势/梯度进行加权修正后更新策略参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>稀缺人工标注 (n) 与海量未标注 (N)"] --> B["双路梯度与偏差解耦<br/>计算 g_t^n, g_t^{n,f}, g_t^{N,f} 并构造修正信号"]
    B --> C["自适应偏差控制器<br/>基于校正范数代理在线优化 (a_t, b_t)"]
    C --> D["ABC 复合梯度更新<br/>以可控偏差换取方差大幅降低"]
    D --> E["对齐范式应用<br/>RM 打分头 / 全参数 DPO / 组相对 GRPO"]

关键设计

1. 双参数梯度族与偏差解耦：打破无偏方差下界 传统预测驱动优化方法（如 PP-SSL）构造的梯度形式为 \(g_t = g_t^n + \lambda_t (g_t^{N,f} - g_t^{n,f})\)，强行将人工梯度权重固定为 1 以保证严格无偏。本文针对这一痛点，引入双参数 \((a_t, b_t)\) 构成更广泛的梯度估计族：

\[ \hat{g}_t := g_t^{n,f} + a_t d_t + b_t c_t = (1 - a_t - b_t) g_t^{n,f} + a_t g_t^n + b_t g_t^{N,f} \]

其中 \(d_t = g_t^n - g_t^{n,f}\) 为标注集上的人机差异信号，均值为 \(-B(\theta_t) = \nabla\mathcal{L}(\theta_t) - \nabla\mathcal{L}^f(\theta_t)\)；\(c_t = g_t^{N,f} - g_t^{n,f}\) 为无偏控制变量，条件均值为 0。理论证明，该估计器的条件偏差精确满足 \(\mathrm{Bias}_t(\hat{g}_t) = (1 - a_t) B(\theta_t)\)，即偏差大小仅由 \(a_t\) 决定，而 \(b_t\) 仅调节方差，实现了偏差与方差调控的显式解耦。在此结构下，均方误差分解为偏差项与标注/未标注样本方差项：

\[ V_t(a_t,b_t) = (1-a_t)^2 B_t^2 + \frac{(1-a_t-b_t)^2\sigma_f^2 + a_t^2\sigma^2 + 2a_t(1-a_t-b_t)C}{n} + \frac{b_t^2\sigma_f^2}{N} \]

当教师偏差较小时，Oracle 最优参数允许 \(a_t \to 0\) 且 \(b_t \to 1\)，从而突破无偏方法中由人工标注样本数决定的 \(S/n\) 方差天花板，平滑逼近海量未标注数据的方差水平。

2. 校正范数在线控制器：免协方差矩阵的高效追踪 在离线偏好学习（RM 与 DPO）中，真实二阶矩与总体偏差不可知。直接优化梯度范数 \(\|\hat{g}_t(a,b)\|^2\) 存在理论陷阱：展开后包含不对称交叉项 \(2(1-a)\langle \nabla\mathcal{L}(\theta_t), B(\theta_t)\rangle\)，导致纯范数对参数 \(a\) 严重失真。为此，设计了校正范数代理损失函数：

\[ \ell_t(a,b) := \|\hat{g}_t(a,b)\|^2 - 2(1-a)\widehat{H}_t \]

其中交叉项估计值 \(\widehat{H}_t\) 通过对小批量人工标注样本进行对半分割（Split-Batch）构建：\(\widehat{H}_t = -\frac{1}{2}(\langle g_A, d_B\rangle + \langle g_B, d_A\rangle)\)，由于两半批次互相独立，天然保证了条件无偏性 \(\mathbb{E}_t[\widehat{H}_t] = \langle \nabla\mathcal{L}(\theta_t), B(\theta_t)\rangle\)。代理损失 \(\ell_t(a,b)\) 是关于 \((a,b)\) 的凸二次函数，其所有系数均为标量内积，在分布式训练（DDP/FSDP/ZeRO）中仅需单次标量 All-Reduce 即可完成汇总，随后借助投影 AdaGrad 在线更新 \((a_{t+1}, b_{t+1})\)，实现 \(O(\sqrt{T})\) 的动态悔界，且无需显式构造任何样本级梯度协方差矩阵。

3. 对齐范式定制化适配：DPO 标量流式更新与 GRPO 优势拆分 将 ABC 机制深度适配到不同规模与机制的对齐场景中： - RM 与 DPO（离线偏好）：借助 Bradley-Terry 似然的一阶导数链式法则，人工与教师梯度共享样本级边际雅可比矩阵 \(J_i = \nabla_\theta m_i(\theta)\)，仅在标量残差上存在差异。这使得在全参数微调（如 Llama-3.2-3B DPO）时，只需一次前向计算与两次加权反向传播即可获得全部组件梯度。为控制显存，DPO 中进一步采用单侧流式估计 \(\widehat{H}_t^{\mathrm{stream}} = -\langle g_A, d_B\rangle\)，全过程仅需额外维护一个全模型梯度缓冲区。 - GRPO（在线推理对齐）：在线策略由于 rollout 分布随策略 \(\theta_t\) 实时漂移，固定参数悔界失效。因此放弃在线凸优化，直接在每次迭代利用分批样本方差与差分内积对 \((B_{t,\mathrm{G}}^2, \sigma_{t,\mathrm{G}}^2, \sigma_{t,\mathrm{G},f}^2, C_{t,\mathrm{G}})\) 进行插件估计，并在组相对优势层面分别对真实可信奖励与教师伪奖励做独立标准化，确保 ABC 加权能准确作用于优势梯度，而将不带偏差的 KL 正则梯度作为确定性偏置叠加。

实验关键数据

主实验

在真实偏好数据（Skywork-Reward-80K 训练集，Llama-3.2-3B-Instruct 冻结骨干网络，标注比例 0.05，教师反转噪声 \(\rho=0.10\)）以及分布外基准评估中，ABC-Align 全面优于传统基线：

评估基准与子项	Labeled-only	Naive combined	PP-SSL	ABC-Align (本文)	相对最优基准提升 (\(\Delta\))
RewardBench Overall	0.611	0.648	0.670	0.692	+0.022
RewardBench Human Pref.	0.600	0.621	0.637	0.676	+0.039
PPE Human Pref.	0.569	0.598	0.623	0.650	+0.027
PPE Math Best-of-\(k\)	0.544	0.573	0.589	0.613	+0.024
Skywork In-Domain Pair Acc (\(\rho=0.20\), 标注 1%)	0.64	--	0.70	0.77	+0.070

在全参数 DPO（Llama-3.2-3B，UltraFeedback Binarized，\(\rho=0.10\)）上，ABC-Align 在 5% 标注下的精度达到 0.72，追平了 Labeled-only 在 30% 标注下的表现；在在线 GRPO（GSM8K 数学推理，8 rollouts）中，ABC-Align 在 5% 标注下达到 0.721 pass@1，高出 PP-SSL 约 2 个百分点。

消融实验

在真实结构性偏差教师（非对称噪声）下的 Skywork RM 实验（标注比例 0.05）：

教师模型类型	教师-人类一致率	Labeled-only	Naive combined	PP-SSL	ABC-Align (本文)	优势 (\(\Delta\))
Llama-3.2-1B RM	0.82	0.66	0.71	0.72	0.76	+0.04
Qwen2.5-0.5B RM	0.74	0.66	0.68	0.71	0.78	+0.07
GPT-2-large RM	0.66	0.66	0.64	0.70	0.73	+0.03
随机初始化打分头	0.50	0.66	0.55	0.66	0.71	+0.05

关键发现

• 打破无偏性带来实质增益：固定混合比例消融实验表明，在 \((a,b) = (1-t, t)\) 截面上，精度随着 \(t\) 增大而单调上升并在 \(t \approx 0.8\) 达到峰值（此时 \(a \approx 0.2\)），显著高于无偏切片 \(a=1\) 下的最佳表现（约 0.67），直接证明了有意识引入微小偏差能换取关键的方差收益。
• 面对劣质伪标签具备自适应保护机制：当教师质量下降到随机猜测（一致率 0.50）时，Naive combined 严重崩溃至 0.55（远逊于纯人工标注的 0.66），而 ABC-Align 能够自适应将 \(a_t\) 调高、将权重拉回人类标注，保持 0.71 的稳定表现。
• 困难样本上收益最集中：合成实验子群分析表明，在容易样本上各类方法差距不大，但在奖励差距极小的困难样本（近乎平手、标注噪声大）上，ABC-Align 的表现显著与无偏基线拉开差距。

亮点与洞察

• 解耦偏差与方差的理论突破：从数学上证明了预测驱动无偏估计器存在固有的 \(\Theta(1/n)\) 方差地板，通过放宽无偏约束，使半监督学习在伪标签质量较好时能够逼近海量未标注数据的 \(\Theta(1/N)\) 收敛效率。
• 极度轻量的工程实现：巧妙利用共享反向传播与分批标量内积，避免了计算高维梯度协方差矩阵或逐样本梯度的海量显存开销，在全模型微调下几乎不增加额外的通信与计算负担。
• 通用的范式适应能力：统一了离线偏好（RM/DPO）与在线强化学习（GRPO），既提出了面向平稳分布的在线自适应控制器，又给出了应对策略漂移的分批插件估计方案。

局限与展望

• 理论偏差残留：在标准单时间尺度更新下，若控制器将 \(a_t\) 稳定停留在小于 1 的区间，优化界中会残留一个渐进的稳态偏差项（尽管附录推导了快慢双时间尺度的渐进消除方案，但引入了额外的追踪状态）。
• GRPO 插件估计的非可预测性：在 GRPO 中由当前批次计算的插件参数 \((a_t, b_t)\) 与当前梯度存在一定相关性，严格意义上失去了鞅差可预测性，实际中可通过单步延迟估计进行理论对齐。
• 极端教师偏差下的泛化：若教师模型存在极端单一维度的模式崩溃（如无论输入何内容均给出固定长度偏好），两组梯度的共线性可能退化，未来需探索结合主动标注的动态样本选择策略。

相关工作与启发

• vs PP-SSL (Shoham et al., 2025)：PP-SSL 严格限定在无偏切片 \(a=1\)，只能单向调节控制变量权重 \(\lambda\)，无法摆脱人类样本数 \(n\) 带来的方差下界；ABC-Align 实现了 \((a, b)\) 联合自适应调控，全面超越其 Pareto 前沿。
• vs 双重稳健自训练 (Doubly Robust, Zhu et al., 2023)：双重稳健方法相当于在无偏切片中固定超参数 \((a, b) = (1, N/(N+n))\)，缺乏根据教师真实质量动态自适应的能力；ABC-Align 在不同教师噪声下均能逼近最优经验极值点。
• vs 启发式伪标签过滤 (Lee et al., 2025; He et al., 2024)：常规置信度过滤方法依赖人工设定的阈值且无法校正教师内在偏见；ABC-Align 将少量人工标签视为校准测量仪而非单纯的训练集，从优化底层进行系统纠偏。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次从理论上揭示了无偏预测驱动梯度估计器的方差下界，并提出优雅的偏差解耦与校正范数自适应控制器。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成验证、真实奖励模型训练、全参数 DPO 以及在线 GRPO，对比基线全面且包含大量分布外测试。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，实验消融切中核心机理，对系统开销与工程可行性论述深入。
• 价值: ⭐⭐⭐⭐⭐ 极大降低了 LLM 对齐中对昂贵人工标注的依赖，为大规模利用廉价模型合成数据提供了坚实的优化理论与实用工具。

相关论文

• [NeurIPS 2026] CAT-DPO: Category-Adaptive Safety Alignment
• [NeurIPS 2026] Decoupled Safety Control: A Safety-Control Algorithm for Training-Free Safety Guidance
• [NeurIPS 2026] Honeyval: A Comprehensive Evaluation Framework for LLM-Powered HTTP Honeypots
• [NeurIPS 2026] On the Burden of Achieving Fairness in Conformal Prediction
• [ICLR 2026] Adaptive Attacks on Trusted Monitors Subvert AI Control Protocols