Differentially Private Sparse Reward Estimation with Preference Feedback

会议: NeurIPS 2026
arXiv: 2610.30099
OpenReview: https://openreview.net/forum?id=up1oAQCUCJ
领域: 安全
关键词: 差分隐私 (Differential Privacy), 稀疏奖励估计 (Sparse Reward Estimation), 人类反馈强化学习 (RLHF), 迭代硬阈值 (Iterative Hard Thresholding), 极小化极大最优性 (Minimax Optimality)

一句话总结

针对基于人类成对偏好反馈的 RLHF 隐私泄露与高维噪声过载问题，提出首个差分隐私稀疏奖励估计理论框架与算法体系（Sample-DP-IHT 与 Label-DP RR+IHT），证明了极小化极大近最优收敛上界，并在高隐私预算约束下显著提升了大语言模型的情感生成与安全对齐效果。

研究背景与动机

基于人类反馈的强化学习（RLHF）已成为对齐大语言模型（LLM）行为与人类价值观的核心范式。在典型流程中，系统首先在由成对人类偏好构建的数据集上拟合奖励模型（如遵循 Bradley-Terry-Luce, BTL 概率模型），进而通过 PPO 或 DPO 等优化策略。然而，用于训练奖励模型的偏好数据往往包含敏感的用户观点、人口统计学特征乃至潜在偏见，极易被模型记忆并遭受成员推断或训练数据抽取攻击。为了防止隐私泄露，差分隐私（DP）被引入对齐管线，但现有的私有奖励估计方法普遍假设奖励模型参数是稠密的（Dense）。

这种稠密参数假设与实际场景之间存在尖锐矛盾。一方面，在医疗、法律等专业高价值对齐领域，获取高质量的专家偏好标注成本极高，样本量 \(n\) 极其受限；而现代模型所处的高维语义特征空间维度 \(d\) 极其庞大（\(d \gg n\)）。在经典差分隐私机制下，为了掩盖单个体贡献而注入的高斯噪声或拉普拉斯噪声方差直接与全空间维度 \(d\) 成正比。当 \(d \gg n\) 时，巨额噪声会彻底淹没真实的偏好信号，导致参数估计误差发生灾难性膨胀，对齐策略彻底失效。

另一方面，近期的经验研究揭示出 LLM 对齐中人类偏好往往由极少数显著特征或关键 token 主导，底层奖励参数具有显著的内在稀疏性（即有效支撑集大小 \(s^* \ll d\)）。本文的核心切入角度在于打破稠密对齐的维度诅咒：核心 idea：将高维统计中的稀疏结构先验引入成对偏好反馈学习，针对保护整个交互元组的样本级隐私（Sample-DP）与仅保护偏好选择的标签级隐私（Label-DP），分别构建结合私有剥离机制（Peeling Mechanism）的迭代硬阈值算法以及结合随机响应与无偏梯度修正的解耦算法，彻底将隐私误差上界中的环境维度 \(d\) 降维替换为真实稀疏度 \(s^*\)，并确立两类隐私保证下的极小化极大最优收敛率。

方法详解

整体框架

在成对偏好反馈设置下，给定数据集 \(\mathcal{D}=\{(k_i, a_i^0, a_i^1, y_i)\}_{i=1}^n\)，其中 \(k_i\) 为上下文 Prompt，\(a_i^0, a_i^1\) 为候选响应，\(y_i \in \{0, 1\}\) 表示偏好标签。在特征映射 \(\phi\) 下定义差分特征向量 \(x_i = \phi(k_i, a_i^1) - \phi(k_i, a_i^0) \in \mathbb{R}^d\)，服从 BTL 逻辑回归模型 \(\mathbb{P}_{\theta^*}(y_i=1 \mid x_i) = \sigma(\langle x_i, \theta^* \rangle)\)。真实奖励参数假定满足稀疏约束 \(\theta^* \in \Theta_{B,s^*} = \{\theta \in \mathbb{R}^d \mid \|\theta\|_2 \le B, \|\theta\|_0 \le s^*\}\)，且特征满足坐标有界条件 \(\|x_i\|_\infty \le 1\)。

针对不同的隐私威胁模型，本文分别构建了端到端流程： 1. 样本级隐私保护（Sample-DP）：保护四元组 \((k_i, a_i^0, a_i^1, y_i)\) 的整体机密性。算法通过样本拆分（Sample Splitting）隔离迭代步间的隐私依赖，在每轮迭代计算经验梯度并执行步长更新后，调用私有剥离机制（Peeling Mechanism）通过拉普拉斯噪声扰动竞争性选出前 \(s\) 个最大坐标，并注入扰动完成稀疏截断投影。 2. 标签级隐私保护（Label-DP）：假设 Prompt 与响应对公开、仅偏好判定敏感。算法在数据输入端使用经典的随机响应机制（Randomized Response, RR）翻转标签，随后在服务端构建显式消解翻转偏差的无偏梯度估计器，最终直接通过无噪声的标准迭代硬阈值算子（IHT）完成高效参数收敛。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["成对偏好数据集<br/>上下文 k, 候选动作 a0/a1, 标签 y"] --> Split{"隐私级别定义"}
    Split -->|Sample-DP: 保护整个样本元组| P1["样本拆分与独立梯度计算<br/>T 份互斥子集 D_t 并行/时序隔离"]
    P1 --> P2["私有剥离硬阈值截断<br/>贪心拉普拉斯加噪选 Top-s 支撑集"]
    P2 --> Out1["Sample-DP 稀疏奖励参数<br/>误差收敛至 O(s*/n + s*²/(n²ε²))"]
    Split -->|Label-DP: 仅保护偏好选择| L1["标签随机响应机制<br/>按概率 p=e^ε/(e^ε+1) 扰动真实标签"]
    L1 --> L2["解耦无偏梯度修正与标准 IHT<br/>消除翻转偏差并执行确定性硬阈值"]
    L2 --> Out2["Label-DP 稀疏奖励参数<br/>误差收敛至 O(s*/n + s*/(nε²))"]

关键设计

1. 私有剥离硬阈值截断：利用逐次拉普拉斯竞争机制保护支撑集与幅值

在 Sample-DP 设定下，直接对全维度梯度使用高斯扰动（如标准 DP-SGD）会导致方差包含 \(d\)，使得稀疏结构荡然无存。本文设计的 Sample-DP-IHT 算法将全量样本划分为 \(T\) 个规模为 \(m=n/T\) 的互斥子集 \(\mathcal{D}_t\)，基于并行复合定理（Parallel Composition）消除多轮迭代的隐私累加开销。在每一轮内，梯度更新后的中间参数向量 \(\theta^{t+1/2} = \theta^t - \frac{\eta}{m} \sum_{i \in \mathcal{D}_t} \nabla \ell(x_i, y_i; \theta^t)\) 需识别出幅值最大的前 \(s\) 个维度并截断。为此，算法引入两阶段私有剥离过程（Algorithm 2）：在支撑集选择阶段，通过 \(s\) 轮循环迭代，每轮向未选中的所有坐标注入拉普拉斯噪声 \(v_{i,j} \sim \text{Lap}\left(\frac{2\lambda\sqrt{3s\log(1/\delta)}}{\varepsilon}\right)\)，贪心地挑选出噪声幅值最大的坐标 \(j^* = \arg\max_{j \in [d]\setminus S}(|\theta_j| + v_{i,j})\) 并并入支撑集 \(S\)；在第二阶段，对选出的稀疏支撑向量 \(\theta|_S\) 注入同量级拉普拉斯噪声 \(\widetilde{v}_S\) 并投影至半径为 \(B\) 的 \(\ell_2\) 球内。这种机制将噪声注入严格限制在稀疏选择与支撑子空间内，使得单步灵敏度由 \(\ell_\infty\) 特征边界严格控制，彻底避免了对全维度 \(d\) 的依赖。

2. 标签随机响应与闭式无偏梯度修正：以零内部隐私开销实现精确追踪

在 Label-DP 模式下，针对特征公开而标签敏感的特点，算法无需在迭代训练内部持续加噪，而是将隐私预算集中消耗在输入端。对于每个样本的真实标签 \(y_i \in \{0, 1\}\)，采用经典 Warner 随机响应机制生成加噪标签 \(\widetilde{y}_i\)，其满足对准概率 \(p = \mathbb{P}(\widetilde{y}_i=y_i) = \frac{e^\varepsilon}{e^\varepsilon+1}\) 与翻转概率 \(q = \mathbb{P}(\widetilde{y}_i=1-y_i) = \frac{1}{e^\varepsilon+1}\)。直接基于带噪标签优化会导致极大似然估计发生严重系统性偏移，为此本文在梯度层设计了精准的闭式反转去偏公式：

\[\widetilde{g}^t = \frac{e^\varepsilon+1}{e^\varepsilon-1} \left( \hat{g}^t - \frac{g^- + g^+}{e^\varepsilon+1} \right)\]

其中 \(\hat{g}^t = \frac{1}{n}\sum_{i=1}^n \nabla \ell(\theta^t; x_i, \widetilde{y}_i)\) 为含噪标签的经验梯度，\(g^- = \frac{1}{n}\sum_{i=1}^n \nabla \ell(\theta^t; x_i, 0)\) 与 \(g^+ = \frac{1}{n}\sum_{i=1}^n \nabla \ell(\theta^t; x_i, 1)\) 分别为强制全零和全一标签时的虚构背景梯度。数学上严格可证 \(\mathbb{E}_{\mathcal{M}_{\text{RR}}}[\widetilde{g}^t] = \nabla \mathcal{L}_n(\theta^t)\)，即该修正梯度在关于随机响应机制的条件期望下是真实经验梯度的严格无偏估计。由于差分隐私的后处理不变性（Post-processing Invariance），后续迭代直接采用标准确定性硬阈值算子 \(\mathcal{H}_s(\theta^t - \eta \widetilde{g}^t)\)，不仅算法极其轻量，而且免去了样本拆分与中间加噪环节。

3. 基于分值攻击与广义下界的极小化极大下界分析：确立私有估计信息论极限

为了检验上述算法在理论上的完备性，本文利用分值统计量（Score Statistic）框架对私有估计误差建立了紧致的极小化极大下界。对于逻辑斯蒂对数配分函数，单点分值函数为 \(S(z_i, \theta) = (y_i - \sigma(\langle x_i, \theta \rangle))x_i\)。在分值攻击（Score Attack）理论中，任何精准的估计量必须对训练样本中的分值信号高度敏感；但差分隐私的稳定性约束严格限制了估计量与分值函数之间的相关性互信息：

\[\left| \sum_{i=1}^n \mathbb{E}[\mathcal{A}_\theta(z_i, \mathcal{M}(D))] \right| \le n \varepsilon \sqrt{\lambda_{\max}(\mathcal{I}(\theta))} \sqrt{\mathbb{E}\|\mathcal{M}(D) - \theta\|_2^2} + 2n \delta s^* \sqrt{\log(1/\delta)}\]

通过将统计效用对相关性的必要性与差分隐私对相关性的刚性约束相对抗，证明了 Sample-DP 机制的参数估计均方误差下界必满足 \(\widetilde{\Omega}\left(\frac{s^*}{\gamma n} + \frac{(s^*)^2}{\gamma n^2 \varepsilon^2}\right)\)，说明本文提出的 Sample-DP-IHT 算法在对数因子意义下达到了极小化极大最优率（Minimax Optimal）。对于 Label-DP，证明了在随机响应机制族下误差下界不可超越 \(\widetilde{\Omega}\left(\frac{s^*}{\gamma n} + \frac{s^*}{\gamma n \varepsilon^2}\right)\)，印证了 Label-DP RR+IHT 算法在此架构下的不可改进性；同时进一步给出了任意中心化 Label-DP 机制的通用信息论下界 \(\widetilde{\Omega}\left(\frac{s^*}{\gamma n} + \frac{s^*}{\gamma n^2 \varepsilon^2}\right)\)。

实验关键数据

主实验

论文在两项主流对齐任务上展开系统验证：(1) IMDb 情感生成（Sentiment Generation）：策略网络采用 LLaMA-7B，奖励模型 backbone 采用 RoBERTa，利用固定评估器 siebert/sentiment-roberta-large-english 打分，在不同隐私预算 \(\varepsilon \in \{2, 8\}\)（\(\delta=10^{-5}\)）下评估 PPO 训练后生成文本的情感奖励分值；(2) Real-Toxicity-Prompts 安全对齐（Safety Alignment）：策略网络涵盖 Gemma-3-1B 与 Llama-2-7B，使用 GPT-4.1 裁判对有害 Prompt 诱导下的安全拒绝率/胜率进行盲测。

任务 / 评估指标	隐私预算 \(\varepsilon\)	非私有参考 (Clean)	本文 DP-IHT (Sample-DP)	本文 RR-IHT (Label-DP)	基线 DP-SGD (Dense Sample-DP)	基线 RR (Dense Label-DP)
IMDb 情感生成峰值奖励 ↑	\(\varepsilon = 2\)	3.07	2.37	2.44	1.98	2.12
IMDb 情感生成峰值奖励 ↑	\(\varepsilon = 8\)	3.07	2.87	2.88	2.26	2.20
Gemma-3-1B 安全对齐胜率 ↑	\(\varepsilon = 2\)	-	53%	57%	43%	51%
Gemma-3-1B 安全对齐胜率 ↑	\(\varepsilon = 8\)	-	55%	62%	47%	51%
Llama-2-7B 安全对齐胜率 ↑	\(\varepsilon = 2\)	-	60%	65%	50%	53%
Llama-2-7B 安全对齐胜率 ↑	\(\varepsilon = 8\)	-	62%	70%	53%	58%

消融实验

为了彻底排除下游 PPO 超参数调优对评估产生的干扰，论文在测试集上直接对各私有奖励模型本身的性能进行了离线切片消融（测试指标为对数似然损失 NLL 与偏好预测准确率 Accuracy）：

训练机制 / 算法配置	隐私类别	负对数似然损失 (NLL) ↓	损失标准差 (Std)	留出偏好准确率 (Accuracy) ↑	相对非私有基准差距
非私有理想基线 (Non-private)	无隐私约束	0.3181	0.0008	0.8650	0.00% (Reference)
Label-DP RR-IHT (本文)	标签级私有	0.3209	0.0006	0.8646	准确率仅落后 0.04%
Sample-DP-IHT (本文)	样本级私有	0.3316	0.0008	0.8583	准确率仅落后 0.67%
稠密随机响应 (Dense RR)	标签级私有	0.4944	0.0012	0.8568	NLL 恶化 +0.1763
稠密梯度加噪 (Dense DP-SGD)	样本级私有	0.5154	0.0090	0.8302	准确率大幅落后 3.48%

在超参数敏感度测试中（附录 Table 6 学习率网格扫描），DP-IHT 在 \(\eta=10^{-3}\) 时取得最优 NLL (0.3316)，RR-IHT 在 \(\eta=10^{-2}\) 时取得最优 NLL (0.3209)，均对学习率具有宽裕的稳定收敛区间；而 DP-SGD 学习率调至 \(10^{-4}\) 时 NLL 仍高达 0.5154，证实稠密模型受高维噪声拖累极其严重。

关键发现

• 稀疏结构极大抵消了高维隐私代价：在 \(\varepsilon=2\) 的强隐私保护严苛限制下，稠密算法 DP-SGD 与 RR 的奖励信号几乎被随机噪声冲垮，IMDb 奖励分从无隐私的 3.07 分别滑落至 1.98 和 2.12；而稀疏算法 DP-IHT 与 RR-IHT 分别保住了 2.37 和 2.44，与无隐私基线差距缩小至 0.63 以内。
• 离线奖励模型准确率近乎无损：在脱离 PPO 的直接评估中，Label-DP RR-IHT 的验证偏好准确率（86.46%）极其逼近非私有对齐上限（86.50%），相比稠密基准表现出显著更低的损失方差（0.0006），证明去偏修正配合硬阈值能够精准剔除伪相关特征。
• 跨模型架构与模型尺度的强鲁棒性：无论在 1B 参数量的 Gemma-3 还是 7B 的 Llama-2 上，稀疏对齐带来的胜率增益均保持稳定。在 Llama-2-7B 的 \(\varepsilon=8\) 安全评测中，RR-IHT 胜率高达 70%，相比稠密 RR (58%) 净胜 12 个百分点，表明大模型在安全对齐时的关键特征集中在极窄的子空间。

亮点与洞察

• 从理论上斩断 \(d\) 的维度诅咒：首次将私有 RLHF 的理论误差上界由关于全维度多项式依赖的 \(\widetilde{O}\left(\frac{d^2}{n} + \frac{d^3}{n^2\varepsilon^2}\right)\) 缩减为仅依赖本征稀疏度的 \(\widetilde{O}\left(\frac{s^*}{n} + \frac{(s^*)^2}{n^2\varepsilon^2}\right)\)。在超参数化现代大模型中，该改进代表了理论收敛界的质的跃迁。
• 巧妙的去偏梯度与后处理解耦设计：在 Label-DP 中，算法没有生硬地在梯度优化阶段加入繁复的私有扰动，而是利用随机响应的矩阵可逆性质构造出解析无偏梯度，借助差分隐私后处理定理使得整个 IHT 优化循环零隐私开销，简洁高效。
• 极小化极大下界闭环证明：通过 Score Attack 分析，不仅给出了上界证明，还一并完成了 Sample-DP 的极小化极大下界与 Label-DP 在随机响应框架下的下界收敛匹配，理论自洽且闭环完备。

局限与展望

• 线性特征假设与深度表示解耦：理论分析基于 BTL 框架下的线性奖励参数化假设 \(r_\theta(k,a)=\langle \phi(k,a), \theta \rangle\)。尽管实验中通过固定预训练特征提取器验证了可行性，但对于端到端全量微调的非线性深度神经网络，稀疏性诱导机制与差分隐私分析仍存在理论拓展空间。
• Label-DP 一般机制与随机响应之间的理论鸿沟：本文给出的中心化 Label-DP 通用下界为 \(\widetilde{\Omega}(s^*/n + s^*/n^2\varepsilon^2)\)，而基于 RR 的算法上界为 \(\widetilde{O}(s^*/n + s^*/n\varepsilon^2)\)，两者在 \(n\) 的阶数上存在差距。如何在维持多项式时间复杂度的同时设计超越随机响应的 Label-DP 机制以缩小该 gap，是未来极具价值的研究方向。

相关工作与启发

• vs Chowdhury et al. (AISTATS 2024 [15]): 该工作是首个分析差分隐私成对偏好奖励估计的研究，但其设定完全建立在稠密奖励假设上，导致的估计误差严重依赖特征环境维度 \(d\)（如 Sample-DP 下为 \(O(d^2/n + d^3/n^2\varepsilon^2)\)），且采用限制性较强的 \(\ell_2\) 有界特征假设。本文引入内在稀疏性先验与更贴合高维实际的 \(\ell_\infty\) 坐标有界假设，不仅将误差上界收敛至 \(s^*\)，还补齐了紧致的极小化极大下界证明。
• vs Talwar et al. (NeurIPS 2015 [42]) / Cai et al. (Ann. Statist. 2021 [6]): 经典私有稀疏学习主要关注均方误差线形回归或通用凸优化，无法直接适配成对反馈的非线性 BTL 似然结构与二元偏好分布。本文将私有剥离机制与 BTL 逻辑回归的强凸局部几何特征结合，成功拓展了私有稀疏估计的应用疆域。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [首次在差分隐私人类反馈偏好学习中探索稀疏奖励估计，理论构建与算法设计极具开拓性]
• 实验充分度: ⭐⭐⭐⭐☆ [涵盖情感生成与有害拒答两大对齐基准，进行了离线损失消融、参数敏感度及主流模型横向验证]
• 写作质量: ⭐⭐⭐⭐⭐ [数学推导严丝合缝，符号系统与引理组织清晰，理论证明完备且论述深刻]
• 价值: ⭐⭐⭐⭐⭐ [从根本上攻克了过参数化时代私有对齐高维噪声破坏可用性的痛点，为高隐私合规下的安全大模型训练奠定了坚实理论基石]

相关论文

• [NeurIPS 2026] Towards Hyperparameter Transfer for Differentially Private Optimization
• [NeurIPS 2026] Private Adaptive Covariance Estimation via Gaussian Graphical Models
• [ICML 2026] Differentially Private Preference Data Synthesis for Large Language Model Alignment
• [NeurIPS 2026] SnapAudit: Active Auditing of Differentially Private In-Context Learning via Snapshot-Based Simulation
• [NeurIPS 2026] Inference-time Alignment via Sparse Junction Steering