PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization¶

会议: NeurIPS 2026
arXiv: 2605.06505
OpenReview: https://openreview.net/forum?id=nn9uSJJgXG
代码: https://github.com/bilgehanertan/paczero/
领域: 模型压缩
关键词: 零阶优化, PAC隐私, 符号量化, 大语言模型微调, 成员推理防御

一句话总结¶

PACZero 提出了一种基于符号量化与子集聚合的零阶语言模型微调机制，在二元释放下精确计算互信息并利用高频的一致性无损更新，首次在互信息损失 $I(S^*; Y_{1:T})=0$（对抗成员推理后验等于先验）的高隐私状态下实现了接近非私有微调的实用模型性能。

研究背景与动机¶

大语言模型在下游敏感私有领域数据上的微调面临严重的隐私泄露威胁，恶意攻击者可以通过成员推理攻击（Membership Inference Attack, MIA）或逐字文本提取重构出训练集中的隐私敏感记录。为了降低微调计算开销，以 MeZO 为代表的零阶优化（Zeroth-Order, ZO）方法通过两次前向传播估计有限差分标量，免去了反向传播所带来的显存瓶颈。然而，当结合差分隐私（Differential Privacy, DP）框架（如 DPZero、DP-AggZO）对每次迭代的有限差分标量进行裁剪和加噪时，现存方案无一例外地继承了 DP-SGD 严苛的“效用-隐私折中”难题：差分隐私基于最坏情况下的单样本敏感度界限，并随 $T$ 步迭代进行序列组合累计隐私消耗；在强隐私预算（例如 $\varepsilon < 1$）下，加噪方差急剧攀升，模型测试性能发生断崖式崩溃，甚至退化为随机猜测水平，而更严格的 $\varepsilon=0$ 在 DP 框架下更对应无穷大的噪声，完全无法更新。

导致这一困境的核心矛盾在于：差分隐私强求相邻数据集之间最坏情况下的对数似然比边界，忽略了实际优化轨迹中输出更新对于私有数据的经验稳定性。PAC Privacy 框架通过放宽最坏情况约束，改为度量私有数据集与释放信息之间的互信息（Mutual Information, MI），使得噪声校准能够充分利用输出的内在稳定性——当不同候选私有子集的输出一致时，无需添加额外噪声即可实现零隐私开销。然而，在大模型数十亿参数规模（$d \sim 10^9$）与上千步迭代（$T \sim 10^3$）的场景下，传统 PAC 算法需要追踪多维经验协方差矩阵，其计算与内存开销极其庞大，导致基于 PAC 隐私的迭代训练在过去难以落地。

本文的切入角度是：将零阶梯度的标量特性与极端符号量化相结合，把多维参数扰动压缩为单个离散符号比特的释放。核心 idea：通过对 $M$ 个随机候选子集聚合的零阶梯度进行符号量化，将每步梯度释放转换为离散二元决策；当所有候选子集符号一致时（出现频率达 34%–45%）实现零互信息开销的自由更新，而在分歧步通过一维精确高斯信道反解噪声方差或直接均匀翻硬币，首次在 $I(S^*; Y_{1:T})=0$ 的零隐私损失极限下实现了高精度的语言模型微调。

方法详解¶

整体框架¶

PACZero 的整体流程由公共随机扰动采样、两点零阶标量估计、子集均值聚合与符号量化、后验加权一致性判定、以及分支释放与参数更新五个阶段构成。在每步迭代中，系统从公共伪随机数生成器采样与数据无关的高维高斯方向向量 $z_t \sim \mathcal{N}(0, I_d)$；随后对全量候选池中的每个样本计算前后两次扰动损失的有限差分标量，并进行数值稳定性裁剪；接着在预先构建的 $M$ 个均衡候选子集上分别计算均值并取符号 $s_m = \mathrm{sign}(\bar{g}_m) \in \{-1, +1\}$。基于当前敌手对真实私有子集索引的后验分布 $p_t$，计算后验加权的正向一致性概率 $q_t^+$。当所有处于后验支撑集内的子集符号完全一致时，触发“一致性分支”，以零噪声释放真实私有子集的符号 $s_{j^*}$ 且消耗 0 点互信息；当存在符号分歧时，触发“分歧分支”，在 PACZero-MI 变体中通过一维高斯积分反解精确噪声方差后释放带噪比特，在 PACZero-ZPL 变体中则直接释放均匀随机硬币翻转结果以彻底切断互信息泄露。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：模型参数 θ_t 与公共方向向量 z_t"] --> B["两点标量估计与稳定性裁剪<br/>计算样本差分 g_i 并截断极值"]
    B --> C["子集聚合与符号量化<br/>聚合 M 个子集均值并离散为符号向量 s"]
    C --> D["后验一致性检测<br/>计算后验加权正向概率 q_t+"]
    D -->|q_t+ 属于 {0, 1}| E["后验一致性检测与零成本更新<br/>确定性释放真实符号且零互信息消耗"]
    D -->|q_t+ 属于 (0, 1)| F{"分支选择"}
    F -->|PACZero-MI| G["精确一维二元高斯信道校准<br/>数值求根反解噪声方差并释放带噪符号"]
    F -->|PACZero-ZPL| H["零隐私损失硬币翻转机制<br/>均匀随机释放正负一且互信息为零"]
    E --> I["参数更新<br/>θ_{t+1} = θ_t - η_t Y_t z_t"]
    G --> I
    H --> I

关键设计¶

1. 子集聚合与符号量化：将高维参数更新压缩为单比特释放

传统差分隐私零阶优化（DP-ZO）虽然消除了对全量梯度的反向传播依赖，但仍对连续标量梯度进行全局高斯加噪，导致优化方向严重偏离真实下降轨迹。PACZero 借鉴标准 PAC Privacy 框架的候选池设置，在包含 $N$ 个训练样本的宇宙集合 $U$ 上构造 $M$ 个大小相等的子集 $\{S_1, \dots, S_M\}$，保证每个样本恰好出现在 $M/2$ 个子集中，且真实私有数据集 $S^* = S_{j^*}$ 等概率随机抽取自该分布（先验概率为 $1/M$）。在步骤 $t$，算法对每个子集内部的样本有限差分标量进行平均得到 $\bar{g}_m = \frac{1}{|S_m|} \sum_{i \in S_m} \hat{g}_i$，并立即进行极端符号量化： $$s_m = \mathrm{sign}(\bar{g}_m) \in \{-1, +1\}$$ 通过将连续变量压缩为单一符号比特，释放空间从无穷维的实数轴压缩到了二元离散集合。由于更新方向 $z_t$ 是完全公开且独立采样的，模型参数的更新仅依赖于这个二元符号 $Y_t \in \{-1, +1\}$。这一设计不仅彻底打破了经典高维协方差估计的内存诅咒，还将单步释放对私有身份的信息泄露上界严格限制在 1 比特（$\ln 2$ nats）之内。

2. 后验一致性检测与零成本更新：利用经验稳定性消除隐私消耗

PAC Privacy 的核心优势在于噪声取决于输出在假设空间下的离散经验方差，而非全局最坏情况扰动。算法在每一步维护最强知情攻击者对真实子集索引的贝叶斯后验信念分布 $p_t \in \Delta^{M-1}$，并计算后验加权的正向一致性概率： $$q_t^+ = \sum_{m=1}^M p_t[m] \cdot \mathbf{1}[s_m = +1]$$ 当 $q_t^+ \in \{0, 1\}$ 时，表明在当前攻击者认为有可能的所有候选子集中，量化后的梯度符号全部相同。此时，无论真实私有子集 $j^*$ 究竟是其中的哪一个，释放的符号都必然是常数（即 $s_{j^*} \equiv +1$ 或 $-1$）。由互信息的严格数学定义，确定性常数输出与输入状态之间的条件互信息恒等于零： $$I_{j^* \sim p_t}(j^*; Y_t) = 0$$ 因此，算法在此处直接释放真实符号 $Y_t = s_{j^*}$，无需添加任何扰动噪声（$\sigma_t = 0$），也不消耗任何预设隐私预算（$\beta_t^{\mathrm{used}} = 0$），攻击者的后验分布亦保持不变（$p_{t+1} = p_t$）。在 SST-2 情感分类任务的实验中，这种一致性分支自然触发的频率高达 34%–45%，使模型能够源源不断地从“零隐私成本”的确定性真实梯度方向中获取有效优化信号。

3. 精确一维二元高斯信道校准与自适应预算分配（PACZero-MI）

在出现符号分歧的步数（$q_t^+ \in (0, 1)$），PACZero-MI 变体允许消耗单步互信息预算 $\beta_t$ 来释放带噪符号。以往 PAC 隐私工作采用松散的方差上界近似互信息，当噪声变大时会导致极大的界限松弛。本文指出，给定输入为二元符号 $\xi \in \{-1, +1\}$（$P(\xi=+1)=q_t^+$）且观测输出为 $\tilde{Y} = \xi + \mathcal{N}(0, \sigma^2)$，该二元高斯信道的互信息具有精确的一维积分闭式： $$I(\xi; \tilde{Y}) = \sum_{s \in \{-1, +1\}} P(\xi = s) \int_{-\infty}^{\infty} \phi_\sigma(y - s) \ln \frac{\phi_\sigma(y - s)}{q_t^+ \phi_\sigma(y - 1) + (1 - q_t^+) \phi_\sigma(y + 1)} \, dy$$ 其中 $\phi_\sigma$ 为对应高斯分布的概率密度函数。算法利用 60 节点高斯-埃尔米特（Gauss-Hermite）求积公式配合对数求和指数（Log-Sum-Exp）数值稳定化，通过对 $\ln \sigma$ 进行二分查找，精确反解出满足 $I(\xi; \tilde{Y}) = \beta_t$ 的最小噪声标准差 $\sigma_t = \mathrm{BinaryMI}^{-1}(q_t^+, \beta_t)$。随后释放带噪连续量 $\tilde{Y}_t = s_{j^*} + \mathcal{N}(0, \sigma_t^2)$，并通过后处理 $Y_t = \mathrm{sign}(\tilde{Y}_t)$ 控制更新步长，由数据处理不等式保证互信息不增。为了防止早期一致性步数节约下的预算被浪费，PACZero-MI 引入跨步自适应预算动态重分配机制： $$\beta_t = \min\left( \frac{\max(0, \mathrm{MI}_{\mathrm{tot}} - \mathrm{MI}_{\mathrm{used}}^{(t-1)})}{T - t + 1}, \, 0.999 \cdot h(q_t^+) \right)$$ 其中 $h(q) = -q \ln q - (1-q) \ln (1-q)$ 为二元熵上界。该动态重分配机制保证了未消耗的隐私预算能够均匀平摊到未来的剩余迭代步中，并在全程严格保证总互信息上界 $I(S^*; Y_{1:T}) \leq \mathrm{MI}_{\mathrm{tot}}$。

4. 零隐私损失硬币翻转机制（PACZero-ZPL）：零互信息下的有效微调

当将单步互信息预算推向极限 $\beta_t \to 0$ 时，高斯信道反解出的标准差 $\sigma_t \to \infty$，使得带噪释放 $\mathrm{sign}(s_{j^*} + \mathcal{N}(0, \sigma_t^2))$ 在分布上完全收敛为与真实私有子集 $S^*$ 完全独立的对称均匀二元分布。PACZero-ZPL 变体直接跳过耗时的数值积分求根，在每一个分歧步上直接抛掷一枚均匀硬币： $$Y_t \sim \mathcal{U}(\{-1, +1\}), \quad \text{独立于 } S^* \text{ 与 } z_t$$ 在该分支下，输出与真实私有数据之间毫无统计相关性，条件互信息严格为 0；后验分布保持先验状态不变（$p_{t+1} = p_t = p_0$）。结合一致性分支下的零互信息性质，根据互信息的链式法则，PACZero-ZPL 在任意步数 $T$ 下均满足： $$I(S^*; Y_{1:T}) = 0$$ 在知情攻击者针对任意样本 $x_i$ 的成员推理攻击（MIA）场景下，根据 PAC Privacy 基础界限 $\mathrm{KL}(1-\delta_{\mathcal{A}} \| 1/2) \leq I(S^*; Y_{1:T}) = 0$，攻击者的后验成功率被严格压制在先验概率 $1/2$。由于分歧步的硬币翻转不产生有效优化漂移，模型的整体学习完全由 34%–45% 的一致性步数驱动，证明了在完全无隐私泄露的极限下依然可以实现高质量的语言模型微调。

损失函数 / 训练策略¶

PACZero 的优化目标为最小化在真实子集 $S^*$ 上的经验损失 $\mathcal{L}_{S^*}(\theta)$。针对参数 $\theta_t \in \mathbb{R}^d$，优化更新方程为： $$\theta_{t+1} = \theta_t - \eta_t \cdot Y_t \cdot z_t$$ 其中学习率 $\eta_t$ 采用多项式衰减调度，权重衰减参数 $\lambda = 0$。扰动步长固定为 $\mu = 10^{-3}$。针对两点前向标量差分，算法引入截断阈值 $c$（例如全参数微调设为 1000，LoRA 设为 25 或无截断）： $$\hat{g}_i \leftarrow \mathrm{sign}(\hat{g}_i) \cdot \min(|\hat{g}_i|, c)$$ 需要强调的是，这里的裁剪仅用于防止极少数困难样本过分支配子集均值方向，纯属效用稳定器（Utility Stabilizer），而不参与任何敏感度约束或隐私证明。实验在包含 1000 个样本的候选宇宙集合上，划分 $M=128$（PACZero-MI）或 $M=126$（PACZero-ZPL）个均衡子集，每个样本恰好包含在 $M/2$ 个子集中。

实验关键数据¶

主实验¶

主实验在 SST-2 情感分类（准确率 %）与 SQuAD 抽取式问答（F1 值）上评估 OPT-1.3B 与 OPT-6.7B 模型，覆盖全参数微调（FT）与 LoRA（$r=8, \alpha=16$）双赛道。PACZero-MI 设置两个基准互信息预算 $\mathrm{MI} \in \{0.33, 0.68\}$ nats，分别对应差分隐私下产生相同 MIA 上界的参考点 DP $\varepsilon \in \{2, 6\}$；PACZero-ZPL 对应严格的 $I=0$。

微调赛道	隐私保证	方法	SST-2 (OPT-1.3B)	SST-2 (OPT-6.7B)	SQuAD F1 (OPT-1.3B)	SQuAD F1 (OPT-6.7B)
FT	非私有参考 (MeZO)	MeZO Baseline	91.1	93.8	—	—
FT	DP $\varepsilon=2$ (MI=0.33)	DPZero ($K=1$)	86.6	92.7	72.3	78.5
FT	DP $\varepsilon=2$ (MI=0.33)	DP-AggZO ($K=16$)	90.8	93.8	76.3	82.9
FT	DP $\varepsilon=2$ (MI=0.33)	PACZero-MI	$89.51 \pm 1.12$	$92.20 \pm 0.45$	60.55	72.41
FT	DP $\varepsilon=6$ (MI=0.68)	DPZero ($K=1$)	88.2	92.9	74.2	80.1
FT	DP $\varepsilon=6$ (MI=0.68)	DP-AggZO ($K=16$)	91.3	94.6	77.7	83.3
FT	DP $\varepsilon=6$ (MI=0.68)	PACZero-MI	$89.19 \pm 1.03$	$92.28 \pm 0.13$	61.53	71.64
FT	$I=0$ (零隐私损失)	PACZero-ZPL	$\mathbf{88.99 \pm 0.91}$	$\mathbf{90.52 \pm 1.43}$	$\mathbf{62.25 \pm 1.33}$	$\mathbf{72.12}$
LoRA	MI=0.33	PACZero-MI	$89.74 \pm 1.53$	$90.21 \pm 0.43$	41.09	56.96
LoRA	MI=0.68	PACZero-MI	$89.51 \pm 0.55$	$91.17 \pm 1.13$	48.32	55.61
LoRA	$I=0$ (零隐私损失)	PACZero-ZPL	$\mathbf{88.69 \pm 1.00}$	$\mathbf{90.56 \pm 0.88}$	42.36	$\mathbf{57.94}$

(注：表中 DP 基线数据引自 DP-AggZO (Bao et al., 2025) 原文；DP 框架下在 $\varepsilon=0$ 时噪声为无穷大，无法产出有效数据；多 seed 格式为 mean $\pm$ std)

消融实验¶

1. 跨越 4 个数量级的紧致互信息平台分析（SST-2 FT OPT-1.3B） 固定超参数（$T=1000, \mathrm{lr}=10^{-4}, c=1000, M=128$），在名义互信息跨越四个数量级（$10^{-4} \sim 0.68$ nats）的条件下扫描 PACZero-MI 的性能与一致性比例 $f = n_{\mathrm{free}}/T$：

名义 MI (nats)	验证集准确率 (Dev %)	测试集准确率 (Test %)	一致性步数占比 ($f\%$)	实际消耗 MI 上限 (nats)
$10^{-4}$	88.40	87.96	39.2%	$\leq 10^{-4}$
$10^{-3}$	88.80	87.84	39.2%	$\leq 10^{-3}$
$10^{-2}$	86.20	86.47	37.6%	$\leq 10^{-2}$
0.11	88.00	89.56	39.7%	$\leq 0.11$
0.33	87.40	88.99	39.1%	$\leq 0.33$
0.68	86.80	88.76	40.7%	$\leq 0.68$

2. 强隐私极限下的对比：DP-ZO 的隐私崩溃悬崖（SST-2 FT OPT-1.3B） 在作者内部复现的强隐私 DP 实验中，DP-ZO 表现出严重的性能雪崩，而 PACZero-ZPL 即使在 $I=0$ 仍保持实用性能：

方法	步数 $T$	$\varepsilon=0.2$	$\varepsilon=0.3$	$\varepsilon=0.5$	$\varepsilon=1.0$	$\varepsilon=2.0$
DPZero ($K=1$) FT	20,000	50.46%	51.49%	51.03%	50.92%	85.78%
DP-AggZO ($K=64$) FT	1,000	50.11%	52.87%	65.94%	86.24%	88.42%
PACZero-ZPL ($I=0$)	1,000	88.99%	88.99%	88.99%	88.99%	88.99%

关键发现¶

零隐私损失下极具竞争力的可用性：在 SST-2 上，PACZero-ZPL 在 $I=0$ 下达到 88.99%（OPT-1.3B）与 90.52%（OPT-6.7B），距离完全非私有的全参数微调上限（91.1% 与 93.8%）仅有 2.1 到 3.3 个百分点的微弱差距，彻底打破了“强隐私必然导致模型效用崩溃”的固有认知。
超强鲁棒的紧致互信息平台：从 $10^{-4}$ 到 0.68 nats，PACZero-MI 的测试准确率始终稳定在 86.47%–89.56% 之间（波动仅 3.09 个百分点），一致性步数比例 $f$ 稳定在 37.6%–40.7%，说明优化过程中的有效梯度信号压倒性地来自零成本的一致性步数，而非依赖分歧步的带噪放行。
任务复杂度与一致性比例的强相关性：一致性比例 $f$ 显著依赖于任务空间：在二分类 SST-2 上 $f$ 为 34%–45%；在长文本抽取 SQuAD 全参数微调中降至 25%–33%；而在参数空间受限的 SQuAD-LoRA 中下降到 8%–11%，这也直接解释了为何 SQuAD-LoRA 在硬币翻转驱动下的 F1 值下降更为明显。

亮点与洞察¶

将最坏情况连续扰动转化为统计离散一致性：巧妙地将连续梯度估计转换为二元符号，使得子集间的“经验一致性”成为一种可判定的离散状态，在一致步以数学上严格的零互信息释放未受污染的真实梯度。
避开高维协方差诅咒的单比特一维积分反解：传统 PAC Privacy 无法拓展到千步十亿级大模型的核心瓶颈是多维协方差跟踪，PACZero 通过单比特释放将高维隐私核算收敛为一维高斯积分，利用高斯-埃尔米特求积实现精确闭环数值校准。
开创完全无隐私泄露的实效性基准：提出了首个在迭代微调中满足 $I(S^*; Y_{1:T})=0$（对抗知情 MIA 后验等于先验 1/2）且具备实用准确率的算法范式，为隐私计算从传统差分隐私向分布先验隐私迁移树立了范例。

局限与展望¶

依赖预设的均匀子集数据生成先验：PAC Privacy 的 $I=0$ 是在先验数据分布 $\mathcal{D} = \mathrm{Unif}\{S_1, \dots, S_M\}$ 假设下成立的，其理论语义抵御的是标准 MIA 攻击，并不等同于传统差分隐私对任意相邻数据集的最坏情况最强防御语义。
复杂生成任务上一致性概率收缩：在词表级自由文本生成任务中，损失梯度景观更为复杂，候选子集的梯度符号一致性比例可能进一步下降，进而影响仅依赖一致性更新时的收敛速度。
未来方向：混合预算与冷启动迁移：作者指出未来可探索“前段预算释放、后段纯零损失更新”的混合退火策略（Hybrid Budget-then-ZPL），通过在前期少量消耗 MI 快速收敛后验分布以拉高后续一致性比例，并在更现代开源架构（如 Llama 3、Mistral）上探索收敛边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将符号量化与 PAC Privacy 结合引入大模型零阶微调，开创了利用经验一致性实现零互信息损耗的全新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1.3B 与 6.7B 模型，覆盖全参数与 LoRA，在 SST-2 与 SQuAD 上横跨多个数量级全面对齐并深度复现 DP-ZO 悬崖。
写作质量: ⭐⭐⭐⭐⭐ 理论证明严密，算法设计清晰，对于 PAC 隐私与传统 DP 的语义边界界定坦诚且深刻。
价值: ⭐⭐⭐⭐⭐ 为解决隐私微调中“效用-隐私折中”死结提供了颠覆性的可行路径，对大模型高效隐私学习具有重大参考价值。

名义 MI (nats)	验证集准确率 (Dev %)	测试集准确率 (Test %)	一致性步数占比 (\(f\%\))	实际消耗 MI 上限 (nats)
\(10^{-4}\)	88.40	87.96	39.2%	\(\leq 10^{-4}\)
\(10^{-3}\)	88.80	87.84	39.2%	\(\leq 10^{-3}\)
\(10^{-2}\)	86.20	86.47	37.6%	\(\leq 10^{-2}\)
0.11	88.00	89.56	39.7%	\(\leq 0.11\)
0.33	87.40	88.99	39.1%	\(\leq 0.33\)
0.68	86.80	88.76	40.7%	\(\leq 0.68\)

方法	步数 \(T\)	\(\varepsilon=0.2\)	\(\varepsilon=0.3\)	\(\varepsilon=0.5\)	\(\varepsilon=1.0\)	\(\varepsilon=2.0\)
DPZero (\(K=1\)) FT	20,000	50.46%	51.49%	51.03%	50.92%	85.78%
DP-AggZO (\(K=64\)) FT	1,000	50.11%	52.87%	65.94%	86.24%	88.42%
PACZero-ZPL (\(I=0\))	1,000	88.99%	88.99%	88.99%	88.99%	88.99%