Differentially Private Model Merging¶
会议: NeurIPS 2026
arXiv: 2604.20985
领域: 模型压缩
关键词: 差分隐私, 模型合并, Rényi差分隐私, 隐私损失分布, 隐私预算审计
一句话总结¶
针对现实部署中差分隐私（DP）需求动态变化的痛点，提出无需访问原始数据和重新训练的随机选择（RS）与线性组合（LC）两种轻量后处理模型合并机制，并基于 Rényi 差分隐私（RDP）与隐私损失分布（PLD）给出了严格且紧致的隐私损失审计理论。
研究背景与动机¶
在真实生产部署环境中，机器学习系统面临的隐私合规要求并非一成不变，而是随着政策法规调整、机构管辖权变动或端侧用户体验偏好而频繁动态演变。然而，传统的差分隐私训练（如 DP-SGD）往往伴随着昂贵的逐样本梯度截断与系统级计算开销，每当新的隐私预算 \((\varepsilon', \delta')\) 提出时，完全重新训练或微调模型会耗费数倍算力与超参调优成本，无法满足快速上线与轻量适配的需求。
服务提供商在模型研发早期通常会保存多套基于相同数据集训练但超参各异的私有模型组合（例如不同噪声乘子、截断阈值或非私有参考模型）。尽管模型合并技术（如 Model Soups、Fisher 加权平均等）在无隐私约束的泛化与多任务场景下被广泛应用，但在严格差分隐私保证下的模型合并依然是一个理论空白——朴素的顺序组合或高级组合定理无法捕捉合并操作的特定结构，往往导致过于悲观松弛的隐私边界与严重劣化的效用折损。
更深层次的理论挑战在于无知后处理的“免费午餐”并不存在：如果不利用训练机制的算法结构信息，任何通用的合并机制在差分隐私下都将退化为仅依赖最严格私有模型的平凡解。核心 idea：立足于已知训练机制超参数与隐私曲线的前提，构建基于离散采样的随机选择（RS）与参数空间凸融合的线性组合（LC）两种后处理合并范式，分别利用 RDP 凸性/次可加性以及 DP-SGD 步进混合高斯上界，实现无需额外训练、紧致紧绑真实隐私损失且优于朴素组合的动态 DP 适配。
方法详解¶
整体框架¶
算法输入为在相同数据集 \(D\) 上独立训练的 \(N\) 个私有模型参数集 \(\{\theta_i(D)\}_{i=1}^N\) 及其对应的机制超参（或 RDP/PLD 轮廓），目标是输出满足目标隐私约束 \((\varepsilon', \delta')\) 的合并模型 \(\theta(D)\)。RS 机制依据优化计算出的概率单纯形向量 \(\pi \in \Delta^{N-1}\) 随机采样并输出单一模型；LC 机制则在参数空间使用权重 \(\lambda \in \Delta^{N-1}\) 执行确定性加权凸平均 \(\theta_\lambda = \sum_{i=1}^N \lambda_i \theta_i\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["私有模型组合与机制元数据<br/>{θ_i, M_i, ε_i, δ_i}"] --> B{"合并模式决策"}
B -->|黑盒隐私轮廓 / 任意机制| C["随机选择机制 (RS)<br/>基于概率向量 π 采样输出单一候选"]
B -->|独立 DP-SGD 训练轨迹| D["线性组合机制 (LC)<br/>基于权重向量 λ 执行参数空间凸融合"]
C --> E["RS 紧致隐私会计<br/>RDP 对数混合界 / PLD 冰球棒凸组合"]
D --> F["LC 步进替代隐私会计<br/>单步混合灵敏度 / 卷积累积替代变量"]
E --> G["可行权重反解与效用最大化<br/>Saturate 目标预算 (ε', δ')"]
F --> G
G --> H["输出满足目标 DP 的合并模型 θ(D)"]关键设计¶
1. 机制感知必要性与无免费午餐界定：阐明利用训练超参数的不可替代性
如果要求后处理合并函数 \(h(\theta_1, \theta_2; \varepsilon', \delta')\) 完全独立于生成它们的机制 \(\mathcal{M}_1, \mathcal{M}_2\)（即黑盒机制无关合并），当放宽对次私有模型 \(\theta_2\) 的敏感性时，隐私保证将立即崩溃。论文通过严格证明确立了总变差距离（TV）下界：若 \(\sup_{x,a,b} \mathcal{D}_{\mathrm{TV}}(h(x,a), h(x,b)) > \frac{(\delta' + e^{\varepsilon'} - 1)(e^{\varepsilon_2} + 1)}{e^{\varepsilon_2 + \varepsilon'} + \delta e^{\varepsilon'} + \delta - 1}\)，则合并输出必不可能在所有机制下都满足 \((\varepsilon', \delta')\)。这一理论定理论证了利用输入模型的 RDP/PLD 曲线或更新轨迹结构的必要性，从而排除了对完全未知机制进行非平凡差分隐私合并的幻想。
2. 随机选择（RS）的双视角紧致隐私会计：对数和凸性与冰球棒上界
RS 机制仅依赖模型索引的分类抽样 \(I \sim \text{Cat}(\pi)\)，输出 \(\theta(D) = \theta_I(D)\)。针对一般学习问题，论文提出了互补的 RDP 与 PLD 计算体系：
- 在 RDP 视角下，利用 Hölder 不等式证明了对于任意阶 \(\alpha > 1\)，输出分布的 Rényi 散度满足凸混合上界：
$\(\varepsilon_\alpha^{\mathrm{RS}}(\pi) \leq \frac{1}{\alpha - 1} \log\left( \sum_{i=1}^N \pi_i e^{(\alpha - 1)\varepsilon_{\alpha,i}} \right)\)$
- 在 PLD 视角下，利用冰球棒散度（Hockey-stick divergence）\(\mathcal{H}_\varepsilon(P, Q) = \sup_S \{P(S) - e^\varepsilon Q(S)\}\) 的联合凸性，直接得出混合分布的显式紧界：
$\(\delta^{\mathrm{RS}}(\pi; \varepsilon') \leq \max\left\{ \sum_{i=1}^N \pi_i \mathcal{H}_{\varepsilon'}(P_i, Q_i), \sum_{i=1}^N \pi_i \mathcal{H}_{\varepsilon'}(Q_i, P_i) \right\}\)$
由于预期模型效用在概率向量 \(\pi\) 上呈现线性特征，工程实现中仅需在满足 \(\varepsilon(\pi; \delta') \leq \varepsilon'\) 或 \(\delta^{\mathrm{RS}}(\pi; \varepsilon') \leq \delta'\) 的可行域边界上贪心搜索使隐私预算饱和的最优权重 \(\pi\)，从而最大限度偏向高精度模型。
3. 线性组合（LC）在独立 DP-SGD 轨迹下的步进替代会计：驯服非高斯混合更新
若仅知最终隐私参数，确定性线性组合 \(\theta_\lambda = \sum_i \lambda_i \theta_i\) 的隐私损失上界将退化为其联合发布的总和（\(\sum_i \varepsilon_{\alpha,i}\)），在最坏情况下是紧的。为突破这一限制，本文针对由独立 DP-SGD 训练的输入模型展开了轨迹级细粒度会计。在第 \(t\) 步，联合更新量 \(\theta^{(t)} - \theta^{(t-1)} = -(\overline{g}_\lambda^{(t)} + \overline{e}_\lambda^{(t)})\) 的聚合高斯噪声方差为 \((s_\lambda^{(t)})^2 = \sum_i (\lambda_i \eta_i^{(t)} \sigma_i^{(t)} C_i^{(t)})^2\)，混合截断灵敏度为 \(\Delta_\lambda^{(t)} = 2 \sum_i \lambda_i \eta_i^{(t)} C_i^{(t)}\)。核心技术难点在于：条件化于已合并的历史参数 \(\mathcal{F}_{t-1} = \sigma(\theta^{(t-1)})\) 后，单模型隐藏状态并未确定，使得步进增量呈现为未知连续高斯混合。论文证明了高斯密度对数比随均值平移单调递增，进而构造出单步替代隐私损失随机变量：
$\(\tilde{L}^{(t)} = \log \frac{\phi(Z^{(t)}; \Delta_\lambda^{(t)}, (s_\lambda^{(t)})^2)}{\phi(Z^{(t)}; 0, (s_\lambda^{(t)})^2)}, \quad Z^{(t)} \sim \mathcal{N}(0, (s_\lambda^{(t)})^2)\)$
经严格随机占优论证，步进条件 RDP 满足 \(\varepsilon_\alpha^{(t)}(\lambda) \leq \frac{\alpha (\Delta_\lambda^{(t)})^2}{2(s_\lambda^{(t)})^2}\)；多步总 PLD 则可通过离散化单步 \(\tilde{L}^{(t)}\) 并执行 \(T\) 步快速傅里叶变换卷积（FFT Convolution）直接累加，彻底解决了模型合并过程中的隐私损失紧致审计难题。
损失函数 / 训练策略¶
方法属于纯粹的推理期与部署期后处理算法，执行过程中完全无需访问原始私有训练集 \(D\)，也不产生任何附加梯度反向传播或参数更新。在配置合并超参时，首先输入目标预算 \((\varepsilon', \delta')\) 以及各输入模型的超参集 \(\mathcal{S}_i = \{\eta_i, C_i, \sigma_i, T_i\}\)。针对训练步数不同（\(T_i \neq T_j\)）的情形，引入零梯度、纯噪声注入的虚拟步将序列统一对齐至 \(T = \max_i T_i\)。随后通过网格搜索或二分法求解可行集边界上的最优参数 \(\pi^*\) 或 \(\lambda^*\)，完成即时一键组装。
实验关键数据¶
主实验¶
评估涵盖高斯均值估计（合成数据）、MNIST 凸模型（Logistic Regression, DP-SGD 训练 20 epochs）以及 CIFAR-10 非凸模型（基于预训练 ResNet-18 在私有子集 \(D_{\mathrm{priv}}\) 上微调 20 epochs）。在目标松弛因子固定为 \(\delta = 10^{-5}\) 的设定下，对不同合并机制及会计理论的帕累托前沿进行对比。
| 数据集 / 场景 | 模型架构 | 输入基准模型数 | 合并机制 | 审计工具 | 测试集核心指标 | 隐私参数 \(\varepsilon\) 表现 |
|---|---|---|---|---|---|---|
| 高斯均值估计 (\(n=100\)) | 经验均值估计 | 2 (不同 \(\sigma_i\)) | RS / LC | RDP vs PLD | 均方误差 (MSE) | PLD 界显著紧于 RDP；相同 MSE 下 LC 达成更小 \(\varepsilon\) |
| MNIST 分类 | Logistic Regression | 3 (组合截断阈值 \(C\) 与噪声比 \(\sigma\)) | RS | RDP / PLD | 测试准确率 | PLD 在同一准确率下比 RDP 节省约 15%~25% 预算 |
| MNIST 分类 | Logistic Regression | 3 (组合截断阈值 \(C\) 与噪声比 \(\sigma\)) | LC | RDP / PLD | 测试准确率 | LC 帕累托前沿全面包络 RS，且较联合发布大幅收紧 |
| CIFAR-10 图像分类 | ResNet-18 (微调) | 多组 (\(C \in \{2,4\}, \sigma \in \{16,32\}\)) | RS / LC | PLD 紧致审计 | Top-1 准确率 (%) | 呈现连续可调平滑折损曲线，部分合并点性能超越单模型 |
消融实验¶
消融分析集中于三种关键机制与场景变体：(1) 高斯均值估计下固定隐私预算下的 MSE 理论对比；(2) 机制相关性对合并边界的影响（同源 checkpoint 循环利用 vs 独立 DP-SGD 运行）；(3) 进阶组合定理（Advanced Composition）与 RDP 联合会计的理论松紧度差距。
| 实验配置 / 机制变体 | 核心表现 / 理论结论 | 说明与机制洞察 |
|---|---|---|
| 高斯均值估计: LC vs RS 理论下界 | \(\varepsilon_\alpha^{\mathrm{RS}}(\pi) > \varepsilon_\alpha^{\mathrm{LC}}(\lambda) = \frac{\alpha \Delta^2}{2\sigma^2}\) | 充分利用独立噪声平均效应，LC 在相同方差下具有严格小于 RS 的 RDP 损失 |
| 同源 Checkpoint 循环利用 (MNIST & CIFAR) | RS 保持有效并实现帕累托折衷；LC 隐私无法优于末期 checkpoint | 步间更新强相关导致 LC 无法削减前序步骤累积隐私损耗，证明 LC 依赖独立噪声假设 |
| 联合发布: 进阶组合 vs RDP/PLD 联合界 | \(\varepsilon_{\mathrm{RDP}} \leq \varepsilon_{\mathrm{com}}\) (Proposition B.1 严格成立) | 即使在联合发布最差情形下，基于细粒度分布轮廓的会计仍系统性优于传统 \((\varepsilon, \delta)\) 界 |
关键发现¶
- PLD 会计全方位优于 RDP：在合成数据均值估计、MNIST 逻辑回归与 CIFAR-10 深度残差网络中，数值 PLD 卷积推导出的隐私参数 \(\varepsilon\) 均显著小于由解析 RDP 转换而得的值，能够为相同效用的模型释放更多的可用隐私预算。
- 独立噪声下 LC 机制的效用压制：在独立训练的设定中，LC 机制由于在参数加权平均时抵消了部分随机高斯噪声，在均值估计与凸优化任务中均实现了优于离散 RS 采样的精度-隐私平衡。
- 超参数混合产生“超越单体”的协同增益：在 CIFAR-10 预训练微调实验中，观察到特定凸组合权重下的合并模型测试准确率超越了参与合并的所有单体基准模型。这表明在共用良态预训练初始化时，模型合并兼具降低过拟合噪声与聚合共享特征表示的泛化红利。
亮点与洞察¶
- 开创性的后处理 DP 适配问题范式：以往研究多着眼于用合并来弥补 DP-SGD 带来的性能损失，本文首次将模型合并作为在部署期即时达成任意目标隐私预算 \((\varepsilon', \delta')\) 的零成本调控旋钮。
- 混合状态空间下的替代随机变量构造：在分析 LC-DP-SGD 时，巧妙地跳过了后验分布中对复杂未知历史轨迹的显式积分，通过证明高斯对数似然比期望在截断灵敏度上的单调性，构建了保守但易于卷积的单维高斯替代变量 \(\tilde{L}^{(t)}\)。
- 轻量即插即用：该方法为工业界在多租户环境、不同国家/地区数据隐私法规切换时，提供了一种毫秒级响应的模型服务治理策略。
局限与展望¶
- 理论分析受限于 Full-batch DP-SGD：当前关于线性组合（LC）的细粒度步进隐私审计仅在无下采样（Full-batch）的高斯机制下严格闭合；将该理论推广至包含泊松子采样（Poisson Subsampling）的实用 DP-SGD 仍待攻坚。
- 非凸深度模型的非线性行为：对于未经对齐的非凸神经网络，简单的参数空间线性平均容易遭遇模式漂移（Permutation / Mode connectivity 障碍），未来可结合基于激活值匹配或最优传输（Optimal Transport）的对齐合并方法并重新建立 DP 边界。
- 合并权重搜索本身的私密性：当前确定最优权重 \(\lambda\) 或 \(\pi\) 依赖于在公开无敏感验证集或模型理论曲线上的计算，若需直接在私有保留集上自动搜索最优组合参数，则需进一步设计外层超参数调优的差分隐私分配机制。
相关工作与启发¶
- vs SWA / Recycling Scraps [8, 18]：以往的私有 checkpoint 聚合方法主要是复用单次训练历程中的中间快照来提升泛化性能，但受制于时序依赖，其最终隐私预算无法超越最不私有的末期检查点；本文不仅揭示了该局限在 LC 中的本质成因，而且通过引入独立训练机制的交叉融合彻底打破了该瓶颈。
- vs Model Soups [21] & TIES-Merging [22]：经典模型合并算法专注于模型在参数空间的算术平均或去冲突剪枝，完全缺乏隐私损失的统计刻画；本文弥补了这一理论短板，为模型合并技术引入了严谨的差分隐私度量衡。
- vs 高级组合定理（Advanced Composition）[5, 10]：传统组合仅基于最终的二元标量 \((\varepsilon, \delta)\)，而本文直接从高阶散度轮廓与特征函数卷积切入，将多模型交互结构的利用率提升至全新水平。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向任意目标差分隐私需求且免训练的模型合并框架，开辟了 DP 动态合规新方向。
- 实验充分度: ⭐⭐⭐⭐ 涵盖一维高斯估计、凸逻辑回归与非凸预训练残差网络，理论与实证紧密闭环，但缺乏超大规模语言模型（LLM）的验证。
- 写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨周密，从不可能定理（No-free-lunch）到充分条件构造层层递进，结构规范明晰。
- 价值: ⭐⭐⭐⭐⭐ 对合规性要求动态演变的多租户 ML 落地场景具有极高的工程借鉴与理论指引价值。