跳转至

Sequential Membership Inference Attacks

会议: NeurIPS 2026
arXiv: 2602.16596
OpenReview: https://openreview.net/forum?id=rm2zTbl2zd
论文: https://arxiv.org/abs/2602.16596
代码: 待确认
领域: AI 安全
关键词: 成员推理攻击, 差分隐私审计, 序贯机制, 似然比检验, 隔离特性

一句话总结

针对现实机器学习系统跨训练阶段多轮发布检查点的动态演进特性，本文提出了序贯成员推理攻击（SeMI），证明连续检查点具备使目标样本信号完全集中于单步转移的“隔离特性”，并通过控制金丝雀插入时机实现紧致的差分隐私下界经验审计。

研究背景与动机

现代机器学习与人工智能模型在全生命周期中很少以孤立静态快照的形式存在。无论是大模型多阶段预训练与对齐微调、持续学习生产系统，还是联邦学习跨轮次聚合，模型开发者都会在各个阶段向外界发布一系列中间检查点。然而，现有的差分隐私（DP）经验审计方法与经典成员推理（MI）攻击几乎都聚焦于单一最终模型快照。在累积了大量训练数据后，单一最终模型对特定训练样本的记忆效应被严重稀释，导致经验审计给出的隐私下界与理论上界之间存在高达 5 到 10 倍的巨大鸿沟。

即使部分近期工作开始尝试利用多阶段模型输出，其做法也仅停留在对各个检查点独立计算启发式指标后再做差值或比值聚合，缺乏对序贯观测下最优判别统计量的理论推导，更忽略了审计者在序贯博弈中拥有一个全新的关键主动权——控制金丝雀（Canary）样本的插入时机。由于缺少严密的似然比检验框架，现有攻击既无法回答序贯观测相较于单一终态的理论优势边界，也无法指导审计者如何在多轮训练轨迹中最大化隐私泄露信号。

本文的核心洞察在于：序贯机制的联合似然比不仅可以被严格形式化，而且在马尔可夫演进结构下展现出强烈的局部集中性。核心 idea：将序贯模型发布形式化为主动假设检验博弈，利用序贯观测的“隔离特性”将目标样本信号锁定在插入时刻的单步状态转移上，提出 Neyman-Pearson 最优的 SeMI 似然比攻击并利用插入时机作为全新杠杆实现更紧致的差分隐私经验审计。

方法详解

整体框架

本文将序贯成员推理问题形式化为审计者（攻击者）与机制（生成器）之间的序贯博弈（SeMI Game）。在全局 \(T\) 步发布机制中，每一步 \(t \in [T]\) 接收批次 \(D_t\) 并释放模型快照 \(o_t\)。审计者不仅设计离群目标样本 \(z^*\)，还可主动指定插入步骤 \(\tau\)。在假设 \(H_0\)（目标不在任何批次中）与 \(H_1^\tau\)（目标在步骤 \(\tau\) 替换批次中某样本）之间，审计者利用观测序列 \(o_{1:T}\) 做出判决。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["序贯发布博弈设定<br/>目标样本 z* 与指定插入步 τ"] --> B["序贯状态转移观测<br/>轨迹 o1, ..., oT 或参数 θ0, ..., θT"]
    B --> C["转移似然比消去<br/>条件分布在 t≠τ 项严格对消"]
    C --> D["隔离特性识别<br/>推导仅依赖 τ 步统计量的单步对数似然比"]
    D --> E["白盒与黑盒 SeMI 检验构建<br/>参数更新马氏加权 / 损失差值与比值"]
    E --> F["网格校准隐私审计<br/>Clopper-Pearson 置信界给出紧致 ε 下界"]

整个推导体系由浅入深展开：首先在均值估计机制下证明联合似然比的对消性，进而引出隔离特性，并导出最优检验；随后扩展至未知插入步的广义似然比；最后在梯度高斯近似下将该框架推广至（DP-）SGD 的白盒与黑盒机器学习模型审计。

关键设计

1. 联合似然比因子分解与隔离特性：消除时间积累带来的信号稀释

在经典终态攻击中，样本 \(z^*\) 混入 \(nT\) 个总样本中，其对均值或参数的影响被 \(nT\) 稀释，攻击功效随步数 \(T\) 增大而迅速衰减。而在序贯观测设定下，联合似然比可通过概率链式法则严格分解为逐级条件概率之积：

\[ \mathrm{LR}_\tau = \frac{p(o_1, \ldots, o_T \mid H_1^\tau)}{p(o_1, \ldots, o_T \mid H_0)} = \prod_{t=1}^T \frac{p(o_t \mid o_{t-1}, H_1^\tau)}{p(o_t \mid o_{t-1}, H_0)} \]

在马尔可夫转移机制下，对于 \(t < \tau\)，目标尚未插入，分子分母完全相同；对于 \(t > \tau\)，尽管历史状态中已包含 \(z^*\) 的影响，但在给定前一状态 \(o_{t-1}\) 的条件下，后续生成步骤的条件分布再次完全相同。因此，除了插入步 \(t=\tau\) 的转移因子外，其余所有时间步的条件概率因子在分子分母中严格对消（取值为 1）。这意味着序贯攻击的统计功效仅取决于插入步 \(\tau\) 处的局部单步转移统计量，而与总训练步数 \(T\) 完全无关，彻底破除了终态观测的信号稀释弊端。

2. 均值估计下的最优 SeMI 检验及其变体：精确解析有限样本误差*

在高斯数据假设 \(\mathcal{D} = \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})\) 与批次大小 \(n\) 下，根据连续快照恢复出的批次均值 \(\bar{\mathbf{X}}_\tau = \tau \hat{\boldsymbol{\mu}}_\tau - (\tau - 1)\hat{\boldsymbol{\mu}}_{\tau-1}\)，令 \(\mathbf{N}_\tau = \bar{\mathbf{X}}_\tau - \boldsymbol{\mu}\) 且 \(c(n) = \frac{n}{n-1}\)，本文导出了 Neyman-Pearson 最优检验统计量 \(\mathrm{SeMI}^*\) 的精确多元封闭解：

\[ \log \mathrm{LR}_\tau = \frac{d}{2}\log c(n) - \frac{1}{2(n-1)}\mathbf{N}_\tau^\top \boldsymbol{\Sigma}^{-1} \mathbf{N}_\tau + c(n)\mathbf{N}_\tau^\top \boldsymbol{\Sigma}^{-1}(\mathbf{z}^* - \boldsymbol{\mu}) - \frac{\|\mathbf{z}^* - \boldsymbol{\mu}\|_{\boldsymbol{\Sigma}^{-1}}^2}{2(n-1)} \]

该式表明检验功效仅依赖于目标样本与总体均值的马氏距离 \(m^*\) 及单批次规模 \(n\)。针对插入时机未知场景，本文进一步推导出两类变体：一是基于无信息先验 \(\tau \sim \mathcal{U}([T])\) 的贝叶斯边际检验 \(\mathrm{SeMI}^{\mathrm{Unif}}\)，其对数似然比呈现稳定的 Log-Sum-Exp 形式；二是针对复合备择假设的广义似然比检验 \(\mathrm{SeMI}^{\max} = \max_t \log \mathrm{LR}_t\)。理论分析表明已知 \(\tau\) 的 \(\mathrm{SeMI}^*\) 严格主导未知时机的变体。

3. 面向 (DP-)SGD 的白盒与黑盒 SeMI 检验：从理论统计量到深度模型审计

针对实际深度学习采用的梯度下降与私有 DP-SGD，本文利用中心极限定理对批梯度引入高斯近似，将参数轨迹 \((\boldsymbol{\theta}_0, \ldots, \boldsymbol{\theta}_T)\) 映射到前述统计结构中。在白盒场景下，定义目标梯度偏离 \(\boldsymbol{\delta}_g = \nabla_\theta \ell(\boldsymbol{\theta}_{\tau-1}, \mathbf{z}^*) - \boldsymbol{\mu}_g\) 与归一化更新量 \(\mathbf{N} = \boldsymbol{\theta}_\tau - \boldsymbol{\theta}_{\tau-1} + \eta_\tau \boldsymbol{\mu}_g\)，构造白盒检验 \(\mathrm{SeMI}^{\mathrm{SGD}}\)：

\[ \log \mathrm{LR} = -\frac{d}{2}\log\left(\frac{n_\tau - 1}{n_\tau}\right) - \frac{n_\tau}{2(n_\tau - 1)\eta_\tau^2} \mathbf{N}^\top \boldsymbol{\Sigma}_g^{-1} \mathbf{N} - \frac{n_\tau}{(n_\tau - 1)\eta_\tau} \mathbf{N}^\top \boldsymbol{\Sigma}_g^{-1} \boldsymbol{\delta}_g - \frac{\boldsymbol{\delta}_g^\top \boldsymbol{\Sigma}_g^{-1} \boldsymbol{\delta}_g}{2(n_\tau - 1)} \]

其核心主导项为参数更新量与目标梯度偏离之间的马氏加权内积。在黑盒场景下，审计者仅能获取各阶段损失 \(\ell(\boldsymbol{\theta}_t, \mathbf{z}^*)\)，利用隔离特性将对比严格限制在 \((\boldsymbol{\theta}_{\tau-1}, \boldsymbol{\theta}_\tau)\) 之间，提出 Loss Diff（损失差值）与 Loss Ratio（损失比值），在限制于单步时天然恢复并泛化了过往的 Delta 与 Back-Front 经验启发式策略。

损失函数 / 训练策略

在隐私审计协议中，审计者利用 \(R\) 轮独立的 SeMI 实验获得统计量样本，并通过独立的校准集（\(R_{\mathrm{cal}}\) 轮）设定 \(K=99\) 个分位数阈值网格。针对每个阈值 \(\gamma_k\)，利用 Clopper-Pearson 严格计算置信水平 \(\xi/(2K)\) 下的 Type-I 错误上界 \(\bar{\alpha}_R^\xi(\gamma_k)\) 与 Type-II 错误上界 \(\bar{\beta}_R^\xi(\gamma_k)\)，进而根据差分隐私的假设检验对偶关系给出高置信度隐私下界：

\[ \underline{\varepsilon} = \log\left(\max_{k \in [K]} \max\left[\frac{1 - \delta - \bar{\alpha}_R^\xi(\gamma_k)}{\bar{\beta}_R^\xi(\gamma_k)}, \frac{1 - \delta - \bar{\beta}_R^\xi(\gamma_k)}{\bar{\alpha}_R^\xi(\gamma_k)}\right]\right) \]

论文同时给出了无需校准集的基于 DKW（Dvoretzky–Kiefer–Wolfowitz）经验分布一致收敛不等式的免校准审计备选方案。

实验关键数据

主实验

在 Fashion-MNIST 上训练基于 DP-SGD 的分类模型（总优化步数 \(L=2500\)，批大小 \(B=4096\)，学习率 \(\eta=0.01\)，梯度截断 \(C=1.0\)，目标差分隐私参数 \(\varepsilon=8, \delta=10^{-4}\)，总审计轮数 \(R=1900\)，置信度 \(1-\xi=0.98\)）。对比本文提出的知情序贯白盒攻击 \(\mathrm{SeMI}^{\mathrm{SGD}}\)、知情黑盒检验（Loss Diff / Loss Ratio）、未知插入步的序贯基线（Delta Diff / Delta Ratio、Back-Front）以及仅观测终态的经典基线 LiRA。

攻击方法 访问权限 是否已知 \(\tau\) 经验审计下界 \(\hat{\varepsilon}\) (T=2) 经验审计下界 \(\hat{\varepsilon}\) (T=5) 经验审计下界 \(\hat{\varepsilon}\) (T=10)
\(\mathrm{SeMI}^{\mathrm{SGD}}\) (本文) 白盒 (梯度/参数) 是 2.85 4.92 6.15
\(\mathrm{SeMI}^{\mathrm{SGD}}_{\max}\) 白盒 (梯度/参数) 否 2.41 4.10 5.23
Loss Diff (本文) 黑盒 (损失) 是 2.15 3.65 4.48
Loss Ratio (本文) 黑盒 (损失) 是 2.08 3.52 4.35
Delta Diff 黑盒 (损失) 否 1.82 2.95 3.61
Back-Front Diff 黑盒 (损失) 否 1.70 2.45 2.50
LiRA 黑盒/终态 否 (仅终态) 1.62 1.62 1.62

消融实验

针对私有微调场景（Fashion-MNIST 公开预训练 + 私有子集上 \(T=10\) 步 DP-SGD 微调，批大小 64，\(\delta=10^{-4}\)），评估不同真实理论 \(\varepsilon\) 水平下、已知与未知插入时间 \(\tau\)、以及不同插入时间选择策略下的攻击表现与 ROC AUC。

评估配置 / 变体 理论 \(\varepsilon = \infty\) (无噪声) AUC 理论 \(\varepsilon = 1.0\) AUC FPR=1% 时真阳率 TPR (\(\varepsilon=1.0\)) 说明
\(\mathrm{SeMI}^{\mathrm{SGD}}\) (知情最优 \(\tau\)) 1.00 0.60 0.082 白盒 + 利用最佳插入步，下界最紧
\(\mathrm{SeMI}^{\mathrm{SGD}}\) (知情平均 \(\tau\)) 0.99 0.56 0.054 白盒 + 均匀跨 \(\tau\) 平均
\(\mathrm{SeMI}^{\max}\) (未知 \(\tau\)) 0.99 0.54 0.041 广义似然比检验
Loss Diff (已知 \(\tau\)) 0.88 0.53 0.032 仅利用局部损失差值
Back-Front (端到端) 0.80 0.52 0.021 跨端到端整体损失差
Delta (未知 \(\tau\) 启发式) 0.65 0.51 0.015 全局最大相邻差值启发式

关键发现

  • 观测快照数量的收益极其显著：在相同总隐私预算与训练步数下，随着对外发布的中间检查点数量从 \(T=2\) 增至 \(T=10\)，\(\mathrm{SeMI}^{\mathrm{SGD}}\) 测出的经验隐私下界从 2.85 跃升至 6.15，大幅缩减了经验审计与理论界 \(\varepsilon=8\) 的差距。
  • 似然比优于启发式指标：\(\mathrm{SeMI}^{\mathrm{SGD}}\) 的得分函数考虑了梯度协方差矩阵的马氏加权，在低误报率（Low-FPR）区间显著优于简单的欧氏距离或标量损失差，而低误报率恰恰是决定 Clopper-Pearson 审计下界最核心的区域。
  • 插入时机是强效杠杆：在深度神经网络训练中，插入时机 \(\tau\) 对审计紧度有决定性影响。在训练后期插入金丝雀能够获得更紧的下界，原因在于模型脱离初始激进更新阶段后，总体经验梯度均值显著变小，金丝雀样本的梯度偏离信号更加纯粹鲜明。

亮点与洞察

  • 严格证明序贯观测的“隔离特性”：通过似然比的马尔可夫条件分解，从理论上阐明连续发布模型为何能彻底免受累积样本的时间稀释效应，为多阶段模型隐私分析奠定了理论基石。
  • 将插入时机确立为审计的主动新维度：跳出了过往仅依靠“设计离群金丝雀样本特征”的单一维度，证明控制金丝雀在时间序列上的“何时插入”能够成倍放大隐私攻击收益。
  • 贯通理论统计与深度学习实践：将高斯均值估计下的 Neyman-Pearson 最优解，通过梯度高斯近似自然延伸至 (DP-)SGD 训练，使最优似然比公式具备高保真落地能力。

局限与展望

  • 计算开销依赖协方差估计：白盒 \(\mathrm{SeMI}^{\mathrm{SGD}}\) 依赖于参考样本集上梯度均值与梯度协方差矩阵（或对角近似）的估计，在超大参数规模模型上求逆存在计算瓶颈。
  • 先验最优时机选取仍属开放问题：实验观察到后期插入更有效，但针对不同优化器与学习率衰减策略，如何在不进行事后暴力搜索的前提下先验确定最佳插入步 \(\tau\)，仍缺乏理论解析闭式解。
  • 单轮多金丝雀审计待拓展：当前框架主要依赖多轮独立运行收集经验分布，未来结合单轮训练多金丝雀交错插入协议（Single-run Auditing），有望进一步大幅削减审计计算成本。

相关工作与启发

  • vs Jagielski et al. (2023) 多模型 MI 组合：Jagielski 等人提出了 Delta 和 Back-Front 等启发式指标，并在附录仅针对双状态均值给出局部界；本文给出了任意步 \(T\) 下严格的联合似然比推导、证明了隔离特性、引入了插入时间控制，并在梯度下降下给出了闭式最优得分。
  • vs Nasr et al. (2023) DP-SGD 紧致审计：Nasr 等人强调了审计者单步梯度访问的重要性；本文表明审计者即使只能获取公开发布的离散检查点序列（而非白盒逐步梯度窃听），亦能通过相邻检查点差分与序贯分析实现同等紧致的隐私审计。
  • vs Azize & Basu (2025) 静态离群目标度量：Azize 等人证明静态攻击功效取决于目标在数据分布中的马氏距离；本文将其扩展为时变梯度分布下的动态马氏距离度量，揭示了时空联合选择对隐私泄露的乘数放大效应。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从统计假设检验与似然比理论推导序贯模型发布下的最优攻击并揭示隔离特性。
  • 实验充分度: ⭐⭐⭐⭐☆ 涵盖理论高斯机制、线性回归、Fashion-MNIST/CIFAR/Purchase-100 上 DP-SGD 审计全链条验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨自洽，动机与结论环环相扣，实验与理论映射明晰。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型多阶段检查点发布、联邦学习动态轮次审计及隐私合规评测提供了坚实的分析框架与审计工具。

相关论文