SMI: Statistical Membership Inference for Reliable Unlearned Model Auditing¶

会议: NeurIPS 2026
arXiv: 2602.01150
OpenReview: https://openreview.net/forum?id=LZfoK7J0Q5
代码: https://github.com/Alen-Su/SMI
领域: AI 安全
关键词: 机器遗忘, 成员推理攻击, 模型审计, 混合比例估计, 最大均值差异

一句话总结¶

揭示了传统成员推理攻击在机器遗忘审计中因梯度优化方向相反导致的对齐偏差与虚假遗忘缺陷，提出免训练阴影模型的统计成员推理框架 SMI/SMI-M，将审计建模为特征空间混合比例估计并提供重采样置信区间。

研究背景与动机¶

机器遗忘（Machine Unlearning）旨在遵循 GDPR 等隐私保护法规中赋予用户的“被遗忘权”，通过事后模型参数更新消除特定敏感训练数据对模型行为的影响，同时保留模型在留存数据上的效用。然而，如何可信审计遗忘数据是否真正被模型抹除，长期以来是制约遗忘算法落地的核心瓶颈。后门或对抗攻击类审计依赖于向数据投毒，但对抗训练等防御手段在未发生实质遗忘时同样会降低攻击成功率，且重新训练目标模型会篡改基准任务；相比之下，基于成员推理攻击（Membership Inference Attacks, MIA）的审计方法因具备直接量化数据成员痕迹的能力，成为了目前学术界最主流的评估范式。

然而，以 MIA 为核心的审计流程存在致命的假设漏洞：常规评估默认“攻击者无法区分遗忘样本与非成员样本即代表成功遗忘”，但这会导致极其严重的虚假遗忘（illusory forgetting）。本质上，传统 MIA 训练二元分类器来区分贡献正梯度的留存成员样本与无梯度的非成员样本；而在机器遗忘任务中，遗忘样本受到的是消除影响的负梯度更新。这种相反的优化动态导致遗忘样本在特征空间中占据着与真实非成员样本截然不同的几何分布。作者通过 PAC-Bayes 理论严格证明了 MIA 审计存在不可消除且不可观测的对齐偏差，该偏差由训练分布与审计分布间的 Rényi 散度界定；此外，传统高级 MIA 依赖训练数十个代价高昂的阴影模型，计算开销极其庞大。

面对对齐偏差与计算开销的双重困境，单纯在样本级别优化分类超平面无法解决分布失配问题。本文的核心 idea 是：将机器遗忘审计从样本级二分类攻击重构为特征空间中的分布混合比例估计问题，将复杂的 Monge 最优输运目标松弛为凸组合建模，从而提出完全无需训练阴影模型或分类器的统计成员推理（SMI/SMI-M）框架，并结合特征重采样输出可靠的置信区间。

方法详解¶

整体框架¶

SMI 不再尝试为每一个样本单独预测是否属于训练集，而是从宏观分布视角审视遗忘集。从输运视角来看，机器遗忘可以视为将初始模型参数分布向理想重训练模型分布迁移的 Monge 输运问题；由于高维神经网络参数空间存在功能冗余且直接验证极其困难，SMI 将 Monge 输运目标转移至特征表征空间，并进一步将其松弛为分布混合模型，即把遗忘样本特征分布建模为留存成员特征分布与非成员特征分布的凸组合。通过最小化经验分布间的统计距离求解非成员成分的混合比例，直接反映遗忘彻底程度。

整体审计流程包含特征提取、矩匹配/核均值嵌入优化以及重采样置信区间计算三个阶段，流水线如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据与待审计模型<br/>成员集 / 非成员集 / 待审计遗忘集"] --> B["特征提取与优化目标松弛<br/>提取特征并建模为分布凸组合"]
    B --> C["矩匹配与凸优化求解<br/>SMI 低阶矩或 SMI-M 核均值嵌入"]
    C --> D["特征重采样不确定性评估<br/>Bootstrap 计算 90% 置信区间"]
    D --> E["输出审计结果<br/>点估计遗忘比例与可靠性参考区间"]

关键设计¶

1. 优化目标松弛与混合比例建模：化解特征空间对齐偏差

传统 MIA 强行假定遗忘样本特征分布 \(\mathcal{F}_u\) 与测试非成员分布 \(\mathcal{F}_n\) 严格重合，由于负梯度推挤效应，二者真实分布差异 \(\mathcal{D}_\infty(\mathcal{F}_t \| \mathcal{F}_u)\) 必然产生显著审计误差。针对此痛点，SMI 放弃了在样本点上硬套分类决策边界，转而将特征空间中的最优输运问题进行数学松弛，将待审计特征分布 \(\mathcal{F}_u\) 表达为留存成员分布 \(\mathcal{F}_m\) 与非成员分布 \(\mathcal{F}_n\) 的凸组合：

\[\mathcal{F}_u \approx (1 - \rho)\mathcal{F}_m + \rho\mathcal{F}_n, \quad \rho \in [0, 1]\]

其中标量系数 \(\rho\) 直观度量了遗忘样本群体现已表现出非成员特性的混合比例（即遗忘率）。当模型未执行任何遗忘时，\(\rho=0\)；当遗忘达到理想重训练效果时，\(\rho=1\)。由此，审计任务被严格定义为求解最优混合比例 \(\rho^* = \arg\min_{\rho \in [0,1]} D(\mathcal{F}_u, (1-\rho)\mathcal{F}_m + \rho\mathcal{F}_n)\)。

2. 低阶矩协方差匹配估计（SMI）：基于闭式解的极速解析审计

针对常规分类器需要多轮迭代优化且参数敏感的问题，SMI 利用混合分布的前二阶统计矩构建确定性闭式方程。根据概率统计理论，当分布满足凸组合时，其均值和协方差矩阵满足 \(\mu_u = \rho \mu_n + (1-\rho)\mu_m\) 以及 \(\Sigma_u = \rho \Sigma_n + (1-\rho)\Sigma_m + (\rho - \rho^2)(\mu_n - \mu_m)(\mu_n - \mu_m)^\top\)。定义差分量 \(d = \mu_n - \mu_m\)、\(B = dd^\top\)、\(A = \Sigma_u - \Sigma_m\) 以及 \(G = \Sigma_n - \Sigma_m + B\)，匹配遗忘分布的经验协方差转化为关于 Frobenius 范数的二次残差极小化问题：

\[\min_{0 \le \rho \le 1} \| A - \rho G + \rho^2 B \|_F^2\]

对标量 \(\rho\) 求导可得一元三次代数方程 \(2\|B\|_F^2 \rho^3 - 3\langle G, B\rangle_F \rho^2 + (\|G\|_F^2 + 2\langle A, B\rangle_F)\rho - \langle A, G\rangle_F = 0\)。候选解集仅包含边界点 \(\{0, 1\}\) 与三次方程在 \([0, 1]\) 区间内的实根。通过直接代入计算极小值，SMI 无需梯度反向传播或分类器拟合，在微秒级时间内即可得到全局解析最优解。

3. RKHS 核均值嵌入与凸二次规划（SMI-M）：高维统计稳定性增强

在有限样本或高维深层特征场景下，经验协方差矩阵的估计波动容易导致低阶矩匹配产生偏差。SMI-M 通过再生核希尔伯特空间（RKHS）的核均值嵌入技术化解此困境。利用核函数 \(k(\cdot, \cdot)\) 将特征表征映射至无穷维希尔伯特空间 \(\mathcal{H}\)，将原特征空间复杂的二阶矩匹配优雅地转化为 RKHS 中的一阶均值嵌入匹配。分布间的距离由最大均值差异（Maximum Mean Discrepancy, MMD）精确衡量，原优化问题退化为单变量凸二次规划：

\[\min_{0 \le \rho \le 1} \rho^2 \|\mu_v^{(k)} - \mu_t^{(k)}\|_\mathcal{H}^2 - 2\rho \langle \mu_f^{(k)} - \mu_t^{(k)}, \mu_v^{(k)} - \mu_t^{(k)} \rangle_\mathcal{H}\]

该二次目标函数具备严格凸性，可以直接调用解析极值公式或标准凸优化器求解。核映射有效平滑了有限样本的高阶噪声，赋予了 SMI-M 在各类网络架构与数据集上极高的鲁棒性。

4. 基于特征重采样的置信区间评估：无阴影模型的不确定性量化

传统白盒 MIA 通过耗费巨大算力训练数十个阴影模型来获取决策置信度或方差。SMI 完全摒弃了昂贵的多模型训练，转而在特征空间中对遗忘数据集 \(D_u\) 施加 Bootstrap 统计重采样。通过在特征集合上进行 \(B\) 次有放回抽样（如 \(B=200\)），并重复求解一维凸优化问题，快速得到遗忘率经验样本集合 \(\{\rho^*_b\}_{b=1}^B\)。该设计不改变原始点估计 \(\rho^*\)，但能以极低算力给出 90% 置信区间 \([\rho^*_{5\%}, \rho^*_{95\%}]\)。区间紧实程度直接量化了审计结论的统计可靠性，为合规裁决提供了具备统计学依据的上下界参考。

损失函数 / 训练策略¶

SMI 属于完全免训练（training-free）的审计策略，既不需要训练目标模型以外的任何辅助网络，也不涉及特征提取器本身的权重微调。审计时直接冻结待审计模型参数 \(w\)，提取成员、非成员以及待审计样本在倒数第二层或特定输出层的表征向量 \(g(x; w)\)。核函数默认选用高斯 RBF 核，其带宽 \(\sigma\) 采用自适应中位数启发式策略确定，即取样本对欧氏距离的中位数。

实验关键数据¶

主实验¶

实验在 CIFAR-10、CIFAR-100 以及 CINIC-10 上展开，骨干网络涵盖 ResNet-18、ResNet-50 以及 ViT，并在 5% 和 10% 遗忘比例下对比了重训练（理想遗忘 Golden Standard）的审计精度。对比基线包括白盒设定下的 LiRA、RMIA、IAM、RULI 等经典 MIA 方法。主实验部分结果如下表所示：

评估设定（模型-数据集-遗忘比例-阴影模型数）	评估指标	SMI	SMI-M	RULI (SOTA)	IAM	LiRA	Unleak	Random
ResNet18 - CIFAR10 - 5% - 64	遗忘率 \(\rho^*\)	88.89%	92.44%	87.94%	88.67%	87.84%	62.58%	50.06%
ResNet18 - CIFAR10 - 5% - 64	假阴性率 FNR	–	–	13.28%	12.72%	13.80%	41.24%	49.52%
ResNet18 - CIFAR10 - 5% - 64	假阳性率 FPR	–	–	0.00%	13.08%	0.00%	43.48%	50.88%
ResNet18 - CIFAR100 - 5% - 16	遗忘率 \(\rho^*\)	79.64%	89.84%	83.00%	89.36%	86.64%	28.52%	50.88%
ResNet50 - CIFAR100 - 5% - 32	遗忘率 \(\rho^*\)	81.22%	92.64%	73.08%	63.56%	87.04%	10.40%	54.68%
ResNet50 - CIFAR100 - 10% - 32	遗忘率 \(\rho^*\)	83.46%	93.95%	74.44%	64.98%	87.38%	4.68%	54.14%
ResNet50 - CINIC10 - 10% - 16	遗忘率 \(\rho^*\)	90.89%	92.27%	89.88%	85.35%	90.47%	78.02%	49.76%
ViT - CINIC10 - 10% - 16	遗忘率 \(\rho^*\)	91.44%	93.62%	89.84%	41.01%	83.51%	55.71%	51.04%

消融实验¶

针对 SMI-M 核函数选择及带宽敏感性，以及各方法在单次审计中的计算开销对比如下表：

核函数与超参数配置（CIFAR-100）	5% 遗忘率 \(\rho^*\)	10% 遗忘率 \(\rho^*\)	方法类别	审计计算时间 (ms)	阴影模型数
RBF（标准中位数带宽 1.0X）	89.84%	91.84%	训练单个阴影模型 (ResNet-18)	\(2.46 \times 10^6\)	–
RBF（过窄带宽 0.25X）	24.39%	26.03%	单次模型正向推理	\(4.47 \times 10^4\)	–
RBF（偏窄带宽 0.5X）	77.70%	79.22%	LiRA (需预训阴影模型)	1,464.51	8-64
RBF（偏宽带宽 2.0X）	86.88%	89.88%	RULI (需预训阴影模型)	5,672.83	8-64
Laplacian 核	80.05%	82.41%	SMI (低阶矩闭式解+200次采样)	930.71	0
Linear 线性核	86.65%	89.88%	SMI-M (核均值嵌入+200次采样)	4,301.66	0

在实际近似遗忘算法（FineTune、Fisher、Scrub）的探测中，SMI-M 测得 Scrub 的遗忘率稳定在 72%–77% 之间，FineTune 仅有约 60%，而 Fisher 则低于 45%，精准反映了不同近似遗忘算法的实际隐私抹除质量。

关键发现¶

在 ResNet18-CIFAR10-5% 完整遗忘设定下，SMI-M 测得遗忘比例为 92.44%，最贴近黄金标准，且无需任何辅助模型。
传统 MIA 存在严重的对齐误差：即使在 FPR 控制为 0% 的情况下，LiRA 和 RULI 的 FNR 仍出现明显波动；而在视觉 Transformer（ViT）上，IAM 和 RMIA 均严重崩溃（\(\rho^*\) 分别跌至 41.01% 和 15.33%），而 SMI-M 依然保持 93.62% 的高精度。
计算效率呈数量级跃升：训练一个 ResNet-18 阴影模型需要约 \(2.46 \times 10^6\) 毫秒（40余分钟），而 SMI-M 全流程仅耗时 4,301 毫秒，SMI 更是少于 1 秒，彻底摆脱了阴影模型算力黑洞。

亮点与洞察¶

将个体分类升维为群体分布混合：传统 MIA 执着于对每个样本打标签，但在负梯度主导的遗忘空间中，个体样本天然存在不可区分性；SMI 巧妙地通过宏观混合比例估计化解了这一结构性错位。
免训练与解析闭式解的极简之美：SMI 将统计矩代入一元三次方程求根，SMI-M 将 MMD 化为标量凸二次规划，均能在数学上保证全局最优解，兼具高效率与可重现性。
对抗扰动的异常预警能力：在对抗样本伪造遗忘的极端场景下，SMI 估计出的比例会出现 \(\rho^* \gg 10\) 的显著溢出，从而自然充当了恶意伪造遗忘的异常检测探针。

局限与展望¶

小样本场景的统计方差：作者明确指出，作为纯统计度量工具，SMI 需要足够的数据样本以保证分布矩的可靠估计；实验表明每类至少需要约 20 个样本，极小批量遗忘（如单样本遗忘）时统计误差会上升。
依赖参考数据集：SMI 需要获取一部分保留训练集（成员）和测试集（非成员）的特征以构建参考分布，在强数据孤岛或不可访问原始留存集的极端黑盒场景下适用性受限。
扩展至生成模型与大语言模型：当前验证主要集中于分类视觉模型（ResNet、ViT），未来需进一步探索高维离散文本隐空间或扩散模型隐变量下的混合估计稳定性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [揭露了 MIA 审计遗忘的核心理论漏洞，并创新提出分布混合比例估计范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖多类视觉骨干、不同遗忘比例、近似遗忘算法、开销消融及理论证明]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨自洽，对齐偏差与 Monge 问题松弛的逻辑论述极具说服力]
价值: ⭐⭐⭐⭐⭐ [极大降低了机器遗忘审计的计算门槛，为大模型与合规合规审计提供了可靠工具]