Machine Unlearning in Low-Dimensional Feature Subspace¶

会议: NeurIPS 2026
arXiv: 2601.22456
代码: https://github.com/fanghenshaometeor/unlearning-feat-subspace
领域: 安全 / Safety
关键词: 机器遗忘 / 机器解混, 低维特征子空间, 主成分分析, 黎曼流形优化, 即插即用模块

一句话总结¶

本文提出基于低维特征子空间的近似机器遗忘方法 LOFT，仅需对预训练特征进行一次性前向提取，通过在斯蒂费尔流形上优化极小化遗忘方差并极大化保留方差的低维正交投影矩阵，以即插即用形式实现无需重复访问原始数据且无需更新全模型参数的高效遗忘。

研究背景与动机¶

深度神经网络在大规模网页抓取数据上的预训练极大地推动了各类人工智能应用，但海量数据训练也带来了严重的隐私合规隐患。面对通用数据保护条例（GDPR）等法案中严格保障的“被遗忘权”，机器遗忘（Machine Unlearning, MU）旨在从已部署模型中精准抹除指定数据的影响，同时最大程度维持剩余数据的预测效能。从头在剩余数据集上重新训练（精确遗忘）虽是评估遗忘的黄金标准，但高昂的计算代价促使学界转向近似遗忘方法，如梯度上升、随机标签替换、权重显著性掩码及知识蒸馏等。

然而，现有近似遗忘范式存在两大关键瓶颈。其一是在迭代优化参数过程中必须高频回访原始数据，大规模样本的反复访问不仅开销昂贵，更会在数据流转中带来次生隐私暴露风险；其二是每次收到遗忘请求时均需对预训练全模型做参数微调或重写，面对多用户并发的序列遗忘需求时极易导致模型副本爆炸和维护灾难。虽然已有工作探索限制数据访问，但排除了剩余数据后的遗忘微调往往伴随着严重的灾难性遗忘与泛化性能骤降。

本文另辟蹊径，首次从低维特征子空间的几何重构视角审视机器遗忘。谱分析与重构误差实验表明，在精确重训模型中，由于未见遗忘样本，遗忘数据在特征空间的方差谱表现出骤降坍缩，且与剩余数据在低维子空间上呈现出显著的重构可分性。本文的核心 idea 是直接在预训练模型特征空间中学习一个低维正交投影子空间，通过单次特征抽取计算保留集与遗忘集的协方差矩阵，在斯蒂费尔流形上联合优化投影矩阵以极大化保留集特征方差、极小化遗忘集投影方差，从而以轻量即插即用模块实现高精度、零全模型修改的近似遗忘。

方法详解¶

整体框架¶

LOFT（Learning LOw-dimensional FeaTure subspaces）将机器遗忘解耦为离线单次特征提取与按需子空间优化两个阶段。在离线准备期，固定预训练骨干网络，对训练集进行单次无梯度的前向推理并缓存倒数第二层特征向量；在在线遗忘阶段，根据具体的遗忘请求检索对应的遗忘特征与保留特征，分别计算两者的经验协方差矩阵并冻结，随后在斯蒂费尔流形上优化一个低维正交投影矩阵 \(\mathbf{U} \in \mathrm{St}(d, s)\)。推理时，该投影算子以即插即用矩阵的形式插入到骨干特征提取器与最终线性分类层之间，模型输出表述为 \(f_{\mathbf{U}}(\boldsymbol{x}) = h_{\mathrm{pre}}(\mathbf{U}\mathbf{U}^\top g_{\mathrm{pre}}(\boldsymbol{x}))\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["输入数据样本"] --> B["阶段一：单次特征抽取<br/>冻结骨干提取倒数第二层特征"]
    B --> C["阶段二：协方差矩阵计算<br/>构建固定统计量"]
    C --> D["阶段三：斯蒂费尔流形投影优化<br/>黎曼Adam联合优化目标"]
    D --> E["阶段四：即插即用推理部署<br/>插入正交投影算子"]
    E --> F["输出无遗忘偏差分类预测"]

关键设计¶

1. 联合遗忘抑制与保留重构的双目标流形优化 针对传统近似遗忘在缺乏剩余数据微调时性能急剧崩溃、或依赖微调全模型参数的高代价缺陷，LOFT 基于主成分分析原理，将遗忘与保留的双重目标显式建模为特征协方差矩阵在投影子空间上的迹范数优化。对于给定的预训练特征维度 \(d\) 与选定的低维子空间维度 \(s\)（\(s \ll d\)），寻找一个列正交矩阵 \(\mathbf{U} \in \mathbb{R}^{d \times s}\)，使得正交列向量构成的子空间能够最小化遗忘数据的投影方差，同时最大化剩余数据的投影方差（即极小化剩余特征的正交补空间重构误差）。该优化问题在正交紧致流形——斯蒂费尔流形 \(\mathrm{St}(d, s) = \{\mathbf{U} \in \mathbb{R}^{d \times s} \mid \mathbf{U}^\top\mathbf{U} = \mathbf{I}_s\}\) 上定义：

\[ \min_{\mathbf{U} \in \mathrm{St}(d, s)} J(\mathbf{U}) = \underbrace{\left(\frac{\mathrm{Tr}(\mathbf{U}^\top \mathbf{\Sigma}_{\mathrm{fg}}^{\mathrm{pre}} \mathbf{U})}{\mathrm{Tr}(\mathbf{\Sigma}_{\mathrm{fg}}^{\mathrm{pre}})}\right)^2}_{J_{\mathrm{fg}}} + \underbrace{\left(\frac{\mathrm{Tr}\left(\mathbf{\Sigma}_{\mathrm{rm}}^{\mathrm{pre}} - \mathbf{U}\mathbf{U}^\top \mathbf{\Sigma}_{\mathrm{rm}}^{\mathrm{pre}} \mathbf{U}\mathbf{U}^\top\right)}{\mathrm{Tr}\left(\mathbf{\Sigma}_{\mathrm{rm}}^{\mathrm{pre}}\right)}\right)^2}_{J_{\mathrm{rm}}} \]

其中第一项 \(J_{\mathrm{fg}}\) 约束遗忘集在子空间内的投影方差趋于零，切断遗忘数据特征向分类头的有效信息传递；第二项 \(J_{\mathrm{rm}}\) 通过重构误差项保证剩余样本的主导特征方差被完全保留在子空间内。利用斯蒂费尔流形的光滑性与紧致性，目标函数满足 \(L\)-光滑性质，采用黎曼自适应矩估计（Riemannian Adam）可以在数十至数百步迭代内快速收敛至驻点。

2. 单次前向特征提取与协方差级数据隔离 针对现有方法在多轮迭代中频繁访问原始数据所引发的高额 I/O 开销与隐私泄露隐患，LOFT 建立了完全规避重复原始数据读取的遗忘机制。在预训练模型准备阶段，仅需执行一次无反向传播的前向遍历，将各样本对应的倒数第二层特征向量 \(\boldsymbol{z}_i = g_{\mathrm{pre}}(\boldsymbol{x}_i)\) 提取并建立索引。收到具体的遗忘请求集合 \(\mathcal{F}\) 后，直接在特征索引中完成切分，快速计算出仅包含统计二阶矩的固定协方差矩阵 \(\mathbf{\Sigma}_{\mathrm{fg}}^{\mathrm{pre}} = \mathrm{Cov}(\mathbf{Z}_{\mathrm{fg}}^{\mathrm{pre}})\) 与 \(\mathbf{\Sigma}_{\mathrm{rm}}^{\mathrm{pre}} = \mathrm{Cov}(\mathbf{Z}_{\mathrm{rm}}^{\mathrm{pre}})\)。在整个子空间矩阵 \(\mathbf{U}\) 的优化过程中，算法直接以这两个固定矩阵作为输入，完全切断了与原始图像或输入样本的交互，从数据访问范式上大幅收敛了隐私暴露面。

3. 零全模型参数改动的即插即用部署架构 针对多租户和高频连续遗忘场景下模型权重频繁篡改和存储开销激增的难题，LOFT 不修改预训练骨干网络及线性分类器的任何既有参数。优化生成的 \(\mathbf{U}\) 是一个极小尺寸的权重矩阵（参数量通常仅占全模型的 0.05% 至 4%），在推理阶段作为投影算子 \(\mathbf{U}\mathbf{U}^\top\) 插入在特征提取层之后。若出于白盒防御或推理延时考量，亦可利用结合律直接将投影算子融合进后接全连接分类头矩阵 \(\mathbf{W}_{\mathrm{pre}}\) 中（即部署等效分类头 \(\mathbf{U}\mathbf{U}^\top \mathbf{W}_{\mathrm{pre}}\)），实现零额外计算延迟，使多个遗忘请求可以通过按需挂载或切换轻量投影算子实现统一管理。

损失函数 / 训练策略¶

优化目标即为式 (1) 中的双目标迹范数代价函数 \(J(\mathbf{U})\)。由于正交约束 \(\mathbf{U}^\top \mathbf{U} = \mathbf{I}_s\) 构成了紧致的斯蒂费尔流形，优化直接在该流形几何上展开。采用 Riemannian Adam 优化器，动量衰减系数设为 \(\beta_1 = 0.9, \beta_2 = 0.999\)，权重衰减设为 0.05。对于类别遗忘任务，通常仅需 50 到 100 步迭代即可完成收敛（在单张 GPU 上耗时在 0.24 至 0.94 秒之间）。子空间维度 \(s\) 建议根据剩余协方差矩阵 \(\mathbf{\Sigma}_{\mathrm{rm}}^{\mathrm{pre}}\) 的解释方差比例选取，默认覆盖 95% 的累计方差，从而在充分保留剩余任务能力与抹除遗忘知识之间取得最优平衡。

实验关键数据¶

主实验¶

在多类别遗忘（Swin-T 架构，Tiny-ImageNet 数据集，随机遗忘 4 个类别）、单类别遗忘（ResNet50 架构，ImageNet-1K 数据集，随机遗忘 1 个类别）以及样本级遗忘场景下，将 LOFT 与梯度上升（GA）、随机标签（RL）、显著性掩码（SalUn）、L2UL、对比遗忘（COUN+RL）及解耦蒸馏（DELETE）等主流近似遗忘方法进行系统对比。各方法与精确重训基准（\(f_{\mathrm{exact}}\)）的性能差距用 Avg.G.（平均准确率与成员推断攻击差距）综合衡量。

方法	\(\mathcal{D}_{\mathrm{rm}}\) 访问	\(\mathcal{D}_{\mathrm{fg}}\) 访问	\(\mathrm{Acc}_{\mathrm{rm}}^{\mathrm{te}}\) (%)	\(\mathrm{Acc}_{\mathrm{fg}}^{\mathrm{te}}\) (%)	MIA (%)	Avg.G. \(\downarrow\)	RTE 耗时 (s) \(\downarrow\)	优化参数量 (%)
预训练模型 \(f_{\mathrm{pre}}\)	-	-	\(74.54 \pm 0.16\)	\(74.83 \pm 8.14\)	\(96.63 \pm 1.02\)	-	-	27.67M (100%)
重训模型 \(f_{\mathrm{exact}}\)	原始数据	无	\(75.44 \pm 0.19\)	\(0.00 \pm 0.00\)	\(0.00 \pm 0.00\)	0.00	858.14	27.67M (100%)
GA (受限数据)	无	原始数据	\(65.27 \pm 3.56\)	\(18.82 \pm 7.52\)	\(19.95 \pm 10.24\)	16.67	13.49	27.67M (100%)
RL (受限数据)	无	原始数据	\(67.17 \pm 1.46\)	\(7.50 \pm 7.57\)	\(1.83 \pm 0.54\)	6.85	13.19	27.67M (100%)
SalUn (受限数据)	无	原始数据	\(67.49 \pm 1.56\)	\(10.00 \pm 9.26\)	\(3.45 \pm 0.87\)	8.29	15.00	13.84M (50%)
COUN+RL (受限数据)	无	原始数据	\(67.85 \pm 0.51\)	\(5.67 \pm 2.57\)	\(2.28 \pm 0.46\)	6.54	23.45	27.67M (100%)
L2UL (受限数据)	无	原始数据	\(67.69 \pm 2.58\)	\(2.00 \pm 0.87\)	\(2.57 \pm 0.92\)	4.75	15225.05	27.67M (100%)
DELETE (受限数据)	无	原始数据	\(73.31 \pm 0.28\)	\(6.50 \pm 2.18\)	\(1.85 \pm 0.48\)	4.88	22.14	27.67M (100%)
LOFT (本文)	仅协方差	仅协方差	\(74.27 \pm 0.18\)	\(0.50 \pm 0.50\)	\(0.00 \pm 0.00\)	0.85	0.24	192K (0.69%)

在百万级规模 ImageNet-1K 单类别遗忘评估中，LOFT 展现了极强的泛化能力：相比于重训耗时 24 小时的代价，LOFT 仅耗时 0.94 秒、优化 4.01% 参数量，取得了 1.65 的平均差距，而基线方法均在 3.17 至 5.56 之间。

消融实验¶

针对优化目标中保留项 \(J_{\mathrm{rm}}\) 与遗忘项 \(J_{\mathrm{fg}}\) 各自的作用，在 Tiny-ImageNet 多类别遗忘设定下进行分解消融：

优化目标构成	\(\mathrm{Acc}_{\mathrm{rm}}^{\mathrm{tr}}\) (%)	\(\mathrm{Acc}_{\mathrm{fg}}^{\mathrm{tr}}\) (%)	\(\mathrm{Acc}_{\mathrm{rm}}^{\mathrm{te}}\) (%)	\(\mathrm{Acc}_{\mathrm{fg}}^{\mathrm{te}}\) (%)	MIA (%)	说明
无优化 (原始特征)	97.11	98.10	71.61	65.00	86.10	未经子空间投影处理
仅保留项 \(J_{\mathrm{rm}}\)	99.19	87.80	75.07	53.00	58.35	维持保留集精度，但遗忘失效
仅遗忘项 \(J_{\mathrm{fg}}\)	89.51	11.50	65.40	4.00	0.00	成功抹除遗忘集，但保留集严重掉点
完整模型 (\(J_{\mathrm{rm}} + J_{\mathrm{fg}}\))	98.66	1.10	74.27	0.00	0.00	完美平衡保留精度与彻底遗忘

关键发现¶

双目标的互补必然性：单独优化遗忘项 \(J_{\mathrm{fg}}\) 会导致子空间过度坍缩，保留集测试精度大幅下滑近 9 个百分点；而仅优化 \(J_{\mathrm{rm}}\) 无法切除与遗忘集高度重叠的方向，遗忘集测试准确率仍高达 53.00%，MIA 达 58.35%。两者等权结合时方能以近乎完美的表现逼近精确重训。
极端与持续遗忘鲁棒性：在需要遗忘 90% 类别（180/200 类）的极端遗忘任务中，由于全模型微调方法在海量遗忘梯度下遭受严重过拟合崩溃，而 LOFT 仅在协方差空间寻找适应微小保留集的低维空间，以 0.29 秒耗时和 0.05% 参数量实现了全场最低的 0.42 平均差距；在 4 轮连续遗忘中，通过将历史遗忘协方差纳为惩罚项，完全避免了参数修改引发的历史知识复苏与保留集退化。
子空间维度敏感性：子空间维度 \(s\) 决定了捕获特征的信息量。当 \(s\) 过大时，子空间容纳过多冗余方向，导致遗忘集难以干净清除；\(s\) 过小时，保留集有效表征缺失。将 \(s\) 设定为解释方差达到 95% 的主成分数量具有跨数据集和架构的高度通用性。

亮点与洞察¶

将遗忘建模为流形上的子空间重构：打破了传统方法依赖全模型权重回退或启发式梯度惩罚的定势，证明了深度特征空间中未见样本与已学样本的低维几何结构天然具有重构可分性。
真正实现“单次特征抽取 + 零模型修改”：计算过程仅依赖两个尺寸固定的对称协方差矩阵，推理端作为小尺寸正交投影即插即用，彻底消除了反复加载海量原始数据的 I/O 瓶颈，并天然支持多租户高并发遗忘。
可平滑扩展至多模态及生成式非分类任务：在 m2m100 机器翻译多语言大模型上，通过对编码器自注意力加权隐状态做子空间投影，成功在仅降低微弱保留语言性能的情况下抹除了指定语言的翻译能力。

局限与展望¶

依赖预训练特征的质量与线性表达：方法假设遗忘与保留信息在特征层通过线性投影可分，若在高度混叠的复杂分布下，线性低维子空间可能面临表征容量上限。
生成模型的直接适配存在壁垒：扩散模型或自回归大模型的隐空间动态演变复杂，逐层或跨步插入投影算子对超参数与架构设计更为敏感。
缺少形式化差分隐私认证：虽然在黑盒 MIA 及 LiRA、RMIA 等攻击下泄露极低，但在完全白盒防御场景中，攻击者若剥离外挂投影仍可试图恢复原始行为，未来需进一步研究将子空间约束与形式化认证深度结合。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出低维特征子空间视角的机器遗忘范式，形式优雅且数学完备。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖图像分类（Tiny-ImageNet、ImageNet-1K）、极端遗忘、持续遗忘、人脸/表情隐私应用及大模型机器翻译，并验证了防御高级 MIA 的鲁棒性。
写作质量: ⭐⭐⭐⭐⭐ 理论证明完整，从动机分析到流形优化算法脉络清晰。
价值: ⭐⭐⭐⭐⭐ 为大规模 AI 基础模型及隐私合规服务落地提供了高实用价值的即插即用解决方案。