Gradient sparsity regularization for training unlearning-compatible models¶

会议: ECCV 2026
论文: ECCV 2026 Poster
领域: 安全
关键词: 机器遗忘, 梯度稀疏性, 损失锐度, 逆向SGD, 后门防御

一句话总结¶

针对近似机器遗忘效果差且逆向SGD误差受曲率累积约束的难题，本文提出在训练阶段引入梯度的 $\ell_1$ 范数正则化项（促进梯度稀疏）以极小化最差情况损失锐度，使得训练轨迹更加平坦，从根本上训练出易于后续执行快速高保真遗忘的“遗忘兼容”模型。

研究背景与动机¶

随着《通用数据保护条例》（GDPR）和《加利福尼亚州消费者隐私法案》（CCPA）等法规赋予用户“被遗忘权”，服务商必须根据用户请求彻底抹去其数据及衍生知识。此外，在后门攻击中清除中毒样本的不良影响，也迫切需要从已训练模型中精准剔除特定遗忘集（Forget Set）的信息，同时完好保留其余留存集（Retain Set）的知识。这一技术被称为机器遗忘（Machine Unlearning, MU）。理想的黄金标准是在留存集上从头重新训练（Retrain from scratch），但这会丢弃已学得的庞大留存知识，带来不可承受的计算开销。为此，现有近似遗忘方法尝试通过微调（FT）、梯度上升（GA）、权重剪枝或损失曲面扰动等方式快速擦除遗忘集，但其遗忘彻底度与留存精度的综合表现（Avg. Gap）与重训基线相比仍存在显著鸿沟。

审视这种鸿沟的根源，现有工作绝大多数聚焦于“后处理”阶段——即在模型已经使用常规 SGD 完成标准训练后，再绞尽脑汁设计各种近似补救算法。然而根据逆向 SGD 的理论分析，反向回溯 SGD 轨迹的遗忘误差直接正比于整个训练过程中海森矩阵最大特征值（即损失曲率）的累积均值；同时从 PAC-Bayes 泛化界来看，损失平坦度严格约束着模型的泛化误差（泛化误差刻画了模型对特定样本细节的记忆量）。如果在前向学习阶段模型的优化轨迹充满陡峭尖峰，模型就会深度固化特定样本的特异性信息，导致后续无论是基于微调还是梯度上升的遗忘算法都极难在不破坏留存特征的前提下逆转参数更新。

因此，本文转换视角提出核心设问：能否从源头设计一种具有坚实理论支撑的前向学习策略，让模型在训练过程中就走出最平坦的优化轨迹，从而天然演变为后续极易执行遗忘的“遗忘兼容模型”（Unlearning-Compatible Models）？通过深入剖析扰动范数对损失锐度的理论表征，本文证明在各类扰动下，$\ell_\infty$ 扰动对应的最差情况损失锐度一阶近似正比于梯度的 $\ell_1$ 范数。核心 idea：在模型前向训练损失中引入梯度 $\ell_1$ 范数正则化以诱导梯度稀疏性，通过压平整个优化轨迹的局部曲率与最坏情况锐度，从源头构建易于逆转且低样本特异记忆的遗忘兼容模型，并在后门攻击中自动阻尼中毒样本诱发的梯度尖峰。

方法详解¶

整体框架¶

本文方法并不改造后续的遗忘算法，而是在模型初始训练阶段对损失函数施加显式约束。输入为带标签训练集，模型参数通过最小化主任务经验损失与加权梯度稀疏正则项构成的联合目标进行优化。训练完成后得到的模型即可兼容任何下游主流近似遗忘方法（如微调、梯度上升、影响函数逆转等），在消除遗忘集知识时展现出极低的逼近误差；同时，梯度稀疏正则化对反向传播中的梯度尖峰具备天然阻尼作用，能够自动抑制后门攻击中的恶意模式注入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练数据输入<br/>留存集 + 遗忘集/中毒样本"] --> B["前向反向传播与梯度计算"]
    B --> C["梯度稀疏正则化目标构建<br/>经验损失与梯度L1范数联合"]
    C --> D["平坦优化轨迹学习<br/>阻尼异常梯度尖峰与降低曲率"]
    D --> E["遗忘兼容模型输出"]
    E --> F["下游快速近似遗忘执行<br/>FT / GA / WS / IU / FF 等"]

关键设计¶

1. 基于最坏情况损失锐度的范数对偶分析：推导平坦轨迹的最优正则形式

为了使逆向 SGD 的累积曲率最小化并降低特定样本知识记忆，必须寻找最严格的损失平坦度代理指标。设 $p$-锐度定义为在参数微小摄动 $\|\epsilon\|_p \le \rho$ 下的局部最大损失增量 $\mathcal{S}_p(\theta) := \max_{\|\epsilon\|_p \le \rho} (\ell(\theta+\epsilon) - \ell(\theta))$。利用一阶泰勒展开与 Hölder 不等式，损失增量上界严格受控于梯度的对偶范数： $$\max_{\|\epsilon\|_p \le \rho} \epsilon^\top \nabla\ell(\theta) = \rho \|\nabla\ell(\theta)\|_q$$ 其中 $\frac{1}{p} + \frac{1}{q} = 1$。当考察常用的 $p \in \{1, 2, \infty\}$ 时，对偶指数分别为 $q \in \{\infty, 2, 1\}$。由于对于任意梯度向量均满足 $\|\nabla\ell(\theta)\|_1 \ge \|\nabla\ell(\theta)\|_2 \ge \|\nabla\ell(\theta)\|_\infty$，因此严格推导出一阶逼近下的偏序关系： $$\mathcal{S}_1(\theta) \le \mathcal{S}_2(\theta) \le \mathcal{S}_\infty(\theta) \approx \rho \|\nabla\ell(\theta)\|_1$$ 这表明 $\ell_\infty$ 摄动诱导出的锐度表征了局部最差情况（Worst-case）的损失锐度，其对应的一阶代理正是梯度的 $\ell_1$ 范数。极小化 $\|\nabla\ell(\theta)\|_1$ 能够对优化曲面施加最强力的平滑约束，促使优化算法选择曲率极小、曲面最为平缓的平坦盆地，从而最大幅度压缩反向逆转训练轨迹所需的理论误差。

2. 梯度稀疏正则化目标与 PAC-Bayes 泛化界优化

在确立了 $\ell_\infty$ 锐度作为最严苛度量后，本文进一步在 PAC-Bayes 框架下证明了扰动范数对泛化界的影响：在相同的高斯扰动先验尺度下，由 $\ell_\infty$ 锐度推导出的加性 PAC-Bayes 复杂度项 $F_\infty(\cdot)$ 严格小于 $\ell_2$ 和 $\ell_1$ 对应项，即 $F_\infty(\cdot) \le F_2(\cdot) \le F_1(\cdot)$。这意味着最小化梯度 $\ell_1$ 范数不仅能最大程度压制经验锐度，还能给出最紧凑的真实验证误差上界，使模型避免过度拟合特定样本的细粒度细节。据此，本文提出的遗忘兼容训练总损失定义为： $$\ell_{\mathcal{D}}^{\text{unc}}(\theta) = \ell_{\mathcal{D}}(\theta) + \rho \|\nabla\ell_{\mathcal{D}}(\theta)\|_1$$ 其中超参数 $\rho$ 控制正则化强度。在几何层面上，$\ell_1$ 范数天然具有稀疏诱导性质，它惩罚参数空间内非零梯度的绝对值之和，迫使绝大部分参数分量的梯度在训练稳态阶段趋近于零。这种稀疏性使得样本在参数空间中的耦合维度大大减少，执行遗忘时无需对密集联动的网络权重进行全局翻转。

3. 后门攻击防御中的梯度尖峰阻尼机制

该正则项在安全领域的后门攻防中展现出了独特的协同优势。在数据投毒或后门植入场景下，中毒样本通常携带强行改变预测特征流向的特异性触发器（Trigger），这要求模型在原有语义表征之外急剧扭转决策边界，因而在反向传播中引发异常高幅度的局部梯度突变（Gradient Spikes）。当使用标准损失训练时，模型会顺着这些梯度尖峰迅速过拟合后门知识；而本文设计的梯度 $\ell_1$ 范数对异常高幅度的离群梯度施加了极其沉重的线性惩罚，相当于一个自动感应的平滑阻尼器。这不仅使得后续消除中毒样本的过程更为轻易，而且在前向学习阶段就能直接削弱模型吸收恶意触发信号的强度，实现被动过滤。

4. 针对计算与显存开销的有限差分对偶近似优化

直接对联合目标 $\ell_{\mathcal{D}}^{\text{unc}}(\theta)$ 求导需要计算海森矩阵-向量积（HVP），涉及计算图保留（Graph Retention）和两次反向传播（F+2B），在标准反向传播基础上带来约 1.2–2.0 倍的显存峰值开销。针对这一工程瓶颈，本文利用 $\ell_1$ 范数的凸对偶极大值性质，给出了一种高效的有限差分对偶逼近方法： $$\|g\|_1 = \max_{\|v\|_\infty \le 1} v^\top g \approx \frac{\ell_{\mathcal{D}}(\theta + \varepsilon \operatorname{sign}(g)) - \ell_{\mathcal{D}}(\theta)}{\varepsilon}$$ 其中 $g = \nabla_\theta \ell_{\mathcal{D}}(\theta)$，$v = \operatorname{sign}(g)$ 为其对偶方向极值点。通过在扰动参数 $\theta' = \theta + \varepsilon \operatorname{sign}(g)$ 处进行一次额外的前向/反向评估，完全摆脱了高阶 autograd 计算图的常驻显存开销，在保留核心遗忘增益的同时实现了轻量化高效部署。

实验关键数据¶

主实验¶

论文在 CIFAR-10、CIFAR-100、SVHN 及 ImageNet 上，使用 ResNet-18、VGG-16、ViT-Small 和 MobileNetV2 评估了引入梯度稀疏正则化（GS）与标准训练（Std）下多种主流机器遗忘基线的综合表现。评估指标包括：留存精度（RA）、遗忘精度（FA）、成员推理防御有效性（MIA-Efficacy）、测试精度（TA）以及与黄金标准从头重训（Retrain）的综合平均绝对差距（Avg. Gap，越低越好）。下表展示了 ResNet-18 在 CIFAR-10 上的核心对比数据：

遗忘场景	遗忘方法	RA (%) [Std / GS]	FA (%) [Std / GS]	MIA-Efficacy (%) [Std / GS]	TA (%) [Std / GS]	Avg. Gap [Std → GS]
随机遗忘 (10%)	黄金重训 (Retrain)	100.0 / 100.0	94.60 / 94.51	12.73 / 11.82	94.23 / 94.14	0.00 → 0.00
	权重稀疏 (WS)	88.36 / 96.78	86.22 / 94.36	15.44 / 10.64	85.47 / 90.46	7.87 → 2.06
	梯度上升 (GA)	98.88 / 99.41	98.31 / 99.11	2.76 / 1.44	93.07 / 94.23	3.99 → 3.91
	影响函数 (IU)	99.38 / 96.40	99.18 / 96.24	2.04 / 6.76	93.93 / 89.18	4.05 → 3.84
	遗忘过滤 (FF)	86.42 / 86.63	86.02 / 86.02	20.64 / 18.69	80.98 / 80.74	10.83 → 10.59
	模型微调 (FT)	99.91 / 88.50	98.96 / 86.80	2.91 / 20.07	94.25 / 83.81	3.57 → 3.37
类别遗忘 (单类)	黄金重训 (Retrain)	100.0 / 100.0	0.00 / 0.00	100.0 / 100.0	94.90 / 94.59	0.00 → 0.00
	权重稀疏 (WS)	87.10 / 87.39	0.00 / 0.00	100.0 / 100.0	84.89 / 84.08	5.73 → 2.68
	梯度上升 (GA)	11.11 / 11.11	0.00 / 0.00	0.00 / 100.0	11.11 / 11.11	68.17 → 43.15
	影响函数 (IU)	99.47 / 93.71	90.02 / 6.58	28.33 / 97.29	94.67 / 86.80	40.61 → 5.76
	遗忘过滤 (FF)	99.51 / 99.34	11.04 / 0.02	100.0 / 100.0	94.87 / 93.70	2.89 → 0.23
	模型微调 (FT)	99.92 / 91.61	71.84 / 0.13	82.04 / 100.0	94.34 / 87.46	22.61 → 0.81

消融实验¶

论文设计了多组对比实验，验证了梯度范数类型、差分近似以及生成模型泛化的有效性：

梯度范数选择对比（$\ell_1$ 锐度 vs $\ell_2$ 锐度）：在 CIFAR-10 类别遗忘微调设定下，对比了不同正则化强度 $\rho$ 下引入 $\|\nabla\ell\|_1$ 与经典 SAM 所用的 $\|\nabla\ell\|_2$ 约束。实验表明在所有扰动尺度下，$\ell_1$ 梯度正则化均实现了显著更低的 Avg. Gap，充分佐证了最差情况 $\ell_\infty$ 摄动对应梯度的 $\ell_1$ 范数是最有效且平坦度最强的设计。
精确梯度稀疏（Exact GS） vs 有限差分近似（Finite-Diff GS）：在 CIFAR-10 类别遗忘实验中，评估了规避二阶计算图的对偶差分近似在不同正则强度下的 Avg. Gap 差距：

正则化强度 $\rho$	精确梯度稀疏 (Exact GS) Avg. Gap ↓	有限差分近似 (Finite-Diff GS) Avg. Gap ↓	说明
$\rho = 0$ (标准训练基线)	22.61	22.61	未引入梯度稀疏约束
$\rho = 1 \times 10^{-4}$	4.65	9.04	差分近似显著收敛差距
$\rho = 5 \times 10^{-4}$	0.81	1.49	差分近似极度逼近精确解且省去显存驻留

扩散生成模型（DDPM）图像生成类别遗忘（CIFAR-10 Class-0 / Airplane）：采用生成模型遗忘方法 SalUn 进行类别擦除，结果显示：标准训练 DDPM 的遗忘类分类准确率为 0.854，生成质量 FID 为 37.89；而采用梯度稀疏训练的 GS DDPM 遗忘类准确率降至 0.706（下降 0.148，遗忘更彻底），同时留存类生成质量 FID 优化至 35.21（降低 2.68）。
后门攻击防御与毒化信号过滤对比（MobileNetV2, 3% 投毒比例）：在 CIFAR-10 上对带有 BadNets 后门触发器的样本进行测试：标准训练模型的干净测试集准确率为 68.19%，但中毒测试集准确率高达 86.62%（模型极易中招）；引入梯度稀疏正则化后，干净集准确率维持在 68.10%（几乎无损），而中毒测试集准确率暴跌至 24.63%（下降 61.99 个百分点），证明其强力阻尼了恶意梯度的注入。

关键发现¶

类别遗忘中增益最为剧烈：在全类别遗忘场景下，标准微调（FT）的遗忘准确率高达 71.84%（无法消除类别记忆），综合 Avg. Gap 达 22.61；而在梯度稀疏训练模型上，FT 遗忘准确率骤降至 0.13%，Avg. Gap 降至 0.81，展现出惊人的遗忘兼容性。
与传统权重正则化具备正交性：Weight Decay 和 Dropout 在实验中均已作为标准 Baseline 的基础设施，而在这些机制之上叠加梯度 $\ell_1$ 范数依然能带来数十个百分点的 Avg. Gap 缩减，表明曲率与梯度稀疏控制是权重空间正则化无法替代的正交机制。

亮点与洞察¶

将遗忘问题转化为前向训练问题：跳出了传统机器遗忘仅仅研究“亡羊补牢”后处理算子的传统局限，创新性地证明了后向遗忘困难度的本质在于前向训练轨迹积累的曲率尖峰，开启了“遗忘兼容型架构与训练”的新视角。
数学对偶驱动的优雅推导：没有盲目套用启发式稀疏，而是从 $p$-锐度的数学定义出发，利用 Hölder 不等式严密推导出 $\ell_\infty$ 扰动对应的最坏情况损失锐度一阶等价于梯度的 $\ell_1$ 范数，完成了理论与算法的完美闭环。
一石二鸟的梯度尖峰阻尼效应：梯度 $\ell_1$ 惩罚项不仅压平了整体损失地形以利于 SGD 逆向回溯，更在机制层面对后门攻击触发的高能梯度异常产生天然阻尼，在无需先验知道中毒标签的情况下实现了双重安全防护。

局限与展望¶

计算时间与二阶梯度开销：精确计算梯度范数的反向传播需要额外的后向传播过程（F+2B），带来约 1.5–2.0 倍的每步计算耗时。尽管有限差分近似减轻了显存峰值负担，但如何结合类似 SAM-for-free 的时序动量平摊计算开销仍需进一步拓展。
超参数 $\rho$ 的动态适应性：固定尺度的 $\rho$ 在不同的网络层（如分类头与浅层卷积层）中对稀疏度的容忍阈值不同，缺乏自适应逐层缩放机制。
超大规模模型的验证缺位：论文主要在小尺度卷积网络及小型视觉 Transformer（ViT-Small）上进行了验证，在数十亿参数量的大语言模型（LLM）或跨模态大模型上的可扩展性有待在大规模预训练流水线中进一步检验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次从最差情况锐度的对偶梯度稀疏视角构建遗忘兼容模型，打破后处理式遗忘局限]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖分类与生成多架构基线，深入对比多种范数形式及有限差分近似，实测后门攻击过滤]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严谨流畅，从逆向SGD理论到Hölder不等式证明再到实验落地层层递进]
价值: ⭐⭐⭐⭐⭐ [为隐私法规落地与模型全生命周期可撤回性、可遗忘性设计提供了根本性的底层训练范式]

正则化强度 \(\rho\)	精确梯度稀疏 (Exact GS) Avg. Gap ↓	有限差分近似 (Finite-Diff GS) Avg. Gap ↓	说明
\(\rho = 0\) (标准训练基线)	22.61	22.61	未引入梯度稀疏约束
\(\rho = 1 \times 10^{-4}\)	4.65	9.04	差分近似显著收敛差距
\(\rho = 5 \times 10^{-4}\)	0.81	1.49	差分近似极度逼近精确解且省去显存驻留