On the Plasticity Collapse in Continual Machine Unlearning¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/TIML-Group/Continual-Machine-Unlearning-Plasticity-Collapse
领域: 安全
关键词: 机器遗忘, 连续遗忘, 可塑性崩溃, 几何约束, 隐私保护

一句话总结¶

本文首次系统揭示并理论阐明了连续机器遗忘中的“可塑性崩溃”现象，指出连续遗忘操作导致参数空间几何约束累积与子空间饱和，进而引发后继任务遗忘质量递减的“前向失效”与早期遗忘数据自发复现的“后向失效”。

研究背景与动机¶

随着《通用数据保护条例》（GDPR）与《加州消费者隐私法》（CCPA）确立了“被遗忘权”，从已训练的深度神经网络中彻底清除特定用户数据或偏见/有害内容的影响，已成为合规与模型安全部署的硬性要求。现有绝大部分机器遗忘方法均默认设定在单次遗忘（single-shot unlearning）场景下，即假设模型在全生命周期内仅响应一次遗忘请求。然而在内容审查标准动态演进、推荐系统频繁响应注销等真实工业落地环境中，系统必然面临随时间推移接踵而至的连续遗忘请求序列（continual machine unlearning）。

现有技术体系在向连续遗忘拓展时暴露出了严重的系统性失效。传统持续学习（Continual Learning）主要关注模型学习新知识时发生的灾难性遗忘与可塑性下降，而连续遗忘面临的却是全然相反且更严苛的优化动力学环境：模型需要在没有新数据注入或仅有固定保留集辅助的前提下，仅依靠逆向梯度更新连续剥离多个特定数据子集。直接且朴素地在模型上反复调用单次遗忘算法，不仅难以维持长期的遗忘有效性，更无法解释为何多轮遗忘后模型会逐步丧失擦除新样本信息的能力，甚至已经成功消除的记忆会离奇复苏。

本文的切入视角在于深入剖析连续遗忘过程中模型参数空间的动态演化规律。研究表明，连续遗忘诱发的更新算子在共享子空间内存在固有几何膨胀效应，而优化系统为抑制参数爆炸所施加的被动稳定机制，恰恰构成了模型能力退化的根源。本文的核心 idea 是：将连续遗忘中的系统性功能退化统一归结为“可塑性崩溃”（Plasticity Collapse），并通过严密的算子乘积理论证明，连续遗忘更新在共享参数子空间内累积的几何约束与饱和效应，必然导致后继任务遗忘失效（前向失效）或历史遗忘知识自发再记忆（后向失效）这两种互不排斥的失效模式。

方法详解¶

整体框架¶

在连续机器遗忘设定下，初始模型参数为 $\theta_0 \in \mathbb{R}^d$，相继到达 $T$ 个遗忘请求。在阶段 $t \in \{1, \dots, T\}$，模型需要消除遗忘集 $F_t \subset \mathcal{D}$ 的影响，同时借助可选的保留集 $R_t \subset \mathcal{D} \setminus F_t$ 维持模型的预测效用，模型参数由 $\theta_{t-1}$ 更新为 $\theta_t$。绝大多数基于训练的遗忘方法（如 Fine-tuning、NegGrad+、RandomLabeling、SalUn、MUNBa 等）在局部几何中均可抽象为统一优化目标 $J_t(\theta) := \lambda L_{R_t}(\theta) - L_{F_t}(\theta)$（$\lambda \ge 0$），即对遗忘损失做梯度上升、对保留损失做梯度下降。

整个连续遗忘优化动力学在参数空间引发级联效应：连续遗忘请求的特征跨度（forget span）彼此重叠，在参数空间张成了高频共用的低维子空间 $W$。随着遗忘算子在此子空间内的复合迭代，算子乘积呈现指数级几何膨胀；为了维持参数轨迹的有界性与稳定性，优化轨迹只能被迫通过抑制在 $W$ 上的更新分量，或者注入反向抵消分量来抗衡膨胀，从而分别催生了前向失效与后向失效。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续遗忘请求序列<br/>F_1, F_2, ..., F_t 依次到达"] --> B["统一遗忘目标与仿射动力学<br/>J_t(θ) = λ L_R_t(θ) - L_F_t(θ)"]
    B --> C["共享子空间算子乘积膨胀<br/>A_t:s 在 W 上产生指数级扩张"]
    C --> D["参数轨迹有界性约束<br/>优化动力学必须抵消膨胀分量"]
    D -->|机制1：抑制共享子空间位移| E["前向失效 (Forward Failure)<br/>更新分量偏离 W，后继任务遗忘质量递减"]
    D -->|机制2：反向更新抵消历史位移| F["后向失效 (Backward Failure)<br/>历史累积更新被反转，已遗忘样本自发复现"]
    E --> G["几何诊断监控<br/>能量比 ER_t 与投影系数 CO_t"]
    F --> G

关键设计¶

1. 遗忘算子乘积膨胀分析：揭示参数有界性与子空间扩张的内生矛盾

针对连续遗忘中更新算子长期累积效应不明的问题，论文首先在线性模型与平方损失下展开解析建模。单步更新公式呈现为严格的仿射递推形式：$\theta_t = A_t \theta_{t-1} - c_t$，其中状态转移算子 $A_t = I + M_{F_t} - \lambda M_{R_t}$，$M_{F_t} \succeq 0, M_{R_t} \succeq 0$ 分别为遗忘与保留数据的 Hessian/协方差矩阵。当定义连续算子的时间序复合算子为 $A_{t:s} := A_t A_{t-1} \cdots A_s$ 时，显式闭式解满足 $\theta_t = A_{t:s} \theta_{s-1} - \sum_{j=s}^t A_{t:j+1} c_j$。理论证明：若各任务在参数空间存在非零不变子空间 $W$ 且遗忘曲率主导保留曲率（即存在 $\rho > 0$ 使得对任意 $v \in W$ 均满足 $v^\top (M_{F_j} - \lambda M_{R_j}) v \ge \rho \|v\|^2$），则复合算子在 $W$ 上必定呈现指数级膨胀： $$\|A_{t:s} w\| \ge (1 + \rho)^{t - s + 1} \|w\|, \quad \forall w \in W$$ 该结论进一步通过神经正切核（NTK）一阶线性化理论严格推广到了深度神经网络架构中。这意味着在连续遗忘过程中，齐次项 $A_{t:s} \theta_{s-1}$ 沿子空间 $W$ 呈现几何级数扩散，迫使优化动力学必须在受限的容量内引入强烈的反制机制以维持网络参数的有界性。

2. 双重失效模式解耦：前向遗忘衰减与后向自发再记忆的动力学归因

基于算子膨胀与参数稳定的冲突，论文揭示了优化轨迹维持有界性的两条必然路径，精确对应了可塑性崩溃的两种截然不同却又同根同源的失效形态。第一种路径为“子空间运动抑制”：由于 $W$ 维度上的算子已处于高度发散的饱和状态，后续优化步被迫大幅削减沿 $W$ 的更新幅度。然而，后续到来的新遗忘请求 $F_t$ 的特征输入恰恰大量投影在由历史数据共建的特征跨度 $U_t \subset W$ 之中；抑制沿 $W$ 的参数位移直接剥夺了网络对新遗忘任务调整预测分布的自由度，导致后续任务的遗忘效果急剧恶化，即前向失效（Forward Failure）。第二种路径为“共享子空间反向抵消”：强制项 $\sum_{j=s}^t A_{t:j+1} c_j$ 必须产生与历史累积位移相反的向量分量来对冲膨胀，但历史强迫项本就编码着早期遗忘任务的擦除轨迹；引入反向补偿更新等价于在参数空间部分撤销了先前的遗忘位移，使原本已被有效擦除的早期遗忘数据 $F_s$（$s < t$）的预测分布自发向未遗忘状态漂移，即后向失效（Backward Failure，自发再记忆）。

3. 几何诊断物理量设计：能量比（ER）与投影系数（CO）的在线表征

为在实际深度网络训练中精确量化与分离这两种失效模式，论文基于更新增量矩阵 $U = [u_1 \mid \cdots \mid u_T] \in \mathbb{R}^{d \times T}$（其中 $u_t = \theta_t - \theta_{t-1}$）的主成分分析，构建了共享主子空间 $W$ 的正交投影基矩阵 $Q \in \mathbb{R}^{d \times r}$（$P_W = Q Q^\top$），并提出了两套互补的几何诊断指标： $$\text{ER}_t := \frac{\|P_W u_t\|_2^2}{\|u_t\|_2^2} = \frac{\|Q Q^\top u_t\|_2^2}{\|u_t\|_2^2}, \qquad \text{CO}_t := Q^\top u_t$$ 能量比（Energy Ratio, ER）反映了更新向量位于共享子空间内部的能量占比。在前向失效情境中，随着子空间饱和，$\text{ER}_t$ 会呈现出单调衰减并逐渐趋向于 0 的过程，且参数更新的整体 $L_2$ 范数 $\|u_t\|_2$ 亦系统性萎缩，表明模型参数逐步“冻结”。投影系数（Projection Coefficient, CO）则记录了更新量在主方向上的带符号标量投影。在后向失效发生时，处于再记忆阶段的任务其 $\text{CO}_t \approx 0$，且围绕再记忆事件发生的相邻任务间呈现出剧烈的正负符号高频振荡，直观印证了优化过程在共享子空间内发生拮抗性更新干涉与反向擦除。

损失函数 / 训练策略¶

论文所研究的方法涵盖单次遗忘主流算法在连续时序上的实例化，各阶段遵循统一定义： $$J_t(\theta) = \lambda L_{R_t}(\theta) - L_{F_t}(\theta)$$ 其中损失计算均基于样本级经验交叉熵。对于保留正则化强度 $\lambda > 0$ 的典型算法：Fine-tuning (FT) 仅在保留集上最小化交叉熵；NegGrad+ 在保留集做经验风险最小化的同时对遗忘集施加反向梯度上升；RandomLabeling (RL) 将遗忘样本标签随机重置为伪标签后联合优化；SalUn 利用基于梯度的显著性掩码限制仅更新敏感参数；MUNBa 则将遗忘和保留建模为纳什博弈优化问题。优化器参数沿用主流图像分类基准设定，以单步或少量固定步长梯度下降递推更新。

实验关键数据¶

主实验¶

实验在 Tiny-ImageNet 与 CIFAR-100 上展开，采用 VGG-16-BN 与 PreResNet-110 架构，评估了随机样本遗忘（每次遗忘 1% 随机训练数据）和类别遗忘（每次遗忘一整个类别的全部样本）两种典型场景。遗忘质量以遗忘集样本在遗忘完成后的测试准确率（Forgetting Accuracy，%）衡量，指标越低代表遗忘越彻底；表中同时报告该指标相较单次遗忘基准的退化幅度。

数据集 / 架构	遗忘场景	评测算法	单任务基线遗忘准确率 (%)	连续遗忘末任务准确率 (%)	遗忘质量退化 (Gain, %)
Tiny-ImageNet (VGG-16-BN)	随机样本遗忘 (1%)	FT	0.00	~32.5	+32.5 (前向失效)
Tiny-ImageNet (VGG-16-BN)	随机样本遗忘 (1%)	NegGrad+	0.00	~48.7	+48.7 (退化最严重)
Tiny-ImageNet (VGG-16-BN)	随机样本遗忘 (1%)	RL	0.00	~28.0	+28.0 (前向失效)
Tiny-ImageNet (VGG-16-BN)	随机样本遗忘 (1%)	SalUn	0.00	~26.5	+26.5 (前向失效)
Tiny-ImageNet (VGG-16-BN)	随机样本遗忘 (1%)	MUNBa	0.00	~30.3	+30.3 (前向失效)
Tiny-ImageNet (VGG-16-BN)	类别遗忘 (Class-wise)	FT	~0.00	~62.0	+62.0 (严重前向失效)
Tiny-ImageNet (VGG-16-BN)	类别遗忘 (Class-wise)	NegGrad+	~0.00	~78.0	+78.0 (严重前向失效)
Tiny-ImageNet (VGG-16-BN)	类别遗忘 (Class-wise)	MUNBa	~0.00	~45.0	+45.0 (双重失效兼备)

(注：在随机遗忘设定下，全算法末尾任务平均遗忘准确率相较单任务基线平均高出约 33.2%，清晰证实了前向失效的普遍存在；而在类别遗忘下，RL 与 SalUn 的单任务与当前步准确率看似维持在较低水平，但实际上隐藏了剧烈的后向再记忆失效)

消融实验¶

通过追踪历史遗忘任务在后续阶段的准确率演化热力图，解构不同算法在类别遗忘设定下的失效模式分布与几何特征：

算法配置	典型代表场景	主要表现失效形态	几何诊断特征 ($\text{ER}_t$ / $\text{CO}_t$)	参数更新模长 $\\|u_t\\|_2$ 变化
FT / NegGrad+	随机遗忘 / 类别遗忘	显著前向失效	$\text{ER}_t \to 0$，更新正交脱离子空间 $W$	单调大幅衰减，参数呈现深度“冻结”
RL (RandomLabeling)	类别遗忘	显著后向失效（自发再记忆）	$\text{CO}_t$ 发生大幅剧烈符号振荡	再记忆发生区间更新模长出现异常凹陷
SalUn (显著性掩码)	类别遗忘 (Task 35-60)	显著后向失效（自发再记忆）	历史任务准确率自发反弹变红，$\text{CO}_t \approx 0$	掩码参数空间受限，发生密集对抗抵消
MUNBa (纳什博弈)	类别遗忘	双重失效兼备 (前向 + 后向)	$\text{ER}_t$ 衰减叠加历史热力图离线回升	整体模长持续走低，局部位移对抗剧烈

关键发现¶

前向失效的普遍性：在随机样本遗忘场景中，无一算法能够幸免于前向失效；随着序列轮次增加，末尾任务的遗忘准确率相较于单任务基线平均攀升 33.2%，即便是最新的 MUNBa 算法在面对多轮请求时也会出现明显的抗遗忘钝化。
后向失效的隐蔽性与危害：在结构化特征更集中的类别遗忘场景中，RL 和 SalUn 表面上维持了较低的当前任务遗忘准确率，但历史任务热力图上三角区域（非对角线）由冷色变暖变红，如 SalUn 在任务索引 35-60 区间发生大面积已擦除信息的自发再记忆，对数据隐私构成了隐蔽的致命风险。
参数冻结与几何对齐验证：更新向量模长 $\|u_t\|_2$ 随任务推移系统性下降，直接佐证了模型在参数空间逐步失去调整能力；同时 $\text{ER}_t$ 趋向于零的斜率与前向遗忘准确率的恶化曲线高度同步，$\text{CO}_t$ 的符号振荡精准对应再记忆事件的发生。

亮点与洞察¶

问题定义的原创性：首次突破了机器遗忘领域长久以来局限于“单次请求”的思维定势，将研究范式推向符合真实生产环境的连续遗忘序列，发现了不可忽视的“可塑性崩溃”现象。
理论推导的坚实性：不依赖琐碎的经验性调参，而是建立在仿射递推算子乘积膨胀与 NTK 局部线性化机制之上，用严格数学证明将两种看似相反的失效模式（遗忘不了 vs 重新记起）统一归结为有界优化对共享子空间几何膨胀的必然反制。
可复用的在线监测范式：提出的能量比（ER）与投影系数（CO）不仅是理论验证工具，更为后续开发鲁棒的防崩溃遗忘算法提供了轻量级、无需访问历史原始数据的在线几何正则项与预警指标。

局限与展望¶

作者承认的局限：目前验证主要集中在图像分类任务以及卷积神经网络（VGG、ResNet）上，尚未在大语言模型（LLM）与扩散生成模型（Diffusion Models）等更复杂的长上下文或生成架构中完成全量动力学验证。
自身发现的局限：理论推导基于一阶线性化及 NTK 假设，对于网络权重远离初始点的大步长非线性优化区间，高阶曲率重构对子空间饱和的影响仍需更泛化的微分几何工具进行补充刻画。
未来改进方向：探索正交梯度投影（如类似 GEM/OGD 思想）、自适应参数子空间扩展或“收缩-扰动”（shrink-and-perturb）重置机制，在连续遗忘中打破子空间几何硬饱和，构建保持可塑性的新一代连续遗忘框架。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出并理论定义了连续机器遗忘中的可塑性崩溃及其双重失效模式。
实验充分度: ⭐⭐⭐⭐ 覆盖 Tiny-ImageNet、CIFAR-100 及多种典型遗忘算法，诊断指标与热力图分析完备，若补充大语言模型评测更佳。
写作质量: ⭐⭐⭐⭐⭐ 理论证明严密优雅，几何直觉清晰，概念引申与实验验证形成严密闭环。
价值: ⭐⭐⭐⭐⭐ 戳破了单次机器遗忘算法在工业连续部署下的安全假象，为设计隐私可信、长期可靠的遗忘系统奠定了理论基石。