Predicting Plasticity in Deep Continual Learning: A Theoretical Perspective¶

会议: NeurIPS 2026
arXiv: 2605.09044
OpenReview: https://openreview.net/forum?id=Z8JDztVnTJ
领域: 优化/理论
关键词: 持续学习、可塑性损失、优化就绪度、可训练性预测、神经正切核

一句话总结¶

针对持续学习中表征秩与神经正切核秩等结构诊断指标无法有效表征可塑性的问题，本文从理论反例证明了结构性指标的失效性，进而提出融合梯度强度与信噪比的优化就绪度（Optimization Readiness）指标，严格下界单步优化增益并实现了极高的可训练性排序准确率。

研究背景与动机¶

深度持续学习要求模型在不从头重新训练的前提下顺序适应新任务，但神经网络在连续训练若干旧任务后往往会逐渐丧失适应后续新任务的能力，即遭遇严重的可塑性损失（Loss of Plasticity）。在可塑性衰退的情况下，模型面对新任务时的梯度更新往往陷入停滞，其学习曲线几乎保持平坦，优化效率甚至劣于随机初始化的网络。为了解释并监测这种现象，已有大量文献提出了各类结构或几何层面的诊断指标，例如表征矩阵的有效秩（Effective Rank）、99% 能量秩（Energy Rank）、经验神经正切核（eNTK）秩、损失曲率与海森矩阵秩，以及死神经元或休眠神经元比例等。

然而，现有研究对这些指标可靠性的审视大多局限于经验性证伪，缺乏对指标失效机制的本质理论刻画；更为根本的是，领域内对“可塑性”的具体操作化定义存在分歧（如学习速度、固定预算下的最终性能或相对于随机初始化的相对提升）。从优化本质出发，模型具备可塑性的共识体现为其能否通过梯度下降获得有意义的相对损失下降（即“可训练性”，Trainability）。这引出了一个严峻的核心矛盾：当前主流的结构诊断指标大都不依赖任务标签（Label-Agnostic），它们仅仅反映输入在网络表征空间中的多样性，而完全无法感知目标任务具体的梯度流向；只要梯度的方向与有效表征子空间正交，即便表征秩或 eNTK 秩处于近乎满秩的最优状态，梯度下降也寸步难行。

本文的切入角度是直接从一阶随机梯度下降的单步动力学出发，将可塑性定义为标准化的 $k$ 步相对优化增益，并以此推导能够真正绑定优化进展的预测量。核心 idea：通过构造回归与分类反例证明无标签结构秩指标无法保证优化进展，进而提出由“归一化梯度模长（梯度强度）”与“梯度信噪比（梯度可靠性）”相乘构成的优化就绪度（Optimization Readiness, OR）指标，在理论上严格下界单步优化增益，建立起预测模型未来可训练性的理论与经验度量体系。

方法详解¶

整体框架¶

本文的方法流程首先从理论层面推导并构造两类典型的反例，指出现存结构性指标的核心漏洞；随后从随机梯度下降的下降引理（Descent Lemma）出发，推导出直接反映模型可训练性的优化就绪度指标，并在持续学习检验基准上评估其跨检查点的排序能力。

系统由反例构造分析、优化就绪度理论指标构建、以及经验抽样估计与排序评估三大阶段构成，其端到端流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：网络检查点 θ 与目标任务样本 𝒯"] --> B["阶段1：结构诊断指标失效分析<br/>构造标签正交反例证明秩指标盲区"]
    B --> C["阶段2：优化就绪度度量构建<br/>梯度强度与梯度可靠性偶联"]
    C --> D["阶段3：单步增益下界与理论保证<br/>平滑假设下证明增益严格下界"]
    D --> E["输出：预测可训练性与跨检查点排序评估"]

关键设计¶

1. 结构诊断指标失效反例：揭示无标签几何指标与任务梯度的正交脱节

针对广泛使用的表征有效秩、99% 能量秩以及 eNTK 秩等指标，本文指出它们均属于无视任务标签的结构性指标。作者设计了一个单隐层单输出 ReLU 网络 $f_\theta(x) = v^\top \mathrm{ReLU}(Wx)$，其中输入为标准正交基 $X = I_n$ 且权重初始化为输出层 $v = 0$。在回归任务（目标标签为 $e_{n-1} - e_n$）与二分类任务（两类样本各占一半，使用 Logistic 损失）中，通过设计第一层权重矩阵 $W$，可以构造出表征矩阵与 eNTK 均具有极高秩（能量秩可达 $\lceil 0.99(n-2) \rceil$ 甚至接近全秩 $n$）的检查点 $\theta_{\mathrm{pre}}$。然而，由于标签残差向量恰好落在第一层输出的特征子空间的零空间中，导致整个网络的总体梯度 $\nabla_\theta \mathcal{L}(\theta_{\mathrm{pre}}; \bar{\mathcal{T}}) = 0$。模型在全样本梯度下降下无法前进一步（对于任意步长 $\eta > 0$ 和任意步数 $k \ge 1$，其 $k$ 步相对增益 $\mathcal{G}_{\mathrm{full}}^{(k)} = 0$）；与之形成鲜明对比的是，标准随机初始化网络能够以极大概率在一步之内消除绝大部分损失（$\mathcal{G}_{\mathrm{full}}^{(1)} \ge 1 - 1/M_{\mathrm{gap}}$）。这一反例从数学上确凿证明了仅凭良好的结构特征多样性并不能保证模型的优化进展。

2. 优化就绪度度量构建：耦合归一化梯度强度与梯度信噪比

为了克服结构指标脱离任务目标函数的缺陷，本文将网络的可塑性具体量化为 $k$ 步相对损失减少量： $$\mathcal{G}^{(k)}(\theta; \mathcal{T}) \doteq \frac{\mathcal{L}(\theta; \mathcal{T}) - \mathbb{E}_{\mathcal{B}_0,\dots,\mathcal{B}_{k-1}}[\mathcal{L}(\theta_k; \mathcal{T})]}{\mathcal{L}(\theta; \mathcal{T})}$$ 并提出与优化动力学直接对应的优化就绪度（Optimization Readiness, OR）。OR 由两个核心因子的乘积构成：第一是梯度强度（Gradient Strength），定义为群体梯度范数平方除以当前总体损失 $S(\theta, \mathcal{T}) \doteq \frac{\|g(\theta, \mathcal{T})\|_2^2}{\mathcal{L}(\theta, \mathcal{T})}$，通过将梯度大小按当前损失进行归一化，排除了处于不同收敛阶段时因初始损失绝对值差异带来的误导；第二是梯度可靠性（Gradient Reliability），定义为真实梯度强度占小批量随机梯度总期望强度的比例 $R(\theta, \mathcal{T}) \doteq \frac{\|g(\theta, \mathcal{T})\|_2^2}{\mathbb{E}_{\mathcal{B}}[\|\widehat{g}_{\mathcal{B}}(\theta, \mathcal{T})\|_2^2]}$，该项本质上衡量了小批量采样的信噪比（Signal-to-Noise Ratio）。最终优化就绪度定义为两者的乘积： $$\mathrm{OR}(\theta; \mathcal{T}) \doteq S(\theta; \mathcal{T}) \cdot R(\theta; \mathcal{T}) = \frac{\|g(\theta, \mathcal{T})\|_2^4}{\mathcal{L}(\theta, \mathcal{T}) \cdot \mathbb{E}_{\mathcal{B}}[\|\widehat{g}_{\mathcal{B}}(\theta, \mathcal{T})\|_2^2]}$$ 当模型陷入梯度平坦区（梯度强度为 0）或小批量随机噪声彻底淹没梯度信号（可靠性为 0）时，OR 均会敏锐地降为 0。

3. 单步增益理论下界保证：建立从指标到实际可塑性的可微桥梁

为了给 OR 指标赋予扎实的理论基础，作者在标准的无偏梯度估计假设（$\mathbb{E}[\widehat{g}_{\mathcal{B}}] = g$）以及总体损失函数的 $\beta$-光滑性假设下进行了单步 SGD 期望轨迹分析。分析表明，在一阶优化中，只要学习率 $\eta$ 落在稳定区间 $0 < \eta < R(\theta, \mathcal{T})/\beta$ 内，实际一步优化后的期望相对增益就受到优化就绪度的严格下界保护： $$\mathcal{G}^{(1)}(\theta; \mathcal{T}) \ge \frac{\alpha(1-\alpha)}{\beta} \mathrm{OR}(\theta; \mathcal{T})$$ 其中 $\alpha = \eta \beta / R(\theta, \mathcal{T}) \in (0, 1)$。该定理不仅从理论上揭示了为什么 OR 能正向预测优化进展，还说明了只要 OR 保持较高水平，合理的梯度下降更新就必然能为模型带来显著的损失降幅。

损失函数 / 训练策略¶

在经验评估中，OR 通过验证集上计算的无偏经验量进行估计：群体梯度 $g(\theta, \mathcal{T}_{\mathrm{val}})$ 由完整验证集（$N_{\mathrm{val}} = 10,000$）上的全样本梯度 $\widehat{g}$ 近似；小批量梯度二阶矩 $\mathbb{E}_{\mathcal{B}}[\|\widehat{g}_{\mathcal{B}}\|_2^2]$ 则通过独立采样的 $\mathcal{R} = 128$ 个批量大小为 $m = 4$ 的小批量梯度平方和均值进行估计。真实基准 $k$ 步增益 $\mathcal{G}^{(k)}$ 则通过从 $\theta$ 出发独立执行 $\mathcal{R} = 128$ 次独立的 $k$ 步小批量 SGD 轨迹并评估验证损失降幅获得。在持续学习序列训练中，Slowly-Changing Regression（SCR）任务基于 2 层每层 5 个隐单元的 MLP，使用 Adam 优化器（$\eta = 0.01$，$m = 1$）；Permuted MNIST（P-MNIST）任务使用 3 层每层 100 个隐单元的 MLP（$\eta = 0.003$，$m = 1$），每隔 5 个任务保存一个网络检查点以覆盖丰富的可塑性退化状态。

实验关键数据¶

主实验¶

指标在两类持续学习基准（SCR 与 P-MNIST）上成对排序准确率（Pairwise Ranking Accuracy，衡量指标对任意两检查点可训练性高低的排序与真实 $k$ 步增益一致的概率，均值 $\pm$ 标准误）对比如下：

任务	评估指标	$k=1$ 步增益	$k=10$ 步增益	$k=100$ 步增益
Slowly-Changing Regression	OR (本文)	0.987 ± 0.001	0.988 ± 0.001	0.977 ± 0.002
	表征有效秩 (Repr EffRank)	0.698 ± 0.001	0.700 ± 0.001	0.704 ± 0.001
	表征 99% 能量秩 (Repr EnRank)	0.689 ± 0.002	0.690 ± 0.002	0.694 ± 0.002
	eNTK 99% 能量秩	0.765 ± 0.002	0.768 ± 0.002	0.779 ± 0.003
	Hessian 99% 能量秩	0.734 ± 0.003	0.737 ± 0.003	0.746 ± 0.005
	活跃神经元比例 (Active Neuron)	0.671 ± 0.007	0.673 ± 0.007	0.679 ± 0.007
Permuted MNIST	OR (本文)	0.906 ± 0.005	0.905 ± 0.005	0.899 ± 0.004
	表征有效秩 (Repr EffRank)	0.858 ± 0.002	0.864 ± 0.003	0.873 ± 0.002
	表征 99% 能量秩 (Repr EnRank)	0.828 ± 0.003	0.834 ± 0.003	0.844 ± 0.003
	Hessian 99% 能量秩	0.821 ± 0.003	0.753 ± 0.007	0.717 ± 0.007
	活跃神经元比例 (Active Neuron)	0.346 ± 0.003	0.377 ± 0.003	0.391 ± 0.003

消融实验¶

为了检验在缺少大规模验证集支持的实际场景下 OR 的实用性，作者对验证样本量进行了子采样消融（在 SCR 中采用 10%、1%、0.1% 的数据量，对应 1000、100、10 个样本；在 P-MNIST 中采用 10%、1% 的数据量，对应 1000、100 个样本；且仅使用 16 个 $m=1$ 的 mini-batch 估计 OR）：

任务场景	验证数据配置与采样比例	OR 排序准确率表现	对应基线对比与说明
SCR (回归)	100% 验证集 ($N=10,000$)	~0.987	远超所有结构指标（最高 eNTK 仅 0.765）
SCR (回归)	10% 验证集 ($N=1,000$)	> 0.980	几乎无性能衰减
SCR (回归)	1% 验证集 ($N=100$)	> 0.970	保持极高精度
SCR (回归)	0.1% 验证集 ($N=10$)	> 0.950	仅用 10 个数据点仍显著超越全量数据下的所有基准
P-MNIST (分类)	100% 验证集 ($N=10,000$)	0.906	优于全量表征有效秩 (0.858) 与海森秩 (0.821)
P-MNIST (分类)	10% 验证集 ($N=1,000$)	~0.840	在相同低数据预算下仍优于同等采样下的各基线
P-MNIST (分类)	1% 验证集 ($N=100$)	~0.760	数据极度受限时略低于全量表征秩，但大幅领先同数据预算基准

关键发现¶

在所有测试任务与不同预测时间步（$k=1, 10, 100$）下，OR 的成对排序准确率均稳定名列第一，尤其在回归任务中高达 0.988，展现出极强的可塑性预测单调性。
散点图与定性分析表明，OR 与单步真实增益之间呈现出极强的线性对应关系，而表征秩、eNTK 秩等传统指标在可塑性中后期与实际增益的相关性近乎散乱失效。
活跃神经元比例指标在分类任务上排序准确率低于 40%，几乎呈现与真实可塑性倒挂的负相关，证明单纯基于激活阈值的休眠统计在评估模型可训练性时具有很强的误导性。
持续学习演化轨迹揭示了一个引人注目的现象：模型的可训练性并非在随机初始化时最大，而是在学习初期随着正向迁移（Forward Transfer）迅速上升至峰值，随后才在多任务干扰下逐渐丧失可塑性；OR 是唯一能够完美追踪这一“先升后降”动力学过程的指标。

亮点与洞察¶

从后验解释迈向先验预测：传统可塑性研究大多将秩塌缩等作为事后解释现象的工具，本文首次将可塑性明确形式化为面向未来优化潜力的先验预测目标，指出了“后验相关”与“先验预测”之间的关键鸿沟。
正交零空间反例设计精准深刻：反例通过严谨的代数构造，证明了即便网络表征和经验 NTK 在所有输入样本上拥有满秩能量，只要任务标签残差与这些特征正交，梯度更新就会完全锁死，直击无标签结构指标的理论盲区。
轻量且极度节省数据：OR 仅需利用极少量的小批量样本计算梯度范数与方差，无需进行昂贵的奇异值分解、二阶矩阵计算或 NTK 计算，在 SCR 上仅用 10 个样本即可提供远超全量数据传统指标的预测可靠性。

局限与展望¶

理论反例目前建立在单隐层 ReLU 网络的特定正交结构上，尚未推广至多层深度网络、注意力架构以及非线性更复杂的激活函数。
实验评估主要集中在合成的回归基准与 Permuted MNIST 持续监督学习任务中，尚需进一步在更大规模的持续强化学习（RL）以及大语言模型持续预训练/微调场景中验证 OR 的普适性。
当前计算 OR 时依然需要接入少量新任务的目标标签以计算实际梯度；未来可探索如何利用弱标签或自监督梯度信号进一步拓宽 OR 在无标注流式场景中的应用。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从理论反例证伪流行结构指标，并提出有理论下界保证的可塑性预测新指标。
实验充分度: ⭐⭐⭐⭐ 涵盖回归与分类两大经典持续学习基准，包含详细的成对排序与极端数据子采样消融，若有大规模真实场景将更完善。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严密自洽，问题意识极其敏锐，逻辑层层递进。
价值: ⭐⭐⭐⭐⭐ 为深度持续学习提供了极佳的轻量化评估工具与清晰的理论透镜，对指导可塑性恢复算法设计具有重要启发意义。

任务场景	验证数据配置与采样比例	OR 排序准确率表现	对应基线对比与说明
SCR (回归)	100% 验证集 (\(N=10,000\))	~0.987	远超所有结构指标（最高 eNTK 仅 0.765）
SCR (回归)	10% 验证集 (\(N=1,000\))	> 0.980	几乎无性能衰减
SCR (回归)	1% 验证集 (\(N=100\))	> 0.970	保持极高精度
SCR (回归)	0.1% 验证集 (\(N=10\))	> 0.950	仅用 10 个数据点仍显著超越全量数据下的所有基准
P-MNIST (分类)	100% 验证集 (\(N=10,000\))	0.906	优于全量表征有效秩 (0.858) 与海森秩 (0.821)
P-MNIST (分类)	10% 验证集 (\(N=1,000\))	~0.840	在相同低数据预算下仍优于同等采样下的各基线
P-MNIST (分类)	1% 验证集 (\(N=100\))	~0.760	数据极度受限时略低于全量表征秩，但大幅领先同数据预算基准