From Generic to Dedicated: A Novel Optimizer for Online Continual Learning¶

会议: NeurIPS 2026
arXiv: 2610.27835
OpenReview: https://openreview.net/forum?id=oReUobH6m9
论文: https://arxiv.org/abs/2610.27835
领域: 优化/理论
关键词: 在线持续学习、优化器、稳定性-可塑性权衡、迭代平均、Hessian逆近似

一句话总结¶

针对在线持续学习中通用优化器受瞬时样本主导导致灾难性遗忘的瓶颈，本文提出首个专用优化器SPIN，通过快变可塑性序列与慢变稳定性序列在参数空间的双向耦合插值，隐式实现带Tikhonov正则化的曲率感知更新，在无回放和严苛内存约束下全面超越SGD与AdamW。

研究背景与动机¶

在线持续学习（Online Continual Learning, OCL）要求模型在严苛的单遍遍历（single-pass）流式数据下持续吸收新知识，且无法反复访问旧任务数据。现有OCL工作绝大部分沿袭离线持续学习的思维定式，将精力集中在数据回放缓冲区设计、重放样本选择策略、表征漂移蒸馏损失或网络架构参数隔离上，而底层的数值优化器则千篇一律地直接套用针对静态离线训练设计的通用优化器（如SGD、AdamW或RMSProp）。在这些通用优化器中，梯度的评估点始终固定在当前快速演化的参数位置，即便引入动量机制，参数更新方向依然被瞬时流入的非平稳数据分布绝对主导，导致模型在单遍流式训练中对历史知识产生剧烈的灾难性遗忘。

这种优化的核心矛盾在于持续学习经典的“可塑性-稳定性困境”（Plasticity-Stability Dilemma）在随机优化层面缺乏显式的解耦机制。经典的随机优化平均理论实际上蕴含着截然相反的动态倾向：以Polyak-Ruppert为代表的迭代平均机制在当前快速演化的参数点计算梯度，展现出极强的适应新数据能力（高可塑性），但遗忘速度极快；而以Primal averaging为代表的原偶平均机制在缓慢更新的平均参数点计算梯度，能极好地锚定既有知识（高稳定性），却严重牺牲了对新分布的吸收速度。现有方法要么在梯度空间对新旧样本梯度做简单线性组合或投影约束，不仅计算成本倍增，而且在非平稳数据流下极易因梯度评估点分散而破坏参数流形的几何一致性。

本文的切入角度是：跳出在上层损失或梯度修剪层面打补丁的局限，从随机优化底层直接重构参数迭代动力学。核心 idea：设计显式解耦可塑性与稳定性的专用优化器 SPIN，维持快变适应序列与慢变固化序列，在两者的参数插值点统一评估梯度并同步闭环更新，隐式诱导带 Tikhonov 正则化的 Hessian 逆近似以阻尼单样本噪声曲率。

方法详解¶

整体框架¶

SPIN（Stability-Plasticity INterpolation）的核心机制在于构建双序列同步耦合更新流程。优化器内部维护两个具有不同演化速率的参数序列：快变的可塑性序列 $\phi_t$ 负责迅速响应最新流入的数据流；慢变的稳定性序列 $\theta_t$ 负责渐进式整合稳固表征。在每个训练步中，SPIN并不直接在 $\phi_t$ 或 $\theta_t$ 处求导，而是在两者的线性插值点 $x_t$ 上评估一次随机梯度，随后利用该梯度更新可塑性序列，再由更新后的可塑性状态平滑拉动稳定性序列。

这种参数空间插值设计使得整个优化过程仅需一次标准的前向-反向传播，完全兼容任何现有的上层OCL算法（如ER、DER++、GSA、MOSE等），能够即插即用地替换其底层的SGD或AdamW。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["当前流式批次与回放数据"] --> Interp["参数空间插值：构造评估点<br/>x_t = (1-β)ϕ_t + βθ_t"]
    Interp --> Grad["单次梯度评估<br/>g_t = ∇L(x_t)"]
    Grad --> FastUpdate["可塑性序列快速更新：吸收新知识<br/>ϕ_{t+1} = Opt(ϕ_t, g_t, γ)"]
    FastUpdate --> SlowConsolidation["稳定性序列动量固化：整合稳固表征<br/>θ_{t+1} = θ_t + α(ϕ_{t+1} - θ_t)"]
    SlowConsolidation --> Out["输出整合模型参数 θ_{t+1}"]

关键设计¶

1. 参数空间插值评估：统一兼顾可塑性探索与稳定性锚定

传统梯度空间平均方法需要分别在快慢参数点计算梯度再做线性加权，不仅需要两次反向传播导致计算量翻倍，而且在非平稳数据流中容易混合不同参数流形位置的梯度产生方向冲突。SPIN在参数流形上直接进行凸组合插值，构造单次评估点： $$x_t = (1 - \beta)\phi_t + \beta\theta_t$$ 其中 $\beta \in [0, 1]$ 为插值系数。当 $\beta \to 0$ 时退化为仅在可塑性点求导的EMA机制；当 $\beta \to 1$ 时退化为完全在稳定性点求导的保守原偶平均。通过选取极小的中间值（如 $\beta = 0.05$），评估点 $x_t$ 既能够以可塑性模型为主体快速捕捉新数据流的优化梯度，又受到稳定性锚点 $\theta_t$ 的几何拉牵，使计算得到的单步梯度内生具备兼顾适应与防遗忘的折中方向。

2. 双序列闭环同步更新：避免高方差数据流冲击表征稳态

针对流式单遍训练下样本方差剧烈波动的问题，SPIN将底层参数更新解耦为两步同步级联。首先利用基础优化器 $\textit{Opt}$（如SGD或AdamW）配合学习率 $\gamma$，根据插值梯度 $g_t = \nabla \mathcal{L}(x_t)$ 将可塑性序列推进到新状态： $$\phi_{t+1} = \textit{Opt}(\phi_t, \nabla \mathcal{L}(x_t), \gamma)$$ 随后，稳定性序列 $\theta_t$ 以同步速率 $\alpha \in [0, 1]$ 缓慢吸收可塑性序列的变化量： $$\theta_{t+1} = \theta_t + \alpha(\phi_{t+1} - \theta_t) = (1 - \alpha)\theta_t + \alpha \phi_{t+1}$$ 这种平滑滤波机制切断了单样本极端梯度对最终模型参数的直接污染，使得最终对外服务的模型 $\theta_t$ 在任务边界发生分布剧变时依然展现出高度连续的动力学轨迹。

3. 隐式 Tikhonov 正则化 Hessian 逆近似：理论联立曲率阻尼机制

通过对插值梯度进行一阶泰勒展开，并结合参数差值向量 $d_t = \phi_t - \theta_t$ 在训练过程中的准稳态假设（Quasi-Steady State, QSS，即 $d_{t+1} \approx d_t$），推导可得稳定性参数序列 $\theta_t$ 的等效更新动力学形式为： $$\theta_{t+1} - \theta_t \approx -\gamma [I + \rho_t H_t]^{-1} \nabla \mathcal{L}_t(\theta_t)$$ 其中 $H_t = \nabla^2 \mathcal{L}_t(\theta_t)$ 为当前损失的局部Hessian矩阵，等效阻尼标量 $\rho_t = \frac{\gamma(1-\alpha)(1-\beta)}{\alpha} \ge 0$。该解析式揭示了SPIN与经典持续学习理论的深层统一：它在无需显式计算或存储昂贵二阶导数的前提下，隐式实现了类似EWC正则化和La-MAML元学习的逆Hessian预条件变换 $[I + \rho_t H_t]^{-1}$。其中的单位矩阵 $I$ 充当了自然的 Tikhonov 正则化基底（floor），有效抑制了单样本局部Hessian在低曲率方向上的病态奇异扰动，从而自适应地稳固旧任务流形。

实验关键数据¶

主实验¶

论文在 Split CIFAR-100（10个任务，回放内存 $M=2\text{k}$）与 Split Tiny-ImageNet（20个任务，回放内存 $M=5\text{k}$）上，将 SPIN 插入到 11 种顶尖 OCL 基线方法中，与 4 种通用优化器（SGD、RMSprop、Adam、AdamW）进行全面对比评测。骨干网络采用标准的 ResNet-18，评价指标为最终平均准确率（Acc, %）与全流程平均任意时刻准确率（AAA, %）。

基线方法 (Split CIFAR-100)	SGD	SPIN-SGD (本文)	AdamW	SPIN-AdamW (本文)	相对AdamW提升
ER (2019)	27.94	33.31	33.07	35.92	+2.85
DER++ (2020)	26.10	35.90	31.11	36.06	+4.95
COPE (2021)	30.81	34.18	33.55	35.63	+2.08
SCR (2021)	29.82	31.53	31.32	32.86	+1.54
ER-ACE (2022)	28.54	36.14	34.77	37.02	+2.25
OCM (2022)	33.21	36.06	37.45	40.15	+2.70
OnPro (2023)	32.44	34.35	34.25	36.61	+2.36
GSA (2023)	33.25	36.79	36.53	37.73	+1.20
MOSE (2024)	44.18	47.18	46.95	48.33	+1.38
CCL-DC (2024)	38.80	41.74	43.99	45.68	+1.69
S6MOD (2025)	34.12	34.81	35.55	37.37	+1.82
平均 (11种方法)	32.66	36.54 (+3.88)	36.23	38.49	+2.26

在更加复杂的 Split Tiny-ImageNet（20 tasks）上，11 种基线的平均 Acc 指标表现为：SGD 为 21.25%，SPIN-SGD 跃升至 23.95%（+2.70%）；AdamW 为 24.95%，SPIN-AdamW 提升至 26.56%（+1.61%）。在全过程 AAA 指标上，CIFAR-100 上 SPIN-SGD 相比 SGD 平均提高 4.99%（41.86% $\to$ 46.85%），SPIN-AdamW 相比 AdamW 平均提高 4.65%（45.10% $\to$ 49.75%），充分验证了其对持续学习中间过程稳定性的强力支撑。

消融实验与极值分析¶

论文针对同步系数 $\alpha$ 与插值系数 $\beta$ 的边界退化情形在 GSA 基线（CIFAR-100, $M=1\text{k}$）上进行了消融分析，明确了双序列插值耦合不可替代的理论必然性。

优化器配置	物理退化含义	最终准确率 Acc (%)	过程准确率 AAA (%)	相对完整SPIN说明
SPIN 完整模型 ($\alpha=\beta=0.05$)	双序列参数空间插值耦合	32.20	42.39	达到最优稳定性-可塑性折中
SPIN ($\alpha = 0$)	稳定性序列不更新，优化崩溃	1.04	2.93	参数锁定无法学习任何新任务
SPIN ($\alpha = 1$)	退化为标准单序列优化器	27.52	37.70	失去双序列平滑，大幅受制于遗忘
SPIN ($\beta = 1$)	完全在慢变稳定性序列求导	22.30	30.63	过于保守，新任务可塑性严重受阻
SPIN ($\beta = 0$)	退化为传统后验 EMA 机制	31.34	40.28	证明插值评估点优于单纯时序平均
标准 AdamW 基线	无插值、无稳定滤波	27.84	39.53	对比完整 SPIN 下跌 4.36% Acc

在严苛等显存预算对照中，SPIN-SGD 仅占用 240.75 MB 显存（与 SGD+EMA 相当，明显低于 AdamW 的 267.58 MB），每步耗时仅 1.13 ms。当将 SGD 的重放缓冲区扩容至 30k 以严格对齐 SPIN-SGD 额外参数状态（15k 缓冲区）的显存占用时，SPIN（15k 内存）的最终 Acc 达到 48.46%、AAA 达到 55.67%，依然显著超越拥有 30k 大缓冲区的 SGD（Acc 46.93%, AAA 51.97%），排除了“增益仅仅来自增加优化器状态”的疑虑。

关键发现¶

正交兼容性极强：SPIN不改变任何上层算法的损失构造或样本采样逻辑，对纯回放类（ER, DER++）、表征约束类（ER-ACE, GSA）、状态空间模型类（S6MOD）乃至无回放方法（On-EWC, SI）均带来普适的单调增益。
参数空间插值显著优于梯度空间加权：相比在快慢两套权重分别计算梯度再融合的方案，参数空间单点评估不仅减少了一半的计算开销（避免双前向-反向传递），而且在持续学习非平稳流中维持了更加连续一致的梯度流形。
无回放设定下内生抵抗遗忘：在无任何重放缓冲区的严格无回放场景下，仅靠 SPIN 优化器动态本身，在 CIFAR-100 上取得 15.60% AAA，直接超越了依赖显式 Fisher 信息惩罚的 On-EWC（13.35%）和突触智能度量 SI（12.32%）。

亮点与洞察¶

优化视角对持续学习困境的深刻重构：敏锐地揭示了 Polyak-Ruppert 平均（快速演化点求导）对应“高可塑性/低稳定性”与 Primal 平均（慢速平均点求导）对应“低可塑性/高稳定性”的本质联系，为持续学习困境找到了纯优化理论层面的映射解释。
以一阶计算隐式诱导二阶 Hessian 阻尼：巧妙利用 Taylor 展开与准稳态近似证明了双序列插值在宏观上等价于带 Tikhonov 正则化项 $[I + \rho_t H_t]^{-1}$ 的曲率感知预条件，不增加二阶计算开销却天然阻尼了单样本噪声奇异曲率。
普适可迁移的底层即插即用特性：摆脱了上层复杂 trick 的繁复调参，仅需引入两个极小标量超参（$\alpha=\beta=0.05$）即可在不同会议、不同数据集、不同网络与任务流上保持一致优异表现。

局限与展望¶

理论近似的理想化假设：理论推导依赖于损失的光滑性假设与参数差值向量的准稳态逼近（QSS），在深度过参数化大模型复杂的非凸损失曲面和剧烈的非线性跳跃中可能存在局部偏差。
额外参数存储开销：双序列机制需要维护一套额外的模型权重备份，对于显存极端受限的边缘嵌入式芯片或数十亿参数的大型基础模型（LLM/MLLM），会带来额外的优化器内存压力。
大规模预训练模型适配待探索：目前评测主要聚焦于从头训练的卷积网络（ResNet-18），未来结合预训练视觉骨干（如 ViT、CLIP）进行流式参数高效微调（LoRA、Prompt Tuning）时的动态特性仍需深入验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次将底层数值优化器设计独立作为 OCL 核心突破口，理论形式优美且深刻揭示了与正则化二阶曲率的等价性]
实验充分度: ⭐⭐⭐⭐⭐ [横跨 11 种顶尖 OCL 框架、4 种通用优化器、4 个基准数据集以及严苛等内存与无回放消融，证据坚实全面]
写作质量: ⭐⭐⭐⭐⭐ [从经典随机优化平均理论平滑引入，数学推导与实验论证严丝合缝，逻辑闭环完整]
价值: ⭐⭐⭐⭐⭐ [通用且即插即用的优化器设计极大拓宽了持续学习的落地空间，对流式在线学习领域具有基石性参考意义]

优化器配置	物理退化含义	最终准确率 Acc (%)	过程准确率 AAA (%)	相对完整SPIN说明
SPIN 完整模型 (\(\alpha=\beta=0.05\))	双序列参数空间插值耦合	32.20	42.39	达到最优稳定性-可塑性折中
SPIN (\(\alpha = 0\))	稳定性序列不更新，优化崩溃	1.04	2.93	参数锁定无法学习任何新任务
SPIN (\(\alpha = 1\))	退化为标准单序列优化器	27.52	37.70	失去双序列平滑，大幅受制于遗忘
SPIN (\(\beta = 1\))	完全在慢变稳定性序列求导	22.30	30.63	过于保守，新任务可塑性严重受阻
SPIN (\(\beta = 0\))	退化为传统后验 EMA 机制	31.34	40.28	证明插值评估点优于单纯时序平均
标准 AdamW 基线	无插值、无稳定滤波	27.84	39.53	对比完整 SPIN 下跌 4.36% Acc