FOGO: Forgetting-aware Orthogonalization Optimizer¶

会议: NeurIPS 2026
arXiv: 2606.10406
论文: https://arxiv.org/abs/2606.10406
领域: 安全
关键词: 灾难性遗忘、正交优化器、随机投影、梯度冲突消除、持续学习

一句话总结¶

将遗忘重新诠释为小批量优化中主导梯度持续压制稀疏更新方向的通用优化缺陷，提出结合谱正交化动量与紧凑随机投影梯度码本记忆的优化器 FOGO，无需缓存原始样本即可在每一步消除短期与长期梯度冲突。

研究背景与动机¶

深度学习在视觉、自然语言与多模态表征任务中取得了瞩目成就，但其主导训练范式在面对需要长期积累与保留知识的动态场景时仍显脆弱。人类能够自然地在新经历中吸收增量知识而不覆盖旧记忆；而依赖平稳假设训练的深度神经网络在面对数据分布漂移时极易产生灾难性遗忘。长期以来，持续学习（Continual Learning）一直被作为一个割裂于标准训练的独立领域来研究，发展出了专有基准、经验重放机制与参数正则化策略，但遗忘的优化底层根源始终缺乏统一解释。

梯度干扰分析表明，遗忘本质上源于新知识参数更新对先验知识敏感子空间的强行覆盖。然而，学术界普遍将该现象局限于任务边界明确的序列场景。本文进一步推进一步，指出遗忘并非持续学习独有的病态现象，而是随机优化本身的固有缺陷：在标准单任务训练中，处于主导地位的大批量样本梯度会持续压制低频但有价值的更新方向，导致每一步优化都在发生“短期遗忘”；当这些低频信息长期无法被周期性重采样加固时，短期损失便逐步累积转化为经典持续学习中的“长期遗忘”。在类不平衡 CIFAR-10 上的探针实验清晰验证了该机制——主导类梯度与稀疏类梯度在全训练周期内保持负余弦相似度，导致稀疏类的验证损失在每步更新后反复劣化。

这一统一认知意味着对抗遗忘无需依赖昂贵的数据缓存回放或笨重的全秩梯度分解，而应当在优化器层面建立通用的冲突消解机制。现有的矩阵感知优化器（如 Muon、Shampoo）虽能通过动量奇异谱正交化提升弱模态更新权重，但由于缺乏历史几何记忆，后续梯度依然会轻易擦除关键特征方向。本文的核心 idea 是：将标准训练与持续学习统一为梯度干扰消解过程，设计双流谱正交化提取快慢动力学，并通过保距随机投影构建紧凑的梯度码本在线记忆，在投影空间实现近正交角带自适应滤波与长效正交约束，以极低开销实现无数据回放的抗遗忘优化。

方法详解¶

整体框架¶

FOGO 的运行流水线由多尺度动量正交化、紧凑降维投影、球面流形测地线融合、在线码本冲突消解及近端提升映射五个核心模块串联而成。输入为当前优化步的小批量经验损失梯度矩阵 $G_t \in \mathbb{R}^{m \times n}$。系统首先分别维护捕获长效稳态与敏捷瞬态的快慢双流动量，利用 Newton-Schulz 迭代进行谱正交化，并经由固定的 Rademacher 随机矩阵降维至低维空间 $\mathbb{R}^d$；接着，在行向量级别执行球面流形测地线插值（Slerp）完成快慢融合；融合向量作为查询与在线维护的单位球面码本做余弦聚类并更新指数移动平均统计量；随后，通过短期角带滤波自适应剥离高重叠与强冲突分量，并在跨任务持续学习中追加长期冻结聚类中心的近正交投影约束；最终，通过求解强凸逆问题的闭式解将投影空间修正量近端提升回高维参数空间，生成最终的无干扰更新量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入小批量梯度 Gt"] --> B["双流谱正交化与随机降维<br/>快慢动量 Newton-Schulz 与 Rademacher 投影"]
    B --> C["球面测地线融合<br/>行级别 Slerp 平滑插值"]
    C --> D["在线球面码本维护<br/>余弦聚类与解相关重播种"]
    D --> E["双尺度角带冲突消解<br/>短期自适应去冲突与长期正交投影"]
    E --> F["闭式近端逆提升与参数更新<br/>低维逆矩阵恢复最小扰动高维更新"]

关键设计¶

1. 双流谱正交化与随机降维：剥离主导模态并构建低维几何表征

传统随机梯度下降极易被方差过大的主导子空间绑架。为平衡不同特征方向的更新能量并兼顾稳健性与适应性，FOGO 维持两个不同衰减率的一阶动量矩阵：慢流 $B_t^{(s)} = \mu_s B_{t-1}^{(s)} + G_t$ 与快流 $B_t^{(f)} = \mu_f B_{t-1}^{(f)} + G_t$（其中 $\mu_s > \mu_f$）。利用 Newton-Schulz 迭代分别计算其极分解因子 $O_t^{(s)}$ 与 $O_t^{(f)}$，将奇异值谱拉平为全 1，强制弱模态与强模态更新获得均等几何步长。为解决高维参数空间下全量梯度存储带来的显存爆炸问题，算法引入固定 Rademacher 随机投影矩阵 $\Pi \in \mathbb{R}^{n \times d}$（元素均匀分布于 $\{-1, 1\}$，列归一化 $1/\sqrt{d}$，且 $d \ll n$），将正交化后的更新量映射到低维特征空间： $$ P_t^{(s)} = O_t^{(s)} \Pi \in \mathbb{R}^{m \times d}, \quad P_t^{(f)} = O_t^{(f)} \Pi \in \mathbb{R}^{m \times d} $$ 基于 Johnson-Lindenstrauss 引理，只要投影维度 $d = \mathcal{O}(\epsilon^{-2} \log N)$，该变换在极大概率下能以 $(1 \pm \epsilon)$ 的失真度保真地保留行向量之间的成对距离与内积几何结构，使得全量参数梯度的干扰检测可完全转化为低维几何运算。

2. 球面测地线融合：保持塑性并平衡快慢演化

单纯依赖慢速动量会导致模型对新分布反应迟钝，而仅靠快速动量则会被瞬时噪声扰动。FOGO 在降维空间 $\mathbb{R}^d$ 内对每一行 $i$ 实施基于单位球面的测地线球面线性插值（Slerp）。记归一化方向向量为 $\bar{p}_{t,i}^{(s)} = P_{t,i}^{(s)} / (\|P_{t,i}^{(s)}\|_2 + \varepsilon)$ 与 $\bar{p}_{t,i}^{(f)} = P_{t,i}^{(f)} / (\|P_{t,i}^{(f)}\|_2 + \varepsilon)$，夹角为 $\theta_{t,i} = \arccos(\text{clip}(\langle \bar{p}_{t,i}^{(f)}, \bar{p}_{t,i}^{(s)} \rangle, -1+\varepsilon, 1-\varepsilon))$。两者的正交切线方向由 Gram-Schmidt 正交化构造： $$ v_{t,i} = \frac{\bar{p}{t,i}^{(f)} - \langle \bar{p}}^{(f)}, \bar{p{t,i}^{(s)} \rangle \bar{p}}^{(s)}}{|\bar{p{t,i}^{(f)} - \langle \bar{p}}^{(f)}, \bar{p{t,i}^{(s)} \rangle \bar{p} $$ 插值方向 }^{(s)}|_2 + \varepsilon$z_{t,i}' = \cos(\xi \theta_{t,i}) \bar{p}_{t,i}^{(s)} + \sin(\xi \theta_{t,i}) v_{t,i}$ 将慢流基准沿大圆测地线向快流旋转比例 $\xi$，最后以慢流范数复原尺度 $z_{t,i} = \|P_{t,i}^{(s)}\|_2 z_{t,i}'$。此机制确保更新方向具备高频敏捷性的同时，幅值依然锚定于稳定的长周期能量水平。

3. 在线球面码本维护：在线聚类与防坍塌机制

为了在优化过程中无状态地记录具有代表性的历史有效更新方向，FOGO 维持一个包含 $C$ 个单位向量的球面码本 $\mathcal{C}_t = \{c_{t,1}, \dots, c_{t,C}\} \subset \mathbb{R}^d$。每个归一化查询向量 $q_{t,i} = z_{t,i} / (\|z_{t,i}\|_2 + \varepsilon)$ 通过最大余弦相似度分配给最近的聚类中心 $a_{t,i}^{\text{mem}} = \arg\max_j \langle q_{t,i}, \bar{c}_{t-1,j} \rangle$。码本通过衰减因子 $\beta_{\text{cb}}$ 累积统计质量与加权方向和，形成临时聚类中心 $\tilde{c}_{t,j}$。为了防止码本出现表征冗余或多个槽位退化坍塌为同一方向，算法识别与当前候选中心最相关的 Top-$R$ 个旧中心 $\mathcal{R}_{t,j}$，显式减去共线性投影分量： $$ c_{t,j} = \frac{\tilde{c}{t,j} - \lambda_c \sum{t,j}} \langle \hat{c}}, \bar{c{t-1,\ell} \rangle \bar{c}}}{|\tilde{c{t,j} - \lambda_c \sum{t,j}} \langle \hat{c}}, \bar{c{t-1,\ell} \rangle \bar{c} $$ 此外，系统对分配频次持续低于阈值的休眠槽位周期性执行随机查询向量重播种（Re-seeding），保证码本始终紧凑且高覆盖度地表达当前任务的动态梯度流形。}|_2 + \varepsilon

4. 双尺度角带冲突消解：短期滤波与长期正交投影

针对短期与长期遗忘的不同成因，FOGO 实施双阶段梯度几何过滤。在单任务短期视角下，频繁强化极度重合的方向会加剧局部塌缩，而与历史方向产生钝角冲突则直接覆写历史参数记忆。算法根据余弦阈值 $\epsilon_{\text{st}}$ 将活跃聚类中心划分为过共线集 $\mathcal{H}_{t,i}^{\text{st}}$ 与冲突集 $\mathcal{C}_{t,i}^{\text{st}}$，通过 Softmax 归一化注意力权重生成对应的修正分量： $$ \tilde{z}{t,i} = z $$ 其中过共线缩减系数 } - \gamma_{\text{hi}} z_{t,i}^{\text{hi}} - \gamma_{\text{st},t} z_{t,i}^{\text{conf}$\gamma_{\text{hi}}$ 设为极小值以起到轻度探索正则化作用，而冲突惩罚系数 $\gamma_{\text{st},t}$ 则根据全批次落入危险角带外的能量比例通过滑动平均自适应放大。在跨任务长期学习阶段，已完结任务的关键中心被冻结并赋予重要性权重 $\nu_{\mathcal{T}_\tau,k}$；当前步更新凡与敏感旧方向夹角超过严格门限 $\epsilon_{\text{lt}} < \epsilon_{\text{st}}$，均被强制减去正交投影重叠分量，严格封堵对先验敏感方向的侵害。

5. 闭式近端逆提升与参数更新：极小扰动高维重构

修正量是在低维空间 $\mathbb{R}^d$ 中计算的，而参数更新必须作用于原始高维空间 $\mathbb{R}^n$。由于随机投影矩阵 $\Pi$ 并非正方可逆矩阵，FOGO 构造了一个寻找与低维目标增量 $\Delta z_{t,i} = \bar{z}_{t,i} - P_{t,i}^{(s)}$ 最相吻合的高维极小范数微调矩阵的近端最小二乘优化问题： $$ \delta_{t,i}^{\text{prox}} = \arg\min_{\delta \in \mathbb{R}^n} \left{ \frac{1}{2} |\delta|2^2 + \lambda |\Pi^\top \delta - \Delta z|2^2 \right} $$ 利用 Woodbury 矩阵恒等式，原本需要对高维矩阵求逆的操作被精确转化为预计算低维核矩阵 $M = \Pi^\top \Pi \in \mathbb{R}^{d \times d}$ 的 $d \times d$ 阶求逆： $$ u $$ 将各行提升结果拼接为原始形状矩阵并与慢流基准更新叠加 }^{\text{prox}} = (I + 2\lambda M)^{-1} (2\lambda \Delta z_{t,i}), \qquad \delta_{t,i}^{\text{prox}} = \Pi u_{t,i}^{\text{prox}$\hat{O}_t = O_t^{(s)} + \delta_t^{\text{prox}}$，最终参数按照尺度归一化步长与解耦权重衰减执行更新：$\theta_t = (1 - \eta \cdot \text{wd}) \theta_{t-1} - \eta \gamma_t \hat{O}_t$。

实验关键数据¶

主实验¶

论文在四类跨度极大的挑战性任务上验证了 FOGO：类不平衡 CIFAR-10 图像分类、PACS 领域增量持续学习（Domain-IL）、LLaVA-1.5-7B 多模态视觉问答持续微调，以及 GPT-2 语言模型从头预训练。实验全面对比了经典一阶优化器 Adam/AdamW、矩阵正交优化器 Muon、可塑性恢复方法（CBP、FIRE）以及专用持续学习框架（CL-MoE、LoRAMoE、DER++、EWC、UPGD）。

在 PACS 领域增量学习基准上（ResNet-18，4 个领域，7 个共享类别），FOGO 在无数据重放（Replay-Free）和经验重放（ER）两种典型设定下均大幅超越基线。

范式 / 机制	持续学习方法	优化器	附加记忆类型	记忆占用 (MB) $\downarrow$	训练耗时 (min) $\downarrow$	平均性能 AP (%) $\uparrow$	平均遗忘 AF (%) $\downarrow$
无数据重放	无 (None)	Adam	无	<0.1	7.49	$83.34 \pm 1.65$	$15.45 \pm 3.85$
无数据重放	无 (None)	Muon	无	<0.1	8.15	$87.81 \pm 1.70$	$9.44 \pm 3.07$
无数据重放	无 (None)	CBP	无	<0.1	12.10	$82.78 \pm 1.96$	$15.94 \pm 4.18$
无数据重放	无 (None)	FIRE	无	<0.1	11.14	$75.94 \pm 2.34$	$20.98 \pm 5.54$
无数据重放	无 (None)	FOGO (本文)	码本中心 (Centroids)	0.55	9.84	87.89 $\pm$ 2.94	6.77 $\pm$ 2.31
经验重放	ER (Buffer=100)	Adam	样本缓存 (Buffer)	57.4	8.21	$87.50 \pm 1.06$	$9.81 \pm 1.62$
经验重放	ER (Buffer=100)	Muon	样本缓存 (Buffer)	57.4	8.88	$89.20 \pm 1.91$	$7.56 \pm 0.90$
经验重放	ER (Buffer=100)	CBP	样本缓存 (Buffer)	57.4	13.60	$84.77 \pm 4.05$	$13.01 \pm 5.70$
经验重放	ER (Buffer=100)	FIRE	样本缓存 (Buffer)	57.4	11.52	$82.79 \pm 2.31$	$13.36 \pm 0.97$
经验重放	ER (Buffer=100)	FOGO (本文)	缓存 + 码本中心	58.0	10.44	90.24 $\pm$ 3.13	4.21 $\pm$ 0.85

在 7B 规模大语言多模态模型 LLaVA-1.5 的持续微调任务中（VQA v2 派生的 10 种连续视觉推理技能，采用 LoRAMoE 架构），FOGO 展现了优秀的参数隔离与防遗忘能力，显著刷新了该基准的最优表现。

架构与优化器配置	识别 Rec.	定位 Loc.	判断 Jud.	常识 Com.	计数 Cou.	动作 Act.	颜色 Col.	类型 Typ.	子类 Sub.	因果 Cau.	平均性能 AP (%) $\uparrow$	累积遗忘 SF (%) $\downarrow$
CL-MoE (SOTA 基线)	55.74	41.74	80.39	76.77	49.47	75.41	73.56	63.17	61.03	30.41	60.77	17.70
LoRAMoE + AdamW	55.88	41.45	80.64	76.45	48.90	75.48	73.36	62.68	61.97	29.95	60.68	18.12
LoRAMoE + Muon	57.72	41.31	80.48	76.77	48.88	76.04	73.73	63.25	61.35	29.03	60.86	17.39
LoRAMoE + FOGO (本文)	57.72	41.60	82.95	79.95	52.91	77.83	75.56	63.91	62.72	29.85	62.50	7.14

消融实验与分析¶

在 PACS 领域增量学习设定下对短期角带滤波（ST Filtering）与长期保护机制进行剥离分析，同时考察其结合传统持续学习机制（EWC 正则与 DER++ 知识蒸馏重放）的增益：

评估配置 / 组合策略	核心组件状态	AP (%) $\uparrow$	AF (%) $\downarrow$	关键机制与实验结论
FOGO (PACS Domain-IL 纯净版)	完整模型（ST + LT 保护）	87.89 $\pm$ 2.94	6.77 $\pm$ 2.31	兼顾局部梯度的去共线正则与跨任务方向保护
w/o 短期角带滤波 (ST Disabled)	仅保留长期正交冻结保护	$87.37 \pm 4.23$	$6.90 \pm 2.48$	AP 下降 0.52%，遗忘率轻微恶化，证明短期去冲突可稳定局部轨迹
EWC + Adam	Fisher 矩阵对角二次正则	$83.94 \pm 4.26$	$13.90 \pm 6.59$	传统权重空间二次惩罚无法防御子空间几何漂移
EWC + Muon	动量谱正交化 + EWC	$88.57 \pm 2.05$	$7.93 \pm 2.65$	动量谱正交化平衡更新幅度，缓解部分衰减
EWC + FOGO	优化器码本记忆 + EWC	88.81 $\pm$ 3.02	6.26 $\pm$ 2.01	相比 EWC+Adam 遗忘率骤降 7.64%，证明方向记忆与损失曲率正则正交互补
DER++ + Adam	样本缓存 + Logits 蒸馏	$92.21 \pm 1.18$	$4.51 \pm 0.64$	经典重放结合蒸馏提供强基线
DER++ + FOGO	样本重放 + 优化器码本保护	92.91 $\pm$ 2.07	2.60 $\pm$ 1.16	遗忘率从 4.51% 进一步压降至 2.60%，实现双重安全防护

关键发现¶

无数据超越有数据：在 PACS 领域增量任务中，完全不保存任何图像样本的 FOGO（仅占用 0.55MB 码本存储）取得了 87.89% 的 AP 与 6.77% 的遗忘率，其综合表现一举超越了缓存 57.4MB 真实样本的 ER + Adam（87.50% AP / 9.81% AF），彻底颠覆了“持续学习必须依赖数据重放”的固有范式。
大幅斩断多模态专家遗忘：在 7B 参数规模的 LLaVA-1.5 LoRAMoE 持续学习中，基线 AdamW 和 Muon 的累积遗忘率分别高达 18.12% 和 17.39%，而 FOGO 强势将总遗忘斩断到 7.14%（降幅超过 10 个百分点），同时在 10 项推理子任务中的 8 项取得绝对最高准确率。
随机投影高保真保留梯度几何：在 CIFAR-10 实测中，仅 $d=128$ 维度的 Rademacher 随机投影即可在全训练周期内保持 Pearson 相关系数 $r > 0.90$ 以及约 89% 的正负号判定保真度；且主导类与稀疏类的投影几何保真度完全对称，确立了降维操作的无偏性。
兼顾大规模预训练收敛加速：在从头预训练 1.25 亿参数 GPT-2 的大规模场景中（OpenWebText，492 亿 Token），FOGO 在前 3 万步的验证集损失下降速度显著凌驾于 Adam 和 Muon 之上，表明短时梯度冲突消除对单任务非平稳分布的大模型预训练同样具有显著加速效能。

亮点与洞察¶

将遗忘形式化为普适的优化干扰现象：打破了“遗忘仅存在于持续学习”的认知局限，用主导子空间能量压制定理（Theorem 1）与收缩界（Corollary 5）从数学上阐明了小批量 SGD 压制低频样本梯度的机理，为无边界终身学习提供了优化器级的统一底座。
优化器维度的极低开销无数据记忆：借鉴 Johnson-Lindenstrauss 投影原理，将参数维度巨大的梯度方向压缩至低维固定内积空间，通过 $O(md^2)$ 复杂度的近端最小二乘闭式解直接重构无冲突参数增量，兼具理论严谨性与工业部署可行性。
快慢双流与测地线平滑设计的通用价值：将动量分解为长期基准流与敏捷响应流并在球面流形上做 Slerp 融合，成功解决了正交优化器在非平稳环境下的瞬态适应迟钝问题，该设计可直接泛化到强化学习策略更新与在线多任务对齐场景中。

局限与展望¶

超参数结构较为精细：涉及快慢动量衰减因子、高低维近端系数 $\lambda$、角带阈值 $\epsilon_{\text{st}}, \epsilon_{\text{lt}}$ 以及码本容量等多个超参，在不同网络骨干与任务拓扑切换时仍需依赖先验网格调优。
计算开销略高于单一流 Muon：由于快慢双流均需要运行 Newton-Schulz 迭代求逆，虽然内存占用与通信开销可控，但在矩阵层规模极大时每步计算的 FLOPs 约为 Muon 的 2 倍（在 GPT-2 预训练中耗时增加约 8.3%）。
未来方向：作者指出可探索码本容量的动态自适应弹性伸缩、无需显式任务边界通知的完全连续流式学习（Boundary-Free Lifelong Learning），以及基于梯度的聚类中心自动重要性分配机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙建立谱正交化与低维随机投影码本的结合，首次在优化器底层打通单任务局部遗忘与终身学习长期遗忘的统一理论。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖从类不平衡玩具实验、领域增量小模型，到 7B LLaVA-1.5 多模态微调与 1.25 亿 GPT-2 从头预训练，实验维度全面且证据链严密。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰（涵盖算子收缩证明与近端解析展开），机制动机阐述生动，图表表达专业准确。
价值: ⭐⭐⭐⭐⭐ 摆脱样本重放的优化器级抗遗忘范式具备巨大的实际落地价值，尤其对边缘端增量学习与私有大模型微调提供了极为轻量的路线。

评估配置 / 组合策略	核心组件状态	AP (%) \(\uparrow\)	AF (%) \(\downarrow\)	关键机制与实验结论
FOGO (PACS Domain-IL 纯净版)	完整模型（ST + LT 保护）	87.89 \(\pm\) 2.94	6.77 \(\pm\) 2.31	兼顾局部梯度的去共线正则与跨任务方向保护
w/o 短期角带滤波 (ST Disabled)	仅保留长期正交冻结保护	\(87.37 \pm 4.23\)	\(6.90 \pm 2.48\)	AP 下降 0.52%，遗忘率轻微恶化，证明短期去冲突可稳定局部轨迹
EWC + Adam	Fisher 矩阵对角二次正则	\(83.94 \pm 4.26\)	\(13.90 \pm 6.59\)	传统权重空间二次惩罚无法防御子空间几何漂移
EWC + Muon	动量谱正交化 + EWC	\(88.57 \pm 2.05\)	\(7.93 \pm 2.65\)	动量谱正交化平衡更新幅度，缓解部分衰减
EWC + FOGO	优化器码本记忆 + EWC	88.81 \(\pm\) 3.02	6.26 \(\pm\) 2.01	相比 EWC+Adam 遗忘率骤降 7.64%，证明方向记忆与损失曲率正则正交互补
DER++ + Adam	样本缓存 + Logits 蒸馏	\(92.21 \pm 1.18\)	\(4.51 \pm 0.64\)	经典重放结合蒸馏提供强基线
DER++ + FOGO	样本重放 + 优化器码本保护	92.91 \(\pm\) 2.07	2.60 \(\pm\) 1.16	遗忘率从 4.51% 进一步压降至 2.60%，实现双重安全防护