InTAct: Interval-based Task Activation Consolidation for Continual Learning¶
会议: NeurIPS 2026
arXiv: 2511.17439
代码: https://github.com/pkrukowski1/PromptInTAct
领域: 大模型安全
关键词: 持续学习, 区间算术, 激活整合, 提示学习, 灾难性遗忘
一句话总结¶
InTAct 通过在神经元激活空间构建表征历史任务的分位数超立方体,并利用区间算术推导最坏情况输出漂移上界施加正则化,在无需样本回放和参数锁定的前提下为持续学习提供了函数级不变性数学保障。
研究背景与动机¶
持续学习(Continual Learning)的核心目标是在学习新任务的同时保留旧知识,平衡系统的稳定性(Stability)与可塑性(Plasticity)。然而,深度神经网络在顺序适配非平稳数据分布时,其深层特征往往会发生剧烈的表征漂移,导致旧任务性能灾难性衰减。以往的经典方法主要沿三条路径演进:基于回放的方法依赖存储历史样本或生成伪样本,带来了难以承受的内存开销与严重的隐私泄露风险;参数隔离方法为各任务分配独立子网络,但推断时往往强依赖显式任务标识符;以 EWC、SI、MAS 为代表的参数正则化方法则通过对权重施加二阶重要性惩罚来抑制参数更新。然而,保持权重固定仅仅是维持模型功能稳定的粗糙代理,在高维参数空间限制权重更新不仅计算繁琐,而且微小的参数扰动仍可能在前向传播中放大为破坏性的输出漂移。
近年来,以 L2P、DualPrompt、CODA-Prompt 为代表的基于提示(Prompt-based)的持续学习范式兴起,它们通过冻结预训练骨干网络(如 ViT)、仅优化轻量级提示池与分类头来降低遗忘。但在任务边界模糊的领域增量学习(Domain-Incremental Learning, DIL)中,测试阶段无法获取任务 ID,共享的提示检索键和分类头仍会随领域分布迁移而产生不可避免的漂移。与此同时,极少数尝试引入区间算术(Interval Arithmetic, IA)为抗遗忘提供形式化数学保证的方案(如 InterContiNet、HINT),均将区间分析置于高维权重空间或依赖超网络生成,多层深层网络的区间逐层传播会引发严重的“包裹效应”(Wrapping Effect),导致区间边界呈指数级膨胀而退化失效。
面对这一两难困境,本文改变了在参数空间死磕刚性约束的思路,转向在低维内部激活信号层面寻求函数稳定性的形式化保障。既然模型的外部行为由激活输出直接决定,那么只要旧任务数据激活落入的特征子空间内的输出映射保持不变,参数本身就可以享有充分的自适应自由度。核心 idea:在神经元激活空间为历史任务构建紧凑的分位数超立方体几何边界,利用区间算术推导出分类头在全超立方体内的最坏情况输出漂移闭式上界并将其正则化清零,同时结合区域选择性提示蒸馏与特征紧凑化,在常数内存复杂度下实现兼具形式化数学保障的高效持续学习。
方法详解¶
整体框架¶
InTAct 专为骨干网络冻结、仅训练提示池与分类头的持续学习架构(如 ViT 配合 CODA-Prompt)设计,旨在同时保护共享分类头与提示提取的稳定性。系统在输入样本进入冻结编码器前,通过内容检索匹配可学习提示向量,提取最终的分类汇总表征([CLS] token),并由分类头映射至类别预测 logits。
在每个任务训练阶段,InTAct 联合优化分类交叉熵、特征紧凑性损失以及历史保护损失;而在任务结束时,InTAct 执行轻量级统计推断,提取该任务神经元激活的分位数边界,并将其并入全局累积超立方体中常驻内存。整个流水线包含激活区间提取与累积、最坏情况漂移约束、区域选择性提示蒸馏以及特征几何紧凑化四个协同模块。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入数据流 x"] --> B["提示检索与骨干前向<br/>Query Prompts + Frozen ViT"]
B --> C["汇总表征 z [CLS] Token"]
C --> D["特征结构化约束<br/>方差压缩与中心对齐"]
C --> E["共享分类头预测 logits"]
D --> E
E --> F["最坏情况输出漂移约束<br/>区间算术闭式上界清零"]
C --> G["区间门控特征稳定性蒸馏<br/>Teacher-Student 特征锚定"]
F --> H["后处理:分位数超立方体更新<br/>O(1) 累积凸包聚合"]
G --> H
关键设计¶
1. 分位数激活区间与 O(1) 累积超立方体构建:建立抗离群点的几何安全区
为了摆脱回放缓冲区对原始图像的依赖,InTAct 在特征层级为每个任务建立紧凑的几何抽象。对于选定层(如 [CLS] token 或分类头隐藏层)输出的 \(d\) 维特征向量 \(\mathbf{x}_t \in \mathbb{R}^d\),单纯使用极值计算边界极易受到离群噪点干扰而使安全区虚假膨胀。为此,InTAct 采用双侧分位数统计截断,保留中心 \(p\%\) 的核心激活分布,设定尾部过滤阈值 \(\alpha = \frac{100-p}{2}\%\)。在任务 \(t\) 训练结束将数据移出内存前,执行一次前向推断,计算每个神经元 \(j\) 的上下界: $\(\mathcal{H}_t[j] = \big[\,\underline{x}_t[j],\,\overline{x}_t[j]\,\big]\)$ 其中 \(\underline{x}\) 与 \(\overline{x}\) 分别代表该神经元激活的第 \(\alpha\) 和第 \((100-\alpha)\) 分位数。所有神经元区间构成了表征该任务的高维正交超立方体。为了在无需保留历史任务区间列表的情况下防遗忘,系统在全局仅维护一个累积超立方体 \(\mathcal{H}^{(\leq t)}\)。当完成任务 \(t\) 时,通过逐维取极值执行凸包扩张: $\(\mathcal{H}^{(\leq t)} = \Big[\min\big(\underline{x}^{(t-1)},\underline{x}_t\big),\,\max\big(\overline{x}^{(t-1)},\overline{x}_t\big)\Big]\)$ 该操作等价于求取覆盖所有历史表征的最小外接超立方体,无论任务序列持续增长至多少个,内存占用均恒定为 \(O(d)\),彻底杜绝了随任务增加而线性增长的存储开销。
2. 基于区间算术的最坏情况输出漂移正则化:以闭式上界实现全区域函数不变性
分类头参数从 \(\{W, b\}\) 更新为 \(\{W+\Delta W, b+\Delta b\}\) 时,直接保证采样点无漂移存在大量未采样盲区。由于历史超立方体包含无限个潜在潜变量 \(\mathbf{z} \in \mathcal{H}^{(\leq t-1)} = [\underline{\mathbf{z}}, \overline{\mathbf{z}}]\),InTAct 运用区间算术推导分类头在整个几何区域内的最坏情况输出变化。对于第 \(i\) 个输出神经元(对应特定类别),权重更新行向量 \(\Delta \mathbf{w}_i\) 分解为正部 \((\Delta \mathbf{w}_i)^+ = \max(\Delta \mathbf{w}_i, 0)\) 与负部 \((\Delta \mathbf{w}_i)^- = \max(-\Delta \mathbf{w}_i, 0)\)。利用区间算术的保序与逆序乘法法则,该神经元输出漂移的最大可能波动区间 \([\tilde{\underline{y}}_i, \tilde{\overline{y}}_i]\) 可严格计算为: $\(\tilde{\underline{y}}_i = (\Delta\mathbf{w}_i)^{+}\underline{\mathbf{z}} - (\Delta\mathbf{w}_i)^{-}\overline{\mathbf{z}} + \Delta b_i\)$ $\(\tilde{\overline{y}}_i = (\Delta\mathbf{w}_i)^{+}\overline{\mathbf{z}} - (\Delta\mathbf{w}_i)^{-}\underline{\mathbf{z}} + \Delta b_i\)$ 该公式构成了最坏情况漂移的紧上界与紧下界。为消除漂移,InTAct 定义内部表征漂移损失 \(\mathcal{L}_{\text{IntDrift}}\),将两极端的平方和最小化: $\(\mathcal{L}_{\text{IntDrift}} = \frac{\lambda_{\text{IntDrift}}}{N}\sum_{i=1}^{N}\Big((\tilde{\underline{y}}_{i})^{2} + (\tilde{\overline{y}}_{i})^{2}\Big)\)$ 当该损失收敛到零时,数学上严格证明了分类头对超立方体内任意连续输入的输出 logits 均恒定不变。这使得分类头权重可以在不影响历史预测的前提下进行大幅度的自由重定向,将“权重刚性”与“函数稳定性”彻底解耦。
3. 基于超立方体门控的提示特征稳定性蒸馏:锚定动态提示映射
仅仅锁定分类头对特定超立方体的响应并不足以阻止遗忘,因为提示向量是可学习的,为新任务更新提示池可能无意中改变骨干网络对旧任务样本的映射,导致历史数据的 [CLS] token 逸出受保护的超立方体“安全岛”。为此,InTAct 引入区域选择性提示蒸馏机制。定义指示门控函数 \(w(\mathbf{z}^{(t-1)}) = \mathbb{I}\left[\mathbf{z}^{(t-1)} \in \mathcal{H}^{(\leq t-1)}\right]\),用于判断上一轮快照模型(Teacher)生成的表征是否落在累积保护区域内。特征稳定性损失 \(\mathcal{L}_{\text{Feat}}\) 仅在门控激活时施加均方误差约束: $\(\mathcal{L}_{\text{Feat}} = \frac{\lambda_{\text{Feat}}}{N_{B}}\sum_{i=1}^{N_{B}}w(\mathbf{z}_{i}^{(t-1)})\cdot\left\|\mathbf{z}_{i}^{(t)}-\mathbf{z}_{i}^{(t-1)}\right\|_{2}^{2}\)$ 此设计确保了当输入特征属于历史已知流形时,提示池强制维持原有的输入到特征映射;而在门控未激活的全新领域空间(\(w=0\)),提示参数享有不受约束的更新可塑性。
4. 表征紧凑化与凸包体积约束:防止保护区过膨胀
累积超立方体如果体积失控,将充斥大量无数据支撑的空白“死区”,过度挤占未来任务的表征空间,破坏模型的塑性。InTAct 通过两项几何正则化精细调控表征分布。首先,引入批次内方差惩罚 \(\mathcal{L}_{\text{Var}}\),迫使当前任务的 [CLS] token 紧密聚集在其经验均值中心 \(\bar{\mathbf{z}}^{(t)} = \frac{1}{N_B}\sum_{i=1}^{N_B}\mathbf{z}_i\) 周围: $\(\mathcal{L}_{\text{Var}} = \frac{\lambda_{\text{Var}}}{N_{B}}\sum_{i=1}^{N_{B}}\left\|\mathbf{z}_{i}-\bar{\mathbf{z}}^{(t)}\right\|_{2}^{2}\)$ 其次,引入流形对齐损失 \(\mathcal{L}_{\text{Align}}\),度量当前任务几何中心 \(\mathbf{c}_t = \frac{\underline{\mathbf{z}}_t+\overline{\mathbf{z}}_t}{2}\) 与历史累积中心 \(\mathbf{c}_{t-1}\) 的距离,并按历史流形平均半径 \(r_{t-1} = \text{mean}\left(\frac{\overline{\mathbf{z}}_{t-1}-\underline{\mathbf{z}}_{t-1}}{2}\right)\) 进行尺度归一化: $\(\mathcal{L}_{\text{Align}} = \lambda_{\text{Align}}\frac{\left\|\mathbf{c}_{t}-\mathbf{c}_{t-1}\right\|^{2}_{2}}{r_{t-1}+\varepsilon}\)$ 通过抑制新任务流形与历史流形间无谓的发散距离,累积超立方体在包含新旧知识的同时保持极度收敛的体积,为后续任务预留出充分的正交探索空间。
一个完整示例¶
假设系统在包含 2 个神经元的简化潜空间中执行持续学习。 在任务 1 中,训练样本经过提示网络后激发的 [CLS] 特征聚类在 \([1.0, 3.0] \times [2.0, 4.0]\)。任务 1 结束时,设置 \(\alpha=5\%\) 截断,计算得初始超立方体 \(\mathcal{H}^{(\leq 1)} = ([1.1, 2.9], [2.1, 3.9])\)。分类头权重为 \(W = [[1.0, -1.0]], b = [0.5]\)。
进入任务 2 训练时,新数据驱动分类头发生权重扰动 \(\Delta W = [0.2, -0.1], \Delta b = 0.05\)。对于正部与负部分解:\((\Delta \mathbf{w})^+ = [0.2, 0.0]\),\((\Delta \mathbf{w})^- = [0.0, 0.1]\)。 代入区间算术公式,输出漂移下界为: $\(\tilde{\underline{y}} = (0.2 \times 1.1 + 0.0) - (0.0 + 0.1 \times 3.9) + 0.05 = 0.22 - 0.39 + 0.05 = -0.12\)$ 输出漂移上界为: $\(\tilde{\overline{y}} = (0.2 \times 2.9 + 0.0) - (0.0 + 0.1 \times 2.1) + 0.05 = 0.58 - 0.21 + 0.05 = 0.42\)$ 此时 \(\mathcal{L}_{\text{IntDrift}} \propto (-0.12)^2 + (0.42)^2 = 0.1908\)。梯度反向传播强制驱动 \(\Delta W\) 和 \(\Delta b\) 调整,使漂移上下界同时压制趋近于 0。 同时,若任务 2 的新特征中心漂移至 \([8.0, 9.0]\),\(\mathcal{L}_{\text{Align}}\) 会施加拉回约束,使任务 2 聚类在紧邻旧区域的 \([3.2, 4.8] \times [2.2, 4.1]\)。任务 2 结束后,累积超立方体逐维更新为 \(\mathcal{H}^{(\leq 2)} = ([1.1, 4.8], [2.1, 4.1])\),在保持 \(O(1)\) 存储的同时将受保护决策域平滑扩展。
损失函数 / 训练策略¶
模型的联合优化目标综合了任务判别学习、功能稳定性和表征几何约束: $\(\mathcal{L}_{\text{Total}} = \mathcal{L}_{\text{CE}} + \lambda_{\text{Prompt}}\mathcal{L}_{\text{aux}} + \lambda_{\text{Var}}\mathcal{L}_{\text{Var}} + \mathbb{I}[t > 1] \cdot \big(\lambda_{\text{IntDrift}}\mathcal{L}_{\text{IntDrift}} + \lambda_{\text{Feat}}\mathcal{L}_{\text{Feat}} + \mathcal{L}_{\text{Align}}\big)\)$ 其中 \(\mathcal{L}_{\text{CE}}\) 为当前任务的标准交叉熵损失,\(\mathcal{L}_{\text{aux}}\) 为特定提示方法自带的正交解耦或匹配损失(如 CODA-Prompt 键正交惩罚)。在首个任务(\(t=1\))阶段,模型仅激活 \(\mathcal{L}_{\text{CE}}\) 与 \(\mathcal{L}_{\text{Var}}\),专注于高效吸收新知识并压实特征簇;从第二个任务(\(t \geq 2\))开始,全面激活保护机制 \(\mathcal{L}_{\text{IntDrift}}\)、\(\mathcal{L}_{\text{Feat}}\) 与 \(\mathcal{L}_{\text{Align}}\)。优化过程中预训练 ViT 骨干保持冻结,仅更新轻量级提示池与分类头。
实验关键数据¶
主实验¶
在领域增量学习(DIL)的四大标准基准上,InTAct(集成于 CODA-Prompt)与经典正则化方法(EWC、LwF)、主流提示方法(L2P、DualPrompt、CODA-Prompt、InfLoRA、C-Prompt)及最新 SOTA 方法(KA-Prompt)进行了 3 次随机实验的平均准确率(Average Accuracy, AA, %)对比:
| 方法 | 出处 | DomainNet | ImageNet-R | ImageNet-C | ImageNet-Mix | 平均 (Average) |
|---|---|---|---|---|---|---|
| EWC | PNAS 2017 | \(47.10 \pm 0.58\) | \(51.83 \pm 0.33\) | \(65.20 \pm 1.23\) | \(57.82 \pm 0.90\) | \(55.49 \pm 0.42\) |
| LwF | T-PAMI 2017 | \(54.85 \pm 0.06\) | \(57.11 \pm 0.95\) | \(69.01 \pm 1.21\) | \(65.27 \pm 0.93\) | \(61.56 \pm 0.45\) |
| L2P | CVPR 2022 | \(53.74 \pm 0.04\) | \(56.55 \pm 0.33\) | \(77.86 \pm 0.44\) | \(64.20 \pm 0.34\) | \(63.09 \pm 0.16\) |
| S-Prompts | NeurIPS 2022 | \(44.08 \pm 0.05\) | \(27.23 \pm 0.16\) | \(60.25 \pm 0.28\) | \(24.25 \pm 0.19\) | \(38.95 \pm 0.09\) |
| DualPrompt | ECCV 2022 | \(55.18 \pm 0.02\) | \(59.47 \pm 1.00\) | \(78.52 \pm 0.30\) | \(63.57 \pm 0.17\) | \(64.19 \pm 0.26\) |
| ESN | AAAI 2023 | \(45.74 \pm 0.25\) | \(16.39 \pm 0.23\) | \(68.34 \pm 0.39\) | \(14.99 \pm 0.53\) | \(36.37 \pm 0.19\) |
| CODA-P | CVPR 2023 | \(55.81 \pm 0.03\) | \(55.21 \pm 0.33\) | \(78.25 \pm 0.16\) | \(64.92 \pm 0.04\) | \(63.55 \pm 0.09\) |
| InfLoRA | CVPR 2024 | \(48.76 \pm 0.30\) | \(41.20 \pm 1.65\) | \(53.12 \pm 0.16\) | \(35.38 \pm 0.27\) | \(44.62 \pm 0.43\) |
| Cprompt | CVPR 2024 | \(52.88 \pm 0.12\) | \(59.48 \pm 1.09\) | \(70.08 \pm 0.07\) | \(63.64 \pm 0.74\) | \(61.52 \pm 0.33\) |
| C-Prompt | IJCV 2024 | \(58.66 \pm 0.05\) | \(62.43 \pm 0.49\) | \(79.84 \pm 0.38\) | \(65.35 \pm 0.52\) | \(66.57 \pm 0.20\) |
| KA-Prompt | ICML 2025 | \(\mathbf{62.91 \pm 0.14}\) | \(66.51 \pm 0.36\) | \(85.43 \pm 0.56\) | \(70.35 \pm 0.32\) | \(71.30 \pm 0.19\) |
| InTAct | 本文 | \(56.66 \pm 0.39\) | \(\mathbf{74.23 \pm 0.16}\) | \(\mathbf{85.85 \pm 0.34}\) | \(\mathbf{74.20 \pm 0.28}\) | \(\mathbf{72.74 \pm 0.10}\) |
此外,在模块化即插即用实验中,将 InTAct 整合至 L2P 与 DualPrompt 同样带来显著提升(ImageNet-R 上分别带来 \(+8.00\%\) 和 \(+8.54\%\) 的大幅绝对增益)。
消融实验¶
在 ImageNet-R(15 阶段增量任务)上对各损失项进行的系统性消融结果(2 次独立运行均值):
| 配置 | \(\mathcal{L}_{\text{IntDrift}}\) | \(\mathcal{L}_{\text{Var}}\) | \(\mathcal{L}_{\text{Align}}\) | \(\mathcal{L}_{\text{Feat}}\) | 平均准确率 AA (%) | 性能变化 \(\Delta\) |
|---|---|---|---|---|---|---|
| 完整模型 (Full) | ✓ | ✓ | ✓ | ✓ | 74.23 | — |
| w/o \(\mathcal{L}_{\text{IntDrift}}\) | ✗ | ✓ | ✓ | ✓ | 70.75 | -3.48 |
| w/o \(\mathcal{L}_{\text{Var}}\) | ✓ | ✗ | ✓ | ✓ | 73.28 | -0.95 |
| w/o \(\mathcal{L}_{\text{Align}}\) | ✓ | ✓ | ✗ | ✓ | 73.76 | -0.47 |
| w/o \(\mathcal{L}_{\text{Feat}}\) | ✓ | ✓ | ✓ | ✗ | 72.44 | -1.79 |
关键发现¶
- 最坏情况区间漂移损失 \(\mathcal{L}_{\text{IntDrift}}\) 是抗遗忘的绝对基石:移除该项导致准确率断崖式下跌 3.48 个百分点,充分印证了仅对参数更新或孤立数据点施加约束在对抗领域迁移时的脆弱性,基于区间算术的全区域闭式约束是实现稳定性的核心动能。
- 提示特征稳定性蒸馏 \(\mathcal{L}_{\text{Feat}}\) 扮演次关键支柱:移除特征稳定性导致性能下降 1.79 个百分点,表明仅约束分类头是不够的,必须确保提示池不会将旧数据投射到预设超立方体安全区之外。
- 几何结构化调控有效防止容量浪费:方差惩罚 \(\mathcal{L}_{\text{Var}}\) 与对齐损失 \(\mathcal{L}_{\text{Align}}\) 分别带来 0.95% 与 0.47% 的性能贡献。方差压缩避免了由于样本分散导致的包围盒过大;中心对齐则阻止了凸包在潜在空间无序蔓延,保证了模型在新任务上的自适应容量(Plasticity)。
- 复合扰动场景鲁棒性极高:在包含 30 个连续任务、混合了艺术风格突变与算法图像损坏的 ImageNet-Mix 基准上,InTAct 领先最强基准 KA-Prompt 近 4 个百分点(74.20% vs 70.35%),证明了基于激活超立方体建立的宽容裕度能够有效抵御输入噪声冲击。
亮点与洞察¶
- 激活空间约束显著优于参数空间约束:将正则化锚点从千万量级的高维权重下沉到数百维的内部表征,不仅维度骤降极大降低了计算复杂度,而且直击模型输出的决定性因子,赋予了参数更新更充裕的零空间(Null Space)自适应自由度。
- 区间算术在连续区域提供形式化零漂移保障:传统数据采样无法覆盖无限的潜空间点集,留有遗忘盲区;InTAct 借助区间算术将线性映射在超立方体上的最坏情况输出闭式求解,在损失压至零的极限下提供了全区域零遗忘的形式化数学保证。
- 常量内存开销消除隐私与存储瓶颈:通过逐维极值累积合并超立方体边界,历史知识的记忆被完全固化为两个 \(d\) 维向量,彻底摆脱了回放缓存库(Replay Buffer)对真实样本的存储依赖,天然兼具数据隐私友好性。
局限与展望¶
- 轴对齐超立方体导致的几何死区:当前区间算术采用轴对齐的正交超立方体(Axis-aligned Bounding Boxes),当各类别或任务的数据流形呈现明显的对角倾斜或高维旋转相关性时,外接超立方体会包含较多未被真实数据占据的死区(Dead Zones),带来一定程度的过保守约束。
- 非线性激活层的逐层传播约束尚未覆盖:当前方法主要直接作用于 [CLS] 向量与线性分类头(或展开后的卷积/BN 层),若将其向深层非线性 MLP 逐层纵深推进,仍需探索在避免传统区间算术包裹效应(Wrapping Effect)恶化的同时处理 ReLU 等非线性激活的轻量算法。
- 基座依赖性:目前实验主要依托预训练 ViT 骨干结合 CODA-Prompt 验证,未来有待拓展至更大规模的自回归语言模型(LLM)持续对齐与安全持续微调(Lifelong Safety Alignment)场景中。
相关工作与启发¶
- vs 参数空间区间算术 (InterContiNet, HINT):InterContiNet 在高维权重空间搜寻可行参数区间,HINT 利用超网络映射区间权重;两者在深层网络中极易遭遇指数级包裹误差导致区间发散。InTAct 反其道而行之,避开区间逐层级联前传,仅在表征空间静态界定超立方体并计算单层闭式漂移,计算极轻且边界紧致。
- vs 参数正则化方法 (EWC, SI, MAS):传统方法惩罚重要参数的数值变化,混淆了“参数变动”与“功能失效”的界限,极易导致新任务欠拟合。InTAct 仅约束旧数据超立方体内的前向映射结果,允许参数沿正交或切向方向大幅更新,兼顾可塑性。
- vs 提示持续学习 (L2P, DualPrompt, CODA-Prompt):经典提示方法在类增量中表现优异,但在无任务 ID 的领域增量场景下分类头与提示键极易随新域漂移。InTAct 作为即插即用模块,通过激活超立方体锚定了分类边界与提示映射,使 DualPrompt 在 ImageNet-R 上的准确率暴涨 8.5 个百分点。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出权重空间区间算术的包裹效应困局,首创在激活空间利用区间算术推导闭式最坏情况漂移上界,提供了优雅的函数不变性数学保障。
- 实验充分度: ⭐⭐⭐⭐☆ 覆盖 4 个严苛的领域增量基准与 30 任务长序列,消融细致,但受限于算力未能完全完成 KA-Prompt 代码库复现下的直接嫁接实验。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密清晰,动机层层递进,从玩具示例到高维几何解释均十分直观。
- 价值: ⭐⭐⭐⭐⭐ 为无回放、免参数冻结的持续学习提供了极具普适性的几何视角,在具身智能、隐私计算及模型安全持续微调中具备巨大迁移潜力。