Enhancing Pretrained Model-based Continual Representation Learning via Guided Random Projection¶

会议: ECCV 2026
论文: ECCV 官方页面
项目: SCL-MGSM
领域: 模型压缩
关键词: 类增量学习、引导随机投影、解析学习、首任务适配、数值稳定性

一句话总结¶

SCL-MGSM 用首任务标签和残差逐批筛选随机投影基，再冻结表示并递归更新岭回归分类器，在不保存历史样本的类增量学习中改善表达能力与数值稳定性，ImageNet-R 的 B-0 Inc-10 最终准确率达到 77.12%。

研究背景与动机¶

预训练模型已经提供了较好的视觉特征，因此无样本回放的类增量学习不一定要在每个新任务上重新训练骨干。RanPAC 等方法先在首任务上适配预训练模型，随后冻结骨干，通过随机投影层扩展特征，再用解析更新维护分类器。只要表示固定，历史数据对岭回归的贡献就可以压缩成累积统计量，不必保存旧图像；测试时也不需要任务 ID。

这一方案的薄弱环节是随机投影层本身。面对与预训练域差异较大的图像，未经引导的随机方向未必能提供下游分类需要的特征。简单增加投影维数可以提高可分性，却可能引入大量相关方向，使特征矩阵病态，并让有限精度下的递归求解放大数值误差。LoRanPAC 等工作为大维度投影加入稳定化机制；本文追问的是，能否从投影基的构造阶段就改善质量，而不是主要依赖更宽的层和后续补偿。

首任务适配已经表明，少量初始类别可以为后续任务提供有用的归纳偏置，因此作者把这种引导从骨干延伸到投影层。不过，直接照搬随机配置网络 SCSM 的逐节点贪心筛选，也可能过度贴合首任务。核心 idea：用带岭正则、考虑已有基相关性的块级残差判据选择随机基，让一组候选共同解释尚未拟合的目标，而不是无条件堆叠随机方向或逐个追求最优方向。

方法详解¶

整体框架¶

输入是按阶段到达的带标签图像，各阶段类别互不重叠；每阶段只能访问当前数据。SCL-MGSM 全称为 Stochastic Continual Learner with MemoryGuard Supervisory Mechanism，核心构造仅发生在初始化阶段：可选地先进行首任务适配，再固定骨干，用首任务特征和标签逐步建立随机投影层。

构造完成后，骨干与投影层都保持不变。后续任务只增加分类器的类别输出并更新解析统计量；推理沿着固定的特征映射输出所有已见类别的分数。这里的 MemoryGuard 不是旧样本缓冲区，也不是每个阶段重新挑选投影基的机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Initial["首任务图像"] --> Backbone["可选首任务适配<br/>随后冻结骨干"]
    Backbone --> Sampling["多尺度随机候选"]
    Sampling --> Selection["块级残差筛选"]
    Labels["首任务标签"] -.-> Selection
    Selection --> Readout["读出重估与停止"]
    Readout -->|残差未达标| Sampling
    Readout -->|构造结束| Frozen["冻结随机投影层"]
    Later["后续带标签数据"] --> Update["固定表示的解析更新"]
    Frozen --> Update
    Update --> Output["所有已见类别分数"]

图中的循环只用于首任务构造，标签虚线表示构造监督。后续数据由同一冻结骨干与投影层编码后进入解析更新；测试图像走固定表示和当前分类器，不参加候选筛选，也不提供标签。

关键设计¶

1. 多尺度随机候选：改变搜索分布，而不是只增加随机方向数量

作者从高斯分布采样候选节点的权重与偏置，通过非线性激活把骨干特征变成新的特征列。以下用统一记号表示这一标准映射：

\[ H = g(ZW + \mathbf{1}b^{\top}),\qquad w_i,b_i\sim\mathcal{N}(0,\xi^2). \]

其中，\(Z\) 是首任务骨干特征，\(H\) 的每一列对应一个候选随机基在全部首任务样本上的响应。每轮不是只采一个节点，而是生成至多 \(B_{\max}\) 个候选块，每块包含 \(s\) 个节点；这样比较的是一小组基函数能否共同提供有用方向，而不是单个节点是否最贴合当前残差。

如果当前尺度没有候选块通过筛选，就切换到离散尺度集合中的下一个 \(\xi\)，重新采样并评估。尺度改变会改变非线性特征的响应区域，帮助搜索摆脱固定分布下的狭窄函数空间。这不是通过梯度学习候选权重，也不意味着后续任务持续调整采样分布；参数搜索发生在首任务构造期，通过验收的参数随后固定。

2. 块级残差筛选：衡量新基相对于已有表示的联合贡献

当前投影层经过岭回归读出后，标签与预测之差就是待解释的多输出残差。MGSM 对每个候选块计算它与残差的相关性，同时用包含岭正则的 Schur 补考虑候选块与已有基之间的相关性。直观上，一个块即使与目标相关，如果提供的方向几乎已被已有投影表示出来，其新增价值也会受到影响；筛选因此不只是对原始相关性排序。

原文定理 1 给出单输出的块级接纳条件，多类别情况对各输出列应用该条件。在满足条件并重算岭回归读出时，作者证明构造残差可持续收缩，并在隐藏单元数趋于无穷时趋于零；收缩参数满足 \(0<r<1\)。每轮在通过条件的候选中选取改善最大的块。与 SCSM 的逐节点贪心对齐相比，MGSM 允许单独看并非最优、组合起来却有效的方向共同进入表示。

这一保证针对初始化数据的拟合过程，前提是持续找到满足条件的候选；它不等价于未来未见类别的泛化保证，也不证明任意输入分布下的矩阵条件数都有上界。缓存中的式 (12) 和式 (15) 存在运算符及幂次丢失，因此这里不将猜补的 Schur 补或接纳不等式冒充作者精确公式；逐项实现仍需核对原版公式和附录 A。

3. 读出重估与停止：筛选后重拟合分类器，让宽度由残差决定

接纳一个块后，将其响应列追加到现有特征矩阵，并重新求解读出权重，再用更新后的残差决定是否继续。其优化目标是标准多输出岭回归，以下为根据正文含义整理的记号，而不是复制损坏的公式排版：

\[ W_{\beta}^{*}=\operatorname*{arg\,min}_{W_{\beta}} \left\|Y-HW_{\beta}\right\|_F^2+\lambda\left\|W_{\beta}\right\|_F^2. \]

这里 \(Y\) 为 one-hot 标签矩阵，\(\lambda\) 为岭正则系数。整个读出共同重估很重要：新增方向可能改变已有方向需要承担的解释量，因此不能只给新节点单独拟合一组权重就结束。MGSM 的构造依赖前向计算与解析求解，并不反向传播训练随机投影权重。

当多输出残差的 Frobenius 范数不超过 \(\varepsilon\) 时停止，最终宽度记为 \(L^{*}\)。主实验按数据集自适应确定宽度，而机制对比专门固定为 10,000 以排除宽度差异。正文把各数据集的最终宽度放在附录 C.2，但当前缓存不含该附录，因此不能把 10,000 当作主实验全部配置的最终宽度。

4. 固定表示的解析更新：保留统计量，而非保留历史图像

进入类增量阶段后，所有任务通过完全相同的固定表示映射。为说明为什么不需要回放，可以把正文的递归岭回归等价写成累积正规方程的形式：

\[ P_t=\lambda I+\sum_{k=1}^{t}H_k^{\top}H_k,\qquad Q_t=\sum_{k=1}^{t}H_k^{\top}Y_k,\qquad P_tW_{\beta}^{(t)}=Q_t. \]

这里 \(Q_t\) 是用于解释等价关系的记号；原文实际描述的是维护 \(P_t\) 与上一阶段分类器的递归更新。类别增加时，已有分类器输出以及历史标签统计在新类别位置对应零，新数据则为新增类别贡献统计量。只要表示固定且计算精确，结果等价于在同一特征空间中对全部已见数据联合做岭回归，而不是等价于联合微调整个骨干。

数值问题正出现在这个等价关系的实际实现上：很宽且共线的投影会让求解更加敏感。MGSM 试图用更有效的基减少不必要的宽度，并改善基之间的相关性，使解析更新不需要靠很强的正则来勉强稳定。无回放仍有内存成本，\(P_t\) 是 \(L^{*}\times L^{*}\) 矩阵，分类器还会随已见类别数增长，因此“无历史样本”不能理解为“无历史状态”或“恒定总内存”。

一个完整示例¶

以 ImageNet-R 的 B-0 Inc-10 为例，200 类均分为 20 个阶段，每阶段 10 类。第一阶段先用当前 10 类数据得到骨干特征；若使用 FSA，就先适配骨干再冻结。随后，MGSM 反复提出随机候选块、比较其对残差的改善、追加通过的块并重新拟合读出，直到满足停止条件。

第二阶段到来时，不再重建投影层，也不取回第一阶段图像，而是用相同映射编码新 10 类，并把统计量与分类器扩展到已见的 20 类。最终阶段在全部 200 类上测试，对应表 1 的 \(A_{\mathrm{last}}\)。这个例子说明了真实实验协议和状态变化，不代表作者披露了每一轮候选块的接纳数量。

损失函数 / 训练策略¶

默认骨干为 ViT-B/16-IN21K；首任务适配及相关消融使用 AdaptFormer、SSF、VPT。随机投影构造和后续分类器更新的核心目标均是上面的岭回归读出，而可选 FSA 属于先行的骨干适配阶段。

正文给出共同设置 \(\varepsilon=0.01\)，自适应尺度范围 \(\xi\in[0.0008,0.004]\)、步长 \(\Delta\xi=0.0001\)，四个主基准共享这些设置。稳定性分析展示了 \(\lambda=0.1\) 的 MGSM 与较强正则的随机初始化对照，但不能据此认定全部主实验都使用该值；其余超参数被指向未包含在缓存中的附录 C.1。

实验关键数据¶

主实验¶

正文覆盖 ImageNet-R、ImageNet-A、ObjectNet，各有 200 类，以及 300 类的 OmniBenchmark。\(A_{\mathrm{last}}\) 是最后阶段在所有已见类别上的准确率；\(A_{\mathrm{avg}}\) 是各阶段已见类别测试准确率的平均。B-0 表示均分，Inc-10 表示每阶段加入 10 类，因此前三个数据集对应 20 个阶段，OmniBenchmark 对应 30 个阶段。

以下摘自原文表 1，统一选 B-0 Inc-10；单位为 %，结果为 3 个随机种子的均值与标准误。两项指标分别选取最强对照，因此同一行的对照方法可能不同。

数据集	本文最终准确率	最强对照最终准确率	本文平均准确率	最强对照平均准确率
ImageNet-R	77.12 ± 0.21	APT：75.07 ± 0.32	82.23 ± 0.18	EASE：80.38 ± 0.60
ImageNet-A	56.05 ± 0.32	AnaCP：55.22 ± 0.39	65.29 ± 0.47	LoRanPAC：64.16 ± 0.55
ObjectNet	66.45 ± 0.45	AnaCP：64.68 ± 0.17	75.30 ± 2.03	AnaCP：72.81 ± 0.94
OmniBenchmark	79.90 ± 0.35	AnaCP：78.81 ± 0.24	86.92 ± 0.73	AnaCP：86.45 ± 0.71

ImageNet-R 的最终与平均准确率分别领先 2.05 和 1.85 个百分点；ObjectNet 分别领先 1.77 和 2.49 个百分点。均值领先不等于每项差异都已通过统计显著性检验，尤其 ObjectNet 的平均准确率具有较大的标准误。

消融实验¶

原文表 2 专门取消 FSA，并把三种投影构造的最终宽度都固定为 10,000，后续均采用递归岭回归；因此它比跨方法主表更直接检验筛选规则的价值。以下保留其最终准确率，不能与使用不同设置的表 1 数值直接相减来估算 FSA 贡献。

数据集	MGSM 最终准确率	SCSM 最终准确率	随机初始化 RI 最终准确率
ImageNet-R	70.09 ± 0.13	64.78 ± 0.09	63.00 ± 0.22
ImageNet-A	53.63 ± 0.74	44.85 ± 1.47	47.31 ± 0.43
ObjectNet	59.61 ± 0.30	55.46 ± 0.33	55.91 ± 0.14
OmniBenchmark	77.99 ± 0.17	71.43 ± 0.11	74.91 ± 0.04

ImageNet-A 上，MGSM 比 RI 高 6.32 个百分点，比 SCSM 高 8.78 个百分点；SCSM 反而低于 RI。这说明“有监督地选随机基”并非充分条件，筛选约束是否过度贴合初始任务同样重要。

关键发现¶

表 3 的 ImageNet-R B-0 Inc-5 分析中，固定 \(B_{\max}=10\)，把块大小从 \(s=10\) 增为 \(s=100\)，时间从 192.21 ± 2.64 秒降为 70.37 ± 1.59 秒，平均准确率从 75.31 ± 0.21% 变为 74.86 ± 0.21%。这是约 2.73 倍加速、损失 0.45 个百分点的局部权衡，不是整个训练流程都获得同样加速。
图 8 中，MGSM 的条件数与 RI 相近，明显优于 SCSM；不能把结果写成 MGSM 在该比较中也显著优于 RI。图 7 的基相似度与图 6 的统计量范数提供相关的机制证据，但不是对所有未来任务的稳定性定理。
更换 DINO-v2 后，表 4 的 ImageNet-A Inc-5 最终准确率为 71.60 ± 0.42%，高于 AnaCP 的 71.05 ± 0.72%；但平均准确率 78.66 ± 0.90% 低于 AnaCP 的 79.45 ± 0.72%。跨骨干收益不能概括为每项指标全部第一。

亮点与洞察¶

将首任务适配从骨干扩展到随机特征的构造。冻结表示不等于表示只能随机生成，标签可以用于选择一个随后长期保持固定的特征空间。
用块级选择允许多个方向协同解释残差。它绕开逐节点贪心选择的局部偏好，同时在表 3 展示了增大块大小降低构造时间的实际价值。
把表达能力和解析求解稳定性放在同一个设计问题中。对于需要长期累积统计量的系统，特征质量不仅影响分类边界，也影响后续线性代数计算的可靠性。

局限与展望¶

首任务引导依赖初始类别与未来任务共享统计结构。三个种子使用不重叠初始类别是有用检验，但不足以证明对强烈阶段间域漂移或特殊类别排序同样稳健；可进一步设计刻意不具代表性的首任务实验。
无限宽度下的残差收敛不等于有限预算下总能找到候选，也不是未见类别泛化保证。部署时仍需报告候选采样次数、达到阈值的成功率和实际最终宽度。
\(\|P_t\|_F\) 较小本身不能证明条件数较小或求解误差较小。更直接的验证应报告谱分布、递归解与批量岭回归解的偏差，以及不同浮点精度下的误差。
缓存仅含正文和参考文献，缺少所引用的附录 A-C；精确判据、完整超参数、最终宽度及更多遗忘分析尚不能从缓存完整复核。结论声称七个基准，而正文主实验明确列出四个，因此本笔记只对已读到的四个基准作数据结论。

评分¶

新颖性: 4/5。把随机配置网络的监督构造用于预训练类增量学习，并针对块级选择与稳定性重新设计。
实验充分度: 4/5。四个正文基准、多个协议、固定宽度对照和 DINO-v2 实验较完整，附录内容未在当前缓存中核验。
写作质量: 3/5。动机与方法流程清楚，但缓存公式损坏，且正文与结论的基准数量表述不一致。
价值: 4/5。为“扩大随机特征层”提供了质量优先的替代方向，适合关注无回放与解析更新成本的研究者。