C-LoRA: Continual Low-Rank Adaptation for Pre-trained Visual Models¶
会议: NeurIPS 2026
arXiv: 2502.17920
代码: https://github.com/lambor9973/C-LoRA
领域: 模型压缩
关键词: 持续学习, 低秩自适应, 视觉Transformer, 灾难性遗忘, 路由矩阵
一句话总结¶
C-LoRA 发现标准单 LoRA 持续学习遗忘的根本原因在于均匀权重下的梯度放大破坏了关键子空间，通过在单个固定秩适配器中引入基底与增量解耦的路由矩阵以及重要性感知的细粒度门控，无需参数扩增或推理路由即可有效抑制灾难性遗忘。
研究背景与动机¶
在大规模视觉预训练模型（如 ViT）向开放、动态环境落地的过程中，持续学习（Continual Learning）要求模型在连续的任务序列上不断吸收新知识，同时保持对过往任务的判别能力。低秩自适应（LoRA）作为当前最流行的参数高效微调（PEFT）方法，通过向冻结的预训练权重外挂低秩分解矩阵 \(\Delta \mathbf{W} = \mathbf{A}\mathbf{B}\)，在静态单任务微调中展现了出色的泛化性与计算存储效率。然而，直接将单个 LoRA 适配器应用于连续任务训练时，模型会遭遇严重的灾难性遗忘。
现有文献普遍将这一现象归咎于低秩空间的容量瓶颈，因而主流方案（如 EASE、InfLoRA、SD-LoRA 等）选择动态扩增适配器规模——要么针对每个新任务新增独立的 LoRA 模块，形成不断膨胀的适配器池；要么在任务间执行递进式参数融合。这种“参数隔离与扩增”范式不仅导致参数总量随着任务数量呈线性增长，还迫使推理阶段必须引入复杂的任务识别、模块选择或权重融合机制，大大削弱了边缘部署的可行性；更关键的是，它人为隔断了跨任务知识的反向提炼与正向迁移。
本文的切入视角直指单 LoRA 内部的数学更新机制：标准 LoRA 将参数更新隐式建模为各个秩一外积子空间的均匀累加，无法区分哪些子空间编码了核心历史知识、哪些子空间尚未被充分利用；当引入路由矩阵 \(\mathcal{R}\) 调控子空间交互时，反向传播流入共享基底 \(\mathbf{A}\) 和 \(\mathbf{B}\) 的梯度范数正比于 \(\|\mathcal{R}\|_2\)。这意味着随着任务累积，路由权重越大的子空间（即对历史任务稳定性越关键的子空间）在后续任务训练中反而会遭受最强烈的梯度扰动。核心 idea：灾难性遗忘的症结并非低秩容量不足，而是耦合的梯度放大效应破坏了历史关键子空间；通过将路由矩阵解耦为停止梯度的基底稳定性成分与小范数的塑性增量成分，配合重要性感知门控，即可在单个固定大小的 LoRA 内部实现高保真持续学习。
方法详解¶
整体框架¶
C-LoRA 的核心思想是在保持 LoRA 适配器容量恒定（固定秩 \(r=20\)）的前提下，通过对秩一子空间交互机制进行显式重构来治理梯度流向。在输入特征送入 ViT 的 MLP 层时，C-LoRA 首先通过下采样投影矩阵 \(\mathbf{A}\) 将高维特征投影到低维隐空间，接着利用解耦路由矩阵对跨子空间特征进行差异化调制与门控过滤，最后经由上采样投影矩阵 \(\mathbf{B}\) 重构回原始特征维度，并与冻结的主干网络特征进行残差相加。
整个持续学习流程分为两个交替进行的计算路径：一方面，承载历史任务累积知识的基底路由矩阵 \(\mathcal{R}_{\text{base}}\) 施加梯度截断（Stop-Gradient），保障历史表征的绝对稳定性；另一方面，塑性增量矩阵 \(\mathcal{R}_{\delta}\) 在当前任务驱动下动态更新，并通过基于历史重要性统计的细粒度门控矩阵 \(\mathbf{\Gamma}\) 保护历史敏感维度。在任务训练收尾阶段，增量更新被累加固化至基底矩阵中，实现无缝的知识沉淀。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入特征 x_i"] --> Proj["低秩降维投影<br/>z_i = x_i A"]
Proj --> D1["广义路由矩阵<br/>引入可学习矩阵 R 调控跨子空间交互"]
D1 --> D2["双重解耦路由机制<br/>基底 R_base 冻结梯度 + 增量 R_delta 塑性适配"]
D2 --> D3["细粒度子空间门控<br/>重要性 Z-score 抑制关键维度梯度并固化"]
D3 --> Recon["高维重构上投影<br/>B 变换并残差叠加"]
Recon --> Out["ViT MLP 最终输出"]关键设计¶
1. 广义路由矩阵：打破均匀秩一假设与梯度放大分析 标准 LoRA 将权重更新表示为 \(r\) 个秩一子空间的直接求和 \(\Delta \mathbf{W} = \mathbf{A}\mathbf{B} = \sum_{i=1}^r \mathbf{a}_i \mathbf{b}_i^\top\)。这种设计存在两个固有限制：其一，各个秩一基底之间的权重隐式固定为 1，无法差异化对待；其二，严格限制在相同索引向量 \(\mathbf{a}_i\) 与 \(\mathbf{b}_i^\top\) 之间配对，无法利用不同基底之间的交叉交互。C-LoRA 引入一个可学习的方形路由矩阵 \(\mathcal{R} \in \mathbb{R}^{r \times r}\)，将权重增量推广为：
其中 \(\mathcal{R}_{ij}\) 显式调控列向量 \(\mathbf{a}_i\) 与行向量 \(\mathbf{b}_j^\top\) 的外积组合权重。然而理论分析表明，若直接对联合更新 \(\mathbf{A}\mathcal{R}\mathbf{B}\) 进行端到端训练，流入共享基底矩阵的梯度为 \(\partial \mathcal{L} / \partial \mathbf{A} = \bm{G}\mathbf{B}^\top \mathcal{R}^\top\)（其中 \(\bm{G}\) 为上游损失梯度）。定理 1 证明了梯度范数满足 \(\|\partial \mathcal{L} / \partial \mathbf{A}\|_F \le G_{\max} M \|\mathcal{R}\|_2\)。随着持续任务递进，\(\|\mathcal{R}\|_2\) 的谱范数显著增大，导致高权重区域演化为梯度“热点”（Hotspots），反而使最关键的历史表征遭受不成比例的破坏性更新。
2. 双重解耦路由机制：基底知识冻结与增量塑性更新 为了彻底切断上述恶性梯度放大链条，C-LoRA 提出了稳定性与塑性的显式解耦设计。将路由矩阵结构性分解为两个独立部分：
其中 \(\mathcal{R}_{\text{base}}\) 汇总沉淀所有先前任务所学到的结构知识，在学习当前新任务期间被视为常数，完全隔绝反向传播（即应用 stop-gradient 算子 \(\phi(\cdot)\)）；而 \(\mathcal{R}_{\delta}\) 则专门负责当前任务的塑性适配，初始化为接近全零的微小数值。权重更新表达式重构为：
根据定理 2，由于在新任务启动时满足 \(\|\mathcal{R}_{\delta}\|_2 \ll \|\mathcal{R}_{\text{base}}\|_2\)，基底参数在单步更新下的稳定性损失界相比联合训练显著收紧；定理 3 进一步从方差角度证明，当增量成分的元素方差满足 \(\sigma_{\delta}^2 < \sigma_{\text{base}}^2\) 时，由 \(\mathcal{R}_{\delta}\) 调控的反向传播梯度更新方差严格小于由历史特化矩阵 \(\mathcal{R}_{\text{base}}\) 调控的方差。这种双重特性确保了新任务的探索既不会引起历史参数的大幅偏移，也不会产生高方差震荡。
3. 细粒度子空间门控：重要性感知梯度抑制与知识固化 虽然解耦路由从宏观上平抑了梯度的整体范数与方差，但对于 \(\mathcal{R}_{\delta}\) 内部全部 \(r^2\) 个微观交互维度而言，若缺乏差异化保护，依然可能在偶然更新中破坏已被证实极其重要的特定方向。C-LoRA 构建了一个与路由矩阵尺寸完全对称的重要性感知门控矩阵 \(\mathbf{\Gamma} \in [0, 1]^{r \times r}\)。首先根据基底矩阵中各元素的绝对值大小评估子空间重要性 \(I_{ij} = |\mathcal{R}_{\text{base}, ij}|\)，并计算其全矩阵的 Z-score 标准化值 \(Z_{ij} = (I_{ij} - \mu_I) / \sigma_I\)；随后利用带温度因子的 Sigmoid 函数生成平滑门控：
其中 \(\beta > 0\) 用于控制门控切换的陡峭程度（首个任务初始化为全 1 矩阵）。随后通过巧妙的梯度解耦算子将门控应用于有效增量路由分量：
在前向传播过程中，该式在数值上严格恒等于 \(\mathcal{R}_{\delta}\)，保证了表征容量无任何折损；而在反向传播中，由于第二项不传递梯度，流向参数 \(\mathcal{R}_{\delta}\) 的有效梯度被精确缩放了 \(\mathbf{\Gamma}\) 倍。对于历史重要性高（\(Z_{ij} \gg 0\)）的子空间，\(\Gamma_{ij} \to 0\)，更新被彻底冻结锁死；对于未被利用的自由空间（\(\Gamma_{ij} \to 1\)），新知识可以充分自由适配。任务学习结束后，执行无损沉淀累加：\(\mathcal{R}_{\text{base}} \leftarrow \mathcal{R}_{\text{base}} + \mathcal{R}'_{\delta}\)。
一个完整示例¶
考虑一个连续图像分类场景，模型采用 ViT-B/16 并在每一层的 MLP 模块挂载秩 \(r=20\) 的 C-LoRA 模块： 1. 任务 1 初始微调：\(\mathcal{R}_{\text{base}}\) 初始化为小随机矩阵，\(\mathbf{\Gamma}\) 置为全 1 矩阵。模型通过标准反向传播学习首批类别的特征投影，优化完成后，将参数固化至 \(\mathcal{R}_{\text{base}}\)。 2. 任务 2 接收新类别数据： - 系统统计 \(\mathcal{R}_{\text{base}}\) 各元素的绝对值大小并计算均值 \(\mu_I\) 与方差 \(\sigma_I\)； - 对前十个最显著的主导交互通道，其标准化重要性得分较高（例如 \(Z_{ij} > 2.0\)），通过 \(\mathbf{\Gamma} = \text{Sigmoid}(-\beta \mathbf{Z})\) 计算得到 \(\Gamma_{ij} \approx 0.05\)，该维度几乎被关死；对于接近零的通道，\(\Gamma_{ij} \approx 0.95\)； - 前向推理计算 \(\text{C-LoRA}(\mathbf{x}_i) = \phi(\mathbf{z}_i \mathcal{R}_{\text{base}} \mathbf{B}) + (\mathbf{z}_i \mathcal{R}'_{\delta} \mathbf{B})\)，基底部分稳定输出任务 1 的特征表征； - 反向传播时，\(\mathcal{R}_{\text{base}}\) 梯度被截断截流，\(\mathcal{R}_{\delta}\) 中高重要性维度的梯度衰减 95%，剩余自由维度快速吸收任务 2 独有的判别特征； 3. 会话结束固化沉淀：将经过门控裁剪的 \(\mathcal{R}'_{\delta}\) 直接累加到 \(\mathcal{R}_{\text{base}}\)。进入任务 3 时，该矩阵继续充当扩展后的冻结基底。模型自始至终仅维护单一尺寸为 \(20 \times 20\) 的路由矩阵，推理阶段无需任何分类器或任务路由前置预测。
损失函数 / 训练策略¶
每个持续学习会话的目标损失采用余弦相似度交叉熵损失（Cosine-Similarity Cross-Entropy Loss）：
其中 \(N_t\) 为当前任务样本数，\(\mathcal{Y}(t)\) 为当前任务类别集合，\(s\) 为缩放因子，\(\mathbf{f}_j\) 为样本表征向量，\(\mathbf{w}_\ell\) 为类别分类头权重。
为解决类增量学习中历史样本缺失导致分类器偏向新类别的偏差问题，C-LoRA 在特征提取器训练完毕后引入两阶段对齐策略（Stage-2 Feature Resampling）：利用各历史类别在初次学习时记录的特征均值和协方差矩阵，在特征空间合成代表性虚拟特征（无需回放原始图片），微调线性分类头以消除类间边界漂移，保持全局辨别力。模型采用 SGD 优化器，学习率初始设为 0.01 并搭配余弦退火调度，Batch Size 设为 48。
实验关键数据¶
主实验¶
在 10 个增量会话（10 sessions）的标准基准评测下，C-LoRA 与主流类增量方法（Prompt 范式、正则化范式、扩展 LoRA 范式）在四类典型数据集上的表现对比见下表。指标包括最终平均准确率（Last-Acc）与整个过程平均增量准确率（Inc-Acc）。
| 方法 | Split CIFAR-100 (Last / Inc) | Split ImageNet-A (Last / Inc) | Split CUB-200 (Last / Inc) | Split CAR196 (Last / Inc) |
|---|---|---|---|---|
| Joint-Training (理论上限) | 93.22 / – | 79.61 / – | 90.78 / – | 78.66 / – |
| EWC (PNAS 2017) | 90.59±0.63 / 93.80±0.97 | 56.24±1.56 / 66.30±1.71 | 85.10±0.31 / 92.36±0.51 | 45.58±0.19 / 60.41±0.94 |
| L2P (CVPR 2022) | 84.17±0.91 / 88.20±1.30 | 43.47±0.89 / 50.52±2.29 | 67.13±2.03 / 79.62±1.56 | 45.81±0.98 / 57.85±1.92 |
| DualPrompt (ECCV 2022) | 81.70±1.07 / 86.42±0.98 | 46.41±0.20 / 55.95±1.34 | 68.68±0.35 / 80.75±0.87 | 39.36±2.32 / 53.93±2.40 |
| SLCA (ICCV 2023) | 91.07±0.45 / 94.06±1.07 | 58.96±0.88 / 66.39±2.16 | 84.55±0.19 / 90.69±0.65 | 66.49±2.87 / 76.43±0.61 |
| EASE (CVPR 2024) | 87.53±0.38 / 91.67±1.04 | 60.74±0.93 / 69.43±1.31 | 81.55±2.38 / 88.63±1.84 | 44.07±0.95 / 57.88±1.12 |
| InfLoRA (CVPR 2024) | 84.31±0.28 / 90.31±0.28 | 40.42±1.15 / 52.20±1.51 | 69.58±0.78 / 81.57±0.43 | 51.45±3.36 / 68.05±0.62 |
| SD-LoRA (arXiv 2025) | 86.65±1.54 / 90.78±1.25 | 44.11±9.81 / 53.93±9.59 | 71.33±1.21 / 82.69±0.53 | 52.47±1.72 / 65.16±2.72 |
| C-LoRA (本文) | 91.70±0.14 / 94.24±0.85 | 63.86±0.84 / 71.18±2.10 | 89.93±0.49 / 93.48±0.11 | 70.73±1.68 / 78.86±1.32 |
在跨任务参数扩张开销方面，下表展示了 20 个增量会话下的参数量对比：
| 方法 | 总扩展参数量 (M) | 单任务可训练参数量 (M) | 推理额外融合/选择开销 |
|---|---|---|---|
| EASE (CVPR 2024) | 23.6 | 1.18 | 需多适配器加权组合 |
| InfLoRA (CVPR 2024) | 7.4 | 0.37 | 需正交投影计算 |
| SD-LoRA (arXiv 2025) | 7.4 | 0.37 | 需逐任务模块合并 |
| C-LoRA (本文) | 0.36 | 0.36 | 无（静态单模块部署） |
消融实验¶
下表列出了 C-LoRA 两个核心创新模块——路由矩阵解耦（Decomposition）与重要性感知门控（Gating）在 10 会话设置下的消融结果（BWT 为向后迁移指标，负值绝对值越小表示遗忘程度越轻）：
| 配置 | ImageNet-A Last-Acc (%) | ImageNet-A Inc-Acc (%) | ImageNet-A BWT | CUB-200 Last-Acc (%) | CUB-200 Inc-Acc (%) | CUB-200 BWT |
|---|---|---|---|---|---|---|
| 无解耦 & 无门控 (w/o Decomp & Gate) | 55.76 | 67.15 | -28.90 | 85.67 | 90.61 | -11.78 |
| 仅解耦无门控 (w/o Gate) | 62.21 | 71.09 | -13.33 | 89.74 | 93.36 | -4.47 |
| C-LoRA (完整方案) | 64.06 | 73.38 | -9.77 | 90.25 | 93.63 | -3.78 |
此外，为了验证 C-LoRA 的性能提升是否仅仅来源于 Stage-2 特征重采样，下表展示了与扩展 LoRA 方法在 CIFAR-100 和 ImageNet-R 上的对比消融：
| 方法配置 | Split CIFAR-100 Last-Acc (%) | Split CIFAR-100 Inc-Acc (%) | Split ImageNet-R Last-Acc (%) | Split ImageNet-R Inc-Acc (%) |
|---|---|---|---|---|
| EASE | 87.53±0.38 | 91.67±1.04 | 74.52±0.93 | 80.22±1.31 |
| InfLoRA | 84.31±0.28 | 90.31±0.28 | 74.75±0.64 | 80.67±0.55 |
| SD-LoRA | 86.65±1.54 | 90.78±1.25 | 75.72±1.15 | 80.39±0.82 |
| C-LoRA (去掉 Stage-2 重采样) | 88.49±0.24 | 92.19±1.24 | 76.79±0.21 | 82.22±0.59 |
| C-LoRA (完整模型) | 91.70±0.14 | 94.24±0.85 | 77.94±0.41 | 82.99±0.37 |
关键发现¶
- 单适配器击败扩增方案：即便在不启用 Stage-2 偏差校正的前提下，C-LoRA（88.49%）依然直接超越了引入 20 倍参数膨胀的 EASE（87.53%），证明固定低秩空间的表达能力足以承载数十个持续学习任务，以往的多适配器扩展在很大程度上是对未受控梯度干扰的过度工程补偿。
- 解耦消除了梯度放大爆炸：论文在表 9 中对反向传播梯度范数实测显示，未解耦时 10 会话累积的 \(\|\mathcal{R}\|_2\) 从 1.51 增长至 3.06，流入 \(\mathbf{A}\) 的梯度范数放大达 8836 倍；而 C-LoRA 的解耦机制使梯度范数严格保持在低位，平均梯度扰动被压低了 24 倍至 8836 倍。
- 细粒度分布与细粒度遗忘抑制：在细粒度鸟类识别数据集 CUB-200 上，C-LoRA 的首个任务（Task 1）在 10 轮学习后的准确率保持在 83.8%（遗忘率仅 14.6%），而 baseline 遭受了 36.0% 的断崖式遗忘，充分验证了门控保护历史关键子空间的不可替代性。
亮点与洞察¶
- 梯度放大本质溯源：揭示了单 LoRA 持续学习遗忘的底层机理并非模型容量枯竭，而是路由矩阵权重自然增长引发了梯度幅值与方差的失控放大，精准定位到了核心矛盾。
- Stop-Gradient 巧妙解耦：通过在计算图前向传播中保留完整权重信息、反向传播中运用 \(\phi(\cdot)\) 切断基底历史梯度的机制，用零推理开销实现了完美的稳定性-塑性解耦。
- 细粒度无损门控设计：采用数值等价变换 \(\mathcal{R}'_{\delta} = \mathbf{\Gamma} \odot \mathcal{R}_{\delta} + (\mathbf{1}-\mathbf{\Gamma}) \odot \phi(\mathcal{R}_{\delta})\)，前向完全不损失任何特征自由度，后向则精准抑制敏感维度的梯度更新。
局限与展望¶
- 理论假设的理想化前提：定理 1 至定理 3 建立在优化目标具备 \(L\)-光滑性、参数范数有界以及矩阵元素独立同分布（i.i.d.）且零均值的假设上，实际训练中的特征分布与非凸曲面难以完全满足这些条件。
- 任务形式与主干结构单一：实验主要局限于基于 ViT 主干网络的图像类增量分类任务，尚未在目标检测、语义分割等密集预测任务或大语言模型（LLM）的指令增量微调中得到全面验证。
- 后续演进方向：探索跨模态视觉语言模型中的单适配器持续微调机制，以及在多任务、长序列持续指令微调场景下的无扩展适配。
相关工作与启发¶
- vs EASE / InfLoRA / SD-LoRA：以往方法将持续学习视为“参数容量分配问题”，每来一个任务分配一组 LoRA 矩阵或按任务正交化映射，参数线性膨胀；C-LoRA 证明这是“梯度流控制问题”，仅需一个固定单 LoRA 即可达到更优精度。
- vs AdaLoRA：AdaLoRA 依靠重要性剪枝自适应分配秩预算，主要面向静态微调下的参数紧凑性；C-LoRA 的路由矩阵重在跨子空间动态权重调节与历史子空间梯度屏蔽，面向连续任务间的防遗忘控制。
- vs SLCA / L2P / DualPrompt：Prompt 范式依赖键值匹配检索 Prompt，对细粒度视觉域泛化较弱且推理开销大；C-LoRA 纯粹基于权重低秩矩阵的稳态调制，结构简单且部署即用。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从梯度放大视角解析 LoRA 持续遗忘机理，并提出优美且高效的解耦路由矩阵。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、5/10/20 会话跨度、详尽的梯度范数追踪与理论推导证明。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，动机、图示、实验层层递进，结构严密。
- 价值: ⭐⭐⭐⭐⭐ 彻底摆脱了持续学习必须无休止增加适配器的工程负担，对边缘端视觉模型长效部署意义重大。