PaLoRA: Paced Low-Rank Adaptation for Continual Learning¶

会议: NeurIPS 2026
arXiv: 2610.04226
OpenReview: https://openreview.net/forum?id=fU1XY23snF
代码: https://github.com/liyuxuan-github/PaLoRA
领域: 其他
关键词: 持续学习、参数高效微调、低秩适应、梯度投影、步长调整

一句话总结¶

PaLoRA 揭示了 LoRA 持续学习中有限精度导致的跨子空间各向异性泄漏问题，推导出梯步缩放约束随历史有效秩以 $s^* = \sqrt{R/c}$ 动态增强的 Pace 律，结合自适应 SVD 压缩、零空间梯度投影与特征三元组正则化，在长序列持续学习中显著抑制灾难性遗忘。

研究背景与动机¶

基于预训练视觉 Transformer（ViT）与低秩适应（LoRA）的无样本类增量学习（EFCIL）已成为持续学习的重要范式，它通过冻结主干权重、仅微调轻量低秩矩阵，试图在保护通用表征的同时高效吸收新任务知识。现有方法大多聚焦于“方向隔离”，例如将新任务参数更新显式约束到历史累积特征的零空间（Nullspace），以期在数学上消除对旧任务输出的干扰。然而在工程实践中，几乎所有主流方法仍必须机械地搭配极小的学习率作为启发式防线；一旦任务流延伸至数十个长序列阶段，模型的分类精度仍会不可避免地崩塌。

这一现象背后的核心矛盾在于：方向投影在有限精度算术与离散优化下绝非理想屏障，梯度更新必然会沿着多个历史奇异方向不可避免地泄漏到已学子空间中；而固定的学习率或固定惩罚强度在任务不断累积时是本质次优的。随着学习任务序列增长，累积历史参数所编码的知识体量与复杂度（有效秩）显著扩张，新任务在单一阶段的经验最优解距离全局联合最优解愈发遥远。此时若依然保持恒定的更新步长，跨方向累积的微小泄漏将呈平方级放大遗忘，使得塑性（学习新知识）与稳定性（保留旧知识）的动态天平严重失衡。

面对这一困境，本文从优化轨迹动力学与各向异性泄漏模型出发，不再将步长限制视为经验技巧，而是进行严格的形式化推导：当历史有效秩增长时，更新幅度的限制强度应当随之自适应单调增强。核心 idea：在各向异性泄漏与局部二阶敏感度假设下，推导并证明了梯步缩放分母的最优 Pace 律为 $s^* = \sqrt{R/c}$，据此设计出集自适应 SVD 压缩、历史零空间投影与秩感知步长调整于一体的 PaLoRA 框架。

方法详解¶

整体框架¶

PaLoRA 针对顺序到达的离散任务流 $\mathcal{T}_1, \dots, \mathcal{T}_T$ 展开。预训练模型权重 $W_0$ 全程保持冻结；在学习当前任务 $t$ 时，前序任务累积的低秩更新 $\Delta W_{t-1}$ 亦被固化。每个任务的低秩增量参数化为 $B_t A_t$，其中输入方向因子 $A_t$ 显式施加归一化约束以仅控制更新方向，而输出因子 $B_t$ 初始化为零并负责调控更新幅度。

方法的完整执行流程分为两个主要阶段：在任务边界处，执行“阶段 I：自适应秩压缩”，通过对累积更新矩阵进行 SVD 分解并按奇异值能量阈值截断，自适应提取历史有效秩 $R$ 与非冗余零空间投影算子 $P$；在任务训练阶段，执行“阶段 II：秩感知步长调整”，将 $A_t$ 的梯度投影到正交补空间以阻隔方向干扰，同时将 $B_t$ 的梯度更新严格除以理论推导的步长分母 $\sqrt{R/C}$，实现基于历史知识体量的动态步长衰减。此外，框架辅以特征空间三元组正则项以补偿投影导致的塑性损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据流：任务 t 样本"] --> B["阶段 I：自适应秩压缩<br/>SVD 分解与能量截断确定有效秩 R"]
    B --> C["构建历史知识保护基底<br/>计算正交补零空间投影矩阵 P"]
    C --> D["阶段 II：秩感知步长调整<br/>At 零空间投影 + Bt 梯度除以 sqrt(R/C)"]
    D --> E["塑性补偿特征正则化<br/>近邻负样本间隔三元组损失"]
    E --> F["更新当前任务 LoRA 因子 At, Bt<br/>预训练权重 W0 与历史更新保持冻结"]

关键设计¶

1. 理论 Pace 律推导：揭示遗忘-塑性在有效秩下的非对称权衡

在传统方法中，学习率衰减或梯度裁剪属于试错超参数。论文在单层线性回归模型与冻结权重 $W_0$ 假设下，建立了各向异性泄漏模型：假设在有限精度下，投影后的更新步在历史奇异方向基底 $\{u_i v_i^\top\}_{i=1}^R$ 上的残差分量满足方差 $\mathbb{E}[\epsilon_i^2] = \eta^2 \gamma_i^2 / s^2$，旧任务损失在局部具有二阶曲率 $\lambda_i > 0$。推导表明，单步预期的旧任务遗忘量与步长分母 $s$ 呈平方反比，而新任务的一阶优化收益（塑性）仅随 $s$ 线性衰减： $$ \mathbb{E}[\Delta \mathcal{L}_{t-1}] = \frac{\eta^2 R \Gamma^2}{2 s^2}, \quad \Delta \mathcal{L}_t \approx - \frac{\eta G^2}{s} $$ 其中 $\Gamma^2 = \frac{1}{R} \sum_{i=1}^R \lambda_i \gamma_i^2$ 为平均泄漏-曲率积，$G^2$ 为投影梯度的 Frobenius 范数平方。若给定每步允许容忍的遗忘预算 $\epsilon_0 = c \cdot \epsilon_{\text{dir}} = c \cdot \frac{\eta^2 \Gamma^2}{2}$，在约束 $\mathbb{E}[\Delta \mathcal{L}_{t-1}] \le \epsilon_0$ 下最大化新任务收益，极值点恰好落在边界处，严格解析解为： $$ s^* = \sqrt{\frac{R}{c}} $$ 该公式证明了梯步缩放分母必须正比于历史知识有效秩 $R$ 的平方根：任何 $s < \sqrt{R/c}$ 都会击穿遗忘预算，而任何 $s > \sqrt{R/c}$ 则会不必要地损害新任务收敛速度。

2. 自适应秩压缩与零空间方向隔离：消除跨任务冗余并计算投影算子

若直接令历史秩 $R = (t-1) \times r$ 线性累加，不仅会因不同任务间的特征共享造成严重秩冗余，还会由于保留过多无关维度而过早耗尽可供后续任务优化的零空间自由度。PaLoRA 在完成任务 $t-1$ 后，将归一化后的低秩乘积 $\frac{B_{t-1} A_{t-1}}{\|A_{t-1}\|}$ 融入历史更新累加阵 $\Delta W_{t-2}$，执行紧凑 SVD： $$ C_{t-1} = U \Sigma V^\top = \sum_{i=1}^{R_{\text{raw}}} \sigma_i u_i v_i^\top $$ 通过设定前累积能量阈值 $\tau$（默认 0.99），仅保留使 $\sum_{i=1}^R \sigma_i^2 / \sum_j \sigma_j^2 \ge \tau$ 成立的最小截断奇异值个数作为当前有效秩 $R$。由此构造行空间正交补基底 $V_\perp = [v_{R+1}, \dots, v_d]$，并导出零空间投影矩阵 $P = V_\perp V_\perp^\top$。在训练任务 $t$ 时，通过将 $A_t$ 的梯度更新严格投影到 $P$ 上，使新参数更新与所有旧任务历史输入表征在理论上正交。

3. 秩感知梯度步调调控与特征塑性补偿：解耦更新幅度并保持类间可分性

在标准 LoRA 中，矩阵 $A_t$ 与 $B_t$ 的尺度具有对称缩放歧义性。PaLoRA 将 $A_t$ 强制单位范数归一化，仅承担在零空间中寻优“特征适配方向”的职责；而输出矩阵 $B_t$ 从全零初始化开始，完全主导“更新步长幅度”。在反向传播时，PaLoRA 将 $B_t$ 的实际梯度除以自适应缩放系数 $\sqrt{R/C}$（其中 $C$ 为经验预算常数，默认设为 4）。

然而，零空间投影不可避免地削减了参数优化的自由度，容易导致当前任务表征重叠。为了主动补偿塑性，PaLoRA 引入了基于最近邻负样本边界的三元组损失项： $$ \mathcal{L}{\text{reg}} = \frac{1}{N} \sum^N \left[ d_i^+ - d_i^- + m \right]_+ $$ 在具体实现中，由于将锚点自身纳入正样本集合，正样本距离 $d_i^+$ 严格恒等于 0，该损失实质上演变为强制将表征推离最近异类样本的排斥间隔约束，与主分类交叉熵损失加权协同优化。

损失函数 / 训练策略¶

模型总体训练目标由主分类任务的标准交叉熵损失 $\mathcal{L}_{\text{CE}}$ 与特征排斥正则项 $\mathcal{L}_{\text{reg}}$ 线性组合而成： $$ \mathcal{L}{\text{total}} = \mathcal{L} $$ 在 ViT-B/16-IN21K 架构中，LoRA 模块仅注入到注意力机制的 Key 与 Value 投影层。在训练超参数上，特征正则权重 }} + \lambda \mathcal{L}_{\text{reg}$\lambda$ 设定为 0.5，间隔边界 $m = 2.0$；优化器采用 Adam，初始学习率为 $5 \times 10^{-4}$，Batch Size 设为 128。在 ImageNet-R 与 ImageNet-A 数据集上每个任务训练 50 个 Epoch，在 CIFAR-100 上训练 20 个 Epoch。在各个阶段交界处，SVD 分解仅需单次耗时约 0.08 秒，整体训练计算开销显著低于同类正交优化基线。

实验关键数据¶

主实验¶

论文在 CIFAR-100、ImageNet-R 和 ImageNet-A 三大基准上评估了 10、20、25 和 50 个连续任务切分场景。核心指标包括最终任务学习完成后的全类平均精度 $\text{ACC}_T$ 以及历经每个任务后的平均历史累积精度 $\overline{\text{ACC}_T}$（采用 5 个随机种子 0–4 计算均值与标准差）。下表展示了最具挑战性的 50 任务长程设定下的主对比结果：

数据集	评估指标	PaLoRA（本文）	LoRA-DRS (CVPR'25)	InfLoRA (CVPR'24)	Sequence (全微调无防护)	相比最强基线提升
ImageNet-R (50 tasks)	$\text{ACC}_{50}$ (%)	76.56 ± 0.23	72.47 ± 0.56	66.52 ± 1.13	47.48 ± 0.05	+4.09%
ImageNet-R (50 tasks)	$\overline{\text{ACC}_{50}}$ (%)	80.68 ± 0.39	77.19 ± 0.64	73.09 ± 0.67	62.94 ± 0.60	+3.49%
ImageNet-A (50 tasks)	$\text{ACC}_{50}$ (%)	60.90 ± 0.28	56.91 ± 0.23	45.30 ± 3.91	15.61 ± 8.38	+3.99%
ImageNet-A (50 tasks)	$\overline{\text{ACC}_{50}}$ (%)	72.41 ± 0.16	68.22 ± 0.28	60.28 ± 0.39	37.62 ± 1.41	+4.19%
CIFAR-100 (50 tasks)	$\text{ACC}_{50}$ (%)	88.96 ± 0.14	87.02 ± 0.15	76.04 ± 1.92	77.52 ± 5.94	+1.94%
CIFAR-100 (50 tasks)	$\overline{\text{ACC}_{50}}$ (%)	92.51 ± 0.02	91.45 ± 0.25	83.31 ± 2.78	85.01 ± 4.23	+1.06%

在跨度长达 50 任务的极端持续微调中，未加防护的 Sequence 严重退化（在 ImageNet-A 上仅剩 15.61%）；而 PaLoRA 不仅全线大幅超越 InfLoRA、BiLoRA 和 LoRA-DRS，且随着任务步数从 10 激增到 50，PaLoRA 的性能仅微幅下滑 2.19%（ImageNet-R）与 0.65%（ImageNet-A），展现出近乎理想的抗遗忘稳定性。在后向迁移能力（BWT）测试中，PaLoRA 在 CIFAR-100 与 ImageNet-A 50 任务下分别达到 -4.72% 与 -7.09%，显著优于 LoRA-DRS 的 -5.26% 与 -9.01%。

消融实验¶

为明确分解各核心模块的作用，论文在 ImageNet-A 与 CIFAR-100 上进行了详实的剥离与超参数敏感度测试。下表汇总了 CIFAR-100 上的组件剥离效果，以及在 50-task ImageNet-A 上验证理论步长指数 $\alpha$（对应步长缩放分母 $s = R^\alpha / \kappa$）的消融数据：

配置 / 变体	数据集与任务设定	最终精度 $\text{ACC}_T$ (%)	平均精度 $\overline{\text{ACC}_T}$ (%)	机制说明与观测结论
Sequence 基线	CIFAR-100 (50 tasks)	81.72	87.99	无零空间投影与 Pace 控制，灾难性遗忘显著
Sequence + 三元组正则	CIFAR-100 (50 tasks)	80.00	89.25	缺乏稳定性约束时，单纯正则反而导致旧知识破坏加剧
PaLoRA w/o 三元组正则	CIFAR-100 (50 tasks)	88.23	92.40	保留了全部增益的绝大部分，证明 Pace 与投影是防遗忘基石
PaLoRA 完整框架	CIFAR-100 (50 tasks)	88.86	92.53	特征三元组提供塑性补偿，进一步提升 0.63%
步长指数 $\alpha = 0.125$	ImageNet-A (50 tasks)	~53.5	—	步长缩放对历史秩不敏感，稳定性欠缺，遗忘加重
步长指数 $\alpha = 0.25$	ImageNet-A (50 tasks)	~56.8	—	约束不足，后期跨任务干扰累积
理论最优指数 $\alpha = 0.5$ ($s \propto \sqrt{R}$)	ImageNet-A (50 tasks)	60.90	72.41	取得最高综合精度，精确契合理论预测的平方根缩放律
步长指数 $\alpha = 1.0$	ImageNet-A (50 tasks)	~58.2	—	约束过强，显著抑制了新任务特征学习的塑性
步长指数 $\alpha = 2.0$	ImageNet-A (50 tasks)	~49.1	—	步长过度收缩，新任务难以收敛，训练损失过高

关键发现¶

步长缩放规律与理论精准契合：当梯步分母指数 $\alpha = 0.5$（即 $s \propto \sqrt{R}$）时，模型在塑性（训练损失）与稳定性（遗忘量）之间达成了帕累托最优平衡；过小则后期防不住泄漏，过大则过早锁死模型塑性。
自适应 SVD 压缩至关重要：在能量阈值 $\tau = 0.99$ 下，有效秩 $R$ 的增长曲线显著低于线性累加的无压缩基线，使模型在长任务流后期依然留有充分的零空间供新任务适配；而强行降低 $\tau = 0.95$ 会使平均截断秩降至 39.6，导致欠拟合与精度下跌至 84.16%。
对通用 LoRA 变体与骨干具备高兼容性：PaLoRA 机制可无缝移植至 PiSSA 初始化方案，在 CIFAR-100 50 任务上将 PiSSA 的顺序微调精度由 71.85% 跃升至 89.30%；在自监督预训练的 DINOv1 和 iBOT 骨干网络上同样刷新了 SOTA 表现。

亮点与洞察¶

从直觉调参到坚实理论指导：揭示了持续学习中“小学习率有效”背后的深层数理机制——步长收缩对防遗忘带来二次方收益，而对新任务塑性仅造成线性代价，从而推导出闭式解 $s^* = \sqrt{R/c}$。
解耦 LoRA 参数职责的精妙设计：通过对矩阵 $A_t$ 施加范数归一化并进行零空间投影、对全零初始化的 $B_t$ 施加理论梯度缩放，干净利落地将“更新方向隔离”与“更新幅度自适应步调”在架构层面对齐解耦。
优异的长序列扩展力与极低开销：在 50 个连续任务的严苛挑战下性能几乎不衰退，且每次任务交界处的 SVD 计算在单张 RTX 4080 GPU 上仅耗时 0.08 秒，具备极高的实际部署复用价值。

局限与展望¶

理论推导局限于单层线性简化模型：最优 Pace 律是在单层线性回归与局部二阶曲率假设下给出的，在深层非线性 ViT 中的优异表现属于原理性启发式迁移，尚未建立严格的非凸深度网络泛化理论保证。
评测场景局限于图像分类基准：当前验证集中在视觉分类基准（CIFAR/ImageNet-A/R），尚未在自回归因果大语言模型（LLM）或多模态生成式任务中系统评估其有效性。
外加三元组正则属于经验组件：虽然有效补足了零空间约束造成的塑性损失，但该特征正则化并不在理论 Pace 律的推导体系内，理论闭环仍有待完善。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次揭示有限精度子空间泄漏机制并严格推导出 $\sqrt{R/c}$ 持续学习步长定律]
实验充分度: ⭐⭐⭐⭐⭐ [跨三大基准、4种任务切分、5个随机种子均值方差评测，且覆盖50任务极限长序列]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑严密，理论推导详实，图表表达直观清晰]
价值: ⭐⭐⭐⭐⭐ [为 PEFT 与持续学习领域的步长控制提供了首个有理论依据的自适应范式，代码开源完备]

数据集	评估指标	PaLoRA（本文）	LoRA-DRS (CVPR'25)	InfLoRA (CVPR'24)	Sequence (全微调无防护)	相比最强基线提升
ImageNet-R (50 tasks)	\(\text{ACC}_{50}\) (%)	76.56 ± 0.23	72.47 ± 0.56	66.52 ± 1.13	47.48 ± 0.05	+4.09%
ImageNet-R (50 tasks)	\(\overline{\text{ACC}_{50}}\) (%)	80.68 ± 0.39	77.19 ± 0.64	73.09 ± 0.67	62.94 ± 0.60	+3.49%
ImageNet-A (50 tasks)	\(\text{ACC}_{50}\) (%)	60.90 ± 0.28	56.91 ± 0.23	45.30 ± 3.91	15.61 ± 8.38	+3.99%
ImageNet-A (50 tasks)	\(\overline{\text{ACC}_{50}}\) (%)	72.41 ± 0.16	68.22 ± 0.28	60.28 ± 0.39	37.62 ± 1.41	+4.19%
CIFAR-100 (50 tasks)	\(\text{ACC}_{50}\) (%)	88.96 ± 0.14	87.02 ± 0.15	76.04 ± 1.92	77.52 ± 5.94	+1.94%
CIFAR-100 (50 tasks)	\(\overline{\text{ACC}_{50}}\) (%)	92.51 ± 0.02	91.45 ± 0.25	83.31 ± 2.78	85.01 ± 4.23	+1.06%