VD-LoRA: Adaptive Reuse of Low-Rank Directions for Continual Learning¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/LuQiongD/VD-LoRA
领域: 模型压缩
关键词: 持续学习 / 类增量学习 / 低秩适应 / 变分推断 / 不确定性估计
一句话总结¶
针对无重放类增量学习中正交 LoRA 静态冻结导致参数空间收缩与可塑性衰退的问题，VD-LoRA 提出低秩方向级变分贝叶斯建模，利用递归后验方差自适应调控保护强度并指导低风险方向复用，在严苛秩约束下显著提升长序列可塑性与稳定性。
研究背景与动机¶
在类增量学习（Class-Incremental Learning, CIL）中，模型需要依次学习一系列新增类别，同时避免对历史类别的灾难性遗忘。随着视觉大模型的发展，基于低秩适应（LoRA）的参数高效微调（PEFT）凭借冻结主干、仅优化低秩残差矩阵的优势，成为无数据重放（rehearsal-free）CIL 的主流范式。为了抑制跨任务干扰，近期代表性工作（如 InfLoRA、BiLoRA、PLAN）广泛引入正交约束，将低秩矩阵展开为固定的列基向量集合，并通过硬性要求新任务分配与旧任务不重叠的更新子空间来实现任务隔离。
然而，严苛的秩预算与长任务序列让这种静态的硬正交策略陷入不可持续的保守困境。在现有的正交 LoRA 范式中，一旦某个低秩方向被历史任务占用，便被永久保护与冻结。随着任务不断累积，可用的低秩更新方向迅速耗尽，后续新任务被迫在急剧缩小的残差空间中微调，导致梯度与可用子空间严重错配，严重削弱了模型学习新知识的可塑性（plasticity）。更本质的问题在于，静态硬保护假设所有历史激活方向都同等敏感，忽略了不同更新方向在历史知识固结度上的异质性：部分方向高度特异且敏感，而部分方向其实干扰风险极低，完全可以被安全复用。
解决上述矛盾的切入点在于：放弃非黑即白的“一旦使用即永久冻结”规则，转而在低秩方向粒度上量化历史知识的不确定性与敏感度，让模型知晓“哪些方向碰不得、哪些方向可安全复用”。本文的核心 idea 是：在 LoRA 字典基方向系数上建立递归变分后验分布，以逆方差自适应决定保护强度，并结合当前任务梯度构建不确定性感知效用评分动态复用低风险方向，在固定秩预算下维持与任务梯度紧密对齐的有效更新空间。
方法详解¶
整体框架¶
VD-LoRA 建立在冻结的预训练主干模型与共享 LoRA 基底字典之上，将低秩权重更新分解为列基方向 \(e_i\) 及其系数向量 \(b_i\) 的线性组合。在每个新任务到达时，方法依次执行三个阶段：首先通过轻量级在线梯度探测与历史不确定性信号计算效用得分，自适应筛选出 top-\(r\) 个最契合当前任务且复用风险低的方向构建当前 LoRA 矩阵；随后在变分贝叶斯框架下更新所选方向的后验参数，并将历史后验作为新先验进行递归约束；同时对未被选中的空闲方向注入不确定性加权扰动进行一致性稳定性正则化，防止未来任务激活这些方向时引发决策边界突变；最终在推理阶段利用后验均值或蒙特卡洛预测平均输出校准良好的预测结果。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["当前任务数据与历史后验字典<br/>输入样本输入与旧任务继承先验"] --> B["不确定性引导的方向自适应选择<br/>梯度探测结合历史方差计算效用并选Top-r"]
B --> C["方向不确定性的变分建模<br/>优化当前任务分类损失与递归先验KL散度"]
B --> D["未选方向的稳定性正则化<br/>未选方向注入方差缩放扰动并约束预测一致性"]
C --> E["共享字典后验递归写回<br/>更新均值与方差作为后续任务先验"]
D --> E
E --> F["后验预测平均与增量推理<br/>蒙特卡洛多样本平均输出稳定校准概率"]关键设计¶
1. 方向不确定性的变分建模：以递归后验方差刻画方向固结度 针对传统正交 LoRA 无法区分方向敏感度、盲目施加均匀硬保护的弊病，本设计将 LoRA 的方向系数从确定性点估计推广到概率空间。给定固定的正交方向基底字典 \(\{e_i\}_{i=1}^{d_{\mathrm{in}}}\)，第 \(t\) 个任务的权重增量表示为 \(\Delta W_t = \sum_{i \in S_t} b_{t,i} e_i^\top\)。为了追踪每个方向的敏感度，模型为每个激活方向的系数向量假设高斯变分后验 \(q_t(b_i) = \mathcal{N}(\mu_{t,i}, \operatorname{diag}(\sigma_{t,i}^2))\)，其中后验方差 \(\sigma_{t,i}^2\) 显式反映了该方向的不确定性：后验方差越小，表明该方向被历史任务充分固结、敏感度极高，必须受到强力保护；反之若方差较大，则说明其承载的历史约束松散，具有再适应弹性。模型采用递归贝叶斯机制，将上一任务的后验直接作为当前任务的先验 \(p_t(b_i) = q_{t-1}(b_i)\)（初始先验为标准正态分布）。变分训练目标结合了任务交叉熵与方向级 KL 散度约束： $\(\mathcal{L}_v = \mathbb{E}_{q_t}\left[\mathcal{L}_{\mathrm{task}}(W_t; \mathcal{D}_t)\right] + \beta \sum_{i \in S_t} \mathrm{KL}\left(q_t(b_i) \,\|\, p_t(b_i)\right)\)$ 由于先验与后验均为对角高斯分布，KL 项具有精确闭式解。该约束惩罚低方差方向向远离历史均值的方向偏移，形成自适应软约束，取代了粗暴的硬正交投影。
2. 不确定性引导的方向自适应选择：兼顾任务增益与干扰风险的效用评分 在固定秩预算 \(r\) 约束下，确定激活子集 \(S_t\) 是保障可塑性与防止遗忘的关键决策。若仅看当前梯度，模型会贪婪占用历史敏感方向导致旧知识崩溃；若仅看正交排除，可用容量又会迅速枯竭。本设计在训练前使用当前任务的极少量小批量样本快速探测各方向的梯度响应 \(g_{t,i} = \nabla_{b_i} \mathcal{L}_{\mathrm{task}}\)，并将其与历史继承的后验方差 \(\sigma_{t-1,i}^2\) 深度融合，构造方向效用评分： $\(u_{t,i} = g_{t,i}^\top \operatorname{diag}\left((\sigma_{t-1,i}^2 + \varepsilon)^\gamma\right) g_{t,i}\)$ 其中 \(\varepsilon\) 为防止除零的数值稳定性常数，\(\gamma\) 为调控不确定性权重的超参数。该效用函数的设计逻辑极其明确：只有当某个方向既能对当前任务提供高梯度能量（\(g_{t,i}\) 模长显著），又具备较高的历史不确定性（\(\sigma_{t-1,i}^2\) 较大、复用风险低）时，得分才会达到峰值；而已被高度固结的敏感方向即使当前梯度很大，也会因方差极小被有效抑制。模型在全局字典中直接选取前 \(r\) 个最大效用得分的方向构成 \(S_t\)，实现了对低风险历史方向的原则性复用与新方向的开辟。
3. 未选方向的稳定性正则化：注入不确定性加权扰动防御未来漂移 在多任务长序列学习中，当前任务未选中的空闲方向 \(i \notin S_t\) 虽然暂时保持冻结，但极有可能在后续任务中被激活并改变特征表达。若当前模型对这些未激活方向的微小输入扰动高度敏感，未来任务在这些方向上的更新就会产生剧烈的特征侧漏，破坏当前任务建立的判别边界。为此，本设计提出前瞻性的扰动一致性正则化：在当前层特征 \(h\) 上，主动注入由未选方向不确定性方差缩放的高斯噪声： $\(\tilde{h} = h + \rho \sum_{i \notin S_t} \sigma_{t-1,i} \odot \epsilon_i, \quad \epsilon_i \sim \mathcal{N}(0, I)\)$ 噪声强度与方向的不确定性成正比，即越有可能在未来被选取的弹性方向，受到的模拟扰动越强。随后通过对称停止梯度的预测散度约束迫使原特征与扰动特征的分类预测对齐： $\(\mathcal{L}_{\mathrm{stab}} = \mathrm{KL}\left(\mathrm{sg}(p) \,\|\, \tilde{p}\right)\)$ 联合目标函数为 \(\mathcal{L} = \mathcal{L}_v + \lambda \mathcal{L}_{\mathrm{stab}}\)。这一设计迫使模型在表征空间对潜在复用方向形成平滑鲁棒性，显著增强了对抗未来漂移的免疫力。
损失函数 / 训练策略¶
VD-LoRA 的总训练目标为 \(\mathcal{L} = \mathcal{L}_v + \lambda \mathcal{L}_{\mathrm{stab}}\)。具体实现时，LoRA 模块插入在 ViT-B/16 注意力块的 key 和 value 投影层中。优化器采用 Adam（\(\beta_1=0.9, \beta_2=0.999\)），批大小设为 128。在各任务开始前仅需前向反向 1-2 个 mini-batch 计算梯度探测向量 \(g_{t,i}\)，完成 top-\(r\) 排序后保持 \(S_t\) 不变。变分后验参数采用重参数化技巧进行反向传播更新。超参数设置保持高度稳健，通常 \(\beta_{\mathrm{max}} \in [10^{-4}, 10^{-3}]\)，\(\lambda \in [0.05, 0.2]\)，\(\gamma \in [0.25, 0.75]\)。
实验关键数据¶
主实验¶
评估在主流基准 ImageNet-R（分 5、10、20 任务）、CIFAR-100、ImageNet-A 及 VTAB 上进行，均基于预训练 ViT-B/16。对比指标包括最终准确率（Acc）与全程平均准确率（Average Anytime Accuracy, AAA）。
| 数据集 / 设定 | 指标 | VD-LoRA (本文) | 次优基线 (CL-LoRA / LoRA-DRS) | 性能优势 |
|---|---|---|---|---|
| ImageNet-R (N = 5) | Acc / AAA (%) | 80.22 (±0.52) / 85.77 (±0.38) | 79.88 (±0.52) / 84.98 (±0.49) | +0.34 / +0.79 |
| ImageNet-R (N = 10) | Acc / AAA (%) | 79.55 (±0.39) / 84.97 (±1.23) | 78.94 (±0.54) / 84.49 (±0.61) | +0.61 / +0.48 |
| ImageNet-R (N = 20) | Acc / AAA (%) | 77.53 (±0.35) / 83.90 (±0.77) | 76.11 (±0.24) / 83.23 (±0.92) | +1.42 / +0.67 |
| CIFAR-100 (N = 10) | Acc / AAA (%) | 89.69 (±0.31) / 92.72 (±0.11) | 88.52 (±0.37) / 92.01 (±0.16) | +1.17 / +0.71 |
| ImageNet-A (N = 10) | Acc / AAA (%) | 60.27 (±0.88) / 70.18 (±1.24) | 59.14 (±0.39) / 69.49 (±1.73) | +1.13 / +0.69 |
| VTAB (19 任务) | Acc / AAA (%) | 94.11 (±0.22) / 94.45 (±0.63) | 93.66 (±0.29) / 94.13 (±0.48) | +0.45 / +0.32 |
消融实验¶
在 ImageNet-R（分别评估 5、10、20 任务设置下的 AAA 指标）对三大核心模块展开递进式消融分析：递归变分 KL 正则化（RKL）、不确定性引导方向选择（SEL，关闭时使用随机选择）、以及未选方向稳定性正则化（STR）。同时考察模型的不确定性标定质量（ECE 与 NLL）。
| 配置与模块组合 | RKL (递归KL) | SEL (自适应选择) | STR (稳定性扰动) | N = 5 AAA (%) | N = 10 AAA (%) | N = 20 AAA (%) |
|---|---|---|---|---|---|---|
| 基线（随机选取 + 无保护） | ✗ | ✗ | ✗ | 80.22 | 76.54 | 68.95 |
| + 递归变分保护 | ✓ | ✗ | ✗ | 83.30 | 80.20 | 73.80 |
| + 不确定性自适应选择 | ✓ | ✓ | ✗ | 85.10 | 83.60 | 82.60 |
| VD-LoRA 完整模型 | ✓ | ✓ | ✓ | 85.77 | 84.97 | 83.90 |
在标定误差评估中（ImageNet-R, \(N=10\)），VD-LoRA 展现出极高置信度可靠性：期望校准误差 ECE 降至 0.0120（相比 CL-LoRA 的 0.0204 与 InfLoRA 的 0.0256），负对数似然 NLL 降至 0.7001（显著优于 CL-LoRA 的 0.8457 与 InfLoRA 的 1.1271）。
关键发现¶
- 长序列长程优势急剧扩大：在任务数较少时（\(N=5\)），传统正交 LoRA 空间未被耗尽，VD-LoRA 领先优势为 0.34%；但在任务数增加到 \(N=20\) 时，硬正交基线因容量塌陷性能大幅下滑，VD-LoRA 领先优势扩大至 +1.42%（Acc 从 76.11% 提升至 77.53%），证明自适应复用有效打破了长程序列下的容量瓶颈。
- 极端低秩场景下塑性更强：在秩预算消融中（ImageNet-R, \(N=20\)），当 \(r=1\) 时 VD-LoRA 达到 75.92% Acc，远超 InfLoRA 的 69.52%（高出 6.40%）；梯度对齐塑性比率 \(\eta^2(t)\) 验证表明，VD-LoRA 在整个任务序列中保留的可用任务梯度能量显著高于 InfLoRA 与 BiLoRA。
- 后验方差真实反映画面敏感度：通过对激活方向施加扰动探测历史任务损失变化，实测敏感度与后验标准差呈现强负相关（Pearson \(r=-0.79\)，Spearman \(r=-0.71\)），验证了贝叶斯后验方差作为保护权重的理论正确性。
亮点与洞察¶
- 将几何硬正交升华为概率软约束：传统方法试图用刚性正交消除干扰，但在小参数空间中不可持续；VD-LoRA 巧妙将矩阵分解系数赋予贝叶斯分布，用后验逆方差代替硬投影矩阵，兼具隔离性与弹性。
- 效用评分巧妙化解“选哪个”与“保哪个”的双重难题：效用函数将当前任务的梯度幅度与历史不确定性相乘，以极小的在线探测代价在毫秒级时间内完成了“收益最大化与干扰最小化”的帕累托最优方向筛选。
- 未激活方向的扰动正则化具备通用防御价值：前瞻性地将未来可能被复用的弹性方向在当前任务训练时作为对抗噪声注入，迫使特征提取器形成平滑决策边界，这种“防患于未然”的思想可广泛借鉴至各种模块化持续学习架构。
局限与展望¶
- 作者承认的局限：目前机制仍假定每层使用统一固定的激活秩数 \(r\)，尚未实现不同任务间的自适应动态秩分配；同时方法依赖任务明确分界的离散步进机制，未覆盖无任务边界（Task-Free）流式学习场景。
- 深入观察与延伸：当前梯度探测仅使用小批量无标签或小样本估计，当任务内类别极其不平衡或样本极端匮乏时，一次性计算的初始梯度可能存在偏差；此外，共享基底字典的大小 \(d_{\mathrm{in}}\) 仍然受限于主干维数。
- 改进思路：可进一步结合可微分门控或强化学习，探索动态自适应分配每个任务所需的方向数量 \(r_t\)；并将贝叶斯不确定性跟踪推广至在线测试时适应（TTA）和多模态大模型的自回归生成任务中。
相关工作与启发¶
- vs InfLoRA / BiLoRA: InfLoRA 与 BiLoRA 采用固定的非重叠子空间划分或几乎正交约束，方向一旦激活便永久冻结，长任务下更新空间迅速枯竭；VD-LoRA 引入贝叶斯后验方差，将硬性正交转为连续的软保护强度，实现了低风险方向的受控复用。
- vs CL-LoRA / SD-LoRA: CL-LoRA 等方法依赖历史适配器的启发式重加权或任务特定路由，在推理时可能增加组合复杂度；VD-LoRA 在训练时自适应合并更新至共享字典，推理时仅保留均值或标准蒙特卡洛预测，无额外存储与路由开销。
- vs BLoB / Bayesian-LoRA: 现有贝叶斯 LoRA 多用于静态微调中的不确定性量化或剪枝，缺乏跨任务任务级递归传递；VD-LoRA 首次在持续学习中建立基于列基方向的递归先验-后验链条，开创了方向级不确定性驱动的可塑性维持范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将变分贝叶斯不确定性引入 LoRA 基底方向管理，用软性自适应复用取代硬正交，立意深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准、多任务细粒度切分、梯度对齐度量与敏感度相关性分析，论据极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学推导与直觉对应严丝合缝，逻辑闭环。
- 价值: ⭐⭐⭐⭐⭐ 为参数高效持续学习提供了优雅的破解容量塌陷方案，对大模型轻量终身学习具重要指导意义。