Making LoRA Identifiable: Orthogonal Alignment for Continual Learning¶
会议: NeurIPS 2026
arXiv: 2610.16664
OpenReview: https://openreview.net/forum?id=6IGj3mpXfp
领域: 模型压缩
关键词: 参数高效微调, 持续学习, 灾难性遗忘, 斯蒂费尔流形, 正交普氏分析
一句话总结¶
针对单一 LoRA 适配器在持续学习中因低秩分解不可辨识性导致的坐标系错位与知识混叠，本文提出 SOAR 框架，通过在训练期将输入矩阵约束在 Stiefel 流形上收敛参数自由度至正交旋转群，并结合正交 Procrustes 旋转对齐与按秩保留门控，在恒定内存下实现无冲突知识巩固。
研究背景与动机¶
在大语言模型面对序列化任务的部署场景中，模型必须持续吸收新技能并抵御灾难性遗忘。参数高效微调（PEFT）特别是 LoRA 成为持续学习（CL）的重要载体，但主流方案往往为每个任务开辟独立的 LoRA 分支或扩展子空间，导致显存开销随任务数量 \(T\) 线性膨胀 \(\mathcal{O}(T(m+n)r)\)。为了打破这一资源瓶颈，学术界开始转向单一适配器持续学习（Single-Adapter CL）范式，尝试在任务切换时将新任务参数迭代合并到统一的低秩结构中，维持 \(\mathcal{O}((m+n)r)\) 的恒定内存成本。
然而，现有单一 LoRA 迭代合并方法存在根本性的数值与几何不稳定性。这一缺陷的根源在于 LoRA 参数化本身的不可辨识性（Non-identifiability）：对于增量权重更新 \(\Delta \mathbf{W} = \mathbf{B}\mathbf{A}\)，任意可逆矩阵 \(\mathbf{R} \in GL(r)\) 都会诱导等价的分解 \((\mathbf{B}\mathbf{R})(\mathbf{R}^{-1}\mathbf{A})\)。标准优化器在各个任务的损失曲面上独立更新时，缺乏正则机制去锚定规范坐标系，致使不同任务收敛到的基向量处于互相扭曲、缩放和错位的隐空间中。在缺乏统一坐标基底的前提下，直接对输入矩阵 \(\mathbf{A}\) 或输出矩阵 \(\mathbf{B}\) 进行算术平均或加权插值，本质上是将几何不可比的基向量强行相加，引入严重的非任务性伪干涉。
即便利用输入因子 \(\mathbf{A}\) 负责低维子空间选取、输出因子 \(\mathbf{B}\) 负责任务自适应的非对称特性，若不消除旋转与仿射漂移，跨任务合并依然脆弱；同时，低秩维度在任务演化中的变化极不均衡，单一全局混合系数容易顾此失彼。本文的核心 idea 是：在训练阶段将输入矩阵 \(\mathbf{A}\) 约束于 Stiefel 流形以消除广义线性变换的不确定性，将不可辨识性收敛至正交旋转群 \(\mathcal{O}(r)\)，随后利用正交 Procrustes 分析闭式解出最优旋转矩阵对齐输出因子 \(\mathbf{B}\)，并根据各低秩分量的余弦方向一致性与幅度漂移设计细粒度按秩保留门控完成自适应合并。
方法详解¶
整体框架¶
SOAR（Stiefel Optimization and Aligned Rotation）是一个两阶段的几何驱动持续 LoRA 学习架构。整个流水线由“流形约束自适应”与“几何对齐合并”前后衔接：在任务 \(t\) 训练时，模型固定预训练权重 \(\mathbf{W}_0\)，输入因子 \(\mathbf{A}\) 在黎曼流形优化下保持行正交归一，输出因子 \(\mathbf{B}\) 进行欧几里得梯度更新；在任务 \(t\) 训练完成后，直接以当前微调得到的正交基作为合并后的输入矩阵，而历史累计的输出矩阵则通过正交 Procrustes 问题对齐到当前任务的旋转坐标系中，最后经由按秩保留门控对各个秩方向分别权衡历史保留与新知识吸收。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务 t 训练样本与损失"] --> B["输入矩阵 Stiefel 流形优化<br/>黎曼梯度投影与极分解回退"]
A --> C["输出矩阵欧氏优化<br/>标准 Adam 梯度更新"]
B --> D["输入因子直接继承更新<br/>A_merge = A_ft"]
C --> E["正交 Procrustes 坐标系对齐<br/>薄 SVD 闭式解最优正交旋转 R*"]
D -.->|提供规范正交基底| E
E --> F["对齐历史因子与当前因子对比<br/>计算方向一致性与归一化漂移"]
F --> G["按秩保留门控与自适应合并<br/>逐低秩维度加权恢复历史知识"]
G --> H["输出合并矩阵 B_merge<br/>完成单一适配器无冲突巩固"]关键设计¶
1. 输入因子 Stiefel 流形约束：消除广义线性变换歧义 针对 LoRA 分解中任意可逆矩阵 \(\mathbf{R} \in GL(r)\) 带来的缩放与剪切扭曲，SOAR 在微调阶段直接将输入因子 \(\mathbf{A} \in \mathbb{R}^{r \times n}\) 限制在行 Stiefel 流形 \(\mathrm{St}(r, n) = \{\mathbf{A} \in \mathbb{R}^{r \times n} \mid \mathbf{A}\mathbf{A}^\top = \mathbf{I}_r\}\) 上。从几何理论上看，若连续两项任务的输入因子均满足 Stiefel 正交条件且满足 \(\mathbf{A}_{t+1} = \mathbf{R}^{-1}\mathbf{A}_t\)，由于 \(\mathbf{I}_r = \mathbf{A}_{t+1}\mathbf{A}_{t+1}^\top = \mathbf{R}^{-1}\mathbf{A}_t\mathbf{A}_t^\top(\mathbf{R}^{-1})^\top = \mathbf{R}^{-1}(\mathbf{R}^{-1})^\top\)，必然迫使 \(\mathbf{R}\mathbf{R}^\top = \mathbf{I}\)，从而将原本无限维度的 \(GL(r)\) 坐标歧义严格压缩至正交变换群 \(\mathcal{O}(r)\)。在实现上，SOAR 绝不采用微调后 QR 分解等后验投影方式（后验投影会割裂优化过程中 \(\mathbf{A}\) 与 \(\mathbf{B}\) 联合形成的表征依赖），而是采用黎曼 Adam 算法：首先计算切空间投影梯度 \(\mathrm{grad}_{\mathbf{A}}\mathcal{L} = \mathbf{G}_{\mathbf{A}} - \frac{1}{2}(\mathbf{G}_{\mathbf{A}}\mathbf{A}^\top + \mathbf{A}\mathbf{G}_{\mathbf{A}}^\top)\mathbf{A}\)，沿切向量步进后再利用极分解回退算子（Polar Retraction）映射回流形，确保整个训练轨迹始终在正交超曲面上运行。
2. 正交 Procrustes 旋转对齐：闭式消除残余正交坐标旋转 Stiefel 约束虽然消除了尺度伸缩，但跨任务的低秩因子仍然可能存在正交旋转漂移 \(\mathbf{R} \in \mathcal{O}(r)\)。若直接将历史合并的输出矩阵 \(\mathbf{B}_{\mathrm{old}} = \mathbf{B}_{\mathrm{merge}}^{(t-1)}\) 与当前微调矩阵 \(\mathbf{B}_{\mathrm{new}} = \mathbf{B}_{\mathrm{ft}}^{(t)}\) 相加，其列向量所代表的物理语义依然是对不齐的。SOAR 引入正交普氏分析（Orthogonal Procrustes Analysis），以当前任务的坐标系为基准，求解全局最优正交变换矩阵：
该极小化问题具备严格的闭式解：只需对两者的互协方差矩阵进行薄奇异值分解（Thin SVD），设 \(\mathbf{B}_{\mathrm{new}}^\top \mathbf{B}_{\mathrm{old}} = \mathbf{U}\mathbf{\Sigma}\mathbf{V}^\top\)，则最优旋转矩阵为 \(\mathbf{R}^* = \mathbf{U}\mathbf{V}^\top\)。随后历史输出矩阵被旋转投影为 \(\widetilde{\mathbf{B}}_{\mathrm{old}} = \mathbf{B}_{\mathrm{old}}(\mathbf{R}^*)^\top\)。这一步骤完全不含超参数，以极低计算复杂度消除了全局坐标系旋转偏移，使得后续两组矩阵的对应列向量具备了精确的逐维度几何可比性。
3. 按秩保留门控与自适应合并：精细化权衡低秩分量的保留与重写 在对齐到统一参考系后，若采用全局标量进行均匀插值，仍无法应对不同低秩方向演化高度异质的现实：部分方向属于跨任务通用的通用表征，而另一些方向则被当前任务深度重写。SOAR 提出了逐秩维度的按秩保留门控机制，对每个低秩列向量 \(i \in \{1, \dots, r\}\) 综合考量两个物理量：一是方向一致性（余弦相似度）\(c_i = \frac{\mathbf{b}_{\mathrm{new},i}^\top \widetilde{\mathbf{b}}_{\mathrm{old},i}}{\|\mathbf{b}_{\mathrm{new},i}\|_2 \|\widetilde{\mathbf{b}}_{\mathrm{old},i}\|_2 + \epsilon}\)，度量两项任务在该秩上的几何朝向契合度；二是归一化漂移残差 \(\delta_i = \frac{\|\mathbf{b}_{\mathrm{new},i} - \widetilde{\mathbf{b}}_{\mathrm{old},i}\|_2^2}{\|\widetilde{\mathbf{b}}_{\mathrm{old},i}\|_2^2 + \epsilon}\)，刻画新任务对该方向相对尺度的修改剧烈程度。将两者结合构建出截断乘积门控：
其中温度系数 \(\tau > 0\) 控制对漂移惩罚的敏感度。最终合并更新公式为 \(\mathbf{b}_{\mathrm{merge},i}^{(t)} = (1 - \gamma_i)\mathbf{b}_{\mathrm{new},i} + \gamma_i \widetilde{\mathbf{b}}_{\mathrm{old},i}\)。当某秩方向被剧烈修改或方向冲突时，\(\gamma_i \to 0\)，以当前任务为主，确保新任务塑性；当几何一致且漂移极小时，\(\gamma_i \to 1\)，充分保留历史记忆，实现稳定性与可塑性的最优解耦。
损失函数 / 训练策略¶
模型在每个任务数据集 \(\mathcal{D}_t\) 上进行微调。对于自回归语言建模，目标为标准的交叉熵损失函数 \(\mathcal{L}_t\)。参数优化采用解耦策略： - 对输出因子 \(\mathbf{B}\) 采用标准欧几里得 Adam 优化器，学习率设为 \(5 \times 10^{-5}\)。 - 对输入因子 \(\mathbf{A}\) 采用基于黎曼流形的 Adam 优化器，在每次参数步进后执行行正交极分解回退投影，严格维持 \(\mathbf{A}\mathbf{A}^\top = \mathbf{I}_r\)。 - 超参数设置：LoRA 秩 \(r = 32\)，缩放系数 \(\alpha = 64\)，门控温度 \(\tau = 0.5\)，LoRA 目标层涵盖注意力机制的 \(q, k, v, o\) 投影层。合并过程为纯数学闭式计算，不引入任何重放数据或微调训练。
实验关键数据¶
主实验¶
论文在 Qwen3-8B、LLaMA-3.1-8B-Instruct 与 LLaMA-3.2-3B-Instruct 上全面评测了三类代表性基准：标准持续学习基准（Standard CL: 4 项任务）、扩展任务基准（Large Number of Tasks: 13 项包含 GLUE、SuperGLUE 等任务）以及复杂指令微调基准（SuperNI: 涵盖对话、摘要、问答等多样任务）。以下展示 Qwen3-8B 上的主实验对比（衡量平均准确率 ACC）：
| 方法 | 适配器存储机制 | Standard CL 平均准确率 (%) | Large Number of Tasks 平均 (%) | SuperNI Benchmark 平均 (%) |
|---|---|---|---|---|
| SeqLoRA | 单一 LoRA 连续微调 | 78.02 | 61.19 | 30.43 |
| IncLoRA | 线性扩增多 LoRA | 82.50 | 65.36 | 34.42 |
| O-LoRA | 正交约束多 LoRA | 83.28 | 67.20 | 34.76 |
| Gain-LoRA | 共享组件任务门控 | 83.48 | 67.39 | 36.90 |
| CorDA | 上下文分解自适应 | 83.25 | 67.10 | 30.33 |
| SLAO (前SOTA) | 单一 LoRA 顺序合并 | 85.99 | 68.49 | 47.84 |
| KnOTS | 离线 SVD 模型合并 | 76.80 | 59.41 | 27.03 |
| LoRA-LEGO | 模块化聚类合并 | 82.64 | 67.42 | 41.02 |
| SOAR (本文) | 单一 LoRA 几何对齐合并 | 89.48 | 70.96 | 51.59 |
注：SOAR 在保持与 SeqLoRA/SLAO 相同单一 LoRA 恒定显存开销的前提下，在所有基准上均刷新纪录，比前 SOTA 单一适配器方法 SLAO 分别提升 +3.49%、+2.47% 与 +3.75%。
消融实验¶
论文针对 Stiefel 流形约束与 Procrustes 门控合并两大核心模块在 Qwen3-8B 上进行了系统的组件解耦消融实验：
| 配置 | 输入矩阵 A 初始化/约束 | 输出矩阵 B 合并策略 | Standard CL (avg %) | Large Tasks (avg %) | SuperNI (avg %) | 说明 |
|---|---|---|---|---|---|---|
| 基线设置 (SLAO) | QR 分解初始化 | \(\lambda\) 调度标量合并 | 85.99 | 68.49 | 47.84 | 传统单适配器基线 |
| 变体 A | Stiefel 训练流形优化 | \(\lambda\) 调度标量合并 | 86.21 | 69.13 | 48.40 | 仅规范流形基底，未对齐 B |
| 变体 B | QR 分解初始化 | SOAR 旋转与门控合并 | 87.67 | 70.02 | 49.29 | 对齐未受保护流形的因子 |
| 完整模型 (SOAR) | Stiefel 训练流形优化 | SOAR 旋转与门控合并 | 89.48 | 70.96 | 51.59 | 两阶段正交约束协同生效 |
此外，针对门控函数形式的消融表明：完全随机门控表现骤降至 61.41%（\(\Delta -9.21\%\)），纯余弦相似度门控为 65.26%（\(\Delta -5.36\%\)），纯残差漂移指数门控为 68.09%（\(\Delta -2.53\%\)），唯有乘积形式的完整门控达到 70.62%，证明了方向与尺度双重滤波的必要性。
关键发现¶
- 后验投影无法替代全程流形约束：若仅在训练后用 QR 分解将 \(\mathbf{A}\) 强行正交化，会撕裂微调期间 \(\mathbf{A}\) 与 \(\mathbf{B}\) 联合优化的耦合格局，导致求得的旋转矩阵 \(\mathbf{R}^*\) 积累系统性误差；必须在全训练期施加 Stiefel 流形约束，才能为 Procrustes 提供高质量的条件数。
- 向后迁移（BWT）大幅改善：在跨任务后向迁移指标对比中，SeqLoRA 因灾难性遗忘 BWT 跌至 -17.57%（SuperNI），SLAO 为 -6.04%，而 SOAR 将遗忘率大幅削减至 -3.43%，证实保留门控显著增强了历史记忆锚定能力。
- 注意力模块演化层次性：深入层级分析显示，Q 与 K 投影层在相似任务间的保留门控值均值最高（\(\gamma_i \approx 0.94\) 与 \(0.93\)），表明注意力寻址子空间具有跨任务通用稳定性；而 V 投影层门控均值仅为 \(0.66\)，表明内容变换层需要更深度的任务定制化重写。
亮点与洞察¶
- 几何代数视角击中痛点：敏锐指出 LoRA 低秩分解内在的 \(GL(r)\) 等价类冗余是模型合并冲突的元凶，通过 Stiefel 流形将自由度收敛至正交群 \(\mathcal{O}(r)\)，数学逻辑严谨自洽。
- 免超参、极速的 Procrustes 闭式解：借助互协方差的薄 SVD 即可瞬间解析出最佳对齐坐标旋转，完全不增加前向或后向显存负担，相比无约束多分支扩展，推理阶段无任何额外延迟与内存。
- 方向与幅度解耦的双重门控：不仅考量向量朝向相似性（Cosine），还引入指数衰减的相对范数偏移惩罚（Residual），巧妙解决了“方向虽一致但参数量级已被洗牌”导致的掩盖性干涉。
局限与展望¶
- 独立列向量假设的局限性：按秩门控将各个秩方向视为相互独立的坐标轴进行标量加权，然而多任务知识可能弥散在若干秩基底构成的连续子空间中，未能建模秩与秩之间的协同旋转相关性。
- 缺乏数据回放时的塑性瓶颈：由于完全不依赖样本重放（Data-Free CL），若某核心低秩方向在连续多个新任务中被持续强烈覆盖，其原始知识仍存在无法完全回溯的风险。
- 未来方向：可进一步探索广义子空间 Grassman 流形层面的子空间合并策略，并将正交对齐思想推广到全量权重合并或更大规模 MoE 架构的专家路由整合中。
相关工作与启发¶
- vs SLAO (Qiao & Mahdavi, 2026)：SLAO 虽探索了单一 LoRA 的按步迭代合并，但未解决 LoRA 的坐标系不可辨识性问题，合并直接在未对齐的参数空间进行；SOAR 则通过 Stiefel 流形约束与 Procrustes 正交旋转，从几何底层纠正了坐标错位。
- vs O-LoRA (Wang et al., 2023) / GainLoRA (Liang et al., 2025)：O-LoRA 与 GainLoRA 采用多 LoRA 分支扩展或任务特定参数插槽，内存随任务数量线性增长；SOAR 始终维护单一 LoRA 适配器，实现 \(\mathcal{O}(1)\) 任务扩展内存成本。
- vs KnOTS (Stoica et al., 2025) / LoRA-LEGO (Zhao et al., 2025)：离线模型合并方法假设所有任务适配器可同时被访问并在离线进行对齐聚类；SOAR 面向流式持续到达的无回放数据环境，提供轻量高效的在线增量合并机制。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从 LoRA 低秩分解不可辨识性与 Stiefel 流形正交群收敛视角重新构建持续学习单一适配器合并范式，理论洞察深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 大模型族、从 3B 到 8B 参数量、3 种跨度极大的基准数据集，提供完整的消融实验、BWT 迁移分析和模块层级可解释性探究。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述环环相扣，从数学引理证明到算法设计过渡自然，实验表格与论证详实透彻。
- 价值: ⭐⭐⭐⭐⭐ 为轻量化单适配器长程在线微调提供了兼顾恒定显存与零遗忘的高效实用工具，极具工程与学术参考价值。