PGSB: Pretrained-Guided Shared Basis for LoRA Model Merging¶

会议: NeurIPS 2026
arXiv: 2610.14558
代码: https://github.com/Kitschnada/Pretrained-Basis
领域: 模型压缩
关键词: LoRA模型合并, 共享子空间提取, 预训练几何耦合, 坐标系精炼, 多任务模型融合

一句话总结¶

本文提出预训练引导的共享基底框架（PGSB），先通过紧凑SVD提取LoRA多任务共享子空间，再利用预训练权重几何耦合与奇异值加权精炼合并坐标系，在极低计算开销下显著降低坐标级合并冲突并提升多任务与迁移性能。

研究背景与动机¶

随着预训练大模型在计算机视觉与自然语言处理领域的全面普及，如何以极低成本将针对不同下游任务独立微调的模型融合为统一的多任务模型，成为了模型合并（Model Merging）领域的核心课题。传统的任务算术（Task Arithmetic）、TIES-Merging以及DARE等方法主要针对全参数微调（Full Fine-Tuning）设计，假设每个任务更新都作用于完整的全量参数空间。然而，随着主干网络参数量剧增，维护并合并全量参数在计算、内存与存储上都变得极其昂贵，因而基于参数高效微调（PEFT，特别是LoRA）的模型合并受到了前所未有的关注。

然而，将现有合并方法直接套用到LoRA适配器上存在本质上的几何失配。LoRA的微调更新由一对低秩矩阵分解表示，并非全秩更新，如果直接展开为全量矩阵或直接在原始低秩因子空间进行元素级合并，会忽略任务间更新方向的共享支撑结构。近期的方法（如KnOTS与Core Space）虽然尝试将LoRA更新投影到共享子空间中，但仍面临双重困境：KnOTS通过对拼接的全尺寸更新矩阵执行SVD来提取共享基底，计算复杂度随环境权重维度三次幂爆炸，且只对单侧（左侧）基底做了显式共享；Core Space虽然在低秩因子上操作提高了效率，但左右子空间分别独立抽取，割裂了完整重构更新的奇异值强度，且二者均直接沿用了SVD自带的任意正交基，完全未考虑与基座预训练模型权重空间的几何耦合。

针对上述瓶颈，本文指出同一个子空间内的基底选取具有旋转任意性，而诸如TIES等依赖元素级符号选择和幅度裁剪的合并算法对基底坐标系极端敏感。若基底坐标未经预训练权重对齐，预训练权重在不同共享方向间的交叉耦合会导致坐标混叠，从而在独立裁剪时破坏原有的重要相关性。核心 idea：将LoRA模型合并显式解耦为“任务共享子空间提取（TSE）”与“预训练耦合坐标精炼（PCR）”两阶段，通过双边低秩因子SVD提取完整的任务共享左右支撑基，并利用奇异值加权的预训练投影矩阵对齐坐标系，消除预训练权重耦合引发的坐标混叠。

方法详解¶

整体框架¶

PGSB的输入为冻结的预训练层权重 $\mathbf{W}_0 \in \mathbb{R}^{d_{\text{out}} \times d_{\text{in}}}$ 以及 $T$ 个任务特定的LoRA更新对 $\{\Delta \mathbf{W}_t = \mathbf{B}_t \mathbf{A}_t\}_{t=1}^T$（其中 $\mathbf{B}_t \in \mathbb{R}^{d_{\text{out}} \times r}, \mathbf{A}_t \in \mathbb{R}^{r \times d_{\text{in}}}$），输出为融合后的多任务增量 $\Delta \mathbf{W}^\star$。整个流程分为两阶段：第一阶段任务共享子空间提取（TSE），分别从任务更新的列空间与行空间中提取共享正交支撑矩阵；第二阶段预训练耦合坐标精炼（PCR），计算预训练权重在支撑基下的投影耦合，并以奇异谱加权后通过二次SVD解耦主交互坐标；最后将LoRA更新映射到精炼坐标系中执行下游合并算子 $\mathcal{M}$，并重构映射回原参数空间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务特定LoRA更新<br/>ΔW_t = B_t A_t 与 预训练权重 W_0"] --> B["阶段1：任务共享子空间提取 (TSE)<br/>双边紧凑SVD构建低秩支撑矩阵 U_L 与 U_R"]
    B --> C["阶段2：预训练耦合坐标精炼 (PCR)<br/>计算加权预训练耦合 T = Σ_L (U_L^T W_0 U_R) Σ_R 并SVD解耦"]
    C --> D["坐标系旋转与基底构建<br/>Q_L = U_L O_L, Q_R = U_R O_R"]
    D --> E["坐标投影与多任务合并<br/>C_t = Q_L^T ΔW_t Q_R, C* = M(C_1, ..., C_T)"]
    E --> F["重构多任务合并模型<br/>W_merge = W_0 + Q_L C* Q_R^T"]

关键设计¶

1. 任务共享子空间提取：双边低秩等价SVD分解

以往方法要么仅对列空间做对齐（如KnOTS），要么在 $\mathbf{B}_t$ 与 $\mathbf{A}_t$ 上独立求基导致割裂（如Core Space）。由于矩阵乘法 $\Delta \mathbf{W}_t$ 同时作用于列空间和行空间，必须同时构建左支撑基 $\mathbf{U}_L$ 与右支撑基 $\mathbf{U}_R$。若直接对拼接全量矩阵 $[\Delta \mathbf{W}_1, \dots, \Delta \mathbf{W}_T]$ 及其转置求SVD，时间复杂度高达 $\mathcal{O}(n^3 T^2)$。

PGSB通过严格的代数恒等证明了紧凑等价构造：先对每篇任务单独做紧凑SVD得 $\Delta \mathbf{W}_t = \mathbf{U}_t \mathbf{\Sigma}_t \mathbf{V}_t^\top$，然后将它们拼接为低秩块矩阵： $$\mathbf{L} = [\mathbf{U}_1 \mathbf{\Sigma}_1, \dots, \mathbf{U}_T \mathbf{\Sigma}_T] \in \mathbb{R}^{d_{\text{out}} \times Tr}, \quad \mathbf{R} = [\mathbf{V}_1 \mathbf{\Sigma}_1, \dots, \mathbf{V}_T \mathbf{\Sigma}_T] \in \mathbb{R}^{d_{\text{in}} \times Tr}$$ 由于各 $\mathbf{V}_t$（或 $\mathbf{U}_t$）的正交性，拼接矩阵的Gram矩阵满足 $\mathbf{X} \mathbf{X}^\top = \mathbf{L} \mathbf{L}^\top$ 与 $\mathbf{Y} \mathbf{Y}^\top = \mathbf{R} \mathbf{R}^\top$。因此对维度极小的 $\mathbf{L}$ 和 $\mathbf{R}$ 分别进行SVD： $$\mathbf{L} = \bar{\mathbf{U}}_L \bar{\mathbf{\Sigma}}_L \widetilde{\mathbf{V}}_L^\top, \quad \mathbf{R} = \bar{\mathbf{U}}_R \bar{\mathbf{\Sigma}}_R \widetilde{\mathbf{V}}_R^\top$$ 直接令 $\mathbf{U}_L = \bar{\mathbf{U}}_L, \mathbf{\Sigma}_L = \bar{\mathbf{\Sigma}}_L$ 以及 $\mathbf{U}_R = \bar{\mathbf{U}}_R, \mathbf{\Sigma}_R = \bar{\mathbf{\Sigma}}_R$。该设计在数学上严格等价于全矩阵SVD，但将预处理复杂度由 $\mathcal{O}(n^3 T^2)$ 骤降至 $\mathcal{O}(n^2 Tr + T^3 r^3)$。

2. 预训练耦合坐标精炼：消除非对角混叠的加权坐标旋转

提取出的支撑对 $\mathbf{U}_L, \mathbf{U}_R$ 仅确定了共享子空间，但任意正交旋转 $\mathbf{U}_L \mathbf{R}_L$ 与 $\mathbf{U}_R \mathbf{R}_R$ 张成的子空间完全相同。然而，下游合并算子（如TIES）依赖于逐坐标维度的幅度裁剪和符号一致性裁决，是强坐标敏感的。如果坐标系与预训练基底失配，就会导致相互依赖的信息被分散割裂。

为了选取最适合合并的坐标系，PGSB首先计算预训练权重在支撑基下的双线性投影 $\mathbf{G} = \mathbf{U}_L^\top \mathbf{W}_0 \mathbf{U}_R$。由于任务更新本身在不同奇异方向上的能量不同，PGSB引入任务奇异值对其进行双边重缩放，构建加权耦合矩阵： $$\mathbf{T} = \mathbf{\Sigma}_L \mathbf{G} \mathbf{\Sigma}_R = \mathbf{\Sigma}_L (\mathbf{U}_L^\top \mathbf{W}_0 \mathbf{U}_R) \mathbf{\Sigma}_R$$ $\mathbf{T}$ 中的非对角元素表征了一个共享方向与对侧多个方向的交叉耦合。为了最大化解耦主导交互，PGSB对 $\mathbf{T}$ 执行奇异值分解： $$\mathbf{T} = \mathbf{O}_L \mathbf{\Sigma}_T \mathbf{O}_R^\top$$ 并将旋转矩阵吸收进支撑基中，得到最终精炼基底： $$\mathbf{Q}_L = \mathbf{U}_L \mathbf{O}_L, \quad \mathbf{Q}_R = \mathbf{U}_R \mathbf{O}_R$$ 此举将预训练主导几何交互集中到对角坐标上，极大降低了坐标混叠，使得基于坐标的独立裁剪与符号判定能够精准保留连贯机制。

3. 投影合并与无损重构

得到正交精炼基底 $\mathbf{Q}_L, \mathbf{Q}_R$ 后，将所有任务的LoRA更新投影到统一坐标空间中： $$\mathbf{C}_t = \mathbf{Q}_L^\top \Delta \mathbf{W}_t \mathbf{Q}_R$$ 在此预训练对齐的紧凑坐标空间上，可无缝对接任意经典合并算子（如Task Arithmetic、TIES、DARE-TIES、TSV、CART、Iso-C）： $$\mathbf{C}^\star = \mathcal{M}(\mathbf{C}_1, \dots, \mathbf{C}_T)$$ 最后将合并后的坐标矩阵重构回原网络全量维度空间： $$\Delta \mathbf{W}^\star = \mathbf{Q}_L \mathbf{C}^\star \mathbf{Q}_R^\top, \quad \mathbf{W}_{\text{merge}} = \mathbf{W}_0 + \Delta \mathbf{W}^\star$$ 由于 $\mathbf{Q}_L$ 与 $\mathbf{Q}_R$ 独立于合并超参数，在超参数网格搜索时基底只需预先计算并缓存一次，大幅节省了调参开销。

实验关键数据¶

主实验¶

论文在CLIP视觉模型（ViT-B/32与ViT-L/14在8个分类任务）、Llama 3 8B自然语言推理（6个NLI任务）以及常识推理（8个Reasoning任务）上全面评测了PGSB。下表展示了CLIP ViT-B/32在8个视觉分类任务上的归一化精度对比（采用多种合并算子）：

合并算子	合并空间 (Space)	DTD	EuroSAT	MNIST	SUN397	SVHN	平均归一化精度 (Avg)
TIES	Baseline	73.26	51.44	56.28	96.95	43.89	63.98
TIES	KnOTS	73.45	48.26	57.40	96.58	45.60	64.54
TIES	Core Space	79.74	54.10	64.50	97.44	44.29	68.34
TIES	PGSB (本文)	76.37	58.40	82.18	95.41	66.17	72.28
DARE-TIES	Baseline	73.26	51.44	56.26	97.01	43.81	64.00
DARE-TIES	KnOTS	75.36	51.18	56.19	97.93	39.92	64.37
DARE-TIES	Core Space	79.56	57.69	65.91	97.55	46.82	69.03
DARE-TIES	PGSB (本文)	75.27	58.03	83.43	95.13	67.97	72.23
TSV	Core Space	75.36	53.05	58.27	97.64	45.27	66.49
TSV	PGSB (本文)	78.19	54.96	61.23	97.59	45.39	67.84
TSV+Iso-C	Core Space	85.03	52.45	71.01	99.01	53.55	76.55
TSV+Iso-C	PGSB (本文)	85.40	53.61	73.36	98.49	53.75	77.28

在Llama 3 8B语言模型NLI任务（SNLI, MNLI, SICK, QNLI, RTE, SCITAIL）上，PGSB同样保持领先：

算子	合并空间 (Space)	SNLI	MNLI	SICK	QNLI	RTE	SCITAIL	NLI Avg
TIES	Baseline	95.17	96.21	84.20	74.21	100.00	96.73	91.09
TIES	KnOTS	92.67	94.82	91.03	78.93	101.61	97.22	92.72
TIES	Core Space	91.94	91.12	96.68	79.27	100.81	97.37	92.86
TIES	PGSB (本文)	97.19	97.02	87.35	87.54	95.28	97.97	93.73
DARE-TIES	Core Space	92.38	93.02	93.59	84.86	100.00	97.39	93.54
DARE-TIES	PGSB (本文)	96.97	96.93	88.03	86.20	99.19	97.47	94.13

消融与扩展性实验¶

论文在ViT-B/32视觉任务上深入验证了各阶段设计的必要性（消融实验），以及PCR模块直接插入已有合并空间的可扩展性：

实验类型	配置/变体	平均归一化精度 (Avg)	说明
消融研究	Baseline (直融)	63.98	无任何空间变换，直接在参数矩阵上执行TIES
消融研究	TSE-only	68.46	仅提取双边共享子空间，不经过预训练坐标精炼（+4.48%）
消融研究	No-weighted PCR	62.86	仅分解未加权耦合矩阵 $G$，不加奇异值缩放（出现严重退化，-5.60%）
消融研究	Full PGSB	72.28	完整两阶段（TSE + 加权PCR），相比TSE提升+3.82%，相比基线提升+8.30%
可扩展性	KnOTS 原始	64.54	KnOTS原有单侧对齐空间
可扩展性	KnOTS + PCR	68.49	将PCR作为即插即用坐标精炼插件（净提升 +3.95%）
可扩展性	Core Space 原始	68.34	Core Space原有双边独立因子空间
可扩展性	Core Space + PCR	69.75	在Core Space上应用PCR重构坐标（净提升 +1.41%）

关键发现¶

预训练耦合矩阵的奇异值加权是成败关键：消融表明，若忽略任务更新本身的奇异谱直接对 $\mathbf{G} = \mathbf{U}_L^\top \mathbf{W}_0 \mathbf{U}_R$ 做SVD，性能从68.46骤降至62.86，甚至低于基线。这说明必须显式以任务更新的重要性权重（$\mathbf{\Sigma}_L, \mathbf{\Sigma}_R$）重缩放预训练耦合，才能有效强化主任务方向、抑制微弱扰动维度的混叠。
坐标敏感型算子获益最大：在PCR增益分析中，依赖逐元素修剪的TIES与DARE-TIES提升最高（分别达+3.82与+5.15）；而自身包含内建正交化变换的TSV提升较小（+0.07），充分印证了PCR优化“坐标基底排列”的核心假设。
保留预训练泛化与泛外迁移能力突出：在未参与合并的7个视觉外数据集（如CIFAR100、Caltech101等）零样本测试中，PGSB的相对预训练保持率达98.38%（Baseline为94.03%，KnOTS为76.44%，Core Space为97.52%），证明PGSB合并后的增量对基础表征畸变最小。
秩配置稳健性强：在低秩（$r=4$）、高秩（$r=256$）、异构秩（各任务使用不同秩16或64）以及自适应动态秩（AdaLoRA）下，PGSB平均精度始终位居第一。

亮点与洞察¶

精巧的低秩代数恒等替代：通过将全尺寸更新的并联转为低秩块的拼接，并利用正交因子构造Gram矩阵恒等，在理论上100%保持SVD分解结果的同时消除了大矩阵SVD的算力瓶颈。
解耦“子空间支撑”与“内部坐标系选择”：深刻洞察到同一子空间内不同正交基对非线性/坐标级合并算子的决定性影响，提出了利用预训练权重作为“几何参照物”来打破坐标任意性的优雅视角。
通用可插拔的PCR增强模块：PCR不仅能服务于自身TSE基底，还能作为独立插件直接嵌入KnOTS与Core Space等现有空间，为过往低秩合并工作带来了立竿见影的性能增益。

局限与展望¶

依赖两层线性重构：当前TSE与PCR的推导基于全连接层或标准矩阵线性映射，对于非线性适配器结构或具有复杂拓扑的PEFT架构（如MoE路由参数或超网结构）尚需进一步理论推导。
需访问预训练基础权重：与纯黑盒无数据合并相比，PCR需要直接读取预训练权重矩阵 $\mathbf{W}_0$ 计算二次投影，虽然不需要下游训练数据，但无法应用于参数完全不公开的API封装黑盒模型。
层间交互尚未建模：目前合并过程在各网络层之间独立并行进行，尚未建模跨层、跨模块间的协方差或深浅层信息传递一致性。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将子空间支撑与内部坐标基底解耦，利用预训练矩阵作为参照物精炼坐标，构思清晰新颖]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖视觉/语言大模型、均匀/异构/自适应秩、分布外迁移及计算耗时，评测非常扎实]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，问题切入点直击要害，图表呈现与消融分析逻辑严谨]
价值: ⭐⭐⭐⭐☆ [为LoRA时代的多任务模型融合提供了高效率、高质量的通用标准空间预处理方案]