跳转至

Mitigating Model Merging Conflicts via Knowledge-Aware Task Vector Purification

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ABgit111/purified_task_vector
领域: 模型压缩
关键词: 模型合并, 任务向量, 上下文奇异值分解, 谱秩分配, 知识感知子空间

一句话总结

PAVE 提出通过少量下游样本前向激活的协方差矩阵引导上下文奇异值分解(CO-SVD),将微调权重投影到知识感知子空间中并截断冗余奇异方向以净化任务向量,结合跨模型贪心谱秩分配策略,在无需额外训练的前提下即插即用地缓解了多任务模型合并时的参数冲突。

研究背景与动机

多任务模型合并(Model Merging)旨在不依赖额外训练或微调的前提下,将多个在不同下游任务上独立微调的领域模型参数融合成单个多能模型。以任务算术(Task Arithmetic)为代表的基于任务向量(Task Vector)的方法,通过计算微调权重与基座权重的差值 \(\Delta W = W_{\text{FT}} - W_{\text{B}}\) 来表征特定任务的学习轨迹与能力更新,因其极简高效与模块化组合潜力而成为当下模型合并的基础构建单元。然而在实际合并过程中,朴素任务向量往往导致严重的性能退化甚至跨任务能力互斥,其核心症结在于微调过程中引入了大量任务无关的冗余更新与噪声参数。

现有即插即用缓解冲突的方法主要集中于参数空间的稀疏化。例如 DARE 采用随机 Dropout 掩码直接剔除任务向量中部分坐标并做重缩放,或者部分方法直接采用标准奇异值分解(Plain SVD)对权重矩阵进行成分分解与截断。然而这类方法存在三项致命短板:其一,参数空间的随机丢弃完全缺乏知识感知(Knowledge-Awareness),难以准确定位真正承载任务能力的参数;其二,神经网络的任务专属能力往往弥散并内嵌于参数的低维子空间中,简单的坐标轴向二值掩码无法有效解耦有益能力与冗余干扰;其三,标准 SVD 仅反映静态参数矩阵自身的谱分布,而预训练大模型权重本身承载通用语言先验,参数本身的谱主方向与下游特定任务的知识并不天然对齐。

因此,模型合并领域亟待一种能够在知识感知子空间中精准剥离任务无关成分的机制。本文的核心切入点在于,利用各任务少量无标注样本的前向激活协方差矩阵将参数投影至“上下文导向”的表征空间,使得分解出的奇异向量严格按照对该任务知识的贡献度排序,进而精准滤除冗余方向。核心 idea:通过激活协方差引导的上下文奇异值分解(CO-SVD)构建知识感知子空间以净化任务向量,并由最小化归一化激活剪枝误差的贪心谱秩分配策略自适应协调跨模型保留秩,实现多任务参数冲突的即插即用消除。

方法详解

整体框架

PAVE(Purified TAsk VEctors)的完整运行管线主要包含三个阶段:激活协方差收集与上下文导向分解、知识感知子空间任务向量净化、以及跨模型的全局谱秩分配。首先针对待合并的 \(K\) 个任务,分别采样少量训练样本输入对应的微调模型,提取线性层输入激活以构建正半定协方差矩阵 \(C\);接着对加权权重矩阵 \(W_{\text{FT}} C\) 执行奇异值分解并截断低效奇异成分,反乘 \(C^{-1}\) 重构净化后的微调权重 \(W_{\text{FT}}^\dagger\),进而得到净化的任务向量 \(\Delta W_{\text{PAVE}}\);最后通过贪心算法协调各模型在层级上的截断秩分配,并将其无缝接入 Task Arithmetic、Ties-Merging、EMR-Merging 或 WUDI-Merging 等任意已有合并算法中。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务特定样本输入微调模型<br/>提取各线性层激活并计算协方差 C"] --> B["知识感知子空间权重重构<br/>CO-SVD 分解与截断并右乘逆矩阵"]
    B --> C["最小化归一化激活误差的谱秩分配<br/>贪心算法跨模型自适应截取有效秩"]
    C --> D["计算净化任务向量 ΔW_PAVE<br/>代入合并算法生成单体融合模型"]

关键设计

1. 知识感知子空间权重重构:基于 CO-SVD 的任务能力精准对齐与截断

为解决标准 SVD 仅依赖参数矩阵本身谱分布而脱离下游任务语义的问题,PAVE 引入了上下文导向奇异值分解(Context-Oriented SVD, CO-SVD)。对于任意线性层,给定微调权重矩阵 \(W_{\text{FT}} \in \mathbb{R}^{m \times n}\),从对应任务中抽取少量样本前向传播得到输入激活矩阵 \(X\),进而计算激活协方差矩阵 \(C = X X^\top \in \mathbb{R}^{n \times n}\)。由于 \(C\) 刻画了输入特征在真实任务环境下的能量分布,将参数矩阵右乘 \(C\) 能够凸显出直接响应下游输入的参数方向。随后对复合矩阵 \(W_{\text{FT}} C\) 执行奇异值分解,并将分解后的奇异向量截断至前 \(r\) 个主分量,再通过右乘 \(C^{-1}\) 映射回原始权重空间:

\[W_{\text{FT}}^\dagger = \text{SVD}_r(W_{\text{FT}} C) C^{-1} = \sum_{i=1}^r \sigma_i u_i v_i^\top C^{-1}\]

基于净化后的微调权重 \(W_{\text{FT}}^\dagger\),净化任务向量定义为 \(\Delta W_{\text{PAVE}} = W_{\text{FT}}^\dagger - W_{\text{B}}\)。当协方差矩阵 \(C\) 处于奇异状态时,通过在其对角线上反复添加极小正偏置以保证数值稳定性与可逆性。论文在理论上证明了 Lipschitz 平滑性(Theorem 1),保证了由有限经验样本估算得到的 \(\Delta W_{\text{PAVE}}\) 与理想协方差 \(C^\star\) 生成的理想向量之间的 Frobenius 范数偏差受限于样本协方差误差的常数倍,从而确保了低样本量下知识净化的鲁棒性。

2. 最小化归一化激活误差的谱秩分配:自适应协调多模型剪枝预算

直接在多模型合并中强行施加统一的保留秩比率 \(\rho\) 存在明显弊端,因为不同下游任务对秩截断的敏感程度与频谱衰减速率差异巨大:某些模型的任务能力集中于极少数奇异分量,可承受大幅剪枝,而另一些模型的知识分布则更为平缓,粗暴截断会引发严重的能力失真。为此,PAVE 提出在每一层 \(l\) 上通过优化全局归一化激活剪枝误差来动态决策每个模型分配到的截断秩 \(r_i^l\)。定义第 \(i\) 个模型在第 \(l\) 层上的归一化激活剪枝误差为被截断奇异值的平方和相对于最大奇异值的比率,层级优化目标表达为:

\[\min_{\{r_i^l\}_{i=1}^K} \sum_{i=1}^K \sum_{j=r_i^l + 1}^{R^l} \left( \frac{\sigma_{i, j}^l}{\sigma_{i, \max}^l} \right)^2 \quad \text{s.t.} \quad \frac{1}{K R^l} \sum_{i=1}^K r_i^l \le \rho\]

其中 \(R^l\) 代表第 \(l\) 层的全秩,归一化因子 \((\sigma_{i, \max}^l)^2\) 消除了各模型间绝对能量尺度的不平衡,使不同任务的频谱置于统一比较基准下。该优化目标天然具备贪心最优性:初始化各模型为满秩 \(R^l\),在全局平均保留秩高于目标预算 \(\rho\) 的约束下,每一步迭代识别所有模型当前最小的归一化奇异值分量 \(s_{i, r_i^l}^l = \sigma_{i, r_i^l}^l / \sigma_{i, \max}^l\),并将其对应的秩 \(r_i^l\) 减 1;同时设置下限阈值 \(\gamma\) 防止个别模型被过度裁剪导致灾难性遗忘。这一策略使得谱能量衰减慢的关键任务能自动保留更多秩,从而在全局预算下达成最优的多模型协同。

实验关键数据

主实验

在 RoBERTa-base 和 DeBERTa-base 骨干模型上的 GLUE 8 任务合并实验表明,PAVE 显著超越了包括 DARE、RegMean、DOGE-Merging 以及 ISO-Merging 在内的多项基线。尤其在与高阶合并算法 EMR-Merging 结合时,PAVE 缩小了与单任务独立微调模型平均表现的差距。

模型与方法 CoLA (MCC) SST-2 (Acc) MRPC (F1) STS-B (Corr) QQP (Acc) MNLI (Acc) QNLI (Acc) RTE (Acc) GLUE 平均
RoBERTa-base
独立单任务微调上限 60.18 94.04 89.22 90.63 91.41 87.20 92.71 79.06 85.55
RegMean 36.67 90.60 75.74 62.68 83.55 70.02 82.35 58.48 70.01
DOGE-Merging 28.64 88.53 81.13 78.46 82.34 59.53 77.27 67.87 70.46
ISO-Merging 28.47 86.93 80.64 67.63 84.74 65.23 78.75 73.29 70.71
EMR-Merging 39.96 93.35 86.27 82.77 89.72 85.45 89.57 74.37 80.18
EMR-Merging w/ DARE 40.58 93.23 86.52 82.86 89.93 85.98 89.68 75.09 80.48 (+0.30)
EMR-Merging w/ PAVE 60.42 93.69 87.75 89.73 89.13 85.27 92.09 76.17 84.28 (+4.10)
Ties-Merging 20.48 84.40 81.13 58.19 85.70 64.65 74.81 42.96 64.04
Ties-Merging w/ PAVE 25.45 82.45 79.41 64.03 85.43 69.93 77.19 51.62 66.93 (+2.89)
WUDI-Merging 22.13 89.45 80.15 61.24 82.35 65.80 77.85 65.34 68.04
WUDI-Merging w/ PAVE 34.77 88.76 80.39 68.82 83.26 71.50 78.58 64.26 71.29 (+3.25)
DeBERTa-base
独立单任务微调上限 59.10 95.06 89.21 91.31 91.50 88.52 93.30 69.31 84.66
EMR-Merging 47.05 94.72 71.32 87.57 88.36 87.38 92.29 64.26 79.11
EMR-Merging w/ DARE 47.76 94.61 72.06 87.30 88.77 87.67 92.28 66.43 79.61 (+0.50)
EMR-Merging w/ PAVE 61.32 94.50 84.31 89.54 90.34 87.50 93.01 60.65 82.64 (+3.53)

消融实验

为验证自适应谱秩分配策略和分解方式的有效性,作者在 DeBERTa 模型与 GLUE 评测上对比了固定均匀秩剪枝(PAVE plain)、不同分解变体以及多种合并算法下的表现:

配置 / 变体 EMR-Merging Task Arithmetic Ties-Merging 说明
原始合并基线(未净化) 79.11 51.01 45.95 无子空间净化处理的基准
结合 Plain SVD 净化 80.77 50.85 41.29 缺乏知识感知,Ties 上严重掉点 (-4.66)
结合 ASVD 净化 82.87 52.59 44.22 仅利用激活均值对角缩放
结合 SVD-LLM 净化 82.74 52.76 46.70 利用 Cholesky 分解
PAVE plain(均匀秩分配) 81.82 52.34 48.29 固定保留秩比率,缺乏跨模型协同
PAVE 完整版(自适应谱秩分配) 82.64 (+0.82) 52.83 (+0.49) 49.06 (+0.77) 贪心谱秩分配使三大基准全面增益

关键发现

  • 敏感任务与易损能力大幅恢复:在合并中极易被其他任务向量干扰破坏的小样本不平衡任务(如 CoLA),在 RoBERTa 和 DeBERTa 下经 PAVE 净化后分别飙升至 60.42% 与 61.32%,不仅远超 EMR-Merging 基线的 39.96% 和 47.05%,甚至超越了单任务独立微调模型的表现(60.18% 和 59.10%)。
  • 知识感知不可或缺:如果将 CO-SVD 的协方差矩阵替换为非对应任务数据(如用 CoLA 激活去净化 SST-2 模型)或随机噪声矩阵,单模型剪枝保留性能发生剧烈跳水;这证实了必须使用同域真实激活才能精准解耦任务知识与噪声。
  • 生成任务上的泛化鲁棒性:在 LLaMA-2-7B 合并数学(WizardMath)与代码(EvolCodeAlpaca)生成能力时,PAVE 在 HumanEval 上相较 Task Arithmetic 提升 +1.9%(达到 35.4%),且完全避免了 DARE 常见的指标负增长,表现出极强的稳定性。

亮点与洞察

  • 从参数轴剪枝跃迁至知识子空间净化:突破了 DARE 等方法在原始参数空间依赖随机 Dropout 的盲目性,利用前向协方差矩阵把微调权重旋转对齐至任务特征主方向,为模型合并中任务向量的本质提纯建立了理论清晰的几何范式。
  • 兼顾全局约束与个体异质性的贪心谱秩分配:通过归一化奇异值消除了模型间激活尺度的固有偏差,以极小的贪心搜索开销自适应解决“哪些模型经得起强剪枝、哪些模型必须保留高秩”的核心难题。
  • 对无训练数据场景的可替代性方案:实验证明当源任务严格无数据时,使用相似领域公开数据或大模型生成的合成样本计算协方差矩阵,仍能复现 95% 以上的净化增益,极大拓宽了工业部署的适用边界。

局限与展望

  • 需要少量数据前向推理:相较于完全零数据的参数操作算法,PAVE 需要收集少量激活样本(推荐 256~512 条),在严格无数据权限的敏感隐私场景下存在一定门槛。
  • SVD 分解带来计算开销:随着模型参数规模膨胀(如 70B+ LLM),逐层计算协方差并执行大矩阵 SVD 会引入数分钟至数十分钟的计算开销,耗时明显高于简单的掩码相乘。
  • 生成任务的性能上限受制于合并算法本身:尽管在生成式大模型上单任务知识截断保留完好,但多任务向量融合后的综合提升幅度仍小于判别分类任务,多模态/生成式复杂推理的解耦融合依然是开放挑战。

相关工作与启发

  • vs DARE:DARE 在参数坐标轴上通过无差别的随机 Dropout 实现稀疏化,易破坏连续的知识流形;PAVE 在激活协方差构建的知识子空间中依据奇异值能量由小到大做结构化剪枝,定位更精准且合并稳定性更佳。
  • vs RegMean / Fisher-Merging:RegMean 等方法直接利用输入协方差做闭式权重回归,需在参数空间求解庞大线性系统;PAVE 将协方差矩阵作为局部变换算子嵌入 SVD 分解,不改变后续合并框架结构,通用兼容性更强。
  • vs DOGE-Merging / ISO-Merging:此类方法使用标准 SVD 在各模型间消除公共空间或对齐子空间,但由于脱离了数据激活,其截断往往伤及模型独有的下游能力;PAVE 引入输入协方差矩阵 \(C\) 赋予分解严格的知识上下文导向,大幅提升了保留高价值能力的保真度。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 上下文导向 SVD 与任务向量净化的结合立意深刻,贪心谱秩分配简洁有效。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖分类(RoBERTa/DeBERTa)、生成(LLaMA-2)与视觉(ViT),分析实验与理论证明兼备。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念清晰,公式凝练,问题定义与几何动机表达透彻。
  • 价值: ⭐⭐⭐⭐⭐ 作为即插即用的通用组件,能普遍赋能现有多任务模型合并方案,工程与研究价值突出。