跳转至

Understanding and Enforcing Weight Disentanglement in Task Arithmetic

会议: CVPR 2026
arXiv: 2604.17078
代码: GitHub
领域: 模型压缩
关键词: 任务算术, 模型合并, 权重解耦, 正交正则化, 任务向量

一句话总结

本文提出任务特征专业化（TFS）作为权重解耦的充分条件，揭示其几何结果是权重向量正交性，并基于此提出 OrthoReg 正则化方法，通过在微调时强制权重更新矩阵的列向量正交来促进任务向量解耦，显著提升各种任务算术方法的性能。

研究背景与动机

  1. 领域现状：任务算术（Task Arithmetic）是一种高效的无训练模型编辑范式，通过计算任务向量 \(\tau_t = \theta_t^* - \theta_0\)（微调权重与预训练权重之差）并进行代数运算（加法、减法）来组合、移除或类比不同技能。
  2. 现有痛点：虽然任务算术在实践中有效，但缺乏根本性的理论解释。现有的"权重解耦"概念（TTA 提出）描述了理想结果——不同任务向量的效果互不干扰——但没有揭示其根本原因。具体来说，预训练模型 \(\theta_0\) 或任务向量 \(\tau_t\) 需要什么内在属性才能实现解耦，这一问题未被充分探索。
  3. 核心矛盾：权重解耦是现象描述而非因果解释。现有方法要么计算开销大（如 TTA 需要计算 Jacobian），要么缺乏理论保证，无法可靠地生成高质量任务向量。
  4. 本文目标：回答两个核心问题：(1) 预训练模型的什么属性使其适合任务算术？(2) 如何构造能主动促进权重解耦的任务向量？
  5. 切入角度：从模型的内部特征分配机制入手，发现"任务特征专业化"是解耦的充分条件，而权重向量正交性是其可观测的几何结果。
  6. 核心 idea：TFS 是抽象不可直接强制执行的，但其几何结果——正交性——是具体可操作的。通过在微调时强制权重更新矩阵的内部正交结构，可以间接促进权重解耦。

方法详解

整体框架

这篇论文想回答任务算术为什么有效，并据此设计一个能主动提升解耦质量的微调方法。整条链路是：先在理论上找出权重解耦的根本原因（任务特征专业化 TFS），再把这个抽象原因翻译成一个可观测、可优化的几何量（权重向量正交性），最后落到一个即插即用的正则项 OrthoReg 上。实际操作时，对每个下游任务单独微调，在标准任务损失之外加一项约束权重更新矩阵 \(\Delta W\) 列向量互相正交的正则项；各任务微调完成后，仍用标准任务算术 \(\theta_{MT} = \theta_0 + \sum_t \alpha_t \tau_t\) 把任务向量加起来，得到一个多任务模型。换句话说，OrthoReg 只改微调阶段，合并阶段和推理流程完全不动。

关键设计

1. 任务特征专业化（TFS）：先把"解耦"归因到一个内部机制上

此前"权重解耦"只是对理想现象的描述——不同任务向量的效果互不干扰——却没人说清模型究竟具备什么内在属性才会出现这种现象。本文给出的答案是任务特征专业化：模型能为不同任务分配各自的内部特征（即权重矩阵中不同的列向量）。形式化地，任务 \(t\) 的专业特征集 \(I_t\) 是那些使模型输出对相应激活 \(z_k\) 敏感的特征索引集合，TFS 要求不同任务的特征集互不相交，即 \(I_t \cap I_j = \emptyset\)。在 NTK 线性化假设下，这种不相交直接保证了干扰项 \(\tau_j^\top J(x) = 0\) 对所有 \(x \in \mathcal{D}_t\) 成立——也就是说，任务 \(j\) 的向量落在任务 \(t\) 的样本上不产生任何影响，这正是权重解耦的定义。因此 TFS 是权重解耦的充分条件。更关键的是，作者进一步证明 TFS 会自然导致权重矩阵的块正交结构，从而把一个"看不见摸不着"的功能属性，和一个能直接度量的几何属性（正交性）挂上了钩。

2. OrthoReg：强制不了 TFS，那就强制它的几何后果

TFS 虽然解释了原因，但它本身没法直接当训练目标——实际网络里不同任务的特征集几乎一定会重叠，无法硬性切开。本文的思路是绕过 TFS、直接去逼它的几何结果：既然专业化会带来正交，那就在微调时把"正交"写成损失项强加上去。具体是在任务损失上叠加一项 \(\mathcal{L} = \mathcal{L}_{\text{task}}(\theta_0 + \Delta\theta) + \lambda \cdot \mathcal{L}_{\text{ortho}}(\Delta\theta)\)，其中

\[\mathcal{L}_{\text{ortho}} = \sum_l \big\|(\Delta W^{(l)})^\top \Delta W^{(l)} - I\big\|_F^2\]

它惩罚每层更新矩阵的 Gram 矩阵 \((\Delta W)^\top \Delta W\) 偏离单位阵的程度，等价于同时要求 \(\Delta W\) 的各列互相正交、且范数趋近 1。理论上这一项通过两个旋钮促进解耦：一是范数控制，约束 \(\|\tau_j\|_2\) 不让某个任务向量过大压过别人；二是角度控制，把不同任务向量之间的夹角推向 90°。它的好处是足够轻——不改架构、不碰推理，一行正则项就能挂到任何微调方法（含 LoRA 这类 PEFT）上。

3. 与 TTA 的统一：两种看似不同的方法其实在做同一件事

最后作者用这套正交视角回看已有的 TTA（Tangent Task Arithmetic），指出它和 OrthoReg 殊途同归——两者最终都在把任务向量之间的内积压到接近零（\(\langle \tau_t, \tau_j \rangle \approx 0\)）。区别只在实现路径：TTA 靠在模型切线空间做线性化、借 NTK 几何隐式地逼出正交，代价是内存翻倍、训练时间 2-3 倍；OrthoReg 则把同一个目标显式写成正则项，更直接也更省。这条统一不只是事后解释，它也反过来印证了"正交性是解耦关键"这一主张：一个用几何隐式得到、一个用正则显式得到，落点一致，说明正交确实是它们共同奏效的底层机制。

损失函数 / 训练策略

总损失 \(\mathcal{L} = \mathcal{L}_{\text{task}} + \lambda \cdot \mathcal{L}_{\text{ortho}}\)，其中 \(\lambda\) 在 \([0.1, 100]\) 范围内按验证集挑选。微调时冻结文本编码器、只更新图像编码器；合并阶段用统一缩放系数 \(\alpha\)，在 \(\{0.0, 0.05, \dots, 1.0\}\) 上网格搜索。

实验关键数据

主实验

任务加法（8 个任务，ViT-L-14）：

方法 绝对准确率 归一化准确率 提升
Non-lin. FT 84.07% 89.19% —
Non-lin. FT + OrthoReg 88.23% 100.08% +4.16
TTA 86.19% 93.14% —
TTA + OrthoReg 87.52% 96.44% +1.33
ATT-FT 87.81% 93.59% —
ATT-FT + OrthoReg 90.41% 100.05% +2.60

任务否定（遗忘目标任务，ViT-L-14）：

方法 目标准确率↓ 控制准确率↑ 遗忘提升
ATT-FT 24.85% 76.42% —
ATT-FT + OrthoReg 14.67% 75.40% -10.18

消融实验

配置 绝对准确率 说明
ATT-FT + OrthoReg (ViT-L-14) 90.41% 完整方法
ATT-FT (无正则) 87.81% 去掉 OrthoReg 后降 2.6%
LoRA-ATT + OrthoReg 89.16% PEFT 方法也有效
LoRA-ATT (无正则) 87.02% 去掉后降 2.14%

关键发现

  • 归一化准确率超过 100%：Non-lin. FT + OrthoReg 在 ViT-L-14 上达到 100.08%，意味着合并后的多任务模型性能等同甚至超过 8 个独立微调模型，实现了近乎理想的权重解耦
  • 任务向量余弦相似度显著降低：OrthoReg 使不同任务向量的余弦相似度接近 0，直接验证了理论预测的"角度控制"机制
  • 对超参数不敏感：性能随 \(\lambda\) 增加稳步提升，且在宽范围的 \(\alpha\) 值上一致优于基线

亮点与洞察

  • TFS → WVO → WD 的因果链非常优雅：识别出"任务特征专业化"是连接功能属性和几何属性的共同原因，为从抽象性质到可操作约束的桥梁提供了范式。这种"找不到直接原因就强制其结果"的思路可广泛迁移。
  • 归一化准确率超 100% 是最令人印象深刻的结果：证明正交约束不仅减少了任务间干扰，甚至让合并模型超越了独立模型，暗示某种正则化效应带来了额外收益。
  • OrthoReg 的简洁性令人赞赏：仅需一个正则项 \(\|(\Delta W)^\top \Delta W - I\|_F^2\)，无需修改架构或推理流程，可直接嵌入任何微调 pipeline。

局限与展望

  • 理论依赖 NTK 线性化假设，对深度非线性网络的适用性有待进一步验证
  • 目前仅在 CLIP-based ViT 上验证，缺乏对其他预训练范式（如 MAE、DINOv2）的实验
  • 仅考虑了 8 个分类任务，未验证在更多任务（如 20+）或异构任务类型（检测、分割）上的表现
  • 正交约束在列数 \(d\) 远大于行数 \(m\) 时可能过强，限制了表达能力
  • 未来可探索自适应正交约束（根据任务相似度调整约束强度）

相关工作与启发

  • vs TTA (Tangent Task Arithmetic): TTA 通过切线空间线性化隐式实现任务向量正交，但计算开销大（2-3x 训练时间）。OrthoReg 显式强制正交且高效，二者殊途同归
  • vs TIES-Merging / DARE: 这些是合并阶段（during-merging）的方法，通过修剪或符号投票减少干扰。OrthoReg 是微调阶段（pre-merging）的方法，从源头生成高质量任务向量，与合并方法互补

评分

  • 新颖性: ⭐⭐⭐⭐⭐ TFS→正交性→解耦的理论链条新颖且完整，OrthoReg 设计简洁有力
  • 实验充分度: ⭐⭐⭐⭐ 三个模型规模、多种基线方法的全面对比，但任务类型单一
  • 写作质量: ⭐⭐⭐⭐⭐ 理论与方法的推导逻辑清晰，从原理到方法到实验一气呵成
  • 价值: ⭐⭐⭐⭐⭐ 为任务算术提供了深刻的理论基础，OrthoReg 即插即用的实用性很强

相关论文