Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4368
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5605.pdf
作者: Kuangpu Guo, Aijing Yu, Jian Liang, Yuhe Ding, Zilei Wang, Ran He, Tieniu Tan
代码: https://github.com/krumpguo/DTS
领域: 模型压缩
关键词: 模型合并、低秩近似、四组阈值编码、任务个性化、未见任务泛化

一句话总结

DTS 不强迫所有任务使用完全相同的权重，而是用低秩分解和四组阈值编码保存可重建的任务残差，在 ViT-B/32 八任务合并中以每任务 0.98% 额外存储取得 90.17% 平均准确率，并用任务语义相似度组合残差以支持未见任务。

研究背景与动机

从同一个预训练模型出发，针对不同任务分别微调，可以得到表现很好的专家；部署时却需要保存许多完整模型。Weight-Averaging、Task-Arithmetic 和 Ties-Merging 尝试把这些专家写进一套共享权重，但任务之间的参数改动会相互干扰。本文先做两两合并分析：即使把 SVHN 专家与语义接近的 MNIST 专家合并，SVHN 性能仍会下降。因此，问题不只是任务差异太大，而是用单一参数状态承载多套专门能力本身会丢失细节。

个性化模型合并承认这种差异，保留任务专属组件，再根据任务身份启用相应信息。EMR-Merging 使用调制器，T-Switch 保存二值化任务向量，WEMOE 则保留较大的专家组件；它们缓解了干扰，却又带回存储负担。本文关注的是这些任务差异应该怎样编码，而不是增加新的多任务训练目标：如果用很少的比特就能近似原专家相对于共享基座的改动，就可以共享大部分存储，同时保留接近单任务模型的表现。

另一个问题是，新任务没有自己的专家残差。直接返回共享模型会浪费已有专家的信息，而训练路由器又需要额外数据。本文把类别名称或任务描述作为可离线获得的语义线索，为已有残差分配迁移权重。核心 idea：把任务个性化信息表示为相对于参考模型的残差，先做低秩压缩，再按符号和幅度分组编码并恢复尺度；已见任务重建自己的权重，未见任务则按语义相似度混合已有残差。

方法详解

整体框架

输入是一组参数结构一致的微调模型，以及一个参考模型。DTS 先通过“参考残差”确定需要保留的任务差异，再用“低秩分解”减少表示规模，用“四组编码与尺度恢复”压缩奇异向量；推理前把近似残差加回参考模型，得到当前任务使用的完整权重。

已见任务依据任务 ID 选择自身残差，不需要在每个样本上运行路由器。对于未见任务，“语义残差迁移”根据目标与已见任务的文本语义相似度混合残差。因而，这是一套共享基座加轻量任务状态的个性化方案，不能等同于所有输入都使用同一套固定权重的普通合并。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["微调模型与参考模型"] --> B["参考残差"]
    B --> C["低秩分解"]
    C --> D["四组编码与尺度恢复"]
    D -->|已见任务 ID| F["加回参考模型<br/>缓存完整任务权重"]
    D -->|未见任务| E["语义残差迁移"]
    E --> F

关键设计

1. 参考残差：把专家的个性化信息与共享基座分开

DTS-T 使用任务向量，即微调权重减去原始预训练权重；DTS-D 使用差异向量，即微调权重减去基础合并模型的权重。两种形式采用相同的压缩流程，但重建时必须加回各自对应的基座，不能把它们的残差混用。DTS-D 的基础合并模型可由 Ties-Merging 等方法产生，其残差表达的是“这个专家还需要在共享模型上纠正什么”。

这种区分也影响使用条件：DTS-T 要能访问原始预训练参数；DTS-D 在已有合并模型时不依赖这些参数。后者给未见任务迁移提供了一个含有共同知识的起点，但并不意味着任意结构、任意参数排列的模型都可以相减。论文的实验沿用同一骨干上多个微调模型的合并设定。

2. 低秩分解：优先保存任务差异中最主要的矩阵方向

对每个二维残差矩阵，DTS 做截断奇异值分解，只保留最大的部分奇异值及其左右奇异向量。论文用 \(r\) 表示保留的奇异值比例，而不是直接用它表示秩的整数值；因此，\(r=0.3\) 是保留约三成奇异方向。高维参数如卷积核先展成二维矩阵，一维参数如偏置则跳过分解，直接进入后续编码。最终还需要保存被保留的奇异值，并不是只保存二值掩码。

选择 SVD 的理由是，它在给定秩的矩阵近似问题中具有最优性，可以用少量方向概括残差的主要变化。不过，这个结论约束的是矩阵重建误差，并不保证每个被丢弃的方向都对任务无用，更不保证准确率最优。本文让 \(r\) 成为存储预算旋钮：预算较紧时保留更少方向，而不改变整个方案。

3. 四组编码与尺度恢复：用两个比特区分方向，再恢复真实幅度

低秩因子仍然是浮点矩阵，直接保存并不够省。DTS 对奇异向量元素先区分正负，再分别按正值组、负值组内部的中位数划分较大与较小两组。这样每个元素属于四个组之一：一个比特记录符号，另一个比特记录幅度等级。与只区分正负的二值化相比，它保留了同号元素之间的粗粒度强弱，而不是把所有正值或负值压成同一个尺度。

每组另存一个尺度，取该组元素绝对值的算术平均数；重建时恢复组的符号。这里原文使用 \(L_1\) 范数计算“绝对值之和除以组大小”，不是把尺度当作 \(L_1\) 损失的中位数解。在固定分组下，带符号的组均值是组内平方误差最小的常数近似。下面以 \(S_k\) 表示同号分组，\(x_j\) 表示组内元素，\(\sigma_k\) 表示该组符号，将原文文字中的规则简记为：

\[ s_k=\frac{1}{|S_k|}\sum_{j\in S_k}|x_j|,\qquad \hat{x}_j=\sigma_k s_k\quad (j\in S_k). \]

这是依据正文整理的等价记法，不是缓存中损坏公式的逐字转录。对左右奇异向量都这样处理后，重建规则为：

\[ \hat{\theta}_n=\theta_{\mathrm{ref}}+\hat{U}_n\Sigma_n\hat{V}_n^{\mathsf T}. \]

其中参考权重分别是 DTS-T 的预训练模型或 DTS-D 的基础合并模型。这也解释了为什么尺度恢复不能省略：符号和分组只保留模式，若没有真实幅度，重建出的更新量可能完全失真。两个比特带来的压缩率只描述被编码的元素；每任务总开销还包含奇异值、组尺度和其他参数，不能直接宣称整个模型都是两比特。

4. 语义残差迁移：没有目标专家时，按任务描述组合已有差异

分类任务用类别名称表征任务：先用预训练文本编码器分别编码类别名，再取均值得到任务嵌入。对于生成任务，论文提出使用任务指令或数据集描述的语言表示。目标任务和每个已见任务的嵌入做余弦相似度，然后按相似度总和归一化，作为已有近似残差的组合系数。它不需要目标任务训练样本，也没有学习一个新路由器；但仍需要知道目标任务的类别或描述。

以 DTS-D 为例，\(E_u\) 和 \(E_n\) 分别是未见任务及已见任务的语义嵌入，\(\hat{d}_n\) 是已保存的近似差异向量。按第 3.3 节文字和式 (8) 的含义，组合规则可整理为：

\[ \gamma_n=\frac{\cos(E_u,E_n)}{\sum_{k=1}^{N}\cos(E_u,E_k)},\qquad \hat{\theta}_u=\theta_m+\sum_{n=1}^{N}\gamma_n\hat{d}_n. \]

DTS-T 将差异向量和基础合并模型分别换成近似任务向量和预训练模型。这不是 softmax 权重：原文没有交代相似度为负或分母接近零时的处理，因此不能自行补上温度、截断或稳定项。语义接近只是参数迁移的代理信号，并非关于任务兼容性的保证。

损失函数 / 训练策略

DTS 本身不增加梯度训练，也不需要为残差学习新的损失函数。离线阶段从已有检查点计算残差、SVD、分组和均值尺度；这些步骤是在压缩已有专家，不是替代专家原先的微调。默认设置为 \(r=0.3\)；带星号的 DTS-T、DTS-D 按骨干调整 \(r\)，使每任务额外存储低于 1%，不能把默认模型的最高分与星号模型的最低存储拼成同一配置。

任务语义嵌入也可预先离线计算。实际任务切换时重建一次完整权重，并缓存给后续前向传播使用，因此稳定运行同一任务时不增加新的计算分支；这不等于切换完全免费，也不表示运行时可以不保存完整权重。原文表 9 的 ViT-B/32 切换重建为 1.06 ms，rank-1 LoRA 为 1.01 ms；这里比较的是切换成本，不是每个输入样本的端到端延迟。

实验关键数据

主实验

常规合并覆盖 ViT-B/32、ViT-L/14 的八个视觉分类任务、ViT-B/16 的三十个任务，以及 RoBERTa、GPT-2 和 Qwen-14B 的语言任务。下表选取正文可核验的代表性结果。Avg. 在视觉实验中是任务平均准确率；RoBERTa、Qwen-14B 行按原文报告任务分数均值，不把不同基准的所有分数笼统解释为同一种准确率。

AMR 是每任务所需额外存储相对于一份基座模型存储的百分比，不是全部任务合计开销。若保存多个任务残差，额外存储会随任务数累积。ADR 是相对于单独微调专家表现的相对下降率，越低越好；由于正文表中个别 ADR 与已显示均值存在不一致，下表直接列平均分和 AMR，不据此二次推算 ADR。

骨干 / 设置	方法	Avg. ↑	AMR / 每任务 (%) ↓
ViT-B/32 / 八任务	Individual	90.69	—
ViT-B/32 / 八任务	T-Switch	90.15	6.25
ViT-B/32 / 八任务	DTS-D	90.40	3.68
ViT-B/32 / 八任务	DTS-D*	90.17	0.98
ViT-L/14 / 八任务	T-Switch	94.16	6.25
ViT-L/14 / 八任务	DTS-D*	94.14	0.99
RoBERTa / 八任务	T-Switch	84.33	6.25
RoBERTa / 八任务	DTS-D*	84.75	0.88
Qwen-14B / 三任务	FREE-Merging	71.52	10.00
Qwen-14B / 三任务	DTS-D*	71.70	0.92

来源为正文表 1–4。ViT-B/32 上 DTS-D* 比 T-Switch 高 0.02 个百分点，同时降低任务存储；但在 ViT-L/14 上低 0.02 个百分点，不能概括成所有低预算配置都准确率更高。Individual 是分别保存专家的参照，不是同预算合并方法。

未见任务实验另有协议：ViT-B/32 仅合并六个已见任务专家，将 RESISC45 和 SVHN 留出；GPT-2 合并 CoLA、MNLI、MRPC、QNLI 四个专家，将 QQP、RTE、SST-2 留出。目标任务专家不参与合并，不能把它们的结果与常规八任务合并直接比较。

骨干 / 未见任务协议	方法	未见任务 Avg. ↑
ViT-B/32 / 留出两任务	Ties-Merging	53.85
ViT-B/32 / 留出两任务	AdaMerging	54.74
ViT-B/32 / 留出两任务	DTS-D*	55.50
GPT-2 / 留出三任务	Ties-Merging	59.55
GPT-2 / 留出三任务	DTS-D*	60.04

来源为正文表 5、6。对应增益分别是相对 AdaMerging 的 0.76 个百分点、相对 Ties-Merging 的 0.49 个百分点；这些是有限但可见的改善，不是恢复到目标任务专家水平。

消融实验

下表取正文表 8 的 ViT-B/32、DTS-T 默认 \(r=0.3\) 列。D、T、S 分别表示分解、阈值编码、尺度恢复。该表的仅分解配置具有自己的存储设置，不能与主表中另一个 SVD 基线直接当作同一预算实验。

配置	Avg. Acc. (%) ↑	AMR (%) ↓	说明
仅 D	90.57	33.73	保留浮点低秩因子
T + S，无 D	90.41	9.37	直接编码残差
D + T + S	90.32	3.68	完整 DTS-T
D + T，无 S	4.98	3.69	失去幅度恢复

完整方案不是消融表中准确率最高的配置，而是在接近的性能下显著减小存储。移除尺度恢复后准确率从 90.32% 降到 4.98%，说明编码必须保住更新量的数值尺度。

关键发现

• 主要收益是更小的任务状态，而不是大幅超过原专家。默认 DTS-D 与低预算 DTS-D* 应分别看待，前者用更多空间换取更接近专家的性能。
• 分解与阈值编码降低的是不同层面的成本：一个减少保留的矩阵方向，一个减少每个因子元素的存储位数。尺度恢复则决定这种离散表示能否正确落回参数空间。
• 未见任务收益依赖残差和语义权重共同作用。表 5、6 的优势不意味着目标领域问题已经解决，尤其不能把“无需训练样本”误读为“无需目标任务信息”。

亮点与洞察

• 把存储对象从完整专家改成“相对基座的可压缩差异”，使个性化与共享存储兼容。DTS-D 还明确区分了相对预训练模型的更新与相对合并模型的修正。
• 四组编码的关键不是简单多一个比特，而是离散类别与连续尺度协同。组内均值具有明确的固定分组平方误差解释，也解释了尺度消融为何剧烈退化。
• 将任务文本用于残差加权，避免再训练一个路由模型。它提供了轻量迁移路径，同时也把适用条件清楚地落在可获得的任务语义上。

局限与展望

• 已见任务重建依赖任务 ID；混合来源、任务身份未知的输入不在当前直接处理流程中。模型切换还需要重建和缓存，实际并发服务的峰值内存不能仅用 AMR 代表。
• 主文缺少完整的补充实验表和若干实现细节；本地全文包含主文及参考文献，未含其引用的补充材料。当前笔记不把主文提及的额外阈值组数实验当作已逐项核验的结论。
• 缓存中的部分公式排版损坏，本文只依据相邻文字整理核心等价表达。ADR 表项及无分解消融在不同 \(r\) 列下的存储口径也需要结合原始实现进一步核对，不据此给出额外精确推断。
• 原文没有明确的独立局限章节。这里的任务信息依赖、余弦归一化边界条件及服务内存问题是阅读分析；低秩误差小并不自动保证准确率或未见任务迁移效果。

相关工作与启发

• vs Task-Arithmetic / Ties-Merging：这类方法主要形成单一共享参数体，DTS 则允许不同任务重建不同权重。比较时需要同时看任务身份假设与额外存储，不能只看平均分。
• vs T-Switch：两者都保存轻量任务差异；DTS 将低秩分解与更细的符号—幅度分组组合起来，使存储预算可调。优势更多体现为接近性能下的存储降低，而非每项任务都提升。
• vs WEMOE / Twin-Merging：后者以专家组件或路由保留专门能力，DTS 用压缩残差和离线语义权重降低状态与适配成本。代价是任务级选择更依赖预先可知的元信息。

评分

• 新颖性: 4/5。创新在残差、低秩和分组尺度的组合及未见任务扩展，而非提出新的矩阵分解理论。
• 实验充分度: 4/5。覆盖视觉与语言、多骨干、预算变化和组件消融；补充细节及真实服务场景仍需进一步核验。
• 写作质量: 3/5。主线明确，但部分指标口径和表述过强，缓存公式损坏也增加了复现阅读成本。
• 价值: 4/5。适合关注多任务检查点存储与已知任务切换的部署研究，不应直接当作无条件通用模型合并方案。

相关论文

• [ECCV 2026] Training-Free Task Classification for Multi-Task Model Merging
• [ECCV 2026] Learning to Recover Task Experts from a Multi-Task Merged Model
• [ECCV 2026] Task Alignment: A simple and effective proxy for model merging in computer vision
• [ICCV 2025] Task Vector Quantization for Memory-Efficient Model Merging
• [CVPR 2025] Less is More: Efficient Model Merging with Binary Task Switch