Training-Free Task Classification for Multi-Task Model Merging¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/BAIKLAB/SiM
领域: 模型压缩
关键词: 动态模型合并、免训练路由、任务分类、投影残差、压缩任务向量

一句话总结¶

SiM 用少量任务支持样本的低秩特征子空间识别测试输入所属任务，再选择对应压缩任务向量，使 CLIP ViT-B/32 的八任务合并模型达到 92.7% 平均准确率，接近独立专家的 92.8%，且无需训练路由器或提供测试任务 ID。

研究背景与动机¶

同一个预训练模型分别在场景、车辆、数字等数据集上微调后，会产生多个参数规模相近的专家。如果部署时保留所有完整专家，存储负担会随任务数增长；如果把参数直接合成一个静态模型，又容易让不同任务的更新互相干扰。 Task Arithmetic 用任务向量相加，TIES-Merging 处理参数符号冲突，TSV-M 则调整任务更新的奇异向量结构，但这些静态方案仍要让所有输入共用一套固定参数。因此，即使每个专家已经很强，合并模型也可能无法保留它们各自的能力。

动态模型合并试图让输入决定使用哪些任务参数，却引入了另一个部署问题：谁来判断当前输入需要哪个专家？ TWIN-Merging 等方法学习路由器，需要额外训练数据与优化过程；DaWin 虽不训练路由器，却要用多个模型计算与输入相关的信号。 EMR、TALL-Mask 等紧凑任务表示能降低存储成本，但它们在使用对应任务更新时通常依赖已知任务身份。 “把任务知识存得很小”和“在不知道任务身份时正确调用知识”其实是两个问题，后者不能由参数压缩自动解决。

本文抓住的机会是预训练特征中已经存在的数据集特征：不同来源的图像或文本往往落在不同的低维区域。这不是假定模型能读懂任意任务说明，而是利用已注册任务的少量输入，为每个任务保存一个几何签名。测试时只需比较输入与各签名的匹配程度，就能给现有压缩任务表示补上一个不需要梯度训练的选择器。核心 idea：用任务特征子空间的投影残差代替可训练路由器，让“识别任务”和“恢复压缩专家”解耦，从而在未知任务 ID 的条件下调用已有专家知识。

方法详解¶

整体框架¶

SiM 的全称是 Singular-vector-based Manifold，它接收一个测试输入，输出其下游类别或任务答案。离线需要共享预训练骨干、各任务已有的微调专家，以及按任务归属整理的少量支持样本；专家的训练并不属于 SiM 的免训练部分。流程依次是“任务子空间构建”“投影残差路由”“压缩更新与分组推理”：先保存任务签名，再预测任务 ID，最后恢复该任务对应的参数更新并执行下游模型。前一阶段只使用支持样本提取统计量，后两阶段处理真实测试输入，不需要继续访问原始支持集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Support["各任务支持样本"] --> Build["任务子空间构建"]
        Build -->|"离线保存均值与基"| Route["投影残差路由"]
        Input["测试输入的预训练特征"] --> Route
        Route -->|"预测任务 ID"| Execute["压缩更新与分组推理"]
        Updates["已有压缩任务向量"] --> Execute
        Execute --> Output["下游预测"]

这里的“合并”并不意味着推理全过程只有一套永远不变的权重。系统保留共享基础参数和紧凑任务更新，由路由结果决定当前使用哪个更新，因此仍是输入自适应的动态模型。它也不需要让每个测试样本经过全部任务专家；任务选择主要发生在同一个预训练特征空间中。

关键设计¶

1. 任务子空间构建：保存任务分布的方向，而不只保存中心

对每个任务，作者从其训练集随机抽取支持样本，用冻结的预训练模型提取特征，再计算这些特征的均值。把每个特征减去均值后，得到一个“样本数乘特征维度”的中心化矩阵，对该矩阵做奇异值分解。保留主方向对应的右奇异向量，即可用一个低秩线性子空间近似该任务在均值附近的变化方式。每个任务最终保存均值和子空间基，不必保存全部支持样本或训练一个区分任务的神经网络。均值描述分布位置，子空间基描述哪些变化方向仍像该任务，两者共同定义一个仿射近似。这里的“流形”是低秩近似的表述，不是额外学习出来的非线性流形模型。

其经验依据来自图 4：八个视觉任务中，前 10% 的奇异值方向已捕获超过 80% 的 Frobenius 能量。这意味着大部分特征变化集中在少数方向上，把所有方向一视同仁的距离度量会丢掉有用结构。正文默认每任务使用 \(N=32\) 个支持样本，并将 \(k\) 设为特征维度 \(d\) 的 10%。但中心化后的样本矩阵秩至多为 \(N-1\)，所以可识别的非零方向仍受支持集大小限制。这是复现时需要注意的线性代数约束；正文没有交代名义 \(k\) 超过有效秩时如何截断，不能把它当作已经核实的实现细节。支持样本需要有任务归属，但这一构建步骤不利用样本的下游类别标签来优化分类损失。

2. 投影残差路由：比较不能被任务子空间解释的特征分量

测试时先用同一个预训练骨干得到输入特征，再分别减去各任务的均值。对每个中心化向量，移除其沿任务子空间的投影，留下正交分量，并用该分量的大小评价匹配程度。如果输入虽离均值较远，但偏移方向正好符合该任务常见变化，投影之后仍可能只剩很小的残差。反之，一个欧氏距离相同的输入若沿不属于该任务的方向偏移，残差就会更大。 SiM 选择残差最小的任务，是确定性的硬路由，不是学习出的任务概率，也不是把多个专家输出加权平均。这种机制的关键在于区分“偏离中心”和“偏离任务结构”，原文图 5 用等欧氏距离、不同方向的特征解释了这一点。

为便于理解，下式是依据第 4.3 节文字整理的机制表达；缓存中的式 (5)–(6) 抽取损坏，不将其视为原式的逐字转录。这里 \(\mathbf z\) 是输入特征，\(\boldsymbol\mu_t\) 是任务均值，\(\mathbf V_{t,k}\) 的列为保留的正交基。

\[ r_t(\mathbf z)=\left\|(\mathbf I-\mathbf V_{t,k}\mathbf V_{t,k}^{\top})(\mathbf z-\boldsymbol\mu_t)\right\|_2, \qquad \hat t=\operatorname*{arg\,min}_t r_t(\mathbf z). \]

第 4.4 节还分析残差与中心化特征长度的比值，借此排除特征幅值差异，观察输入和子空间的方向匹配程度。这一残差比率是解释图 6 的分析量，不应与正文用于路由的原始投影残差混为一谈。图 6 的平均比率矩阵对角线最低，支持“本任务子空间更能解释本任务输入”的经验判断。但平均分离不等于所有单个样本都可分，后续任务识别实验仍出现混淆，尤其是更宽泛的场景任务。

3. 压缩更新与分组推理：用预测任务调用紧凑专家表示

路由得到任务 ID 后，SiM 从现有压缩表示中取出对应任务更新，而不是自己重新发明一套参数压缩规则。 EMR 先构造共享合并向量，再用任务二值掩码和缩放因子恢复任务更新；TALL-Mask 也使用任务掩码，但共享向量可以来自 Task Arithmetic 或 TIES-Merging。 TSV-C 则对各层任务矩阵保留少量奇异分量，用低秩因子表示任务更新。这些方案提供的都是可被任务 ID 索引的紧凑知识；SiM 提供的则是缺失的任务 ID 预测。注意这里参数空间的低秩压缩与上一设计的特征空间子空间不同，前者决定存什么，后者决定取什么。

记共享预训练参数为 \(\theta_0\)，任务压缩更新为 \(\Delta_t\)，实际执行模型可概括为：

\[ {\theta}_{\mathrm{run}}=\theta_0+\Delta_{\hat t}. \]

对一个混合任务批次，先预测所有样本的任务，再按预测 ID 分组，各组使用相应更新执行批量前向。这种分组避免逐样本构造不同参数造成的低吞吐，但不能消除特征提取、分组和权重切换本身的成本。表 1 将任务基的存储项写成 \(O(Tdk)\)，另加压缩任务参数；实际还要保存均值及共享骨干。因此开销仍随任务数 \(T\) 增加，只是不再要求同时保存每个任务的完整专家。动态方法的效率改善与压缩后端和批量调度共同有关，不能全部归功于一个距离公式。

一个完整示例¶

设系统已经注册了八个视觉任务，收到一张 EuroSAT 图像，但外部没有给出数据集名称。离线阶段已经为 EuroSAT、Cars、DTD 等任务各自保存均值和子空间基，并准备好对应的压缩更新。在线阶段用预训练 CLIP 编码该图像，然后在八个任务子空间下分别计算投影残差。假设 EuroSAT 残差最小，该样本就被分入 EuroSAT 组，与同批中其他预测为 EuroSAT 的输入一起执行对应任务更新。最终模型还要判断具体地物类别；路由阶段识别的是来源任务，不是已经完成了地物分类。这是机制示例而非原文逐样本实验；表 6 的 EuroSAT 任务识别准确率 99.9% 不能当作其地物分类准确率。

损失函数 / 训练策略¶

SiM 不新增路由训练损失，也不执行路由器反向传播；离线工作是特征计算、均值估计与 SVD。微调专家原有的训练成本、压缩后端的构造过程和支持样本获取成本仍然存在。所谓合并与推理时不需要数据，是指不再访问支持集，并不是推理无需测试输入，也不是整个系统从未接触数据。正文图 8 表明 32 个支持样本已能取得接近使用全部训练数据时的任务识别表现，但本地缓存不含附录中的逐设置数值。作者还把秩、支持集选择、软硬路由和中间层特征分析指向附录；这些细节不在本次可核实范围内。

实验关键数据¶

主实验¶

表 A 摘自原文表 2，第 10 页；指标为视觉任务平均分类准确率（%），这里仅展示 CLIP ViT-B/32。八任务为 SUN397、Cars、RESISC45、EuroSAT、SVHN、GTSRB、MNIST 和 DTD，十四及二十任务逐步加入额外数据集。 SiM 在未知测试任务 ID 的条件下运行；Fine-tuned 是独立任务专家参考，不是同等存储预算的单一部署系统。

方法	8 任务	14 任务	20 任务
Fine-tuned	92.8	90.9	91.3
Task Arithmetic	70.8	65.3	60.5
TSV-M	85.7	80.1	77.1
WEMoE	90.4	83.1	74.4
MoW-Merging	88.1	83.2	79.3
EMR + SiM	90.7	87.0	86.1
TM-TA + SiM	92.3	89.5	89.6
TM-TIES + SiM	92.7	88.5	82.2
TSV-C + SiM	92.1	89.4	88.6

TM-TIES + SiM 在八任务下只比专家低 0.1 个百分点，但二十任务时 TM-TA + SiM 更强，说明路由器不能消除压缩后端差异。原文表 3，第 11 页还报告 T5-large 的七个 NLP 任务：TM-TIES + SiM 平均为 85.6%，WEMoE 为 83.4%，独立专家为 88.8%。同一配置的 WSC 只有 49.0%，而专家为 79.2%；不能用整体平均提升掩盖任务级退化。

消融实验¶

表 B 摘自原文表 6，第 13 页；指标为 CLIP ViT-B/32 八任务设置下的任务识别准确率（%），不是下游分类准确率。展示平均值及两个有代表性的任务：EuroSAT 体现结构建模收益，SUN397 则显示这一收益并不逐任务成立。

任务识别准则	EuroSAT	SUN397	八任务平均
欧氏距离	86.5	97.8	95.8
余弦相似度	86.5	97.0	95.5
马氏距离	95.4	99.8	96.5
k-NN（k=1）	99.2	75.7	92.0
SiM 投影残差	99.9	95.4	99.0

投影残差相对欧氏距离的平均提升为 3.2 个百分点，在 EuroSAT 上提高 13.4 个百分点。但在 SUN397 上，SiM 比欧氏距离低 2.4 个百分点，也低于马氏距离，因此更准确的结论是平均最优而非所有任务最优。

表 C 摘自原文表 5，第 13 页；条件为 NVIDIA GeForce RTX 3090、CLIP ViT-B/32、八个视觉任务。延迟为每输入秒数，VRAM 为 GB；这是论文特定实现与批处理设置的结果，不代表所有设备上的固定加速比。

方法	每输入延迟（s）	VRAM（GB）	平均准确率（%）
TSV-M	0.0008	1.3	85.7
TWIN-Merging	0.03	3.2	84.0
DaWin	0.63	5.5	89.0
WEMoE	0.02	4.3	90.4
TM-TIES + SiM	0.003	1.8	92.7
TSV-C + SiM	0.003	1.6	92.1

关键发现¶

表 2 的收益来自路由与压缩更新配合，最佳后端随任务规模变化，不应把 SiM 当成独立的专家压缩算法。
表 5 中 TSV-C + SiM 比 TWIN-Merging 延迟低 10 倍，但仍慢于静态 TSV-M，准确率、显存和延迟是不同维度的取舍。
原文表 4，第 12 页中，TM-TIES + SiM 在八个已见任务为 92.7%，六个未见任务为 63.3%，十四任务总体为 80.1%。
未见任务仍被路由到已见任务子空间，而不是建立新专家；这一实验支持一定迁移能力，不证明开放集任务识别已经解决。

亮点与洞察¶

将任务识别视为几何问题，使现有预训练特征承担路由信号，不必额外训练一个任务分类网络。
任务特征基与参数压缩基各司其职，接口只需要预测任务 ID，因此可替换不同压缩后端。
硬路由不仅简化选择，也允许按任务合并小批次；其系统收益来自可复用参数配置，而不仅是计算残差便宜。

局限与展望¶

免训练不等于免支持数据，构建任务签名仍依赖可访问且有任务归属的样本；离线保存统计量也不自动构成隐私保证。
方法利用数据集来源特征，真实场景中任务重叠、同图多目标或域偏移可能破坏这种可分性，硬路由没有在正文中提供拒识规则。
小支持集下的秩处理需要进一步核对实现，不能直接把名义特征维度比例理解为实际有效子空间维数。
本地全文覆盖正文及参考文献，但缺少文中提及的附录；50 任务、细粒度任务、oracle 路由差距等只作作者声明，不在此作为已复核数据展开。
读者建议：在已有残差之上研究置信度校准和拒识，并单独报告路由错误如何影响各下游任务，而不只看平均准确率。

评分¶

新颖性: 4/5。以特征子空间残差补齐模型合并中的免训练路由，切入点明确，核心工具本身是经典方法。
实验充分度: 4/5。覆盖视觉、NLP、任务规模和运行成本，但缓存缺附录，部分复现细节尚无法核实。
写作质量: 4/5。主线清晰，需严格区分任务识别与下游性能，缓存公式损坏也限制了精确公式核对。
价值: 4/5。对已有多任务专家和紧凑更新的部署有直接意义，但真实混合任务与未知域仍需进一步验证。