Learning to Recover Task Experts from a Multi-Task Merged Model¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/BAIKLAB/ReTeX
领域: 模型压缩
关键词: 模型合并、专家恢复、低秩参数偏移、子空间任务识别、未见任务泛化

一句话总结¶

ReTeX 将模型合并干扰视为可学习的参数偏移，通过 SVD 子空间识别任务并按需恢复专家，使单个合并检查点在 ViT-B/32 八任务设置下达到 92.2% 平均准确率，同时避免推理时保存完整专家检查点。

研究背景与动机¶

同一个预训练模型经过不同数据集微调，会得到一组擅长不同任务的专家。逐个部署专家需要保存多份大型权重，直接平均又会让任务更新相互干扰。Task Arithmetic、TIES-Merging 等方法试图改善合并权重，但最后仍只有一套固定参数，无法根据当前输入恢复某个任务所需的专门行为。

动态合并允许输入决定专家组合，因而缓解了固定合并的限制。不过，很多方案仍需在推理时读取专家或任务组件，或者额外训练路由器。本文换了一个观察角度：与其继续寻找一个对所有任务都合适的合并点，不如把合并模型当成公共起点，学习它与各个已有专家之间的差值。这里恢复的是专家行为，既不声称合并操作在数学上可逆，也不声称能凭一个检查点无监督地找回原专家。

训练前已有的专家权重提供了恢复目标；部署时只需保留合并权重、恢复模块和任务签名。核心 idea：先从输入特征判断应恢复哪种任务能力，再生成该任务的低秩参数偏移，将合并模型改回接近专家的状态，而不是存储并调用整套专家。

方法详解¶

整体框架¶

输入包括一个已经合并的模型，以及离线阶段可用的原任务专家。ReTeX 分别建立用于任务识别的 SVD 签名库、训练用于参数重建的偏移生成器；推理时先提取输入特征并识别任务，再生成偏移、加到合并权重上，最后用恢复后的模型完成预测。默认公共起点只是专家权重平均，并不要求先用复杂合并算法。

这两个离线准备过程使用的监督不同：签名库需要少量原训练输入，偏移生成器只需要专家参数。已知任务流使用硬任务编号；论文另为未见任务评估引入软混合恢复，不能把两种设置混为同一条不变的推理流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["输入与合并模型"] --> Identify["子空间任务识别"]
    Memory["离线参考输入<br/>SVD 签名库"] --> Identify
    Identify -->|硬任务编号| Recover["低秩偏移恢复"]
    Identify -->|未见任务设置| Soft["软混合恢复"]
    Soft --> Recover
    Experts["离线专家参数监督"] --> Recover
    Recover --> Output["恢复权重并预测"]

关键设计¶

1. 子空间任务识别：用到任务特征空间的距离代替训练路由器

对每个任务，先从原训练集取参考输入，用合并模型提取中间特征，计算特征均值并将特征矩阵中心化。对该矩阵做 SVD，保留前若干个右奇异向量，得到该任务的低维仿射子空间。默认每个任务使用 64 个参考输入；部署保存均值与子空间基，不需要保留这批原始输入或完整专家来执行任务识别。

测试特征先减去某任务的均值，再投影到该任务子空间；没有被投影解释的部分越小，输入越像来自该任务。下面按正文式 (8)-(9) 的文字定义整理记号，其中 \(V_{t,k}\) 是正交基，\(\mu_t\) 是均值，\(z\) 是测试特征：

\[ \mathcal{R}_t(z)=\left\|(I-V_{t,k}V_{t,k}^{\top})(z-\mu_t)\right\|_2, \qquad \hat{t}=\arg\min_t\mathcal{R}_t(z). \]

这里的 router-free 是“不训练一个路由网络”，不是“不做任务选择”，更不是“整个系统完全不需要任务数据”。子空间维数 \(k\) 控制签名容量，与后面参数偏移的秩 \(r\) 是不同超参数；正文没有给出足以在此确定所有设置默认 \(k\) 的信息，不应自行补值。

2. 软混合恢复：未见任务不强制归入一个已有专家

如果输入来自训练合并模型时未出现的任务，最接近的已知任务也可能只是局部相关。论文在这项泛化实验中将各任务投影残差转换成软混合权重，例如对负残差做 softmax，再以该向量替代 one-hot 任务指示。这样输入可以同时借用若干已有任务的能力，而非只能选择一个最近专家。

仅在 one-hot 上训练并不足以完整描述论文的 OOD 协议：恢复训练还从 Dirichlet 分布采样混合向量，以已见专家参数的凸组合作为监督目标。因而所谓自适应插值包含显式的参数空间软目标训练，不宜描述成完全未经准备的零样本涌现。正文没有明确给出 Dirichlet 浓度或 softmax 温度，本笔记不杜撰这些数值。

3. 低秩偏移恢复：共享一个因子，只生成任务相关部分

作者先把专家参数写成合并参数的仿射变换，并报告缩放项集中在 1 附近，因此采用仅加偏移的近似。对于某层 \(a\times b\) 的合并权重，偏移不是直接生成同样大小的矩阵，而是分成一个 \(a\times r\) 的任务相关因子和一个 \(r\times b\) 的共享因子。任务编号通过可学习嵌入送入该层单层生成器，后者预测任务相关因子，共享因子则随恢复训练一起学习。

按正文式 (10)-(11) 整理，其核心计算为：

\[ \hat{\theta}^{(l)}_t=\theta^{(l)}_{\mathrm{merge}}+eta^{(l)}_t, \qquad \beta^{(l)}_t=h^{(l)}(e_t)\beta^{(l)}_s, \qquad r<\min(a,b). \]

这并非推理时从专家检查点计算差值：差值结构已经被学进任务嵌入、生成器和共享因子。也不是把模型每层输出接一个通用适配器就结束，最终应用的是恢复后的参数。低秩限制使恢复只能近似目标，但任务共享因子减少了逐任务保存完整偏移的负担。

生成器输出仍可能很大，因此 ReTeX-E 再将 \(a\times r\) 的任务相关因子分解成 \(a\times r_g\) 与 \(r_g\times r\) 两部分，其中 \(r_g<r\)，后一个因子共享。它减少生成器侧参数，但不保证逐样本更快；原文表 5 恰好显示其逐样本时间高于 ReTeX。这个变体改变的是偏移参数化，而非另加一条任务识别流程。

一个完整示例¶

以正文的八任务视觉部署为例，离线为 SUN397、Cars、RESISC45、EuroSAT、SVHN、GTSRB、MNIST、DTD 各准备 64 个参考输入，合计 512 个输入用于建立任务签名。恢复模块另以这八个任务的专家参数训练，不拿这 512 个输入的标签做参数重建损失。

当一张交通标志图像到来时，合并模型先给出中间特征，任务识别模块比较它对八个子空间的投影残差。若 GTSRB 残差最小，就读取 GTSRB 的任务嵌入，逐层生成偏移，恢复相应参数，再对图像预测。这个例子只说明流程，并非原文报告的某张图像或某组残差数值。

对于大小为 64 的批次，先为所有样本预测任务编号，再把同编号样本放在一起。每种出现的任务只恢复一次参数，处理相应子批次后将输出放回原顺序。八任务情形最多需要八次恢复，而不是逐输入恢复 64 次；实际次数取决于该批次包含多少个预测任务。

损失函数 / 训练策略¶

训练固定基础合并权重，均匀采样任务编号，让生成偏移后的权重逼近该任务专家权重，优化参数空间重建误差，而非分类交叉熵或输出蒸馏损失。学习对象包括任务嵌入、逐层偏移生成器与共享低秩因子。缓存的式 (12) 在文本抽取中丢失部分范数符号，故这里不擅自补写范数次数或声称某种归一化是原文设置。

正文设置为 Adam、5000 次迭代、学习率 \(2\times10^{-4}\)、余弦调度、600 个预热步。嵌入维数消融固定 \(r=256\)；这不代表所有主实验都使用同一个秩。原专家在离线恢复训练时仍然必需，只有推理部署阶段才不保存完整专家。

实验关键数据¶

主实验¶

视觉任务采用 CLIP ViT-B/32、ViT-B/16、ViT-L/14，测试流不提供逐样本任务 ID；每个数据集对应一个微调专家。下表准确率单位均为 %，差值为百分点，比较对象为同一原表、同一任务数量与骨干下的方法。

原表与设置	ReTeX	比较方法	比较方法准确率	差值	单独专家
表 1，ViT-B/32，8 任务	92.2	WEMoE	90.4	+1.8	92.9
表 1，ViT-B/32，20 任务	89.8	MoW-Merging	79.3	+10.5	91.4
表 1，ViT-L/14，20 任务	93.6	MoW-Merging	81.8	+11.8	94.8
表 2，ViT-B/32，30 任务	91.2	WEMoE	67.1	+24.1	93.1
表 4，T5-large，7 个 NLP 任务	86.6	WEMoE	83.4	+3.2	88.8

原文表 1 给出 ViT-B/32 八任务的归一化准确率 99.3%，表 4 给出 NLP 平均归一化准确率 97.5%。它们是相对于单独专家的准确率指标，不是参数恢复比例，也不是相对错误率下降。表 2 的 ReTeX 八任务、二十任务分别写为 92.0%、89.4%，与表 1 的 92.2%、89.8% 不同；正文未明确解释差异，因此这里按表号保留，不将它们合成一组唯一结果。

消融实验¶

下表是表 5 的效率分析，不是移除模块的因果消融。条件为 NVIDIA GeForce RTX 3090、CLIP ViT-B/32、八任务、任务 ID 未知；时间包含任务识别、偏移生成和恢复模型前向。分组行使用 \(B=64\)，时间为批次耗时除以批量后的每输入成本，不等同于单请求响应延迟。

配置	每输入耗时 (s)	峰值显存 (GB)	平均准确率 (%)
Weight Averaging	0.0004	1.3	66.3
ID-LoRA，分组	0.0009	1.9	89.3
ID-EMR-Merging，分组	0.004	1.9	90.5
ReTeX，逐样本	0.05	2.5	92.2
ReTeX，分组 \(B=64\)	0.0015	2.7	92.2
ReTeX-E，逐样本	0.07	1.8	92.0
ReTeX-E，分组 \(B=64\)	0.0015	2.0	92.0

图 3a 分析不同基础合并模型和恢复秩：低秩预算紧张时，更好的合并起点更有帮助。图 3b 固定 \(r=256\)，任务嵌入维数增大后收益趋于饱和，其尺度接近任务数时即可取得较高恢复效果。图中没有可直接读取的精确坐标表，本笔记不将曲线视觉估值写成精确消融数字。

关键发现¶

表 3 以 MNIST、EuroSAT 为未见任务，其余六个视觉数据集为已见任务，不使用未见专家训练恢复模块。AdaMerging 加 ReTeX 后未见任务准确率从 66.8% 升至 69.1%，提升 2.3 个百分点。
表 4 的平均收益掩盖了任务差异：ReTeX 在 WSC 为 48.0%，单独专家为 79.2%，归一化仅 60.6%。因此“恢复超过 95% 专家性能”不能解释成所有单任务都达标。
表 5 中 ReTeX-E 用更少显存换取小幅精度变化，却没有改善逐样本延迟；吞吐提升主要依赖按预测任务分组并摊销恢复成本。

亮点与洞察¶

将参数差值本身作为监督，把合并之后的质量修复变成权重空间学习。该思路适合已有专家但不方便再次访问大规模训练数据的情况，前提是仍能为任务签名获得少量参考输入。
区分任务识别与能力恢复，使已有的子空间路由信号服务于参数生成，而不只用于选择存储组件。真正节省的是部署时需要常驻的专家表示，而非保证系统只占一个骨干的显存。
对未见任务使用专家参数的凸组合作为训练目标，是一个可复用的参数空间增强策略。其有效性应结合具体未见任务验证，不能由线性插值形式直接推出普适泛化保证。

局限与展望¶

方法依赖同源、参数可对应的专家，且恢复训练必须访问其权重；它不解决异构架构直接合并，也不能从缺少专家监督的任意检查点找回被遗忘的任务。
任务识别仍需每任务参考输入，并依赖任务在合并模型特征空间中能被子空间区分。原文展示的结果不能保证相近任务、持续漂移输入或全新领域都能可靠识别。
分组速度属于吞吐条件下的摊销成本，在线低批量服务未必获得同样收益。下一步可专门评估任务频繁切换、批次任务分布及恢复参数缓存策略。
当前缓存正文多次引用附录 A、C，但文件实际在参考文献结束，没有这些附录。部分公式抽取缺失，表 1 与表 2 又有少量不一致，限制了超参数与归一化汇总方式的完全复核；上述缺口没有用猜测补齐。

评分¶

新颖性: 4/5。合并后恢复的目标清晰，但低秩生成与子空间识别均有已有技术基础。
实验充分度: 4/5。包含多骨干、多任务规模、NLP、未见任务和部署成本，但单任务退化与协议细节仍需更多分析。
写作质量: 3/5。核心流程明确，跨表差异和当前缓存缺少附录降低了可复核性。
价值: 4/5。为已有专家的紧凑多任务部署提供了实用路线，收益需结合批处理和任务识别条件判断。