RUTaL: Residual Upcycling with Task Ladder for Efficient Multi-Task Learning¶

会议: ECCV 2026
论文: ECCV 原文
领域: 模型压缩
关键词: 多任务学习 / 参数高效微调 / 模型升级复用 / 混合专家模型 / 解耦自适应架构

一句话总结¶

针对多任务学习中传统微调开销过大以及现有 PEFT 共享参数与任务专有参数在固定骨干中相互挤占竞争的问题，RUTaL 提出了基于解耦表征架构的高效微调范式：主干侧采用任务通用残差复用（TGRU）将 ViT 前馈层轻量升阶为共享 MoE，旁路侧通过任务感知选择器与天梯自适应抽取器（TSLA）无干扰地提取任务专有表征，以仅 2.93M 可训练参数在 PASCAL-Context 上实现 +7.79% 的综合性能增益。

研究背景与动机¶

在大规模视觉预训练模型（如 ViT 及 DINOv2 等视觉基础模型）成为下游视觉感知基石的背景下，如何将同一强大骨干高效适配到多任务学习（MTL）场景成为兼顾边缘端存储与计算效率的核心课题。在密集场景理解中，语义分割、人体部位解析、表面法线估计以及显著性检测等异构任务天然具备不同的几何与语义表征需求。传统全量微调不仅需要为多任务存储全套庞大参数、引发成倍的梯度回传与显存开销，更往往因为异构梯度的恶性冲突（Negative Transfer）而破坏预训练通识表征。若退回仅微调任务专属解码器，又严重受制于固定骨干有限的适应能力，导致多任务综合精度显著退化。

面对上述困境，参数高效微调（PEFT）近年来被广泛引入视觉领域，但现有绝大多数 PEFT 方法（如 LoRA、Adapter、VPT 等）初衷均面向单任务自适应。若直接在多任务设置下为每个任务并行配置独立的适配器，模型既无法显式建模跨任务特征协同，更在任务数量增加时导致适配参数线性膨胀；而近期面向多任务设计的 PEFT 方案（如 MTLoRA、VMT-Adapter、TADFormer 等）则普遍遵循一种“耦合式学习范式”：它们强行将共享适配模块与任务特异性更新共同嵌入在骨干网络固定的表征空间内。这种耦合机制迫使多任务通用知识与各任务专有特征在有限的骨干容量中相互争夺表征通道，既加剧了任务间表征干扰，又限制了模型扩展容量以容纳异构任务需求的潜力。

本文的切入视角在于重新思考多任务高效适配的容量分配与解耦机制：与其在受限的骨干容量中让通用表征与专有特征互相挤压，不如在结构上将“任务通用容量扩展”与“任务特异表征提取”彻底解耦。核心 idea：提出基于天梯解耦架构的残差模型复用微调框架 RUTaL，先通过低秩残差重参数化将预训练 ViT 前馈层无损升级为任务通用 MoE 结构以扩展共享表征容量，再通过轻量天梯旁路（TSLA）阶段式提取并调制任务专有表征，实现无干扰的高效多任务密集自适应。

方法详解¶

整体框架¶

RUTaL 针对多任务密集预测设计了结构解耦的双路协作架构：中央骨干负责以一次单向前向推理生成高容量、抗干扰的任务通用表征，侧边轻量天梯旁路则专门解耦各任务的个性化特征提取。输入图像首先送入基于低秩残差复用升级的 MoE 骨干网络，通过共享上投影与动态门控残差下投影完成多专家协同表征扩容；随后骨干各阶段输出的中间特征进入任务特异的天梯分支，由任务感知选择器提取任务相关的键值投影和调制参数，并交由跨任务共享结构的天梯抽取器通过交叉注意力与自适应仿射调制完成跨层特征聚合；最终多阶段任务表征分别输送至各任务轻量 SegFormer 预测头，输出密集预测结果。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x"] --> B["任务通用残差复用<br/>低秩残差重参数化 MoE 骨干"]
    B -->|阶段表征 Fi| C["任务感知选择器<br/>轻量 MLP 生成键值 Zti 与调制参数 γ, β"]
    C -->|任务键值与调制条件| D["天梯自适应抽取器<br/>跨注意力融合与仿射变换前馈层"]
    D --> E["任务特异密集预测输出<br/>轻量 SegFormer 解码器输出多任务结果"]

关键设计¶

1. 任务通用残差复用：以低秩残差与共享投影构建高效 MoE 共享主干

针对预训练骨干网络容量固定、多任务共享学习时表征互相挤占的痛点，传统稀疏模型复用（Model Upcycling）通过复制 FFN 权重并在下游全量微调所有专家，但这会导致参数量随专家数 $N$ 呈线性剧增（每个专家需 $2 \times H \times D$ 参数），破坏 PEFT 的轻量初衷。TGRU 提出低秩残差参数化方案：将第 $i$ 个专家的权重拆解为冻结的原始基础权重 $W_{\text{base}}$ 与轻量低秩残差增量 $\Delta W_i = A_i B_i$（其中低秩维度 $r \ll \min(D, H)$）。更为关键的是，为了破除常规 MoE 中 $N$ 个专家各自独立前向、缺乏跨专家底层知识共享的弊端，TGRU 将所有专家的上投影残差统一为全局共享矩阵 $\Delta W_{\text{shared}}^{\text{up}}$，而仅保留下投影的专家特异性残差 $\Delta W_i^{\text{down}}$。由此，整个 MoE 层可重参数化为等价的统一张量形式： $$W_{\text{rep}}^{\text{up}} = W_{\text{base}}^{\text{up}} + \Delta W_{\text{shared}}^{\text{up}}, \quad W_{\text{rep}}^{\text{down}} = \sum_{n=1}^N \mathrm{Softmax}(R(\mathbf{x}))_n \left(W_{\text{base}}^{\text{down}} + \Delta W_n^{\text{down}}\right)$$ 前向输出简化为 $y = W_{\text{rep}}^{\text{down}} \sigma(W_{\text{rep}}^{\text{up}} \mathbf{x})$。该设计不仅将额外参数量由常规 MoE 的 $N \cdot 2 \cdot r(D+H)$ 压缩至 $(N+1) \cdot r(D+H)$，更允许骨干网络在单次前向中同时完成通识知识提炼与专家自适应重组，为所有下游任务提供兼具高容量与强泛化性的通用中间基石。

2. 任务感知选择器：解耦生成任务特异性键值与自适应特征调制

在共享主干生成通用的富集视觉表征后，不同下游任务（如边界敏感的语义分割与几何敏感的表面法线估计）需要关注截然不同的特征分量。若在骨干内部强加任务专属路由，将直接引发跨任务梯度干扰。为此，RUTaL 将任务个性化解耦至独立的侧边模块 TAS 中。对于每个下游任务 $t \in \mathcal{T}$，在骨干网络的第 $i$ 阶段分别构建两个超轻量两层 MLP：任务特征投影器 $P^t(\cdot)$ 将骨干特征 $F_i \in \mathbb{R}^{L \times D}$ 线性降维映射至低维任务键值特征 $\mathcal{Z}_i^t = P^t(F_i) \in \mathbb{R}^{L \times \hat{D}}$（其中 $\hat{D} = D/4$）；任务调制生成器 $R^t(\cdot)$ 则从 $F_i$ 中动态回归出一对任务特异的仿射变换条件参数 $\{\gamma_i^t, \beta_i^t\} \in \mathbb{R}^{L \times \hat{D}}$。通过将任务专属参数完全限制在轻量投影器内，其余大部分计算得以由后续共享模块复用，在实现任务专属信息过滤的同时严格遏制了参数随任务规模扩展的膨胀。

3. 天梯自适应抽取器：轻量共享旁路融合跨层表征与任务特异调制

为了在不回传梯度污染共享主干的前提下递进式累积多尺度特征，TSLA 构建了一条平行于主干的自适应梯形旁路（Ladder Branch）。该旁路中的 LAE 模块在所有任务之间完全共享网络权重，其任务特异性纯粹由输入端 TAS 提供的条件信号动态注入。在第 $i$ 阶段，LAE 接收上一阶段天梯表征 $\mathcal{A}_{i-1}^t$（初始阶段 $\mathcal{A}_0^t$ 来自 patch embedding）并将其降维至 $\hat{\mathcal{A}}_{i-1}^t$。随后采用可变形稀疏交叉注意力（Deformable Attention）将 TAS 提取的任务键值 $\mathcal{Z}_i^t$ 深度注入天梯流中得到融合特征 $\mathcal{H}_{i-1}^t$；紧接着，利用 TAS 生成的调制参数执行条件缩放与平移前馈计算： $$\hat{\mathcal{A}}_i^t = W^{\text{down}} \left( \gamma_i^t \odot \sigma(W^{\text{up}} \mathrm{norm}(\mathcal{H}_{i-1}^t)) + \beta_i^t \right)$$ 最后通过线性投影将通道恢复，输出该阶段最终的任务表征 $\mathcal{A}_i^t$。这种“特征交叉查询 + 仿射调制微调”的组合保证了旁路能以极低的计算开销实现强大的多阶段表征重构，各任务特征在独立的天梯流中流转，彻底阻断了任务间的梯度冲突。

一个完整示例¶

以 Swin-Tiny 处理输入分辨率为 $448 \times 448$、同时执行 4 个密集感知任务（语义分割、人体部位解析、表面法线、显著性检测）为例： 1. 主干通用扩容：骨干网络内部 4 个 Stage 的所有 FFN 层被 TGRU 升级为 $N=4$ 个残差专家的低秩 MoE（低秩维度 $r=8$）。输入图像经单次前向流动，每个 token 经过共享上投影矩阵与动态路由加权的下投影矩阵，生成统一的阶段多尺度表征 $F_1, F_2, F_3, F_4$。 2. 任务解耦查询：在 Stage 2（特征通道 $D=192$），4 个任务专属的 TAS 分别并行前向，将 $192$ 维特征映射为降维后的 $\hat{D} = 48$ 维键值 $\mathcal{Z}_2^t$ 以及对应的仿射因子 $\gamma_2^t, \beta_2^t$。语义分割关注目标轮廓与类别语义，表面法线则聚焦于局部几何凹凸。 3. 天梯特征聚合：共享参数的 LAE 模块利用 6 个注意力头和 4 个采样点，在 48 维低维流中将 $\mathcal{Z}_2^t$ 融合至前一阶段累积表征中，并在 FFN 激活后分别应用各自的 $\gamma_2^t, \beta_2^t$ 实施通道调制，逐级输出各任务的四阶段分层表征 $\{A_i^t\}_{i=1}^4$。 4. 轻量密集预测：四阶段天梯特征直接送入各自独立的 SegFormer MLP 解码器，无缝重构出对应的密集预测图。

损失函数 / 训练策略¶

模型采用多任务联合加权损失进行端到端优化： $$\mathcal{L} = \sum_{t \in \mathcal{T}} \omega_t \mathcal{L}_t$$ 其中语义分割与人体部位分割采用标准交叉熵损失（Cross-Entropy），表面法线估计采用 $L_1$ 损失，显著性检测采用加权平衡交叉熵损失（Balanced Cross-Entropy）。各任务损失权重 $\omega_t$ 遵循先前多任务工作（MTLoRA / TADFormer）的标准基线设定以确保公平比较。优化器采用 AdamW，训练周期为 300 epochs，初始学习率设为 $4 \times 10^{-4}$，权重衰减为 $1 \times 10^{-4}$，配合余弦学习率衰减（Cosine Annealing）。骨干预训练基础权重在微调全程严格冻结，仅更新 TGRU 中的低秩残差矩阵、门控路由、TSLA 旁路模块以及轻量解码预测头。

实验关键数据¶

主实验¶

在多任务密集场景理解基准 PASCAL-Context 数据集上（涵盖语义分割、人体部位分割、显著性检测、表面法线估计 4 项任务），以预训练 Swin-Tiny 为骨干的评测结果如下表所示：

方法分类	算法	语义分割 (mIoU ↑)	人体部位 (mIoU ↑)	显著性检测 (mIoU ↑)	表面法线 (RMSE ↓)	综合提升 $\Delta m$ (%) ↑	可训练参数量 #TP (M) ↓
传统微调	单任务全量微调	67.21	61.93	62.35	17.97	0.00	112.62
	多任务全量微调	67.56	60.24	65.21	16.64	+2.23	30.06
	Decoder-only 微调	65.09	53.48	57.46	20.69	-9.95	1.94
单任务 PEFT	Adapter (ICLR 22)	69.21	57.38	61.28	18.83	-2.71	11.24
	VL-Adapter (CVPR 22)	70.21	59.15	62.29	19.26	-1.83	4.74
	LoRA (ICLR 22)	70.12	57.73	61.90	18.96	-2.17	2.87
	BitFit (ACL 22)	68.57	55.99	60.64	19.42	-4.60	2.85
多任务 PEFT	HyperFormer (ACL 21)	71.43	60.73	65.54	17.77	+2.64	75.32
	Polyhistor (NeurIPS 22)	70.87	59.54	65.47	17.47	+2.34	8.96
	VMT-Adapter (AAAI 24)	71.60	60.67	64.02	16.41	+3.96	3.68
	MTLoRA (CVPR 24)	67.90	59.84	65.40	16.60	+2.55	8.34
	DiTask (CVPR 25)	70.09	59.03	64.55	17.47	+1.48	3.55
	TADFormer (CVPR 25)	70.82	60.45	65.88	16.48	+4.24	7.38
本文方法	RUTaL (Ours)	73.42	61.70	64.74	14.65	+7.79	2.93

在室内三维场景基准 NYUDv2 数据集（涵盖表面法线、深度估计、语义分割 3 项任务）上的对比结果如下表所示：

方法	表面法线 (RMSE ↓)	深度估计 (RMSE ↓)	语义分割 (mIoU ↑)	可训练参数量 #TP (M) ↓
MTLoRA (CVPR 24)	27.38	0.6791	36.33	7.81
TADFormer (CVPR 25)	27.16	0.6577	37.30	6.47
RUTaL (Ours)	21.75	0.6175	42.76	2.58

在计算与显存开销方面，RUTaL 的单批次训练耗时仅为 0.248 s/batch，显存占用仅 12.67 GB，相比 TADFormer（0.458 s/batch、20.47 GB）分别加速 45.8% 并节省 7.80 GB 显存。

消融实验¶

为验证各核心子模块及内部机制的有效性，在 PASCAL-Context 上进行细粒度消融分析：

模块配置	TGRU (主干 MoE 扩容)	TSLA (解耦天梯旁路)	可训练参数量 #TP (M)	综合提升 $\Delta m$ (%)	说明
仅主干复用	✓	✗	1.76	+2.42	缺少专有旁路，多任务强行共用 MoE 表征
仅解耦天梯	✗	✓	2.02	+6.75	原始骨干容量未扩充，天梯提取表征受限
完整模型	✓	✓	2.93	+7.79	两模块深度互补，实现最优解耦适配

进一步针对 TGRU 中不同模型复用（Upcycling）策略的消融结果如下表所示：

复用策略类型	形式描述	专家参数规模	额外参数量 #TP (M)	综合提升 $\Delta m$ (%)	机制分析
全量微调 MoE	独立全参权重 $W_i$	$N \times 2$	71.13	+4.72	路由器与过参数化专家失配，导致严重过拟合
独立低秩残差	独立低秩矩阵 $\Delta W_i$	$N \times 2$	3.45	+7.60	专家缺乏底层知识共享，需多次独立前向
重参数化聚合	共享上投影 + 路由下投影 $W_{\text{rep}}$	$N + 1$	2.93	+7.79	兼顾通用知识共享与专家分工，参数与精度最优

针对 TSLA 内部任务感知与抽取机制的消融： - 仅保留任务投影器 $P^t$ 与交叉注意力（CA）：#TP 为 2.52M，$\Delta m = +6.71\%$； - 仅保留调制生成器 $R^t$ 与任务调制 FFN（TM）：#TP 为 2.55M，$\Delta m = +3.01\%$； - 同时结合 $P^t$ 与 $R^t$（CA + TM）：#TP 为 2.93M，$\Delta m = +7.79\%$。

关键发现¶

解耦旁路是消除负迁移的胜负手：单任务 PEFT（如 LoRA 的 $\Delta m = -2.17\%$）在多任务下由于严重的表征竞争发生性能倒退；而 RUTaL 即使只引入解耦旁路 TSLA，$\Delta m$ 也能从负值猛增至 $+6.75\%$，证明任务专有梯度不污染主干是多任务 PEFT 的核心前提。
参数量并非越大越好：全参数复用的 MoE 引入高达 71.13M 参数，但由于密集感知任务数据规模相对有限，导致轻量路由网络在过大参数空间中崩溃，$\Delta m$ 仅有 $+4.72\%$；而本文提出的低秩残差重参数化仅用 2.93M 参数即取得 $+7.79\%$，证明低秩残差起到了优异的正则化作用。
基础大模型泛化性优异：在大型视觉基础模型 DINOv2-Reg（ViT）上，RUTaL 达到 $\Delta m = +15.72\%$（28.98M 参数），全面碾压全量微调（+15.70%，113.68M）与 MTLoRA（+14.57%，34.15M），验证了其对多样化视觉架构的通用适配能力。

亮点与洞察¶

主干与旁路职责的解耦设计：创新性地将多任务表征需求拆分为“任务通用容量扩展”与“任务特异定向提取”。主干专心做大通用表征容量，旁路通过轻量天梯定向查询，完美破解了传统多任务适配中的容量争夺与梯度恶性冲突。
共享上投影的低秩 MoE 重参数化技巧：突破了传统 MoE 各专家独立计算的藩篱，巧妙地强制让所有专家共享低秩上投影 $\Delta W_{\text{shared}}^{\text{up}}$，仅在下投影上保留专家动态加权。这一改动不仅使可训练参数直接减半，还赋予了 MoE 在单次统一前向中融合跨专家知识的能力，极具工程借鉴价值。
计算与显存极致轻量化：通过将繁重计算保留在冻结主干和共享天梯算子中，仅将轻量 MLP 设为任务专有，使得训练显存从基线的 20.47 GB 骤降至 12.67 GB，为边缘端及算力受限环境下的多任务实时感知部署扫清了障碍。

局限与展望¶

作者承认的局限：目前验证的下游任务主要集中于视觉领域的密集感知任务（Dense Prediction），尚未拓展至视觉-语言跨模态多任务学习、序列生成或多模态 Agent 决策等更广阔的通用场景。
实证中的潜在瓶颈：随着任务数量进一步剧增至数十或上百个，天梯旁路中的各任务 TAS 模块仍需按任务数线性增加，且多个任务独立的 SegFormer 解码器在极限场景下仍会带来一定的显存线性开销，未实现解码层级的参数高度压缩。
未来改进方向：可进一步探索结合超网络（Hypernetworks）或跨任务动态剪枝机制，实现 TAS 模块与解码预测头在超大规模任务集下的自适应参数复用；同时探索该解耦范式在多模态大模型持续多任务学习（Continual MTL）中的抗遗忘潜力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多任务通用 MoE 扩容与任务专有天梯旁路相结合的解耦 PEFT 范式，重参数化技巧设计精妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 PASCAL-Context 与 NYUDv2 两个经典密集基准，跨 Swin 与 DINOv2 骨干，消融与效率度量极其翔实。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，动机论述直击现有耦合方法的痛点，图表表达专业准确。
价值: ⭐⭐⭐⭐⭐ 为参数受限与计算受限场景下的多任务视觉大模型落地提供了极具实用价值的范式参考。

复用策略类型	形式描述	专家参数规模	额外参数量 #TP (M)	综合提升 \(\Delta m\) (%)	机制分析
全量微调 MoE	独立全参权重 \(W_i\)	\(N \times 2\)	71.13	+4.72	路由器与过参数化专家失配，导致严重过拟合
独立低秩残差	独立低秩矩阵 \(\Delta W_i\)	\(N \times 2\)	3.45	+7.60	专家缺乏底层知识共享，需多次独立前向
重参数化聚合	共享上投影 + 路由下投影 \(W_{\text{rep}}\)	\(N + 1\)	2.93	+7.79	兼顾通用知识共享与专家分工，参数与精度最优