LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/OptMN-Lab/LDC-MTL
领域: 优化/理论
关键词: 多任务学习、损失差异控制、双层优化、动态加权、一阶优化

一句话总结¶

LDC-MTL 用双层优化显式约束任务损失差异，再通过省略一个经验上很小的梯度项实现单循环一阶训练，在 CelebA 上取得 -1.31 的综合相对性能下降指标，训练耗时为线性标量化基线的 1.07 倍。

研究背景与动机¶

多任务学习共享一个模型，同时做分类、回归或像素级预测，但共享并不意味着每项任务都会同样受益。损失单位和量级不同、任务难度不同、下降速度不同，都会让某些任务主导共享参数的更新。固定权重的线性标量化（LS）很便宜，却可能让整体训练长期偏向少数任务；动态加权虽然能改变任务的重要性，也未必直接约束任务之间还剩多大的损失差距。

另一条路线从梯度冲突入手。PCGrad、CAGrad、Nash-MTL 等方法分析各任务梯度，再调整共享更新方向，但通常需要分别计算并保存任务梯度。任务数增加到 CelebA 的 40 项时，这类操作比一次聚合损失反向传播昂贵得多。本文关注的矛盾不是“要不要平衡”，而是能否用损失层面的便宜信号获得平衡，同时避免仅仅把所有任务变得同样差。

作者把这两个诉求分配给双层目标：下层继续降低任务损失的加权和，上层选择使损失差异更小的权重。实现上的难点随后转移到双层求解本身，因而又用经验梯度观察去掉昂贵内循环。核心 idea：把任务之间的损失差异直接写进优化目标，同时保留加权损失下降的约束，再用单循环一阶近似把这种控制变成接近 LS 成本的训练策略。

方法详解¶

整体框架¶

输入仍是带多项任务监督的训练数据，基础模型产生共享特征及各任务预测，再计算各自的损失。一个小型路由网络读取共享特征，用 softmax 输出每项任务的权重；模型参数记为 \(x\)，路由参数记为 \(W\)，任务数记为 \(K\)。

训练需要同时考虑两件事：加权后的任务损失总量，以及任务损失之间的差异。前者记为 \(g\)，后者记为 \(f\)；双层问题希望先在给定路由权重下把模型训练好，再评价该模型的损失差异是否合理。实际 LDC-MTL 不在每一步完整求解这个下层问题，而是联合更新模型与路由网络。

这是一种训练目标与求解器改进，不是额外的推理网络流水线。下面按“差异目标如何定义、下层约束如何保留、内循环为什么能够省掉”解释机制，不把几个损失项画成独立处理模块。

关键设计¶

1. 显式损失差异控制：让权重学习有一个清楚的平衡目标

给定路由输出，下层目标就是任务损失的加权和。softmax 使权重非负且和为 1，因而它仍处于多目标优化常见的标量化框架内，而不是为每项任务分别引入一个优化器：

\[ g(W,x)=\sum_{i=1}^{K}\sigma_i(W)l_i(x). \]

上层 \(f\) 累加按任务索引相邻的加权损失之间的绝对差，不是计算所有任务对之间的距离。上层使用另一组系数 \(\tau\)，论文给出两种选择：\(\tau=\sigma(W)\) 或 \(\tau=\mathbf{1}\)。前者比较路由加权后的损失，后者直接比较原始损失；两者的“平衡”含义不同，不能把前者的加权值接近解释为原始任务误差也相同。缓存中的式 (1) 排版损坏，此处只说明可辨认的定义，不补写其完整公式。

这种目标给权重学习提供了比“当前总损失低不低”更具体的信号：某些任务已经学得很快，另一些仍明显落后时，损失差异会参与更新。不过它并不要求所有损失最终相等，也不等价于各任务测试精度相等。分类误差、深度误差等评测量与训练损失并非同一个量，且改变原始损失的单位也会改变差异的意义。

2. 值函数惩罚：避免只缩小差距而不学习任务

仅最小化差异可能得到“所有损失都一样大”的无用解，因此下层最优性不能被丢掉。作者令 \(x^*(W)\) 表示给定路由参数时加权损失的最优模型，把当前模型相对于这个最优值的差距作为惩罚：

\[ p(W,x)=g(W,x)-g(W,x^*(W)),\qquad F_\lambda(W,x)=f(W,x)+\lambda p(W,x). \]

对于精确的下层最优解，这个差距非负；要求它不大于零相当于要求下层被充分优化。引入有限的正数 \(\lambda\) 后，就不再硬性要求每步都达到下层最优：较大的 \(\lambda\) 更强调降低加权损失并接近下层解，较小的 \(\lambda\) 更强调压缩任务差异。因而“均衡”是与任务学习共同优化出来的折中，不是训练结束后把结果人为拉平。

直接求解仍然很贵，因为更新路由参数需要涉及下层最优值的梯度。传统的一阶惩罚方法会另外维护一个与模型同维度的辅助变量 \(z\)，每个外层步骤在下层运行 \(N\) 次梯度下降，让它近似 \(x^*(W)\)。即使不用 Hessian，这个辅助模型和内循环也可能抵消损失加权本来希望获得的效率优势。

3. 小梯度省略：把双层近似压缩为一次聚合反向传播

作者先检查辅助下层解处的路由梯度 \(\nabla_W g(W,z_N)\)。在诊断实验中，内循环取 \(N=50\)；Cityscapes 上当前模型处的对应梯度范数与辅助解处梯度范数之比，平均超过 100。这个观察支持省略后者，但只是特定实验中的经验依据，不代表任何模型、任何训练阶段都会满足该条件。

省略该项后，不再需要计算辅助下层解，于是也不需要保留 \(z\) 或执行内循环。按 Algorithm 1 的更新方向，可以把实际使用的一阶聚合目标简写为：

\[ J(W,x)=f(W,x)+\lambda g(W,x). \]

模型参数和路由参数都沿各自的 \(J\) 梯度下降。这里 \(J\) 是简化更新的紧凑表达，不是声称它与原始双层问题无条件等价；被省略的项正是二者之间需要经验及理论条件支持的近似。

聚合目标只需常数次反向传播，不用为每个任务分别物化一份全模型梯度，也没有二阶梯度计算。论文所称 \(O(1)\) 时间和显存，应理解为相对任务数的梯度聚合开销，而不是整个训练网络的总成本完全不随任务数增长：所有任务损失仍要计算，任务头及 \(K\) 维路由输出仍然存在。

损失函数 / 训练策略¶

训练时，任务自身的监督损失进入 \(g\)，损失差异进入 \(f\)，正的惩罚系数控制两部分的相对作用。原文实现对模型参数与路由参数采用相同的学习率，也指出二者可以独立设置。这里没有另加梯度投影项；后续看到的冲突减少是控制损失差异的伴随现象。

论文沿用既有实验的学习率设置，并对惩罚系数进行网格搜索。CelebA 的报告结果选择 \(\lambda=0.01\)；当前正文缓存没有附录，不能据此补出所有数据集的训练轮数、批大小或网络配置，也不能确定各数据集分别采用哪一种 \(\tau\)。

理论分析要求上层的 Lipschitz 条件、相关函数的光滑性以及下层的 Polyak–Łojasiewicz（PL）条件。绝对值差异本身不光滑，作者提出可使用平滑绝对值替代，因此定理并非对任意原始非光滑实现直接成立。

对简化后的 Algorithm 1，还需要被省略的路由梯度在整个分析范围内足够小，达到 \(O(\epsilon)\) 的量级。在这些条件与适当超参数下，作者给出惩罚双层问题的近似驻点及原任务集合的近似 Pareto 驻点保证，并报告 \(O(\epsilon^{-2})\) 次迭代复杂度。

Pareto 驻点描述的是：存在一组非负、和为 1 的任务权重，使任务梯度的加权和足够接近零。这比“找到全局 Pareto 最优解”弱，不能从该定理推出每个任务都优于 STL。缓存中的定理步长与惩罚参数表达式破损，具体界不作重建。

实验关键数据¶

主实验¶

论文评估 Cityscapes 的 2 项任务、NYU-v2 的 3 项任务、QM9 的 11 项任务和 CelebA 的 40 项任务，实验使用单张 NVIDIA A6000。Cityscapes 与 NYU-v2 的表注明确报告 3 个随机种子的均值；正文把标准差指向当前缓存未包含的附录。

综合指标 \(\Delta m\%\) 是相对单任务学习（STL）的平均相对性能下降：先计算每个评测量相对 STL 的变化，对“越大越好”的量翻转符号，再平均并乘 100。因此越低越好，负数表示平均改善，正数表示平均仍落后于 STL；它不是分类准确率，也不是相对 LS 的提升率。MR 是各评测指标的平均排名，越低越好。

下表选取原文 Tables 1–3 中共同出现的对照方法；所有数值均为 \(\Delta m\%\)，没有把各任务指标重新混算。

方法	Cityscapes，2 任务	NYU-v2，3 任务	CelebA，40 任务	QM9，11 任务
LS	22.60	5.59	4.15	177.6
FAMO	8.13	-4.10	1.21	58.5
Nash-MTL	6.82	-4.04	2.84	62.0
FairGrad	5.18	-4.66	0.37	57.9
LDC-MTL	-0.57	-4.40	-1.31	49.5

Cityscapes 的综合优势并非每个指标都领先：LDC-MTL 的分割 mIoU 为 74.53，低于 FairGrad 的 75.72，但深度相对误差为 26.79，优于 FairGrad 的 32.25。NYU-v2 上 FairGrad 的综合指标 -4.66 也优于 LDC-MTL 的 -4.40，不能概括为本文在所有基准均最佳。

消融实验¶

原文 Table 4 分析 CelebA 上 40 项任务损失的分布。这里的标准差反映任务之间损失的离散程度，不是随机种子间的实验不确定性；它是一张机制分析表，不是删除组件后的消融结果。

方法	损失均值	损失标准差	最小损失	最大损失
LS	0.287	0.195	0.032	0.729
FAMO	0.231	0.141	0.027	0.621
GO4Align	0.238	0.154	0.026	0.660
LDC-MTL	0.189	0.133	0.029	0.538

均值和标准差同时下降，支持“损失更低且分布更集中”，比只报告方差小更有说服力。但 LDC-MTL 的最小损失并非最低，这也说明目标不是让每一项统计量都胜过其他方法。

原文 Table 5 给出 CelebA 的惩罚系数敏感性；以下不把参数扫描写成不存在的“去掉模块”实验。

配置	CelebA 的综合指标，越低越好	说明
FairGrad	0.37	对照方法
LDC-MTL，λ = 0.005	-1.27	更弱的加权损失惩罚
LDC-MTL，λ = 0.008	-1.16	参数扫描
LDC-MTL，λ = 0.01	-1.31	所列配置中最佳
LDC-MTL，λ = 0.02	-0.96	更强的加权损失惩罚

关键发现¶

效率收益主要体现在多任务数量较大时。 Figure 4 以 LS 耗时为 1.00，LDC-MTL 在 Cityscapes、NYU-v2、QM9、CelebA 上分别为 1.09、1.06、1.11、1.07；CelebA 的 Nash-MTL 为 12.49。图中这些倍率均相对 LS，不能直接把 12.49 当作相对 LDC-MTL 的精确加速比。
训练轨迹比最终权重更有信息。 Figure 6 的 QM9 路由权重在训练早期明显变化，后期趋于接近相等，但 LS 的综合结果仍差得多。这支持动态过程有价值，不等于证明最终权重是唯一控制变量。
冲突缓解是观察结果，不是硬约束。 作者在 CelebA 的 40 项任务中随机选取 8 项，检查第 15 个 epoch 后的梯度余弦相似度。该分析支持冲突减少，但没有证明整个训练过程中全部任务对都不再冲突。

亮点与洞察¶

把平衡偏好与任务优化分开表达。 差异目标告诉路由网络什么叫平衡，加权损失惩罚防止它只追求数值接近。这个视角有助于理解不同多任务方法究竟在优化总量、进度还是任务间分布。
主要的工程简化落在双层求解器上。 不是先接受双层方法的昂贵成本再做实现优化，而是直接检查哪个理论项在实验中很小。省去该项同时消除了辅助模型与内循环，收益与机制对应得很明确。
用均值和离散程度共同检查均衡。 单看离散程度可能奖励“共同退步”，而 Table 4 同时给出均值、标准差与极值。类似方法迁移到其他多目标训练时，也应保留总量与分布两条评估轴。

局限与展望¶

损失量纲仍然重要。 直接比较原始损失或其路由加权值，不自动得到对单位变换的不变性。对于异质任务，归一化方式及 \(\tau\) 的选择需要更明确的敏感性研究。
简化条件是额外假设。 小梯度观察只覆盖论文展示的实验，PL 与光滑性也不是一般深度网络无条件满足的性质。可进一步检查该梯度何时变大，以及是否需要自适应恢复少量内循环。
均衡不意味着处处超越 STL。 QM9 的 49.5 仍为正值；NYU-v2 也未超过 FairGrad 的综合指标。任务偏好不相同的应用还需要研究显式偏好控制，而不是默认各项损失应接近。
复现信息存在当前材料边界。 缓存止于参考文献，缺少作者引用的附录，部分公式提取破损；本笔记不推断缺失的超参数、标准差、精确收敛界或组件删除实验。作者提出未来扩展到推荐系统，这尚不是已验证结果。

评分¶

新颖性: 4/5。显式差异目标与单循环双层近似结合清楚，但仍建立在已有标量化和一阶惩罚方法之上。
实验充分度: 4/5。覆盖 4 个基准、2–40 项任务及效率、分布和参数分析；完整组件消融和复现细节仍需附录支持。
写作质量: 4/5。动机到求解近似的主线明确；复杂度口径与附加理论条件需要读者仔细区分。
价值: 4/5。适合希望保留接近 LS 的训练成本、又改善多任务整体表现的实践场景。