Learning Pareto Stationary Fronts via Single-Pass Backpropagation¶
会议: NeurIPS 2026
arXiv: 2610.06397
领域: 优化/理论
关键词: 多目标优化, 帕累托前沿学习, 双层优化, 斯塔克尔伯格博弈, 单遍反向传播
一句话总结¶
本文提出 MOSEL 框架，将多目标深度学习中的后验帕累托前沿学习重构为表征网络（追随者）与偏好对齐网络（领导者）之间的斯塔克尔伯格博弈，利用时间尺度分离实现单次前向-反向传播下的帕累托平稳前沿恢复，在强冲突（公平性-性能）与弱冲突（多任务学习）场景下均达到单目标训练级别的极高计算效率与前沿质量。
研究背景与动机¶
在现代深度学习系统中，平衡多方目标已成为普遍需求。从公平性与预测性能的权衡、大模型对齐中的 Helpful/Harmless/Honest 冲突，到分布式联邦学习客户端冲突以及强化学习多重奖励信号，多目标优化（MOO）贯穿整个训练过程。然而，由于深度神经网络损失函数的高度非凸性与计算规模，业界长期依赖先验标量化（a priori scalarization）方法，即通过人工预设固定的权重组合将多目标直接加权坍缩为单一标量损失。这种做法在强冲突场景下只能得到单一折衷解，完全掩盖了帕累托最优边界的全貌；而在多任务学习等弱冲突场景中，优化器极易向占优目标倾斜，因梯度冲突或量纲差异导致负迁移，从而错失逼近理想“乌托邦点”（Utopia Point）的机会。
解决该瓶颈的理想路径是后验多目标优化（a posteriori MOO），即帕累托前沿学习（Pareto Front Learning, PFL）。PFL 旨在通过单个连续映射模型拟合从任意偏好向量到整条帕累托前沿的对应关系。然而，现有的前沿学习方法在深度网络规模下面临严重的两难困境：以超网络（Pareto Hypernetworks）为代表的方案依赖显式求解每个目标的梯度与额外的辅助网络，参数量激增且反向传播开销极大；而如 COSMOS 这类尝试通过余弦相似度惩罚降低复杂度的前向-反向单遍方案，在理论上无法保证解的帕累托平稳性（Pareto Stationarity），在极值偏好下其目标函数导数甚至会产生负权重，导致前沿坍塌至退化解。
本文的核心洞见在于：帕累托前沿求解中的“前沿最优性（Pareto Optimality）”与“多样性覆盖（Trade-off Diversity）”在网络结构上完全可以解耦。核心 idea：将网络划分为负责学习帕累托平稳表征的骨干网络（追随者）与注入偏好向量负责前沿多样性的对齐网络（领导者），将其构造成斯塔克尔伯格博弈并通过领导者-追随者学习率时间尺度分离，在单次前向与反向传播中精确收敛至帕累托平稳解。
方法详解¶
整体框架¶
MOSEL 的核心设计在于将原本计算昂贵的后验多目标优化问题重构为双层优化（Bilevel Optimization），并进一步将其转化为可微分的斯塔克尔伯格博弈（Stackelberg Game）。在模型架构上，MOSEL 充分利用现代神经网络的模块化特征，将网络计算图一切为二：前端的特征抽取网络记为表征学习网络 \(f_{\boldsymbol{\theta}}\)（参数为 \(\boldsymbol{\theta}\)），后端的轻量级分类或多任务预测网络记为偏好对齐网络 \(g_{\boldsymbol{\phi}}\)（参数为 \(\boldsymbol{\phi}\)）。
训练时，系统为每个 mini-batch 从狄利克雷分布 \(\mathrm{Dir}(\boldsymbol{\alpha})\) 中随机采样一个偏好向量 \(\boldsymbol{r} \in [0, 1]^m\)。输入样本 \(\boldsymbol{x}\) 首先通过表征学习网络输出共享潜在特征 \(\boldsymbol{z} = f_{\boldsymbol{\theta}}(\boldsymbol{x})\)；随后偏好对齐网络在切分点处通过特征线性调制（FiLM）层注入偏好向量 \(\boldsymbol{r}\)，对特征通道进行通道级缩放和平移，生成调制后的表征 \(\boldsymbol{z}'\)，并最终预测多目标输出 \(\hat{\boldsymbol{y}} = g_{\boldsymbol{\phi}}(\boldsymbol{z}, \boldsymbol{r})\)。损失函数计算后经标量化函数 \(s(\mathcal{L}(\boldsymbol{\theta}, \boldsymbol{\phi}(\boldsymbol{r})); \boldsymbol{r})\) 汇聚，通过设定追随者学习率 \(\eta_{\boldsymbol{\theta}}\) 与领导者学习率 \(\eta_{\boldsymbol{\phi}}\) 满足 \(\eta_{\boldsymbol{\phi}} \ll \eta_{\boldsymbol{\theta}}\) 的时间尺度分离条件，仅需一次前向传播与一次反向传播即可同时更新两组参数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["输入样本 x 与偏好向量 r ~ Dir(α)"] --> Split["网络模块化拆分与表征提取<br/>z = f_θ(x)"]
Split --> FiLM["特征级线性调制注入偏好<br/>z' = γ(r) ⊙ z + β(r)"]
FiLM --> Head["偏好对齐预测与目标计算<br/>y_hat = g_ϕ(z', r) → 损失向量 L"]
Head --> Scalar["单遍反向传播与斯塔克尔伯格更新<br/>时间尺度分离: η_ϕ << η_θ"]
Scalar --> Out["帕累托平稳前沿解集输出"]关键设计¶
1. 模块化表征解耦与双层优化重构：分离前沿最优性与偏好覆盖多样性 传统 PFL 方法常将整网参数同等对待，使网络参数既要拟合多任务的共享低维流形，又要迎合剧烈变化的偏好权重，引发优化过程中的严重对抗性震荡。MOSEL 将优化解耦为上层与下层：下层（追随者）优化表征网络参数 \(\boldsymbol{\theta}\)，促使潜空间表征 \(\boldsymbol{z}\) 全力逼近帕累托最优前沿甚至向乌托邦点靠拢，保障解的严格平稳性与最优性；上层（领导者）优化对齐网络参数 \(\boldsymbol{\phi}\)，负责在给定表征下根据偏好向量 \(\boldsymbol{r}\) 展开多样化的权衡分布。双层优化形式表述为： $\(\min_{\boldsymbol{\phi}} \; s(\mathcal{L}(\boldsymbol{\theta}, \boldsymbol{\phi}(\boldsymbol{r})); \boldsymbol{r}) \quad \text{s.t.} \quad \boldsymbol{\theta} \in \arg\min_{\boldsymbol{\theta}'} \; s(\mathcal{L}(\boldsymbol{\theta}', \boldsymbol{\phi}(\boldsymbol{r})); \boldsymbol{r}), \quad \forall \boldsymbol{r} \sim \mathrm{Dir}(\boldsymbol{\alpha})\)$ 作者在理论上证明（Theorem 1），只要标量化函数 \(s\) 连续可微且对每个目标严格单调递增（无论是线性标量化 LS 还是光滑切比雪夫标量化 CS），该双层问题的一阶稳态条件完全等价于一阶帕累托平稳性条件 \(\sum_{i=1}^m \omega_i(\boldsymbol{r})\nabla \mathcal{L}_i = \boldsymbol{0}\)，从而在原理上彻底避免了 COSMOS 等方法在边界偏好下破坏非负系数假设而产生的非平稳病态前沿。
2. 斯塔克尔伯格博弈与时间尺度分离：免去二阶导数的单遍反向传播 在经典双层优化中，求解上层参数对下层参数最优响应的导数需要计算高维 Hessian 逆矩阵或多步隐式微分，计算开销极其庞大。MOSEL 将该问题转化为领导者-追随者斯塔克尔伯格博弈，引入可微分斯塔克尔伯格均衡理论。当系统引入时间尺度分离机制（Timescale Separation），即设定领导者（偏好网络）的学习率严格低于追随者（表征网络）的学习率（实测相差一个数量级，如 \(\eta_{\boldsymbol{\phi}} = 0.1 \eta_{\boldsymbol{\theta}}\)）时，更新更快的追随者在每一步更新中都会极其紧密地贴近其对于领导者当前策略的局部最佳响应曲面。这样一来，算法完全无需迭代求解隐式最佳响应或计算二阶导数，仅需在单遍反向传播中同步执行标准梯度下降： $\(\boldsymbol{\phi} \leftarrow \boldsymbol{\phi} - \eta_{\boldsymbol{\phi}} \nabla_{\boldsymbol{\phi}} s(\mathcal{L}; \boldsymbol{r}), \qquad \boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \eta_{\boldsymbol{\theta}} \nabla_{\boldsymbol{\theta}} s(\mathcal{L}; \boldsymbol{r})\)$ 使得整体训练时间和内存占用完美保持在 \(\mathcal{O}(e \cdot m \cdot p)\) 与 \(\mathcal{O}(e \cdot p)\)，与常规单目标标量化基线完全持平。
3. 随机偏好采样的隐式正则化机理：指数级抑制任务独有特征并保护共享表征 除了计算效率，MOSEL 在多任务学习等弱冲突场景下之所以能够超越常规多任务梯度平衡算法，源于随机偏好采样带来的隐式谱正则化效应。作者基于高维梯度下降的幂迭代机制证明了多任务特征竞争动力学：两特征方向 \(k\) 与 \(m\) 的相对学习比率 \(\rho_{k, m}(T)\) 满足： $\(\rho_{k,m}(T) \approx \left(\frac{\bar{\lambda}_{k}}{\bar{\lambda}_{m}}\right)^{2T} \exp\!\Big({-T \cdot V_{\boldsymbol{\alpha}}(\boldsymbol{r}) \cdot \big[\Delta_{k}^{2}-\Delta_{m}^{2}\big]}\Big)\)$ 其中 \(\bar{\lambda}_k\) 为期望特征特征值，\(\Delta_k = (\lambda_{k,A} - \lambda_{k,B})/\bar{\lambda}_k\) 衡量任务间相对分歧，\(V_{\boldsymbol{\alpha}}(\boldsymbol{r})\) 为狄利克雷采样的权重方差。公式中的第一项为确定性优势，倾向于被单一主导任务所劫持；而第二项指数惩罚因子则精准惩罚任务间高分歧特征。对于所有任务共同需要的共享特征（\(\Delta_k \approx 0\)），该惩罚项为零；而对于仅单一任务主导的特异特征（\(|\Delta_m| \gg 0\)），采样噪声会产生指数级抑制。因此，调节狄利克雷浓度参数 \(\boldsymbol{\alpha}\) 能够主动强化对跨目标通用特征的捕获，显著促进正迁移。
损失函数 / 训练策略¶
MOSEL 支持两种主流标量化策略： 1. 线性标量化（Linear Scalarization, LS）： $\(s_{\mathrm{LS}}(\mathcal{L}; \boldsymbol{r}) = \sum_{i=1}^m r_i \mathcal{L}_i(\boldsymbol{\theta}, \boldsymbol{\phi}(\boldsymbol{r}))\)$ 2. 光滑切比雪夫标量化（Smooth Chebyshev Scalarization, CS）： $\(s_{\mathrm{CS}}(\mathcal{L}; \boldsymbol{r}) = \frac{1}{\tau} \log \sum_{i=1}^m \exp\Big(\tau \cdot r_i |\mathcal{L}_i - u_i^\star|\Big)\)$ 其中 \(\tau=0.01\) 为光滑因子，\(u_i^\star\) 为单任务独立最优的乌托邦目标值，在训练过程中通过历史观测的运行最小值自适应逼近。
在优化器配置上，表征网络与对齐网络采用各自独立的 Adam 优化器，学习率调度器在预设 milestone 处衰减 0.1 倍。网络切分通常遵循“尾部 20%~25% 模块分配给偏好对齐网络”的经验准则（如 ResNet-34 切分在 Layer3 之后，EfficientNet-B4 切分在第 16 个 MBConv 之后）。
实验关键数据¶
主实验¶
论文在强冲突公平性场景（预测准确率 vs 机会均等差异 DEO）及弱冲突多任务学习场景（CelebA 多属性分类、Multi-MNIST、Multi-Fashion、Multi-Fashion+MNIST）上全面对比了基准算法。实验评估指标包括超体积指标（Hypervolume, HV）以及非支配帕累托平稳解数量（# PO / # PS）。
表 1：公平性-准确率强冲突基准测试结果（均值 ± 标准差，5 次运行）
| 数据集 | 方法 | HV (训练损失) ↑ | HV (测试误差) ↑ | # PO 解 (损失) ↑ | # PO 解 (误差) ↑ |
|---|---|---|---|---|---|
| Adult | MOSEL-LS (本文) | 0.939 ± 0.007 | 0.849 ± 0.012 | 22.8 ± 1.2 | 21.2 ± 1.5 |
| Adult | MOSEL-CS (本文) | 0.819 ± 0.017 | 0.776 ± 0.015 | 23.8 ± 0.7 | 22.0 ± 1.4 |
| Adult | COSMOS | 0.926 ± 0.014 | 0.830 ± 0.010 | 20.2 ± 0.7 | 17.4 ± 1.9 |
| Adult | Classifier (后处理) | 0.906 ± 0.025 | 0.618 ± 0.016 | 8.0 ± 0.6 | 6.2 ± 0.7 |
| COMPAS | MOSEL-LS (本文) | 0.920 ± 0.019 | 0.568 ± 0.008 | 15.6 ± 1.4 | 14.6 ± 1.4 |
| COMPAS | MOSEL-CS (本文) | 0.930 ± 0.007 | 0.560 ± 0.005 | 15.2 ± 1.6 | 14.2 ± 1.6 |
| COMPAS | COSMOS | 0.928 ± 0.002 | 0.567 ± 0.019 | 14.6 ± 1.0 | 13.6 ± 1.0 |
| COMPAS | Classifier (后处理) | 0.881 ± 0.026 | 0.645 ± 0.037 | 9.2 ± 1.6 | 6.2 ± 1.5 |
| FairFace | MOSEL-LS (本文) | 0.987 ± 0.013 | 0.701 ± 0.047 | 13.6 ± 1.0 | 10.6 ± 2.3 |
| FairFace | MOSEL-CS (本文) | 0.998 ± 0.003 | 0.734 ± 0.042 | 13.2 ± 2.3 | 11.4 ± 2.4 |
| FairFace | COSMOS | 0.193 ± 0.038 | 0.176 ± 0.037 | 3.2 ± 1.0 | 2.0 ± 0.9 |
| FairFace | Classifier (后处理) | 0.808 ± 0.009 | 0.708 ± 0.030 | 16.4 ± 1.4 | 12.2 ± 1.6 |
表 2：CelebA 多任务学习效率与开销对比（以等权重训练为基准）
| 方法 | 新增参数量 (\(\Delta\) Param) | 相对训练时间 (×) | 相对 CPU 内存 (×) | 绝对用时 / 显存 |
|---|---|---|---|---|
| Equal weight | 17,495,136 (基准) | 1.00 ± 0.00 | 1.00 ± 0.00 | 248.4 ± 45.7 min / 11.15 MB |
| MOSEL-LS (本文) | +672 | 1.0 ± 0.1 | 0.97 ± 0.02 | 接近单目标训练速度 |
| MOSEL-CS (本文) | +672 | 1.0 ± 0.2 | 0.98 ± 0.02 | 接近单目标训练速度 |
| COSMOS | +1,072 | 1.1 ± 0.1 | 0.99 ± 0.02 | 单遍无平稳保证 |
| PCGrad | +0 | 9.8 ± 2.2 | 1.06 ± 0.01 | 需对 5 个偏好独立重复训练 |
| MGDA | +0 | 3.0 ± 0.5 | 0.99 ± 0.03 | 计算多目标二次规划 |
| GradNorm | +0 | 3.0 ± 0.0 | 0.95 ± 0.02 | 梯度范数反传开销高 |
| FAMO | +0 | 1.2 ± 0.1 | 0.96 ± 0.03 | 隐式梯度更新 |
| NashMTL | +0 | 2.4 ± 0.2 | 1.28 ± 0.01 | 求解纳什议价子问题 |
| Single Task | +0 | 2.0 ± 0.3 | 1.01 ± 0.03 | 多任务各自独立串行训练 |
消融实验¶
表 3：狄利克雷浓度参数 \(\alpha\) 与网络切分点消融结果
| 数据集 | 变量类型 | 参数配置 | HV (损失) ↑ | HV MCR (误差) ↑ | 极值解 Obj1 / Obj2 (均值) |
|---|---|---|---|---|---|
| Adult (LS) | 浓度 \(\alpha\) | \(\alpha = 0.5\) | 0.939 ± 0.007 | 0.849 ± 0.012 | (0.143, 0.106) / (0.211, 0.009) |
| Adult (LS) | 浓度 \(\alpha\) | \(\alpha = 0.8\) | 0.912 ± 0.011 | 0.838 ± 0.019 | (0.144, 0.105) / (0.202, 0.014) |
| Adult (LS) | 浓度 \(\alpha\) | \(\alpha = 1.2\) | 0.816 ± 0.015 | 0.774 ± 0.009 | (0.143, 0.105) / (0.186, 0.030) |
| COMPAS (LS) | 浓度 \(\alpha\) | \(\alpha = 0.5\) | 0.920 ± 0.019 | 0.568 ± 0.008 | (0.021, 0.334) / (0.439, 0.007) |
| COMPAS (LS) | 浓度 \(\alpha\) | \(\alpha = 1.2\) | 0.164 ± 0.051 | 0.161 ± 0.049 | (0.020, 0.335) / (0.033, 0.324) |
| CelebA | 切分 (RL/PA) | 3 / 35 (前置切分) | 0.213 | 0.396 | (0.075, 0.080) / (0.076, 0.079) |
| CelebA | 切分 (RL/PA) | 17 / 21 (均衡切分) | 0.242 | 0.415 | (0.068, 0.079) / (0.071, 0.076) |
| CelebA | 切分 (RL/PA) | 31 / 7 (推荐约20%) | 0.238 | 0.422 | (0.069, 0.078) / (0.071, 0.076) |
| CelebA | 切分 (RL/PA) | 33 / 5 (后置切分) | 0.222 | 0.402 | (0.072, 0.086) / (0.077, 0.079) |
关键发现¶
- 复杂视觉数据集防坍塌能力优异：在 FairFace 图像公平性测试中，基线 COSMOS 的测试集 HV 严重崩塌至 0.176（仅找出 2.0 个非支配解），而 MOSEL-CS 的 HV 达到 0.734（找到 11.4 个有效平稳解），证明了严格帕累托平稳性在深度网络中的必要性。
- 计算时间与单目标持平，大幅领先传统多任务方法：MOSEL 仅引入 672 个 FiLM 调制参数，训练耗时为 \(1.0\times\)，相比 PCGrad 的 \(9.8\times\)、MGDA 的 \(3.0\times\) 以及 NashMTL 的 \(2.4\times\) 展现出绝对的吞吐量与显存优势。
- 弱冲突与强任务相关性下展现正迁移超乌托邦能力：在 CelebA 任务数从 2 扩展到 10 个目标的消融中，强相关属性组（如 Heavy Makeup 与 Wearing Lipstick）在 MOSEL 优化下随目标数增加表现出越发显著的准确率增益，且整体显存与运行时间保持近乎恒定。
亮点与洞察¶
- 博弈论与双层优化的无缝融合：MOSEL 巧妙避开了双层优化中高开销的下层隐式梯度求逆问题，借由时间尺度分离（\(\eta_{\boldsymbol{\phi}} \ll \eta_{\boldsymbol{\theta}}\)）让神经网络在单次前向-反向传播中自然逼近斯塔克尔伯格均衡，实现了理论严谨性与计算高效性的兼得。
- 随机偏好采样的谱分析解释：论文首次从多索引模型的特征值谱理论严格证明了狄利克雷权重扰动的正则化效能：随机权重方差对多任务间的特异性噪声特征具有指数惩罚效果，从数学上解释了为什么单纯按狄利克雷分布采样权重能有效抑制负迁移。
- 极小改造成本的即插即用性：仅在主干网络后插入单层 FiLM 调制层（参数量通常百量级至千量级），无需重构架构或维护复杂的外部超网络，即可使标准骨干网络无缝升级为连续帕累托前沿生成器。
局限与展望¶
- 网络切分依赖工程启发式：当前网络切分点仍需根据经验选择在后 20%~25% 的层级边界处，尽管实验表明在适度区间内具有较强鲁棒性，但自适应或端到端可学习的动态切分仍有待探索。
- 高维目标下的部署决策难题：虽然算法在训练侧能够极速学习并覆盖包含 10 个以上目标的高维帕累托前沿，但在实际部署落地时，如何协助人类决策者在高维连续曲面上交互式挑选最符合需求的权衡折衷点依然是一个开放难题。
- 强冲突场景下的理论闭环尚存空间：当前关于偏好采样隐式正则化的严谨理论证明建立在正交基与弱冲突共享特征假设之上，针对强对抗/强冲突场景的完整谱动力学分析仍需未来工作进一步拓展。
相关工作与启发¶
- vs COSMOS [53]: COSMOS 虽然同属单遍训练方案，但其目标函数中的余弦惩罚项在偏好趋向单极值时会破坏梯度非负凸组合假设，导致求得的解丧失帕累托平稳性并在 FairFace 上坍塌；MOSEL 建立了严格的双层斯塔克尔伯格框架，从数学上保证一阶平稳性。
- vs 帕累托超网络 (PHN) [45]: PHN 需要外挂一个庞大的超网络来根据偏好动态输出主干网络的所有权重，参数量翻倍且梯度反传缓慢；MOSEL 仅调制主干特征，将额外参数压缩至 0.01% 以下。
- vs 梯度手术与议价多任务方法 (PCGrad / NashMTL / MGDA): 传统方法通过在梯度空间投影反冲突分量或求解 min-norm QP 问题，运算复杂度随任务数平方级甚至更高增长，且每次推理仅能得到单一解；MOSEL 无需计算各任务独立梯度，单次训练即可获得全前沿。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 成功将斯塔克尔伯格博弈与时间尺度分离引入后验多目标优化，理论优雅且创新性极强。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖经典表格公平性、人脸图像、多任务手写体与大规模 CelebA 任务扩展，指标和消融详实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论证明与直观解释层层递进，推导完整自洽。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了后验帕累托前沿学习计算开销过大、难以推广至现代大模型的根本瓶颈，应用前景广阔。