SURF: Steering the Scalarization Weight to Uniformly Traverse the Pareto Front¶
会议: NeurIPS 2026
arXiv: 2605.20619
论文: https://arxiv.org/abs/2605.20619 https://openreview.net/forum?id=7qtIxTWBAO
代码: https://github.com/Liuyuan999/MOO_Uniform_PF
领域: 优化/理论
关键词: 多目标优化, 标量化权重引导, 帕累托前沿均匀覆盖, 弧长分布函数, 大模型多目标对齐
一句话总结¶
论文揭示了多目标优化中均匀采样标量化权重导致非均匀 Pareto 前沿覆盖的几何本质，提出了基于弧长累积分布函数（CDF）逆变换的采样框架 SURF，在无需修改内部单目标求解器的前提下以 \(\mathcal{O}(N^{-2})\) 离散极限实现沿 Pareto 前沿的严格均匀遍历。
研究背景与动机¶
多目标优化（MOO）在现代机器学习系统（如多任务强化学习与大语言模型对齐）中发挥着核心作用，其实际部署往往需要在精度、安全性、真实性、计算效率及公平性等多个冲突指标之间权衡取舍。标量化方法（如线性加权 LS）因其概念简单、易扩展且能直接无缝复用成熟单目标优化器（如 Adam、PPO），至今仍是工业界与学术界解决多目标问题最普遍的首选范式。在后验决策（a posteriori decision making）场景中，决策者需要在评估一组能充分代表全部权衡特征的解集之后再做出选择，因此生成在整个 Pareto 前沿（PF）上均匀分布的解集具有不可替代的工程与实用价值。
然而，常规实践中采用均匀网格采样标量化权重的方法，几乎不可避免地会在 Pareto 前沿上产生极度非均匀的解分布：解向量往往在特定前沿曲率区域严重扎堆聚集，而在平坦或剧烈变化的区域留下大片空白。现有的均匀前沿覆盖方案（如基于法向边界交叉 NBI、连续追踪法或带复杂约束的二阶优化方法）不仅实现繁琐、难以扩展到深度网络，且在有限计算预算下往往缺乏收敛理论保障或计算开销呈爆炸式增长。
这种失效的核心矛盾在于：标量化权重并不等价于 Pareto 前沿上的空间位置，它本质上是一个以非恒定“速度”拖动解沿流形滑动的控制旋钮。在目标空间中，某些权重区间内极小的增量会导致前沿弧长剧烈跨越，而在另一些区间内大幅改变权重却几乎无法让解发生位移。本文的切入角度是：直接刻画标量化路径在目标空间的切向速度，将弧长积分归一化为权重空间上的累积分布函数。核心 idea：通过将 Pareto 前沿的累积弧长归一化为累积分布函数 \(\Phi(w)\) 并对其求逆，将均匀前沿点采样问题转化为对该 CDF 的分位数逆映射采样，并提出交替更新内层求解与外层几何重构的 SURF 算法，以 plug-in 形式实现零求解器侵入的高效均匀遍历。
方法详解¶
整体框架¶
SURF 将标量化多目标优化建模为几何遍历过程。在双目标凸化隐藏空间中，优化目标通过单调可微路径映射至 Pareto 前沿 \(\mathbf{f}_{\text{PF}}(w) = \mathbf{h}(\mathbf{u}_w^*)\)。SURF 通过交替执行两层循环实现权重引导与前沿重构：外层迭代维护并校准对真实弧长分布函数 \(\Phi(w)\) 的估计；内层则利用任意现有黑盒单目标求解器（如 PPO、Adam）在当前权重集处进行热启动（warm-start）优化，无需对模型结构或损失梯度做任何额外投影干预。
整体管线包括分位数逆映射求权重、内层求解器热启动更新、目标空间弦长累积与保形 Hermite 插值重构、以及带阻尼因子的 CDF 平滑更新四个主要阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：目标分位数网格 n/N 与初始均匀分布 Φ_0(w)=w"] --> B["分位数逆映射采样<br/>计算当前外层标量化权重 w_n^(t) = Φ_t^(-1)(n/N)"]
B --> C["黑盒求解器热启动更新<br/>单目标求解器以 u_n^(t-1) 为初值运行 K 步得 u_n^(t)"]
C --> D["目标空间弦长累加与 PCHIP 插值<br/>计算连续解间折线弦长并拟合单调弧长函数 s(w)"]
D --> E["归一化 CDF 与阻尼更新<br/>计算瞬时 CDF 并执行平滑收敛更新 Φ_(t+1)"]
E -->|未达到外层迭代轮数 T| B
E -->|收敛完成| F["输出：Pareto 前沿均匀分布解集 {u_n^(T), h(u_n^(T))}"]关键设计¶
1. 标量化流形速度与弧长累积分布函数：揭示非均匀采样的几何机理
针对均匀权重导致前沿扎堆的痛点，论文从微分几何视角量化了解沿前沿移动的局部灵敏度。定义前沿遍历速度 \(v(w) := \|\frac{\partial}{\partial w}\mathbf{f}_{\text{PF}}(w)\|\)，其刻画了权重微小摄动引起的目标向量位移率。进而定义累积弧长函数 \(s(w) := \int_0^w v(p)\,dp\) 及归一化弧长累积分布函数（CDF）： $\(\Phi(w) := \frac{s(w)}{s(1)}, \quad w \in [0, 1]\)$ 当 \(\Phi(w)\) 已知时，令 \(w_n = \Phi^{-1}(n/N)\)（即 Rule 1），两相邻采样点在前沿上的实际弧长间隔为 \(s(w_{n+1}) - s(w_n) = s(1)/N\)，从而在数学上严格保证了弧长意义下的绝对均匀采样。
在具有强凸占优测度（occupancy measure）表示的双目标强化学习（KL 正则化 MDP）中，论文进一步导出了遍历速度的解析闭式： $\(v(w) = \sqrt{(1-w)^2 + w^2} \left| (R_1 - R_2)^\top \left( \widetilde{H}_w^{-1} - \widetilde{H}_w^{-1} J^\top (J \widetilde{H}_w^{-1} J^\top)^{-1} J \widetilde{H}_w^{-1} \right) (R_1 - R_2) \right|\)$ 在单状态 Multi-Armed Bandit 特化下，最优策略具有 Softmax 闭式解，使得前沿遍历速度可仅依赖样本均值奖励解析估算，验证了“权重采样偏置消除”的普适几何机制。
2. 离散弦长逼近与单调 Hermite 保形插值：未知流形的鲁棒几何重构
在通用复杂优化问题中，真实流形与解析速度未知，算法必须依据有限的离散解来近似连续的几何测度。若直接采用分段线性插值，导数存在阶跃跳变且极易在逆映射求根时产生震荡。SURF 采用离散相邻解之间的目标空间欧氏折线距离（弦长）累加近似： $\(\tilde{s}^{(t)}(w_0^{(t)}) := 0, \quad \tilde{s}^{(t)}(w_{n+1}^{(t)}) := \tilde{s}^{(t)}(w_n^{(t)}) + \|\mathbf{h}(\mathbf{u}_{n+1}^{(t)}) - \mathbf{h}(\mathbf{u}_n^{(t)})\|\)$ 随后利用分段三次 Hermite 保形插值多项式（PCHIP）在 \([0, 1]\) 区间内构建单调递增的光滑插值函数 \(\tilde{s}^{(t)}(w)\)。PCHIP 插值在严格维持离散采样点单调性的同时，确保插值函数一阶导数处处连续且有界，完全消除了高阶多项式振荡（Runge 现象），为外层求逆 \(w = \Phi^{-1}(q)\) 提供了良态的数值稳定保障。
3. 外层阻尼松弛与双向收敛耦合：抵御非精确求解器误差传播
在神经网络或深度强化学习中，内层求解器在有限步 \(K\) 内仅能返回非精确解。若每次迭代完全信任当前有噪声的瞬时几何重构，会导致外层权重陷入发散循环。SURF 引入历史阻尼更新机制： $\(\Phi_{t+1}(w) = \alpha \widetilde{\Phi}_t(w) + (1 - \alpha) \Phi_t(w)\)$ 其中 \(\alpha \in (0, 1]\) 为阻尼平滑因子。理论分析表明，外层阻尼将内层优化残差与网格重构误差解耦，结合内层优化器的线性或次线性收缩，使得总误差度量 \(\mathcal{E}_t := \|\Phi_t - \Phi\|_\infty + C(N) \max_n \|\mathbf{x}_n^{(t)} - \mathbf{x}_{w_n^{(t)}}^*\|\) 呈线性收缩收敛至 \(\mathcal{O}(N^{-2})\) 的网格有限采样离散下界（discretization floor），达成了二阶光滑流形重构的理论最优精度。
损失函数 / 训练策略¶
SURF 的内层目标为标准标量化损失函数，不改变原有任务损失形式： $\(\min_{\mathbf{u} \in \mathcal{U}} \text{LS}_{\mathbf{h}}(\mathbf{u}; w_n^{(t)}) := w_n^{(t)} h_1(\mathbf{u}) + (1 - w_n^{(t)}) h_2(\mathbf{u})\)$ 在实际训练中，每个权重分量槽位维护独立的模型参数，并在第 \(t\) 轮由上一轮参数 \(\mathbf{u}_n^{(t-1)}\) 热启动（warm-start），仅需执行有限步更新（如 PPO 迭代若干 step 或微调若个 epoch）。该设计使得 SURF 的整体训练预算与标准均匀标量化训练完全对齐，避免了昂贵的全局重新训练开销。
实验关键数据¶
主实验¶
论文在多目标强化学习基准 MO-Gymnasium 以及 Reddit 文本摘要 LLM 对齐任务上进行了系统验证。评估指标包括 Pareto 前沿逼近质量指标：超体积（Hypervolume, HV ↑）与反转代距（Inverted Generational Distance, IGD ↓）；以及衡量前沿均匀度的指标：变异系数（Coefficient of Variation, CV ↓）与最大最小间隔比（Gap Ratio ↓）。
下表汇报了 MO-Gymnasium 经典环境（Deep Sea Treasure, Fishwood, MO-Mountaincar）上的对比结果（各方法在均等内层优化预算下评估，均值 \(\pm\) 标准差）：
| 环境 | 指标 | 权重均值融合 (Soup) | 均匀权重标量化 (Uniform-w) | 均匀解分解法 (UMOD) | 乐观线性支持 (OLS) | SURF (本文) |
|---|---|---|---|---|---|---|
| DST (\(N=15\)) | HV (\(\times 10^{-3}\)) ↑ | \(3.10 \pm 0.00\) | \(1.83 \pm 0.00\) | \(3.85 \pm 0.00\) | \(3.69 \pm 0.00\) | \(3.87 \pm 0.00\) |
| IGD (\(\times 10^{-2}\)) ↓ | \(0.68 \pm 0.00\) | \(4.51 \pm 0.00\) | \(0.23 \pm 0.00\) | \(0.41 \pm 0.00\) | \(0.21 \pm 0.00\) | |
| CV (\(\times 10^{-1}\)) ↓ | \(0.09 \pm 0.00\) | \(10.91 \pm 0.00\) | \(3.17 \pm 0.05\) | \(9.87 \pm 0.00\) | \(0.81 \pm 0.00\) | |
| Gap Ratio ↓ | \(1.04 \pm 0.00\) | \(17.16 \pm 0.00\) | \(2.41 \pm 0.13\) | \(26.85 \pm 0.00\) | \(1.45 \pm 0.00\) | |
| Fishwood (\(N=10\)) | HV (\(\times 10^{-1}\)) ↑ | \(2.39 \pm 0.00\) | \(2.40 \pm 0.00\) | \(2.39 \pm 0.00\) | \(2.39 \pm 0.00\) | \(2.39 \pm 0.00\) |
| IGD (\(\times 10^{-2}\)) ↓ | \(0.91 \pm 0.00\) | \(0.91 \pm 0.00\) | \(0.92 \pm 0.00\) | \(0.96 \pm 0.00\) | \(0.90 \pm 0.00\) | |
| CV (\(\times 10^{-1}\)) ↓ | \(2.00 \pm 0.00\) | \(1.94 \pm 0.00\) | \(2.33 \pm 0.17\) | \(3.57 \pm 0.00\) | \(0.26 \pm 0.00\) | |
| Gap Ratio ↓ | \(1.90 \pm 0.00\) | \(1.75 \pm 0.00\) | \(2.14 \pm 0.14\) | \(2.49 \pm 0.00\) | \(1.12 \pm 0.00\) | |
| MO-Mountaincar (\(N=5\)) | HV (\(\times 10^3\)) ↑ | \(0.33 \pm 0.20\) | \(0.89 \pm 0.27\) | \(0.99 \pm 0.17\) | \(0.35 \pm 0.30\) | \(1.11 \pm 0.23\) |
| IGD ↓ | \(9.45 \pm 1.02\) | \(6.41 \pm 0.88\) | \(17.28 \pm 10.56\) | \(23.77 \pm 6.63\) | \(6.00 \pm 0.72\) | |
| CV (\(\times 10^{-1}\)) ↓ | \(12.32 \pm 5.72\) | \(7.25 \pm 1.33\) | \(10.06 \pm 1.57\) | \(6.54 \pm 3.61\) | \(4.41 \pm 2.03\) | |
| Gap Ratio ↓ | \(489.94 \pm 401.29\) | \(74.96 \pm 97.16\) | \(10.28 \pm 3.89\) | \(9.47 \pm 10.66\) | \(3.75 \pm 3.75\) |
消融实验¶
在大语言模型（Qwen2.5-0.5B-Instruct + LoRA + PPO）对齐实验中，模型需要平衡摘要质量与事实忠实度两个竞争奖励。在同等训练轮次（10 轮共享热启动 + 每个分量 12 轮 PPO 更新）下对不同策略进行了消融评测：
| 方案 | 正则化目标 HV ↑ | 无 KL 奖励 HV ↑ | 均匀度 CV ↓ | 极值比 Gap Ratio ↓ | 说明 |
|---|---|---|---|---|---|
| Reward Soup (两端插值) | \(0.75 \pm 0.30\) | \(0.95 \pm 0.30\) | \(1.69 \pm 0.26\) | \(161.20 \pm 15.27\) | 参数线性融合严重偏离真实前沿 |
| 均匀标量化 (Uniform-w) | \(3.76 \pm 0.31\) | \(4.00 \pm 0.30\) | \(0.65 \pm 0.12\) | \(5.89 \pm 1.15\) | 经典基线，解在端点聚集明显 |
| SURF (本文完整方案) | \(4.03 \pm 0.35\) | \(4.24 \pm 0.35\) | \(0.30 \pm 0.17\) | \(2.93 \pm 5.35\) | 逼近质量更优，间距均匀度提升超 2 倍 |
关键发现¶
- 几何非均匀性的严重性：在 DST 环境中，传统均匀加权 Uniform-w 的变异系数高居 1.091，极值间距比高达 17.16；SURF 将 Gap Ratio 骤降至 1.45，CV 降低了 13.5 倍，消除了在低回报端点的密集聚簇现象。
- 参数空间插值的局限性：Reward Soup 虽在参数空间均匀插值，但在目标空间中严重欠优化，在 DST 和 LLM 对齐中 HV 均显著落后，证明参数均匀混合无法映射为目标空间的有效帕累托覆盖。
- 预算效率与解质量的双赢：SURF 凭借动态权重自适应分配，不仅前沿覆盖更均匀，由于解在几何密集难优化区域获得了更合理的权重引导，其超体积 HV 在所有测试任务中均优于或持平于各基线方法。
亮点与洞察¶
- 标量化采样的流形速度视角：将标量化过程抽象为沿流形的速度积分，将均匀覆盖转化为对弧长 CDF 的逆映射，用极具说服力的微分几何视角彻底澄清了启发式标量化失效的根源。
- 与黑盒求解器的完美正交解耦：SURF 作为纯外层包装器，对内层使用的梯度优化器或强化学习算法零侵入，兼具极高工程可行性与严格的 \(\mathcal{O}(N^{-2})\) 收敛性保障。
- 大模型多目标对齐的即插即用泛化：成功拓展至多目标 LLM RLHF 微调，在微小算力额外开销下获得了显著优于均匀权重的多样化模型族。
局限与展望¶
- 高维目标扩展难度：当前连续流形弧长积分主要针对二维目标空间（\(M=2\)），当扩展到三维及更高维度的流形曲面时，测度归一化将涉及复杂的微分流形面积分与高维网格剖分。
- 非凸前沿局限性：尽管实验展示了切比雪夫标量化下的有效性，但理论收敛性证明严重依赖隐藏凸性假设，在完全非凸强不连通 Pareto 前沿上的理论性质仍有待建立。
- 随机估计带来的方差扰动：在小批量在线 RL 与 LLM 采样评估中，目标函数观测噪声会引起弦长估计波动，需要探索更具抗噪性的鲁棒几何插值核。
相关工作与启发¶
- vs 经典标量化 (LS / Tchebycheff)：经典方法依赖人工均匀指定固定权重，忽视了几何流形曲率；SURF 通过 CDF 动态反馈调整采样权重密度，以相同的内层求解器实现均匀覆盖。
- vs UMOD / NBI / 连续追踪法：UMOD 和 NBI 依赖昂贵的二阶优化或辅助约束子问题，难以直接应用于现代深度神经网络；SURF 保持单目标无约束求解，计算复杂度显著降低。
- vs 权重融合模型 (Model Soup)：Model Soup 仅在权重空间两极模型间线性插值，在非线性前沿上严重偏离最优面；SURF 始终求解真实标量化问题，保证解落在前沿流形内部。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从微分几何流形速度与分布匹配视界解决多目标标量化采样偏置，视角独特深刻。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖理论分析、玩具 Bandit、连续控制 MORL 以及前沿 LLM 对齐，验证层层递进。
- 写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，几何动机直观生动，图表表达极为规范清晰。
- 价值: ⭐⭐⭐⭐⭐ 为多目标优化与偏好对齐领域提供了一个极具实用价值且具备理论支撑的基础算法框架。