FoMEMO: Towards Foundation Models for Expensive Multi-objective Optimization¶

会议: NeurIPS 2026
arXiv: 2509.03244
领域: 推荐系统 / 运筹优化
关键词: 高成本多目标优化, 基础模型, 上下文学习, 先验数据拟合网络, 贝叶斯优化

一句话总结¶

FoMEMO 提出了首个面向高成本多目标优化的基础模型范式，通过在大规模合成高斯过程数据上预训练 PFN 架构，仅需单次前向传播即可根据历史轨迹与偏好向量预测目标聚合后验分布，实现无需在线更新模型的零样本快速上下文优化。

研究背景与动机¶

高成本多目标优化（Expensive Multi-Objective Optimization, EMO）广泛存在于神经架构搜索、多任务系统推荐超参调优、工程结构设计以及分子药物发现等现实场景中。在这些任务中，真实黑盒目标的评估成本极为昂贵且耗时，决策者往往只能获得几十到上百次评估预算，难以直接恢复出真实的帕累托前沿（Pareto Front）。传统的多目标贝叶斯优化（MOBO）高度依赖高斯过程（GP）对各个目标函数分别独立建模，在每轮迭代中优化诸如 qNEHVI 或 ParEGO 等采集函数，并在每获取一个新样本点后从头重新训练高斯过程。这种模式不仅在每次遇到新问题时都需要重新拟合，而且随着目标维度上升，GP 代理模型的拟合与采样开销急剧增长，极大地限制了算法在实时或复杂场景中的响应效率。

为了摆脱每个新问题都从零拟合的瓶颈，近年来离线强化学习或基于深度学习的离线多目标优化方法尝试利用历史实验数据预训练策略网络。然而，高成本优化在新兴领域应用时，获取大规模且高质量的真实领域评估轨迹本身就是奢望。近期出现的 BOFormer 等方法虽尝试在合成数据上进行强化学习策略预训练，但其底层仍然没有摆脱每步依赖高斯过程计算后验的重度耦合；更关键的是，其采用基于超体积贡献（Hypervolume Improvement）的高开销奖励计算，在训练阶段构成了不可忽视的扩展性瓶颈，严重限制了预训练函数空间的多样性与复杂场景泛化能力。

本文的切入视角是跳出针对每个目标函数单独做高斯过程建模并反复求交集的传统思维，将多目标标量化分解与大模型上下文学习（In-Context Learning）能力结合。通过在数以亿计的轻量级高斯过程合成函数上进行预训练，让模型直接学会基于历史轨迹和任意偏好权重预测聚合后的目标后验分布。核心 idea：构建基于 Prior-Data Fitted Networks (PFN) 的多目标优化基础模型 FoMEMO，在合成先验分布上一次性预训练预测给定偏好下的聚合目标后验，在下游测试阶段仅凭历史轨迹上下文和单次前向推理驱动偏好引导与免偏好的采集函数优化，全程无需任何模型微调与参数更新。

方法详解¶

整体框架¶

FoMEMO 的整体架构分为两个核心阶段：合成数据预训练阶段（Synthetic Pre-training Stage）与下游上下文优化阶段（In-context Optimization Stage）。

在预训练阶段，系统通过轻量级采样机制生成海量由高斯过程先验构造的多目标函数实例，动态抽取历史轨迹 $D_n = \{(\boldsymbol{x}_i, \boldsymbol{y}_i)\}_{i=1}^n$、候选查询点 $\boldsymbol{x}$ 以及在单纯形上采样的偏好向量 $\boldsymbol{\lambda} \in \Delta$。模型的目标是在掩码掉查询点真实聚合目标值 $g = -s_{\boldsymbol{\lambda}}(\boldsymbol{x})$ 的监督设定下，预测聚合后验分布 $q_{\boldsymbol{\theta}}(g \mid \boldsymbol{x}, D_n; \boldsymbol{\lambda})$。

进入下游优化阶段后，面对任意未见过的黑盒优化问题，用户只需将当前已评估的历史轨迹作为 prompt 上下文输入给冻结权重的 FoMEMO。模型能够以单次网络前向传播输出任意偏好下的后验分布，进而驱动四种不同采集函数（偏好引导的 EI/UCB，以及免偏好的 UHVI/UR2I）快速搜索并推荐下一个评估点，彻底免去 GP 模型的重新训练与超体积区域剖分的计算瓶颈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["黑盒多目标历史轨迹<br/>D_n = {(x_i, y_i)} 与查询点 x"] --> B["跨维度特征投影与注意力编码<br/>支持 d 维决策空间与 m 维目标空间"]
    B --> C["目标感知回归头<br/>按目标维度动态路由至专用离散头"]
    C --> D["单次前向推理预测<br/>偏好聚合后验 q_θ(g | x, D_n; λ)"]
    D --> E["上下文采集函数快速优化<br/>支持 EI / UCB / UHVI / UR2I"]
    E --> F["输出新候选解 x* 供昂贵黑盒评估"]

关键设计¶

1. 偏好条件聚合后验建模：将多目标联合分布简化为可泛化的一维标量后验

传统多目标高斯过程代理模型需要对 $m$ 个目标分别维护后验分布，在计算多目标改进量（如多目标超体积增加量 EHVI）时面临高维积分和非支配超体积剖分的指数级计算复杂度；若采用高斯过程逼近切比雪夫标量化后的函数，又会由于 $\max$ 操作的非线性导致目标非高斯化，破坏高斯过程的基本假设。FoMEMO 的切入点是将目标切比雪夫标量化显式地作为模型的条件生成目标： $$s_{\boldsymbol{\lambda}}^{\text{tch}}(\boldsymbol{x}) = \max_{1 \le j \le m} \{\lambda_j (y_j(\boldsymbol{x}) - z_j^*)\}, \quad g_{\boldsymbol{\lambda}}(\boldsymbol{x}) = -s_{\boldsymbol{\lambda}}^{\text{tch}}(\boldsymbol{x})$$ 其中 $\boldsymbol{\lambda} \in \Delta = \{\boldsymbol{\lambda} \in \mathbb{R}_+^m \mid \|\boldsymbol{\lambda}\|_1 = 1\}$ 为偏好权重，$\boldsymbol{z}^*$ 为参考理想点。通过直接将偏好 $\boldsymbol{\lambda}$ 编码为模型的上下文输入，模型被训练去直接预测聚合目标标量 $g_{\boldsymbol{\lambda}}(\boldsymbol{x})$ 的后验分布 $q_{\boldsymbol{\theta}}(g \mid \boldsymbol{x}, D_n; \boldsymbol{\lambda})$。这种设计将复杂的多维后验联合建模问题规约为了条件单标量回归，不仅天然保证了数学上切比雪夫标量化全局最优解对应帕累托最优解的严格映射，而且使模型能够同时捕捉相邻偏好权重之间的局部关联与平滑过渡，为后续并行化解的生成提供了天然支撑。

2. 目标感知回归头与黎曼离散化：消除跨维度目标分布漂移并稳健量化不确定性

在采用 Transformer 架构的先验数据拟合网络（PFNs）中，输入由跨维度的特征与目标编码层统一映射，通过去除位置编码实现对轨迹样本排列的不变性。然而，当优化问题的目标函数维度 $m$ 从 2 扩展到 6 时，聚合目标 $g_{\boldsymbol{\lambda}}(\boldsymbol{x}) = -\max_j \{\lambda_j (y_j - z_j^*)\}$ 的统计极值分布会发生显著的维度分布漂移。为了解决这一问题，FoMEMO 提出了目标感知回归头（Objective-Aware Regression Head），在网络主干特征提取后，根据当前问题的目标维度 $m$ 动态路由至对应的专用回归头。在回归建模机制上，FoMEMO 采用分段常数黎曼分布（Riemann Distribution），将连续实数标量输出离散化为 1000 个等先验概率区间，并在两侧端点使用半正态分布平滑尾部。这直接将不稳定的连续回归拟合转化为交叉熵分类任务，从而天然输出高度校准、具有任意形状的非高斯后验概率密度，赋予了模型在未知复杂地形下精准输出均值 $\mu_{\boldsymbol{\lambda}}(\boldsymbol{x})$ 与方差 $\sigma_{\boldsymbol{\lambda}}(\boldsymbol{x})$ 的能力。

3. 免偏好的不确定性感知超体积改进采集函数：利用球面几何对偶性解耦偏好采样

在下游优化中，若决策者没有显式偏好，常规做法需要借助超体积改进量指导全局前沿搜索。针对这一需求，FoMEMO 推导了免偏好（Preference-Free）的新型采集函数：不确定性感知超体积改进（Uncertainty-aware Hypervolume Improvement, UHVI）与不确定性感知 R2 改进（UR2I）。利用超体积测度等价于在单位超球面 $S = \{\boldsymbol{w} \in \mathbb{R}_+^m \mid \|\boldsymbol{w}\|_2 = 1\}$ 上均匀参考向量切比雪夫标量化期望的几何性质，结合偏好单纯形转换常数 $c_{\boldsymbol{\lambda}} = \sqrt{\sum_{j=1}^m \frac{1}{\lambda_j^2}}$，将超体积提升量与上置信界（UCB）效用建立闭式期望映射： $$\alpha_{\text{UHVI}}(\boldsymbol{x}) = c_m \mathbb{E}_{\boldsymbol{\lambda} \sim \Delta} \left[ (c_{\boldsymbol{\lambda}})^m \max \left\{ 0, \left[ \min_{1 \le i \le n} \{-g_{\boldsymbol{\lambda}}(\boldsymbol{x}_i)\} \right]^m - \left[ -\alpha_{\text{UCB}}(\boldsymbol{x}; \boldsymbol{\lambda}) \right]^m \right\} \right]$$ 其中 $c_m = \frac{\pi^{m/2}}{2^m \Gamma(m/2+1)}$ 是仅取决于目标维度 $m$ 的常数，$\alpha_{\text{UCB}}(\boldsymbol{x}; \boldsymbol{\lambda}) = \mu_{\boldsymbol{\lambda}}(\boldsymbol{x}) + \beta \sigma_{\boldsymbol{\lambda}}(\boldsymbol{x})$。该公式将传统耗费巨大算力的多维几何超体积多面体计算，转化为在单纯形上蒙特卡洛采样偏好后对标量 UCB 上界的快速数值积分。优化该采集函数等价于同时在所有潜在偏好方向上最大化不确定性收益，彻底消除了对真实超体积前沿精细网格划分的依赖。

损失函数 / 训练策略¶

FoMEMO 的训练完全脱离昂贵的真实世界实验，全部基于快速合成的高斯过程先验数据生成器 $p(D)$。在每个预训练样本中，特征维度 $d \sim [1, 30]$、目标维度 $m \sim [1, 6]$、历史轨迹长度 $n \sim [1, 255]$ 与查询点数量 $N-n$ 均动态随机采样。高斯过程采用带随机长度尺度 $l \sim \Gamma(3.0, 6.0)$ 和微小观测噪声 $\epsilon \sim \mathcal{N}(0, 10^{-4})$ 的径向基核（RBF），确保先验函数的通用覆盖与充分多样性。

模型参数 $\boldsymbol{\theta}$ 在由留出查询点掩码目标构建的交叉熵损失下进行端到端优化： $$\mathcal{L}(\boldsymbol{\theta}) = \mathbb{E}_{(\boldsymbol{x}, \boldsymbol{y}) \cup D_n \sim p(D), \boldsymbol{\lambda} \sim \Delta, g = -s_{\boldsymbol{\lambda}}(\boldsymbol{x})} \left[ -\log q_{\boldsymbol{\theta}}(g \mid \boldsymbol{x}, D_n; \boldsymbol{\lambda}) \right]$$ 该损失函数在数学上等价于模型预测后验与理论真实后验之间的期望 KL 散度（差一个常数项）。模型由 12 层 Transformer Encoder 组成，隐层维度 512，前馈维度 1024，4 个注意力头，总参数量仅为 26.81M。采用 Adam 优化器，学习率设为 $5 \times 10^{-5}$，搭配 5 轮线性预热与余弦退火调度，总共在 8 张 NVIDIA L20 GPU 上耗时约 35 小时训练 500 个 epoch（处理超过 1.3 亿个合成数据集）。训练完成后模型权重完全冻结，所有下游基准测试均零样本复用该同一模型。

实验关键数据¶

主实验¶

评估涵盖 6 个合成测试函数（BC, AR, ABC, ABD, ACD, BCD）、10 个真实工程设计问题（RE 评测基准）以及 4 个基于 3D Gaussian Splatting 的超参数优化任务（Lego, Materials, Mic, Ship）。所有算法均以 $2(d+1)$ 个初始随机样本启动，设置统一的 100 次昂贵黑盒评估预算，重复 10 次独立运行并统计超体积（HV 指标，数值越高越优）的均值与标准差。

下表展示了各类方法在合成测试函数与代表性真实工程问题上的超体积指标对比：

算法	BC (2d2m)	ABC (2d3m)	ACD (2d3m)	Four Bar Truss (4d2m)	Speed Reducer (7d3m)	Gear Train (4d3m)	Rocket Injector (4d3m)
MOEA/D-EGO	0.7015 (7.5e-3)	0.4826 (8.1e-3)	0.9320 (1.4e-2)	0.7462 (1.4e-2)	1.2610 (1.3e-2)	0.5623 (1.3e-1)	0.7539 (1.1e-2)
TSEMO	0.8056 (9.1e-4)	0.4853 (4.5e-3)	0.9117 (2.6e-2)	0.8506 (4.7e-4)	1.2970 (1.3e-3)	0.8092 (2.3e-2)	0.8618 (7.5e-4)
USEMO-EI	0.7750 (1.2e-2)	0.4648 (8.2e-3)	0.8991 (2.5e-2)	0.8232 (4.3e-3)	1.2860 (3.7e-3)	0.6433 (4.0e-2)	0.8316 (3.7e-3)
DGEMO	0.8087 (1.3e-3)	0.4477 (3.8e-2)	0.7266 (9.1e-2)	0.8526 (9.8e-4)	1.3040 (1.6e-4)	0.8859 (3.2e-2)	0.8605 (1.9e-3)
qNEHVI	0.7962 (1.7e-3)	0.4929 (6.5e-3)	0.9167 (1.3e-2)	0.8244 (3.8e-3)	1.2630 (7.9e-3)	0.8387 (2.6e-2)	0.8182 (5.0e-3)
qParEGO	0.7843 (4.2e-3)	0.4782 (7.5e-3)	0.9285 (1.3e-2)	0.7917 (1.7e-2)	1.2150 (1.4e-2)	0.7813 (3.1e-2)	0.6700 (2.8e-2)
BOFormer	0.7187 (1.4e-2)	0.4082 (1.7e-2)	0.7988 (3.8e-2)	0.7308 (1.4e-2)	1.1910 (1.0e-2)	0.3818 (5.7e-2)	0.6208 (2.2e-2)
FoMEMO-EI	0.8066 (6.2e-4)	0.4993 (1.2e-2)	0.9291 (1.5e-2)	0.8667 (2.0e-3)	1.2980 (7.3e-4)	0.9107 (8.1e-3)	0.8506 (4.6e-3)
FoMEMO-UCB	0.8075 (5.8e-4)	0.4878 (1.4e-2)	0.9407 (1.5e-2)	0.8722 (1.2e-3)	1.2990 (6.2e-4)	0.9270 (4.5e-3)	0.8666 (2.4e-3)
FoMEMO-UHVI	0.8052 (4.9e-4)	0.4908 (7.4e-3)	0.9519 (1.2e-2)	0.8609 (1.3e-3)	1.2630 (3.7e-3)	0.8573 (9.6e-3)	0.8245 (7.3e-3)
FoMEMO-UR2I	0.8016 (1.7e-3)	0.4973 (6.0e-3)	0.9256 (1.8e-2)	0.8741 (5.0e-4)	1.2850 (3.6e-3)	0.8961 (1.1e-2)	0.8693 (1.5e-3)

在推理时间与高维扩展性方面，下表展示了各算法在不同目标数量（$m \in \{2, 3, 4, 6\}$）下的单步候选点生成耗时（单位：秒，仅包含采集函数优化耗时）：

算法	2 目标 (Four Bar)	3 目标 (Speed Reducer)	4 目标 (Car Side)	6 目标 (Water Resource)
MOEA/D-EGO	38.64	46.84	49.93	54.20
TSEMO	5.66	6.17	5.88	6.35
USEMO-EI	8.16	6.68	7.22	6.75
DGEMO	36.26	95.38	内存溢出 / 无法运行	内存溢出 / 无法运行
qParEGO	11.93	19.03	85.59	185.50
qNEHVI	10.10	22.07	62.90	78.28
JES	10.33	33.44	41.62	44.97
BOFormer	0.67	0.75	架构受限不支持	架构受限不支持
FoMEMO-EI	2.57	3.98	3.14	2.85
FoMEMO-UCB	1.72	1.17	1.12	2.08
FoMEMO-UHVI	0.62	0.61	0.62	0.74
FoMEMO-UR2I	1.62	1.71	1.37	1.17

消融实验¶

论文在附录 C 详细分析了不同先验核函数、回归头架构与标量化形式对最终优化性能的影响（测试 representative 任务的 HV 均值）：

模型配置	变动说明	BC	ABD	Four Bar Truss	Gear Train
Base (本文所选)	RBF 核 + 目标感知头 + 严格切比雪夫	0.8075 (UCB)	0.7369 (UCB)	0.8722 (UCB)	0.9270 (UCB)
Matern32 Kernel	换用 Matern-3/2 核生成先验	0.8063	0.7501	0.8693	0.9145
Matern52 Kernel	换用 Matern-5/2 核生成先验	0.8083	0.7495	0.8736	0.9156
Objective-Agnostic Head	统一单一回归头，不区分目标维度	0.8085	0.7305	0.8721	0.9221
Smoothed Aggregation	采用平滑切比雪夫标量化 ($\alpha=0.05$)	0.8027	0.7397	0.8683	0.9279

关键发现¶

纯合成先验带来真实世界的优异泛化：仅依靠高斯过程随机生成的 1.3 亿合成数据集预训练，FoMEMO 在 10 个未见过的真实工程机械问题和 4 个 3DGS 神经渲染任务中，均值指标大幅领先传统需要重新拟合 GP 的经典算法以及需要强化学习在线交互的 BOFormer。
高目标维度下的速度与显存飞跃：传统代表算法如 qParEGO 在 6 目标水资源规划任务下单步耗时高达 185.5 秒，DGEMO 在 4 目标以上直接崩溃；而 FoMEMO-UHVI 在 2 到 6 目标任务中均保持 0.6~0.7 秒的极低恒定耗时，实现了百倍至千倍的推理加速。
平滑标量化的理论陷阱：消融表明，虽然平滑切比雪夫标量化在预训练阶段收敛更快、损失更低，但在下游真实优化中表现普遍下降。其根源在于平滑操作引入的近似误差偏离了最优解边界，误导了下游局部最优搜索。

亮点与洞察¶

将多目标非凸优化转化为一维条件生成：传统 MOBO 苦于维护多个 GP 并计算交集超体积，FoMEMO 将偏好向量 $\boldsymbol{\lambda}$ 视为 prompt，直接让 Transformer 预测条件后验，架构构思极为优雅且计算高度自洽。
单步前向传播驱动上下文优化（In-context Optimization）：整个搜索闭环中模型参数被完全冻结，彻底抛弃了每步拟合代理模型的重负，将耗时瓶颈从模型训练转移到真实的黑盒函数评估上。
由几何对偶性严格推导的 UHVI 采集函数：利用超球面参考点与偏好单纯形的数学等价性，通过蒙特卡洛 UCB 标量积分替代高维超体积计算，兼具严格的理论保证与极高的计算效率。

局限与展望¶

高斯过程平滑先验的边界局限：模型假设黑盒函数具备连续与一定的平滑性，当面对具有强离散阶跃、强约束断裂面或高度奇异性的组合优化问题时，纯 GP 生成的先验分布可能无法有效泛化。
超高维决策与目标维度的扩展挑战：当前模型支持的最大输入维度为 $d=30$、$m=6$。若将特征空间扩展至数百维，合成先验的覆盖样本复杂度将指数爆炸，未来需结合局部信赖域（TuRBO）或降维嵌入技术。
领域特定微调（Fine-tuning）的潜力未完全释放：论文目前仅探索了完全冻结权重的零样本上下文优化，未来引入领域小样本微调有望进一步拉高极限性能。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向昂贵多目标优化的上下文基础模型，巧妙统一标量化分解与 PFN 机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个合成函数、10 个真实工程问题、4 个 3DGS 场景，并涵盖串行、并行及耗时全方位对比。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨（附录给出完整的测度积分证明），架构图与实验逻辑极其清晰。
价值: ⭐⭐⭐⭐⭐ 为黑盒多目标优化领域开辟了“基础模型+上下文推理”的全新范式，工程实用性极高。