SMOG: Scalable Meta-Learning for Multi-Objective Bayesian Optimization¶

会议: NeurIPS 2026
arXiv: 2601.22131
OpenReview: https://openreview.net/forum?id=b6NzMTXsJw
代码: 待确认
领域: 优化/理论
关键词: 多目标贝叶斯优化、元学习、高斯过程、多输出代理模型、等相关核

一句话总结¶

针对多目标贝叶斯优化在历史任务迁移中面临的元任务不确定性传递与跨目标相关性建模难题，本文提出了 SMOG 模型，通过可扩展的结构化高斯过程联合先验，在保持对元任务数量线性计算复杂度的同时实现了闭式目标先验推导与跨目标依赖建模。

研究背景与动机¶

许多关键的工程设计与机器学习调优场景天然具备多目标属性，例如在神经网络架构搜索中权衡准确率与延迟、在无人机轨迹规划中权衡能耗与障碍避让，或在材料设计中平衡多种物理特性。这类黑盒函数评测代价极其高昂，使得多目标贝叶斯优化（MOBO）成为样本高效求解帕累托前沿的核心方法。在实际应用中，组织往往积累了大量相似硬件、历史工况或相关数据集的历史优化日志。通过元学习将历史元任务知识迁移到新目标任务中，能够大幅缩减新任务从零探索时的冷启动成本。

然而，将元学习与多目标贝叶斯优化深度结合在极低样本预算（low-data regime）下面临三重核心技术矛盾：其一，元任务迁移必须准确量化不确定性，历史任务数据通常稀疏且存在异构性，若缺乏完备的贝叶斯不确定性传递机制，容易将次优或存在分布偏移的先验强制注入目标任务，导致过置信的负迁移；其二，传统完全联合的多任务多输出高斯过程（MTGP）虽具备严谨的理论不确定性，但计算复杂度随所有任务的总观测点数呈三次方爆炸，随元任务数量与目标维数剧烈膨胀，根本无法扩展到数十上百个历史任务；其三，多目标问题中各目标指标之间往往存在内在物理或统计相关性，现有大部分可扩展元学习方案（如 ScaML-GP、RGPE 等）多针对单目标设计，在拓展到多目标时粗暴地假设目标间相互独立，导致极为宝贵的跨目标协同信号白白流失。

为了破解这一长期悬而未决的三难困境，本文提出了 SMOG（Scalable Meta-Learning for Multi-Objective Bayesian Optimization）。核心 idea：基于解耦元任务假设与加性目标残差分解，构建可学习目标间协方差的结构化多输出高斯过程，在以元任务数线性复杂度完成贝叶斯元知识提取的同时推导出显式闭式目标先验，并利用等相关结构正则化残差相关性，无缝赋能标准多目标采集函数。

方法详解¶

整体框架¶

SMOG 旨在解决具有 $O$ 个竞争黑盒目标 $f_{t}: \mathcal{X} \to \mathbb{R}^O$ 的极低预算多目标优化问题。输入包括 $M$ 个历史元任务数据集 $\mathcal{D}_{1:M} = \bigcup_{m=1}^M \mathcal{D}_m$ 与目标任务稀疏观测 $\mathcal{D}_t$，输出为精确刻画目标任务函数分布的多输出高斯过程后验。整体流程分为离线元任务独立拟合、闭式目标先验构建、目标超参数优化以及后验更新与采集函数决策四个阶段：首先独立预训练各元任务的高斯过程模型并缓存逆矩阵；随后依据跨任务结构化耦合假设，将各元任务后验通过目标级权重线性组合，直接解析推导并缓存目标任务的均值与协方差先验；接着利用目标任务稀疏样本以两阶段模块化极大似然推断残差超参数与目标权重；最后将先验条件化到目标观测上，送入标准对数超体积提升（LogEHVI）采集函数选取下一个评估点。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史元任务数据<br/>D_1:M 与目标任务 D_t"] --> B["元任务独立多输出GP拟合<br/>克罗内克结构独立建模"]
    B --> C["闭式目标先验构建<br/>逐目标加权均值与全目标协方差块传递"]
    C --> D["两阶段超参数推断<br/>目标权重与残差超参数模块化MAP求解"]
    D --> E["目标残差等相关核建模<br/>(O+1) 参数识别跨目标残差相关性"]
    E --> F["目标任务GP后验更新<br/>条件化目标观测 D_t 并接入 LogEHVI 优化"]

关键设计¶

1. 元任务解耦与结构化多输出联合核：解决多任务联合建模的计算爆炸

传统多任务高斯过程需要在所有任务和目标构成的增广矩阵上求逆，计算量受制于 $\mathcal{O}((MO\sum N_m)^3)$。为实现线性扩展，SMOG 引入了两大结构化假设。首先，假设各历史元任务之间相互独立（即不同元任务 $m \neq m'$ 间的协方差为零），将庞大的元任务数据协方差矩阵对角块化；其次，将目标任务模型 $f_{to}$ 显式分解为加权元任务潜在函数与一个目标专属残差函数之和：$f_{to}(\bm{x}) = \tilde{f}_{to}(\bm{x}) + \sum_{m=1}^M w_{mo} f_{mo}(\bm{x})$，其中目标专属残差 $\tilde{f}_{to}$ 与历史元任务先验完全不相关，且各目标保留独立的权重系数 $w_{mo} \in \mathbb{R}$。通过这一构造，SMOG 证明了联合核矩阵可分解为稀疏块化形式，核超参数规模从非约束联合核的 $\mathcal{O}(M^3 O^3)$ 锐减至 $\mathcal{O}(M O^3)$，仅随元任务数量 $M$ 线性增长。

2. 闭式目标任务先验与完整不确定性传递：打破启发式集成的非贝叶斯局限

不同于传统模型采用加权打分（如 RGPE）等非一致性概率修补手段，SMOG 在数学上严格保证了完全联合先验在给定全部元数据 $\mathcal{D}_{1:M}$ 条件下的条件分布依然是一个严格的闭式高斯过程：$f_{to} \mid \mathcal{D}_{1:M}, \bm{x} \sim \mathcal{GP}(m_{t,\text{SMOG}}(\bm{x}, o), k_{t,\text{SMOG}}[(\bm{x}, o), (\bm{x}', o')])$。其均值函数与跨目标协方差函数分别显式表达为： $$m_{t,\text{SMOG}}(\bm{x}, o) = \sum_{m\in\mathcal{M}} w_{mo} \hat{m}_{mo}(\bm{x})$$ $$k_{t,\text{SMOG}}[(\bm{x}, o), (\bm{x}', o')] = k_t[(\bm{x}, o), (\bm{x}', o')] + \sum_{m\in\mathcal{M}} w_{mo} w_{mo'} \hat{k}_{moo'}(\bm{x}, \bm{x}')$$ 其中 $\hat{m}_{mo}$ 与 $\hat{k}_{moo'}$ 为元任务 $m$ 仅利用自身数据拟合得到的后验均值与后验协方差块。该先验形式不仅将各元任务的认知不确定性以权重的二次型 $w_{mo}w_{mo'}$ 完整传递至目标任务，而且自然保留了元任务所学到的跨目标协方差结构 $\hat{k}_{moo'}$。当某些历史元任务与目标任务不匹配时，优化算法会将其权重自适应压低至 0，从而有效抑制负迁移。

3. 等相关结构残差核：在极稀疏数据下稳健识别目标间残差关联

目标专属残差核 $k_t$ 用于捕捉元任务未能完全解释的目标任务特有相关性。若采用一般的全秩或低秩协方差矩阵 $K_{\text{Obj}} \in \mathbb{R}^{O \times O}$，自由参数量高达 $\mathcal{O}(O^2)$，在目标任务仅有数十个样本的极低数据预算下极易出现参数不可识别与严重过拟合。为此，SMOG 提出了紧凑的等相关（Equicorrelated）可分离克罗内克结构：$\mathrm{Cov}(\tilde{f}_{to}, \tilde{f}_{to'}) = k_{\text{Obs}}(\bm{x}, \bm{x}') K_{\text{Obj}}[o, o']$。其跨目标矩阵参数化为： $$K_{\text{Obj}}[i, j] = \begin{cases} \sigma_i^2, & i = j \\ \rho \sigma_i \sigma_j, & i \neq j \end{cases}, \quad \rho \in \left[-\frac{1}{O-1}, 1\right]$$ 该矩阵具备 $(1-\rho)\,\mathrm{diag}(\bm{\sigma}^2) + \rho\,\bm{\sigma}\bm{\sigma}^\top$ 的秩一加对角分解特性，在保证半正定性的同时将自由参数量从 $\mathcal{O}(O^2)$ 严格压缩至 $O+1$（即 $O$ 个目标尺度 $\sigma_i$ 加上一个共享的相关系数 $\rho$）。该参数化使模型能在样本极度匮乏的冷启动期稳健识别目标间的相关趋势，避免经验协方差矩阵病态。

损失函数 / 训练策略¶

为防止样本稀少的目标数据对历史元任务的模型超参数造成反向污染，SMOG 遵循无反馈模块化贝叶斯推断框架（No-feedback modularization）。训练分为两个串行阶段：第一阶段（离线元任务优化）：对每个元任务独立极大化对数边际似然 $\bm{\theta}_m^\star = \argmax_{\bm{\theta}_m} \log p(\bm{Y}_m \mid \bm{X}_m, \bm{\theta}_m)$，求出各元任务超参数并完成数据求逆缓存；第二阶段（在线目标任务优化）：固定已学习的元超参数 $\bm{\theta}_{1:M}^\star$，仅在目标任务有限观测上通过极大后验估计（MAP）联合优化目标权重与残差参数：$\bm{\theta}_t^\star = \argmax_{\bm{\theta}_t} \log p(\bm{Y}_t \mid \mathcal{D}_{1:M}, \bm{X}_t, \bm{\theta}_t, \bm{\theta}_{1:M}^\star)$。其中相关系数 $\rho$ 施加了截断在 $[-\frac{1}{O-1}, 1]$ 上的 $\mathrm{Beta}(2, 2)$ 先验分布以鼓励内部取值，并使用 3 次随机重启以跳出局部极值。

实验关键数据¶

主实验¶

论文在合成基准（Adapted Branin-Currin、Adapted Hartmann6）、真实硬件与系统超参调优基准（HPOBench 上的 4 个数据集）以及复杂物理仿真基准（Terrain 无人机轨迹规划，2 目标与 4 目标）上展开广泛测试。优化器采用单点随机初始化，评估 50 次独立重复实验的累积超体积遗憾（Cumulative HV Regret，越低越好）与最终超体积差值（HV Gap）。

下表汇总了在代表性基准上的累积超体积遗憾表现对比（元任务数 $M=8$；Branin-Currin/Hartmann6 每个元任务 $N_m=16$，Terrain 每个元任务 $N_m=64$）：

测试基准与目标数	评估指标	SMOG (本文)	Ind. ScaML-GP (最强单目标元学习)	Ind. GP (无元学习基线)	MO-TPE (多目标元TPE)	核心增益表现
Branin-Currin (2 obj)	累积 HV 遗憾	1.82	2.05	6.84	5.92	相较无元学习基线降低 73.4%，收敛显著加快
Branin-Currin (4 obj)	累积 HV 遗憾	3.15	3.42	9.40	8.11	稳居第一，在复杂多目标下优势保持
Hartmann6 (2 obj)	累积 HV 遗憾	3.85	4.12	11.25	10.40	与 Ind. RGPE 处于最优梯队
Hartmann6 (4 obj)	累积 HV 遗憾	5.20	6.45	15.80	14.10	跨目标耦合优势显现，显著拉开与独立模型差距
HPOBench Slice (2 obj)	累积 HV 遗憾	2.40	2.58	7.90	6.75	真实超参调优中实现极快冷启动速度
Terrain Task 0 (4 obj)	累积 HV 遗憾	4.10	7.30	18.50	16.20	显著领先所有竞品，4目标相关性建模收益巨大

消融实验¶

为了严格验证跨目标相关性建模与元学习架构的各自贡献，论文对比了 SMOG 及其消融变体 Ind. SMOG（保持相同的元学习目标头，但在源任务元 GP 中剥离克罗内克结构，按独立目标训练），并对元任务数量、目标维度和元样本规模进行了敏感性消融分析：

模型配置 / 消融维度	Hartmann6 (4 obj) 累积 HV 遗憾	Terrain Task 0 (4 obj) 最终 HV Gap	机制说明与分析
SMOG (完整多输出模型)	5.20	0.082	联合学习跨目标相关性，先验更具信息量
Ind. SMOG (独立源任务消融)	5.85	0.125	剥离元任务跨目标协方差后，收敛速度与质量明显下降
Ind. ScaML-GP (完全独立GP)	6.45	0.148	缺乏跨目标残差与协方差传递，高维目标下掉点显著
元任务数消融 ($M=1 \to 8$)	8.10 $\to$ 5.20	0.190 $\to$ 0.082	累积遗憾随元任务数量增加单调递减，初期增益最明显
采集函数消融 (LogEHVI vs qLogParEGO)	5.20 vs 5.82	0.082 vs 0.095	LogEHVI 直接优化超体积表现更优，但模型相对排序完全保持

关键发现¶

跨目标协方差在高维目标场景下收益爆发：在 2 目标任务中，独立建模的 Ind. SMOG 与 Ind. ScaML-GP 与 SMOG 差距较小；但在 4 目标复杂场景（如 Hartmann6 4-obj 和 Terrain 4-obj）中，SMOG 展现出断层式领先，证实了在数据极其稀缺时，跨目标的互信息共享能成倍提升有效样本量。
计算时间线性可扩展：在 Hartmann6 运行时间测试中，2 目标下 SMOG 每次 BO 循环仅需约 6.4 秒，4 目标下增至 16.8 秒；元任务 GP 拟合耗时随 $M$ 严格呈线性扩展且支持完全并行，前置预处理完成后目标推断仅消耗几十毫秒。
帕累托前沿分布更广且更贴合真实前沿：定性分析表明，在仅有 15 次目标任务迭代时，SMOG 找到的解集不仅超体积更优，在帕累托前沿两端的极端权衡点分布覆盖率明显优于启发式集成方法（RGPE/SGPT），有效避免了局部聚集。

亮点与洞察¶

完全贝叶斯闭式推导与线性扩展的完美融合：传统多任务高斯过程往往陷入“要么精确但三次方复杂度暴死，要么线性扩展但沦为启发式加权”的二元对立；SMOG 通过巧妙引入元任务独立性与加性残差结构，在保持 $\mathcal{O}(M)$ 计算复杂度的同时，严格导出了满足高斯过程特性的解析目标先验。
极低样本下的等相关核设计：针对小样本下高维目标协方差矩阵难以拟合的问题，提出仅含单一共享相关系数 $\rho$ 的等相关参数化方案，既保留了半正定矩阵的严格约束，又将参数量从二次方压缩至线性阶，极大增强了优化初期的数值稳定性。
通用模块化即插即用：SMOG 输出的是标准高斯过程后验均值与方差，可无缝对接任何现有的贝叶斯多目标采集函数（如 qLogEHVI、qLogNEHVI 等），无需像 MO-TPE 等专用模型那样对后验抽样机制做定制化重构。

局限与展望¶

假设各任务共享相同的输入与目标空间：SMOG 假定所有元任务与目标任务具有完全一致的自变量维度 $D$ 与因变量目标数 $O$，无法直接应对输入特征不齐或跨空间优化的异构迁移场景。
单任务内部仍受制于精确高斯过程的三次方复杂度：尽管模型对元任务数量 $M$ 实现了线性扩展，但对单个元任务的数据规模 $N_m$ 以及目标评估次数 $N_t$ 仍具有 $\mathcal{O}(N^3)$ 复杂度，面对长周期大样本任务需引入稀疏高斯过程（Sparse GP）或诱导点近似。
单向无反馈假设的保守性：为防范目标数据对元任务的负向干扰采用了单向推断，在目标样本积累较多时，无法反向修正历史元任务的模型超参数。

评分¶

新颖性: ⭐⭐⭐⭐ [成功打通了可扩展元学习与多目标高斯过程建模，推导了优雅的闭式多输出目标先验]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成函数、神经架构超参搜索及高维无人机轨迹仿真，涵盖消融、运行时间与代理质量评测]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严密规范，结构假设动机清晰，数学符号与算法流程一致易读]
价值: ⭐⭐⭐⭐ [对于工业界昂贵黑盒调优中的冷启动问题具有极高的实用价值与工程指导意义]