Bayesian Optimization on Function Spaces via Sparse RKHS Manifolds¶

会议: NeurIPS 2026
arXiv: 2610.07417
代码: https://github.com/davidesartor/bofus
领域: 优化/理论
关键词: 函数空间贝叶斯优化, 再生核希尔伯特空间, 稀疏流形, 自然梯度, 黑盒优化

一句话总结¶

针对传统函数空间贝叶斯优化（FBO）因基底固定或事后稀疏化导致解空间受限的瓶颈，本文提出 L0MO（$L^0$ Manifold Optimization），在 RKHS 的稀疏分层流形上联合优化核函数支撑点位置与线性组合系数，在保留紧凑表示的同时极大拓展了候选函数表达能力。

研究背景与动机¶

贝叶斯优化（BO）通常用于求解紧凑欧氏子集上的黑盒向量极值问题。但在材料合成、机器人轨迹规划和神经网络超参数设计等前沿物理与工程场景中，待优化的设计变量往往本质上是一个连续函数（例如翼型轮廓、关节阻抗轨迹或连续激活函数）。传统实践通常依赖领域专家的经验将无限维函数强行离散化为有限维参数向量，这种先验离散不仅可能引入次优截断误差，更将搜索空间锁死在人类先验预设的有限子空间中，阻碍了发现超乎预期的全新函数形态。

为打破离散化束缚，函数空间贝叶斯优化（Functional Bayesian Optimization, FBO）近期受到关注。然而现有方案普遍存在致命缺陷：一类方法仅在随机采样或固定的线性子空间内搜索，无法跨越初始基底张成的有限空间；另一类前沿方法（如 Vien 等人）虽然尝试在 RKHS 中沿采集函数梯度轨迹更新函数，但其梯度流在数学上严格受限于初始点与历史所有观测点支撑位置的线性张成空间。随着迭代轮次增加，累积的历史支撑点导致核矩阵维度急剧膨胀（单次计算达 $O(v^2 N^2)$），不得不依赖事后核匹配追踪（KMP）进行启发式贪心稀疏化，导致优化出的极值函数与稀疏化后的实际评估函数严重脱节。

本文的核心洞察在于：直接在可精确紧凑表示的稀疏子集上展开采集优化，并将支撑点的位置坐标与线性组合权重同时纳入决策变量，能够以极少基底换取远超固定基底的函数表达灵活性。核心 idea：将函数候选集限制在 RKHS 的 $L^0$ 稀疏分层流形上，利用平滑参数化映射将无限维采集子问题转化为紧凑参数空间中的联合连续优化，并证明了前人函数梯度更新本质上等价于固定支撑点下的自然梯度下降。

方法详解¶

整体框架¶

L0MO 建立在再生核希尔伯特空间（RKHS）$\mathcal{H}$ 之上。设输入域为 $\mathcal{D} \subseteq \mathbb{R}^d$，RKHS 由核函数 $k: \mathcal{D} \times \mathcal{D} \to \mathbb{R}$ 诱导，其稠密预空间 $\mathcal{H}_0 = \operatorname{span}(\{k(\cdot, x): x \in \mathcal{D}\})$。L0MO 定义 $L^0$ 拟范数 $\|u\|_0$ 为表示 $u$ 所需核函数的最少数量。在每一轮采集迭代中，L0MO 并不在全空间自由搜索，而是显式将搜索范围约束在 $m$-稀疏集合 $\mathcal{M}^m = \{u \in \mathcal{H} : \|u\|_0 \leq m\}$ 上。

整体优化流程分为四个紧密协作的阶段：首先利用高斯过程对已有函数观测历史拟合代理模型（以候选函数间的 RKHS 范数距离作为协方差度量）；接着在参数空间中构建候选函数的平滑参数化表示；随后通过多起点拟牛顿法（L-BFGS-B）联合优化支撑点位置与系数以最大化期望提升量（EI）；最后将求得的稀疏最优函数直接送入黑盒目标泛函进行评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史函数观测集<br/>(u_n, f(u_n))"] --> B["函数代理高斯过程拟合<br/>基于 RKHS 范数度量核矩阵"]
    B --> C["分层流形参数化<br/>构建 m-稀疏函数表征 ϕ(w)"]
    C --> D["联合采集优化<br/>多起点 L-BFGS-B 求解位置与系数"]
    D --> E["生成下一次待评估候选函数<br/>严格精确满足 m-稀疏性约束"]

关键设计¶

1. 稀疏 RKHS 分层流形参数化：突破固定基底表达瓶颈

针对传统方法固定基底无法覆盖全局函数空间的痛点，L0MO 显式在 $m$-稀疏集合 $\mathcal{M}^m$ 上优化。在拓扑结构上，$\mathcal{M}^m = \bigcup_{j \leq m} S^j$ 是一个分层集（stratified set），其中顶层层单 $S^m = \{u \in \mathcal{H} : \|u\|_0 = m\}$ 是一个维数为 $l = (d+1)m$ 的光滑浸入流形。在规范参数化下，候选函数由 $m$ 个支撑位置 $x_i \in \mathcal{D}$ 和系数 $\alpha_i \in \mathbb{R}$ 直接确定： $$u = \phi(\alpha, x) = \sum_{i=1}^{m} \alpha_i k(\cdot, x_i)$$ 只要支撑点互不重合且系数非零，参数空间到顶层流形的映射便构成 $m!$ 层的平滑覆盖映射。由于 $\mathcal{H}_0$ 在 $\mathcal{H}$ 中稠密，随着稀疏预算 $m$ 适度增大，连续目标泛函在 $\mathcal{M}^m$ 上的极值收敛到全空间的下确界。通过允许支撑点 $x_i$ 在连续域 $\mathcal{D}$ 内自由移动，L0MO 仅需极少的基底数量即可刻画局部复杂剧烈波动的函数特征，彻底摆脱了先验固定基底的表达受限。

2. 有界函数隐式参数化：保持物理约束与数值稳定性

在控制策略与神经网络激活函数等实际任务中，候选函数往往存在严格的幅值界限 $u(x) \in [y_{\min}, y_{\max}]$。如果直接对系数 $\alpha$ 施加简单框约束，无法有效约束生成函数 $u(x)$ 的峰值取值。为此，L0MO 设计了有界隐式参数化机制，改用支撑点处的近似函数值 $y \in [y_{\min}, y_{\max}]^m$ 与位置 $x$ 作为优化变量，并通过正则化核线性系统推导系数： $$\alpha = (K_{xx} + \varepsilon I)^{-1} y$$ 其中 $K_{xx} \in \mathbb{R}^{m \times m}$ 为支撑点间的核矩阵，$\varepsilon > 0$ 为微小对角扰动。当支撑点之间保持适当距离时，在支撑点处的函数取值满足 $\phi_w(x) = K_{xx} (K_{xx} + \varepsilon I)^{-1} y \approx y$，从而自然继承 $y$ 的区间框约束。当两个支撑点在连续优化过程中相互靠近引起 $K_{xx}$ 奇异时，$\varepsilon I$ 保证了矩阵求逆的良态性，同时现代自动微分引擎可顺畅通过此线性求解器反向传播梯度。

3. 函数空间几何与前人更新机制的自然梯度统合

为澄清 FBO 中函数空间无限维几何与有限维参数优化之间的理论关联，本文建立了自然梯度（Natural Gradient）统一视角。定义拉回度规张量（pullback metric tensor）为 $G_{ij}(w) = \langle \partial_i \phi_w, \partial_j \phi_w \rangle_{\mathcal{H}}$，其可通过交叉偏导数精确计算： $$G_{ij}(w) = \left. \frac{\partial^2}{\partial v_i \partial v'_j} \langle \phi(v), \phi(v') \rangle_{\mathcal{H}} \right|_{v=v'=w}$$ 论文证明：若将支撑点集固定为初始点与历史所有观测点的并集，欧氏参数梯度将包含内积矩阵因子 $\nabla_w \kappa = -\frac{\kappa}{\ell} G (w - w')$；此时前人 Vien 等人在无限维空间中推导的函数 Fréchet 导数更新，恰好精确等价于乘以 $G^{-1}$ 的有限维参数空间自然梯度下降。这一发现揭示了前人函数更新在本质上受限于固定参数度量。在实际算法实现中，由于参数空间同时包含连续移动的位置 $x$ 与系数，拉回度规在支撑点重合处会出现奇异退化，而现代多起点拟牛顿法（L-BFGS-B）借助梯度历史自适应构建经验逆 Hessian 预条件子，在实测中表现出超越显式拉回度规求逆的稳健收敛性能。

完整示例 / 训练策略¶

优化流程采用动态复杂度增长策略（Complexity Schedule）：初始阶段通过拉丁超立方抽样（LHS）初始化 10 个候选函数评估作为冷启动基线。在随后的 100 轮贝叶斯优化中，稀疏预算 $k$ 设定从 1 线性递增至 10，每经过 10 轮采集增加 1 个基底点。

在每一轮采集步骤中： 1. 计算已有观测函数的两两 RKHS 距离，依经验分位数设定高斯过程长度尺度上下界，通过最大似然估计拟合代理高斯过程超参数。 2. 在参数空间中利用 LHS 生成 1024 个候选初值，评估其对数期望提升（Log-EI）准则，挑选 Top-16 最优初值作为起点。 3. 对这 16 个起点分别运行 L-BFGS-B 算法（最大迭代 100 步）联合微调支撑点坐标与系数值，取多起点中的最佳函数作为最终采集结果，提交真实黑盒系统进行物理/数值评估。

实验关键数据¶

主实验¶

实验在合成函数投影（Sinc-1D 至 Sinc-5D）、基于经典 BO 构造的函数脊测试题（GramacyLee, Ackley, Hartmann, Rosenbrock, Michalewicz）以及真实工程任务（Brachistochrone 最速降线、MNIST 神经网络激活函数学习、倒立摆控制 Pendulum、机械臂风车拨动 Pinwheel、跳跃机器人 Hopper）上展开全面对比。基线包含随机采样（Random）、子空间投影法 Kundu 等人、连续流更新 Vien 等人、仿射子空间搜索 Shilton 等人以及 Bernstein 多项式方法 Vellanki 等人（仅支持 1D）。评估指标为 110 轮预算下的最终遗憾值（Final Regret）与整个优化过程的平均累积遗憾值（Average Regret）。

任务 / 基准	指标维度	L0MO (本文)	Vien 等人	Shilton 等人	Kundu 等人
Sinc-1D	最终遗憾 [$10^{-2}$]	0.06 [0.05, 0.07]	0.31 [0.26, 0.33]	0.19 [0.18, 0.26]	2.38 [2.06, 2.76]
Sinc-2D	最终遗憾 [$10^{-2}$]	0.76 [0.70, 0.80]	2.02 [1.82, 2.21]	3.56 [3.45, 3.81]	3.85 [3.64, 4.01]
Ackley (Ridge)	最终遗憾 [$10^{1}$]	0.09 [0.06, 0.25]	1.54 [1.45, 1.58]	1.15 [1.07, 1.22]	1.51 [1.49, 1.53]
Hartmann (Ridge)	最终遗憾 [$10^{0}$]	0.78 [0.78, 0.78]	2.37 [2.36, 2.40]	2.42 [2.38, 2.46]	2.65 [2.63, 2.68]
Rosenbrock (Ridge)	最终遗憾 [$10^{4}$]	0.20 [0.19, 0.22]	4.75 [4.68, 4.89]	4.42 [4.30, 4.46]	5.33 [5.31, 5.37]
Michalewicz (Ridge)	最终遗憾 [$10^{0}$]	2.93 [2.89, 2.93]	3.38 [3.34, 3.42]	3.65 [3.63, 3.67]	3.72 [3.70, 3.75]
Brachistochrone	最终遗憾 [$10^{-2}$]	1.02 [1.01, 1.06]	3.28 [3.11, 3.52]	0.87 [0.84, 0.91]	5.16 [4.86, 5.51]
MNIST 激活函数	最终测试误差 [$10^{-2}$]	2.06 [2.04, 2.08]	2.15 [2.12, 2.17]	2.09 [2.07, 2.12]	2.09 [2.08, 2.10]
Pendulum 摆动控制	最终遗憾 [$10^{2}$]	3.36 [3.27, 3.55]	4.63 [4.58, 4.72]	4.34 [4.30, 4.40]	4.91 [4.88, 4.93]
Pinwheel 接触控制	最终遗憾 [$10^{0}$]	0.12 [0.10, 0.18]	2.25 [2.19, 2.33]	1.50 [1.48, 1.59]	1.47 [1.42, 1.54]
Hopper 单腿跳跃	最终负跳跃高度 [$-10^{0}$]	2.96 [2.69, 3.05]	1.59 [1.55, 1.63]	2.53 [2.43, 2.57]	1.92 [1.82, 2.02]

注：中括号内为 16~32 次独立重复实验的中位数 95% 置信区间。

消融实验¶

论文围绕不同核心组件与超参数设定开展了系统的消融对比实验：

消融配置	全局平均排名 (Avg Regret)	全局最终排名 (Final Regret)	关键观察与结论
L0MO 默认配置 (拟牛顿法 + 欧氏梯度)	1.10	1.10	在大多数任务上获得最佳收敛精度，计算高效
+ 显式自然梯度拉回度规预条件子 ($G^+$)	3.20	3.40	在 Ackley、Hartmann 等任务上显著恶化；度规在点重合处退化引起病态步长
+ 度规截断正则化 ($r=10^{-6}$)	3.10	3.30	截断小奇异值未能挽回退化，证实拟牛顿法经验 Hessian 优于显式解析度规
+ 规范单页约束 (Single Sheet)	1.10	1.10	消除 $m!$ 对称排列对多起点优化无实质影响，冗余度对 L-BFGS-B 完全无害
复杂度调度: 固定 $k=1$	4.20	4.50	表达能力严重匮乏，在绝大多数基准上表现垫底
复杂度调度: 固定 $k=5$ 或 $k=10$	1.80	1.90	在控制任务上早期收敛快，但在投影及高精度拟合任务上探索效率不如渐进递增调度

关键发现¶

复杂几何流形上的优化优势：在函数脊基准（Ackley、Hartmann、Rosenbrock）上，L0MO 的优势极其悬殊。竞品方法（固定子空间或受限梯度更新）几乎无法突破随机采样的基线瓶颈，而 L0MO 凭借自由移动的支撑点以指数级更快的速率定位到了最优函数模式。
事后稀疏化代价沉重：Vien 等人由于历史累积点爆炸，必须采用 KMP 进行事后剪枝。实验发现，剪枝后的函数往往大幅偏离原本在全空间优化出的极值解；而 L0MO 坚持“在稀疏流形内部直接端到端优化”，完全避免了松弛-舍入误差。
接触不连续物理控制的卓越表现：在机器人机械臂（Pinwheel）与跳跃单腿（Hopper）这类由于频繁接触/脱离产生严重梯度不连续的混合动力学任务中，L0MO 展现了极强的策略搜索能力，在 Pinwheel 上的最终误差达到 0.12，比竞品（1.47~2.25）低了一个数量级。

亮点与洞察¶

从“全空间松弛再截断”转向“分层紧致子集内端到端搜索”：以往稀疏学习常采用连续松弛配合事后投影/舍入，L0MO 证明了在 RKHS 空间中，利用核中心与权重的联合平滑参数化，可以直接在非凸但低维的光滑分层流形上高效执行无偏极值搜索。
统一函数梯度流与自然梯度下降的理论桥梁：将函数空间 Fréchet 导数在固定支撑点集下的更新行为精确映射为有限维参数空间中带有拉回度规张量的自然梯度下降，优雅地理清了抽象算子优化与经典参数化优化的等价边界。
低成本参数化的拟牛顿有效性：理论上严格的自然梯度拉回度规可能在流形边界奇异退化，而工程上利用自动微分结合 L-BFGS-B，反而是更具弹性和自适应性的优化实现典范。

局限与展望¶

缺乏理论非渐近收敛速率保证：稀疏流形稠密性仅保证了最优解在极限下的逼近能力，但联合优化支撑点与系数构成的采集景观高度非凸且充满局部极小值，多起点拟牛顿法无法从理论上确保收敛至全局最优候选。
平滑非稀疏目标上的相对劣势：在目标函数的真实解析解本身光滑且不具备稀疏核展开（如 Brachistochrone 的摆线解）时，依赖高斯过程先验密集基底的方法（如 Shilton 等人）在优化后期局部微调上略占优势。
未来方向：研究基于数据驱动或后验不确定性的自适应基底扩张调度（Adaptive Complexity Schedule）；引入保单调性、对称性等结构先验的参数化流形映射。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次提出在 RKHS 稀疏流形上联合优化核中心与系数的 FBO 范式，并给出自然梯度统一视角]
实验充分度: ⭐⭐⭐⭐⭐ [跨越 5 个投影、5 个高维函数脊、4 个真实控制与物理任务，涵盖 105k 次独立运行与细致消融]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严谨自洽，概念辨析清晰通透，代码与基准库开源完整]
价值: ⭐⭐⭐⭐⭐ [为材料合成、结构外形设计与黑盒轨迹优化等科学机器学习任务提供了强有力的实用基础设施]

任务 / 基准	指标维度	L0MO (本文)	Vien 等人	Shilton 等人	Kundu 等人
Sinc-1D	最终遗憾 [\(10^{-2}\)]	0.06 [0.05, 0.07]	0.31 [0.26, 0.33]	0.19 [0.18, 0.26]	2.38 [2.06, 2.76]
Sinc-2D	最终遗憾 [\(10^{-2}\)]	0.76 [0.70, 0.80]	2.02 [1.82, 2.21]	3.56 [3.45, 3.81]	3.85 [3.64, 4.01]
Ackley (Ridge)	最终遗憾 [\(10^{1}\)]	0.09 [0.06, 0.25]	1.54 [1.45, 1.58]	1.15 [1.07, 1.22]	1.51 [1.49, 1.53]
Hartmann (Ridge)	最终遗憾 [\(10^{0}\)]	0.78 [0.78, 0.78]	2.37 [2.36, 2.40]	2.42 [2.38, 2.46]	2.65 [2.63, 2.68]
Rosenbrock (Ridge)	最终遗憾 [\(10^{4}\)]	0.20 [0.19, 0.22]	4.75 [4.68, 4.89]	4.42 [4.30, 4.46]	5.33 [5.31, 5.37]
Michalewicz (Ridge)	最终遗憾 [\(10^{0}\)]	2.93 [2.89, 2.93]	3.38 [3.34, 3.42]	3.65 [3.63, 3.67]	3.72 [3.70, 3.75]
Brachistochrone	最终遗憾 [\(10^{-2}\)]	1.02 [1.01, 1.06]	3.28 [3.11, 3.52]	0.87 [0.84, 0.91]	5.16 [4.86, 5.51]
MNIST 激活函数	最终测试误差 [\(10^{-2}\)]	2.06 [2.04, 2.08]	2.15 [2.12, 2.17]	2.09 [2.07, 2.12]	2.09 [2.08, 2.10]
Pendulum 摆动控制	最终遗憾 [\(10^{2}\)]	3.36 [3.27, 3.55]	4.63 [4.58, 4.72]	4.34 [4.30, 4.40]	4.91 [4.88, 4.93]
Pinwheel 接触控制	最终遗憾 [\(10^{0}\)]	0.12 [0.10, 0.18]	2.25 [2.19, 2.33]	1.50 [1.48, 1.59]	1.47 [1.42, 1.54]
Hopper 单腿跳跃	最终负跳跃高度 [\(-10^{0}\)]	2.96 [2.69, 3.05]	1.59 [1.55, 1.63]	2.53 [2.43, 2.57]	1.92 [1.82, 2.02]