BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability¶

会议: NeurIPS 2026
arXiv: 2602.07144
OpenReview: https://openreview.net/forum?id=8ltIqoRvDz
代码: https://ax.dev/
领域: 优化/理论
关键词: 贝叶斯优化、默认感知优化、稀疏性、可解释性、后处理剪枝

一句话总结¶

针对传统贝叶斯优化倾向于改动弱相关参数产生稠密冗余配置的痛点，BONSAI 提出一种轻量级候选点重置剪枝机制，在严谨控制采集函数增益损失的前提下将低影响扰动贪心重置为默认值，在维持与标准 BO 相当的优化性能和几乎相同耗时（仅 1.5×）的同时大幅削减非默认参数数量，并在 GP-UCB 下具备亚线性累积遗憾与稀疏支撑恢复的理论保证。

研究背景与动机¶

贝叶斯优化（BO）广泛应用于超参数微调、编译器调优以及复杂物理与系统配置等高成本黑盒函数优化场景。然而在实际工程部署中，系统通常已存在一套经过工程师长期打磨和审校的默认配置（status quo）。对线上运行系统而言，改动任何参数都会带来额外的验证负担与未建模的运行风险；改动越多的参数，引入非预期系统退化、违反潜在物理安全约束以及累积技术债务的概率就越高。工程师的核心诉求往往是：“在给定当前默认配置的前提下，最少改动哪些参数就能实现预期的系统优化目标？”

传统贝叶斯优化对参数扰动代价完全不敏感。其采集函数最大化过程极易被响应面微弱的统计波动驱动，经常将弱相关甚至完全无关的参数推至搜索空间边界。这不仅导致推荐配置高度稠密、难以解释，而且将有限的样本评估预算浪费在低影响维度的探索上。现有稀疏贝叶斯优化方法（如基于同伦连续法的 IR、ER 和 SEBO）通过向目标或采集函数中加入 $\ell_0$ 正则惩罚来诱导稀疏性，但这些方法存在目标非凸不可微、正则系数难以调参、缺乏理论遗憾界保证等严重缺陷；且同伦法在每次迭代需反复优化多级松弛问题，候选项生成耗时往往是标准 BO 的 7 到 35 倍，严重阻碍了工业落地。

针对上述矛盾，本文提出一种即插即用的默认感知（default-aware）优化策略 BONSAI。核心 idea：将稀疏性约束与非凸的采集函数求解解耦，在常规采集函数求得全局候选点后，以基线增量采集函数为预算基准，贪心检测并逐维将低影响参数回滚至默认值，在保证单步采集损失严格受控的同时实现输入空间的极简扰动。

方法详解¶

整体框架¶

BONSAI 作为轻量级的后处理转换层直接挂载在任意采集函数之上。在每一轮优化迭代中，它首先在整个搜索空间中照常优化采集函数获得基准候选点 $\bm{x}_t^*$；接着，它定义回滚后的点与基准点之间的采集函数落差（Acquisition Gap）$\Delta_t(\bm{x}) = \alpha_t(\bm{x}_t^*) - \alpha_t(\bm{x})$，并计算历史已评估点集上的最高采集值作为基线 $b_t$，得到基线增量 $\tilde{\alpha}_t(\bm{x}_t^*) = \alpha_t(\bm{x}_t^*) - b_t$；随后，在相对容忍阈值 $\rho_t \in [0, 1)$ 控制下，贪心将对采集值影响最小且满足总落差小于 $\rho_t \tilde{\alpha}_t(\bm{x}_t^*)$ 的维度逐一重置回默认值；最后将剪枝后的稀疏点 $\tilde{\bm{x}}_t$ 发送给黑盒函数评估并更新高斯过程（GP）代理模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基准候选点生成<br/>优化采集函数得 x*"] --> B["增量基线计算<br/>历史已评估点集最大值 bt"]
    B --> C["贪心维度筛选<br/>评估各未回滚维度的单步重置落差"]
    C --> D["阈值约束校验<br/>累积落差 ≤ 相对阈值预算"]
    D -->|可行且贪心最优| E["默认值重置回滚<br/>将选中维度重置回默认值 x_def"]
    E --> C
    D -->|无可行重置维度| F["评估与代理模型更新<br/>输出极简候选点进行黑盒采样"]

关键设计¶

1. 增量基线计算：解决不同采集函数尺度与绝对值偏移失真

如果直接在裸采集函数值 $\alpha_t$ 上定义相对落差约束，不同采集函数的行为会严重失准。例如 Expected Improvement (EI) 在远离观测数据的未探索区域取值趋近于 0，导致任何维度的微小扰动都被判定为巨大相对损失；而 qLogNEI 则处于对数尺度。为了建立具有普适物理含义的相对松弛标准，BONSAI 引入基线增量采集函数 $\tilde{\alpha}_t(\bm{x}) := \alpha_t(\bm{x}) - b_t$，其中 $b_t := \max_{\bm{x} \in \mathcal{D}_{t-1}} \alpha_t(\bm{x})$ 为当前轮次下在历史已评估集合 $\mathcal{D}_{t-1}$ 上取得的最高采集值。将相对阈值设定为增量上限的比例 $\rho_t \in [0, 1)$，使每轮的约束条件严格表征为： $$\Delta_t(\bm{x}) = \alpha_t(\bm{x}_t^*) - \alpha_t(\bm{x}) \leq \rho_t \tilde{\alpha}_t(\bm{x}_t^*)$$ 该设计确保了 $\rho_t$ 恒表示“本轮针对当前最佳进展所愿意让渡的相对采集增益比例”，使超参数在整个优化轨迹及不同采集函数间具有高度一致的物理意义。

2. 贪心维度筛选：在多项式时间内逼近最优稀疏子集

从候选点 $\bm{x}_t^*$ 的激活维度集合 $A(\bm{x}_t^*) = \{j: x_{t,j}^* \neq x_j^{\text{def}}\}$ 中寻找满足采集落差阈值的最小非默认子集，本质是一个包含 $2^{|A(\bm{x}_t^*)|}$ 种组合的指数级子集选择难题。高维场景下穷举搜索完全不可行。BONSAI 采用自底向上的贪心坐标级剪枝策略：在每一步循环中，算法遍历所有尚未重置的活跃维度，分别测试将其单个坐标重置回默认值后的完整配置，计算其对应的采集落差 $g_j = \Delta_t(\bm{x}')$。在所有满足全局可行性条件 $g_j \leq \rho_t \tilde{\alpha}_t(\bm{x}_t^*)$ 的候选维度中，挑选导致采集落差增幅最小的那一个维度进行永久重置。重复此贪心过程，直至没有任何单个维度可以在不击穿阈值的前提下被重置。这种设计在最坏情况下仅需调用 $O(d^2)$ 次采集函数前向推理，相比于同伦法求解非光滑正则化项，将计算开销从数十倍骤降至与普通 BO 几乎持平。

3. 默认值重置回滚与理论遗憾界：确保渐进无遗憾与真实稀疏支撑恢复

重置回滚并非事后的可视化简化，而是直接改变了黑盒采样的决策轨迹。在基于高斯过程置信上界（GP-UCB）的序列设定下，BONSAI 证明了累计遗憾存在显式理论上界： $$R_T = O\left(\gamma_T \sqrt{T} + \sqrt{\gamma_T} \sum_{t=1}^T \rho_t\right)$$ 其中 $\gamma_T$ 为最大信息增益。当选择阈值衰减调度 $\rho_t = O(1/(t+1))$ 时，$\sum_{t=1}^T \rho_t = O(\log T)$，算法严格保持 vanilla GP-UCB 的亚线性平均遗憾渐进收敛性（$R_T/T \to 0$）。更进一步，在自动相关度确定（ARD）核函数的理想分离假设下（完全无关维度的逆特征长度 $\ell_j = \infty$），重置无关维度产生的采集落差精确为 0，BONSAI 能够在不损失任何采集价值的条件下逐一剥除所有无关参数的虚假漂移，精确恢复真实活动支撑集 $A(\tilde{\bm{x}}_t) = A(\bm{x}_t^*) \cap A_{\text{true}}$。

损失函数 / 训练策略¶

BONSAI 在执行过程中无需额外训练神经网络或修改 GP 代理模型的超参数优化过程。实验中代理模型采用带稀疏自适应先验的 Matérn-5/2 高斯过程（MAP-SAAS），采用经验最大后验估计进行超参数拟合。在离散/整数混合空间中，直接调用 Ax 的交替局部搜索与连续参数优化。对于批处理采样（Batch BO, $q > 1$），BONSAI 采用顺序贪心剪枝：对批次中第一个点基于历史集合计算增量并剪枝，后续各点则以批次内前序已剪枝点为增量参考逐个执行贪心回滚。

实验关键数据¶

主实验¶

在单目标与多目标真实工业基准测试中，BONSAI 在候选点生成耗时（相对于 Vanilla BO 的倍数）以及有效稀疏解的探索质量上显著超越对比基线。

测试任务（维度与类型）	Vanilla BO 相对耗时	IR-$L_0$ 相对耗时	ER-$L_0$ 相对耗时	SEBO 相对耗时	BONSAI EI 相对耗时	PiBO 相对耗时
Joint NAS/HPO (26d 混合整数/连续)	1.0x	25.0x ($\pm$1.7x)	27.3x ($\pm$2.1x)	52.6x ($\pm$6.1x)	0.9x ($\pm$0.0x)	2.3x ($\pm$0.2x)
Optical Design (146d 连续双目标)	1.0x	N/A	3.4x ($\pm$0.2x)	2.6x ($\pm$0.2x)	2.0x ($\pm$0.2x)	2.1x ($\pm$0.1x)
LassoDNA (180d 连续单目标)	1.0x	3.8x ($\pm$0.4x)	5.3x ($\pm$0.5x)	3.4x ($\pm$0.5x)	3.1x ($\pm$0.3x)	1.6x ($\pm$0.2x)
Cell Network (30d 混合双目标)	1.0x	N/A	25.9x ($\pm$2.3x)	99.1x ($\pm$13.3x)	1.1x ($\pm$0.1x)	1.6x ($\pm$0.1x)
Hartmann 50d (6d 嵌入合成)	1.0x	3.0x ($\pm$0.2x)	5.6x ($\pm$0.6x)	8.4x ($\pm$0.8x)	1.5x ($\pm$0.1x)	2.7x ($\pm$0.3x)
DTLZ2 50d (6d 嵌入双目标)	1.0x	N/A	4.0x ($\pm$0.3x)	4.0x ($\pm$0.4x)	1.4x ($\pm$0.1x)	3.4x ($\pm$0.2x)

消融实验¶

在低维可穷举基准上对比贪心剪枝与指数级精确剪枝（$O(2^{|A|})$），并在真实基准上评估 $\epsilon=0.2$ 相对性能损失约束下的极简干预可行性达成率（Feasibility Count / 20 轮实验）。

算法配置 / 变体	贪心与精确首选点一致率	相对 Vanilla BO 耗时	NAS/HPO 可行达成率	Optical Design 可行达成率	LassoDNA 可行达成率	Cell Network 可行达成率
BONSAI EI (贪心剪枝)	85.7% (全任务均值)	1.0x - 1.5x	20 / 20	20 / 20	16 / 20	20 / 20
BONSAI EI (精确穷举剪枝)	100% (基准)	1.0x - 2.0x (高维不可行)	理论上限近似	理论上限近似	理论上限近似	理论上限近似
PiBO (软先验偏置)	N/A	1.6x - 2.4x	0 / 20	14 / 20	0 / 20	0 / 20
SEBO (同伦稀疏多目标)	N/A	3.4x - 99.1x	表现显著劣化	20 / 20 (单轮极慢)	表现平庸	优化陷入停滞

关键发现¶

贪心搜索对全局最优子集的逼近极佳：在低维基准（如 Branin 2d/15d、Hartmann 6d/15d、DTLZ2 等）中，贪心剪枝与组合穷举剪枝在初始化后的第一个候选点选择上有 85.7% 完全重合，最终找到的目标函数前沿与稀疏度曲线几乎完全重叠。
软先验机制（如 PiBO）无法替代显式剪枝：PiBO 仅通过将拉普拉斯先验乘到采集函数上，难以在搜索空间中形成真正的坐标回滚，在 4 个真实工业任务中有 3 个完全无法在 20 轮独立重复中找到任何满足 $\epsilon \le 0.2$ 性能保留标准的稀疏可行解；而 BONSAI 的达成率高达 16/20 至 20/20。
极佳的计算与工程效率：同伦法基线（IR/ER/SEBO）在包含离散参数的混合任务（Cell Network 与 Joint NAS/HPO）中由于需要反复交替搜索而极其缓慢，耗时最高飙升至 99.1 倍；而 BONSAI 耗时与普通 BO 基本持平（仅 1.1x - 1.5x），且在 NAS 任务中由于采得的数据更稀疏，下游 GP 拟合速度加快，总体生成耗时甚至比 Vanilla BO 还要略低（0.9x）。

亮点与洞察¶

解耦优化与稀疏化的设计范式：不同于将难以求导且非凸的 $\ell_0$ 范数强行融进目标函数或采集函数内部求解，BONSAI 巧妙地将稠密优化与维度回滚解耦为“连续全局探索 + 贪心无害剪枝”，规避了优化地貌恶化和同伦步长敏感的问题。
严格以增量采集函数为预算锚点：直接用绝对采集值做阈值在 EI 远离样本区时会彻底失效，引入减去历史最优采集值的基线增量 $\tilde{\alpha}_t(\bm{x}_t^*)$，巧妙消除了不同采集函数的尺度漂移，赋予了相对容忍系数 $\rho_t$ 明确的工程物理直觉。
直接适用于工业落地：该方法已被整合进 Meta 开源的自适应实验框架 Ax 中，对于 A/B 测试、在线广告推荐调优、硬件参数校准等高审校成本场景具有立竿见影的实用价值。

局限与展望¶

依赖独立可调参数假设：BONSAI 基于坐标级 $\ell_0$ 距离进行剪枝，默认各个参数具备独立的可解释性与可调整性。当系统参数存在强耦合、组结构或必须联动改动时（如结构化稀疏），逐维贪心可能陷入局部次优。
默认配置位置的敏感性：论文承认稀疏度是相对于给定的默认值 $\bm{x}^{\text{def}}$ 计算的。若人为指定的默认点恰好处于极差区域或边界，则稀疏化带来的收益会发生偏移。
理论分析与实际使用的采集函数存在鸿沟：当前渐进无遗憾界是基于 GP-UCB 及其置信区间性质推导的，但实验中表现更稳健的则是 qLogNEI/qLogNEHVI，对于 EI 族采集函数的理论收敛性仍有待更深入的数学工具支撑。

评分¶

新颖性: ⭐⭐⭐⭐ [构思精巧地将复杂的非凸稀疏采集优化转化为基准点生成后的增量受控贪心剪枝]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成高维嵌入、多目标、约束、混合离散、真实光学与通信系统等极其丰富的基准，消融和耗时统计详实]
写作质量: ⭐⭐⭐⭐⭐ [结构严密，数学符号定义极其规范，从理论上界证明到工业落地方案阐述清晰透彻]
价值: ⭐⭐⭐⭐⭐ [直击工业界使用贝叶斯优化时参数过多难以上线的核心痛点，已开源落地并具备极高的工程复用价值]

测试任务（维度与类型）	Vanilla BO 相对耗时	IR-\(L_0\) 相对耗时	ER-\(L_0\) 相对耗时	SEBO 相对耗时	BONSAI EI 相对耗时	PiBO 相对耗时
Joint NAS/HPO (26d 混合整数/连续)	1.0x	25.0x (\(\pm\)1.7x)	27.3x (\(\pm\)2.1x)	52.6x (\(\pm\)6.1x)	0.9x (\(\pm\)0.0x)	2.3x (\(\pm\)0.2x)
Optical Design (146d 连续双目标)	1.0x	N/A	3.4x (\(\pm\)0.2x)	2.6x (\(\pm\)0.2x)	2.0x (\(\pm\)0.2x)	2.1x (\(\pm\)0.1x)
LassoDNA (180d 连续单目标)	1.0x	3.8x (\(\pm\)0.4x)	5.3x (\(\pm\)0.5x)	3.4x (\(\pm\)0.5x)	3.1x (\(\pm\)0.3x)	1.6x (\(\pm\)0.2x)
Cell Network (30d 混合双目标)	1.0x	N/A	25.9x (\(\pm\)2.3x)	99.1x (\(\pm\)13.3x)	1.1x (\(\pm\)0.1x)	1.6x (\(\pm\)0.1x)
Hartmann 50d (6d 嵌入合成)	1.0x	3.0x (\(\pm\)0.2x)	5.6x (\(\pm\)0.6x)	8.4x (\(\pm\)0.8x)	1.5x (\(\pm\)0.1x)	2.7x (\(\pm\)0.3x)
DTLZ2 50d (6d 嵌入双目标)	1.0x	N/A	4.0x (\(\pm\)0.3x)	4.0x (\(\pm\)0.4x)	1.4x (\(\pm\)0.1x)	3.4x (\(\pm\)0.2x)