Tree-Structured Synergy of Large Language Models and Bayesian Optimization for Efficient CASH¶
会议: NeurIPS 2026
arXiv: 2601.12355
论文: https://arxiv.org/abs/2601.12355
代码: https://github.com/PKU-DAIR/open-box
领域: 优化/理论
关键词: 贝叶斯优化, 大语言模型, 蒙特卡洛树搜索, 算法选择与超参优化, 黑色黑盒优化
一句话总结¶
针对高维层次化 CASH 问题，LB-MCTS 将优化过程建模为蒙特卡洛树搜索，利用共享树状态统一大模型语义先验与贝叶斯优化定量搜索，结合选择性调优记忆与可靠性自适应提议策略，在 104 个 AMLB 数据集上取得显著优于传统 BO 与纯大模型基线的优化表现。
研究背景与动机¶
在自动化机器学习（AutoML）领域，算法选择与超参数联合优化（Combined Algorithm Selection and Hyperparameter Optimization, CASH）是降低机器学习使用门槛的关键问题。其目标是在给定数据集上，从多个候选机器学习算法中找出最优算法并调优其专属超参数配置。传统的贝叶斯优化（BO）通过拟合代理模型指导评估，但通常将配置视为抽象数值向量，缺乏高层语义先验，在高维、条件性分层空间中面临严重的冷启动与采样低效问题。
近期大语言模型（LLM）展现出了强大的情境学习（In-Context Learning）与常识推理能力，被广泛尝试作为黑盒优化器。然而，现有的 LLM 优化器大多局限于扁平、低维任务，直接迁移至 CASH 任务时面临三大结构性阻碍：一是上下文利用率低下，CASH 的分层空间使得不同算法（如 SVM 与 XGBoost）的超参历史互无借鉴价值，若无差别地混入所有算法历史会引入跨算法噪声并消耗巨额 token；二是缺乏双层探索-利用权衡机制，既无法在顶层算法间高效分配预算，也无法在算法专属子空间平衡局部细化与全局探测，极易陷入局部最优；三是与 BO 缺乏结构化协同，现有混合方法仅简单交替或依靠固定阈值切换，无法感知代理模型的动态拟合状态与分层优化轨迹。
这些痛点的根源在于缺乏一个能同时建模层次化 CASH 搜索轨迹、并将 BO 与 LLM 产生的优化历史有机整合的结构化状态表示。核心 idea：将 CASH 形式化为基于蒙特卡洛树搜索（MCTS）的轨迹树，以树路径作为共享状态解耦跨算法噪声，并在树节点扩展中根据高斯过程代理模型的实时泛化能力动态协同 LLM 语义先验与 BO 定量搜索。
方法详解¶
整体框架¶
LB-MCTS 将 CASH 问题转化为层次化树状搜索过程。搜索树包含三层节点：根节点（CASH node，代表整个 CASH 问题）、算法节点（Algo node，对应特定算法的 HPO 子问题）、以及超参节点（HP node，记录具体超参配置、验证指标及反思文本）。在树结构中，优化轨迹被定义为从根节点出发经过算法选择、配置初始化到连续微调的节点-动作序列。
整个框架在每个 MCTS 迭代中执行五个核心阶段： 1. 算法选择（Algorithm Selection）：从根节点出发，利用多项式置信上限树（PUCT）准则评估各算法节点的潜在收益与先验偏好，选定当前待优化的算法分支； 2. 提议器选择（Proposer Selection）：基于该算法分支上高斯过程（GP）代理模型的交叉验证 Kendall 秩相关系数，自适应判定调用 LLM 还是 BO 提议器； 3. 配置提议与树扩展（Proposal & Expansion）：若选定 BO，则通过局部/随机采样结合期望提升（EI）产生新配置；若选定 LLM，则在子树内通过 HP 级 PUCT 选出基准节点，检索选择性调优记忆（STM）并配合策略指令生成新配置； 4. 模拟评估与反思（Playout & Reflection）：在目标数据集上评估新配置的验证性能，并调用 LLM（或基于规则的启发式模块）生成经验反思，将新节点挂载至树中； 5. 反向传播（Backpropagation）：沿路径自底向上更新各祖先节点的访问次数、累积相对提升收益与子树最优性能。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["根节点 CASH 状态"] --> B["1. 层次化 MCTS 算法选择<br/>根节点 PUCT 权衡算法收益与先验"]
B --> C["2. 可靠性自适应提议策略<br/>交叉验证估计 GP 秩相关系数确定采样概率"]
C -->|高斯过程未成熟/探索初期| D["3. 选择性调优记忆与 LLM 提议<br/>Pareto 全局记忆 + 局部轨迹上下文"]
C -->|数据累积/代理模型成熟| E["4. 算法专属高斯过程与 BO 提议<br/>Matérn+Hamming 混合核与期望提升 EI"]
D --> F["5. 经验反思与相对提升反向传播<br/>语义反思挂载节点，树状更新累积奖励"]
E --> F关键设计¶
1. 层次化 MCTS 算法选择与双层探索-利用权衡：解耦算法决策与超参调优
在 CASH 树中，根节点的子节点为各算法节点 \(s_{\text{algo}}^i\)。算法选择采用 PUCT 准则进行评估，其均值估计综合考虑了子树的历史最优表现和持续改进倾向：
其中 \(\tilde{y}_{s_{\text{algo}}^i}^{\max}\) 为全局归一化的子树最佳指标，\(R_{s_{\text{algo}}^i}/N_{s_{\text{algo}}^i}\) 为平均局部相对改善率。同时，为避免冷启动盲目性，系统利用各算法独立的 GP 代理模型在搜索空间随机采样配置并预测性能，通过 Softmax 归一化后作为先验概率 \(P(s_{\text{algo}}^i)\) 注入 PUCT 公式。在算法子树内部，LLM 提议器通过探索（Exploration）与利用（Exploitation）双向指令控制叶节点的展开，使得系统既能在算法层快速将算力集中于优势模型，又能在超参层兼顾全局跳出与局部精细微调。
2. 算法专属高斯过程与 BO 提议：低维解耦与定点探索
为克服单一全局代理模型在高维条件空间中的精度退化，LB-MCTS 为每个算法 \(A^i\) 独立维护局域高斯过程 \(f_i\)，仅使用该算法子树中收集的评估集 \(\mathcal{D}_i\) 训练。针对包含连续与离散参数的混合超参空间，定义混合协方差核函数：
其中连续维度采用 Matérn-5/2 核 \(k_{\nu}\)，类别维度采用汉明核（Hamming kernel）\(k_{\text{cat}}\)。在 BO 提议时，候选池包含两类样本：全空间随机采样（作为初始化动作挂载于算法节点）与基于树中已有 HP 节点的邻域扰动局部采样（作为微调动作挂载于基准节点）。候选池通过以 \(f_i\) 计算的期望提升（EI）采集函数进行打分，选取最优配置扩展入树。
3. 选择性调优记忆与 LLM 提议：过滤跨算法干扰并保留演化轨迹
为了让大模型在有限上下文窗口内进行精准调优推理，选择性调优记忆（Selective Tuning Memory, STM）从两个维度构建上下文： - 全局记忆（Global Memory）：利用 GP 混合核函数衡量历史优化尝试的起点 \(\bm{\lambda}_p\) 与当前基准配置 \(\bm{\lambda}_{\text{base}}\) 的特征相似度 \(k(\bm{\lambda}_p, \bm{\lambda}_{\text{base}})\)，并以（相似度, 结果指标 \(y_c\)）构建二维 Pareto 前沿面，提取出非支配的高质量、高相关参考点； - 局部记忆（Local Memory）：提取从算法根节点到当前基准节点祖先路径上的连续尝试序列，为大模型提供连贯的参数变化梯度与因果历史。
LLM 接收任务描述、STM 记忆、基准配置及当前指令 \(d \in \{\textsc{Warmup}, \textsc{Exploration}, \textsc{Exploitation}\}\)，通过链式思考（CoT）推理出下一组候选超参。
4. 可靠性自适应提议策略：平滑衔接语义常识与统计精度
LB-MCTS 根据代理模型的实际拟合精度动态分配提议权。在优化初期，样本稀疏导致代理模型置信度极低，系统优先依赖大模型的语义常识先验进行高效热启动；随着采样点增多，代理模型逐渐可靠。系统每收集 5 个局部观测点，通过 \(k\) 折交叉验证评估预测排序与实际验证指标的 Kendall 秩相关系数 \(\tau^i\)，并将其实时映射为 BO 提议概率：
其中 \(\epsilon = 0.05\) 保证即使在初期仍保留最低频次的 BO 探索。在每次迭代中，以 \(p_{\text{BO}}^i\) 概率触发 BO 提议，以 \(1 - p_{\text{BO}}^i\) 概率触发 LLM 提议，实现了从前期的语义导向无缝过渡到后期的统计极值逼近。
经验反思机制¶
新配置评估完成后，系统为该尝试生成一段文本反思 \(\rho_{\text{new}}\) 并存储于新节点中： - 对于 LLM 提议的试验，利用大模型对照基准配置与指标差异进行归因分析，总结超参改动的得失与后续优化建议； - 对于 BO 局部搜索试验，通过预设规则程序化拼接参数变动与性能变化（如“将 max_depth 从 4 增至 6，精度提升 1.2%”）；对于 Warmup/随机试验则记录初始状态。 这些语义经验随 STM 注入后续提议 prompt，形成闭环的语言强化反馈。
实验关键数据¶
主实验¶
实验基于涵盖 71 个分类任务与 33 个回归任务的 AutoML Benchmark (AMLB) 共 104 个数据集展开，对比 8 种代表性基线（涵盖传统 BO 方法 SMAC、OptDivBO、Rising Bandit、MOSAIC；纯 LLM 优化器 OPRO、LLAMBO；以及混合方法 BOPRO、BORA）。统一在 300 次评估预算下进行评估。
| 方法分类 | 优化器 / 基线方法 | 平均验证排名 (↓) | 测试集平均排名 (↓) | 优势算法预算分配比 (↑) |
|---|---|---|---|---|
| 本文方法 | LB-MCTS (Ours) | 2.16 | 3.05 | 0.43 |
| BO 类基线 | Rising Bandit (RB) | 3.49 | 3.86 | 0.28 |
| BO 类基线 | MOSAIC | 4.38 | 4.57 | 0.22 |
| BO 类基线 | SMAC | 4.72 | 4.76 | 0.21 |
| BO 类基线 | OptDivBO | 4.93 | 5.34 | 0.14 |
| 混合类基线 | BORA | 6.07 | 6.18 | 0.18 |
| 混合类基线 | BOPRO | 6.42 | 6.55 | 0.15 |
| 纯 LLM 类 | LLAMBO | 5.27 | 5.38 | 0.23 |
| 纯 LLM 类 | OPRO | 6.63 | 6.72 | 0.16 |
消融实验¶
在 10 个代表性 AMLB 数据集上对树搜索结构、协同机制及各关键模块进行深入消融分析（以 300 轮平均验证排名与平均单任务 API 成本为指标）：
| 实验组配置 / 变体 | 平均验证排名 (↓) | 核心机制说明与性能表现 |
|---|---|---|
| LB-MCTS (完整模型) | 1.50 | 层次化 MCTS + 动态提议协同 + 完整 STM 记忆 |
| Exploration Only | 2.30 | 仅使用探索指令，广度过大导致收敛缓慢、局部微调不足 |
| Exploitation Only | 2.40 | 仅使用利用指令，前期上升快但极易陷入局部最优 |
| LB-Flat (扁平历史共享) | 3.40 | 移除 MCTS 树层次结构，退化为无结构历史共享，排重大幅下滑 |
| 固定概率 LB-MCTS (0.5) | 2.30 | BO 与 LLM 采用固定 50:50 静态混合比例，缺乏阶段自适应能力 |
| L-MCTS (纯 LLM 树搜索) | 3.50 | 仅保留 LLM 提议，前期强势但后期受限于数值精度无法精细收敛 |
| B-MCTS (纯 BO 树搜索) | 3.10 | 仅保留 BO 提议，缺乏大模型先验冷启动，收敛速度明显滞后 |
| STM: Global Only | 2.30 | 仅保留 Pareto 全局最优记忆，缺失演化轨迹与方向梯度线索 |
| STM: Top-k (OPRO 策略) | 2.80 | 仅保留全局得分最高样本，缺乏相似度过滤导致参考针对性差 |
| STM: All (无过滤全历史) | 3.60 | 引入当前算法全部历史，上下文充斥大量冗余低效试验造成严重污染 |
| No Reflection (无反思) | 1.70 | 剔除语言反思机制，丧失跨轮语义归因反馈（基准落后完整版 0.6） |
关键发现¶
- 动态协同与先验时序性：\(p_{\text{BO}}\) 的演变轨迹表明，在迭代前 25 轮，\(p_{\text{BO}} < 0.3\)，系统主要依靠 LLM 的常识进行高效探索；约 50 轮时 \(p_{\text{BO}} \approx 0.5\)；而在 100 轮以后，\(p_{\text{BO}}\) 稳定在 0.6–0.8 之间，充分发挥成熟高斯过程代理模型的数值精度优势。
- 卓越的跨算法资源分配：LB-MCTS 能够将平均 43% 的优化预算精准倾斜至最终全局最优的算法分支上（最高中位数达 0.49），显著高于对比基线的 14%–28%，有力证明了根节点 PUCT 在平衡算法探索与利用上的稳定性。
- 高成本效益与实用性：在以 GPT-4o-mini 为底座时，LB-MCTS 每项任务的 API 花费仅约 0.127 美元，比 LLAMBO（0.860 美元）便宜 6.8 倍；优化器内部用时占比仅为 20%，80% 的时间均花在真实模型训练与评估上，且在后验集成测试中同样保持第一（平均排名 3.17）。
亮点与洞察¶
- 用 MCTS 统一离散决策与连续微调：将算法挑选建模为根节点分支、超参连续微调建模为树枝延伸，巧妙契合了 CASH 固有的多层级树状空间特性，从根本上解决了传统扁平 prompt 导致跨算法上下文污染的问题。
- 以统计泛化指标驱动大模型与 BO 的动态交接：突破了以往启发式规则或静态交替的局限，采用数据驱动的代理模型秩相关系数作为切换开关，给多智能体与数值优化器的协同范式提供了优雅的可解释解法。
- Pareto 相似度-指标双轴记忆提取：在 STM 中将高斯过程混合核函数与验证性能结合构建 Pareto 边界，兼顾了与当前锚点的邻域相关性与历史全局高质量，为 LLM 智能体中的知识检索提供了一种通用的数学过滤构件。
局限与展望¶
- 验证集噪声敏感度：当前 LLM 提议器与反思生成未显式建模验证反馈的随机噪声，在极小或高噪声验证集上，偶尔会被误导性的验证波动带偏；未来可在提示词中引入置信区间或噪声感知机制。
- 对底层大模型推理能力的依赖：消融表明不同性能梯队的大模型会直接影响框架上限（GPT-4o 最优但昂贵，Gemini 2.0 Flash 略弱）。针对特定黑盒调优领域开发轻量级微调小模型是未来降低开销的重要方向。
相关工作与启发¶
- vs LLAMBO / OPRO: 传统纯 LLM 优化器采用无结构的平面历史追加，面临维数灾难与跨算法干扰；LB-MCTS 通过树结构路径化管理历史，并辅以 STM 和 BO 数值支持，兼具泛化性与收敛深度。
- vs BORA / SLLMBO: 先前混合方法要么采用固定比例交替，要么依赖粗糙的方差启发式规则；LB-MCTS 依托 MCTS 全局状态与 GP 秩相关性交叉验证，实现了更加平滑和自适应的动态协同。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将 CASH 分层优化与 MCTS 树结构完美映射，首次实现基于代理模型泛化度的动态 LLM-BO 协同]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越 104 个基准数据集，对比 8 类强基线，且包含极详尽的消融、成本与超参多样性剖析]
- 写作质量: ⭐⭐⭐⭐⭐ [理论推导、问题定义、模块衔接清晰，配图与附录详实]
- 价值: ⭐⭐⭐⭐⭐ [为将大模型常识能力引入工业级 AutoML 与高维黑盒调优奠定了扎实可落地的范式]