BBOWP-Bench: Evaluating LLMs on Black-Box Optimization Word Problems¶

会议: NeurIPS 2026
arXiv: 2608.02612
OpenReview: https://openreview.net/forum?id=heroYEMhh0
代码: https://github.com/shiralab/bbowp-bench
领域: LLM评测
关键词: 黑盒优化, 大语言模型评测, 自动问题建模, 搜索空间设计, 算法选择

一句话总结¶

提出了黑盒优化应用题（BBOWP）新评测设定与基准套件 BBOWP-Bench，评测大语言模型作为元求解器从自然语言需求中自主推断设计变量搜索空间并选择匹配黑盒优化算法的能力。

研究背景与动机¶

将实际业务与工程需求形式化建模为优化问题直接决定了最终解的求解上限与收敛质量。然而，提炼关键决策变量、界定约束边界与设定合适目标函数历来高度依赖人类领域专家的深厚经验。近年来，学术界涌现出 NL4Opt、OptiBench 等一系列利用大语言模型（LLM）从自然语言描述中自动提取变量并构建求解模型的基准，但现有工作几乎全部局限于线性规划、整数规划或非线性规划等具有显式数学解析表达式的符号建模范畴。

在真实的工程与机器学习实践中，大量核心问题——例如超参数优化（HPO）、分子与化学材料反应条件设计、结构碰撞力学外形优化以及连续控制参数整定——其底层目标函数映射往往极其昂贵、充斥高阶非线性或不可解析，只能以黑盒优化（BBO）形式建模。在黑盒优化流程中，用户在任务构思阶段通常缺乏可直接调用的显式目标代码；系统不仅需要决定选用何种优化算法（如贝叶斯优化、CMA-ES 等），更必须在缺乏显式变量定义的自然语言模糊需求下，合理设计搜索空间（变量选择、连续/离散类型、取值上下界与采样尺度）。目前缺乏能够连接自然语言描述与真实可执行黑盒环境、支持端到端实机评测的基准平台。

针对这一空白，本文提出了黑盒优化应用题（BBOWP）新任务，并构建了首个具备可执行评估闭环的基准套件 BBOWP-Bench。核心 idea：建立首个从自然语言任务描述端到端推断黑盒搜索空间与优化算法的评测基准 BBOWP-Bench，通过规范设计空间适配器桥接自然语言变量映射，结合分位数排名指标 FRS 与经验概率密度分析，全面揭示 LLM 作为元求解器在黑盒优化建模中的核心瓶颈。

方法详解¶

整体框架¶

BBOWP 任务旨在模拟真实工程中非专家用户向元求解器（Meta-Solver，即 LLM）提出优化需求的场景：用户输入包含任务背景、优化指标与评估预算 $N_{\mathrm{max}}$ 的自然语言描述 $d$；元求解器需输出搜索空间设计 $S$（变量名称、类型、边界、对数/线性尺度）以及选定的黑盒优化算法 $a \in \mathcal{A}$。为了无需为模型任意生成的变量集合重新人工手写环境代码，BBOWP-Bench 设计了一套基于规范设计空间（Canonical Design Space）与同义词映射关系（Alias Mapping）的自动化适配执行闭环。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言任务描述 d<br/>含场景、指标与评估预算 Nmax"] --> B["元求解器 LLM 推理<br/>生成算法 a 与搜索空间 S"]
    B --> C["变量标识符同义映射<br/>基于别名列表匹配规范变量"]
    C --> D["规范包装目标函数 fd(x)<br/>缺省补默认值 / 越界赋最劣惩罚"]
    D --> E["真实黑盒优化实机执行<br/>基于 OptunaHub 运行算法 a"]
    E --> F["双重指标多维度评测<br/>量化打分 FRS 与空间分布 EPDF"]

关键设计¶

1. 规范设计空间与包装目标函数：以可控映射桥接自然语言搜索空间与静态执行环境

为了在固定可执行评测环境与大模型自由生成的开放搜索空间之间建立桥梁，基准为每个任务定义了足够宽广的规范设计空间 $\mathcal{X}_d = \mathcal{X}_{l_1} \times \dots \times \mathcal{X}_{l_I}$，其中每个维度由规范标识符 $l_i$ 索引，并预置了合理的默认值 $x_{l_i}^{\mathrm{def}}$。当元求解器输出具有任意命名 $l'_j$ 的候选空间 $S = S_{l'_1} \times \dots \times S_{l'_J}$ 时，系统利用预构建的领域同义词等价关系 $\sim$ 检索匹配集合 $M_i = \{j \mid l_i \sim l'_j\}$。

当映射关系无歧义且变量能够成功转换时，系统构造映射点 $\bar{x}$ 并通过包装目标函数 $f_d(x)$ 实施评估： $$f_d(x) = \begin{cases} g_d(\bar{x}) & \text{if } |M_i| \leq 1 \ \forall i, \text{ and } x \text{ can be cast to } \bar{x} \in \mathcal{X}_d \\ \omega_d & \text{otherwise} \end{cases}$$ 其中 $\bar{x}_{l_i} = x_{l'_j}$（当 $M_i=\{j\}$ 时）或 $x_{l_i}^{\mathrm{def}}$（当 $M_i=\emptyset$ 时），$\omega_d$ 代表任务的最劣目标值惩罚（最小化问题为 $+\infty$，最大化问题为 $-\infty$）。省略的非核心变量自动使用默认值填充，模型生成的无关冗余变量被安全忽略；若生成的变量取值超出底层物理范围导致 $\bar{x} \notin \mathcal{X}_d$，则直接触发最劣惩罚。这种设计巧妙避免了调用昂贵且脆弱的代码生成智能体或 LLM-as-a-Judge，实现了高度确定、稳定可复现的自动化评测。

2. 多领域跨度与三级难度分级：全面考察模型领域泛化与隐式信息抽取能力

BBOWP-Bench 整合了四大真实黑盒优化基准：YAHPO Gym（机器学习超参数优化，7 个任务）、Olympus（化学合成与材料实验模拟，9 个任务）、MECHBench（结构碰撞外形力学设计，2 个任务）以及 MuJoCo（机器人连续动力学控制，5 个任务），涵盖连续、整数、类别混合变量，总计 23 个具有实际物理背景的基准任务。为了解耦模型在“指令遵循”与“先验常识推理”上的能力边界，套件为每个任务精心构建了三种难度层级的提示： - Easy（简单）：提示词中明确列出全部规范变量名称、类型与取值范围，检验模型提取信息与格式化输出的基础遵循能力； - Intermediate（中等）：提供部分线索与背景，模型需结合常识与上下文补全缺失的设计变量； - Hard（困难）：完全不提供显式设计空间信息，仅阐述任务背景与优化目标，要求模型完全基于预训练知识与常识构思变量、量纲与范围。

此外，基准邀请多位黑盒优化领域专家在 Easy 设定与不同计算预算下手工设计了搜索空间与算法，形成高质量人类基线（Human Baseline），作为评估与少样本示例的参照锚点。

3. 公式化排名评分（FRS）与经验概率密度（EPDF）：解耦算法选择与搜索空间内在质量

黑盒优化在跨领域评测上面临核心痛点：不同学科（材料收率、分类精度、吸能功、机械位移）的原始目标函数值量纲各异、数量级差异巨大，无法直接数值平均。为此，论文提出了基于蒙特卡洛采样的分位数无量纲评测指标——公式化排名评分（Formulation Ranking Score, FRS）： $$\widehat{\text{FRS}}(a, S) = \frac{1}{|\mathcal{R}|} \sum_{(a', S') \in \mathcal{R}} \mathbb{I}\left\{ y(a, S) \leq y(a', S') \right\}$$ 其中 $\mathcal{R}$ 为预先抽样的基准配置参考集（由在规范空间中均匀采样的搜索空间与随机候选优化算法组成，$|\mathcal{R}| = 100{,}000$）。FRS 取值严格位于 $[0, 1]$ 之间，清晰反映了模型给出的配置 $(a, S)$ 优于随机决策的比例。

更进一步，为了彻底剥离优化算法随机性与求解鲁棒性的干扰、纯粹量化评估“模型设计的搜索空间 $S$ 本身是好是坏”，论文引入了目标函数经验概率密度函数（EPDF）分析：在模型设计的搜索空间中均匀抽取 100,000 个采样点，统计目标值的分布集中度与中位数，直观揭示模型是否成功将搜索重心收敛至高收益解空间。

实验关键数据¶

主实验¶

实验评测了四款代表性前沿大语言模型（Gemini 3 Flash、Gemini 3.1 Pro、GPT-5 mini、GPT-5.2），并在小预算（$N_{\mathrm{max}} = 100$）与大预算（$N_{\mathrm{max}} = 10{,}000$）两种计算限制下展开端到端优化评测。下表展示了小预算下代表性任务在不同难度等级下的优化结果与人类基线对比：

任务领域	任务名称	优化方向	Gemini 3 Flash (Easy / Hard)	Gemini 3.1 Pro (Easy / Hard)	GPT-5 mini (Easy / Hard)	GPT-5.2 (Easy / Hard)	Human Baseline
YAHPO	Task 3 (HPO of Ranger)	最大化 $\uparrow$	0.92 / 0.88	0.87 / 0.82	0.94 / 0.84	0.95 / 0.81	0.91
YAHPO	Task 4 (HPO of SVM)	最大化 $\uparrow$	0.98 / 0.95	0.94 / 0.95	0.97 / 0.93	0.94 / 0.95	0.98
Olympus	Task 14 (SNAr reaction)	最小化 $\downarrow$	0.19 / 0.89	0.20 / 2.27	0.32 / 0.79	0.20 / 0.78	0.20
Olympus	Task 15 (HPLC system)	最大化 $\uparrow$	2695.47 / $-\infty$	2364.52 / $-\infty$	2310.73 / $-\infty$	2246.71 / 1320.79	2366.82
MECHBench	Task 17 (Star-shaped crash box)	最小化 $\downarrow$	-11687.66 / -8535.27	-11687.66 / -8528.84	-10758.91 / $+\infty$	-10758.91 / -8507.17	-11740.92

注：在 Task 15 与 Task 17 的 Hard 设定中，多数模型因生成的变量超出有效定义域或缺失关键可辨识变量触发了惩罚值 $-\infty$ 或 $+\infty$。

消融实验¶

下表列出基于分位数排名指标 FRS（跨 Task 3、Task 14、Task 20 平均）在不同问题难度等级下的综合得分表现，展示了模型在先验信息逐步隐匿时的建模质量衰减：

难度等级	Gemini 3 Flash	Gemini 3.1 Pro	GPT-5 mini	GPT-5.2	人类基线参考
Easy	0.965	0.936	0.855	0.843	0.964
Intermediate	0.434	0.557	0.730	0.416	—
Hard	0.728	0.133	0.588	0.503	—
平均 FRS	0.709	0.542	0.724	0.588	—

关键发现¶

预算自适应感知显著：所有评估的 LLM 均展现出符合黑盒优化理论的强算法选择理性。在小预算（$N_{\mathrm{max}}=100$）下，模型倾向于选择样本利用率高的代理模型方法（如贝叶斯优化 GP、SMAC3、TPE，Gemini 3.1 Pro 选用比例达 78.3%，GPT-5.2 达 56.5%）；而在大预算（$N_{\mathrm{max}}=10{,}000$）下，贝叶斯类算法的选用比例锐减至 30.4%，更具伸缩性与全局跳出能力的种群进化算法（如 CMA-ES）占据主导。
复杂物理领域的搜索空间设计严重退化：在通用机器学习 HPO 任务中，模型能凭借海量代码与论文先验在 Hard 难度下仍构建出合理的超参数空间（如 SVM 的 cost、gamma、kernel）；但在化学合成（Olympus）与力学变形（MECHBench）等特定领域，模型频发灾难性失误。例如在 Task 17 碰撞吸能盒中，所有 LLM 均习惯性采用极坐标（内径、外径、角数）描述几何形状，而真实仿真系统采用直角坐标系（宽、深、缺口），导致坐标系冲突、变量无法映射；在 Task 14 化学反应中，模型给出的温度区间（如 [0, 250]℃）严重偏离保证转化率的实际压力反应窗口 [60, 140]℃。
先进大模型的激进降维反噬性能：EPDF 深入分析显示，大模型常试图展现其“先验专家能力”主动裁剪搜索空间，但这极易弄巧成拙。在 Task 3 中，GPT-5 mini 适当收紧边界，将目标函数中位数从全空间基线的 0.780 提升至 0.824；而参数量更大的 Gemini 3.1 Pro 激进地将 4 个变量固定为常数，导致概率密度呈现极端尖峰，彻底丢失了包含优质解的参数子空间，最终中位数仅为 0.797，综合 FRS 垫底。

亮点与洞察¶

规范设计空间与等价别名映射机制：通过在固定测试平台与开放文本输出之间设置 alias 字典与边界适配器，成功将原本依赖不可控代码编写智能体的端到端优化评测转化为可控的确定性数学封装，为自动化黑盒评测树立了稳定范式。
量化揭示 LLM 的“自以为是”盲点：揭示了更强推理能力的大模型在专业工科建模中的反常劣势——大模型过于激进地固定变量（常数化）以降低求解维度，反而破坏了最优解区域的连通性与覆盖性。
无量纲 FRS 评分体系的设计：通过构建大规模蒙特卡洛均匀随机基准集合计算相对超越概率，为跨物理场景、跨非统一度量的黑盒系统提供了标准化统一衡量尺度。

局限与展望¶

同义词词典匹配覆盖受限：当前采用精确与别名列表进行变量名映射，若模型提出物理合理但命名新颖的变量，未命中别名库将被直接抛弃；未来可探索引入辅助小模型辅助实体对齐。
缺乏条件搜索空间（Conditional Space）支持：在复杂超参数调优中，许多参数存在显式前置依赖（如仅在 kernel 为 rbf 时激活 gamma），当前基准尚未完全开放树状条件空间的语法定义。
算法候选池局限与固定求解器：当前算法仅从既定知名库中多选一，未进一步开放大模型直接端到端合成自定义搜索策略或元启发式算法的能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次开拓黑盒优化自然语言自动建模评测新赛道，兼顾空间设计与算法选择。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 4 大领域 23 个真实工程任务，横跨两种预算、三种难度与四款主流前沿 LLM。
写作质量: ⭐⭐⭐⭐⭐ 架构定义清晰严密，适配器数学建模与 FRS/EPDF 评价机制论述详实自洽。
价值: ⭐⭐⭐⭐⭐ 弥合了自然语言大模型与实际工科黑盒仿真优化之间的鸿沟，极具启发性与实用性。

任务领域	任务名称	优化方向	Gemini 3 Flash (Easy / Hard)	Gemini 3.1 Pro (Easy / Hard)	GPT-5 mini (Easy / Hard)	GPT-5.2 (Easy / Hard)	Human Baseline
YAHPO	Task 3 (HPO of Ranger)	最大化 \(\uparrow\)	0.92 / 0.88	0.87 / 0.82	0.94 / 0.84	0.95 / 0.81	0.91
YAHPO	Task 4 (HPO of SVM)	最大化 \(\uparrow\)	0.98 / 0.95	0.94 / 0.95	0.97 / 0.93	0.94 / 0.95	0.98
Olympus	Task 14 (SNAr reaction)	最小化 \(\downarrow\)	0.19 / 0.89	0.20 / 2.27	0.32 / 0.79	0.20 / 0.78	0.20
Olympus	Task 15 (HPLC system)	最大化 \(\uparrow\)	2695.47 / \(-\infty\)	2364.52 / \(-\infty\)	2310.73 / \(-\infty\)	2246.71 / 1320.79	2366.82
MECHBench	Task 17 (Star-shaped crash box)	最小化 \(\downarrow\)	-11687.66 / -8535.27	-11687.66 / -8528.84	-10758.91 / \(+\infty\)	-10758.91 / -8507.17	-11740.92