DisCoMBO: Steering Expert-in-the-Loop Black Box Optimization via Distributional Conformance¶
会议: NeurIPS 2026
arXiv: 2609.36472
代码: https://github.com/bewit/mc-hpo
领域: 优化/理论
关键词: 黑盒优化, 概率电路, 不确定性度量, 专家在环优化, 零遗憾算法
一句话总结¶
针对概率电路（PC）在黑盒优化中缺乏认识不确定性度量与先验校验机制的缺陷，本文提出了具备核同构性质的分布一致性得分（DisCo），并构建了具备零遗憾理论保证且支持线性时间推理的专家在环优化框架 DisCoMBO。
研究背景与动机¶
在材料发现、风电场布局规划以及机器学习超参数优化等诸多科学工程领域，黑盒优化（BBO）的评估代价极高，以高斯过程（GP）或集成代理为核心的序贯基于模型优化（SMBO）已成为主流范式。随着优化问题复杂度的跃升，仅依赖纯数据驱动的搜寻往往样本效率不足，学术界开始广泛探索将领域专家或大语言模型（LLM）提供的外部知识与先验纳入优化闭环。然而，传统贝叶斯优化方法（如 \(\pi\)BO、DynaBO）通常通过加权修改采集函数来间接注入先验，这种方式不仅使得先验与数据证据的耦合过程模糊晦涩，而且难以直接处理离散/连续混合的异构搜索空间。
为克服间接加权的弊端，概率电路（PC）因其强大的生成建模能力和支持高效精确条件采样的特性，被引入作为 SMBO 的新型代理模型，允许直接通过条件采样实现针对性极强的先验注入。然而，概率电路天然缺失显式的认识不确定性（Epistemic Uncertainty）度量，导致优化过程只能依赖纯似然采样生成候选，缺乏贝叶斯优化所必需的“探索-利用”（Exploration-Exploitation）决策语义；更为关键的是，当专家或大模型提供具有误导性甚至错误的对抗先验时，系统缺乏鲁棒且尺度无关的准则来识别并拒绝与实际观测相矛盾的先验。现有的校验机制要么依赖采集函数相对变化的经验启发式规则，要么引入复杂的辅助偏好模型，破坏了优化的简洁性与理论收敛性。
针对上述矛盾，本文没有沿用复杂的高斯过程核扩展或启发式门控，而是回归概率电路的计算图结构本身，探索如何以极低的推断代价提取严谨的不确定性与一致性信号。核心 idea：提出一种在概率电路上递归计算的分布一致性得分（DisCo），以线性时间推理度量样本与模型分布的一致性并充当不确定性代理（与对称核函数保序同构），进而构建兼备先验对抗过滤与退火探索机制的零遗憾优化框架 DisCoMBO。
方法详解¶
整体框架¶
DisCoMBO 是首个以分布一致性度量指导的概率电路黑盒优化框架，其核心流程包含两个紧密协同的阶段：首先是在外部先验介入下，利用概率电路的条件采样与 DisCo 语义过滤生成高质量候选池；随后通过退火调度控制 DisCo 的分箱采样策略，完成探索与利用的动态权衡。
整个优化系统以观测数据集 \(\mathcal{D}\) 为基础，每轮迭代使用混合和积网络（MSPN）拟合联合分布 \(p(\bm{\mathcal{X}}, Y)\)。面对外部专家可能随时提供的先验分布 \(q(\hat{\bm{\mathcal{X}}})\)，系统首先提取边缘条件模型计算 DisCo 得分，以此作为尺度无关的门控信号判断先验是否与当前数据证据吻合；只有通过阈值检验的先验才参与条件生成。生成的大规模候选配置集与全局均匀随机探索样本合并后，统一输入自底向上的 DisCo 评分层，最后经由时间自适应的分箱采样选出下一次真实黑盒评估的目标点。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["外部专家先验输入<br/>q(X_hat) 与当前观测样本 D"] --> B["先验一致性检验<br/>边缘条件 PC 下计算 DisCo 门控"]
B -->|DisCo >= tau| C["知识引导候选采样<br/>条件生成 p(X'|x_hat, y*)"]
B -->|DisCo < tau 拒绝先验| D["默认条件生成<br/>条件生成 p(X|y*) 联合全局随机探索"]
C --> E["全图自底向上一致性度量<br/>DisCo 分数递归计算"]
D --> E
E --> F["周期退火分箱决策<br/>Beta 调度下的探索-利用采样"]
F --> G["黑盒函数真实评估<br/>更新观测集 D 并周期重拟合 MSPN"]关键设计¶
1. 分布一致性得分（DisCo）：线性复杂度的概率电路不确定性代理 传统概率电路仅能输出联合或条件概率密度 \(p(\mathbf{x})\)，但似然值的大小受维度和叶节点参数化影响剧烈，低密度往往反映广延平坦分布而非真实的高不确定性。DisCo 借鉴统计学双尾检验与 \(p\)-value 思想，度量样本落在分布极端区域的累积概率，将其严格归一化至 \([0, 1]\) 区间，数值越接近 0 代表模型对该点感到极大“意外”（高不确定性），越接近 1 代表与模型分布高度吻合。更重要的是，利用概率电路的光滑性（Smoothness）与可分解性（Decomposability），DisCo 可以通过一次自底向上的递归传递在线性时间内精确算出：
叶节点 \(\mathsf{L}\)（以其累积分布函数 \(F_{\mathsf{L}}\) 表示）计算双尾极端质量： $\(\rho_{\mathsf{L}} = 2 \cdot \min\big(F_{\mathsf{L}}(\mathbf{x}_s),\, 1 - F_{\mathsf{L}}(\mathbf{x}_s)\big)\)$
和节点 \(\mathsf{S}\) 继承混合模型的潜在变量解释，计算子节点一致性得分的凸组合： $\(\rho_{\mathsf{S}} = \sum_{\mathsf{N}\in\operatorname{ch}(\mathsf{S})} w_{\mathsf{S},\mathsf{N}} \cdot \rho_{\mathsf{N}}\)$
乘积节点 \(\mathsf{P}\) 对应正交子空间的独立变量，引入 Fisher 逆卡方组合法聚合各维度证据： $\(\rho_{\mathsf{P}} = 1 - F_{\chi^2}\Big(-2 \sum_{i=1}^{k} \ln(\rho_i);\, 2k\Big)\)$ 论文证明，在对称叶节点与对称核函数的假设下，\(1 - \rho_p(\mathbf{x})\) 与标准高斯过程所用的对称核距离保持严格的保序同构（Order-Isomorphism）。这意味着 DisCo 兼具核方法的探索-利用决策性质与概率电路的 \(\mathcal{O}(n)\) 线性计算效率。
2. 先验一致性门控与渐进退火安全网：防范误导性先验的双层恢复机制 专家在环系统经常遭遇具有主观偏见或过时错误的误导性先验。DisCoMBO 构建了双层防御机制以确保优化安全。第一层为基于 DisCo 的语义先验过滤器：当专家在子空间给出先验样本 \(\hat{\mathbf{x}} \sim q(\hat{\bm{\mathcal{X}}})\) 时，系统通过对无关变量边缘化并以当前历史最佳值 \(Y = y^*\) 进行条件约束，得到条件子空间分布 \(p'(\hat{\bm{\mathcal{X}}} | y^*)\)，随后计算该先验样本的一致性得分 \(\rho_p(\hat{\mathbf{x}})\)。若 \(\rho_p(\hat{\mathbf{x}}) < \tau\)（\(\tau\) 为阈值），则表明该先验严重偏离高收益经验证据，系统直接拒绝该样本并置空，退回到无先验优化分支。第二层为概率衰减兜底机制，以先验接受因子 \(\gamma \in (0, 1)\) 按 \(\gamma^t\) 随迭代递减。即便存在极具隐蔽性、初期被错误采纳的对抗先验，系统也能随着优化轮次渐进摆脱先验影响，无缝回退至纯数据驱动的标准 SMBO，彻底消除被困于局部次优陷阱的风险。
3. 基于分箱调度与 Beta 分布的探索-利用自适应平衡 在完成候选集 \(\mathcal{C}\)（包含条件生成样本及全局随机样本）的构建后，必须严谨权衡对高置信区域的开发与未知空间的探索。DisCoMBO 将 \([0, 1]\) 划分为 \(K\) 个非均匀分箱，分箱边界受退火参数 \(\beta_t = s(t)\) 调控：\(b_k = (k / K)^{\beta_t}\)。在具体的实现中，采用周期性余弦调度函数： $\(s(t) = \frac{\beta_0 + \beta_1}{2} + \frac{\beta_0 - \beta_1}{2} \cos\left(\frac{\pi t}{c}\right)\)$ 当 \(\beta_t \gg 1\) 时，分箱边界极度偏向 0 附近，采样大概率落在低 DisCo 分数（高不确定性）区域，系统执行广泛探索；而当 \(\beta_t \to 0\) 时，采样概率高度富集在 DisCo 接近 1 的成熟区域，执行围绕当前最佳解的紧密利用。论文在理论上证明，当调度周期随着时间以比率 \(c > 1\) 逐步延长利用阶段时，DisCoMBO 在 RKHS 空间内满足累积遗憾的次线性增长，即 \(\lim_{T \to \infty} R_T / T = 0\)，确立了算法的零遗憾（Zero-Regret）理论性质。
实验关键数据¶
主实验¶
论文在无外部先验辅助的纯标准 SMBO 设定下，评估了 DisCoMBO 跨越 AutoML、物理材料发现和可再生能源风电场优化的 9 个任务（涵盖混合变量、连续变量及图结构神经架构搜索），并与随机森林（RF）、TPE、SMAC、基于高斯过程的 HEBO、CMA-ES 以及纯生成式概率电路基线 IBO-HPC 进行了全方位对比（50 次随机种子平均，Wilcoxon 符号秩检验 \(p=0.05\)）。
| 任务 / 基准 | 搜索空间类型 | DisCoMBO (本文) 综合排名 | IBO-HPC (前代纯生成 PC) | HEBO (SOTA 贝叶斯优化) | 核心表现与对比 |
|---|---|---|---|---|---|
| JAHS (CIFAR-10) | 14维 离散+连续混合 | 第 1 (低遗憾收敛) | 显著落后 | 极具竞争力 | MSPN 完美拟合混合拓扑，早期即锁定最优解 |
| JAHS (Colorectal) | 14维 离散+连续混合 | 第 1 (平稳探索) | 显著落后 | 统计无差异 | 快速平衡架构选择与学习率超参数 |
| JAHS (Fashion-MNIST) | 14维 离散+连续混合 | 第 1 (高样本效率) | 显著落后 | 统计无差异 | 探索与利用平滑切换，显著强于传统启发式 |
| NAS-Bench-201 | 6维 紧凑图结构离散 | 第 1 (最快收敛) | 显著落后 | 极具竞争力 | 概率电路天然支持离散拓扑的精确推断 |
| HPO-B (6767:31) | 17维 GBDT 混合超参 | 第 1 (平滑降落) | 显著落后 | 统计无差异 | 高维表格优化上显著战胜随机森林基线 |
| HPO-B (6767:9914) | 17维 GBDT 混合超参 | 第 1 (鲁棒收敛) | 显著落后 | 统计无差异 | 在非平稳超参数曲面上避免过早陷入局部极值 |
| HPO-B (6794:31) | 9维 随机森林超参 | 第 1 (快速收敛) | 显著落后 | 统计无差异 | 仅用极少迭代达到极低归一化遗憾 |
| PV (Crossed-Barrel) | 物理连续+非凸材料刚度 | 第 1 (探索收益大) | 显著落后 | 极具竞争力 | 早期广泛探索帮助后期精准锁定最优几何扭角 |
| Floris Wind Farm | 高维连续尾流偏航角 | 显著优于 IBO-HPC | 排名垫底 | 第 1 (连续回归占优) | PC 的离散化偏置在此处于弱势，但 DisCo 极大弥补了差距 |
在全部 9 个基准任务中，DisCoMBO 在 9/9 任务上显著优于纯生成式 PC 基线 IBO-HPC；在 8/9 任务上与当前顶尖的传统 SMBO 算法（HEBO、SMAC）性能持平或统计占优，整体平均排名位列第一。
宽泛先验加速与对抗先验辨识实验¶
为了进一步验证先验质量评估及先验注入的实际收益，论文设计了宽泛先验（Broader Priors，方差扩大一倍、权重降至 3 倍）下的加速比分析（表 2），并对比了对抗/误导先验下的识别 ROC-AUC（图 24 / 图 6）。
| 基准 / 任务 | DisCoMBO (无先验基线) | DisCoMBO (注入宽泛有益先验) | 优化加速比 | 误导先验检测 ROC-AUC (DisCo vs DynaBO) |
|---|---|---|---|---|
| JAHS / cifar10 | 1.0000 | 2.1603 | +116.03% | 0.88 vs 0.61 (显著提高) |
| JAHS / colorectal_histology | 1.0000 | 1.9342 | +93.42% | 0.85 vs 0.58 (显著提高) |
| JAHS / fashion_mnist | 1.0000 | 1.7872 | +78.72% | 0.83 vs 0.60 (显著提高) |
| HPO-B / 6767:31 | 1.0000 | 2.7492 | +174.92% | 0.91 vs 0.69 (先验识别精准) |
| HPO-B / 6767:9914 | 1.0000 | 2.1132 | +111.32% | 0.89 vs 0.65 (判别界面分明) |
| HPO-B / 6794:3 | 1.0000 | 1.7865 | +78.65% | 0.84 vs 0.62 (优于启发式规则) |
| HPO-B / 6794:31 | 1.0000 | 1.8305 | +83.05% | 0.87 vs 0.64 (优于启发式规则) |
| HPO-B / 6794:9914 | 1.0000 | 1.1544 | +15.44% | 0.79 vs 0.59 (保持稳健区分度) |
| HPO-B / 6794:10101 | 1.0000 | 1.5094 | +50.94% | 0.82 vs 0.63 (保持稳健区分度) |
关键发现¶
- 纯生成式 PC 代理的本质缺陷被根治：前代 IBO-HPC 缺乏探索-利用权衡，在所有 9 个任务中均表现欠佳；DisCo 注入的不确定性语义在保持线性推断效率的同时，完全弥合了 PC 代理与顶级高斯过程/随机森林代理之间的性能鸿沟。
- 面对误导先验的超强鲁棒性：在人为注入强误导先验乃至交替正负先验序列的压力测试下，DisCoMBO 依托双层防御体系，在 4/6 任务中比所有基线更快完成轨迹纠偏，并在 5/5 数据集上其误导先验检测 AUC 显著碾压 DynaBO 的采集函数增量启发式机制。
- 混合空间与纯连续流形的适用边界：MSPN 的离散-连续混合架构在 JAHS、HPO-B 等混合搜索空间上展现出极高的建模拟合力；而在极端平滑的纯连续物理仿真（Floris）上，PC 的离散潜变量机制引入了一定的离散化偏差，导致虽然 DisCo 提供了平滑核同构纠正，但仍略逊于专为连续回归设计的高斯过程。
亮点与洞察¶
- 将 Fisher 逆卡方组合法嫁接到乘积节点计算：利用统计学中独立的对数 \(p\)-value 求和服从卡方分布的数学性质，在多维独立变量间优雅传播局部“意外感”，确保高维空间中任意维度的异常均能严谨穿透至顶层。
- 核同构理论搭起 PC 与 GP 之间的桥梁：证明了对称叶分布下的 DisCo 分数与对称正定核之间存在保序同构，揭示了生成式图模型与经典核方法在探索决策层面的深层理论统一。
- 免除采集函数重加权的先验注入路径：通过概率电路精确条件分布 \(p(\bm{\mathcal{X}} | \hat{\mathbf{x}}, y^*)\) 进行显式生成采样，规避了传统采集函数被先验曲面过度扭曲导致的局部盲区。
局限与展望¶
- 连续流形上的离散潜变量偏差：当前常用的结构学习算法（如 LearnSPN）依赖基于聚类与独立性检验的离散划分，在高度光滑的纯连续曲面上存在局部阶梯化拟合，未来需探索连续潜变量概率电路（如连续流结合的 PC）。
- 静态先验阈值设定：先验接受阈值 \(\tau\) 目前采用预设静态常数，未来可结合已观测数据的密度演化设计自适应动态置信门限。
相关工作与启发¶
- vs IBO-HPC：IBO-HPC 首次尝试将概率电路作为生成式 SMBO 代理，但完全缺乏认识不确定性度量，纯靠极大似然生成导致探索能力低下；DisCoMBO 提出了 DisCo 这一核同构不确定性度量，实现了严格的探索-利用平衡与零遗憾保证。
- vs \(\pi\)BO 与 DynaBO：传统先验贝叶斯优化通过在 EI/UCB 采集函数上乘以先验概率实现加权，先验与模型置信度混叠严重；DisCoMBO 将先验用于概率电路的精确条件生成，并以 DisCo 作为独立的几何与统计检验门控，先验检测 ROC-AUC 大幅超越 DynaBO 的启发式指标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次为概率电路赋予了保序同构于核函数的严谨不确定性度量，打通了生成式图模型与决策理论。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大任务、6 种搜索空间、50 次随机种子以及良性/误导/序贯先验全场景，包含完备的消融与理论推导。
- 写作质量: ⭐⭐⭐⭐⭐ 结构清晰，理论推导严谨自洽，方法论与应用痛点契合紧密。
- 价值: ⭐⭐⭐⭐⭐ 显著拓展了概率电路在贝叶斯优化与人机协同领域的落地实用性，开源代码与基准贡献扎实。