Active Learning for Gaussian Process Regression Under Self-Induced Boltzmann Weights¶

会议: NeurIPS 2026
arXiv: 2605.10654
OpenReview: https://openreview.net/forum?id=Qt4h1OOhOo
论文: https://arxiv.org/abs/2605.10654
领域: 其他
关键词: 主动学习, 高斯过程回归, 自诱导分布, 玻尔兹曼权重, 方差缩减

一句话总结¶

针对目标评估分布由未知函数自身诱导为玻尔兹曼形式的严峻设定，提出无需估计配分函数的 AB-SID-iVAR 闭式采集函数与约束探索机制，在离散与连续域下均具备次线性收敛理论保证。

研究背景与动机¶

在统计学与机器学习中，当黑盒目标函数的单次评估代价极其昂贵（例如量子化学第一性原理计算或分子动力学模拟需要数小时至数周）时，主动学习（Active Learning, AL）与序贯实验设计提供了依据代理模型引导数据采样的原则性框架。高斯过程（Gaussian Process, GP）凭借解析的后验更新与经校准的不确定性度量，成为主流的主动学习代理模型。在标准主动学习中，优化目标通常假定目标测试分布是全域均匀的，或属于给定的已知连续分布；而在分布鲁棒主动学习（DRAL）中，目标分布则被建模为属于某个不确定性模糊集，以优化最坏情况误差。

然而，在诸如势能面（PES）建模、自由能计算以及分子药物虚拟筛选等核心自然科学场景中，实际关注的目标分布往往取玻尔兹曼分布形式，即状态的出现概率直接由未知的能量函数或属性函数自身通过负指数加权决定。这种现象被本文形式化为“自诱导分布下的主动学习”（Active Learning under a Self-Induced Distribution, SIDAL）。此设定带来了根本性的两难困境：待学习的未知函数决定了采样的目标加权分布，使得目标分布与评估准则相互耦合；同时，玻尔兹曼分布中的归一化常数（配分函数）高维积分不可解析且高度依赖全域函数形态，常规基于已知权重的加权不确定性采样或数值积分在此彻底失效。计算物理和化学领域虽有部分试探性启发式策略，但往往依赖人工微调且缺乏收敛性理论保证。

面对自诱导玻尔兹曼权重与难解配分函数的双重挑战，本文的切入角度是：通过泰勒展开与高斯后验的高阶矩生成函数（MGF）恒等式，直接在贝叶斯后验期望层面推导出目标权重的解析近似，从而在积分准则中完全绕开配分函数的显式估计，并配合动态方差约束集平衡高概率区域利用与全局不确定性探索。核心 idea：利用高斯过程后验的高阶矩生成性质构造无需估计配分函数的闭式代理权重，结合动态后验方差下界约束构建集成方差缩减采集函数（AB-SID-iVAR），在自诱导玻尔兹曼目标下实现端到端收敛保证。

方法详解¶

整体框架¶

在自诱导玻尔兹曼分布设定下，算法在每轮迭代 $t$ 维护高斯过程代理模型 $\mathcal{GP}(\mu_{t-1}, k_{t-1})$。为了最小化自诱导分布 $P_f \propto \exp(\lambda f(x) + b(x))$ 下的加权均方预测误差 $\mathcal{L}(\hat{f}) = \mathbb{E}_{x \sim P_f}[(\mu(x) - f(x))^2]$，算法将一步超前（one-step look-ahead）误差缩减目标近似转化为基于易解非归一化自诱导代理权重 $\tilde{p}^{\mathrm{u}}_{t-1}$ 的后验方差积分最小化。为防止采样过早陷入局部极小而忽视未探索的高潜能区域，候选查询点被限制在自诱导分布下方差不低于平均水平的动态潜能集合 $\bar{\mathcal{X}}_t$ 内。在选定查询点 $x_t$ 观测带噪响应后，递归更新高斯过程后验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史观测数据集 𝒟_t-1<br/>带噪评估序列 (X_t-1, y_t-1)"] --> B["高斯过程后验推断<br/>均值 μ_t-1 与方差 σ_t-1^2 更新"]
    B --> C["近似贝叶斯自诱导代理<br/>闭式计算非归一化权重 p̃_t-1^u"]
    B --> D["动态探索潜能约束集<br/>根据权重期望划定候选域 X̄_t"]
    C --> E["集成方差缩减采集优化<br/>在约束域内最小化加权后验方差"]
    D --> E
    E --> F["执行真实黑盒查询<br/>观测 y_t = f(x_t) + ε_t 并递推数据集"]

关键设计¶

1. 近似贝叶斯自诱导代理（AB-SID）：规避配分函数的闭式矩展开 在自诱导设定中，真实的贝叶斯目标分布要求对未知函数在后验分布下求期望 $\mathbb{E}_{f|\mathcal{D}_{t-1}}[P_f(x^\star)] = \mathbb{E}_{f|\mathcal{D}_{t-1}}[\frac{e^{\lambda f(x^\star) + b(x^\star)}}{Z_f}]$。由于分子与分母同时包含随机场 $f$，直接计算面临难解的比值期望。为克服这一困难，算法将分子 $A = \exp(\lambda f(x^\star) + b(x^\star))$ 与分母配分函数 $B = Z_f$ 在期望点 $B = \mathbb{E}[B]$ 处进行一阶/零阶泰勒展开：$\mathbb{E}[A/B] = \frac{\mathbb{E}[A]}{\mathbb{E}[B]} - \frac{\mathrm{Cov}(A,B)}{(\mathbb{E}[B])^2} + \cdots$。基于高斯过程样本的边际正态性，分子的期望可直接通过高斯矩生成函数（MGF）严格导出为解析形式。为了避免一阶修正中对全域协方差矩阵带来的 $\mathcal{O}(|\mathcal{X}|^2)$ 昂贵计算，AB-SID 采用精确的零阶逼近，得到未归一化的闭式代理权重： $$\tilde{p}^{\mathrm{u}}_{t-1}(x) = \exp\left(\lambda \mu_{t-1}(x) + \frac{\lambda^2}{2} \sigma_{t-1}^2(x) + b(x)\right)$$ 该形式具有极其深刻的统计物理直觉：指数项内部不仅包含当前后验均值 $\lambda \mu_{t-1}(x)$，更自发诱导出方差膨胀项 $\frac{\lambda^2}{2} \sigma_{t-1}^2(x)$。当区域不确定性较大时，后验方差主动放大了该处的有效权重，天然驱动采样去探索具有潜在高玻尔兹曼概率的未知区域，彻底杜绝了点估计模型因过早确定而陷入局部假极小的问题。此外，论文亦提供了基于后验单次采样的汤普森采样变体 TS-SID，其权重为 $\exp(\lambda \tilde{f}_{t-1}(x) + b(x))$，提供了无偏但高方差的蒙特卡洛备选。

2. 动态探索潜能约束集：自适应方差门控机制 纯粹追求当前加权代理分布下的方差最小化极易导致算法在当前已探明的狭小高概率区域内过度密集采样（过拟合），而忽略其他可能存在的更优能量极小值。针对这一探索-利用权衡失衡的痛点，算法引入了动态自适应潜能集 $\bar{\mathcal{X}}_t$。该集合强制要求下一个候选查询点在其自身的后验方差上不能低于全域在代理权重下的加权平均方差： $$\bar{\mathcal{X}}_t = \left\{x \in \mathcal{X} : \sigma_{t-1}^2(x) \geq \mathbb{E}_{\tilde{p}_{t-1}}[\sigma_{t-1}^2]\right\}$$ 通过将搜索域限制在 $\bar{\mathcal{X}}_t$ 内部，算法强制采集准则去探索具备可观后验不确定性的区域。更重要的是，在理论分析中，由于选择的点满足方差下界，累积选择点的方差和可以通过高斯过程的最大信息增益 $\gamma_T$ 建立严格的紧上界，进而使得鞅差序列的收敛性推导得以闭环。

3. 集成方差缩减采集准则（iVAR）：连续与离散域的统一优化 在确定代理权重与可行域后，算法通过一步超前思想选择使自诱导加权后验方差降幅最大的位置。在候选点 $x \in \bar{\mathcal{X}}_t$ 处进行虚拟采样后，目标位置 $x^\star$ 处的后验方差更新为 $\sigma_t^2(x^\star \mid x_t = x)$。算法选取的下一个评估点为： $$x_t = \arg\min_{x \in \bar{\mathcal{X}}_t} \int_{x^\star \in \mathcal{X}} \tilde{p}^{\mathrm{u}}_{t-1}(x^\star) \sigma_t^2(x^\star \mid x_t = x) \, dx^\star$$ 对于有限离散候选集（如分子候选库），该目标可直接对候选点进行矢量化精确求和计算。而在连续输入域中，论文利用自适应退火序贯蒙特卡洛（SMC）从非归一化密度 $\tilde{p}^{\mathrm{u}}_{t-1}$ 中抽取 $M$ 个代表性粒子，用粒子经验分布逼近该积分，并采用序列二次规划（SLSQP）在连续空间中高效求解带方差非线性约束的最优输入点。

理论收敛性分析¶

论文在理论上严谨证明了即使目标分布 $P_f$ 先验未知且不可解析，终端加权均方误差 $\mathcal{L}(\mu_T)$ 依然以高概率和均值意义下收敛到 0： - 高概率上界（Theorem 4.1）：在核函数 4 阶可微的正则性条件下，通过对数密度比引理控制配分函数差异，结合 Freedman 鞅集中不等式吸收蒙特卡洛采样误差 $\epsilon_{\mathrm{MC}}$，证明误差满足： $$\mathcal{L}(\mu_T) \leq e^{2(\kappa+2)|\lambda|(\beta_T^{1/2} + \epsilon_T)} \cdot \left(\frac{C_1 \beta_T \gamma_T}{T} + \beta_T \epsilon_{\mathrm{MC}} + 2\beta_T^{1/2} \epsilon_T + \epsilon_T^2\right)$$ 其中 AB-SID 对应 $\kappa=1$，TS-SID 对应 $\kappa=2$。当蒙特卡洛采样数满足 $M = \Omega(T)$ 时，终端预测误差收敛速率达到近最优的 $\mathcal{O}(T^{-1+\epsilon})$。 - 平均情况紧上界（Theorem 4.3）：通过在后验空间应用 Jensen 不等式直接吸收配分函数比值，避免了全域一致置信带带来的过宽边界，主导项收敛速度为 $\frac{C_1 \gamma_T}{T} + \epsilon_{\mathrm{MC}}$，消除了 $\beta_T$ 膨胀因子，严格给出了更紧致的有限步平均性能保证。

实验关键数据¶

主实验¶

论文在合成高维基准函数、4 项真实分子势能面（PES）拟合以及 GuacaMol 分子药物发现库上展开了系统评测。对比基线包括随机采样（RS）、不确定性采样（US）、积分均方误差（IMSE）、期望预测信息增益（EPIG）以及计算材料领域的启发式主动学习（GHAL）。

下表汇总了各维度合成基准函数与真实 PES 系统在达到指定查询预算后的加权均方误差（Weighted MSE, WMSE）中位数表现（30 次随机试验）：

任务 / 系统	输入维度 $d$	评估指标	AB-SID-iVAR (本文)	IMSE (强基线)	US (不确定性)	RS (随机采样)	GHAL (启发式)
Gramacy 2D	2	WMSE (40 queries)	0.0018	0.0152	0.0820	0.0540	0.0125
Branin (双峰目标)	2	WMSE (40 queries)	0.0042	0.0385	0.1620	0.0890	0.0210
Hartmann 3D	3	WMSE (60 queries)	0.0009	0.0084	0.0450	0.0270	0.0051
Hartmann 6D	6	WMSE (100 queries)	0.0015	0.0210	0.1150	0.0680	0.0140
$\mathrm{H_2}$ on $\mathrm{Cu(100)}$	2	WMSE (40 queries)	0.0031	0.0240	0.0910	0.0620	0.0180
$\mathrm{H}$ on $\mathrm{Cu_{13}}$ Cluster	3	WMSE (60 queries)	0.0022	0.0195	0.0780	0.0490	0.0152
Si Crystal (Stillinger-Weber)	3	WMSE (60 queries)	0.0011	0.0092	0.0390	0.0210	0.0068
$\mathrm{H_2O}$ on $\mathrm{Pt(111)}$	6	WMSE (120 queries)	0.0048	0.0410	0.1850	0.0950	0.0320

在 GuacaMol 分子属性预测（约 20,000 个分子的大型候选池，Tanimoto 核）任务中，评估加权集中度参数 $\lambda=75$ 下对最优候选分子的预测质量（$R^2$ 得分）：

筛选评估范围 (Top-$k\%$)	AB-SID-iVAR (本文) $R^2$	IMSE $R^2$	US $R^2$	RS $R^2$
全库分子 ($k=100\%$, 全局平均)	0.88	0.89	0.72	0.81
前 $10\%$ 潜力分子 ($k=10\%$)	0.65	0.18	-0.42	0.05
前 $5\%$ 优选分子 ($k=5\%$)	0.42	-0.35	-1.15	-0.48
前 $1\%$ 核心候选分子 ($k=1\%$)	0.02 (保持有效相关)	-2.85 (严重失真)	-6.40 (完全失效)	-3.20 (完全失效)

消融实验¶

消融实验深入检验了“代理分布中包含方差项（AB-SID）”与“可行域方差约束集 $\bar{\mathcal{X}}_t$”各自的独立贡献。测试采用点估计替代代理 $\mu\text{-SID}$（即忽略方差膨胀项，仅取 $\exp(\lambda \mu_{t-1})$）以及移除约束集的无约束优化变体（记为 $\phi$）：

实验变体配置	Branin (双峰目标) WMSE	Ishigami (强振荡) WMSE	Hartmann 6D WMSE	机制与行为表现剖析
AB-SID-iVAR (完整模型)	0.0042	0.0085	0.0015	兼具多峰探索与精细方差缩减，收敛稳健且方差极小
TS-SID-iVAR (单样本抽样)	0.0110	0.0145	0.0028	整体具备竞争力，但后验采样波动导致跨种子方差较大
无约束集变体 (SID-iVAR-$\phi$)	0.0240	0.0380	0.0022	缺失方差下界保护，容易过早收敛于当前高概率区域
点估计替代变体 ($\mu\text{-SID-iVAR}$)	0.1450 (停滞失败)	0.0620	0.0018	抛弃后验不确定性，死锁在先发现的单峰中无法逃逸
替代采集组合 ($\mu\text{-SID-EPIG}$)	0.1520 (停滞失败)	0.0710	0.0025	证实即便更换信息增益采集，点估计代理依然存在结构性缺陷

关键发现¶

后验方差膨胀项是避免多模态早熟收敛的核心：在 Branin 双峰与 Ishigami 振荡函数上，朴素点估计插件 $\mu\text{-SID}$ 无论配合 iVAR 还是 EPIG 均彻底失效（误差长期停滞），因为其完全抛弃了后验不确定性对玻尔兹曼概率的膨胀支撑，过早认定了最初探明的单峰；而 AB-SID 中的 $\frac{\lambda^2}{2} \sigma^2$ 项提供了关键的探索动力。
高维与强倾斜场景下优势呈数量级扩大：随着输入维度增加（如 Hartmann 6D 和 6 自由度的 $\mathrm{H_2O/Pt}$ 体系）或玻尔兹曼集中参数 $|\lambda|$ 增大，均匀加权采集（IMSE）与不确定性驱动（US）在有效物理区域内的样本覆盖极其稀疏，导致其在关键区域的预测精度雪崩（甚至不如常数均值预测）；AB-SID-iVAR 则稳定将样本精准布置在物理可行态附近。
计算代价适中且对粒子数鲁棒：连续域下单轮迭代求解时间约为 3-16 秒，且 SMC 采样粒子数降至 $N=250d$ 时性能完全无损，具备出色的工程实用性。

亮点与洞察¶

解析绕过配分函数的数学优雅性：巧妙运用高斯过程后验的高阶矩生成函数（MGF）展开，推导出零阶与一阶解析代理，免去了在主动学习循环中反复进行极其昂贵的配分函数数值估计。
首个严谨证明非显式分布主动学习收敛性的理论范式：通过对数密度比分解将未知真值诱导分布映射至代理诱导分布，并首次将蒙特卡洛积分近似误差构建为鞅差序列纳入集中不等式，建立了完整的理论收敛闭环。
对领域经验启发式的形式化统一与收敛证明：将材料科学领域广泛使用的 FLARE、HAL、UDD-AL 等经验性主动学习策略抽象为 GHAL 框架，并首次给出了其收敛性理论命题（Proposition 4.5），打通了方法论与领域工程的隔阂。

局限与展望¶

理论界中的指数项前因子：高概率误差上界中包含随集中参数膨胀的前因子 $e^{\mathcal{O}(|\lambda| \sqrt{\beta_T})}$，源于对全域配分函数比值的全局一致性控制，使得极端低温（$|\lambda| \to \infty$）下的渐进收敛界偏松。
连续空间中依赖马尔可夫链蒙特卡洛（MCMC）：在连续输入域下需通过 SMC 粒子滤波对代理权重进行采样，虽然对粒子数不敏感，但在超高维流形（$d > 20$）上采样效率仍面临挑战，未来可探索结合平摊玻尔兹曼生成器（Amortized Samplers）进行加速。
目标分布依赖于固定玻尔兹曼结构假定：当前框架针对指数族玻尔兹曼形式建立了闭式 MGF 特性，向更通用的隐式自诱导权重（如非线性阈值筛选或黑盒约束）拓展需要开发全新的统计逼近工具。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次形式化并理论攻克自诱导分布主动学习（SIDAL）这一极具科学价值的全新课题]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖合成多维基准、4项严谨量子力学势能面建模及两万分子真实药物筛选]
写作质量: ⭐⭐⭐⭐⭐ [理论推导严密自洽，附录证明详尽完整，图表信息表达清晰直观]
价值: ⭐⭐⭐⭐⭐ [对第一性原理材料计算、分子动力学加速与 AI 制药的主动数据采集具有重要指导意义]

筛选评估范围 (Top-\(k\%\))	AB-SID-iVAR (本文) \(R^2\)	IMSE \(R^2\)	US \(R^2\)	RS \(R^2\)
全库分子 (\(k=100\%\), 全局平均)	0.88	0.89	0.72	0.81
前 \(10\%\) 潜力分子 (\(k=10\%\))	0.65	0.18	-0.42	0.05
前 \(5\%\) 优选分子 (\(k=5\%\))	0.42	-0.35	-1.15	-0.48
前 \(1\%\) 核心候选分子 (\(k=1\%\))	0.02 (保持有效相关)	-2.85 (严重失真)	-6.40 (完全失效)	-3.20 (完全失效)