DT-PBO: an Interpretable Tree-based Surrogate Model for Preferential Bayesian Optimization¶

会议: NeurIPS 2026
arXiv: 2512.14263
代码: https://github.com/Thomasq99/DT-PBO-preprint
领域: 医学自然语言处理（medical_nlp）
关键词: 偏好贝叶斯优化、可解释机器学习、决策树、拉普拉斯逼近、医疗分诊排序

一句话总结¶

提出首个面向偏好贝叶斯优化的非线性内在可解释决策树代理模型 DT-PBO，利用创新的成对比较一致性得分与跨界样本剔除机制直接构建浅层树，并以拉普拉斯逼近和零均值约束量化叶节点不确定度，在保持与高斯过程相当的优化收敛性及极高运行效率的同时，在医疗分诊等高风险场景中提供了忠实直观的决策依据。

研究背景与动机¶

偏好学习广泛应用于决策支持系统、推荐系统以及大语言模型人类偏好对齐等领域。在现实场景中，要求人类决策者对复杂选项直接打出连续绝对分数极具认知负荷，而提供相对成对比较（Pairwise Comparisons, PCs）则容易得多。偏好贝叶斯优化（Preferential Bayesian Optimization, PBO）正是一种仅依赖成对比较即可样本高效地搜寻潜在效用函数最优解的主动学习范式。长期以来，高斯过程（Gaussian Process, GP）一直是 PBO 的标准代理模型。然而，标准非线性核函数（如 RBF 或 Matérn）本质上是黑盒模型，不仅计算复杂度高，而且完全掩盖了各特征维度对偏好判定的具体贡献。

在高风险决策领域（如医疗分诊和临床决策支持），透明度与可解释性是不可妥协的刚性要求。临床医生无法采纳一个无法解释“为什么优先处理这位患者”的黑盒系统；更进一步，医疗合规审计与安全规范也明确要求决策依据具备严格可追溯性。既有 PBO 可解释性工作多依赖事后解释（如 SHAP 等近似代理），但事后解释不仅缺乏对底层模型的保真度，容易产生具有误导性的归因，而且无法直接支持模型主动向人类用户展现全局偏好结构。另一方面，传统的决策树若直接处理成对比较，往往会退化为缺乏全局排序能力的局部二分类器，或者难以提供贝叶斯优化采集函数所需的不确定性量化。

本文的切入角度是打破“代理模型必须在黑盒高斯过程与不可量化不确定性的传统规则模型之间二选一”的困境，重新设计能够直接在成对比较数据上学习全局效用划分的树结构生长准则，并将贝叶斯推断严格限定在浅层树的叶节点上。核心 idea：设计基于成对比较对齐度的“一致性得分”分裂准则与跨界样本排除机制生长浅层决策树，并利用拉普拉斯逼近施加零均值约束构建后验高斯分布，从而打造出兼具全局结构确定性解释与叶节点贝叶斯不确定性估计的树基偏好代理模型。

方法详解¶

整体框架¶

DT-PBO 继承了贝叶斯优化的主动闭环流程，但将黑盒高斯过程彻底替换为具有确定性划分规则、概率化叶节点的回归决策树。在每一轮主动学习迭代中，算法首先接收历史成对比较集合 \(\mathcal{D}_t\)；随后递归评估各特征候选切分点的成对偏好对齐程度，贪心生长出全局结构透明的浅层树，同时主动剔除跨越当前分裂面的样本对；接着在叶节点参数估计阶段保留全部样本，引入独立正态先验并通过拉普拉斯逼近求解各叶节点潜有效用的 MAP 均值与协方差，结合零均值约束消除平移不变性引起的方差退化；最后由解析形式的 qEUBO 采集函数在叶节点间评估信息增益，自适应采样生成下一组最具价值的成对比较提交给人类决策者评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["成对比较集合 𝒟_t<br/>{x_i ≻ x'_i}"] --> B["一致性得分空间划分<br/>贪心计算 S_A(s) 选取最优切分"]
    B --> C["跨界样本剔除机制<br/>排除跨分裂面样本 控制树深"]
    C --> D["拉普拉斯叶参数估计<br/>解 MAP 并施加 1^T f = 0 约束"]
    D --> E["树感知主动学习<br/>叶间 qEUBO 检索与叶内细化"]
    E --> F["推荐最具信息量成对查询<br/>(x_t+1, x'_t+1)"]

关键设计¶

1. 一致性得分空间划分：直接面向成对偏好的分裂启发式

针对传统分类树在处理成对比较时面临的数据集翻倍膨胀、局部不对称性以及全局排序结构丢失问题，本文提出了面向偏好分离的一致性得分（Consistency Score）。对于当前节点区域 \(A\) 内的所有成对样本 \((\mathbf{x}_i, \mathbf{x}'_i)\)，给定特征维度 \(k\) 与候选切分阈值 \(t\) 构成的候选切分 \(s=(k, t)\)，定义方向对齐指示变量 \(Z_i(s)\)：当胜者落在切分右侧且败者落在左侧时取 \(+1\)，反向时取 \(-1\)，若两者位于同侧则取 \(0\)。基于此构建经验一致性得分：

\[ \widehat{S}_A(s) = \left| \frac{1}{N_A} \sum_{i=1}^{N_A} Z_i(s) \right| \]

该指标直观度量了当前切分将偏好胜者与败者有效隔离的纯度，完美分离时得分为 \(1\)，完全无关时为 \(0\)。论文通过 Hoeffding 不等式与联合界理论证明了该经验得分收敛于总体真实得分的误差界，确保了贪心分裂选取的稳健性，使模型无需任何中间数据转化即可在连续与分类特征上直接寻找最优偏好判别面。

2. 跨界样本剔除机制：无超参数约束的自适应浅层正则化

在递归构建子节点时，若样本对中的两项分别落入左子区域 \(A_L\) 与右子区域 \(A_R\)，该样本被称为跨界对（straddler）。DT-PBO 在生成后续子树分支时显式剔除所有跨界样本，仅将完全落在同一子区域内部的比较对传递给子节点用于后续分裂。这一设计具有坚实的理论支撑：一方面，父节点的强力切分已经解释了跨界样本之间的主导效用差距，保留跨界样本会导致子节点的经验目标退化为组内与跨组效应的混合体，破坏条件子问题的自洽性；另一方面，排除跨界样本使得各分支递归可用的样本量自顶向下迅速衰减，自然形成了极强的结构正则化，使模型在完全无需繁琐调参的情况下自发终止于紧凑、易懂的浅层结构（通常深度仅为 4 到 6 层）。

3. 拉普拉斯叶参数估计与零均值约束：高效的不确定性量化

在空间切分确定后，为了赋予决策树贝叶斯主动学习的能力，模型必须为每个叶节点推断概率分布。DT-PBO 将 \(m_l\) 个叶节点的潜在效用向量 \(\mathbf{f}\) 建模为多元高斯分布，赋予独立零均值正态先验 \(\mathbf{f} \sim \mathcal{N}(\mathbf{0}, \sigma_{\mathrm{prior}}^2 \mathbf{I})\)。利用 Probit 对偶似然并借助拉普拉斯逼近（Laplace Approximation），通过二阶牛顿法优化极小化负对数后验目标求解 MAP 估计值 \(\mathbf{f}_{\mathrm{MAP}}\)。

由于成对比较似然仅依赖效用差值，存在全局常数平移不变性，导致后验 Hessian 矩阵在全 1 向量方向完全奇异，诱发高达 \(m_l \sigma_{\mathrm{prior}}^2\) 的不可约方差。DT-PBO 严格施加全零和约束 \(\mathbf{1}^\top \mathbf{f} = 0\)，并基于多元正态条件分布定理消除了常数平移方向的冗余不确定性：

\[ \mathbf{f} \mid \mathbf{1}^\top \mathbf{f} = 0, \mathcal{D} \sim \mathcal{N}\left(\mathbf{f}_{\mathrm{MAP}}, \, \Sigma_{\mathrm{post}} - \frac{\sigma_{\mathrm{prior}}^2}{m_l} \mathbf{1}\mathbf{1}^\top\right) \]

更为关键的是，由于 Hessian 矩阵的维度仅等于叶节点总数 \(m_l\) 而非全样本数 \(m\)（通常 \(m_l \ll m\)），矩阵求逆复杂度从高斯过程的 \(\mathcal{O}(m^3)\) 骤降至 \(\mathcal{O}(m_l^3)\)，使得主动采样的更新速度呈数量级提升。

4. 树感知主动学习：解耦的叶间探索与最优叶细化

在主动采集阶段，DT-PBO 采用解析形式的 qEUBO 采集函数评估候选成对比较。然而，由于决策树在每个叶区域内部呈现分段常数特征，同叶节点内的样本由于均值相同且对称比较概率为 0.5，会导致 qEUBO 出现数值坍缩。针对这一特性，DT-PBO 采取了解耦的主动学习策略：在跨叶节点之间，全面利用 qEUBO 调度高置信度与高不确定度叶块之间的权衡探索；在离散项集合或同叶细化场景下，则引入最优叶优先准则（Top-Leaf Prioritization），将同叶比较计算严格限定在当前预测效用最高的候选叶块中，通过结构细化驱动潜在最优解区域的进一步分裂。

损失函数 / 训练策略¶

叶参数求解时的负对数后验优化目标函数如下所示：

\[ L(\mathbf{f}) = -\sum_{i=1}^{n} \ln \Phi\left(\frac{f(x_i) - f(x'_i)}{\sqrt{2}\sigma_{\mathrm{noise}}}\right) + \frac{1}{2\sigma_{\mathrm{prior}}^2} \mathbf{f}^\top \mathbf{f} \]

通过重新缩放变量 \(\tilde{\mathbf{f}} = \mathbf{f} / \sigma_{\mathrm{noise}}\)，论文从数学上严格证明了该优化问题及后续 EUBO 排序结果仅取决于噪声先验比率 \(\lambda = \sigma_{\mathrm{noise}}^2 / \sigma_{\mathrm{prior}}^2\)，而与两者绝对数值无关。实验中默认固定超参数比率为 \(1/4\)，并采用 Scipy 的 trust-exact 信任域优化器在 100 次迭代内稳定求解全局 MAP。

实验关键数据¶

主实验¶

主实验在 8 个基准测试函数（覆盖 2D 到 6D，涵盖不同崎岖度）以及真实高风险医疗分诊数据集 PMR-Synth 和美食推荐数据集 Sushi 上全面对比了 DT-PBO 与强基准（GP-qEUBO、SkewGP-HB-EI 以及微调大语言模型）。基准函数使用初始 20 个样本并迭代采样 200 步成对比较，评估 20 次随机重复后的平均单步累积运行时间与最终遗憾（Regret）；真实数据集则评估成对准确率（Accuracy）。

数据集 / 基准函数	维度 / 类别	DT-PBO（本文）	GP-qEUBO	SkewGP-HB-EI	相对速度提升 / 性能表现
Rosenbrock 5D	5D 平滑	11.66 ± 1.07 s	308.23 ± 74.36 s	2461.15 ± 319.30 s	较 GP 快 26 倍，平滑曲面上略落后于 SkewGP
Hartmann 6D	6D 平滑	11.49 ± 0.49 s	436.43 ± 122.44 s	4371.08 ± 224.22 s	较 SkewGP 快 380 倍，高维平滑面收敛略慢
Branin 2D	2D 中度崎岖	15.33 ± 1.81 s	246.50 ± 76.88 s	1194.08 ± 95.82 s	与 GP 性能相当，速度提升 16 倍
Levy 2D	2D 中度崎岖	14.27 ± 1.24 s	273.81 ± 56.14 s	1345.60 ± 264.21 s	与高斯过程基线处于同等误差带
Michalewicz 5D	5D 高度崎岖	11.31 ± 0.99 s	394.72 ± 85.11 s	2870.25 ± 396.14 s	收敛性完全持平，运行耗时压缩 97%
Schwefel 5D	5D 中度崎岖	12.19 ± 0.94 s	271.44 ± 102.80 s	2086.21 ± 175.10 s	收敛遗憾显著优于 GP 与 SkewGP
Holder 2D	2D 极度崎岖	16.91 ± 1.62 s	95.52 ± 45.21 s	1252.26 ± 145.76 s	显著超越两类高斯过程，达到全局最优点
De Jong N.5 2D	2D 极度崎岖	15.71 ± 1.76 s	195.34 ± 18.52 s	1091.30 ± 158.41 s	显著超越 GP，抗局部极值振荡能力极强
PMR 医疗分诊 (测试集)	临床文本+EHR	69.9% (LLM+DT)	—	—	纯 LLM 为 65.0%，兼具极高解释性
Sushi 偏好 (测试集)	连续+离散属性	88.8%	89.5%	—	泛化准确率相当，查询 9 步即可定最优

消融实验¶

1. 跨界样本剔除机制对泛化与树复杂度的消融（BELA 数据集）

配置	训练集准确率	测试集准确率	模型可解释性与树规模
剔除跨界样本（完整机制）	0.97 ± 0.06	0.63 ± 0.28	生成浅层树，规则紧凑直观，防止过拟合
保留跨界样本（强制最大深度 4）	1.00 ± 0.01	0.60 ± 0.32	节点产生冗余划分，测试泛化下降 3.0 pp

2. 医疗分诊 PMR 特征重要性敏感度分析（留一法消融）

剔除特征	训练集准确率 (%)	训练变化 (pp)	测试集准确率 (%)	测试变化 (pp)
无（完整特征集）	83.9	—	69.9	—
message_actionability	83.8	-0.1	52.3	-17.6
red_flag_syndrome	83.9	0.0	58.6	-11.3
diagnostic_uncertainty	83.9	0.0	64.3	-5.6
patient_requested_action	83.9	0.0	64.5	-5.4
vascular_thrombotic_risk_context	83.9	0.0	66.1	-3.8
medication_complication_context	83.9	0.0	67.3	-2.6
symptom_trajectory	83.9	0.0	67.5	-2.4

关键发现¶

地形崎岖度与归纳偏置：高斯过程的 RBF 与 Matérn 核函数固化了严格的平滑可微先验，在平滑曲面（如 Hartmann、Rosenbrock）表现出色；但在极度崎岖曲面（Holder、De Jong、Schwefel）上，这种平滑假设反受局部极值困扰，而 DT-PBO 的轴对齐阶梯状正交切分能够快速切入深窄盆地，收敛性能显著占优。
计算时间数量级优势：由于无需反复做高维核超参数最大边际似然拟合，且叶节点协方差求逆仅依赖叶数量 \(m_l\)，DT-PBO 在 200 轮交互后的耗时稳定在 11-16 秒左右，相比标准 GP 加速 10 至 40 倍，相比 SkewGP 加速高达 100 至 400 倍。
高风险医疗场景的关键判别：在 PMR-Synth 医疗分诊消融中，去除“消息紧迫行动级别”（message_actionability）导致测试准确率剧降 17.6 个百分点，去除“危险红旗综合征”（red_flag_syndrome）下降 11.3 个百分点。学出的决策树清晰表明：具有高行动紧迫性、伴随呼吸窘迫/喘鸣或胸痛心律失常的患者会被立即排在最高优先级分支，与临床直觉完全相符。

亮点与洞察¶

首创成对偏好的内在可解释贝叶斯代理：打破了传统 PBO 必须依托黑盒高斯过程的长期定式，通过全新的一致性得分和叶节点拉普拉斯逼近，开辟了兼顾可解释性与不确定性量化的全新树基技术路径。
优雅的无参数树深约束：递归切分时排除跨界样本看似丢弃了部分成对信号，实则严格符合子区域条件独立性要求，自然诱导样本收缩机制，使树深天然稳定在 4-6 层的高可读性区间。
零均值约束化解平移退化：严格针对成对似然平移不变性引起的 Hessian 奇异性，利用条件高斯推导消除了全 1 向量方向发散的不可约方差，从数学上保证了后验不确定性的数值鲁棒性。

局限与展望¶

无法建模无差异关系：当前模型基于二元偏好假设（\(A \succ B\)），暂不支持决策者显式表达“平局”或无偏好倾向（\(A \sim B\)）。
高维平滑空间建模瓶颈：受限于决策树正交轴对齐（Axis-aligned）切分的固有性质，当维度超过 7 维且目标函数呈现对角倾斜窄脊时，树模型需要大量碎片化区域拟合，收敛速度逊于平滑高斯过程。
医疗端到端依赖特征提取质量：在医疗消息分诊案例中，下游决策树的效用上限受限于前端 LLM 提取临床特征的准确度与覆盖度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出直接面向成对偏好且具备概率不确定性的非线性决策树代理模型，打破了传统高斯过程在 PBO 中的垄断。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个合成基准、4 类核函数、噪声与维度压力测试，以及包含医疗分诊在内的真实案例研究，数据详实严密。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从一致性得分误差界到零均值条件高斯证明环环相扣。
价值: ⭐⭐⭐⭐⭐ 为高风险医疗决策、高危系统运维等需要透明度、安全合规与高效人机交互的领域提供了可落地的偏好优化新范式。