Bayesian Additive Distribution Regression¶

会议: NeurIPS 2026
arXiv: 2603.06462
代码: https://github.com/theodds/DistBART-Replication
领域: 学习理论
关键词: 分布回归, 贝叶斯非参数, BART, 核均值嵌入, 稀疏加性结构

一句话总结¶

本文提出 DistBART 框架，利用贝叶斯加性回归树先验建模分布回归的 Riesz 表示元，结合浅层树集合天然诱导的低维边际稀疏加性归纳偏置与随机特征近似，实现具备近极大极小收敛保证且兼具高可解释性的分布到标量回归。

研究背景与动机¶

分布回归旨在从由无监督个体样本构成的输入分布中预测群体级标量响应变量，广泛应用于社会科学中的生态谬误校正、暗物质晕质量预测以及文档级分类等场景。然而，现有主流方法大多依赖固定核函数的核均值嵌入（如基于高斯 RBF 的核岭回归）或传统的统计聚合指标（如一阶均值、方差）。固定高斯核均值嵌入假设分布空间具备全维度的各向同性平滑度，不仅对表格特征的极端异质性与尺度差异极其敏感，更完全忽视了真实世界表格数据固有的低维边际驱动结构；而简单的充分统计量聚合则粗暴地丢弃了分布的高阶矩和关键交叉项信息，导致模型在面对复杂的非线性或异质性群组模式时表现受限。

在社会科学或计量经济学等典型应用中，群组层面的宏观结果往往主要由少数人口统计学变量的单变量边际分布以及极低阶的主效应、二阶交互作用所驱动，而非依赖全体协变量的高维联合联合分布。现有核方法无法自适应地学习这种稀疏加性结构，不仅难以在高维或重尾分布下有效泛化，还完全丧失了后验可解释性。因此，如何在保留分布完整几何信息的同时，赋予分布回归模型自适应捕获稀疏低阶边际交互的归纳偏置，并提供严格的贝叶斯不确定性量化与高效扩展能力，成为亟待解决的核心矛盾。

面对这一挑战，本文另辟蹊径，将分布回归的线性泛函通过 Riesz 表示定理与决策树集合先验深度绑定。浅层决策树天然通过划分超矩形将高维特征投影到极少数活跃变量上，其集合结构恰好对应于边际分布的稀疏加性分解。本文的核心 idea 是：将分布回归泛函的 Riesz 表示元赋予贝叶斯加性回归树（BART）先验，利用浅层树集合天然诱导的低维边际稀疏加性归纳偏置自适应提取分布特征，并推导等价的数据自适应核均值嵌入与随机特征后验推断算法，在保证近极大极小后验收敛率的同时实现高可解释的分布回归。

方法详解¶

整体框架¶

DistBART 将分布回归问题表述为 $Y_i = f(G_i) + \varepsilon_i$，其中观测样本由 $X_{ij} \stackrel{\text{indep}}{\sim} G_i$ 生成，$Y_i$ 为群体标量标签。模型首先基于 Riesz 表示定理将回归泛函刻画为关于潜在生成分布 $G_i$ 的线性泛函 $f(G_i) = \int \psi(x) \, G_i(dx)$，并将核函数/表示元 $\psi(x)$ 赋予 BART 先验。由于每棵二叉决策树将输入特征空间递归划分为不相交的超矩形叶节点区域，分布 $G_i$ 被直接映射为落入各个树叶区域的概率质量特征向量 $\phi_i$。针对大规模样本场景，DistBART 进一步解耦为“先验采样随机树特征 + 稀疏马蹄先验线性回归/非线性树回归”的高效近似管线，其端到端执行流向如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["群组个体样本集合<br/>{X_ij ~ G_i}"] --> B["浅层二叉树集合投影<br/>BART 先验生成划分区域 {A_tl}"]
    B --> C["分布概率质量特征提取<br/>phi_i = {G_i(A_tl)}"]
    C --> D["稀疏加性泛函回归<br/>马蹄先验线性回归 / Soft-BART 非线性模型"]
    D --> E["模型后验投影与解释<br/>GAM 加性效应投影 + LOCO 变量重要性"]
    E --> F["群组标量结果预测与不确定性量化<br/>Y_i = f(G_i) + e_i"]

关键设计¶

1. 基于 Riesz 表示元的 BART 稀疏加性分解：将分布回归诱导至低维边际 传统核均值嵌入通常预先指定高斯径向基等固定核，导致分布在全维度特征空间中被均匀平滑。DistBART 针对表格数据的主效应与低阶交互特性，将线性泛函的表示元 $\psi(x)$ 建模为 $T$ 棵浅层决策树的集合： $$f(G_i) = \int \psi(x) \, G_i(dx) = \sum_{t=1}^T \sum_{\ell \in \mathcal{L}(\mathcal{T}_t)} \mu_{t\ell} \, G_i(A_{t\ell}) = \phi_i^\top \bm{\beta}$$ 其中 $A_{t\ell}$ 是树 $\mathcal{T}_t$ 的第 $\ell$ 个叶节点对应的空间超矩形，$\mu_{t\ell}$ 为对应的叶节点预测值，$\phi_i$ 记录了分布 $G_i$ 落在各叶节点区域的测度。由于 BART 先验强烈惩罚树的深度（节点在深度 $d$ 的非分裂概率为 $1 - \alpha(1+d)^{-\beta}$，默认 $\alpha=0.95, \beta=2$），大多数树仅包含 1 到 2 次分裂。若树 $\mathcal{T}_t$ 仅在特征子集 $\bm{k}_t \subset \{1, \dots, P\}$ 上进行切分，则测度 $G_i(A_{t\ell})$ 严格仅依赖于 $|\bm{k}_t|$ 维的边际分布 $G_{i, \bm{k}_t}$。整个集成模型自动瓦解为： $$f(G_i) = \sum_{v=1}^V f_v(G_{i, \bm{k}_v})$$ 这使得 DistBART 能够自动忽略不相关的特征高阶噪声相关性，专注挖掘关键的单变量边际与双变量交互效应。

2. 数据自适应核连接与非线性泛函扩展：从核岭回归到深层树回归 为了揭示树集成与核方法的深层联系，本文建立了 DistBART 与核均值嵌入（KME）的等价性。定义数据自适应核函数 $\kappa(x, x') = \frac{1}{T} \sum_{t=1}^T \kappa_t(x, x')$，其中 $\kappa_t(x, x')$ 为指示样本 $x$ 与 $x'$ 是否落入树 $\mathcal{T}_t$ 同一叶节点的指示函数。在给定树结构条件（即给定核 $\kappa$）下，回归函数满足高斯过程先验： $$[f \mid \kappa] \sim \operatorname{GP}(0, \sigma_\mu^2 \mathcal{K}), \quad \text{其中 } \mathcal{K}(G, Q) = \iint \kappa(x, x') \, G(dx) \, Q(dx') = \langle \phi_G, \phi_Q \rangle_{\mathcal{H}_\kappa}$$ 由此证明 DistBART 的后验均值与基于数据自适应核的核岭回归严格等价。这一核视角自然启发了非线性泛函的扩展方案：当线性泛函不足以捕获复杂的群体响应时，可以直接将外层线性映射替换为非线性回归层 $Y_i = r(\phi_i) + \varepsilon_i$（例如使用第二个 Soft-BART 模型），从而在保持低维边际特征划分优势的同时捕捉跨边际概率特征的非线性关联。

3. 近极大极小自适应后验收敛性：插值经验分布下的理论保证 在实践中，真实的概率分布 $G_i$ 无法直接观测，通常以经验分布 $\widehat{G}_i = \frac{1}{M_i} \sum_{j=1}^{M_i} \delta_{X_{ij}}$ 代替。本文针对基于经验似然的分数后验（Fractional Posterior）$\Pi_N^\star(A) \propto \int_A e^{\eta \ell(\psi)} d\Pi$ 建立了严格的非渐近收敛性分析。理论证明，若真实表示元 $\psi_0$ 为 $(d, S)$-稀疏加性且具备 $\alpha$-Hölder 平滑度，在群体内样本量满足调和平均增长条件 $\bar{M}_N^{-1} = o(\epsilon_N^2)$ 时，后验分布在 $L_2(\mathscr{G})$ 距离下的收敛速率达到： $$\epsilon_N = N^{-\frac{\alpha}{2\alpha + d}} (\log N)^t + \sqrt{\frac{d \log P}{N}}$$ 由于群体内部经验测度替代真实分布产生的测度估计误差阶数为 $\mathcal{O}_P(\bar{M}_N^{-1/2})$，只要 $\bar{M}_N \gg (N / \log N)^{\frac{2\alpha}{2\alpha+d}}$，经验分布插值就不会破坏极小极大最优率。该结论严格阐明了群组规模 $M_i$ 与群组数量 $N$ 之间的理论折元条件。

4. 大规模随机树特征近似与后验可解释投影：计算与解释双突破 尽管标准 Gibbs 反拟合（Algorithm 1）可通过更新残差并利用 Woodbury 恒等式在 $\mathcal{O}(T \sum_i M_i + TN)$ 复杂度下采样，但当总个体数 $\sum_i M_i$ 达到数百万时依旧计算沉重。DistBART 提出了快速随机特征近似（Algorithm 2）：先直接从 BART 先验中独立蒙特卡洛抽取大量浅层树结构，构建设计矩阵 $\Phi \in \mathbb{R}^{N \times \sum_t L_t}$；接着给系数向量 $\bm{\beta}$ 赋予连续收缩的马蹄先验（Horseshoe Prior）或应用 Lasso 稀疏回归。为了让模型输出兼具可解释性，本文引入广义加性模型（GAM）样条投影与留一协变量（LOCO）重要性评估，定义汇总解释度 Summary-$R^2$： $$R^2 = 1 - \frac{\mathbb{E}_{X_{ij} \sim G}\{\psi(X_{ij}) - \widetilde{\psi}(X_{ij})\}^2}{\mathbb{E}_{X_{ij} \sim G}\{\psi(X_{ij}) - \bar{\psi}\}^2}$$ 借此量化主加性效应的解释力比例，并准确诊断出高阶非线性交互的活跃程度。

损失函数 / 训练策略¶

对于精确推断，DistBART 采用全贝叶斯反拟合吉布斯采样（Algorithm 1），通过 Metropolis-Hastings 提议（GROW、PRUNE、CHANGE）在积分边缘似然 $m(\mathcal{T}_t)$ 下遍历树拓扑空间，并在条件共轭高斯分布下解析抽取叶节点参数 $\bm{\beta}_t \sim \operatorname{Normal}(\widetilde{\bm{\beta}}_t, \Sigma_t)$。对于大规模实际应用，采用随机特征配合马蹄先验分层吉布斯采样，或者直接通过 10 折交叉验证调优 Lasso 惩罚系数 $\lambda$。

实验关键数据¶

主实验¶

论文在 2016 年美国总统大选真实数据集（涵盖全美 $N=979$ 个微观数据区 PUMA，涉及 $\sum_i M_i = 9,861,010$ 名个体，包含 7 项人口普查协变量，目标预测民主党相对共和党的得票差距）上进行了 30 次独立的 80-20 划分评测。对比了边际均值基线（Mean）、高斯核均值嵌入（RBF）、切片瓦瑟斯坦核岭回归（SW-KRR）以及 DistBART 的线性和非线性变体：

数据集 / 任务	评估指标	DistBART (Nonlinear)	DistBART (Linear)	RBF + Ridge/Lasso	SW-KRR	Mean Baseline
2016 总统大选 (PUMA)	测试集 RMSE	0.138	0.141	0.142	0.145	0.208
2016 总统大选 (PUMA)	测试集 $R^2$	0.841	0.835	0.832	0.826	0.635

在合成数据稀疏交互设定（$\psi(x) = x_1 x_2 + x_3 x_4$）中，样本量 $N=1600$ 且边际服从指数分布时，DistBART 相比高斯 RBF 核方法将预测 RMSE 显著削减了约 35% 到 50%，展现了其对非高斯重尾与稀疏边际交互的极高适应能力。

消融实验与结构对比¶

在合成数据与选举数据中，针对不同生成机制与特征工程维度的对比分析如下：

实验配置 / 机制	测试集表现 (RMSE / 评估)	说明
指数边际 + 稀疏交互 ($\psi = x_1 x_2 + x_3 x_4$)	DistBART: 0.18 vs RBF: 0.38	RBF 在非高斯低维交互下严重退化；DistBART 自适应识别二阶边际
高斯边际 + 稀疏交互 ($\psi = x_1 x_2 + x_3 x_4$)	DistBART: 0.21 vs RBF: 0.19	高斯边缘平滑度与 RBF 核天然契合，两者表现接近
纯主效应设定 ($\psi = \sum_p x_p$)	Mean: 0.08 vs DistBART: 0.12	均值聚合天然对齐一阶线性加性；DistBART 仍逼近最优
选举数据：去除种族边际特征 (LOCO)	测试集 $R^2$ 下降 0.28	留一评估表明种族构成是决定投票极化的最主导分布因素
选举数据：去除性别/就业分布 (LOCO)	测试集 $R^2$ 分别下降 0.11 / 0.09	次级主导因素，对选区倾向具有独立显著贡献
选举数据：年龄效应加性投影 (Summary-$R^2$)	拟合优度仅约 30%	说明年龄单独无法线性解释选情，其强依赖与性别/收入的二阶交互

关键发现¶

纯均值聚合的严重缺陷：无论是合成交互实验还是实际大选数据，基于一阶均值的基线方法表现最差（测试 $R^2$ 落后近 20%），证实群组内部的高阶分布形状与变量相关性蕴含不可替代的关键预测信号。
非线性泛函与交互效应的互补性：非线性 DistBART（Soft-BART 后端）在所有模型中拔得头筹，说明宏观投票倾向不仅依赖微观人口子群的比例，而且宏观响应存在阈值与饱和等非线性泛函机制。
可解释性与后验实证洞察：模型揭示教育程度具有显著的非线性极化效应（高中以上断崖式偏向民主党）；而经马蹄先验识别的最强交互项为“年龄 $\times$ 性别”，成功印证了现实社会学观察。

亮点与洞察¶

将 BART 先验赋给 Riesz 表示元：巧妙地将针对点预测的树集成先验通过积分线性算子无缝嫁接至分布空间，利用浅层树天然的阶梯常数超矩形划分，自动诱导低维边际稀疏分解，兼具极强的理论优美度与工程简捷性。
打通树模型与自适应核均值嵌入的理论鸿沟：严格推导了 DistBART 作为数据自适应核岭回归的等价表征，为未来连接深度树模型与核方法开辟了全新的理论视角。
高维随机特征近似摆脱 MCMC 吞吐瓶颈：通过在大维先验随机树投影上叠加稀疏马蹄先验，将包含近千万个体的复杂层级贝叶斯推断降维为经典稀疏线性回归，实现了卓越的工程可扩展性。

局限与展望¶

强表格归纳偏置的适用边界：DistBART 建立在“分布泛函可由低维边际加性主导”的前提下，当输入个体特征为高维感知信号（如图像像素网格、连续点云）时，低维边际假设完全失效，此时必须结合深度表示模型提取空间嵌入。
未建模群体内有限样本测量误差：当前理论与实验均假设 $M_i$ 足够大（如大选数据中 $M_i \approx 2000$），直接采用经验分布 $\widehat{G}_i$ 插值；但在诸如小样本学校教育评估或罕见病群组等 $N \gg M_i$ 场景下，经验测度估计噪声会显著干扰推断，未来需引入层次贝叶斯测度误差模型。
层次关联随机效应模型拓展：作者指出可将该树诱导分布特征直接嵌入多层线性模型，作为群体背景效应的非参数表征，用于革新计量经济学中传统的 Mundlak 相关随机效应模型。

评分¶

新颖性: ⭐⭐⭐⭐⭐（首次将 BART 与 Riesz 表示元结合解决分布回归，概念构建新颖深刻）
实验充分度: ⭐⭐⭐⭐☆（涵盖近千万级大选实证数据与系统的合成消融，但缺乏其他领域的实际基准对比）
写作质量: ⭐⭐⭐⭐⭐（数学推导严丝合缝，附录收敛性证明与算法伪代码结构极为清晰）
价值: ⭐⭐⭐⭐⭐（为计量统计学、社会学群体建模与贝叶斯机器学习提供了强有力且高度可解释的新范式）

实验配置 / 机制	测试集表现 (RMSE / 评估)	说明
指数边际 + 稀疏交互 (\(\psi = x_1 x_2 + x_3 x_4\))	DistBART: 0.18 vs RBF: 0.38	RBF 在非高斯低维交互下严重退化；DistBART 自适应识别二阶边际
高斯边际 + 稀疏交互 (\(\psi = x_1 x_2 + x_3 x_4\))	DistBART: 0.21 vs RBF: 0.19	高斯边缘平滑度与 RBF 核天然契合，两者表现接近
纯主效应设定 (\(\psi = \sum_p x_p\))	Mean: 0.08 vs DistBART: 0.12	均值聚合天然对齐一阶线性加性；DistBART 仍逼近最优
选举数据：去除种族边际特征 (LOCO)	测试集 \(R^2\) 下降 0.28	留一评估表明种族构成是决定投票极化的最主导分布因素
选举数据：去除性别/就业分布 (LOCO)	测试集 \(R^2\) 分别下降 0.11 / 0.09	次级主导因素，对选区倾向具有独立显著贡献
选举数据：年龄效应加性投影 (Summary-\(R^2\))	拟合优度仅约 30%	说明年龄单独无法线性解释选情，其强依赖与性别/收入的二阶交互