Statistical Matching via Schrödinger Bridge beyond Conditional Independence¶
会议: NeurIPS 2026
arXiv: 2606.22770
领域: 图像生成
关键词: 统计匹配、薛定谔桥、条件独立性假设、熵正则最优传输、双向概率插补
一句话总结¶
针对传统统计匹配强依赖条件独立性假设而丢失潜在关联的根本缺陷,提出基于薛定谔桥的预测性统计匹配框架,通过兼容性代价对先验测度进行指数倾斜并以神经网络求解对偶势函数,实现超越条件独立性的双向概率后验插补与严格高斯联合分布恢复保证。
研究背景与动机¶
在现代跨域数据融合与隐私保护分析中,整合缺乏唯一标识符的割裂数据库是一项核心需求。典型场景中,受体数据库仅观测到公共协变量 \(X\) 与目标变量 \(Y\),而供体数据库仅观测到协变量 \(X\) 与辅助特征 \(Z\)。例如,零售会员消费数据与信用卡征信记录的打通能够显著增强无信用记录人群的违约风险预测能力;但由于隐私合规限制,两份数据库无法直接基于实体 ID 对齐,必须借助统计匹配(Statistical Matching, SM)技术将供体的辅助变量 \(Z\) 插补至受体库中,以重建完整的联合样本分布。
传统统计匹配方法长期依赖条件独立性假设(Conditional Independence Assumption, CIA),即假定在给定公共协变量 \(X\) 条件下,\(Y\) 与 \(Z\) 相互独立(\(Y \perp Z \mid X\))。这一假设虽然使不适定的联合分布辨识问题变得可解,但存在严重的理论与实践缺陷:在条件独立下,\(P_{Y|X,Z} = P_{Y|X}\),这意味着即便将辅助变量 \(Z\) 成功迁移至受体库,一旦已知 \(X\),\(Z\) 对预测目标 \(Y\) 也无法提供任何额外的边际信息增益。当真实总体中 \(Y\) 与 \(Z\) 存在强烈的内生残差关联(如同一目标的不同度量标度、跨模态互补表征)时,基于 CIA 的传统匹配完全失效,无法捕获变量间的潜在交互。
现有非参数或最优传输匹配方案(如基于离散线性规划的 GO 方法)虽然尝试最小化配对代价,但受限于离散有限支撑、存在解不唯一与计算脆弱性,且无法输出具有不确定性量化能力的连续概率后验。为此,亟需建立一种既能锚定已知边缘分布、又能显式捕捉潜在高阶依赖的生成式匹配准则。本文的核心 idea 是:将统计匹配重构为以保守 CIA 乘积测度为先验、由结构兼容性代价进行指数倾斜的薛定谔桥问题,通过神经网络极小化对偶风险以求解势函数,从而构建能够严格提升下游预测效用并实现双向概率插补的生成式后验分布。
方法详解¶
核心机制¶
统计匹配的本质是在满足已知边缘分布 \(P_{X,Y}\) 与 \(P_{X,Z}\) 的联合概率测度集合 \(\Pi(P_{X,Y}, P_{X,Z})\) 中寻找最优联合分布 \(Q^\star\)。本文将该任务置于熵正则化最优传输(Entropic Optimal Transport, EOT)与薛定谔桥(Schrödinger Bridge, SB)理论框架下。
在局部层面,对于任意给定的协变量切片 \(x \in \mathcal{X}\),定义 CIA 诱导的独立乘积测度为 \(\rho_x := P_{Y|X=x} \otimes P_{Z|X=x}\)。为超越条件独立,引入兼容性代价函数 \(c(x,y,z) \ge 0\),在切片上求解局部 EOT 问题: $$ \pi_x^\star \in \arg\min_{\pi_x \in \Pi(P_{Y|X=x}, P_{Z|X=x})} \left{ \mathbb{E}_{\pi_x}[c(x,Y,Z)] + \lambda \mathrm{KL}(\pi_x \parallel \rho_x) \right} $$ 其中正则化参数 \(\lambda > 0\) 调节了匹配激进度与保守性之间的权衡:当 \(\lambda \to \infty\) 时,解退化为保守的 CIA 条件独立测度;当 \(\lambda \to 0\) 时,解趋向于未正则化的 Monge/Kantorovich 最优传输。
通过定义指数倾斜参考测度 \(dR_x(y,z) = \alpha(x)^{-1} \exp\{-c(x,y,z)/\lambda\} d\rho_x(y,z)\),局部优化等价于最小化 \(\mathrm{KL}(\pi_x \parallel R_x)\)。为克服高维连续协变量空间无法逐点求解的维数灾难,论文将其提升为全局薛定谔桥规划:以全局条件独立联合测度 \(P_\rho(dx,dy,dz) = P_X(dx) P_{Y|X}(dy|x) P_{Z|X}(dz|x)\) 为基底,定义全局倾斜参考测度 \(dR(x,y,z) \propto \exp\{-c(x,y,z)/\lambda\} dP_\rho(x,y,z)\),并在满足观测边缘的联合分布空间中寻找 KL 投影: $$ Q^\star \in \arg\min_{Q \in \Pi(P_{X,Y}, P_{X,Z})} \mathrm{KL}(Q \parallel R) $$ 由于 \(Q\) 与 \(R\) 共享相同的边际分布 \(P_X\),全局解 \(Q^\star\) 的条件核在 \(P_X\) 几乎处处意义下与局部最优解 \(\pi_x^\star\) 严格等价。
整体框架与流程¶
整个算法流程分为结构代价构建、对偶势函数神经网络学习、双向后验概率插补、以及下游预测模型训练四大阶段。
%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
A["输入割裂数据集<br/>受体库 D^A(X,Y) 与供体库 D^B(X,Z)"] --> B["结构兼容性代价设计<br/>协变量对齐与条件残差建模"]
B --> C["全局参考测度指数倾斜<br/>在 CIA 基准上注入传输代价约束"]
C --> D["对偶势函数网络参数化<br/>基于重要性采样的均方风险最小化"]
D --> E["双向生成式后验抽样插补<br/>对受体与供体补齐缺失变量生成 D^T"]
E --> F["下游预测模型训练与评估<br/>充分利用捕获的 Y-Z 潜在依赖提升性能"]
关键设计(带序号的紧凑段落)¶
1. 全局参考测度指数倾斜:从保守条件独立基准平滑过渡到依赖耦合 传统方法要么武断假定条件独立,要么求解非正则化的线性规划导致数值不稳定且退化为确定性点匹配。本文设计以 CIA 全局测度 \(P_\rho\) 作为基准,通过相容性代价 \(c(x,y,z)\) 引入玻尔兹曼形式的指数因子 \(\exp\{-c(x,y,z)/\lambda\}\) 构造全局参考分布 \(R\)。根据变分极值条件,最优化解的概率密度呈现精确因子分解形式 \(q^\star(x,y,z) = A(x,y) B(x,z) \exp\{-c(x,y,z)/\lambda\}\),其中正势函数 \(A(x,y)\) 与 \(B(x,z)\) 分别吸收与两边边缘对齐的拉格朗日乘子。这种连续倾斜结构不仅保证了优化的严格凸性与数值平滑性,更确保在样本支撑任意复杂时均能自适应调节依赖强度。
2. 结构兼容性代价设计:协变量投影对齐与条件残差显式建模 由于在无配对数据下无法直接观测 \((Y,Z)\) 距离,设计合理的兼容性代价是恢复潜在真实依赖的关键。针对一般场景,本文提出基于公共协变量条件期望差距的经验对齐代价 \(c_{\mathrm{align}}(y,z) = \|\mathbb{E}[X \mid Y=y] - \mathbb{E}[X \mid Z=z]\|_2^2\),通过比对由 \(Y\) 与 \(Z\) 反向投影推断的协变量状态实现距离代理;而在协变量已解释大量方差的复杂回归问题中,则设计条件残差代价:首先对特征进行标准化,利用神经网络拟合条件期望 \(\hat{m}_Y(x) = \mathbb{E}[u_Y(Y) \mid X=x]\) 与 \(\hat{m}_Z(x) = \mathbb{E}[u_Z(Z) \mid X=x]\),进而度量标准化残差差值的平方 \(c(x,y,z) = \left[\{u_Y(y)-\hat{m}_Y(x)\} - \{u_Z(z)-\hat{m}_Z(x)\}\right]^2 / K_{\mathrm{res}}\),直接剥离 \(X\) 的混淆影响并锁定潜在残差相关。
3. 对偶势函数神经网络参数化与风险最小化:无偏重要性采样求解积分方程 势函数系统满足耦合积分方程组 \(A(x,y) \int B(x,z) e^{-c/\lambda} dz = p_{X,Y}(x,y)\) 及对应对称项。为避免直接在高维空间执行数值积分,令 \(A_p(x,y) = A(x,y)/p_{X,Y}(x,y)\),并利用共享协变量性质得到密度比 \(d(x,y,z) = p_{Y|X}(y \mid x)/p_{Z|X}(z \mid x)\)。引入辅助提议分布 \(q\) 进行重要性采样转换后,将积分方程转变为统计风险极小化目标: $$ \mathcal{L}(\theta,\phi) = \mathbb{E}{P}}\left[\left{A_p(X,Y;\theta) \mathbb{E{Z\sim q}\left[\frac{B(X,Z;\phi)}{q(Z)} e^{-\frac{c(X,Y,Z)}{\lambda}}\right] - 1\right}^2\right] + \mathbb{E}\right] - 1\right}^2\right] $$ 通过 MLP 参数化 }}\left[\left{B(X,Z;\phi) \mathbb{E}_{Y\sim q}\left[\frac{A_p(X,Y;\theta)}{q(Y)} d(X,Y,Z) e^{-\frac{c(X,Y,Z)}{\lambda}\(A_p\) 与 \(B\)(对 \(B\) 施加 \(L^2(P_{X,Z})\) 单位范数约束保障可辨识性),利用外层小批量样本与内层蒙特卡洛采样交替梯度下降更新,彻底将连续积分约束转化为可扩展的深度学习回归任务。
4. 双向生成式后验抽样插补:基于完整概率分布的不确定性量化 与输出单一确定性配对的最近邻或热卡匹配截然不同,求得的最优薛定谔桥赋予了精确的条件后验生成分布:受体库插补后验为 \(q^\star_{Z|X,Y}(z \mid x,y) \propto B(x,z) \exp\{-c(x,y,z)/\lambda\}\),供体库反向后验为 \(q^\star_{Y|X,Z}(y \mid x,z) \propto A(x,y) \exp\{-c(x,y,z)/\lambda\}\)。对于受体样本 \((X_i^A, Y_i^A)\),从候选供体池或离散状态中依据归一化权重随机采样生成 \(\hat{Z}_i^A\) 构成完整库 \(\hat{D}^A\);对称地对供体补齐 \(\hat{Y}_j^B\) 构成 \(\hat{D}^B\)。这一概率采样机制天然无缝契合 Rubin 的多重插补(Multiple Imputation)规范,能够向后续下游模型忠实传递因未观测关联所产生的数据不确定性。
理论分析与设计权衡¶
论文对桥匹配优于条件独立性的充要条件及完全恢复性给出了严格证明:
-
信息增益充分条件(Theorem 3.1):以受体侧相对于 CIA 基线的相对熵期望缩减量 \(\Delta_Z(Q) = \mathbb{E}_{P_{X,Y}}[\mathrm{KL}(P_{Z|X,Y} \parallel P_{Z|X}) - \mathrm{KL}(P_{Z|X,Y} \parallel Q_{Z|X,Y})]\) 度量后验提升。当代价函数满足平方可积与非负性时,在任意 \(\lambda > 0\) 下满足下界: $$ \Delta_Z(Q^\star) \ge \frac{\delta_c}{\lambda} - \frac{C}{\lambda^2} + C_\lambda $$ 其中 \(\delta_c = (\mathbb{E}_{P_\rho} - \mathbb{E}_P)[c(X,Y,Z)]\) 为 CIA 独立测度与真实联合测度下的期望代价差值。只要代价设计使得真实关联三元组的惩罚显著低于独立分布惩罚(即 \(\delta_c > 0\)),在适当大的 \(\lambda\) 下一阶项主导,必定保证 \(\Delta_Z(Q^\star) > 0\),即学到的后验分布在信息论意义上严格优于 CIA 基准。
-
高斯联合分布精确恢复保证(Theorem 3.2):当总体服从多元高斯分布 \((X,Y,Z) \sim \mathcal{N}(m, \Sigma)\) 时,若采用神谕代价 \(c_{\mathrm{oracle}}(y,z) = -\mathrm{sgn}(\sigma_{YZ|X}) y z\),或者采用经验对齐代价 \(c_{\mathrm{align}}(y,z)\) 且满足几何符号一致性条件 \(\sigma_{YZ|X}\Sigma_{YX}\Sigma_{XZ} > 0\),则必定存在严格正的正则化参数: $$ \lambda^\star = \frac{\beta |\Sigma_{YZ|X}|}{\sigma_{YZ|X}} > 0 $$ 使得全局薛定谔桥解完全恢复真实联合分布,\(Q^\star = P\)。该理论揭示了薛定谔桥并非单纯的经验启发式算法,而在特定几何代数条件下具备精确辨识真实潜变量结构的能力。
实验关键数据¶
主实验¶
实验在合成多元高斯数据集、三类非线性回归任务(SYN1 线性、SYN2 正弦二次非线性、SYN3 对数指数非线性)以及真实图像属性数据集 CelebA 与人口普查收入数据集 Adult 上展开全面评测。基线包含:NAIVE(仅用 \(X\) 预测 \(Y\) 的 CIA 下界)、ORACLE(在完整可见三元组上训练的经验上界)、GO(无正则化离散最优传输 SOTA)以及五种经典参数化/非参数化混合方法(Best MM)。
1. 高斯基准实验结果¶
在零均值高斯模拟中,固定 \(\sigma_{XY}=\sigma_{XZ}=0.5\),考察不同潜变量相关性 \(\sigma_{YZ} \in \{0.9, 0.7, 0.5, 0.3\}\) 下的下游回归决定系数(Down. \(R^2\))与供体侧插补误差(\(\mathrm{RMSE}^B\))。SB (Weak) 仅使用 \(n_C=50\) 个辅助三元组进行超参数验证,SB (Strong) 则采用大规模验证集。
| \(\sigma_{YZ}\) | 指标 Metric | NAIVE (CIA) | ORACLE | SB (Strong) | SB (Weak) | GO | Best MM |
|---|---|---|---|---|---|---|---|
| 0.9 | Down. \(R^2\) | \(0.255 \pm 0.008\) | \(0.730 \pm 0.013\) | \(0.725^\dagger \pm 0.014\) | \(0.723 \pm 0.013\) | \(0.697 \pm 0.019\) | \(0.264 \pm 0.009\) (MM5) |
| \(\mathrm{RMSE}^B\) | — | — | \(0.572 \pm 0.009\) | \(0.527 \pm 0.005\) | \(0.558 \pm 0.023\) | \(0.866 \pm 0.008\) (MM2) | |
| 0.7 | Down. \(R^2\) | \(0.256 \pm 0.010\) | \(0.485 \pm 0.009\) | \(0.452^\dagger \pm 0.008\) | \(0.441 \pm 0.009\) | \(0.371 \pm 0.064\) | \(0.261 \pm 0.008\) (MM3) |
| \(\mathrm{RMSE}^B\) | — | — | \(0.896 \pm 0.012\) | \(0.872 \pm 0.007\) | \(0.800 \pm 0.031\) | \(0.866 \pm 0.009\) (MM2) | |
| 0.5 | Down. \(R^2\) | \(0.259 \pm 0.004\) | \(0.331 \pm 0.008\) | \(0.265^\dagger \pm 0.009\) | \(0.238 \pm 0.016\) | \(0.080 \pm 0.097\) | \(0.260 \pm 0.007\) (MM2) |
| \(\mathrm{RMSE}^B\) | — | — | \(1.038 \pm 0.003\) | \(1.018 \pm 0.008\) | \(0.975 \pm 0.046\) | \(0.868 \pm 0.010\) (MM2) | |
| 0.3 | Down. \(R^2\) | \(0.260 \pm 0.006\) | \(0.262 \pm 0.007\) | \(0.207 \pm 0.010\) | \(0.209 \pm 0.010\) | \(-0.191 \pm 0.095\) | \(0.260 \pm 0.006\) (MM2) |
| \(\mathrm{RMSE}^B\) | — | — | \(1.099 \pm 0.001\) | \(1.096 \pm 0.010\) | \(1.110 \pm 0.044\) | \(0.867 \pm 0.009\) (MM2) |
在上表高相关区域(\(\sigma_{YZ}=0.9\) 与 \(0.7\))中,SB (Weak) 分别弥合了通往 ORACLE 差距的 98.5% 与 80.8%,而离散最优传输 GO 仅弥合 93.1% 与 50.2%;在低相关弱依赖区域(\(\sigma_{YZ} \le 0.5\)),由于变量本身缺乏可提取的残差关联,SB 表现与 NAIVE 相当,而 GO 发生严重负迁移崩塌至负值(\(-0.191\))。
2. 真实世界数据集评测(CelebA 与 Adult)¶
CelebA 使用 VAE 潜在向量作为 \(X\)、Attractive 属性作为 \(Y\)、5 维面部属性诱导的 32 态离散变量作为 \(Z\);Adult 预测高收入(>\(50K),\)Z$ 采用 K-Means 聚类的 32 态职业教育特征。下游模型与供体插补均采用 ROC-AUC 评估。
| 数据集 Dataset | 评估指标 Metric | NAIVE (CIA) | ORACLE | SB (Strong) | SB (Weak) | GO | Best MM |
|---|---|---|---|---|---|---|---|
| CelebA | Down. AUC | \(0.752 \pm 0.001\) | \(0.853 \pm 0.002\) | \(0.830^\dagger \pm 0.002\) | \(0.830 \pm 0.001\) | \(0.713 \pm 0.020\) | \(0.814 \pm 0.007\) (MM3) |
| \(\mathrm{AUC}^B\) | — | — | \(0.832^\dagger \pm 0.002\) | \(0.832 \pm 0.002\) | \(0.714 \pm 0.006\) | \(0.788 \pm 0.006\) (MM5) | |
| Adult | Down. AUC | \(0.834 \pm 0.002\) | \(0.888 \pm 0.002\) | \(0.845^\dagger \pm 0.002\) | \(0.844 \pm 0.004\) | \(0.516 \pm 0.039\) | \(0.841 \pm 0.003\) (MM3) |
| \(\mathrm{AUC}^B\) | — | — | \(0.843^\dagger \pm 0.001\) | \(0.843 \pm 0.001\) | \(0.507 \pm 0.015\) | \(0.813 \pm 0.004\) (MM1) |
在 CelebA 上,SB (Weak) 的下游与供体 AUC 均逼近 0.830,封闭了 77.2% 的理论增益空间;在 Adult 数据集上,GO 严重退化至接近随机猜测(Down. AUC 0.516),而 SB 稳定提升至 0.844,展现出优异的鲁棒泛化性能。
消融实验¶
针对残差非线性依赖建模能力,论文在 SYN1、SYN2、SYN3 三种回归机制中消融不同噪声水平 \(\sigma^2_{\mathrm{noise}}\) 与真实残差相关性 \(\rho_{\mathrm{noise}}\)。
| 设置 Config (\(\sigma^2_{\mathrm{noise}}, \rho_{\mathrm{noise}}\)) | 任务 Task | NAIVE | ORACLE | SB (Strong) | SB (Weak) | GO | Best MM |
|---|---|---|---|---|---|---|---|
| \((0.5, 0.9)\) | SYN1 (Linear) | \(0.907 \pm 0.001\) | \(0.948 \pm 0.004\) | \(0.948^\dagger \pm 0.004\) | \(0.944 \pm 0.004\) | \(0.776 \pm 0.027\) | \(0.908 \pm 0.001\) (MM2) |
| \((0.5, 0.9)\) | SYN2 (Nonlinear I) | \(0.821 \pm 0.004\) | \(0.937 \pm 0.005\) | \(0.930 \pm 0.005\) | \(0.930 \pm 0.005\) | \(0.361 \pm 0.042\) | \(0.657 \pm 0.013\) (MM1) |
| \((0.5, 0.9)\) | SYN3 (Nonlinear II) | \(0.713 \pm 0.002\) | \(0.881 \pm 0.007\) | \(0.879^\dagger \pm 0.007\) | \(0.875 \pm 0.007\) | \(0.598 \pm 0.042\) | \(0.716 \pm 0.010\) (MM3) |
| \((0.5, 0.6)\) | SYN2 (Nonlinear I) | \(0.821 \pm 0.003\) | \(0.872 \pm 0.002\) | \(0.861^\dagger \pm 0.003\) | \(0.854 \pm 0.001\) | \(0.232 \pm 0.043\) | \(0.641 \pm 0.008\) (MM1) |
| \((0.1, 0.9)\) | SYN2 (Nonlinear I) | \(0.958 \pm 0.001\) | \(0.980 \pm 0.002\) | \(0.978^\dagger \pm 0.002\) | \(0.969 \pm 0.001\) | \(0.445 \pm 0.040\) | \(0.759 \pm 0.008\) (MM1) |
消融数据表明:非线性越强(如 SYN2 与 SYN3)、残差相关性越高(\(\rho_{\mathrm{noise}}=0.9\)),协变量 \(X\) 对目标的解释力越受限,SB 的优势越发显著。在 SYN2 的强相关场景下,SB (Weak) 将决定系数从 NAIVE 的 0.821 跃升至 0.930,而 GO 崩溃至 0.361,表明条件残差代价与平滑正则项在复杂非线性拓扑下是不可或缺的。
关键发现¶
- 弱辅助样本即具高实用性:SB (Weak) 仅需 50 个验证三元组选定的 \(\lambda\) 值,在性能曲线上高度吻合基于万级样本选出的 SB (Strong),证明其超参数选择具有极强的样本效率。
- 潜在依赖强度决定匹配收益:当 \(Y\) 与 \(Z\) 之间存在实质性高阶关联(如 \(\rho > 0.6\) 或数据重编码场景)时,薛定谔桥能够近乎完全弥合通往全观测下界的性能差;反之在弱相关下则平滑退化至条件独立,避免了传统无正则化传输的负迁移。
亮点与洞察¶
- 范式革新:首次将依赖感知的薛定谔桥与熵正则最优传输引入预测性统计匹配,从根本上打破了制约该领域数十年的条件独立性理论枷锁。
- 理论完备:不仅建立了基于 KL 差异的下界信息增益判据,更在多元高斯体制下给出了精确联合分布重建的充要代数解。
- 算法优雅:通过重要性采样与密度比重构,将连续状态下的递归非线性积分方程巧妙转化为神经网络均方误差风险最小化,兼具统计鲁棒性与现代深度学习计算效率。
局限与展望¶
- 潜在历史偏差放大风险:在强制挖掘变量间潜在耦合的过程中,若边缘分布本身包含偏见或伪相关,可能在匹配样本中加剧歧视性偏差,需要针对敏感属性引入算法公平性审计。
- 高斯假设的理论边界:精确联合恢复保证目前局限于多元高斯情形,非高斯及复杂流形下的精确恢复理论条件仍是开放课题。
- 超参数调优的先验依赖:当前最优参数 \(\lambda\) 的选择依赖于小规模辅助标注集或方差先验,未来需要探索完全无假设自监督数据驱动的自适应定标准则。