PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data¶
会议: NeurIPS 2026
arXiv: 2605.04838
OpenReview: https://openreview.net/forum?id=699aXIZ0uv
代码: 待开源（论文承诺公开代码并兼容 causal-learn）
领域: 因果推理
关键词: 条件独立性检验、因果发现、多重插补、缺失数据、配对置换检验
一句话总结¶
针对含缺失值因果发现中“先插补后检验”导致的严重假阳性失准，提出结合多重插补与配对置换交叉验证的非参数条件独立检验方法 PAIR-CI，通过让全模型与剔除候选变量的局部模型在同一插补集上对比以抵消残差偏差，并首次在理论上统合交叉验证与 Rubin 规则方差估计。
研究背景与动机¶
条件独立性（CI）检验是 PC、FCI 等基于约束的因果发现算法的核心引擎。然而在真实科学数据集中，条件集变量常伴随缺失值。传统应对方案存在显著弊端：全案例分析（Complete-Case）与单次检验删除（Test-Wise Deletion）会丢弃大量样本，导致不同测试步骤的有效样本量不断波动，且在非完全随机缺失（MAR 或 MNAR）下容易引入严重的样本选择偏差；而“先插补后检验”（Impute-first, test-second）的标准范式，在面对非随机缺失（MNAR）或非线性函数形式误设时，插补残差偏差会直接在条件集残余中诱发伪条件相关。
现有方法在理论与实践中的核心矛盾在于：渐近一致的 CI 检验在面对带偏差的插补数据时具有“过强敏感性”。正如论文在理论分析（命题 1）中所证明的，只要插补模型存在渐近误设且插补误差激活了潜伏关联，任何一致的 CI 检验都会以趋近于 1 的概率错误拒绝真实的独立性零假设。这种误判会使 PC 算法骨架阶段引入大量虚假边，并通过 Meek 规则在定向阶段连锁放大，彻底破坏推断图的可靠性。
本文的切入角度是打破“插补与检验割裂”的单向链条，将多重插补内化到统计推断过程中，让比较双方受到完全对称的插补噪声冲击。核心 idea：通过构建配对置换架构，比较包含与排除候选变量的两个交叉验证模型，在同一插补条件集下迫使插补误差在样本外损失差中自相对消，并统一交叉验证与多重插补的方差估计以实现严谨渐近校准。
方法详解¶
整体框架¶
PAIR-CI 将多重插补（MI）、\(K\) 折交叉验证（CV）以及条件置换（Conditional Permutation）熔炼为一个连贯的检验流程。对于给定的变量检验 \(Z \perp\!\!\!\perp Y \mid \mathbf{X}\)（其中条件集 \(\mathbf{X}\) 含缺失值）：首先通过多重插补生成 \(M\) 份完整数据集；在每份数据集上进行 \(K\) 折交叉验证，分别训练包含 \(Y\) 的“全模型”以及用条件置换伪变量 \(U\) 替代 \(Y\) 的“局部模型”；随后计算两模型在留出验证集上的损失差，并跨折和跨插补集聚合；最后利用整合了折叠重叠依赖与插补间方差的统合方差估计器构建检验统计量并查表得出 p 值。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["含缺失输入数据 D<br/>待检验 Z ⟂⟂ Y | X"] --> B["多重插补与缓存<br/>生成 M 份完整数据集"]
B --> C["配对置换与模型训练<br/>全模型 (X, Y) 针对局部模型 (X, U)"]
C --> D["样本外损失差计算<br/>验证集损失相减抵消插补偏差"]
D --> E["统合方差估计与检验<br/>Bayle CV 方差嵌套进入 Rubin 规则"]
E --> F["输出校准 p 值<br/>驱动 PC 算法骨架修剪与定向"]关键设计¶
1. 配对置换与安慰剂设计：消除插补偏差并平衡正则化 传统置换或回归测试若直接把插补后的 \(\hat{\mathbf{X}}\) 作为输入，插补残差 \(\delta = \mathbf{X}_{\text{miss}} - \hat{\mathbf{X}}_{\text{miss}}\) 会泄露虚假信号。PAIR-CI 在每个训练折内，利用在 \(\hat{\mathbf{X}}\) 空间内的 \(k_{\text{nn}}\) 近邻条件置换构造 \(Y\) 的安慰剂列 \(U\)。邻域大小设为理论极大极小最优带宽 \(k_{\text{nn}} = \max(2, \lfloor n^{2/(d+2)} \rfloor)\)，其中 \(d = |\mathbf{X}|\)。条件置换打破了 \(Y\) 与 \(Z \mid \mathbf{X}\) 的关联，同时严格保留了 \(Y\) 与 \(\hat{\mathbf{X}}\) 之间的边缘依赖。将全模型 \(\hat{g}^{ZY}(\hat{\mathbf{X}}, Y) \to Z\) 与局部模型 \(\hat{g}^{ZU}(\hat{\mathbf{X}}, U) \to Z\) 均输入相同数量的特征，既保持了有限样本下树模型的正则化和特征随机采样对称性，又因两模型输入完全相同的 \(\hat{\mathbf{X}}\)，使得插补噪声对两者的干扰完全一致。在样本外损失差 \(\hat{\mu}_{km} = \ell(\hat{g}^{ZU}_{km}) - \ell(\hat{g}^{ZY}_{km})\) 中，共享的插补误差自然相消。
2. 预先插补缓存机制：兼顾计算效率与 MNAR 稳健性 在 PC 算法中逐次检验需要评估 \(O(p^2)\) 个分离集，若每次检验都针对 \(\mathbf{X}\) 重新运行耗时的多重插补（Per-query），整体计算量难以承受。PAIR-CI 提出在前置阶段对全量数据执行一次多重插补并缓存 \(M\) 份完整数据集，后续 CI 测试直接从中切片提取。理论分析（偏差分解 8）指出，MNAR 下的残差偏差 \(\kappa\) 受到插补误差幅度 \(\kappa_{\text{imp}}\) 与测试变量残余相关系数 \(\kappa_Y, \kappa_Z\) 的乘积约束；在缓存插补模型中将 \(Z\) 与 \(Y\) 共同纳入预测，反常识地让测试变量关于缺失分量的信息被条件集 \(\hat{\mathbf{X}}\) 吸收，使得 \(\kappa_Y\) 与 \(\kappa_Z\) 逼近 0，从而有效抑制非随机缺失带来的偏差膨胀。实验证明缓存策略与逐次插补的判定一致率高达 96.0%–97.1%，同时将运行速度提升数个数量级。
3. 交叉验证与多重插补的统合方差估计器：解决多源依赖 PAIR-CI 统计量 \(\hat{\mu} = (KM)^{-1} \sum_k \sum_m \hat{\mu}_{km}\) 面临双重统计相关：一是交叉验证中不同折由于共享训练样本带来的正相关；二是不同插补数据集之间的多重插补波动。直接采用朴素样本方差会导致严重失准。论文创新性地将 Bayle 等人（2020）证明渐近一致的单数据集内交叉验证方差估计 \(\bar{W}\) 嵌套进 Rubin（1987）规则中，总方差估计为： $\(T = \bar{W} + \left(1 + \frac{1}{M}\right) B\)$ 其中 \(\bar{W} = M^{-1} \sum_m n^{-1} K^{-1} \sum_k \hat{\sigma}^2_{k,m}\) 衡量折内预测噪声，而 \(B = (M-1)^{-1} \sum_m (\hat{\mu}_m - \hat{\mu})^2\) 衡量跨插补波动。定理 4 证明了在半参数均值回归框架下，检验统计量 \(t_{\text{CI}} = \hat{\mu} / \sqrt{T}\) 渐近收敛于标准正态分布，并通过 Barnard-Rubin 小样本自由度调整修正自由度 \(\nu\)。该统计量使 PAIR-CI 在 \(K=10\) 折交叉验证下无需牺牲假阳性率，同时显著提升统计功效。
损失函数 / 训练策略¶
对于目标变量 \(Z\) 的预测损失 \(\ell\)：若 \(Z\) 为离散型（独特取值 \(\le 20\)），使用二元交叉熵损失；若为连续型，则使用均方误差（MSE）。基层学习器默认采用随机森林（Random Forest），因其具备泛化稳定性和通用一致性；针对大规模图（\(p \ge 20\)），切换为 ExtraTrees 分类/回归器，并在两轮插补后若 \(t\) 统计量已超过 4.0 则触发早停，大幅压缩大规模 PC 算法的检验开销。
实验关键数据¶
主实验¶
在单点条件独立性检验校准实验中，检验在零假设 \(H_0\)（真实信号强度为 0）下的平均假阳性拒绝率（标称显著性水平 \(\alpha = 0.05\)），对比 4 种样本量（500、1000、2000、5000）与 3 种数据生成机制（线性高斯、后非线性、隐变量混杂）：
| 方法 | 完整数据（Control） | 随机缺失（MAR） | 非随机缺失（MNAR） | 说明 |
|---|---|---|---|---|
| PAIR-CI（本文） | 0.018 | 0.021 | 0.036 | 全场景拒绝率均 \(\le 4\%\)，严格校准 |
| FZ-single | 0.050 | 0.155 | 0.350 | 单次插补在 MNAR 下严重误判 |
| FZ-Rubin | 0.049 | 0.113 | 0.282 | 经典 Rubin 池化无法解决非线性/MNAR 偏差 |
| GCM (Imputed) | 0.215 | 0.313 | 0.415 | 在完整数据与插补数据上均失准 |
| KCI (Imputed) | 0.278 | 0.340 | 0.447 | 核方法在插补数据上假阳性膨胀高达 45% |
在因果图结构恢复评测中，针对不同变量规模 \(p \in \{10, 20, 30\}\) 的随机 Erdős–Rényi 图（\(n=1000\), 30% 缺失率），对比总结构汉明距离 Total SHD 及骨架汉明距离 Skeleton SHD（括号内所示）：
| 数据分布 | 变量规模 | PAIR-CI（本文） | Complete Case | Test-Wise | FZ-Rubin | FZ-vote |
|---|---|---|---|---|---|---|
| 非线性 (Nonlinear) | \(p=10\) | 11 (7) | 12 (7) | 12 (7) | 12 (8) | 13 (8) |
| 非线性 (Nonlinear) | \(p=20\) | 35 (23) | 40 (27) | 40 (25) | 41 (27) | 43 (27) |
| 非线性 (Nonlinear) | \(p=30\) | 58 (38) | 68 (50) | 68 (44) | 73 (47) | 75 (48) |
| 线性高斯 (Linear) | \(p=10\) | 6 (1) | 6 (2) | 6 (2) | 7 (2) | 7 (3) |
| 线性高斯 (Linear) | \(p=20\) | 31 (14) | 33 (17) | 32 (15) | 32 (15) | 33 (15) |
| 线性高斯 (Linear) | \(p=30\) | 53 (28) | 61 (36) | 58 (29) | 60 (29) | 60 (29) |
在真实大规模网络拓扑测试中（20% 缺失率）： - ALARM 网络（\(p=37\), 46 条边，线性高斯）：PAIR-CI 达到中位数 SHD 22.5–24.0，显著领先 Test-Wise（33.0–34.0）与 FZ-Rubin（30.5–35.0）。 - HAILFINDER 气象网络（\(p=56\), 66 条边，非线性结构）：PAIR-CI 中位数 SHD 为 62.5–65.5（骨架 F1 保持 \(\ge 0.56\)），而 Test-Wise 高达 103.5–112.5，FZ-Rubin 达 120.0–121.0。Complete-case 虽然报出看似较低的 SHD 66.0，但其中位数 F1 精确为 0.000（即“弃权式胜利”，骨架完全为空）。
消融实验¶
针对超参数敏感性与组件配置在非线性 \(p=10\) 图上的消融分析：
| 配置 | SHD (IQR) | 骨架 F1 | 运行时间 | 说明 |
|---|---|---|---|---|
| Default (\(M=5, K=5\), 树深 \(\ge 5\), 100树) | 10 (8–11) | 0.706 | 139s | 基准配置，兼顾质量与计算速度 |
| \(M=3\) | 10 (8–11) | 0.700 | 91s | 插补次数降至 3 对 SHD 影响微弱 |
| \(M=10\) | 10 (8–11) | 0.720 | 256s | 仅带来 1.4% 的微弱 F1 增益但耗时翻倍 |
| \(K=3\) | 10 (8–12) | 0.706 | 82s | 折数减少表现平稳 |
| \(K=10\) (General 变体) | 10 (8–12) | 0.706 | 276s | Bayle 修正吸收了折叠相关惩罚 |
弱正则化 (min_samples_leaf=1) |
11 (9–13) | 0.571 | 140s | 单叶样本过拟合造成折间方差膨胀，显著掉点 |
关键发现¶
- 假阳性控制是因果图规模化的命门：在小图（\(p=10\)）上各基线差距尚小，但随着变量规模增至 \(p=30\) 与 \(p=56\)，基于 Fisher's Z 的方法假阳性错误在定向时被 Meek 规则级联放大，导致 SHD 呈现灾难性上升；而 PAIR-CI 的精确校准使其优势随图规模单调扩大。
- 完全删除法的“虚假繁荣”：完全案例分析（Complete Case）在严重缺失时因为样本量锐减，倾向于几乎不声明任何独立性违背，产出极度稀疏甚至空白的网络，从而产生“SHD 低但 F1 崩塌为 0”的假象。
- 统合方差估计的必要性：将 Bayle 理论引入多重插补有效避免了朴素方差低估的问题，使得测试统计量在有限样本下依然保持低于 5% 的假阳性。
亮点与洞察¶
- “误差对消”优于“单点修正”：与其试图构建理论上不可能完美无偏的非随机缺失插补器，不如构造对称的双流预测架构，让同样的插补缺陷同时污染全模型与局部模型，从而在求差时被动对消。
- 统合两套统计推断体系：首次在数学上架起机器学习交叉验证置信区间（Bayle et al., 2020）与多重插补合并理论（Rubin's Rules）之间的桥梁，为含有缺失值的不确定性推断提供了普适框架。
- 缓存插补的反直觉红利：在全图预插补中保留后续待测变量，不仅降低了计算复杂度，反而通过吸收相关性进一步压低了 MNAR 下的残差偏差。
局限与展望¶
- 弱信号与小样本下的统计功效略逊：作为非参数方法，且受制于 Barnard-Rubin 有限插补自由度调整带来的厚尾性，在小样本和微弱信号（Signal \(\le 0.3\)）下检验功效偏保守，可能产生漏边。
- 因果充分性假设依赖：当前流程建立在无未观测隐变量假设下；尽管理论上 PAIR-CI 可作为 FCI 算法的 oracle，但在高维混杂场景下的扩展仍需深入检验。
- 对强系统性偏差插补的脆弱性：配对对消机制依赖于插补残差的随机波动性；若采用均值填充或边际填充等严重方向性系统偏差的插补方法，对消机制将失效。
相关工作与启发¶
- vs FZ-Rubin (Witte et al., 2022)：FZ-Rubin 是此前处理缺失因果发现的标杆，基于正态假设与线性偏相关进行 Rubin 合并。然而其显式排除了 MNAR 场景，在非线性或非随机缺失下假阳性膨胀至 28%–40%；PAIR-CI 摆脱了线性高斯假设，在非线性与 MNAR 下均实现 \(\le 4\%\) 的精确校准。
- vs Test-Wise Deletion (Tu et al., 2019)：Test-Wise 仅保留各检验涉及变量的完整案例，牺牲了统计功效并诱发选择偏差；PAIR-CI 充分利用全量插补样本，高维下 F1 优势明显。
- vs MissDAG (Gao et al., 2022)：MissDAG 是基于得分的联合学习方法，在线性高斯假设满足时表现亮眼，但在非线性机制下召回率极低（\(p=30\) 时仅 0.26）；PAIR-CI 作为约束式非参数方法在非线性结构恢复上更具通用性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出配对置换以抵消插补残差，并首创将交叉验证与 Rubin 规则进行方差统合。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖理论证明、3 种机制的单点检验、Erdős–Rényi 图多尺度评测以及 ALARM/HAILFINDER 真实网络。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，理论推导与经验直觉互相印证，问题定位极其深刻。
- 价值: ⭐⭐⭐⭐⭐ 解决了约束式因果发现应用落地中缺失数据导致假阳性爆炸的经典痛点，为统计学与因果学习带来重要工具。