Causal Learning with the Invariance Principle¶
会议: NeurIPS 2026
arXiv: 2605.13589
OpenReview: https://openreview.net/forum?id=uC8JCLIwIA
论文: https://arxiv.org/abs/2605.13589
领域: 因果推理
关键词: 因果发现, 不变性原理, 多环境, 独立成分分析, 反事实可辨识性
一句话总结¶
论文证明了在有向无环图和双射机制假设下，仅需两个辅助环境（自然实验）的不变性约束，即可辨识任意非线性结构因果模型的因果图与函数机制，并首次实现反事实层级的因果可辨识性。
研究背景与动机¶
从被动观测数据中推断因果关系的方向（因果发现）是因果推断领域的基础问题，也是进行干预效应预测和反事实推理的先决条件。然而，纯观测数据下的因果图辨识在本质上是病态的（ill-posed），因为多个不同的马尔可夫等价有向无环图（DAG）往往能够诱导出完全相同的联合观测分布。经典方法为了突破这一界限，不得不引入严苛的参数化假设，例如线性非高斯无环模型（LiNGAM）或非线性加性噪声模型（ANM/PNL）。这类假设在数学上等价于对混合函数雅可比矩阵施加极端的人为约束（如特征值全为 1），在实际复杂真实系统中极易被破坏。
近年来，利用不变性原理（Invariance Principle）从多环境分布偏移中恢复因果结构逐渐成为主流范式。但已有理论在放宽机制假设与减少环境需求之间面临尖锐的权衡瓶颈：要么要求辅助环境数量随着图节点规模 \(d\) 线性甚至多项式级扩展（如非线性 ICA 框架需要 \(\mathcal{O}(d)\) 个环境），这在现实自然实验（如跨地区政策变化、不同队列对照）中极难收集；要么在有限环境设定下仍然退化为高斯噪声或线性机制假设。
本文从结构因果模型与独立成分分析（ICA）的深层几何联系切入，发现此前研究忽略了因果模型内在的“无环拓扑”（即雅可比矩阵可三角化）对解空间的巨大约束能力。本文的核心 idea 是：将多环境视为自然实验中的对照组与处理组，证明只要结构因果模型满足可逆性与无环性，仅需两个辅助环境在各潜变量上产生非退化偏移，其对数密度差分的分量比值便能精确抵消非线性机制带来的体积项扭曲，进而通过无条件独立性测试逐层剥离汇节点（sink nodes）恢复完整因果序，并同步实现机制的非线性 ICA 辨识与反事实辨识。
方法详解¶
整体框架¶
本文的方法建立在结构因果模型（SCM）与独立成分分析（ICA）的等价表征之上。考虑由独立外生潜变量 \(\mathbf{S} \in \mathbb{R}^d\) 生成观测变量 \(\mathbf{X} \in \mathbb{R}^d\) 的双射变换 \(\mathbf{X} = \mathbf{f}(\mathbf{S})\)，其中 \(\mathbf{f}\) 是全局微分同胚（Assumption 1）。无环拓扑保证了存在置换矩阵 \(P\) 使得雅可比矩阵 \(P J_{\mathbf{f}} P^T\) 处处为下三角矩阵。系统包含一个基准环境 \(e=0\) 和至少两个辅助环境 \(e \in \{1, 2\}\)，外生噪声分布 \(p^e_{\mathbf{S}}(\mathbf{s}) = \prod_{i=1}^d p^e(s_i)\) 跨环境发生偏移，而因果机制 \(\mathbf{f}\) 保持严格不变。
算法以递归剥离汇节点为核心主线。在每一轮递归中，首先利用核岭回归（Stein 估计器）从各环境样本中估计观测空间得分函数 \(\nabla_{\mathbf{x}} \log p^e(\mathbf{x})\)；随后计算基准环境与辅助环境的得分差分 \(\Delta(0, 1, \mathbf{x})\) 和 \(\Delta(0, 2, \mathbf{x})\)；通过构建归一化差分统计量向量消去未知的非线性雅可比行列式体积项；利用希尔伯特-施密特独立性准则（HSIC）评估各候选变量统计量与其他变量的相互独立性，具有极小独立性统计量（对应最大独立性 \(p\) 值）的节点被判定为汇节点；将该汇节点记录入因果拓扑序后从候选集合中剔除，并在子图上递归重复该过程，直至所有变量排序完成。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多环境观测数据<br/>基准环境 e=0 与两个辅助环境 e=1, 2"] --> B["环境得分函数估计<br/>Stein 估计器计算观测边际对数梯度"]
B --> C["跨环境对数几率梯度差分<br/>构造一阶差分抵消雅可比体积项"]
C --> D["归一化差分方向统计量<br/>构建环境比值向量表征外生噪声"]
D --> E["HSIC 独立性检验与汇节点辨识<br/>检验各变量统计量与剩余变量独立性"]
E --> F["递归因果序构建与图恢复<br/>记录汇节点并剔除，递归至集合为空"]
F --> G["反事实推断与机制辨识<br/>外生变量逆变换标定与反事实外推"]关键设计¶
1. 得分差分对齐与雅可比对数行列式体积项消除：消除非线性微分同胚的未知体积畸变
在非线性变量代换公式下，观测分布的得分函数（即对数边际密度的梯度）不仅包含潜变量得分在逆雅可比矩阵下的线性投影，还会混入由空间曲率引入的雅可比行列式对数梯度项 \(\nabla \log |J_{\mathbf{f}^{-1}}(\mathbf{x})|\)。传统单环境方法极难将该项与潜变量得分分离。本文的关键机制在于，因果机制 \(\mathbf{f}\) 在所有环境中严格不变，因而该体积项在基准环境 \(e=0\) 与任意辅助环境 \(e \in \{1, 2\}\) 间完全相同。通过定义跨环境得分差分：
$\(\Delta(0, e, \mathbf{x}) := \nabla \left( \log p^0(\mathbf{x}) - \log p^e(\mathbf{x}) \right) = J_{\mathbf{f}^{-1}}^T(\mathbf{x}) \nabla \left( \log p^0(\mathbf{s}) - \log p^e(\mathbf{s}) \right)\)$
体积项被完全代数抵消，将高度非线性的密度几何变换退化为由确定性逆雅可比转置矩阵 \(J_{\mathbf{f}^{-1}}^T(\mathbf{x})\) 驱动的纯线性代数关系。
2. 雅可比乘子比值消去与汇节点单变量隔离：实现汇节点充要判定判据
即使得分差分消除了体积项，展开后的第 \(i\) 个分量仍包含了雅可比偏导项 \(\partial_{x_i} s_j\) 与潜变量差分的乘积求和。当节点 \(X_i\) 是当前因果子图中的汇节点时，根据拓扑定义它在后续没有后代节点，其在 \(J_{\mathbf{f}^{-1}}\) 中对应的第 \(i\) 列除了对角元 \(\partial_{x_i} s_i\) 外其余全为 0。此时得分差分急剧简化为单项乘积 \(\Delta(0, e, \mathbf{x})_i = \partial_{x_i} s_i \cdot \partial_{s_i} (\log p^0(s_i) - \log p^e(s_i))\)。本文构造两个辅助环境相对基准环境差分的比值统计量：
$\(R_i(\mathbf{s}) := \frac{\Delta(0, 1, \mathbf{f}(\mathbf{s}))_i}{\Delta(0, 2, \mathbf{f}(\mathbf{s}))_i} = \frac{\partial_{s_i} \left( \log p^0(s_i) - \log p^1(s_i) \right)}{\partial_{s_i} \left( \log p^0(s_i) - \log p^2(s_i) \right)}\)$
由于标量乘子 \(\partial_{x_i} s_i\) 在环境中保持不变，分子分母中的雅可比项被完全消去，使得 \(R_i\) 蜕化为仅依赖于单一外生噪声 \(S_i\) 的函数 \(g_i(S_i)\)。由于 \(X_i\) 是汇节点，剩余所有变量 \(\mathbf{X}_{-i}\) 仅由其余噪声 \(\mathbf{S}_{-i}\) 决定。借助外生源的相互独立性与忠实性假设（Assumption 2），导出核心等价条件：\(X_i \text{ 是汇节点} \iff R_i \perp \mathbf{X}_{-i}\)。反之，若 \(X_i\) 不是汇节点，充分变异性假设（Assumption 3）确保了一阶差分与二阶导数不共线，\(R_i\) 必然耦合其他后代外生源，从而破坏独立性。
3. 数值稳定归一化向量与基于 HSIC 的递归剥离算法（MCD）：保证有限样本统计鲁棒性
直接计算标量比值 \(R_i\) 在分母 \(\Delta(0, 2, \mathbf{x})_i\) 接近零的样本点处会出现严重的数值爆炸与奇异性。为此，算法 MCD 将标量比值替换为单位球上的二维方向统计量：定义向量 \(\mathbf{U}_i = (\Delta(0, 1, \mathbf{x})_i, \Delta(0, 2, \mathbf{x})_i)\) 并进行 \(L_2\) 归一化 \(\mathbf{U}_i / \|\mathbf{U}_i\|\)。该方向向量与原比值包含完全相同的代数代数自由度，但在数值上全局有界稳定。算法随后调用希尔伯特-施密特独立性准则（HSIC）计算各活跃变量 \(i \in \mathcal{A}\) 的独立性检验统计量，选取独立性最高（HSIC \(p\) 值最大或统计量极小）的节点作为估计的汇节点 \(\hat{s}\)，将其置于因果拓扑序的前端并从活跃变量集 \(\mathcal{A}\) 中移除，实现 \(\mathcal{O}(d)\) 轮步步收敛的非参数因果序重构。
4. 三角单调分解与反事实层级推断可辨识性：从拓扑序到完备因果机制推断的跨越
确定因果图的拓扑偏序后，雅可比矩阵 \(J_{\mathbf{f}}\) 处处具备三角结构。在连通定义域和双射假设下，本文通过数学归纳法证明了任意与观测及两个辅助环境相容的候选因果机制 \(\hat{\mathbf{f}}\)，必然与真实机制 \(\mathbf{f}\) 仅相差逐元素的单调可逆重参数化变换 \(\hat{S}_i = h_i(S_i)\)。这意味着因果机制在非线性 ICA 意义下完全可辨识。更重要的是，在 Pearl 的三级因果阶梯中，反事实推断（Abduction-Action-Prediction）依赖于外生噪声的具体取值。对于观测事实 \(\mathbf{x}\)，逆解出的潜变量满足 \(h_i^{-1}(\hat{s}_i) = s_i\)，任何单调重参数化在反事实外生变量外推时被完全等价抵消，从而证明仅需两个辅助环境即可保证任意硬干预下的反事实预测具有独一无二的真实确定性。
损失函数 / 训练策略¶
MCD 算法在有限样本下的核心统计步骤由非参数估计器支撑，无需端到端反向传播训练大模型： 1. 得分函数估计：采用基于三阶平滑可微核（如 Gaussian RBF 核）的 Stein 估计器求解核岭回归，正则化惩罚超参数设定为 \(\ell_2 = 0.001\)。其计算复杂度为 \(\mathcal{O}(\mathcal{E} d n^3)\)，其中 \(\mathcal{E}\) 为环境数（\(\mathcal{E}=3\)），\(d\) 为节点数，\(n\) 为各环境样本量。 2. 非参数独立性度量：采用 HSIC 检验统计量，单次计算复杂度为 \(\mathcal{O}(n^2 d)\)。全流程总时间复杂度为 \(\mathcal{O}(\mathcal{E} d n^3 + d^2 n^2)\)。
实验关键数据¶
主实验¶
实验在合成的 Erdös-Rényi 随机有向无环图上展开，节点规模分别为 \(d \in \{3, 5, 10, 20\}\)，边连接概率分别对应 \(\{0.8, 0.5, 0.25, 0.25\}\)。因果机制以等概率随机采样为线性变换或由 4 层残差神经网络（ResNet，tanh 激活函数）构成的强非线性函数；外生变量服从跨环境高斯偏移（均值在 \([-2, 2]\)、标准差在 \([0.5, 4]\) 随机采样）。各环境样本量均为 \(n=3000\)。评价指标采用归一化拓扑排序分歧度 \(D_{\text{top}}\)（越低越好，范围 \([0, 1]\)，随机猜测期望值为 0.5）。主实验在 20 个随机种子下与经典观测因果发现方法进行对比（全环境数据合并作为输入）：
| 数据集 / 拓扑规模 | 评估指标 (\(D_{\text{top}} \downarrow\)) | 本文 (MCD, 3环境) | 随机基线 (Random) | CAM / RESIT / LiNGAM / NoGAM | 性能优势 |
|---|---|---|---|---|---|
| ER-3 节点 (极度非线性/线性混合) | 归一化 \(D_{\text{top}}\) | 0.08 ± 0.03 | 0.50 | 0.48 ~ 0.52 | 接近完美排序，远超基线 |
| ER-5 节点 (极度非线性/线性混合) | 归一化 \(D_{\text{top}}\) | 0.16 ± 0.04 | 0.50 | 0.47 ~ 0.53 | 相比纯观测 SOTA 下降 ~68% 误差 |
| ER-10 节点 (极度非线性/线性混合) | 归一化 \(D_{\text{top}}\) | 0.24 ± 0.04 | 0.50 | 0.49 ~ 0.51 | 统计显著优于所有对比基线 |
| ER-20 节点 (极度非线性/线性混合) | 归一化 \(D_{\text{top}}\) | 0.31 ± 0.03 | 0.50 | 0.48 ~ 0.52 | 复杂大图仍维持强辨识能力 |
消融实验¶
论文围绕“机制类型”、“环境数量”及“样本统计效率”三个核心维度展开了系统的消融与验证分析：
| 实验配置 / 变体 | 核心指标 (归一化 \(D_{\text{top}} \downarrow\)) | 说明与关键结论 |
|---|---|---|
| 纯线性高斯机制 (\(d=10, E=3, n=3000\)) | 0.22 ± 0.04 | 观测下完全不可辨识的经典退化情形，MCD 精确恢复拓扑 |
| 纯非线性 ResNet 机制 (\(d=10, E=3, n=3000\)) | 0.23 ± 0.04 | 机制非线性并未对辨识准确率带来任何显著劣化，与理论一致 |
| 辅助环境数 \(E=2\) (总环境数 3) | 0.23 ± 0.04 | 理论最低充分环境数，表现完全收敛 |
| 辅助环境数 \(E=4\) (总环境数 5) | 0.22 ± 0.03 | 额外环境收益边际递减，无统计显著差异 |
| 辅助环境数 \(E=6\) (总环境数 7) | 0.21 ± 0.03 | 证实“3 个环境足够”，无需随图维度增加环境数 |
| 样本规模 \(n=1000\) (\(d=10, E=3\)) | 0.38 ± 0.05 | 有限样本下仍显著优于随机基线 (0.50) |
| 样本规模 \(n=2000\) (\(d=10, E=3\)) | 0.25 ± 0.04 | 样本效率在 2000 处快速收敛，后续增益平缓 |
关键发现¶
- 非线性鲁棒性极高：在机制由纯线性变为深度神经网络非线性时，MCD 的因果拓扑重构精度未发生统计学显著波动，证明基于得分差分消除雅可比体积项的理论具有严格普适性。
- 环境扩展边界收敛：实证结果严格吻合定理 1 的理论预测，当提供 3 个环境（1 个基准 + 2 个辅助）时因果序辨识已基本达到理论上限，继续堆叠至 5 或 7 个环境仅带来极轻微的有限样本方差缩减。
- 单环境方法的根本性失效：CAM、RESIT、LiNGAM 与 NoGAM 等依赖单环境加性噪声假设的方法在面临混合分布与未知非线性映射时，平均 \(D_{\text{top}}\) 均徘徊在 0.5 附近，彻底退化为随机猜测。
亮点与洞察¶
- 将多环境因果推断需求压缩至常数常态：此前非线性 ICA 与多环境因果发现理论普遍要求辅助环境数随节点维度 \(\mathcal{O}(d)\) 线性扩张，本文首次证明在无环拓扑下仅需 2 个辅助环境（总计 3 个自然实验环境）即可完全辨识任意非线性 SCM。
- 得分差分比值的巧妙消元机制：利用跨环境因果机制不变性，通过一阶对数密度差分同时消除了非线性变换的雅可比行列式对数导数项，再通过比值消去雅可比偏导乘子，精准抽取出纯粹外生变量的几何投影。
- 连接因果发现与反事实辨识：填补了因果序恢复与潜在结果外延预测之间的理论鸿沟，证明无环结构能将因果可辨识性顺畅升华至非线性 ICA 辨识与反事实一致性。
局限与展望¶
- 潜变量全域偏移假设：理论依赖于 Assumption 3，即假设所有潜变量在两个辅助环境中均发生了非平凡的分布偏移；在实际大规模图系统中，部分节点可能未受到自然实验的扰动。
- 因果充分性限制：目前理论建立在无未观测混杂变量（no unobserved confounders）的前提下，存在隐藏混杂时的部分等价类界定仍需拓展。
- 有限样本下的核方法扩展瓶颈：MCD 算法中采用的 Stein 得分估计与核岭回归在样本规模 \(n\) 上呈现立方级时间复杂度 \(\mathcal{O}(n^3)\)，未来需引入参数化神经网络得分匹配或随机特征加速方案。
相关工作与启发¶
- vs Bühlmann et al. (CAM) / Peters et al. (RESIT)：此类单环境方法依赖加性噪声模型（ANM）且对噪声非高斯性极度敏感；本文放宽至任意非线性微分同胚与非对称/高斯分布，仅需借助 2 个辅助环境。
- vs Monti et al. (2020) / Reizinger et al. (2023)：先前基于非线性 ICA 的因果发现工作要求环境数至少为 \(\mathcal{O}(d)\) 且在高维图上计算崩塌；本文利用无环先验将环境需求骤降至常数 2，且成功扩展至 20 节点图。
- vs Peters et al. (2015) (ICP)：不变因果预测（ICP）仅能局部辨识目标变量的直接父节点，且局限于线性加性设定；本文在全局意义下给出了完整因果图、机制和反事实预测的辨识保证。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ (打破非线性多环境因果发现需要 \(\mathcal{O}(d)\) 环境的传统认知，给出 2 个辅助环境即可辨识的理论上界)
- 实验充分度: ⭐⭐⭐⭐☆ (合成图多尺度、机制消融与环境消融细致完备，但缺乏真实世界多环境观测基准)
- 写作质量: ⭐⭐⭐⭐⭐ (数学证明推导严谨清晰，从双变量直觉案例到通用高维定理层层推进)
- 价值: ⭐⭐⭐⭐⭐ (为观测数据下的自然实验与反事实推理奠定了极其坚实的现代非参数统计理论基石)