Graph Distance Based on Cause-Effect Estimands with Latents¶
会议: NeurIPS 2026
arXiv: 2510.25037
领域: 因果推断
关键词: 因果发现评估、固定识别距离、有向无环混合图、隐变量混杂、因果效应估计
一句话总结¶
针对含未观测混杂因子的因果图评估难题,本文基于嵌套马尔可夫模型中的固定操作(fixing)与符号规范化规约,提出了首个面向有向无环混合图(ADMG)的因果效应估计量距离度量——固定识别距离(FID)。
研究背景与动机¶
因果发现(Causal Discovery)旨在从观测数据中学习变量间的因果图结构,近年来基于连续优化、变分推断、摊销推断及大语言模型的算法层出不穷,但学界普遍认为因果发现尚未迎来其“ImageNet时刻”。造成这一瓶颈的核心症结之一在于缺乏具有实际任务指导意义的评价指标。目前主流评估仍然广泛依赖结构汉明距离(SHD),仅机械地统计图结构的边差异(如边的增删或翻转)。然而,纯图结构编辑操作往往无法反映因果模型在核心下游任务中的真实偏差——尤其是在经济学、医学和政策决策最为关心的因果效应估计任务(Cause-Effect Estimation)上,微小的图编辑可能导致识别公式发生翻天覆地的改变,而某些看似显著的拓扑改动却可能保持效应估计量完全不变。
为了使图度量与因果效应估计任务对齐,Peters与Bühlmann曾提出结构干预距离(SID),统计因果图中错误推断干预分布的对数;随后Henckel等人提出了调整识别距离(AID),依据协变量调整策略评估因果可识别性一致性。然而,现有工作几乎全部局限于完全观测的无向/有向无环图(DAG/CPDAG)假设。在现实场景中,未观测混杂因子(Unobserved/Latent Confounders)普遍存在,这使得因果图拓展为含有向边与双向边的有向无环混合图(ADMG)。在存在隐变量时,因果效应的识别不再能通过简单的后门或父节点调整集予以判定,经典的Tian-Pearl ID算法也仅能给出潜在众多有效代数形式中的一种,无法用于校验两张图所推导出的估计量在统计上是否等价。
本文的切入点在于:借助嵌套马尔可夫模型中由Richardson等人提出的“固定操作”(Fixing Operations),系统性枚举ADMG上针对目标处理-结果变量对的所有有效因果识别算式,并通过计算机代数系统进行规范化化简与对齐校验。本文的核心 idea 是:将两张含隐变量因果图(ADMG)的距离定义为它们在所有干预效应识别量(Cause-Effect Estimands)上的归一化符号不一致率(Fixing Identification Distance, FID),通过枚举因子分解中的有效固定序列与规范化代数消元,构建首个忠实反映潜在混杂下因果推断下游误差的任务导向图预度量。
方法详解¶
整体框架¶
给定参考因果图 \(G\)(如真实因果图或领域专家先验)与候选因果图 \(H\)(如因果发现算法预测图),FID 的目标是量化在处理-结果对集合 \(\mathbf{S} \subseteq \{(T, Y) \in \mathbf{V} \times \mathbf{V} \mid T \neq Y\}\) 上,使用图 \(H\) 推导出的因果效应识别式在参考图 \(G\) 下仍保持一致的比例。
整个计算流程由三个核心阶段串联而成:首先,因果识别策略 \(\mathcal{I}\) 依据图结构对每个 \((T, Y)\) 判定效应 \(p(y \mid do(t))\) 的可识别性,并利用定理 1(Richardson et al., 2023)对约束子图 \(G(\mathbf{V})_{Y^*}\) 中的各个区域(Districts)遍历所有合法的变量固定序列(Fixing Sequences),输出潜在的多项代数估计式集合;接着,符号规范化规约模块 \(\mathcal{C}\) 对两张图产生的代数式应用条件概率展开、分式约简、边缘化消元与规范排序,消除因变量排列或代数形式变换造成的虚假冗余;最后,符号校验器 \(\mathcal{V}\) 计算候选图表达式集合在参考图中的覆盖度,给出平滑的错配比例,并在全图节点对集合上聚合求和,形成有向或对称形式的 FID 距离。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:参考图 G 与候选图 H (ADMG)<br/>及目标变量对集合 S"] --> B["基于固定操作的全集因果识别<br/>枚举各区域有效固定序列组合"]
B --> C["规则化符号规范化规约<br/>条件展开/分式消元/边缘化/字典序"]
C --> D["符号校验器与重叠率评估<br/>计算 1 - |E_G ∩ E_H| / |E_H|"]
D --> E["固定识别距离聚合与归一化<br/>输出单向 FID 与对称预度量 FID_sym"]
关键设计¶
1. 基于固定操作的全集因果识别:彻底突破调整集局限以覆盖隐变量混杂
在没有隐变量的 DAG 中,因果效应的识别通常退化为选取有效的后门调整集;但在含有未观测混杂的 ADMG 中,双向边编码了复杂的区域混杂关联,经典因果调整集定理不再完备。为了穷尽图中所蕴含的所有有效因果效应估计量,本文基于嵌套马尔可夫模型的固定操作建立识别算子 \(\mathcal{I}(G, T, Y)\)。对于任意非降序节点对,令 \(Y^* = \text{an}^{G(\mathbf{V})_{\mathbf{V}\setminus\{T\}}}_Y \cup \{Y\}\) 为移去处理节点 \(T\) 后在子图中的祖先集。当且仅当诱导子图的每个区域 \(\mathbf{D} \in \mathcal{D}(G(\mathbf{V})_{Y^*})\) 均为内蕴集(Intrinsic Set)时,效应可识别并分解为各区域固定因子的乘积积分: $$ p(y \mid do(t)) = \int \prod_{\mathbf{D} \in \mathcal{D}(G(\mathbf{V}){Y^*})} \phi}\setminus\mathbf{D}}(p(\mathbf{x\mathbf{V}); G) \, d\mathbf{x} $$ 由于将节点集 \(\mathbf{V}\setminus\mathbf{D}\) 进行固定(Fixing)时可能存在多种合法的固定序列 \(\mathbf{w} = (w_1, \dots, w_k)\),每种有效序列在概率核上均对应不同的逐次除法或边缘化操作(有后代节点除以非后代条件核,无后代节点直接边际化),但理论上在图的嵌套马尔可夫假设下均收敛至等价分布。识别策略 \(\mathcal{I}\) 遍历各区域所有合法固定序列的笛卡尔积,生成全套符号识别式候选集,从而避免了单路径算法(如标准 ID 算法)因固定启发式次序而造成的漏判。
2. 规则化符号规范化规约:消除组合膨胀带来的代数伪差异
由不同固定序列生成的代数式具有显著的语法差异(例如含有多层嵌套分式、不同积分顺序或未消掉的边缘项),若直接进行字面比对会导致距离严重虚高。规范化模块 \(\mathcal{C}\) 预设所有概率密度严格为正且绝对可积,通过基于规则的重写系统递归化简至最简正规形式: - 条件展开:将所有 \(P(A \mid B)\) 展开为联合分布比值 \(\frac{P(A, B)}{P(B)}\); - 分式展平与对消:将复分式 \(\frac{A/B}{C/D}\) 展平为 \(\frac{AD}{BC}\),并执行非零项约简 \(\frac{A \cdot B}{A \cdot C} \mapsto \frac{B}{C}\); - 平凡边缘消去:检测积分或求和项 \(\int_X P(\dots, X, \dots) \, dX \to P(\dots)\) 进行降维; - 规范字典序排序:对所有联合概率密度内部变量、积分变量及交换律乘积项引入确定性的全局字典序重排,并依托 SymPy 实现唯一因子化排列。 这一规范化流程确保了在概率公理下平凡等价的估计式被强行归约至相同的符号表示,从而极大地去重了每个变量对对应的估计式集合。
3. 容忍部分重叠的符号校验器与非对称距离度量:构建平滑反映估计质量的任务预度量
在获得规范化集合 \(E_G = \text{set}(\mathcal{C}(\mathcal{I}(G, T, Y)))\) 与 \(E_H = \text{set}(\mathcal{C}(\mathcal{I}(H, T, Y)))\) 后,符号校验器 \(\mathcal{V}\) 需要给出衡量两图分歧的分数。传统二值判定(完全相等或不相等)过于苛刻,无法区分“部分估计量成立”与“彻底无法识别”。校验器 \(\mathcal{V}\) 定义为候选图预测估计量在真实图中失配的比例: $$ \mathcal{V}(G, H; T, Y) = \begin{cases} 0, & \text{若 } E_G = \emptyset \text{ 且 } E_H = \emptyset \ 1, & \text{若 } E_G = \emptyset \text{ 且 } E_H \neq \emptyset \ 1, & \text{若 } E_H = {p(y)} \text{ 且 } E_G \neq {p(y)} \ 1 - \frac{|E_G \cap E_H|}{|E_H|}, & \text{其他情况} \end{cases} $$ 该设计本质上刻画了候选图 \(H\) 相对于真实图 \(G\) 的伪正类率(False-Positive Rate)。当 \(H\) 产生的部分估计式在 \(G\) 中依然合法时,校验器赋予平滑的重叠权重。将该误差在所有对 \((T, Y) \in \mathbf{S}\) 上聚合得到单向 FID 距离 \(d_{\mathcal{I}}(G, H; \mathbf{S}) = \sum_{(T,Y)\in\mathbf{S}} \mathcal{V}(G, H; T, Y)\) 及其均值归一化版本 \(\bar{d}_{\mathcal{I}}\)。为了适配无明确真值基准的场景,进一步引入对称化版本: $$ d_{\mathcal{I}}^{\text{sym}}(G_1, G_2; \mathbf{S}) = \frac{1}{2}\big(d_{\mathcal{I}}(G_1, G_2; \mathbf{S}) + d_{\mathcal{I}}(G_2, G_1; \mathbf{S})\big) $$ 数学上,FID 满足非负性且自距离为零,构成图空间上的预度量(Pre-metric),精准度量了下游因果推断结论的鲁棒性。
一个完整示例¶
考虑包含三个变量 \(X_1, X_2, X_3\) 的经典设定,评估处理 \(T = X_1\) 对结果 \(Y = X_3\) 的干预效应 \(p(x_3 \mid do(x_1))\): - 在参考图 \(G\) 中,存在结构 \(X_1 \to X_2 \to X_3\),且 \(X_1\) 与 \(X_2\) 之间存在未观测混杂导致的依赖关系;此时非后代祖先集 \(Y^* = \{X_2, X_3\}\)。固定算子分解出两个不同区域因子的乘积积分: $$ p(x_3 \mid do(x_1)) = \int \phi_{x_1, x_3}(p(\mathbf{x}\mathbf{V}; G)) \, \phi}(p(\mathbf{x\mathbf{V}; G)) \, dx_2 $$ - 在候选图 \(H\) 中,若算法错误地切断了部分关联,使得 \(Y^* = \{X_3\}\),则固定算子仅产生单项泛函: $$ p(x_3 \mid do(x_1)) = \phi; H)) $$ 在传统的 AID 框架中,若选取了某种总是强制调整 }(p(\mathbf{x}_\mathbf{V\(X_2\) 的调整策略,两图可能产出相同的积分形式 \(\int p(x_3 \mid x_1, x_2) p(x_2) dx_2\),从而测出距离为 0。然而在 FID 框架下,规范化规约能够精确识别出图 \(G\) 要求对混杂进行双因子固定联合积分解耦,而图 \(H\) 仅需单核边缘化,二者在马尔可夫分布下代数形式并不等价,从而被校验器判定为失配(距离为 1)。这生动表明 FID 能够敏锐捕捉到因果图因混杂假设差异而对下游估计量造成的实质性畸变。
损失函数 / 训练策略¶
本方法为确定性因果图距离度量算法,不涉及连续神经网络训练与梯度优化。计算的核心开销集中在符号代数规约与有效固定路径搜索上: - 理论复杂度:固定操作的因果识别基于 ID 算法,其在图的二元宽度(Binary Width)\(b\) 上具有指数复杂度 \(O(\text{poly}(n) \times 4^b)\);而遍历所有有效固定序列在最坏情况下达到阶乘量级 \(O((n/e)^n \sqrt{n})\)。二者叠加导致算法整体复杂度随图规模 \(n\) 呈超指数增长。 - CPDAG 等价类区间评估策略:针对马尔可夫等价类(CPDAG),因不同合法 DAG 方向延伸可能导致不同的识别式,本文采用区间度量 \(\mathrm{FID}^{\text{range}}_{\mathcal{I}}(\mathcal{C}_1, \mathcal{C}_2; \mathbf{S}) = [\underline{d}, \overline{d}]\)。在小图上直接精确枚举所有合法 DAG 延伸,在大图上通过均匀蒙特卡洛采样 \(B\) 个 DAG 计算极小与极大归一化距离。
实验关键数据¶
主实验¶
实验基于 Erdös–Rényi 设计生成 420 张含隐变量的 ADMG(节点数 \(n_{\text{vars}}=5\),有向边概率 \(p_{\text{dir}} \in [0.2, 0.8]\),双向边数量 \(n_{\text{bi}} \in \{1, 2, 3\}\))。通过对参考图 \(G\) 施加 \(k \in \{1, \dots, 5\}\) 次随机合法编辑生成候选图 \(H\)。
下表给出了在全数据集上汇聚所有实验设置后,7 种不同原子编辑类型对归一化单向距离 \(\bar{d}_{\mathcal{I}}\) 的平均冲击强度(Table 5):
| 编辑类型 (Edit Type) | 均值 \(\bar{d}_{\mathcal{I}}\) | 标准误 (Std. Error) | 因果语义影响解析 |
|---|---|---|---|
| 反转有向边 (reverse dir) | 0.3357 | 0.0048 | 同时改变祖先关系、破坏/新增 V-structure,严重逆转因果链条 |
| 双向边变有向边 (bi to dir) | 0.2288 | 0.0060 | 强行将潜在混杂指定为确定的因果方向,破坏可识别性 |
| 有向边变双向边 (dir to bi) | 0.1726 | 0.0049 | 抹除直接因果影响并引入潜在混杂,极大压缩可识别区间 |
| 删除双向边 (del bi) | 0.1531 | 0.0073 | 错误假设无混杂,长尾分布显著(在关键路径上破坏极大) |
| 增加双向边 (add bi) | 0.1526 | 0.0080 | 虚增混杂关联,导致本可识别的效应变为不可识别 |
| 增加有向边 (add dir) | 0.1376 | 0.0039 | 引入多余因果路径,增加固定链条中的调节负担 |
| 删除有向边 (del dir) | 0.1303 | 0.0037 | 阻断因果传递,效应直接退化为边际分布 \(p(y)\) |
在与现有图距离度量的相关性对比中(通过 Hu & Evans 算法将 ADMG 映射至马尔可夫等价 MAG): - vs. 结构汉明距离 (SHD):皮尔逊相关系数为 \(r = 0.820\)。尽管宏观上呈正相关,但在相同的 SHD 分箱内,FID 表现出巨大的方差,表明拓扑改变量相同的图在因果效应层面可能存在完全不同的后果。 - vs. 分离距离 (ZL-SD):皮尔逊相关系数仅为 \(r = 0.292\)。许多导致 m-分离集改变的编辑对固定识别式并无实质影响,散点图呈现大量垂直条带分布,证明 FID 与 SD 捕获了完全互补的正交图特征。
消融实验¶
为了精细分析图拓扑密度与原子编辑对距离的影响,下表呈现了在单编辑设置下,有向边密度与双向混杂边数量对前向距离 \(\bar{d}_{\mathcal{I}}(G, H)\) 的交互影响(摘录自 Table 1):
| 双向边数 \(n_{\text{bi}}\) | 有向边概率 \(p_{\text{dir}}\) | reverse dir | dir to bi | add dir | del dir | bi to dir | add bi | del bi |
|---|---|---|---|---|---|---|---|---|
| 1 | 0.2 | 0.3278 | 0.1556 | 0.1675 | 0.1722 | 0.1817 | 0.0875 | 0.0350 |
| 1 | 0.4 | 0.3550 | 0.1975 | 0.1625 | 0.1425 | 0.2500 | 0.1050 | 0.1200 |
| 1 | 0.6 | 0.3725 | 0.1950 | 0.1475 | 0.1588 | 0.2700 | 0.1988 | 0.2012 |
| 1 | 0.8 | 0.3625 | 0.2550 | 0.0861 | 0.1046 | 0.3137 | 0.2063 | 0.2975 |
| 2 | 0.3 | 0.3325 | 0.1750 | 0.1625 | 0.1500 | 0.1912 | 0.0700 | 0.0450 |
| 2 | 0.5 | 0.3962 | 0.1567 | 0.1425 | 0.1350 | 0.2537 | 0.1825 | 0.1779 |
| 2 | 0.7 | 0.3237 | 0.1450 | 0.1197 | 0.1137 | 0.2937 | 0.2075 | 0.2388 |
| 3 | 0.2 | 0.2800 | 0.1300 | 0.1400 | 0.1267 | 0.1700 | 0.0500 | 0.0900 |
| 3 | 0.5 | 0.3850 | 0.1550 | 0.1350 | 0.1488 | 0.2025 | 0.0825 | 0.1213 |
| 3 | 0.8 | 0.3050 | 0.1500 | 0.0763 | 0.0450 | 0.1450 | 0.2200 | 0.2025 |
同时,随着累计编辑次数 \(k\) 从 1 增加至 5,FID 呈现出单调递增态势(例如在 \(n_{\text{bi}}=1, p_{\text{dir}}=0.6\) 下,平均距离由 1 次编辑的 0.2206 单调上升至 5 次编辑的 0.5963)。
关键发现¶
- 编辑异质性极高:在传统 SHD 下代价完全相同的 1 次编辑,在 FID 下的惩罚差异高达近 10 倍(例如翻转有向边的平均损失 0.3357 远高于删除双向边的极端低位 0.0350)。翻转有向边对因果拓扑与因果效应可识别性的破坏最为致命。
- 双向边操作的长尾效应:增删双向边的平均 FID 相对温和,但其分布呈现厚尾特性。一旦编辑的双向边恰好处在关键混杂通路上,会导致原本可识别的干预泛函瞬间彻底变为不可识别。
- 与图密度的正向依赖:在稠密图(高 \(p_{\text{dir}}\))中,任何局部的结构编辑往往会波及更多的后代与祖先因果链条,因而造成的估计式畸变幅度显著高于稀疏图。
亮点与洞察¶
- 任务对齐的因果评测范式:将因果图距离从生硬的图结构编辑计次,升级为下游因果推断可信度的直接表征,为因果发现算法提供了以终为始的评测标尺。
- 利用固定操作解决多重识别式难题:巧妙地借助嵌套马尔可夫模型中的固定不变性,穷尽遍历合法固定序列并代数规约,首次攻克了半马尔可夫模型中因果估计量形式多样难以直接比对的理论死结。
- 可复用的符号规约与评估流水线:该套“枚举-展开-消元-字典序重排-集合重叠”的纯图符号评估机制,可天然无缝迁移至因果敏感性分析、专家先验图冲突消歧以及多干预/路径特异性效应度量中。
局限与展望¶
- 计算复杂度随规模超指数爆炸:算法组合遍历所有合法固定序列的开销高达 \(O((n/e)^n \sqrt{n})\),且依赖 SymPy 的符号代数化简,难以利用 GPU 硬件加速,目前仅适用于小规模图结构(\(n \approx 5 \sim 10\))。
- 规范化规约具备健全性但不具备完备性:代数化简能够识别平凡相等的式子,但对于某些受深层嵌套马尔可夫约束蕴含的非平凡等价式,纯代数规约可能无法合并,导致 FID 略微低估重叠集合(轻微偏大)。
- 未来改进方向:引入图论剪枝准则提前剔除冗余固定分支;结合 SMT(可满足性模理论)求解器实现完全等价性判定;扩展至多处理变量及中介分析中的路径特异性效应(Path-Specific Effects)。
相关工作与启发¶
- vs. Structural Hamming Distance (SHD):SHD 仅统计邻接矩阵中的差异边数,赋予所有边编辑相同的权重;FID 聚焦下游因果效应估计量的数学等价性,敏锐区分致命反转与非关键扰动。
- vs. SID (Peters & Bühlmann, 2015) 与 AID (Henckel et al., 2024):SID 与 AID 严格假设系统无隐变量(纯 DAG/CPDAG),依赖父节点或特定调整集;FID 推广至含未观测混杂的 ADMG,通过固定操作奠定了半马尔可夫因果图度量的基石。
- vs. ZL-SD (Wahl & Runge, 2025):分离距离(SD)统计 m-分离条件独立性的变化;FID 表明 m-分离集的改变与因果效应可识别性并非线性对应,两者相关性仅 0.292,互为因果图的不同正交维度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [首次提出面向含隐变量因果图(ADMG)的估计量对齐距离,填补了半马尔可夫图评估理论空白]
- 实验充分度: ⭐⭐⭐⭐☆ [设计了完备的图生成与扰动网格,深入剖析了编辑类型与拓扑密度的作用机制,但受限于复杂度缺乏大图实验]
- 写作质量: ⭐⭐⭐⭐⭐ [数学推导严密清晰,理论定义与算法流程自洽,背景与动机交代深刻透彻]
- 价值: ⭐⭐⭐⭐⭐ [为因果发现领域摆脱不具实际意义的 SHD 刷榜提供了关键工具,对因果推断稳健性评估具有深远意义]