Missing Data and Cluster Graphs: Cluster-Level Missingness vs Variable-Level Missingness¶

会议: NeurIPS 2026
arXiv: 2605.20943
OpenReview: https://openreview.net/forum?id=ba7kfTovXS
领域: 其他
关键词: 缺失数据可恢复性, 聚类图, 因果抽象, do演算, 宏观因果效应

一句话总结¶

本文首次将缺失机制形式化引入变量聚类因果图，系统构建了保留变量级缺失指示器的 m-C-DMG 与聚合为簇级缺失指示器的 cm-C-DMG 两种抽象表征，严格证明了簇级缺失到变量级缺失的单向可恢复性蕴涵关系，并给出了联合分布可恢复性的图充要条件及宏观因果效应可识别性的充分条件。

研究背景与动机¶

在公共卫生、流行病学、环境科学及社会计算等真实科学场景中，数据缺失现象普遍存在且诱因错综复杂。经典缺失数据理论与基于有向无环混合图（m-ADMG）的图形模型通常假设底层数据生成机制在细粒度变量级完全已知，以此刻画不可忽略缺失（MNAR）下联合分布、条件分布与因果效应的可恢复性。然而在高度复杂的实际应用中，变量之间的微观因果路径往往充满未知与测量歧义，领域专家往往仅能根据概念相关性将高维变量分组为更高层级的抽象语义簇（如将多项问卷量表归并为“心理健康”，将安全套使用与性伴侣数归并为“性行为”）。

这种从具体变量到抽象簇的粗粒度建模虽然契合了知识不完备现状并大幅提升了解释性，却给统计推断带来了根本性矛盾：粗粒度聚类图允许存在簇级循环反馈，且模糊了单个变量的具体缺失动因；而若盲目假定数据满足完全随机缺失（MCAR）或随机缺失（MAR），采用传统的列表删除法或标准多重填补，将在复杂的非随机缺失（MNAR）机制下引入严重的估计偏倚。因此，如何在因果图包含聚类抽象且可能存在有向环路的条件下，形式化定义缺失机制并判定目标查询的无偏可恢复性，构成了因果推断领域亟待攻克的理论空白。

本文的切入角度是建立变量级微观因果机制与簇级宏观抽象图之间的形式化兼容类（compatibility class）映射，进而对比不同抽象粒度对可恢复性判定的保守程度差异。核心 idea：在聚类混合图（C-DMG）框架下系统引入细粒度变量缺失（m-C-DMG）与粗粒度簇缺失（cm-C-DMG）两类抽象图模型，利用 primary path 与 d-分离保持性导出联合分布可恢复的图充要判据，并建立簇级 do 演算规则以实现宏观因果效应在部分观测下的精确恢复。

方法详解¶

整体框架¶

本文构建的因果图抽象缺失恢复流程涵盖“语义聚类与缺失机制抽象 $\to$ 兼容类映射与保守性判定 $\to$ 联合概率图结构判定与恢复计算 $\to$ 宏观因果效应 do 演算消解”四个核心阶段。首先将全体实质变量划分为不相交的簇集合，根据缺失指示器的聚合程度分别定义保持变量级指示器的 m-C-DMG 与折叠为簇级指示器的 cm-C-DMG；其次通过映射算子 $\pi$ 确立两者与微观 m-ADMG 之间的严格兼容类包含关系；在此基础上，针对概率查询和干预查询分别导出判定准则，通过消解 do 算子并将隐式变量替换为代理观测变量以达成闭式一致估计。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["底层实质变量 V 与缺失指示器 R<br/>数据呈现 MNAR 混合缺失"] --> B["聚类图缺失表征构建<br/>m-C-DMG 与 cm-C-DMG"]
    B --> C["兼容类包含关系与单向信息流<br/>cm-C-DMG 兼容类严格包含 m-C-DMG"]
    C --> D["联合分布可恢复性充要判定<br/>无自环且无全对撞子祖先路径"]
    D --> E["宏观因果效应 do 演算规则<br/>三条扩展规则与代理变量代换"]
    E --> F["输出仅含观测代理与指示器的闭式可恢复泛函"]

关键设计¶

1. 聚类图缺失表征构建：变量级指示器保留与簇级聚合的双粒度建模

为了在不完备因果知识下表达复杂的缺失机制，本文在聚类有向混合图（C-DMG）的基础上扩展出两类抽象缺失图。设实质变量全集 $\mathbb{V}$ 划分为 $K$ 个语义簇 $\mathbb{C} = \{C_1, \dots, C_K\}$，对于部分观测变量 $V_i \in \mathbb{V}_m$，引入二元缺失指示器 $R_{V_i}$ 及代理变量 $V_i^*$，其观测一致性由确定性机制定义： $$V_i^* = \begin{cases} V_i & \text{if } R_{V_i} = 0, \\ \mathrm{NA} & \text{if } R_{V_i} = 1. \end{cases}$$ 细粒度抽象 m-C-DMG 保留每个变量独立的缺失指示器节点集合 $\mathbb{R} = \{R_X : X \in \mathbb{V}\}$，在簇节点、指示器与代理节点间保留跨粒度有向边与混杂双向边；而粗粒度抽象 cm-C-DMG 将同一簇内部所有变量的缺失机制严格合并为唯一的簇缺失指示器节点 $R_{C_{\mathbb{X}}}$。这种显式划分既规范了因果抽象的语法边界，又使模型能够适应领域专家在缺失机制上不同程度的先验掌握度。

2. 兼容类包含关系与单向信息流：粒度丢失导致的可恢复性单向蕴涵

为了严格度量抽象表征带来的信息损失，本文定义了抽象图对微观变量级 m-ADMG 的兼容类 $\mathrm{compatible}(\mathcal{G}^{\mathbb{C}, *m})$，并引入了将 m-C-DMG 压缩为 cm-C-DMG 的自然映射算子 $\pi$。由于 cm-C-DMG 将簇内所有缺失指示器粗化为一个超级节点，因而遗忘了究竟是簇内哪个特定变量直接诱发了缺失机制或受外生混杂影响。本文严格确立了兼容类之间的偏序单向包含性： $$\mathrm{compatible}(\mathcal{G}^{\mathbb{C}, m}) \subseteq \mathrm{compatible}(\mathcal{G}^{\mathbb{C}, cm})$$ 该包含关系在簇内包含多个不同缺失机制的变量时严格成立（$\subsetneq$）。由此奠定了查询可恢复性的单向信息定理：任何在粗粒度 cm-C-DMG 中可恢复的概率或因果查询 $Q$，在细粒度 m-C-DMG 中必然可恢复；然而其逆命题在一般情况下并不成立。这表明过度聚类会导致本来在变量级可恢复的查询在粗粒度图上退化为不可判定。

3. 联合分布可恢复性充要判定：无邻接与对撞子路径条件的簇级拓扑判据

针对联合概率分布 $\Pr(\mathbb{C})$ 的恢复问题，本文突破了传统 ADMG 要求无圈的局限，证明了在允许簇间环路的 C-DMG 抽象下经典充要条件依然具备泛化成立性。在缺失指示器无自环且指示器之间无相连边的标准假设下，联合分布 $\Pr(\mathbb{C})$ 能够无偏恢复的充分必要条件为：在抽象图中不存在任何部分观测簇 $C_{\mathbb{X}} \in \mathbb{C}^m$ 与其对应的缺失指示器节点互为邻居（直接由有向边或双向边相连），且不存在一条连接两者的路径使得所有中间节点全部为属于 $\mathbb{C}^m \cup \mathbb{C}^o$ 的对撞子（colliders）。当满足该拓扑判据时，联合分布可直接由可观测流形上的马尔可夫毯因子分解闭式计算： $$\Pr(\mathbb{c}) = \frac{\Pr(\mathbb{R}=0, \mathbb{c})}{\prod_i \Pr\left(R_i = 0 \mid MB^o(R_i, \mathcal{G}^{\mathbb{C}, *m}), MB^m(R_i, \mathcal{G}^{\mathbb{C}, *m}), R_{MB^m(R_i, \mathcal{G}^{\mathbb{C}, *m})}\right)}$$ 该证明巧妙利用 primary path 投射技术，保证了微观路径与宏观簇路径在对撞拓扑上的一致性收敛。

4. 宏观因果效应 do 演算规则：破除非因果关联与代理变量代换

为了从部分观测数据中评估簇级干预效应 $\Pr(\mathbb{c}_{\mathbb{y}} \mid \mathrm{do}(\mathbb{c}_{\mathbb{x}}))$，本文将 Pearl 的三条经典 do 演算定理严格推广至含缺失机制的聚类图体系中。通过在截断进出边的残缺抽象图 $\mathcal{G}_{\overline{\mathbb{C}_{\mathbb{Z}}}\underline{\mathbb{C}_{\mathbb{X}}}}^{\mathbb{C}, *m}$ 上建立基于 d-分离的判定，三条规则依次允许：（1）在给定干预与后验观测下添加或删除条件观测变量；（2）在非因果后门路径被阻断时将 $\mathrm{do}(\mathbb{c}_{\mathbb{x}})$ 动作算子转化为被动观测条件 $\mathbb{c}_{\mathbb{x}}$；（3）在非祖先关联被阻断时完全移除多余的干预动作。结合代数全概率展开与代理变量一致性方程，即使联合概率分布因严重拓扑混杂而不可恢复，特定的宏观因果效应依然可以通过局部路径阻断完全消除 do 算子，映射为纯观测数据泛函。

一个完整示例¶

以公共卫生中研究“性行为（$C_{\mathbb{X}}$：含安全套使用、性伴侣数）”对“HIV感染状态（$C_{\mathbb{Y}}$）”的宏观因果效应 $\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))$ 为例，混杂簇为“心理健康（$C_{\mathbb{Z}}$：含焦虑与抑郁量表）”，且 $C_{\mathbb{X}}$ 与 $C_{\mathbb{Y}}$ 均受非随机缺失影响： 1. 转化目标为观测代理：在干预 $C_{\mathbb{X}}$ 的残缺图中，由于 $R_{C_{\mathbb{Y}}}$ 与 $C_{\mathbb{Y}}$ 满足 d-分离，应用 do 演算 Rule 1 引入 $R_{C_{\mathbb{Y}}}=0$： $$\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}})) = \Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}), R_{C_{\mathbb{Y}}}=0) = \Pr(c_{\mathbb{Y}}^* \mid \mathrm{do}(c_{\mathbb{X}}), R_{C_{\mathbb{Y}}}=0)$$ 2. 移除干预 do 算子：由于在以结果缺失状态为条件后，从 $C_{\mathbb{X}}$ 到 $C_{\mathbb{Y}}$ 的非因果后门路径被完全阻断，应用 Rule 2 将干预转为被动观测： $$\Pr(c_{\mathbb{Y}}^* \mid \mathrm{do}(c_{\mathbb{X}}), R_{C_{\mathbb{Y}}}=0) = \Pr(c_{\mathbb{Y}}^* \mid c_{\mathbb{X}}, R_{C_{\mathbb{Y}}}=0)$$ 3. 代换暴露变量为代理观测：由于 $C_{\mathbb{Y}}^*$ 在给定 $C_{\mathbb{X}}$ 与 $R_{C_{\mathbb{Y}}}$ 下与自变量缺失指示器 $R_{C_{\mathbb{X}}}$ 满足 d-分离，再次利用 Rule 1 加入 $R_{C_{\mathbb{X}}}=0$，代入代理变量定义得到最终全可观测估计量： $$\Pr(c_{\mathbb{Y}}^* \mid c_{\mathbb{X}}^*, R_{C_{\mathbb{X}}}=0, R_{C_{\mathbb{Y}}}=0)$$ 全过程完全依靠图拓扑运算消除未观测项，不需要任何参数分布或缺失插补假设。

实验关键数据¶

主实验¶

论文通过两组代表性抽象拓扑结构（典型临床聚类图与拓展解耦图）系统对比了在不同缺失机制与因果抽象级别下，经典推断方案与本文提出图恢复准则的有效性与可恢复性判定状态。

评估图结构与场景	目标推断查询	缺失机制分类	传统方案（Listwise删除 / MAR插补）	m-C-DMG 本文方法	cm-C-DMG 本文方法	可恢复性判定结论
临床三簇图（图2b）	联合分布 $\Pr(c_{\mathbb{X}}, c_{\mathbb{Y}}, c_{\mathbb{Z}})$	MNAR（心理影响填报）	估计有偏（假设违背 / 样本丢弃偏倚）	判定可恢复（精确闭式解）	判定可恢复（精确闭式解）	满足无邻接无对撞路径充要条件，一致可恢复
临床三簇图（图2b）	宏观效应 $\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))$	MNAR（结果与暴露均缺失）	估计严重失真（后门混杂与选择偏倚交织）	判定可恢复（全代换闭式）	判定可恢复（全代换闭式）	成功消除 do 算子并转为双指示器完全观测态
变量解耦反例（例1）	单变量边际 $\Pr(X_1)$	异构缺失（仅 $X_2$ 依赖簇）	默认不可恢复或假设无效	判定可恢复（利用非相连隔离）	不可恢复（指示器聚合导致信息丢失）	展现粗粒度保守性，验证命题2的单向非逆性
环状混杂图（图3）	联合分布 $\Pr(c_{\mathbb{X}}, c_{\mathbb{Y}}, c_{\mathbb{Z}})$	MNAR（存在对撞混杂）	理论失效	判定不可恢复（违反定理1充要条件）	判定不可恢复（违反定理1充要条件）	存在未阻断对撞路径，全局联合分布不可辨识
环状混杂图（图3）	宏观效应 $\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))$	MNAR（局部隔离结构）	误判不可恢复或直接得出有偏估计	判定可恢复（全概率消解）	判定可恢复（全概率消解）	证实因果效应可恢复性严格解耦于联合分布可恢复性

消融实验¶

下表深入剖析了图抽象粒度（微观变量级 m-ADMG、保留指示器 m-C-DMG、簇级折叠 cm-C-DMG）对不同因果与统计查询判定效能与信息保留度的理论消融表现。

抽象图模型粒度	指示器节点表示规模	环路容忍能力	联合分布判据覆盖度	局部效应判据覆盖度	核心理论特性与代价
基线 m-ADMG（变量级微观图）	$	\mathbb{V}	$（每个变量独立）	严格无环（DAG/ADMG）	理论基准（100% 精确覆盖）
m-C-DMG（细粒度簇抽象）	$	\mathbb{V}	$（保持变量级分离）	允许簇级有向循环环路	严格等价于微观可恢复子集
cm-C-DMG（粗粒度簇抽象）	$	\mathbb{C}	$（按语义簇完全合并）	允许簇级有向循环环路	保守子集（滤除变量异构缺失）

关键发现¶

因果效应与联合分布的可恢复性解耦：在图 3 所示的拓扑结构中，联合概率分布由于违反定理 1 的对撞子路径无相连约束而不可恢复，但针对宏观因果效应 $\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))$，通过全概率公式引入中介簇 $C_{\mathbb{Z}}$ 并联动 Rule 2 与 Rule 3，依然能够将其完全化简为仅含观测项的估计式，表明因果干预查询具有局部可恢复优势。
抽象图对循环结构的天然鲁棒性：虽然 C-DMG、m-C-DMG 和 cm-C-DMG 允许宏观簇节点间出现反馈环路，但基于 primary path 导出的 d-分离和 do 演算依然保持健全性（soundness），打破了传统 Pearl 框架依赖变量级严格 DAG 的限制。
聚合抽象导致可识别性收缩：粗粒度 cm-C-DMG 的兼容类严格包含细粒度 m-C-DMG，这意味着粗粒度图在数学上更为保守。当同一个簇内的两个变量分别呈现 MAR 和自审查（MNAR）时，cm-C-DMG 会将二者强行合并为全簇依赖边，导致原本可识别的边际分布退化为不可恢复。

亮点与洞察¶

开创性填补聚类因果图缺失理论空白：首次将缺失机制与聚类混合图系统融合，建立了 m-C-DMG 与 cm-C-DMG 形式化体系，为知识不完备条件下的因果推断奠定了坚实的图论基础。
Primary Path 跨粒度投影证明技巧：在定理 1 的证明中，创新性地运用 primary path 技术将变量级微观对撞路径精确映射为簇级宏观路径，严谨论证了对撞子拓扑性质在因果聚合映射下的无损保持性。
指导实际因果建模的分辨率选择准则：指明了何时必须深挖到变量级缺失指标（如簇内存在异构自审查变量），何时仅凭粗粒度簇信息即可安全落地推断（如宏观后门路径被簇级分离完全阻断）。

局限与展望¶

可恢复性条件的充分性局限：定理 2 目前仅给出了基于 do 演算序列消解的充分条件，尚未从图论角度确立宏观因果效应不可恢复的必要性判定准则（即完备性 completeness 尚未解决）。
聚类方式的结构限制：论文假设缺失指示器的聚合必须严格跟随实质变量的簇划分边界，未探讨跨簇合并缺失机制或重叠聚类（soft clustering）下的识别性质。
微观因果效应（Micro Causal Effects）尚未涵盖：当前理论主要聚焦于宏观簇级效应 $\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))$，如何从宏观抽象图中精准辨识特定微观单变量间的干预效应仍有待进一步深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立含缺失机制的聚类图因果推断完备理论框架。
实验充分度: ⭐⭐⭐⭐ 理论证明严密扎实，反例与案例构造精巧，但缺少大规模实际流行病学仿真数值实验。
写作质量: ⭐⭐⭐⭐⭐ 形式化定义严谨规范，概念演进层层递进，定理推导自洽清晰。
价值: ⭐⭐⭐⭐⭐ 为高维复杂系统在知识不完全与数据残缺双重困境下的因果推断提供了关键理论支撑。

评估图结构与场景	目标推断查询	缺失机制分类	传统方案（Listwise删除 / MAR插补）	m-C-DMG 本文方法	cm-C-DMG 本文方法	可恢复性判定结论
临床三簇图（图2b）	联合分布 \(\Pr(c_{\mathbb{X}}, c_{\mathbb{Y}}, c_{\mathbb{Z}})\)	MNAR（心理影响填报）	估计有偏（假设违背 / 样本丢弃偏倚）	判定可恢复（精确闭式解）	判定可恢复（精确闭式解）	满足无邻接无对撞路径充要条件，一致可恢复
临床三簇图（图2b）	宏观效应 \(\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))\)	MNAR（结果与暴露均缺失）	估计严重失真（后门混杂与选择偏倚交织）	判定可恢复（全代换闭式）	判定可恢复（全代换闭式）	成功消除 do 算子并转为双指示器完全观测态
变量解耦反例（例1）	单变量边际 \(\Pr(X_1)\)	异构缺失（仅 \(X_2\) 依赖簇）	默认不可恢复或假设无效	判定可恢复（利用非相连隔离）	不可恢复（指示器聚合导致信息丢失）	展现粗粒度保守性，验证命题2的单向非逆性
环状混杂图（图3）	联合分布 \(\Pr(c_{\mathbb{X}}, c_{\mathbb{Y}}, c_{\mathbb{Z}})\)	MNAR（存在对撞混杂）	理论失效	判定不可恢复（违反定理1充要条件）	判定不可恢复（违反定理1充要条件）	存在未阻断对撞路径，全局联合分布不可辨识
环状混杂图（图3）	宏观效应 \(\Pr(c_{\mathbb{Y}} \mid \mathrm{do}(c_{\mathbb{X}}))\)	MNAR（局部隔离结构）	误判不可恢复或直接得出有偏估计	判定可恢复（全概率消解）	判定可恢复（全概率消解）	证实因果效应可恢复性严格解耦于联合分布可恢复性