Causal Abstractions, Categorically Unified¶

会议: NeurIPS 2026
arXiv: 2510.05033
领域: 因果推断
关键词: 范畴论因果推断, 因果抽象, 马尔可夫范畴, 弦图, do演算

一句话总结¶

提出基于马尔可夫范畴（Markov Categories）与自然变换的统一因果抽象代数框架，用严格严谨的范畴图表语言统一并推广了确定性、概率性、变量聚类以及含隐变量混杂图（ADMG）上的因果抽象理论。

研究背景与动机¶

因果抽象（Causal Abstraction）旨在形式化描述同一个现实系统在不同粒度级别（微观低层模型与宏观高层模型）之间因果机制的一致性对应关系。在系统生物学、神经科学及因果表征学习中，研究者常常希望用结构精简的高层因果图（如聚集后的宏观变量）代替极其复杂的低层网络。然而，先前的因果抽象定义往往高度碎片化：部分工作仅适用于确定性结构方程（如 Beckers & Halpern 的 $\tau$-抽象），部分工作局限于离散概率贝叶斯网中的变量硬划分（如 Anand 等人的 Cluster-DAG），且不同框架对干预分布的一致性要求各执一词，缺乏统一的数学基底。

这一割裂的核心矛盾在于：现有框架要么基于严格的集合论映射强行假定高低层干预之间存在一对一的严格笛卡尔对齐，难以处理深度神经网络中普遍存在的概念重叠（Superposition）与非正交线性子空间；要么缺乏对图变换与概率函子间严格范畴代数对应关系的刻画，导致在存在隐变量混杂的有向非循环混合图（ADMG）以及更一般的连续/混合概率空间中，无法直接判定高层因果推断（如 do-calculus）在低层是否保持稳健有效。

本文的切入角度是引入基于合成概率理论的马尔可夫范畴（Markov Categories）与弦图（String Diagrams）工具，将因果模型形式化为从自由马尔可夫范畴到目标概率范畴的马尔可夫函子，并把因果抽象定义为函子之间的确定性自然变换。核心 idea：将因果抽象刻画为限制生成子马尔可夫范畴嵌入上的确定性自然变换，通过放松单子函子严格性统一连续/混合分布、非对齐干预、双向聚类机制及 ADMG 上的 do-calculus 一致性。

方法详解¶

整体框架¶

本文构建的范畴因果抽象框架将因果模型与因果抽象严格提升为范畴论对象与态射。给定低层有向无环图 $L=(\mathbf{V}^L, E^L)$ 与高层有向无环图 $H=(\mathbf{V}^H, E^H)$，首先分别构建由节点作为对象、条件因果机制作为态射自由生成的马尔可夫范畴 $\text{Free}_L$ 与 $\text{Free}_H$。限制范畴 $\text{restr}(\text{Free}_L)$ 限制每个生成盒态射至多出现一次，严格对应于图上所有可能的联合与干预分布。

因果模型被定义为马尔可夫函子 $F_L: \text{Free}_L \to M$（例如在概率核范畴 $\text{Stoch}$ 中对应因果贝叶斯网）。高层模型 $F_H: \text{Free}_H \to M$ 构成 $F_L$ 的因果抽象，当且仅当存在一个图级抽象嵌入函子 $\iota: \text{Free}_H \to \text{Free}_L$ 以及一组满足交换律的确定性自然变换 $\tau: F_L \circ \iota \Rightarrow F_H$。整体结构支持在自由马尔可夫范畴的限制子范畴上无缝迁移干预分布与 do-calculus 推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图结构层<br/>低层DAG L 与 高层DAG H"] --> B["自由马尔可夫范畴构建<br/>Free_L 与 Free_H (对象为节点, 态射为机制盒)"]
    B --> C["限制子范畴映射<br/>restr(Free_H) 嵌入 ι 到 restr(Free_L)"]
    C --> D["马尔可夫语义函子实例化<br/>F_L: Free_L → M 与 F_H: Free_H → M"]
    D --> E["确定性自然变换对齐<br/>τ: F_L ∘ ι ⇒ F_H (满足交换图表与严格充要条件)"]
    E --> F["双向抽象与广义推断<br/>效应聚焦/原因聚焦双向映射 + ADMG do-calculus 泛化"]

关键设计¶

1. 基于马尔可夫范畴与确定性自然变换的因果抽象统一定义

传统因果抽象要求对每个具体干预显式列举积分等式，难以拓展至连续变量或广义代数空间。本文基于马尔可夫范畴（对称单子范畴且对象具有交换余半群结构，包含复制与丢弃操作），将因果模型规范为马尔可夫函子 $F_L: \text{Free}_L \to M$。高层模型 $F_H: \text{Free}_H \to M$ 是 $F_L$ 的因果抽象，核心要求是存在马尔可夫函子 $\iota: \text{Free}_H \to \text{Free}_L$ 将 $\text{restr}(\text{Free}_H)$ 嵌入至 $\text{restr}(\text{Free}_L)$，并且存在自然变换 $\tau: F_L \circ \iota \Rightarrow F_H$，其分量 $\tau_A: F_L(\iota(A)) \to F_H(A)$ 是保持余乘法的确定性态射（Deterministic Morphisms）。

作者证明了该范畴定义的充要性定理（Theorem 3.1）：当 $M=\text{Stoch}$ 时，高层因果网 $F_H$ 是低层因果网 $F_L$ 的因果抽象当且仅当两者在所有干预分布下完全吻合： $$p^{F_{L}}(\tilde{b} \mid \text{do}(a)) = p^{F_{H}}(\tilde{b} \mid \text{do}(\tilde{a}))$$ 利用弦图手术证明，自然变换的自然性图表交换自动保证了机制推进与粒度抽象的先后顺序可交换，无需人工对每种干预形式单独特设相容性条件。

2. 宽松单子函子刻画非对齐干预与机制可解释性

在经典结构因果模型中，通常假设单子函子是严格的（Strict Monoidal），即 $F(A \otimes B) = F(A) \times F(B)$，这意味着干预操作与变量维度严格对齐。但在机制可解释性（Mechanistic Interpretability）中，由于多义性表征与线性表征假说，神经网络激活空间的特征概念并不对应于单神经元轴，而是高维激活空间的任意线性子空间，甚至在超位置（Superposition）现象下特征维度远大于物理激活维度。

本文通过将严格单子函子推广为强单子函子（Strong Monoidal）乃至宽松单子函子（Lax Monoidal），使相干映射 $F(A) \times F(B) \to F(A \otimes B)$ 允许从同构弱化为非同构投影。这直接在范畴论层面证伪了 Beckers & Halpern (2019) 的著名猜想（即“所有强 $\tau$-抽象在温和条件下皆为构造性 $\tau$-抽象”）。同时，稀疏自编码器（SAE）的训练目标被直接形式化为寻找从具有超位置的宽松马尔可夫函子到具有解耦概念轴的严格马尔可夫函子之间的自然变换。

3. 效应聚焦与原因聚焦的双向抽象对偶性

面对马尔可夫链 $A \to B \to C$ 的粗粒化划分，中间变量 $B$ 的划分若要使宏观因果图仍然因式分解，传统框架通常只能处理“关于后继子节点的相同因果效应”（Effect-focused）。本文敏锐地指出，确定性态射在 $\text{Stoch}$ 中必然存在右逆核 $\epsilon_A(a \mid \tilde{a}) = p^{F_L}(a \mid \tilde{a})$。

通过反转自然变换方向，定义 $\epsilon: F_H \Rightarrow F_L \circ \iota$（其分量具有确定性左逆），框架自然引申出“关于前序父节点的相同响应”（Cause-focused / Response-focused）因果抽象。此时高层抽象映射 $\tau_A$ 充当了以父节点划分值为参数的充分统计量（Sufficient Statistic），满足 $p^{F_L}(a \mid \tilde{b}) = \epsilon_A(a \mid \tilde{a}) \cdot p^{F_L}(\tilde{a} \mid \tilde{b})$。这为群体投票中按对广告的敏感度聚类等实际因果聚合场景提供了严密数学表达。

4. 混杂图（ADMG）上 do-calculus 推理有效性的范畴化推广

在包含未观测混杂因素的潜投影图（ADMG）中，变量聚合后的因果效应可识别性与 do 演算规则是否依然保持成立是核心理论难题。Anand 等人 (2023) 仅在变量严格分块划分子图上证明了有限结论。

本文借助弦图拓扑连通性分离性质（Proposition 28 in Fritz & Klingler 2023），证明了对任意图抽象 ADMG $H$ 和原始 ADMG $L$，在去除干预入边与出边后的修剪图上，$H$ 中的 d-分离条件严格蕴含了低层图 $L$ 中的 d-分离。由此简洁严密地将 Pearl 的三条 do-calculus 核心规则在图形抽象 ADMG 上的有效性推广至任意图操作生成的抽象模型，消除了以往归纳证明中烦琐的代数级联与条件重叠展开。

一个完整示例¶

以具备非正交概念干预的因果机制为例：低层模型包含概念 $A, B$ 及结果 $Y$，因果图结构为 $A \to Y, B \to Y$。低层状态空间为向量空间 $F(A)=F(B)=\mathbb{R}$，而复合输入空间为其直和 $F(A \otimes B)=\mathbb{R}^2$。当关心的两个可干预概念（如图像分类中的“颜色”与“纹理”）正交但非坐标轴对齐时，相干映射 $F(A) \times F(B) \to F(A \otimes B)$ 为旋转同构矩阵，对应强单子函子；若进一步引入第三个特征概念 $C$（如“形状”），三个一维概念嵌入二维激活空间中，相干映射 $F(A) \times F(B) \times F(C) \to F(A \otimes B \otimes C) = \mathbb{R}^2$ 无法保持单射或满射同构，对应宽松单子函子。在通过稀疏自编码器进行特征字典重构时，范畴框架精确追踪从高维过完备特征到底层低维几何干预的转移矩阵，保证在投影空间执行虚拟 do 干预依然精确对应高层语义变化。

损失函数 / 训练策略¶

作为纯理论框架，本文不直接引入特定端到端反向传播损失，但明确形式化了机制可解释性中稀疏自编码器（SAE）与因果电路发现（Circuit Discovery）的几何对齐目标： 1. SAE 概念对齐准则：在切片范畴 $C_{\text{Set}} / A$（任务模型 $A$ 的因果抽象）与余切片范畴 $F / C_{\text{Set}}$（神经网络 $F$ 的子网络结构）中，寻找使重构误差与稀疏度达到帕累托最优的自然变换 $\tau: F_{\text{dense}} \to F_{\text{sparse}}$。 2. 电路子模型筛选：将寻找最小功能回路定义为在切片范畴中寻找最小子态射对象，保证高层计算逻辑与底层权重激活动态在干预扰动下的均方误差或 KL 散度为零。

理论与分析对比¶

主对比分析¶

理论框架	底层代数基底	适用变量类型	支持的图类型	干预对齐假设	抽象一致性保证
Beckers & Halpern (2019)	离散结构方程模型 (SCM)	仅限离散确定性变量	标准因果 DAG	严格构造性对齐 (严格单子)	依赖外生背景变量上下文匹配
Rubenstein et al. (2017)	概率测度空间与核变换	连续/离散概率分布	标准因果 DAG	精确单射变换映射	依分布全干预匹配
Anand et al. (2023)	因子分解概率分布	离散/连续随机变量	变量划分子图构成的 ADMG	变量严格不相交划分	块级 Cluster-DAG 因子分解
Otsuka & Saigo (2022)	概率核范畴 $\text{Stoch}$	概率核态射	图同态 (Graph Homomorphism)	严格图同态诱导映射	自然变换 $\alpha: F_L \Rightarrow F_H \Phi$
本文框架 (Categorical Unified)	马尔可夫范畴 (Markov Categories)	确定性/概率/连续/离散/混合	图形抽象 (合并+消除) 及 ADMG	支持严格/强/宽松单子 (非对齐/超位置)	$\text{restr}(\text{Free})$ 嵌入与自然变换充分必要

消融与特例理论退化对比¶

范畴设定 / 特殊约束	对应退化理论场景	自然变换特征	关键理论性质与能力
目标范畴 $M = \text{Set}$，严格单子函子	经典确定性构造性 $\tau$-抽象	$\tau$ 为普通确定性函数	完美重现 Beckers & Halpern (2019) 构造性定义
目标范畴 $M = \text{Set}$，宽松单子函子	非对齐线性子空间 / 强 $\tau$-抽象反例	存在非同构相干态射	证伪 Beckers & Halpern 猜想，支持超位置建模
目标范畴 $M = \text{Stoch}$，正向自然变换 $\tau$	效应聚焦因果贝叶斯网抽象	$\tau$ 为确定性概率核	充要等价于全干预分布等式，按子节点效应聚合
目标范畴 $M = \text{Stoch}$，逆向自然变换 $\epsilon$	响应/原因聚焦因果抽象	$\epsilon$ 具有确定性左逆	抽象映射为条件概率充分统计量，按父节点敏感度聚合
潜在投影图 ADMG 扩展	隐变量混杂系统的因果推断	保持边修剪弦图拓扑连通	证明 Pearl do-calculus 三大规则在宏观抽象图上严格有效

关键发现¶

图同态与因果抽象的根本脱节：Otsuka & Saigo (2022) 采用图同态 $\phi: L \to H$ 诱导函子，但本文发现最常见的“节点消除”（如 $A \to B \to C$ 消除中间变量 $B$ 得到 $A \to C$）以及“节点合并成大簇”（$A \to B \to C$ 合并为单个复合变量 $ABC$）根本不存在合法的图同态，导致其无法涵盖最基本的因果粗粒化。本文提出的限制自由范畴嵌入 $\text{restr}(\text{Free}_H) \hookrightarrow \text{restr}(\text{Free}_L)$ 才是图级因果可保持性的本质条件。
超位置与非构造性因果抽象的存在性：在神经网络中，当概念数量大于隐藏层维度时，干预不可避免地具有非对齐重叠特征。放松至宽松单子范畴为这一实际工程问题提供了严密的数学描述空间。

亮点与洞察¶

充要性严格闭环：通过 Theorem 3.1 建立了马尔可夫范畴自然变换与传统统计因果干预分布全等之间的充要等价关系，不仅是抽象推广，更是现有因果抽象定义坚固的代数基石。
纯图拓扑化 do 演算证明：利用弦图中的断线拓扑性质直接证明了 ADMG 抽象模型上的 do 演算完备有效性，完全摆脱了 Pearl 原著及 Anand 等人论文中烦琐且容易出错的代数分母展开与边缘积分推导。
机制解释性与因果抽象的数学架桥：首次将稀疏自编码器、因果回路发现（Circuit Discovery）分别对偶到马尔可夫范畴的切片范畴（Slice Category）和余切片范畴（Coslice Category），为大模型可解释性研究提供了统一的结构代数工具箱。

局限与展望¶

环状因果图（Cyclic Models）尚未覆盖：当前定义建立在自由生成的非循环马尔可夫范畴之上，无法直接处理包含动态反馈回路（Feedback Loops）的循环结构方程模型。
抽象近似度（Approximate Abstraction）的测度扩展：现实中神经网络抽象通常存在轻微的数值扰动（$\epsilon$-近似因果抽象），当前严格的范畴交换图表尚未显式整合拓扑度量或概率距离（如 Wasserstein / TV 距离）。
算法级自动验证机制：未来可探索如何利用范畴论重写规则开发自动因果抽象判定算法，实现代码库级别的因果模型自动化多粒度对齐与精炼。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次利用马尔可夫范畴与弦图手术实现多流派因果抽象的严格大一统]
实验充分度: ⭐⭐⭐⭐☆ [纯理论论文，证明完备且覆盖了所有主流场景的反例构造与定理推演]
写作质量: ⭐⭐⭐⭐⭐ [范畴论叙述清晰严谨，弦图与交换图构图精美，概念辨析极其透彻]
价值: ⭐⭐⭐⭐⭐ [为因果表征学习、宏微观因果推断以及大模型机制可解释性奠定了极具前景的代数理论基石]

范畴设定 / 特殊约束	对应退化理论场景	自然变换特征	关键理论性质与能力
目标范畴 \(M = \text{Set}\)，严格单子函子	经典确定性构造性 \(\tau\)-抽象	\(\tau\) 为普通确定性函数	完美重现 Beckers & Halpern (2019) 构造性定义
目标范畴 \(M = \text{Set}\)，宽松单子函子	非对齐线性子空间 / 强 \(\tau\)-抽象反例	存在非同构相干态射	证伪 Beckers & Halpern 猜想，支持超位置建模
目标范畴 \(M = \text{Stoch}\)，正向自然变换 \(\tau\)	效应聚焦因果贝叶斯网抽象	\(\tau\) 为确定性概率核	充要等价于全干预分布等式，按子节点效应聚合
目标范畴 \(M = \text{Stoch}\)，逆向自然变换 \(\epsilon\)	响应/原因聚焦因果抽象	\(\epsilon\) 具有确定性左逆	抽象映射为条件概率充分统计量，按父节点敏感度聚合
潜在投影图 ADMG 扩展	隐变量混杂系统的因果推断	保持边修剪弦图拓扑连通	证明 Pearl do-calculus 三大规则在宏观抽象图上严格有效