Towards Identifiable Latent Additive Noise Models¶

会议: NeurIPS 2026
arXiv: 2403.15711
论文: arXiv PDF
领域: 因果推断 / Causal Inference
关键词: 因果表征学习、可辨识性、加性噪声模型、非线性ICA、后非线性模型

一句话总结¶

本文针对现有因果表征学习强函数约束与真实场景难落地的瓶颈，提出利用环境调节的因果影响变化建立潜在加性噪声模型与后非线性模型的分量级可辨识性理论，并给出了基于变分自编码器的轻量实用学习算法与人体动作因果分析实证。

研究背景与动机¶

因果表征学习（Causal Representation Learning, CRL）旨在从高维未配对观测数据中逆向恢复潜变量及其因果图结构，是实现具身智能泛化、对抗分布漂移与因果决策的核心工具。然而，传统方法通常需要极强的先验假设才能保证潜因果机制可辨识，例如严格限定潜变量生成机制为线性高斯模型、线性加性噪声模型或特定多项式结构，这严重制约了模型在真实复杂系统中的表达力与鲁棒性。

利用外部环境或上下文变化带来的不对称性来辅助辨识因果结构是当前的前沿方向，但现有理论仍面临理论与应用的双重鸿沟：理论上，多数方法要求预先已知干预目标（如单节点干预或硬干预集合），或者依赖理想化的成对干预数据；应用上，现有算法多停留在合成数据集（如 Causal3DIdent），在复杂连续真实物理系统中的实用验证严重匮乏。如果仅靠非线性 ICA 识别独立噪声分量，因果影响中的恒定不变成分仍会被吸收进观测生成映射中，从而造成潜变量的不可辨识。

本文的切入角度是：将潜变量因果机制显式解耦为潜噪声分布漂移与环境调节的因果函数调制两部分，通过在函数族上施加非参数导数消失条件来消除环境间的不变因果分量，进而建立弱条件下的完全与部分可辨识性。核心 idea：通过引入环境辅助变量调制潜在加性噪声的因果映射，证明当因果影响存在局部解耦环境（导数消失）时潜变量具有分量级可辨识性，并推广至后非线性模型与子集变化的部分可辨识框架。

方法详解¶

整体框架¶

本文考虑从外部环境/上下文变量 $\mathbf{u}$ 驱动的高维观测 $\mathbf{x} = \mathbf{f}(\mathbf{z})$ 中恢复潜在因果变量 $\mathbf{z}$ 的生成过程。潜变量满足拓扑序加性噪声结构 $z_i = g_i^{\mathbf{u}}(\mathrm{pa}_i) + n_i$（或后非线性形式 $\bar{z}_i = \bar{g}_i(z_i)$），其中外生噪声 $n_i$ 服从指数族分布。整体学习流程采用变分自编码器架构：编码器估计条件后验分布 $q(\mathbf{z}|\mathbf{x}, \mathbf{u})$，解码器重构观测 $\mathbf{x}$，同时在隐空间自回归先验网络中引入稀疏掩码向量 $\mathbf{m}_i(\mathbf{u})$ 来建模因果图与环境调制机制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境上下文 u 与高维观测 x"] --> B["环境调制加性噪声机制<br/>外生噪声指数族分布 + 拓扑因果映射"]
    B --> C["因果影响消失充分条件<br/>梯度消失消除不变分量保证可辨识性"]
    C --> D["拓展后非线性模型<br/>复合单调非线性映射保证组件级可辨识"]
    D --> E["变分推断自回归网络<br/>ELBO目标 + 稀疏掩码正则化优化"]

关键设计¶

1. 环境调制的潜在加性噪声模型与非线性ICA桥梁：利用外生噪声充分统计量实现噪声辨识 为了在不需要已知干预目标的前提下恢复潜因果变量，本文构建了由辅助变量 $\mathbf{u}$ 调制的潜在因果生成过程。潜噪声 $\mathbf{n}$ 服从两参数指数族分布 $p_{(\mathbf{T}, \boldsymbol{\eta})}(\mathbf{n}|\mathbf{u}) = \prod_i \frac{\exp(\sum_j T_{i,j}(n_i)\eta_{i,j}(\mathbf{u}))}{Z_i(\mathbf{u})}$，因果机制为 $z_i = g_i^{\mathbf{u}}(\mathrm{pa}_i) + n_i$。由于加性噪声映射 $\mathbf{h}^{\mathbf{u}}: \mathbf{n} \mapsto \mathbf{z}$ 的雅可比矩阵为下三角矩阵且对角线恒为 1，其雅可比行列式绝对值恒等于 1。通过这一体积守恒性质，观测边缘似然匹配能够严格推导出外生噪声充分统计量之间的线性关系，借助两参数指数族非线性ICA定理证明真实噪声 $\mathbf{n}$ 与估计噪声 $\hat{\mathbf{n}}$ 仅相差排列与缩放矩阵 $\mathbf{P}$。

2. 因果影响变化的非参数消失条件：消除环境不变成分以阻断虚假表示 仅恢复噪声 $\mathbf{n}$ 并不足以实现潜因果变量 $\mathbf{z}$ 的逐分量可辨识。如果父节点到子节点的映射包含环境无关的不变函数分量，该不变分量就会被吸收进解码器 $\mathbf{f}$ 中形成虚假旋转等价。为此，本文提出了非参数条件（Assumption iii）：对每个节点 $z_i$，存在至少一个环境 $\mathbf{u}_i$ 使得对所有父节点 $z_j \in \mathrm{pa}_i$，其偏导数消失： $$\frac{\partial g_i^{\mathbf{u}=\mathbf{u}_i}(\mathrm{pa}_i)}{\partial z_j} = 0$$ 在生物学中这对应 PPI 抑制剂或基因敲除完全切断蛋白质相互作用。此时在环境 $\mathbf{u}_i$ 下，$z_i$ 彻底退化为独立外生噪声 $n_i$。结合变换矩阵 $\mathbf{\Phi}$ 的雅可比下三角结构与噪声可辨识性，严格排除了次对角线的耦合项，证明真实因果变量与估计值之间退化为仿射对应 $\mathbf{z} = \mathbf{P}\hat{\mathbf{z}} + \mathbf{c}$。

3. 部分可辨识性与后非线性模型推广：拓宽非完美干预与强非线性适用边界 在实际问题中，并非所有节点的因果影响都能在某些环境中完全消失。本文进一步证明了部分可辨识性定理（Theorem 3.6）：满足导数消失条件（或无父节点的根节点）的潜变量依旧能够精确辨识至缩放与平移，且子节点的不可辨识性不会向上传递污染父节点，反之亦然；不满足条件的节点则混合不可辨识。此外，针对加性噪声表达能力的局限，本文将其推广至潜后非线性模型 $\bar{z}_i = \bar{g}_i(g_i^{\mathbf{u}}(\mathrm{pa}_i) + n_i)$，证明由于单调可逆映射 $\bar{g}_i$ 可直接与全局解码器 $\mathbf{f}$ 复合，潜变量 $\bar{z}_i$ 在相同条件下可精确识别至组件级可逆非线性变换 $\bar{z}_i = M_j(\hat{\bar{z}}_j) + c_j$。

损失函数 / 训练策略¶

在实现层面，算法采用拓扑序自回归 VAE。无须预先知道真实因果序，算法依据潜在空间的排列不确定性预设自回归因果序 $z_1 \succ z_2 \succ \dots \succ z_{\ell}$。先验分布为： $$p(\mathbf{z}|\mathbf{u}) = \prod_{i=1}^\ell \mathcal{N}(\mu_{z_i}(\mathbf{z}_{<i} \odot \mathbf{m}_i(\mathbf{u}), \mathbf{u}), \delta^2_{z_i}(\mathbf{z}_{<i} \odot \mathbf{m}_i(\mathbf{u}), \mathbf{u}))$$ 变分后验网络 $q(\mathbf{z}|\mathbf{u}, \mathbf{x})$ 共享同一掩码向量 $\mathbf{m}_i(\mathbf{u})$。整体优化目标为带有 $L_1$ 结构稀疏正则化的证据下界（ELBO）： $$\max_{\boldsymbol{\theta}, \boldsymbol{\phi}} \mathbb{E}_{q(\mathbf{z}|\mathbf{x}, \mathbf{u})}[\log p(\mathbf{x}|\mathbf{z}, \mathbf{u})] - D_{\mathrm{KL}}(q(\mathbf{z}|\mathbf{x}, \mathbf{u}) \parallel p(\mathbf{z}|\mathbf{u})) - \gamma \sum_{i=1}^\ell \|\mathbf{m}_i(\mathbf{u})\|_1$$ 其中 $\gamma$ 调节因果图稀疏度。网络采用 Adam 优化器，学习率设为 $10^{-3}$。

实验关键数据¶

主实验¶

论文在半合成海马体 fMRI 数据集（6 个脑区信号，84 天连续观测作为上下文 $\mathbf{u}$）以及合成高斯加性噪声数据上进行了系统评测。评估指标包括 Pearson 相关系数均值（MPC，衡量潜变量恢复精度）和结构汉明距离（SHD，衡量因果图学习误差）。

方法	模型类型	fMRI 平均 MPC	fMRI 因果图 SHD	潜空间独立性假设
VAE	经典自编码器	0.912 ± 0.015	- (无法学习因果结构)	强假设
$\beta$-VAE	独立解耦	0.924 ± 0.018	- (无法学习因果结构)	强假设
iVAE + CD	可辨识独立噪声	0.941 ± 0.012	7.50 ± 0.45	强假设
CausalVAE	线性结构方程	0.952 ± 0.010	9.00 ± 0.00	无
Latent Linear	线性因果模型	0.965 ± 0.008	5.00 ± 0.28	无
Polynomials	潜多项式因果	0.977 ± 0.006	5.50 ± 0.25	无
本文方法 (MLPs)	潜在加性噪声模型	0.981 ± 0.004	4.75 ± 0.22	无

消融实验¶

为了验证 Assumption (iii) 这一充分条件对可辨识性的决定性作用，作者设计了违反导数消失条件的合成对照实验：在数据生成过程中人为引入跨环境恒定的线性因果影响 $z_i \leftarrow z_i + z_{i-1}$，使局部因果联系无法被环境关闭。

实验配置	考察关系	条件 (iii) 满足状态	潜变量估计表现 (MPC)	可辨识性理论预期
根节点 $z_1$	无父节点	自然满足	MPC > 0.99 (高相关线性对齐)	完全可辨识 (Theorem 3.6a)
变化节点 $z_2$ (满足)	$z_1 \rightarrow z_2$ 随 $\mathbf{u}$ 消失	满足	MPC > 0.98 (高相关线性对齐)	完全可辨识 (Theorem 3.6a)
违背节点 $z_2$ (未满足)	包含不变项 $z_2 + z_1$	不满足	MPC 显著下降至 ~0.72	不可辨识 (Theorem 3.6b)
违背链条 $z_3, z_4$	级联包含不变项	不满足	MPC 显著劣化至 0.65 - 0.70	不可辨识 (Theorem 3.6b)

关键发现¶

在真实生物结构基准（fMRI）上，尽管潜变量 MPC 相比多项式模型（0.977 vs 0.981）看似提升有限，但因果图重构 SHD 从 5.50 显著下降至 4.75，准确识别出了前扣带回至海马各亚区的解剖学已知连接，证明高保真表示学习对因果骨架发现具有关键杠杆效应。
CausalVAE 在实验中由于缺乏通用非线性环境调制的辨识性保证，学出的图结构在不同随机种子下均退化为全连接图（SHD 恒为 9.0）。
在 Human3.6M 人体骨骼动作真实数据集上，通过对学到的 14 个潜变量进行主动干预遍历，成功诱发了生物力学上合理的运动控制链条（如肘关节 $z_{10}$ 变动引发腕关节 $z_{11}$ 联动，肩关节 $z_6$ 变动影响腕关节 $z_7$），证实了潜因果表征在真实复杂连续物理动力学中的表征语义对齐能力。

亮点与洞察¶

将干预形式转化为函数族数学约束：不同于前人必须预先标注干预目标或依赖硬干预的做法，本文将机制变化抽象为因果函数对父节点偏导数为零的非参数条件，巧妙借用非线性 ICA 的两参数指数族结果闭环证明，理论框架干净且通用。
从加性噪声自然跨越到后非线性模型：利用复合变换的可逆性，将非线性加性噪声模型的结果无缝推广至潜后非线性模型（PNL），打破了过往因果表征学习大多局限于严格线性或低阶多项式的桎梏。
开辟人体动作控制的因果表征新范式：首次将因果表征学习拓展至多任务人体动作骨骼序列分析中，把不同任务视为上下文环境 $\mathbf{u}$，将潜变量解释为运动神经元协调控制基元，给出了极具说服力的定性干预验证。

局限与展望¶

理论假设的不可检验性：依赖真实数据生成机制严格符合指数族外生噪声及单射混合函数的假设，在复杂极端非凸观测场景下难以进行实证假说检验。
环境数量要求仍有待放宽：指数族非线性 ICA 完备性定理要求存在至少 $2\ell + 1$ 个充分变化的环境，在环境较少的小样本现实任务中可能难以完全满足条件 (ii)。
离散因果序假设与优化松弛：当前基于预设自回归拓扑序与稀疏掩码的优化策略虽然规避了连续 DAG 约束的非凸优化陷阱，但在高维潜图结构下的拓扑序搜索仍存在探索空间。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次给出通用潜在加性噪声与后非线性模型的分量级可辨识性理论。
实验充分度: ⭐⭐⭐⭐☆ 涵盖高维合成、fMRI 以及 Human3.6M 真实场景，因果干预验证扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严密、符号清晰，从概念例证到理论定理层层推进。
价值: ⭐⭐⭐⭐⭐ 为无监督/弱监督非线性因果表征学习奠定了重要的理论基石。

实验配置	考察关系	条件 (iii) 满足状态	潜变量估计表现 (MPC)	可辨识性理论预期
根节点 \(z_1\)	无父节点	自然满足	MPC > 0.99 (高相关线性对齐)	完全可辨识 (Theorem 3.6a)
变化节点 \(z_2\) (满足)	\(z_1 \rightarrow z_2\) 随 \(\mathbf{u}\) 消失	满足	MPC > 0.98 (高相关线性对齐)	完全可辨识 (Theorem 3.6a)
违背节点 \(z_2\) (未满足)	包含不变项 \(z_2 + z_1\)	不满足	MPC 显著下降至 ~0.72	不可辨识 (Theorem 3.6b)
违背链条 \(z_3, z_4\)	级联包含不变项	不满足	MPC 显著劣化至 0.65 - 0.70	不可辨识 (Theorem 3.6b)