Root Cause Analysis of Measurement and Mechanistic Anomalies¶

会议: NeurIPS 2026
arXiv: 2601.23026
领域: 可解释性
关键词: 根因分析, 测量异常, 机制异常, 因果推断, 结构因果模型

一句话总结¶

本文首次在结构因果模型中将异常显式区分为潜在因果机制漂移（Mechanistic Anomalies）与可观测测量读取误差（Measurement Anomalies），严格证明了缩减干预概率的可辨识性条件，并提出了无监督高效推断算法 Cali，在根因定位和异常类型判别上均达到 SOTA。

研究背景与动机¶

在现代复杂工业系统、生物信号网络及数据驱动的决策流程中，现实数据往往受到异常样本的污染。现有的可解释异常检测（XAD）与因果根因分析（RCA）虽然尝试回答“哪些变量导致了异常”，但始终将异常混为一谈，忽略了异常在物理成因上的双重异质性。在现实世界中，异常的来源存在两条根本不同的生成路径：一种是数据记录层面的测量异常（Measurement Anomalies），如传感器暂时性读数故障或打字录入偏差，系统底层真实的物理状态依然遵循正常规律；另一种则是生成机理本身的机制异常（Mechanistic Anomalies），代表系统底层的物理机理或化学反应动力学发生本质漂移（如工业部件破损或设备物理性退化）。

混淆这两类异常会导致现实决策的严重失误：在化工或核电站场景中，若仅因单个传感器损坏（测量异常）而紧急停机检修整个反应炉，将造成巨大的经济损失；反之，若将由于物理机制突变（机制异常）引发的下游全局级联偏离误判为传感器故障而仅做读数校准，则可能引发灾难性的系统崩溃。然而，现有因果 RCA 方法（如基于 Shapley 分解或因果 VAE 的归因框架）均将异常直接建模在单一观测层面上，既无法区分下游异常是来自因果扩散还是多个独立故障，更无法在无干净训练集支持的无监督原位场景（in-sample unsupervised setting）下推断异常发生的真实途径。

这一困境的核心症结在于：测量误差仅影响局部观测且不沿因果图向下游扩散，而机制偏移发生在潜在因果状态上并必然沿有向因果边传播；但由于真实的潜在状态不可直观观测，如何利用下游一致性去反推潜在状态与测量值的脱节，在理论可辨识性和算法求解上面临极大的数学挑战。本文的核心 idea 是：将结构因果模型中的变量解耦为潜在真实状态与观测读取变量，将机制异常和测量异常分别形式化为对潜在变量与观测变量的硬干预，结合稀疏机制转移假设（SMS）构建联合似然目标，并证明在多项式高斯因果模型下非汇点变量的干预概率具有泛型可辨识性，进而设计出无需超参数阈值的贪心因果根因推断算法 Cali。

方法详解¶

整体框架¶

Cali（Causal Anomaly Localization and Inspection）的输入为包含未知污染比例的观测数据集 $\mathbf{X} \in \mathbb{R}^{n \times d}$ 与给定的因果有向无环图（DAG）$\mathcal{G}$，目标是为每一个样本 $\mathbf{x}^{(i)}$ 联合推断离散的根因干预配置 $\mathbf{a}^{(i)} = (\mathbf{z}^{(i)}, \mathbf{w}^{(i)})$（其中 $z_j=1$ 表示节点 $j$ 发生机制异常，$w_j=1$ 表示节点 $j$ 发生测量异常），并输出根因显著性得分 $\Delta_j$ 与类型置信度 $\tilde{C}_j$。

整个流水线由四大环节闭环构成：首先在污染数据上利用中位数回归（GAM 样条）与修剪核密度估计（Trimmed KDE）拟合稳健的正常机制条件分布；接着构建能够显式区分因果效应传播与局部读取替换的干预概率模型；随后借助对测量异常潜在干净取值的蒙特卡洛边际化（Monte Carlo Marginalization）评估配置似然；最后利用编码长度与乐观增益驱动的贪心最大似然搜索算法解耦多变量配置空间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据 X 与因果有向无环图 G"] --> B["稳健因果机制与残差噪声估计<br/>GAM中位数回归 + 修剪核密度估计"]
    B --> C["双层干预因果生成模型<br/>潜在状态机制干预 Z 与观测读取测量干预 W"]
    C --> D["蒙特卡洛潜在状态边际化<br/>针对测量异常的干净潜在反事实积分采样"]
    D --> E["贪心似然增益搜索与类型判别<br/>自适应伯努利编码惩罚 + 乐观增益筛选"]
    E --> F["输出根因分配 A、根因得分 Δ 与类型置信度 C"]

关键设计¶

1. 潜在-观测解耦的双层因果干预模型：建立传播与非传播异常的数理分流 传统因果归因通常直接假设观测变量 $X_j$ 满足单一结构方程。本文为彻底在因果语义上分离两种异常，将系统变量扩充为潜在状态 $\mathbf{X}^* = (X_1^*, \dots, X_d^*)$ 和观测读数 $\mathbf{X} = (X_1, \dots, X_d)$。在无异常的基准进程中，各潜在状态由其父节点决定 $X_j^* = f_j(\mathrm{Pa}_j^*, U_j)$，而观测值完全保真地读取该状态，即 $X_j = X_j^*$。当发生异常时，机制异常和测量异常分别作为硬干预（Hard Interventions）施加在两层变量上： $$X_j^* = (1 - Z_j) f_j(\mathrm{Pa}_j^*, U_j) + Z_j O_j^{\mathit{mech}}, \quad X_j = (1 - W_j) X_j^* + W_j O_j^{\mathit{meas}}$$ 其中 $Z_j, W_j \sim \mathrm{Bernoulli}$ 为潜在干预指示变量，$O_j^{\mathit{mech}}$ 与 $O_j^{\mathit{meas}}$ 为外生替代分布。这一机制的巧妙之处在于拓扑阻断效应：由于观测变量 $X_j$ 在 DAG 中是出度为 0 的节点，发生测量异常（$W_j=1$）仅单点损坏该维度的测量值，其真实的潜在状态 $X_j^*$ 保持完好，绝不向下游子节点传播；反之，一旦发生机制异常（$Z_j=1$），受扰动的是真实状态 $X_j^*$ 本身，该扰动必然通过结构因果函数直接或间接渗透到所有下游后代节点 $\mathrm{Desc}(j)$。正是这种“下游是否被破坏因果自洽性”的拓扑差异，为从混合观测中无监督辨识异常类型提供了最本质的理论支点。

2. 缩减干预概率的泛型可辨识性：揭示因果汇点对称性与可辨识性边界 由于真实数据中的干预先验 $\boldsymbol{\pi}$ 未知且异常配置存在等价分布，本文严格分析了模型参数的可辨识性理论极限。由于在无后代节点的因果汇点（Sink Nodes $\mathcal{S}$）处，潜在机制替换与观测测量替换均无法向下游传播，且当两者的替代分布对称时二者诱导完全一致的边缘密度分布，因此在汇点处单变量的 $Z_j$ 与 $W_j$ 存在不可辨识对称性，必须退化参数化为缩减指示变量 $s_j := z_j \lor w_j$ 及对应概率 $\rho_j = P(s_j = 1)$。定理 4.2 证明：在多项式加性高斯 SCM 下，除一个勒贝格测度为零的参数子集外，非汇点节点的机制干预概率 $\pi_j^{\mathit{mech}}$、测量干预概率 $\pi_j^{\mathit{meas}}$ 以及汇点节点的联合发生概率 $\rho_j$ 构成的缩减参数向量 $\boldsymbol{\pi}_{\mathrm{red}}$ 是泛型可辨识的（Generically Identifiable）。该理论保证不仅划定了因果异常类型的推断边界，更从数学上解释了为什么在叶子节点处无法孤立区分测量错误与机制突变，为后续避免病态过拟合提供了坚实的理论依托。

3. 蒙特卡洛潜在状态积分与自适应稀疏编码：高维配置空间的贪心求解 在给定干预配置 $\mathbf{a} = (\mathbf{z}, \mathbf{w})$ 时，若存在测量异常集合 $\mathcal{W}_{\mathbf{x}}$，该样本被破坏前的真实潜在取值 $\bar{x}_j$ 是不可见的隐变量，必须对其全概率进行边际化积分： $$p(\mathbf{x}; \mathbf{a}) = \prod_{j \in \mathcal{W}_{\mathbf{x}}} \tilde{p}_{O_j^{\mathit{meas}}}(x_j) \int \left[ \prod_{j \notin \mathcal{Z}_{\mathbf{x}}} \hat{p}(\bar{x}_j \mid \bar{\mathrm{pa}}_j) \prod_{j \in \mathcal{Z}_{\mathbf{x}}} \tilde{p}_{O_j^{\mathit{mech}}}(\bar{x}_j) \right] \prod_{j \in \mathcal{W}_{\mathbf{x}}} \mathrm{d}\bar{x}_j$$ 为破解这一不可积瓶颈，Cali 采用基于残差经验采样的拓扑蒙特卡洛积分，利用 $M$ 个从条件密度中抽取的粒子进行高效近似。同时，针对全部 $4^d$ 种指数级配置搜索难题，Cali 将联合似然最大化转化为硬分配优化，并依据最小描述长度（MDL）原则将伯努利干预先验转化为自适应稀疏性编码惩罚。在推断阶段，Cali 引入无需先验积分即可快速计算的“乐观增益（Optimistic Gain）”，其通过最大化假设局部残差修复收益并扣减二项式编码长度更新代价，在测量异常传递与机制局部归因之间执行两阶段贪婪分配（Algorithm 2）。这使得算法的时间复杂度从组合爆炸的 $O(4^d)$ 骤降至稠密图最坏情况下的 $O(N^{5/3} d^3)$、有界度图下的 $O(N^{5/3} d)$，保证了面对高维实际数据集的工程可扩展性。

4. 似然增益差分得分与类型置信度度量：解耦模型设定误差的稳健排序 为了应对异常替代分布 $\tilde{p}_{O}$ 在实际应用中难以完美匹配物理现实的现实痛点，Cali 没有直接依赖单一后验概率的绝对数值，而是基于边际变动提出了差分根因得分与类型置信度。对于样本中的任意特征 $j$，定义在固定其他变量指示位前提下将 $j$ 设为正常、机制异常与测量异常时的对数联合似然分别为 $\ell_j^0$、$\ell_j^{\mathit{mech}}$ 与 $\ell_j^{\mathit{meas}}$。根因显著性得分与类型置信度分别定义为： $$\Delta_j := \max\{\ell_j^{\mathit{mech}}, \ell_j^{\mathit{meas}}\} - \ell_j^0, \qquad \tilde{C}_j := |\ell_j^{\mathit{mech}} - \ell_j^{\mathit{meas}}|$$ $\Delta_j$ 度量了将变量 $j$ 视作故障点所能带来的全局似然最大改善幅度，消除了不同维度尺度差异的影响；而 $\tilde{C}_j$ 则度量了模型在两类假设之间概率质量的绝对分离强度。这种差分机制使得即便外生替代假设存在轻微模型设定偏差（Misspecification），只要相对似然阶数保持稳定，算法仍能输出高度可靠的根因排序与决策支持。

实验关键数据¶

主实验¶

实验首先在具有已知真实因果图的基准数据上开展定量评估，包括 Erdös–Rényi 随机生成的 15 节点合成数据集、生物细胞信号通路 Sachs 数据集（11 个节点，弱干预），以及物理模拟测试台 Causal Chambers 数据集（中度和高强度干预）。在根因定位上对比了结构因果模型归因（SCM）、基于因果遍历的 SmTr、打分排序 ScOr 以及基于深度自编码器的 AE-Shap；在异常类型分类上对比了基于边缘异常判别的基线 Marg*。

下表给出了在基准真实因果图（标记为 *）与使用 NoGAM 算法自动发现的因果图下，不同数据集上各方法的根因定位 Top-$k$ 召回率（$k$ 动态设为各样本真实的根因数量）以及根因类型的分类准确率：

数据集 / 设定	方法	根因定位 Top-$k$ Recall	异常类型分类 Accuracy	说明
合成数据 (Synthetic, 15-node, Shift=3)	SCM AE-Shap Marg Cali (学得DAG) *Cali (真实DAG)**	0.52 ± 0.04 0.48 ± 0.04 — 0.64 ± 0.03 0.76 ± 0.03	— — 0.63 ± 0.03 0.74 ± 0.04 0.88 ± 0.02	Cali 在定位和类型判别上均显著超越基线；无真实图时依然保持优势
Causal Chambers (Medium Shift)	SCM ScOr SmTr Marg* *Cali (真实DAG)**	0.44 ± 0.05 0.38 ± 0.04 0.51 ± 0.04 — 0.90 ± 0.03	— — — 0.71 ± 0.04 0.92 ± 0.03	在物理级测试台上，Cali 在中度强度下即展现出断层式性能优势
Sachs (Weak Biological Interventions)	AE-Shap SCM Marg Cali *Cali (真实DAG)**	0.279 ± 0.046 0.236 ± 0.036 — 0.236 ± 0.036 0.192 ± 0.036	— — 0.663 ± 0.077 0.898 ± 0.097 0.847 ± 0.075	弱扰动下全局定位极难；但在成功检出的根因上，Cali 的类型分类精度高达 89.8%

消融与模型逼近评估¶

为验证 Cali 所采取的贪心启发式搜索与硬分配近似（Hard-Assignment Approximation）是否造成了理论最优性的损失，作者在 3 节点、500 样本的微型系统上对比了穷举遍历全部 $4^d$ 种可能性的理论全局最优分类器 Opt*（以真实干预先验 $\boldsymbol{\pi}_{\mathrm{red}}$ 为条件的精确极大后验分类）：

模型配置 / 逼近方式	根因定位 Top-$k$ Recall	异常分类 Accuracy	平均耗时 (秒)	逼近质量说明
理论最优枚举 Opt* (4^d 空间)	0.812 ± 0.025	0.915 ± 0.018	1190.60 s	严格遍历全图配置，耗时随维度指数级爆炸
*Cali (贪心硬分配近似)**	0.806 ± 0.027	0.908 ± 0.020	47.57 s	以仅 4% 的耗时几乎完全复现了理论最优分类器的定位与分类性能
边缘启发式基线 Marg*	—	0.724 ± 0.035	12.30 s	严重依赖经验阈值，分类准确率低近 20 个百分点

关键发现¶

对理论最优的高保真逼近：消融实验证明，后验分布在异常明显时极度集中，硬分配近似造成的理论信息熵上界损失极小，Cali 在计算速度提升 25 倍的同时，指标与穷举的 Opt* 差距在 1% 以内。
无需阈值调节的鲁棒性优越：在节点入度/出度变化实验中，边缘基线 Marg* 对阈值设定极度敏感，度数增加导致多变量同时被动越界，其性能剧烈崩溃；而 Cali 直接利用因果机制似然的比值进行判别，无需人为调优显著性超参数，随着节点因果关联变密其分类准确率稳步单调提升。
在纽约出租车（NYC Taxi）真实案例中的落地验证：Cali 从 5000 条真实记录中成功挖掘出高质量异常——将“行程 9.4 英里、空距 0.01 英里、耗时 12 秒却仅扣费 2.5 美元”准确归类为里程表记录错误（测量异常）（若为真实位移则意味着速度超 3 倍音速）；将耗时 8.48 分钟、里程 1.8 英里、车费精准固定为 52 美元的记录识别为机制异常，经查证这完全契合肯尼迪机场（JFK）的特种统一定额平价计费机制（Flat-fare rule），展示了极其强大的实际诊断与业务洞察力。

亮点与洞察¶

将异常的物理二元性引入因果图模型：第一次在 SCM 中把异常严谨区分为状态层面的“机制变异”与观测层面的“仪器测量错误”，突破了此前 XAD/RCA 领域数十年只关注“哪项特征偏离”而漠视“如何发生偏离”的理论瓶颈。
因果汇点对称性定理：严格指出了在没有下游节点的因果汇点上，测量与机制异常在概率分布上存在不可分辨的等价类，从数学根源上为工业实践确立了“哪些节点可以单点定性、哪些必须联合推断”的边界。
自适应 MDL 编码控制过拟合：引入二项式编码长度作为动态惩罚项替代人工超参，优雅地将因果稀疏机制转移假设（SMS）转化为信息论代价，使算法在全无监督、混合污染比例未知的情况下具备极高自适应性。

局限与展望¶

依赖因果 DAG 的准确性：算法前置需要因果图输入；若通过因果发现算法自动学习，污染数据本身的噪声可能恶化图结构发现的质量（虽然实验表明结合 NoGAM 仍具优势，但错误边仍会导致性能退化）。
极端外推下的密度估计失效：当异常偏移量极端巨大（如偏离均值 6 个标准差以上）时，基于局部样条的回归机制被迫严重外推，非线性密度估计的数值精度会下降，此时简单的边缘距离判别法可能反而更具简单优势。
计算复杂度随 Markov 毯扩展：尽管采用贪心分配，测量异常增益计算仍然需要在 Markov 毯内进行蒙特卡洛抽样，面对几百维以上超稠密因果图时仍面临计算瓶颈。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立测量异常与机制异常的因果理论范式与可辨识性保证。
实验充分度: ⭐⭐⭐⭐⭐ 包含微型全局枚举验证、合成图、生物真实数据、物理 Chamber 及真实世界出租车案例，涵盖十余种基线与鲁棒性消融。
写作质量: ⭐⭐⭐⭐⭐ 理论证明完整严密，附录推导扎实透彻，算法流程与动机表达极具条理性。
价值: ⭐⭐⭐⭐⭐ 为工业控制系统、传感器健康监测与高可靠自治系统的根因排查提供了极具指导意义的理论与落地框架。