SCDM: Scalable Causal Discovery in Nonlinear Temporal Systems with Meta-Learning¶

会议: NeurIPS 2026
arXiv: 2610.29992
代码: https://github.com/ShaogangRen/SCDM
领域: 其他
关键词: 因果发现、多元时间序列、元学习、非线性动力系统、高维扩展性

一句话总结¶

SCDM 将非线性多元时间序列的因果发现重构为共享参数的偶发式元学习问题，通过按目标变量子采样构建任务批次、联合优化全局非线性时序预测器与因果强度矩阵，实现了数千变量规模下低显存、高精度的有向因果图重构。

研究背景与动机¶

在大脑神经活动（EEG/fMRI）、交通传感网络以及金融市场等高维非线性时序系统中，从观测数据中辨识变量间的有向依赖关系（即 Granger 因果推断）具有重要的科学与工程价值。然而，对于包含 $d$ 个观测变量的动力系统，候选的跨变量有向边空间呈二次方增长，达到 $d(d-1)$ 条。传统的约束测试类方法（如 PCMCI/PCMCI+）需要进行数以万计的复杂条件独立性检验，而经典的神经网络 Granger 因果方法（如 cMLP、TCDF、GVAR）则通常针对每一个目标变量独立拟合专属预测网络或反复搜索图结构。随着系统规模扩展到数百甚至数千变量，这种逐目标变量分别拟合或逐边消融的模型训练与评估范式会导致计算时间与内存开销急剧爆炸。

现有方法在提升容量与效率之间面临严峻的核心矛盾：引入高表达能力的非线性序列模型能够捕捉复杂的滞后动力学，但其逐目标分别优化的范式在边空间达到数百万条时计算上难以维系；而若为了追求效率采用粗糙的全局池化或线性代理，又极易丢失针对特定目标变量的异质结构线索与因果稀疏性。如何让所有目标变量共享非线性时序表征能力，同时保留每个目标变量特有的因果依赖证据，并摆脱穷举式全目标迭代的开销，是非线性时序因果发现走向超大规模系统的关键技术瓶颈。

本文的切入视角是：在同一个动力学系统中，预测各个目标变量的未来演化本质上是同一生成过程下高度相关的任务族。受基于梯度的元学习启发，SCDM 将每个目标变量的单步预测定义为一个元任务，所有任务共享一个非线性时序预测器与一个全局因果强度矩阵。在元训练阶段，每个 episode 仅随机采样一个小规模目标任务批次，通过临时 support 适应在局部累积结构证据，再通过 query 损失更新全局共享参数。核心 idea：将非线性时序因果发现重构为目标变量元任务学习，通过目标任务子采样与基于双层优化的 support/query 更新积累全局因果结构证据，训练后借助轻量图读出解耦因果打分，彻底打破高维因果发现的二次方优化瓶颈。

方法详解¶

整体框架¶

SCDM 的整体流水线包含两个解耦阶段：偶发式共享参数元训练阶段和后训练图得分读出阶段。在元训练阶段，所有目标任务共享参数 $\Theta=\{\theta, W\}$，其中 $\theta$ 刻画通用的非线性时序演化网络，而 $W \in \mathbb{R}^{d \times d}$ 为全局因果强度矩阵。对于每个采样得到的目标变量 $i$，模型以 $W_{:,i}$ 门控所有源变量的历史滞后观测，随后在 support 时间窗口执行局部梯度微调，并在 query 窗口评估预测损失，最后通过 query 梯度的平均值更新全局共享参数。在训练收敛后，SCDM 通过结构化权重读取或单源隔离扰动读出连续因果得分矩阵，从而支持无阈值依赖的精准因果评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多元时间序列输入 X ∈ R^{T x d}<br/>构造滞后时序历史 u_t"] --> B["全局结构门控表征<br/>加权滞后张量 H~_t = W ⊙ X_lag"]
    B --> C["目标任务子采样元学习<br/>采样 B 个目标任务与 support/query 窗口"]
    C --> D["双层局部适应与全局元更新<br/>K 步 inner 梯度微调 + outer query 损失更新"]
    D --> E["后训练连续图读出机制<br/>结构读出 |W_{j,i}| 或单源隔离扰动打分"]
    E --> F["输出连续有向因果得分矩阵 S ∈ R^{d x d}<br/>支持无阈值 AUROC/AUPRC 评估与边阈值化"]

关键设计¶

1. 全局结构门控表征：解耦变量级因果稀疏性与非线性动态映射 针对传统非线性 Granger 因果方法为每个目标维护庞大独立参数导致的内存与计算冗余，SCDM 设计了参数共享的全局门控表征机制。在预测目标变量 $i$ 时，所有源变量 $j$ 的滞后观测值序列 $[x_{t-1}^{(j)}, \dots, x_{t-p}^{(j)}]$ 首先被标量权重 $W_{j,i}$ 统一缩放，构造出加权历史特征矩阵 $\widetilde{H}_{t,j,\ell}^{(i)} = W_{j,i} x_{t-\ell}^{(j)}$。该设计将因果拓扑结构显式且紧凑地压缩在全局矩阵 $W \in \mathbb{R}^{d \times d}$ 中，使得后续复杂的两层非线性 MLP 预测网络 $f_\theta$ 可以被整个系统的所有变量完全共享，输入维度被严格规范为 $d \cdot p \cdot r$，不仅彻底免除了为每个变量定制私有预测头的开销，还通过对 $W$ 的列向量施加 $\ell_1$ 稀疏惩罚自然诱导因果图的稀疏性。

2. 目标任务子采样元学习：以常数规模任务批次打破全系统二次方更新瓶颈 高维系统中每一步迭代遍历所有 $d$ 个目标变量在工程上代价极高。SCDM 将各个目标变量的预测视作相关元任务，在每个 meta-episode 中仅均匀随机采样一个大小为 $B \ll d$ 的目标子集 $\mathcal{B} \subset \{1, \dots, d\}$。对于被采样的每一个目标变量任务 $i$，系统在其时序序列中分别抽取长度为 $L_{\text{sup}}$ 和 $L_{\text{qry}}$ 的连续支持窗口与查询窗口。通过这种任务批次化子采样策略，每次反向传播计算代价与显存占用仅取决于批次大小 $B$ 而非变量总数 $d$，使得模型能够以恒定的轻量开销平滑积累跨越数千变量的全局动力学证据。

3. 双层局部适应与全局元更新：引导共享参数快速泛化到异质时序动力学 为了防止共享参数退化为只能拟合系统“平均动力学”的平庸解，SCDM 引入了基于一阶 MAML 的两级优化机制。在内循环中，任务 $i$ 从共享参数 $\Theta=\{\theta, W\}$ 出发，在支持集上执行 $K$ 步局部梯度更新： $$\Theta_i^{(k+1)} = \Theta_i^{(k)} - \alpha \nabla_{\Theta_i^{(k)}} \mathcal{L}_i^{\mathrm{sup}}(\Theta_i^{(k)})$$ 其中针对时序网络参数与因果矩阵分别设置了差异化学习率（$\alpha_\theta=0.01, \alpha_W=0.001$），防止单个目标在内循环中过激破坏全局拓扑。外循环仅基于适应后的临时参数 $\Theta_i'$ 在查询集上的损失 $\mathcal{L}_i^{\mathrm{qry}}(\Theta_i')$ 构造元梯度，更新持久化的共享参数 $\Theta$。这种目标特定的局部微调与查询验证机制，驱使全局参数学到极易向各局部变量因果动力学适应的表征。

4. 后训练连续图读出机制：兼顾极低计算开销与因果归因忠实度 模型完成元训练后，因果强度的提取与训练优化过程完全解耦，SCDM 提出了两种互补的读出机制。对于低维与中维系统（$d \le 100$），采用单源隔离扰动读出（Source-Isolated Readout）：固定其他所有源变量的历史输入为零，仅保留源变量 $j$，对比其预测损失 $L_j^{(i)}$ 与全零基线损失 $L_{\mathrm{zero}}^{(i)}$ 计算归一化相对贡献度： $$s_{j \to i} = \frac{L^{(i)}_{\mathrm{zero}} - L^{(i)}_{j}}{L^{(i)}_{\mathrm{zero}} + \epsilon}$$ 该得分精确量化了源变量 $j$ 孤立提供预测收益的能力。而对于超大规模系统（$d \ge 1000$），逐对运行前向评估的开销高达 $\mathcal{O}(d^2)$，SCDM 直接使用学习到的绝对因果权重 $s_{j \to i} = |W_{j,i}|$ 作为结构读出（Structural Readout），其计算复杂度仅为 $\mathcal{O}(d^2)$ 矩阵读取，完全无需任何额外的网络前向计算。

损失函数 / 训练策略¶

在每个 meta-episode 中，支持集损失与查询集损失具有对称的形式。对于任务 $i$，其目标函数同时包含时序单步预测平方误差与入边因果强度列向量的稀疏正则项： $$\mathcal{L}_i^{\mathrm{sup}}(\Theta) = \frac{1}{|\mathcal{D}_i^{\mathrm{sup}}|} \sum_{(u_t, y_t^{(i)}) \in \mathcal{D}_i^{\mathrm{sup}}} \left\| f_\theta(\mathrm{vec}(\widetilde{H}_t^{(i)})) - y_t^{(i)} \right\|_2^2 + \lambda_W \| W_{:,i} \|_1$$ $$\mathcal{L}_i^{\mathrm{qry}}(\Theta_i') = \frac{1}{|\mathcal{D}_i^{\mathrm{qry}}|} \sum_{(u_t, y_t^{(i)}) \in \mathcal{D}_i^{\mathrm{qry}}} \left\| f_{\theta_i'}(\mathrm{vec}(\widetilde{H}_t^{(i)}(\Theta_i'))) - y_t^{(i)} \right\|_2^2 + \lambda_W \| W_i'_{:,i} \|_1$$ 全局元目标为采样批次 $\mathcal{B}$ 内所有任务查询损失的均值 $\mathcal{L}_{\mathrm{meta}} = \frac{1}{|\mathcal{B}|} \sum_{i \in \mathcal{B}} \mathcal{L}_i^{\mathrm{qry}}(\Theta_i')$。外层优化采用 Adam 优化器，学习率为 $\beta=0.001$，梯度被裁剪至单位 $\ell_2$ 范数。此外，自环边在整个训练期间被显式屏蔽（$W_{i,i}=0$），确保模型专注于跨变量因果发现。在理论层面，论文证明了有限误差恢复定理：在完全观测且无即时效应的延迟因果系统中，只要统计误差、元优化误差以及图读出误差之和小于总体分离边界的一半（$\epsilon_{\mathrm{tot}} < \Delta_{\min} / 2$），对读出得分设定阈值即可实现真实因果图的精确恢复。

实验关键数据¶

主实验¶

论文在受控合成基准（8 变量非线性系统 NC8）、Schaefer-100 脑区尺度的神经成像模拟（Simulated EEG 与 Simulated fMRI）上进行了因果图重构评估，对比了包括 UnCLe、PCMCI、TCDF、GVAR、CUTS+、cMLP 在内的多种先进时序因果发现方法。

数据集	指标	SCDM (Ours)	次优基线	提升 / 对比说明
NC8 ($d=8$)	AUROC ↑	0.916 ± 0.015	0.947 ± 0.014 (UnCLe)	次于 UnCLe，显著优于 PCMCI (0.909) 与 CUTS+ (0.795)
NC8 ($d=8$)	AUPRC ↑	0.704 ± 0.035	0.756 ± 0.080 (UnCLe)	排名第二，高于 PCMCI (0.594) 与 cMLP (0.524)
Sim. EEG ($d=100$)	AUROC ↑	0.717 ± 0.037	0.750 ± 0.004 (GVAR)	略低于 GVAR 与 PCMCI (0.743)，高于 TCDF (0.685)
Sim. EEG ($d=100$)	AUPRC ↑	0.476 ± 0.067	0.390 ± 0.018 (PCMCI)	提升 +0.086 (+22.1%)，显著领先所有基线
Sim. fMRI ($d=100$)	AUROC ↑	0.867 ± 0.006	0.661 ± 0.012 (UnCLe)	提升 +0.206 (+31.2%)，遥遥领先第二名
Sim. fMRI ($d=100$)	AUPRC ↑	0.728 ± 0.019	0.268 ± 0.006 (UnCLe)	提升 +0.460 (+171.6%)，展现断层式领先优势

在超大规模合成体素级 fMRI（$d=1000$，候选有向边 999,000 条，真实边 7,142 条）以及真实世界超大规模路网交通流数据集 LargeST-GLA-3000（$d=3000$，候选有向边 8,997,000 条）上，进一步开展了计算可行性与时间-精度权衡验证：

规模 / 数据集	评估项目	SCDM (Ours)	UnCLe	CUTS+	cMLP
Voxel fMRI ($d=1000, 800\text{s}$)	AUROC / AUPRC 富集倍数	0.645 / 4.01×	0.541 / 1.53×	0.586 / 1.36×	超时 / 无法在固定预算下运行
LargeST-GLA-3000 ($d=3000$)	运行结果 / 耗时 / 显存	完成 / 56.96s / 6.9GB	OOM / 349.25s / 15.6GB	超时 (>4800s) / 72.7GB	超时 (>4800s) / 38.1GB

消融实验¶

论文在包含 100 个变量的 Simulated fMRI 基准上对核心组件与超参数进行了严谨消融：

配置 / 变体	任务采样数 $B$	共享结构矩阵 $W$	AUROC ↑	AUPRC ↑	F1 ↑	SHD ↓	训练耗时 (s) ↓
任务批次消融	$B=10$	✓	0.819 ± 0.007	0.656 ± 0.017	0.541	841.2	226.9 (9.0× 加速)
完整 SCDM	$B=32$	✓	0.867 ± 0.006	0.728 ± 0.019	0.675	770.6	668.4 (3.1× 加速)
任务批次消融	$B=64$	✓	0.822 ± 0.007	0.680 ± 0.012	0.588	785.2	1301.0 (1.6× 加速)
全变量更新	$B=100$	✓	0.747 ± 0.008	0.552 ± 0.015	0.392	1020.8	2049.9 (1.0× 基准)
去除任务子采样	全量更新	✓	0.747 ± 0.008	0.552 ± 0.015	0.392	1020.8	2049.9
去除共享 $W$ (仅纯 MLP)	$B=32$	✗	0.732 ± 0.012	0.390 ± 0.022	0.401	1486.0	—

此外，在未见目标变量的泛化适应测试中，完整 SCDM 的查询集 MSE 为 3.782，比联合多任务学习（Joint MTL，4.305）降低了 12.1%，比无内循环适应的偶发变体（$K=0$，5.487）降低了 31.1%。在读出方式消融中，Simulated fMRI 上直接使用 $|W|$ 的 AUPRC（0.728）优于单源隔离扰动（0.693），而在 Simulated EEG 上单源隔离扰动的 AUPRC 更优（0.476 vs 0.426）。

关键发现¶

任务子采样的正则化增益：将每轮更新的目标任务数从全量 $B=100$ 缩减至 $B=32$ 不仅带来了 3.1 倍的训练加速，因果恢复指标更是大幅跃升（AUPRC 从 0.552 提高到 0.728，SHD 从 1020.8 下降至 770.6）。这证明随机子采样不仅是降低计算复杂度的工程技巧，还能有效打破变量间的过拟合与局部极值耦合。
共享拓扑矩阵 $W$ 不可或缺：若仅使用共享 MLP 尝试直接提取因果效应，AUPRC 暴跌至 0.390（相对下降 46.4%），SHD 激增近一倍至 1486.0，证明显式的变量级门控矩阵 $W$ 是捕获可信因果图结构的核心承载体。
极佳的高维资源边界：在拥有近 900 万条候选边的 3000 传感器交通网络上，现有基线或面临 GPU OOM 崩溃，或运行超过 80 分钟未收敛，而 SCDM 仅耗费 6.9 GB 显存并在 57 秒内即完成了全量有向图分数的计算。

亮点与洞察¶

多任务视角的动力学统一：将多元时序预测中的各变量解构为元学习中的并列任务，把复杂的全局组合搜索问题转化为易于梯度的连续参数元优化，这一视角极具普适性与工程优雅度。
训练开销与系统变量规模的解耦：利用 $B$ 变量子采样将单步反向传播代价与 $d$ 变量解耦，彻底打破了传统 Granger 因果方法在变量数过千后不可计算的死穴。
后训练得分读出方式的灵活权衡：在中低维精度优先时采用单源隔离扰动以捕获精细的边级非线性收益，在超高维效率优先时切换为 $|W|$ 直接读取，兼顾了理论忠实性与极端场景的落地可行性。

局限与展望¶

因果充分性假设的脆弱性：方法理论建立在完全观测且无未观测混杂因子的假设之上。当存在驱动多个观测变量的隐藏混淆因子时，相关非因果边得分会被系统性抬升（在 NC8 极端共线性压力测试中非因果边出现逆序），未来需结合潜变量生成机制或不变因果预测进一步约束。
滞后阶数预先固定：模型目前依赖人工设定的全局固定滞后阶数 $p$，无法自适应处理多尺度或异质长短滞后效应。
即时因果效应未建模：基于 Granger 因果假设排除了同一时间步内的瞬时有向作用，在时间采样粒度较粗的数据上可能存在因果遗漏。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将元学习范式成功迁移至高维时序因果发现，任务子采样与解耦读出机制设计巧妙]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖小规模合成、生理级 fMRI/EEG、1000 变量高维模拟以及 3000 节点真实路网，消融与压力测试极其完备]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨闭环，理论定理与有限误差界推导完备，实验指标与资源分析详尽]
价值: ⭐⭐⭐⭐⭐ [彻底打通了千变量级非线性因果发现的算力瓶颈，对神经科学与工业级时序网络具有重大应用价值]

数据集	指标	SCDM (Ours)	次优基线	提升 / 对比说明
NC8 (\(d=8\))	AUROC ↑	0.916 ± 0.015	0.947 ± 0.014 (UnCLe)	次于 UnCLe，显著优于 PCMCI (0.909) 与 CUTS+ (0.795)
NC8 (\(d=8\))	AUPRC ↑	0.704 ± 0.035	0.756 ± 0.080 (UnCLe)	排名第二，高于 PCMCI (0.594) 与 cMLP (0.524)
Sim. EEG (\(d=100\))	AUROC ↑	0.717 ± 0.037	0.750 ± 0.004 (GVAR)	略低于 GVAR 与 PCMCI (0.743)，高于 TCDF (0.685)
Sim. EEG (\(d=100\))	AUPRC ↑	0.476 ± 0.067	0.390 ± 0.018 (PCMCI)	提升 +0.086 (+22.1%)，显著领先所有基线
Sim. fMRI (\(d=100\))	AUROC ↑	0.867 ± 0.006	0.661 ± 0.012 (UnCLe)	提升 +0.206 (+31.2%)，遥遥领先第二名
Sim. fMRI (\(d=100\))	AUPRC ↑	0.728 ± 0.019	0.268 ± 0.006 (UnCLe)	提升 +0.460 (+171.6%)，展现断层式领先优势

规模 / 数据集	评估项目	SCDM (Ours)	UnCLe	CUTS+	cMLP
Voxel fMRI (\(d=1000, 800\text{s}\))	AUROC / AUPRC 富集倍数	0.645 / 4.01×	0.541 / 1.53×	0.586 / 1.36×	超时 / 无法在固定预算下运行
LargeST-GLA-3000 (\(d=3000\))	运行结果 / 耗时 / 显存	完成 / 56.96s / 6.9GB	OOM / 349.25s / 15.6GB	超时 (>4800s) / 72.7GB	超时 (>4800s) / 38.1GB

配置 / 变体	任务采样数 \(B\)	共享结构矩阵 \(W\)	AUROC ↑	AUPRC ↑	F1 ↑	SHD ↓	训练耗时 (s) ↓
任务批次消融	\(B=10\)	✓	0.819 ± 0.007	0.656 ± 0.017	0.541	841.2	226.9 (9.0× 加速)
完整 SCDM	\(B=32\)	✓	0.867 ± 0.006	0.728 ± 0.019	0.675	770.6	668.4 (3.1× 加速)
任务批次消融	\(B=64\)	✓	0.822 ± 0.007	0.680 ± 0.012	0.588	785.2	1301.0 (1.6× 加速)
全变量更新	\(B=100\)	✓	0.747 ± 0.008	0.552 ± 0.015	0.392	1020.8	2049.9 (1.0× 基准)
去除任务子采样	全量更新	✓	0.747 ± 0.008	0.552 ± 0.015	0.392	1020.8	2049.9
去除共享 \(W\) (仅纯 MLP)	\(B=32\)	✗	0.732 ± 0.012	0.390 ± 0.022	0.401	1486.0	—