Covariate-Adjusted Deep Causal Learning for Heterogeneous Panel Data Models

会议: NeurIPS 2026
arXiv: 2505.20536
代码: https://github.com/OxCGRT
领域: 因果推断 / Causal Inference
关键词: 因果面板数据模型, 反事实估计, 异质性处置效应, 矩阵补全, 非线性因子模型

一句话总结

本文提出了协变量调整深度因果学习框架（CoDEAL），通过前馈深度神经网络剔除复杂的非线性协变量混杂效应，并结合多输出自编码器挖掘面板数据中的非线性潜因子结构，在交错采用设计下实现了高精度的反事实缺失插补与个体异质性 ATT 估计。

研究背景与动机

因果面板数据（Panel Data）分析在经济学、政策评估、生物医学与社会科学中至关重要。由于因果推断的基本难题，每个个体在每个时间点只能观测到受处置或未受处置状态中的一种，使得反事实估计在本质上成为一种矩阵补全任务。然而，在现实政策落地常见的交错采用设计（Staggered Adoption Design）中，不同个体会于不同时期逐步、不可逆地接受处置，导致潜在结果矩阵中的缺失呈现块状非随机缺失（MNAR）结构。若盲目套用假设随机缺失（MAR）的传统矩阵补全方法，必然引入严重偏差；同时，面板中普遍存在横截面与时间维度的双重依赖，以及个体间的固有异质性，极易扭曲因果效应的识别。

现有因果矩阵补全与综合控制类方法面临三重瓶颈：首先，以合成控制（SCM）、双重差分（DiD）或低秩矩阵补全（MC-NNM）为代表的主流范式，通常依赖严格的线性因子或平行趋势假设，难以拟合高维观测中复杂的非线性交互与动力学；其次，现有文献大多聚焦于群体层面的平均处置效应（ATE/ATT），忽视了个体对政策响应的异质性（Heterogeneous Treatment Effects）；最后，当外部协变量同时对结果产生非线性、异质且随时间变化的混杂影响时，传统模型缺乏有效的非参数解耦机制，使得反事实推断与因果效应估计容易产生混淆。

本文的切入点在于将半参数非线性分解引入面板矩阵补全中，把观测结果解构为非线性时间变化协变量效应与非线性潜因子交互效应之和，并通过交错采用的时间块递归构造，将复杂的块状缺失转化为可精准求解的四块子问题。核心 idea：利用前馈深度神经网络（DNN）非参数化剔除随时间变化的非线性协变量混杂，再通过共享编码器与个体特异性解码器的多输出自编码器（Multi-Output AE）从非随机缺失面板中恢复非线性潜因子，实现无偏反事实插补与个体级异质性处置效应估计。

方法详解

整体框架

在面板数据中，包含 \(N\) 个单元和 \(T\) 个时间周期，每个单元 \(i\) 具备 \(P\) 维外生协变量 \(\mathbf{X}_i \in \mathbb{R}^P\)。定义潜在结果为 \(Y_{it}(1)\) 与 \(Y_{it}(0)\)，处置指示变量为 \(W_{it} \in \{0, 1\}\)。CoDEAL 将观测结果表征为如下统一的非线性潜在因子模型：

\[Y_{it} = \phi_i^\star(\mathbf{F}_t^\star) + g_t^\star(\mathbf{X}_i) + \tau_i^\star \cdot \mathbf{1}\{W_{it} = 1\} + \varepsilon_{it}\]

其中 \(\mathbf{F}_t^\star \in \mathbb{R}^K\) 为 \(K\) 维潜在公共时间因子，\(\phi_i^\star(\cdot): \mathbb{R}^K \to \mathbb{R}\) 为个体特异的非线性因子载荷函数，\(g_t^\star(\cdot): \mathbb{R}^P \to \mathbb{R}\) 为时间特异的非线性协变量影响函数，\(\tau_i^\star = \mathbb{E}_t[Y_{it}(1) - Y_{it}(0) \mid W_{it}=1]\) 为个体异质性处置效应（ATT），\(\varepsilon_{it}\) 为零均值亚高斯噪声。

整个算法流程分为三步：第一步，利用未受处置的观测数据，通过深度前馈网络分期拟合协变量函数 \(\widehat{g}_t(\cdot)\)，计算协变量调整后的残差矩阵；第二步，在交错采用设计的子块上，利用多输出自编码器以共享编码器拟合潜因子、多路独立解码器拟合个体异质载荷，完成非随机缺失下的反事实补全；第三步，聚合各时期的插补差值计算各个体的最终 ATT \(\widehat{\tau}_i\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入观测矩阵 Y、协变量 X、处置掩码 Ω"] --> Step1["深度非线性协变量剥离<br/>在未处置样本上拟合 g_t(X_i)"]
    Step1 --> Res["协变量调整残差<br/>Ỹ_it = Y_it - ĝ_t(X_i)"]
    Res --> Step2["多输出自编码器因子提取<br/>共享编码器 ρ(·) + 个体独立解码器 ϕ_i(·)"]
    Step2 --> Step3["四块递归因果矩阵补全<br/>按交错时间顺序迭代插补反事实 Ŷ_it(0)"]
    Step3 --> Out["计算个体异质处置效应<br/>τ̂_i = ∑ (Y_it(1) - Ŷ_it(0)) / ∑ W_it"]

关键设计

1. 深度非线性协变量剥离：在控制组上独立拟合时间特异的非线性映射

传统面板模型要么假定协变量以固定线性参数 \(\mathbf{X}_i^\top \boldsymbol{\beta}\) 影响结果，要么无法兼顾时间异质性与非线性形态。为避免处置效应对协变量关系的污染，CoDEAL 在每个时间周期 \(t\) 仅利用当前处于未受处置状态的单元 \(\{i: W_{it}=0\}\)，通过深度 ReLU 网络构建经验风险最小化估计器：

\[\widehat{g}_t(\cdot) = \arg\min_{g_t \in \mathcal{G}_P^1(L, \mathbf{d}, B, C)} \sum_{i: W_{it}=0} \left( Y_{it} - g_t(\mathbf{X}_i) \right)^2\]

通过深层网络的函数逼近能力，该步骤不仅能够精确剥离高度非线性（如对数、多项式、周期或分段线性）的混杂影响，还能随时间周期 \(t\) 动态调整函数参数，得到纯净的协变量调整观测残差 \(\widetilde{Y}_{it} = Y_{it} - \widehat{g}_t(\mathbf{X}_i)\)，将后续的因果推断解耦为纯因果潜因子模型的矩阵补全。

2. 多输出自编码器因子提取：兼顾公共潜在动力学与个体异质性响应

剔除协变量后，残差项 \(\widetilde{Y}_{it} \approx \phi_i^\star(\mathbf{F}_t^\star) + \varepsilon_{it}\) 具有非线性低秩因子结构。单输出自编码器因强制所有单元共享同一解码器（即 \(\phi_1 = \dots = \phi_N\)），完全抹杀了单元间的结构异质性；而传统主成分分析（PCA）又受限于线性内积假设。CoDEAL 采用不对称的多输出自编码器架构：由单一共享深度网络作为编码器 \(\rho(\cdot): \mathbb{R}^N \to \mathbb{R}^{K_1}\)（\(K_1 \ge K\)），将各时期的横截面观测残差列向量压缩为低维公共潜因子表征；随后引入 \(N\) 个互相独立的深度网络作为单输出解码器 \(\phi_i(\cdot): \mathbb{R}^{K_1} \to \mathbb{R}\)，分别表征每个个体的非线性载荷响应：

\[(\widehat{\phi}_1, \dots, \widehat{\phi}_N) \circ \widehat{\rho}(\cdot) = \arg\min_{(\phi_1, \dots, \phi_N) \circ \rho \in \mathcal{G}_{\text{AE}}^{K_1}} \sum_{(i,t): W_{it}=0} \left( \phi_i(\rho(\widetilde{\mathbf{Y}}_{\cdot t})) - \widetilde{Y}_{it} \right)^2\]

这种设计既利用了共享编码器在全截面样本中汇聚时间动态，又通过解耦的解码器网络保留了个体对隐因子的非线性异质敏感度，在理论上满足可逆性重构假设（Assumption 3），为非随机缺失提供了严密的逼近保障。

3. 四块递归因果矩阵补全：交错采用设计下的块规约与反事实重构

在非随机缺失的交错采用面板中，处置发生时间将数据矩阵分割为复杂的对角阶梯状。CoDEAL 将个体按接受处置的时间从晚到早（从未受处置到最先处置）重新排列，使得指示矩阵 \(\boldsymbol{\Omega}\) 划分成 \(r \times r\) 的网格块。对于任意待插补的受处置目标块 \((\xi_0, \eta_0)\)（其中 \(\xi_0 + \eta_0 > r + 1\)），算法自适应提取一个包含该块的 \(2 \times 2\) 四块子矩阵 \(\mathbf{Y}^{(\xi_0, \eta_0)}\)：

\[\mathbf{Y}^{(\xi_0, \eta_0)} = \begin{bmatrix} \mathbf{Y}_{\mathcal{A}_{(\xi_0, \eta_0)}}(0) & \mathbf{Y}_{\mathcal{B}_{(\xi_0, \eta_0)}}(0) \\ \mathbf{Y}_{\mathcal{C}_{(\xi_0, \eta_0)}}(0) & \mathbf{Y}_{\mathcal{D}_{(\xi_0, \eta_0)}}(1) \end{bmatrix}\]

其中块 \(\mathcal{A}\)、\(\mathcal{B}\)、\(\mathcal{C}\) 均来自在对应时期前尚未接受处置的控制观测，仅有块 \(\mathcal{D}\) 处于受处置状态。算法在全未处置块 \(\mathcal{A} \cup \mathcal{B} \cup \mathcal{C}\) 上训练多输出自编码器，并将估计出的潜因子与载荷投影至缺失块 \(\mathcal{D}\)，重构出反事实潜在结果 \(\widehat{Y}_{it}(0) = \widehat{\phi}_i(\widehat{\rho}(\widetilde{\mathbf{Y}}_{\cdot t})) + \widehat{g}_t(\mathbf{X}_i)\)。循环迭代所有受处置块后，汇总得到无偏的个体 ATT：

\[\widehat{\tau}_i = \frac{1}{\sum_{t} W_{it}} \sum_{t: W_{it}=1} \left[ Y_{it}(1) - \widehat{Y}_{it}(0) \right]\]

损失函数 / 训练策略

模型训练分为两阶段： 1. 协变量剥离阶段：在每个时期 \(t\) 对所有未处置样本以均方误差（MSE）训练独立前馈深度网络 \(\widehat{g}_t\)，采用 Adam 优化器，学习率为 \(10^{-3}\)，批量大小匹配控制样本量，网络采用全连接结构加 ReLU 激活，并设置权重上界约束 \(C\) 与截断上界 \(B\)。 2. 多输出自编码器拟合阶段：在构造出的未受处置四块区域上联合优化式 (6) 的重构误差。编码器与解码器均采用深度 ReLU 架构，潜因子瓶颈层维度设为 \(K_1 \ge K\)。为防止过拟合，对参数范数实施谱范数/有界约束。理论上，在 Hölder 光滑度指数 \(\beta\) 与样本规模约束下，反事实均方误差收敛速率达到：

\[\frac{1}{T_2 N_2} \sum_{t=T_1+1}^T \sum_{i=N_1+1}^N \mathbb{E}(\widehat{Y}_{it}(0) - \phi_i^\star(\mathbf{F}_t^\star) - g_t^\star(\mathbf{X}_i))^2 = O_{\mathbb{P}}\left( \left( T^{-\frac{2\beta}{2\beta+K}} + \frac{n}{T} + \frac{K_1}{N} + \frac{1}{n} \right) \log^4(NT) + N^{-\frac{2\beta}{2\beta+K}} \log^5 N \right)\]

实验关键数据

主实验

论文在四种仿真配置（Config.1: \(N=100, T=200, N_1=50, T_1=100, P=3, K=4\) 四块设计；Config.2: \(N=200, T=120, N_1=100, T_1=60, P=5, K=3\) 四块设计；Config.3/4: 交错采用设计 \(r \in \{5, 10\}\)）下进行了 50 次重复实验。评估指标为反事实插补的平均绝对误差（MAE）与均方误差（MSE）。下表展示在 Config.1 与 Config.2 下不同潜因子和协变量生成机制中各方法的表现（摘录真实均值与标准误）：

因子类型	协变量类型	指标	CoDEAL (本文)	MC-NNM (SOTA)	Single AE	Vert-Reg	DiD
Config. 1
Linear	Linear	MAE	0.646 (0.009)	0.699 (0.006)	0.821 (0.010)	0.757 (0.006)	0.892 (0.010)
Linear	Linear	MSE	0.722 (0.023)	0.895 (0.020)	1.320 (0.039)	0.957 (0.019)	1.587 (0.045)
Sine	tanh	MAE	1.117 (0.011)	1.231 (0.012)	1.250 (0.012)	1.208 (0.011)	1.272 (0.012)
Sine	tanh	MSE	2.238 (0.050)	2.610 (0.053)	2.705 (0.053)	2.736 (0.059)	2.785 (0.055)
ReLU MLP	tanh	MAE	0.838 (0.010)	0.892 (0.009)	1.026 (0.011)	0.958 (0.013)	0.963 (0.010)
ReLU MLP	tanh	MSE	1.217 (0.032)	1.453 (0.031)	1.845 (0.044)	1.544 (0.046)	1.616 (0.036)
Config. 2
Linear	Linear	MAE	0.609 (0.004)	0.650 (0.005)	0.777 (0.007)	0.761 (0.004)	0.810 (0.007)
Linear	Linear	MSE	0.622 (0.010)	0.736 (0.015)	1.147 (0.024)	0.936 (0.011)	1.262 (0.029)
Sine	tanh	MAE	0.945 (0.008)	1.153 (0.010)	1.185 (0.009)	1.054 (0.008)	1.234 (0.009)
Sine	tanh	MSE	1.593 (0.030)	2.305 (0.040)	2.458 (0.039)	1.935 (0.034)	2.650 (0.041)

消融与分析实验：协变量剔除方式对比 (LR vs. DNN)

论文在 Config.1 下严格对比了线性回归（LR）与前馈神经网络（DNN）剥离协变量对最终反事实估计的影响（如下表，截取 No covariate、Matrix Linear、tanh、log、poly 与 ReLU 协变量生成机制下的实测数值）：

协变量机制	因子机制	指标	LR 剥离	DNN 剥离 (CoDEAL)	性能变化
No covariate	Linear	MAE / MSE	0.560 (0.009) / 0.578 (0.028)	0.560 (0.009) / 0.578 (0.028)	基准持平
Matrix Linear	Linear	MAE / MSE	0.585 (0.013) / 0.615 (0.024)	0.646 (0.009) / 0.722 (0.023)	LR 略微占优（参数更少）
tanh	Linear	MAE / MSE	0.778 (0.008) / 1.168 (0.029)	0.701 (0.008) / 0.871 (0.031)	MAE ↓9.9%, MSE ↓25.4%
tanh	Sine	MAE / MSE	1.142 (0.013) / 2.366 (0.059)	1.080 (0.013) / 2.175 (0.059)	MAE ↓5.4%, MSE ↓8.1%
log	Linear	MAE / MSE	1.020 (0.006) / 1.873 (0.026)	0.905 (0.010) / 1.517 (0.030)	MAE ↓11.3%, MSE ↓19.0%
poly	Linear	MAE / MSE	0.833 (0.007) / 1.290 (0.028)	0.715 (0.007) / 0.913 (0.035)	MAE ↓14.2%, MSE ↓29.2%
ReLU	Linear	MAE / MSE	0.946 (0.009) / 1.702 (0.042)	0.717 (0.008) / 0.916 (0.025)	MAE ↓24.2%, MSE ↓46.2%
ReLU	Sine	MAE / MSE	1.269 (0.013) / 2.817 (0.064)	1.121 (0.012) / 2.269 (0.054)	MAE ↓11.7%, MSE ↓19.5%

关键发现

• 非线性协变量剥离的决定性作用：当协变量以非线性形式（如 ReLU、poly、log、tanh）进入模型时，DNN 剥离相较于传统 OLS 线性剥离能使 MAE 降低 10%–25%，MSE 降低达 20%–46%。而在真实效应严格线性时，LR 仅以微弱优势优于 DNN，表明 DNN 调整具备极强的鲁棒性与广谱实用性。
• 多输出 AE 对个体异质性的捕捉能力：Single AE 将所有个体的解码器强制绑定，在所有实验配置下均显著劣于 CoDEAL（例如在 Config.1 ReLU MLP 因子下，Single AE 的 MSE 高达 1.845，而 CoDEAL 仅为 1.217），证实单路解码器无法刻画个体级异质因子载荷。
• 高阶交错缺失下的稳健性：在 Config.3 和 4 中，当采用阶段数 \(r\) 从 5 增至 10、缺失率大幅上升时，经典垂直回归（Vert-Reg）在 Config.3 Sine 因子下的 MSE 剧增至 15.689，而 CoDEAL 的 MSE 仅从 1.798 微增至 1.907，表现出卓越的结构稳定性。
• 真实数据应用（OxCGRT 政策评估）：在评估北美 64 个州/地区强制疫苗接种政策时，CoDEAL 估计显示若未推行强制接种，确诊病例将从实际 2657 万增至 2981 万（上升 12.2%），而累计死亡人数将从实际 39 万急增至 52 万（上升 34.6%），揭示了疫苗对重症死亡的抑制效能显著强于对轻症传播的阻断。

亮点与洞察

• 半参数分步因果学习框架：巧妙地将深度回归（解耦协变量混杂）与自编码器因果低秩分解（捕获时间-截面依赖）融合，既规避了端到端黑盒优化时的过拟合，又突破了经典核范数和低秩因子的线性桎梏。
• 多输出自编码器的结构化异质性建模：利用共享编码器捕捉面板中共通的时间潜在因子，同时赋予每个截面单元独立的解码器，以最自然的神经网络拓扑严密还原了计量经济学中的异质因子载荷模型。
• 块分解降维策略的普适迁移性：通过四块规约将任意复杂的非随机交错采用面板转译为标准自编码重构子问题，为高阶张量、空间面板数据的因果矩阵补全提供了标准算法范式。

局限与展望

• 处置变量局限于二元设置：目前 CoDEAL 仅支持二元单次处置与不可逆交错采用，无法直接适用于多重处置、连续剂量或包含治疗退出（Reversible Treatments）的动态面板。
• 未考虑处置效应的时变动态学：模型设定假定 \(\tau_i^\star\) 是时间静态的，当政策具有滞后效应、衰减效应或累积动态效应时，静态假设可能引入偏误。
• 未来扩展空间：可进一步将模型拓展为基于张量分解（Tensor Factorization）的三维因果面板模型，引入连续介入机制，并将网络解码器推广至图神经网络（GNN）以建模空间网络相关性。

相关工作与启发

• vs MC-NNM (Athey et al., 2021)：MC-NNM 依赖核范数正则化优化，假设全局低秩且基本面向无协变量或线性协变量设置；CoDEAL 引入深度非线性因子模型与非参数协变量剥离，在非线性数据生成机制下误差显著降低。
• vs Generalized Synthetic Control (Xu, 2017) / Factor Matrix Completion (Bai & Ng, 2021)：两者依赖线性主成分因子模型；CoDEAL 通过多输出自编码器扩展至非线性因子族，并建立了大维面板下的收敛率理论保障。
• vs AEMC-NE (Fan et al., 2024)：AEMC-NE 虽使用自编码器做矩阵补全，但其设计立足于随机缺失（MAR）；CoDEAL 针对因果推断中的非随机块状缺失（MNAR）设计了四块规约与无偏插补流程。

评分

• 新颖性: ⭐⭐⭐⭐☆ 首次将多输出自编码器与深度协变量剥离无缝融入非随机缺失的交错因果面板模型中。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种潜因子机制、6 种协变量生成机制、四块与交错采用多维对比，并有充分的实证数据支持。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，数学表述严密，从四块设计到交错采用的算法规约逻辑层次极佳。
• 价值: ⭐⭐⭐⭐☆ 为计量经济学与复杂政策评估提供了一套兼具非线性表现力与因果可解释性的强有力工具。

相关论文

• [ICLR 2026] Foundation Models for Causal Inference via Prior-Data Fitted Networks
• [ICLR 2026] Learning Exposure Mapping Functions for Inferring Heterogeneous Peer Effects
• [ICLR 2026] Characterization and Learning of Causal Graphs with Latent Confounders and Post-treatment Selection from Interventional Data
• [NeurIPS 2026] Towards Identifiable Latent Additive Noise Models
• [NeurIPS 2025] Differentiable Structure Learning and Causal Discovery for General Binary Data