Controlling for Omitted Variable Bias in Deep Neural Networks¶

会议: NeurIPS 2026
arXiv: 2608.25930
代码: https://github.com/mpff/cocodeel
领域: 因果推理
关键词: 遗漏变量偏差, 捷径学习, 广义加性模型, 交叉拟合, 混杂控制

一句话总结¶

将深度学习中的捷径学习形式化为经典统计学中的遗漏变量偏差，通过冻结主干并对最后一层执行带岭正则化和交叉拟合的加性控制变量重拟合，实现了直接图像效应的无偏估计与边缘化反混杂预测。

研究背景与动机¶

深度神经网络（DNN）在医疗影像、神经科学及生物医学高风险场景中常依赖输入数据中潜藏的敏感或混杂协变量（如年龄、性别、采集设备、扫描站点）进行预测，这种现象在机器学习中被称为捷径学习（shortcut learning）。在神经影像预测酒精滥用等临床任务中，模型往往将图像表征中可推断出的性别或年龄特征误当成疾病病理改变，使在训练集上高准确率的模型无法外推至真实人群，且严重破坏了模型的科学假设检验能力。经典统计学与计量经济学早已通过控制变量法解决此类遗漏变量偏差（Omitted Variable Bias, OVB），但此类方法在深度学习领域鲜少得到原则性应用。

这种失效的核心矛盾在于：现有深度学习去混杂与公平性方法大多聚焦于消除模型预测与混杂变量之间的统计相关性（如对抗训练、正交化或后处理去回归），但这在数学上仅能移除混杂因素介导的效应，不仅无法消除遗漏变量偏差，反而在协变量直接影响输出时加剧偏差。另一方面，直接端到端联合训练图像特征与协变量的神经加性模型（NAM）或半结构化网络（SSN）在小样本或高维表征下面临严重的共曲性（concurvity）难题——神经网络表征极强的插值能力导致图像效应与协变量效应在代数上不可辨识。

本文的切入角度是：将神经网络最后一层视为主干提取表征上的线性加性基，将捷径学习形式化为广义加性模型框架下的遗漏变量偏差，并通过约束参数自由度与样本分割破除共曲性。核心 idea：通过将协变量显式、加性地引入预训练 DNN 的最后一层，采用样本分割/交叉拟合与岭正则化闭式求解控制变量加性模型，在避免共曲性病态的同时无偏估计输入的直接效应，并借助协变量经验分布边缘化实现无偏预测。

方法详解¶

整体框架¶

本文方法的流水线包含三个主要阶段：首先，利用样本分割或 \(K\) 折交叉拟合在训练折上微调深度网络主干以提取高维特征表示；其次，在独立的重拟合折上，将网络最后一层与显式协变量（线性或样条基）联合构建为部分线性广义加性模型，利用残差投影算子消除协变量影响并通过岭回归解析求解最后一层权重；最后，根据下游需求选择直接效应、正交化残差效应，或通过对协变量先验分布求期望执行边缘化预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据 (图像 X, 协变量 Z, 标签 Y)"] --> B["阶段 1：交叉拟合主干特征抽取<br/>K 折划分保证特征提取器与重拟合样本外生独立"]
    B --> C["阶段 2：部分线性加性模型与平滑投影<br/>构建协变量平滑矩阵 S_Z 与中心化残差算子 M_Z"]
    C --> D["阶段 3：带岭惩罚的最后一层闭式解<br/>在残差空间求解最后一层直接效应参数 β_X"]
    D --> E{"下游任务目标判断"}
    E -->|科学假说检验| F["直接效应与残差效应分解<br/>输出无偏直接效应 f_X 或去介导残差效应 f_X^re"]
    E -->|去偏模型部署| G["协变量分布边缘化预测<br/>遍历训练/目标协变量经验分布积分消除 OVB"]

关键设计¶

1. 交叉拟合主干特征抽取：阻断自生内生性以保证渐近一致性

当神经网络主干网络 \(\hat{\phi}\) 与最后一层参数在完全相同的样本上联合训练时，特征抽取器会记忆并过度拟合当前折的数据分布，破坏统计推断中的外生性假设，导致普通最小二乘或岭估计产生不可忽略的样本内偏差。为保证效应估计的统计一致性，本文引入双重/去偏机器学习（Double/Debiased Machine Learning）中的样本分割与 \(K\) 折交叉拟合框架。数据被划分为 \(K\) 个互斥子集 \(\{\mathcal{D}_k\}_{k=1}^K\)；对于每个折 \(k\)，主干网络 \(\hat{\phi}_{-k}\) 仅在其余折 \(\mathcal{D}_{-k}\) 上训练，随后在保持主干冻结的状态下，仅利用折内数据 \(\mathcal{D}_k\) 计算最后一层的特征矩阵 \(\boldsymbol{\Phi}_k\) 和协变量矩阵 \(\boldsymbol{Z}_k\) 并进行重拟合。最终预测值和效应分量由各折模型集成求平均，并通过全样本中心化消除常数项偏移：

\[ \hat{\eta}(X, Z) = \frac{1}{K}\sum_{k=1}^K \Big(\hat{\beta}_{0,k} + \hat{\phi}_{-k}(X)^{\top}\boldsymbol{\hat{\beta}}_{X,k} + \hat{f}_{Z,k}(Z)\Big) \]

该机制从根本上解耦了复杂主干表征学习与低维参数识别，理论证明在惩罚项满足 \(\lambda_n / n \to 0\) 时，估计系数 \(\boldsymbol{\hat{\beta}}_X(\lambda_n)\) 依概率收敛于最小 \(\ell_2\) 范数总体真值参数 \(\boldsymbol{\beta}_X^\circ\)。

2. 部分线性加性模型与平滑投影：基于残差生成算子分离协变量干扰

端到端同时优化全量网络参数与协变量权重在样本量不足时会诱发严重的共曲性（concurvity），即神经网络能够通过复杂的非线性映射在有限样本上完美插值出协变量的函数曲线，使图像效应与协变量效应在损失函数曲面上退化为不可辨识的平坦方向。针对该痛点，本文将问题形式化为半参数部分线性加性模型（Partial Linear Model），将图像效应约束在预训练特征的高维线性空间 \(f_X(X) = \boldsymbol{\tilde{\phi}}^{\top}\boldsymbol{\beta}_X\)，协变量效应 \(f_Z(Z)\) 则通过灵活的平滑矩阵 \(\boldsymbol{S}_Z\) 建模。针对中心化响应向量 \(\boldsymbol{\tilde{y}}\) 和中心化特征矩阵 \(\boldsymbol{\tilde{\Phi}}\)，定义中心化平滑算子 \(\boldsymbol{\tilde{S}}_Z = (\boldsymbol{I}_n - \boldsymbol{1}_n\boldsymbol{1}_n^{\top}/n)\boldsymbol{S}_Z\) 以及正交残差生成矩阵 \(\boldsymbol{\tilde{M}}_Z = \boldsymbol{I}_n - \boldsymbol{\tilde{S}}_Z\)。通过应用 Frisch-Waugh-Lovell 式的正交投影分解，将协变量的非参数影响从因变量和图像特征空间中同时滤除，直接把多元加性估计转化为在投影残差空间中的回归问题。

3. 带岭惩罚的最后一层闭式解：稳定过参数化表征下的效应估计

在深度特征维度 \(q\) 接近甚至超过样本量 \(n\) 的实际场景下，投影矩阵 \(\boldsymbol{\tilde{\Phi}}^{\top}\boldsymbol{\tilde{M}}_Z\boldsymbol{\tilde{\Phi}}\) 往往出现数值奇异或秩亏，直接求逆会导致估计方差急剧发散。本文在正交残差最小二乘目标中引入 \(\ell_2\) 岭正则化项，构建受控的凸优化目标：

\[ \boldsymbol{\hat{\beta}}_{X}(\lambda) = \argmin_{\boldsymbol{\beta}_X \in \mathbb{R}^q} \|\boldsymbol{\tilde{M}}_Z \boldsymbol{\tilde{y}} - \boldsymbol{\tilde{M}}_Z \boldsymbol{\tilde{\Phi}} \boldsymbol{\beta}_X\|^2 + \lambda \|\boldsymbol{\beta}_X\|^2 \]

由于投影算子 \(\boldsymbol{\tilde{M}}_Z\) 满足对称幂等性质 \(\boldsymbol{\tilde{M}}_Z = \boldsymbol{\tilde{M}}_Z^2 = \boldsymbol{\tilde{M}}_Z^{\top}\)，该优化问题存在确定性解析闭式解：

\[ \boldsymbol{\hat{\beta}}_{X}(\lambda) = \big(\boldsymbol{\tilde{\Phi}}^{\top}\boldsymbol{\tilde{M}}_Z\boldsymbol{\tilde{\Phi}} + \lambda \boldsymbol{I}_q\big)^{-1} \boldsymbol{\tilde{\Phi}}^{\top}\boldsymbol{\tilde{M}}_Z \boldsymbol{\tilde{y}} \]

代入后协变量效应向量亦能直接通过残差平滑得出 \(\boldsymbol{\hat{f}}_Z = \boldsymbol{\tilde{S}}_Z(\boldsymbol{\tilde{y}} - \boldsymbol{\tilde{\Phi}}\boldsymbol{\hat{\beta}}_X)\)。对于正则化参数 \(\lambda\)，沿对数网格构建 glmnet 式正则化路径并根据验证折损失自适应选取最优超参，兼顾了解析求解的高效性与高维特征下的数值鲁棒性。针对二分类等广义线性输出，该机制无缝嵌套在迭代重加权最小二乘（IRLS）中快速交替收敛。

4. 协变量效应分解与边缘化预测：适配科学假设检验与部署去偏的双轨机制

传统相关性去偏方法（如对抗学习或后验正交化）盲目追求预测与协变量 \(Z\) 均值独立（\(\mathbb{E}_{X|Z}[\hat{f}(X)|Z]=0\)），本文从因果图路径推导证明其必然估计的是残差效应 \(f_X^{\mathrm{re}}(X|Z) = f_X(X) - \mathbb{E}_{X|Z}[f_X(X)|Z]\)，粗暴剔除了图像中由协变量驱动但具有真实生理学因果意义的介导效应，且在存在直接协变量效应时依然饱受遗漏变量偏差困扰。本文提出的模型则支持清晰的双轨机制：一方面，研究者可自由选择输出直接效应 \(f_X(X)\) 或利用残差算子输出纯净残差效应 \(\boldsymbol{\hat{f}}_X^{\mathrm{re}}(\lambda) = \boldsymbol{\tilde{M}}_Z\boldsymbol{\tilde{\Phi}}\boldsymbol{\hat{\beta}}_X(\lambda)\)；另一方面，在实际部署中若需对测试样本给出脱敏预测，本文采用因果推断中的“do-操作”理念，提出对协变量边缘分布求积分的边缘化预测：

\[ \hat{y}^{*}_{\mathrm{control}} = \int \hat{\mathbb{E}}[Y \mid X = \boldsymbol{X}^*, Z = z]\, p(z)\,\mathrm{d}z \approx \frac{1}{N_{\mathrm{train}}} \sum_{i=1}^{N_{\mathrm{train}}} \hat{\mathbb{E}}[Y \mid X = \boldsymbol{X}^*, Z = \boldsymbol{z}_i] \]

这一机制使得模型既可适配训练集协变量分布，亦可在面临数据集协变量偏移（Dataset Shift）时无缝替换为目标测试集分布 \(p_{\mathrm{test}}(z)\)，实现更具鲁棒性的外推。

损失函数 / 训练策略¶

训练采用两阶段分步策略： 1. 主干预训练/微调：采用 Adam 优化器，在连续标签下使用均方误差损失，在二分类任务下使用加权交叉熵损失。学习率设置带 Plateau 学习率衰减调度（衰减因子 0.5–0.8，patience 5–6 次迭代），配合早停（early stopping）防止过拟合。 2. 最后一层岭回归路径求解：在固定主干参数后，提取特征维度 \(q\)，生成候选惩罚网格 \(\Lambda = \{\lambda_{\max}, \dots, \lambda_{\min}\}\)。其中最大惩罚设为特征矩阵谱范数的平方 \(\lambda_{\max} = \|\boldsymbol{\Phi}\|_2^2\)，最小惩罚在 \(q>n\) 时设为 \(10^{-3}\lambda_{\max}\)，在 \(q<n\) 时设为 \(10^{-6}\lambda_{\max}\)。在线性模型下遍历 100 个对数均匀间隔的 \(\lambda\) 并由验证集均方预测误差（MSPE）决出最优 \(\hat{\lambda}\)；在二分类模型下，外层通过 IRLS 动态更新工作变量 \(y_i^*\) 与对角权重 \(w_i = \hat{\mu}_i(1-\hat{\mu}_i)\)，迭代更新至系数变化绝对量低于 \(10^{-2}\)。

实验关键数据¶

主实验¶

在受控合成数据集（评估对真实直接效应 \(f_X\) 的恢复精度，度量指标为测试集均方预测误差 \(\text{MSPE}(f_X)\)，含偏差-方差分解）以及真实英国生物样本库（UK Biobank）脑部 T1 加权结构核磁共振（sMRI）预测酒精滥用任务中（评估在合成年龄混杂 \(\beta_{\mathrm{age}}=-2\) 下，于年龄平衡测试集上的分类 AUC），对比各方法性能。

评估任务 / 数据集	评估指标	本文方法 (DNN w/ Controls, K=2/3)	无控制基线 (Base DNN)	对抗/后处理去偏 (Post-hoc Orthogonal / SSN)	优势提升 / 效应分析
合成图像数据 (\(\beta_Z=1\), \(N_{\text{train}}=6400\))	\(\text{MSPE}(\hat{f}_X)\)	0.031	0.495	0.512 (无法消除 OVB)	误差下降 93.7%，偏差项完全收敛至 0
合成图像数据 (\(\beta_Z=3\), \(N_{\text{train}}=6400\))	\(\text{MSPE}(\hat{f}_X)\)	0.034	4.380	4.410 (偏差随 \(\beta_Z^2\) 激增)	消除随协变量强度扩大的 OVB 偏差
UK Biobank 年龄平衡训练 (\(\beta_{\text{age}}=0\))	Test AUC	0.701 (K=3)	0.702	0.695 (SSN/PHO)	在无偏基准下与全数据基准保持一致
UK Biobank 年龄混杂训练 (\(\beta_{\text{age}}=-2\))	Test AUC	0.688 (K=3)	0.618	0.642 (去偏后信号损耗)	AUC 恢复 +0.070，几乎挽回混杂导致的全部性能塌陷

消融实验¶

在 UK Biobank 混杂环境（\(\beta_{\text{age}}=-2\)）及合成数据集中，系统验证样本分割机制、交叉拟合折数 \(K\) 以及最后一层重拟合策略对反混杂恢复能力的影响：

实验配置	Test AUC (UK Biobank 混杂)	\(\text{MSPE}(\hat{f}_X)\) 渐近偏差	说明
本文完整模型 (Cross-fit K=3, 边缘化预测)	0.688 ± 0.012	0.00 (无偏渐近收敛)	折间方差最小，恢复最接近平衡金标准
Cross-fit K=2 (双折轮转交叉拟合)	0.679 ± 0.021	0.00 (无偏渐近收敛)	充分利用全数据，方差略高于 K=3
单次样本分割 (Sample-split 1:1)	0.654 ± 0.028	0.00 (无偏收敛，方差大)	样本量减半导致主干表征学习受限
无样本分割 (No split，同数据重拟合)	0.631 ± 0.025	存在内生过拟合偏差	主干特征非外生，无法彻底矫正 OVB
端到端神经加性模型 (NAM 联合 SGD 训练)	0.635 ± 0.031	有限样本下受共曲性干扰	小样本下参数不可辨识，收敛速度极慢
后验正交化 (Post-hoc Orthogonalization)	0.642 ± 0.019	渐近非零常数偏差	仅能去除介导效应，无法消除直接 OVB

关键发现¶

样本分割是统计无偏的刚性前提：在无分割情况下，主干直接记忆重拟合数据，导致岭估计系数无法满足一致性定理；采用 \(K=2\) 或 \(K=3\) 交叉拟合能完美兼顾样本利用率与外生独立性，消除了样本减半带来的有效特征学习能力下降。
相关性去偏并不等于消除遗漏变量偏差：对抗训练与后验正交化方法虽然在经验上实现了预测结果与协变量在均值意义上的解耦（\(\mathbb{E}[\hat{y}|Z]=0\)），但其本质是将介导效应一并丢弃，其估计量在存在协变量直接效应时依然携带非零残存 OVB，其误差随协变量效应强度 \(\beta_Z\) 的平方线性增长。
对噪声协变量呈现优雅的退化鲁棒性：当控制变量存在测量误差时，估计偏差在无噪渐近收敛与完全失控基线之间连续平滑插值，且方差基本保持不变，展现了良好的实用稳定性。

亮点与洞察¶

将深度捷径学习归结于经典计量经济学范式：首次将现代深度学习中普遍存在的捷径学习与经典回归分析中的遗漏变量偏差（OVB）建立严格同构映射，跳出了一味做表征对抗的启发式怪圈，为可解释可信 AI 引入了成熟的统计学工具箱。
巧妙利用最后一层线性结构破解非线性共曲性：没有直接尝试在端到端数百万参数网络上施加复杂的不可辨识性约束，而是洞察到深度神经网络最后一层本质上是神经基函数（Neural Basis）上的线性可加模型，通过限制参数搜索空间在闭式投影下解析求解，既规避了共曲性陷阱，又无需增加复杂的超参调节。
兼顾因果解释与分布自适应预测：通过对协变量经验分布进行边缘化积分，使模型不仅能用于提取纯净科学信号进行假说检验，还能在实际测试场景存在协变量偏移时动态换用目标环境先验，提供了极具临床部署价值的去偏接口。

局限与展望¶

强依赖混杂协变量的可观测性假设：与经典控制变量法相同，该框架严格假设所有混杂协变量 \(Z\) 均已被记录并可直接建模。若现实中存在完全未被采集的隐变量混杂，方法将无法消除对应的 OVB。
受限于特征主干的表达容量瓶颈：最后一层的重拟合上限取决于冻结主干所抽取的特征子空间张成能力。若预训练阶段网络因极端混杂完全丢失了因果相关特征维度，投影重拟合仅能在有缺陷的子空间内求取次优投影。
暂未显式建模输入与协变量的非线性交互项：当前核心假设基于主效应加性可分形式（Additive Model），未来工作需进一步拓展至包含高阶交互作用（\(X \times Z\) Interaction Effects）的多模态广义加性神经网络。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从统计学加性模型与遗漏变量偏差视界完整重构了深度学习捷径学习的理论与解法。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖理论证明、合成图像多维消融（维度、噪声、非线性样条）以及真实 UK Biobank 脑部 3D MRI 大规模实验。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，因果与统计概念厘定清晰，论证层层递进。
价值: ⭐⭐⭐⭐⭐ 为高可靠医学图像假说检验、算法公平性与可解释神经科学研究提供了理论坚实且极易落地的标准工具。