Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias¶
会议: NeurIPS 2026
arXiv: 2606.14506
OpenReview: https://openreview.net/forum?id=tZ71MZ096G
领域: 因果推理
关键词: 部署前模型评估, 协变量偏移, 选择性标签, 双重机器学习, 有效影响函数
一句话总结¶
针对黑盒预测模型在跨机构部署时同时遭遇的协变量偏移与历史决策诱导的选择性标签偏差，本文提出了首个联合可识别性框架并推导出目标风险的有效影响函数，构建了渐近正态且半参数有效的双重机器学习评估器。
研究背景与动机¶
在临床医学辅助决策、信贷审批和刑事司法等高风险领域，机器学习模型在部署到新环境前准确评估其泛化性能是规避算法危害的前提。现有针对模型性能衰减的评测方法通常单独考察协变量偏移，即假设源域与目标域特征边缘分布不同但标签机制稳定；然而在现实决策场景中，测试集往往面临更棘手的选择性标签问题——由于历史人类或算法策略的介入，真实标签仅在被决策选中的子群体上可测。
以临床决策支持系统为例，模型常在人口结构较为均一的医疗中心训练，部署到外部医院时患者年龄与种族分布发生显著改变（协变量偏移）；与此同时，心肌损伤或严重并发症等结局标签仅在医生实际开具检查单（如 BNP、肌钙蛋白）的患者身上才被记录（选择性标签）。若忽视选择性标签机制，直接使用协变量重要性加权会把由医疗决策诱导的有偏标签误当作真实条件分布；而若仅做选择性标签修正，则无法迁移至目标域新的特征分布。
现有的即插即用加权方法（如结合密度比与倾向得分倒数）不仅严重依赖参数模型的设定精度，还会因倾向得分倒数产生极端方差爆炸；而针对单侧问题的双重机器学习方法又无法跨越复合机制带来的系统性偏差。核心 idea：在可观测变量选择假定下证明目标风险的联合可识别性，并推导其有效影响函数构建双重机器学习评估器，通过样本划分与残差去偏实现对复合分布偏差的根号 n 一致性与半参数有效估计。
方法详解¶
整体框架¶
本文旨在评估固定黑盒预测模型 \(f: \mathcal{X} \to \mathbb{R}\) 在任意损失函数 \(\ell(f(X), Y)\) 下于未标注目标环境中的真实期望风险 \(\psi = \mathbb{E}_T[\ell(f(X), Y)]\)。观测样本包含来自合并分布的独立同分布样本 \(Z = (X, R, R \cdot D, R \cdot D \cdot Y)\)，其中 \(R \in \{0, 1\}\) 表示域指示器（\(R=1\) 为源域，\(R=0\) 为目标域），\(D \in \{0, 1\}\) 表示源域中的标签观测指示器。整个方法分为联合可识别性建立、有效影响函数诱导的偏差校正项推导、以及基于交叉拟合的双重机器学习评估三阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["观测数据<br/>源域含选择性标签、目标域无标签"] --> B["联合可识别性与二元表征<br/>条件损失期望与源域加权表征"]
B --> C["有效影响函数推导<br/>复合传输权重的残差校正与插值"]
C --> D["双重机器学习评估器构建<br/>交叉拟合多扰动回归与倾向得分"]
D --> E["部署前目标风险估计与推断<br/>渐近正态性与 Wald 置信区间"]关键设计¶
1. 联合可识别性与二元表征：突破独立假设壁垒
针对目标域无标签且源域标签非随机缺失的困境，本文形式化了四项关键假设：源域可观测选择性假定（\(Y \perp\!\!\!\perp D \mid X, R=1\)）、协变量偏移假定（\(P_S(Y \mid X) = P_T(Y \mid X)\)）、源域标签正定性（\(\pi_S(X) \ge \varepsilon > 0\)）以及似然比有界性（\(\frac{dP_T}{dP_S}(X) \le C < \infty\)）。在此基础上，首次证明了复合机制下目标风险 \(\psi\) 的两个对偶可识别性等式： $\(\psi = \mathbb{E}_T[\mu(X)] = \mathbb{E}_S\left[\frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} L\right]\)$ 其中 \(\mu(X) \coloneqq \mathbb{E}[L \mid X, R=1, D=1]\) 为源域观测标签上的条件期望损失，\(L = \ell(f(X), Y)\) 为模型损失。第一项表明仅需在源域观测样本上拟合条件损失函数 \(\mu(X)\) 并在目标域特征上平均即可完成无标签评估；第二项则将传统协变量传输比与倾向得分倒数权重直接复合。这种双重表征为后续引入半参数效率理论奠定了数学基础。
2. 有效影响函数推导：复合传输权重的残差校正
直接使用 plug-in 或单纯反向加权会由于一阶估计偏差导致非参数速率失效。通过对连续泛函应用 Gateaux 微分并利用乘积法则，本文推导出了目标风险在非参数模型族下的有效影响函数（Efficient Influence Function, EIF）： $\(\varphi(Z; \mathbb{P}) = \frac{RD}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi(\mathbb{P}))\)$ 其中 \(\rho = \mathbb{P}(R=0)\) 为目标域先验概率，\(g(X) = \mathbb{P}(R=0 \mid X)\) 为域分类倾向得分，\(\pi(X) = \mathbb{P}(D=1, R=1 \mid X)\) 为合并数据集中源域带标签样本的联合选择概率。该影响函数具有精妙的双通道结构：第一项利用复合传输权重 \(\frac{RD}{\pi(X)}\frac{g(X)}{\rho}\) 结合中心化残差 \(L - \mu(X)\)，在纠正选择机制的同时将误差加权投影至目标域；第二项则是目标域特征分布上的无偏中心化投影项 \(\frac{1-R}{\rho}(\mu(X) - \psi)\)。
3. 双重机器学习评估器构建：正交化与交叉拟合
基于 EIF 的二阶 von Mises 展开余项，构造了去偏双重机器学习（DML）统计量 \(\widehat{\psi}\)： $\(\widehat{\psi} = \frac{1}{n \widehat{\rho}} \sum_{i=1}^n \left[ \frac{R_i D_i}{\widehat{\pi}(X_i)} \widehat{g}(X_i) (L_i - \widehat{\mu}(X_i)) + (1 - R_i) \widehat{\mu}(X_i) \right]\)$ 其中 \(\widehat{\rho} = \frac{1}{n}\sum_{i=1}^n \mathbb{I}\{R_i = 0\}\)。通过将评估样本与拟合扰动函数 \(\widehat{\pi}, \widehat{g}, \widehat{\mu}\) 的样本正交解耦（或 \(K\) 折交叉拟合），余项误差仅取决于扰动估计误差的乘积： $\(\|\widehat{\mu} - \mu\|_{L_2(P)} \left( \|\widehat{\pi} - \pi\|_{L_2(P)} + \|\widehat{g} - g\|_{L_2(P)} \right) = o_p(n^{-1/2})\)$ 因此，即便扰动函数采用收敛速度仅为 \(o_p(n^{-1/4})\) 的灵活机器学习方法（如随机森林、神经网络、梯度提升树），评估器仍能达成 \(\sqrt{n}\) 渐近正态性：\(\sqrt{n}(\widehat{\psi} - \psi) \overset{d}{\to} \mathcal{N}(0, \operatorname{Var}(\varphi(Z; P)))\)，从而直接提供闭式半参数有效方差与 Wald 型渐近置信区间。
实验关键数据¶
主实验¶
评估在跨医院迁移的真实电子病历数据库 eICU（涵盖超 20 万次 ICU 住院）上进行。模型统一在基准代表性医院（医院 208）训练，并在具备显著人口学与特征偏移的三家目标医院进行部署前评估：医院 443（年轻化、非裔比例高）、医院 199（典型年龄、白人比例高）、医院 283（老龄化、未知族裔比例高）。评估指标为针对二元临床结局预测误差的平均绝对误差（MAE）。
表 1 汇报了半合成实验中，随选择机制特征依赖度增强（选择强度 \(a=1.50\)）时，各方法估计目标风险的偏差（Bias）与均方根误差（RMSE）：
| 目标医院 | 评估方法 | 估计偏差 (Bias) | 均方根误差 (RMSE) | 说明 |
|---|---|---|---|---|
| 医院 443 (年轻/非裔偏多) | Plug-in (传统即插即用) | +0.038 | 0.052 | 倾向得分极值诱导方差发散 |
| 医院 443 | CS-only (仅协变量偏移) | +0.024 | 0.031 | 忽略标签选择机制导致高估 |
| 医院 443 | SL-only (仅选择性标签) | -0.041 | 0.048 | 忽略医院间人口学偏移 |
| 医院 443 | 本文 DML (Ours) | +0.003 | 0.022 | 最低偏差与最低估计误差 |
| 医院 199 (白人偏多) | CS-only | +0.031 | 0.039 | 无法感知选择性标签缺失 |
| 医院 199 | SL-only | -0.015 | 0.025 | 在人口学变化显著时出现负偏 |
| 医院 199 | 本文 DML (Ours) | -0.002 | 0.021 | 近乎完全无偏 |
| 医院 208 (无偏移基准) | SL-only | +0.001 | 0.018 | 无分布偏移下 SL 方法表现稳健 |
| 医院 208 | 本文 DML (Ours) | +0.001 | 0.017 | 无偏移场景下自适应匹配单侧最优 |
消融实验¶
为验证各核心假设破坏时评估器的鲁棒性，论文在合成受控环境下进行了单因子敏感性压力测试（如表 2 所示）。实验分别测试了：(1) 存在未观测隐变量 \(U\) 时的选择偏差（破坏假定 3.1）；(2) 条件结局分布漂移（破坏假定 3.2）；(3) 尾部极度缺乏标签观测（破坏假定 3.3）；(4) 目标域密度处于源域外围导致的似然比发散（破坏假定 3.4）。
| 扰动测试类型 | 评估方法 | 鲁棒参数变化 | 估计偏差 (Bias) | 均方根误差 (RMSE) | 稳健性分析 |
|---|---|---|---|---|---|
| 未观测变量选择偏差 (\(c\)) | CS-only | \(c = 0.5\) | +0.065 | 0.078 | 对未观测混杂最敏感 |
| 未观测变量选择偏差 (\(c\)) | 本文 DML | \(c = 0.5\) | +0.028 | 0.042 | 中轻度破坏下偏差最小 |
| 条件结局漂移 (\(\gamma\)) | SL-only | \(\gamma = 0.8\) | +0.082 | 0.095 | 无法抵御跨域结局机制突变 |
| 条件结局漂移 (\(\gamma\)) | 本文 DML | \(\gamma = 0.8\) | +0.035 | 0.049 | 复合校正有效抑制漂移发散 |
| 正定性失效 (\(q\)) | SL-only | 尾部截断 \(q=0.2\) | +0.048 | 0.063 | 极端权重导致截断区严重失真 |
| 正定性失效 (\(q\)) | CS-only | 尾部截断 \(q=0.2\) | +0.006 | 0.029 | 未修正标签反而避开极值权重 |
| 正定性失效 (\(q\)) | 本文 DML | 尾部截断 \(q=0.2\) | +0.004 | 0.026 | 残差结构大幅吸收截断震荡 |
| 似然比发散 (\(\lambda\)) | Plug-in | 混合比 \(\lambda=0.4\) | +0.059 | 0.091 | 密度比外推方差急剧爆炸 |
| 似然比发散 (\(\lambda\)) | 本文 DML | 混合比 \(\lambda=0.4\) | +0.007 | 0.031 | EIF 中心化投影抵御外推误差 |
关键发现¶
- 单一校正严重误导决策：仅纠正协变量偏移（CS-only）在选择机制强烈时对目标风险产生系统性高估（在医院 443 上偏差达 +0.024）；而仅纠正选择性标签（SL-only）在跨域严重时直接低估风险（医院 443 上偏差达 -0.041），会导致 practitioner 对缺陷模型产生虚假的安全信任。
- 即插即用加权的不稳定性：简单使用倾向得分和密度比连乘（Plug-in）虽然在理论上无偏，但由于双重概率分母极小值相乘，RMSE 居高不下（高达 0.052），置信区间极其宽泛。
- 真实临床检验的实际分歧：在真实 eICU 实验中针对 BNP、肌钙蛋白、肌酸激酶及低氧血症的检验表明，各单侧基线与 DML 的点估计出现显著脱节；例如在医院 199 的低氧血症预测中，SL-only 显著低估了实际预测风险，证明了复合评估器在避免高风险模型贸然部署中的不可替代性。
亮点与洞察¶
- 理论与实用兼顾的双重机器学习范式：将半参数影响函数方法拓展至协变量偏移与选择性标签并存的复合空间，不仅给出了极弱收敛速率条件（\(o_p(n^{-1/4})\)）下的渐近线性性质，还允许从业者直接使用任意灵活的机器学习黑盒估计扰动项。
- 优雅的中心化正交结构：残差项 \(L - \mu(X)\) 的引入将原本易受权重发散影响的加权求和转化为条件期望残差的校正，极大压缩了因边缘概率过低导致的方差放大。
- 高度可迁移至大模型评估范式：现代大语言模型和基础模型评测普遍面临用户提问分布偏移（Prompt 域变化）与下游用户反馈选择性反馈（点赞/点踩标签稀疏缺失）的双重扭曲，本框架的识别理论与 DML 范式可直接推广至 LLM 性能跨域可靠评测。
局限与展望¶
- 依赖可观测选择性假定：若影响标签是否开具的临床指标存在未记录的关键隐藏混杂（如无法结构化提取的非语言医生直觉判断），估计量仍将面临残余偏差。
- 依赖源域与目标域特征支撑重叠：如果目标域出现源域完全从未出现过的极端新病种或全新特征空间，似然比有界性将被破坏，导致跨域传输外推失效。
- 未来的演进方向在于探索基于仪器变量（IV）或代理变量（Proxies）的双重稳健松弛框架，以及结合在线自适应数据采样的动态前瞻性评测。
相关工作与启发¶
- vs Morrison et al. [2024] (CS-only)：Morrison 等人使用双重机器学习解决单纯协变量偏移，但默认源域标签全量可测；本文在此基础上通过复合倾向得分同时处理选择性缺失机制，解决了医疗和信贷决策数据中的核心标签选择偏差。
- vs Coston et al. [2020] (SL-only)：Coston 等人提出了反事实风险评估的双重稳健估计，但假定评估域与部署域分布同质；本文推导了跨域传输权，攻克了人口学结构发生漂移时的部署前检验难题。
- vs 传统 Plug-in / IPW (Shimodaira, 2000)：传统重要性加权依赖正确的参数模型且方差极大，而本文通过 EIF 残差正交化获得了二阶鲁棒性，消除了对扰动项参数收敛速率的强依赖。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次打通了协变量偏移与选择性标签并存场景下的目标风险半参数识别与 EIF 双重机器学习推断。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖了完备的受控理论仿真、单因子破坏应力测试、半合成 eICU 试验以及真实的临床检验数据。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，定理假设与附录展开交代清晰，对临床背景的阐述透彻。
- 价值: ⭐⭐⭐⭐⭐ 对高风险算法的安全合规部署和跨机构评测具有直接的落地指导与理论保障价值。