Integrated Imputation-Classification for Supervised Learning with Missing Data

会议: NeurIPS 2026
arXiv: 2610.04273
领域: 其他
关键词: 缺失数据, 联合填补与分类, 生成对抗网络, 贝叶斯最优分类器, 边际化推断

一句话总结

针对传统「先填补后分类」流程因目标割裂而无法保证下游预测最优的问题，本文提出端到端对抗框架 IICN，将生成填补器与 \((n+1)\) 分类判别器联合优化，在理论上证明其全局鞍点严格等价于针对缺失特征的贝叶斯边际化，并在多模态与严重缺失场景下取得显著优于现有方法的分类精度与鲁棒性。

研究背景与动机

在现实场景中，由于传感器故障、系统采集异常或问卷拒答，特征缺失是机器学习应用中普遍存在的棘手挑战。长久以来，主流解决方案依赖于「先填补后分类」（impute-then-classify）的两阶段范式：首先借助均值、中位数或深度生成模型（如 VAE、GAIN）重建缺失值，再将填补后的完整特征输入独立的下游分类器。然而，这种人为解耦的两阶段设计存在严重的结构性弊端。高维特征下缺失模式呈组合级爆炸，使得无监督填补的样本效率极低；更关键的是，填补阶段的优化目标（如重构误差或分布匹配）与下游分类判别目标完全割裂，即便填补器能生成语义逼真或统计校准的估计值，也不意味着有利于分类决策，反而极易引入系统性偏差与歧义。

这种目标错配的核心矛盾在于：分类任务本质上并不追求单点重构的视觉或统计真实性，而是需要求解在观测特征条件下的预测风险最小化，其理论黄金准则是对未观测特征的后验分布进行边际化积分 \(\mathbb{P}(y\mid\boldsymbol{x}_{\mathrm{obs}})=\int\mathbb{P}(y\mid\boldsymbol{x}_{\mathrm{obs}},\boldsymbol{x}_{\mathrm{miss}})p(\boldsymbol{x}_{\mathrm{miss}}\mid\boldsymbol{x}_{\mathrm{obs}})\mathrm{d}\boldsymbol{x}_{\mathrm{miss}}\)。现有的边际化尝试要么依赖高斯混合等简单参数假设（如早期的线性/高斯模型），要么依赖计算受限的变分下界采样（如 SupMIWAE），难以同时满足无似然假设、高模型表达能力与严格的贝叶斯最优性保证。

本文的切入角度是打破填补与判别的外部界限，构建单类监督分类对抗目标。核心 idea：将半监督 GAN 中的 \((n+1)\) 类判别结构迁移至缺失特征学习，用前 \(n\) 个类别拟合真实类别后验，将第 \((n+1)\) 类建模为「填补/不完整样本」，在理论上证明极值点处填补器与判别器的组合严格实现贝叶斯边际化预测。

方法详解

整体框架

IICN（Integrated Imputation and Classification Network）由条件生成填补器 \(G_{\boldsymbol{\theta}}\) 与多类监督判别器 \(D_{\boldsymbol{\omega}}\) 构成，整体流程摒弃了独立的分类器模块。对于包含缺失值的输入样本 \(\tilde{\boldsymbol{x}}\)，结合其观测掩码 \(\boldsymbol{m}\) 与潜在随机噪声 \(\boldsymbol{z}\)，生成器 \(G_{\boldsymbol{\theta}}\) 补全未观测坐标并保留真实观测值，拼接形成填补样本 \(\hat{\boldsymbol{x}}\)；随后将样本输入到输出维度为 \((n+1)\) 的判别器中，判别器前 \(n\) 个维度输出对应真实类别的概率预测，而第 \((n+1)\) 维对应预测样本是否属于带有填补伪影的残余概率。训练通过极小极大博弈进行对抗优化，而在测试推断时，通过对潜在噪声进行蒙特卡洛采样驱动填补器输出，直接对判别器的条件后验做样本平均实现边际化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入不完整样本 x̃<br/>掩码 m 与噪声 z"] --> Gen["填补生成器 G_θ<br/>仅对缺失坐标补全"]
    Gen --> Comp["合并为完整样本 x̂<br/>保持观测特征恒等"]
    Comp --> Disc["多类判别器 D_ω<br/>(n+1) 维分类决策"]
    Disc --> Opt["两阶段交替对抗优化<br/>阶段A：对抗判别 / 阶段B：监督分类"]
    Opt --> Infer["蒙特卡洛边际化推断<br/>多采样逼近 Bayes 后验"]

关键设计

1. (n+1) 类监督对抗博弈与贝叶斯最优性保证：将数据完整性作为扩展类别，引导判别器内化分类后验与边际化能力

针对传统对抗填补方法仅采用二分类判别真实与伪造数据而脱离任务目标的缺陷，IICN 将判别器的输出空间定义在概率单纯形 \(\mathcal{P}^n = \{\boldsymbol{p}\in(0,1)^n \mid \sum_{i=1}^n p_i < 1\}\) 上，其前 \(n\) 项 \(D_i(\hat{\boldsymbol{x}})\) 代表原监督任务类别，剩余概率质量 \(1-\sum_{i=1}^n D_i(\hat{\boldsymbol{x}})\) 显式对应第 \((n+1)\) 类「填补样本」。完整观测样本（\(\boldsymbol{m}=\mathbf{1}\)，指示变量 \(R=1\)）保留原标签 \(Y \in \{1,\dots,n\}\)，而不完整样本（\(R=0\)）分配给辅助类 \((n+1)\)。目标函数形式为：

\[V(G,D) = \mathbb{P}(R=1)\sum_{i=1}^{n}\mathbb{P}(Y=i)\mathbb{E}_{\hat{\mathbf{X}}\mid Y=i,R=1}[\log D_{i}(\hat{\mathbf{X}})] + \mathbb{P}(R=0)\mathbb{E}_{\hat{\mathbf{X}}\mid R=0}\left[\log\left(1-\sum_{j=1}^{n}D_{j}(\hat{\mathbf{X}})\right)\right]\]

在非参数假设与完全随机缺失（MCAR）条件下，推导可证明给定任意生成器，最优判别器在观测值处满足 \(D_i^{\star}(\hat{\boldsymbol{x}}) = \mathbb{P}(Y=i, R=1 \mid \hat{\mathbf{X}}=\hat{\boldsymbol{x}})\)，对前 \(n\) 类归一化后恰好恢复完全数据的类别真实后验 \(\mathbb{P}(Y=i\mid \mathbf{X}=\hat{\boldsymbol{x}})\)。进一步推导生成器的全局最小化可知，最优生成器必定使填补数据与真实完整数据分布完全对齐（\(\hat{\mathbf{X}}^\star \stackrel{d}{=} \mathbf{X}\)）。由此定理证明，两者的复合在对未观测坐标积分时，严格达到贝叶斯最优分类器：

\[\mathbb{E}_{\hat{\mathbf{X}}_{\mathrm{miss}}^{\star}\mid\boldsymbol{x}_{\mathrm{obs}}}\!\left[\frac{D_{i}^{\star}(\boldsymbol{x}_{\mathrm{obs}},\hat{\mathbf{X}}_{\mathrm{miss}}^{\star})}{\sum_{j=1}^{n}D_{j}^{\star}(\boldsymbol{x}_{\mathrm{obs}},\hat{\mathbf{X}}_{\mathrm{miss}}^{\star})}\right]=\mathbb{P}(Y=i\mid\boldsymbol{x}_{\mathrm{obs}})\]

2. 周期性两阶段交替判别优化机制：阻断非语义伪影捷径，避免判别器早熟退化

在缺失特征对抗学习中，未加约束的对抗判别器极其容易捕捉由掩码引入的数值伪影或边界不连续性，形成非语义的特征捷径，使得判别器过早学会区分「填补样本」与「真实样本」，进而导致向生成器回传的梯度失效、分类决策边界塌缩。为解决此动力学不稳定问题，IICN 提出了周期为 \(H = L_1 + L_2\) 的两阶段交替更新策略：在前 \(L_1\) 步（阶段 A）执行对抗更新，以构造的对抗伪标签 \(y_i^{\mathrm{adv}} = r_i y_i + (1-r_i)(n+1)\) 最小化多类交叉熵损失 \(\mathcal{L}_{\mathrm{adv}}(\boldsymbol{\omega})\)；在后 \(L_2\) 步（阶段 B）则切换为纯监督分类更新，强制使用真实类别标签对所有样本计算分类损失 \(\mathcal{L}_{\mathrm{cls}}(\boldsymbol{\omega})\)。阶段 B 的周期注入强力拉回了判别器的主干表征，使其始终锚定在语义分类边界上，避免塌陷为平凡的填补检测器。

3. 结合观测一致性正则的有偏生成器学习与蒙特卡洛边际化推断：保障观测特征保真度并实现高效推理

生成器参数 \(\boldsymbol{\theta}\) 仅在不完整样本（\(r_i=0\)）上进行反向传播更新。为保证生成器不仅能骗过判别器识别为真实类别，还能忠实保留已观测坐标的统计关联，在生成损失中引入了针对观测坐标的均方误差正则项：

\[\mathcal{L}_{\mathrm{gen}}(\boldsymbol{\theta}) = \frac{1}{B}\sum_{i=1}^B (1-r_i) \left( -\mathrm{CE}\left(D_{\boldsymbol{\omega}}(\hat{\boldsymbol{x}}_i), y_i^{\mathrm{adv}}\right) + \lambda \cdot \frac{\|(\tilde{\boldsymbol{x}}_i - G_{\boldsymbol{\theta}}(\tilde{\boldsymbol{x}}_i, \boldsymbol{m}_i, \boldsymbol{z}_i))\odot\boldsymbol{m}_i\|_2^2}{\|\boldsymbol{m}_i\|_2^2} \right)\]

在推理测试阶段，对于任意缺失样本，无需训练附加分类器，而是利用先验分布多次抽取噪声矢量 \(\boldsymbol{z}^{(k)} \sim p_{\mathbf{Z}}(\mathbf{z})\) 并通过 \(G_{\boldsymbol{\theta}}\) 生成 \(K\) 个不同的补全样本，直接计算判别器归一化后验的经验平均，高效逼近理论上的条件边际化期望。

实验关键数据

主实验

论文在 FashionMNIST 与 CIFAR-10 图像基准上进行了系统测试（通过 \(P_{\mathrm{obs}}\) 调节完整样本比例，通过 \(P_{\mathrm{miss}}\) 调节缺失坐标比例），并与均值填补（Mean）、对抗填补（GAIN）、变分边际化（SupMIWAE）、交替优化（LAC）以及仅用完整数据训练（CO）等进行了对比。以下展示两组代表性图像主实验结果：

数据集与缺失配置 (\(P_{\mathrm{obs}}, P_{\mathrm{miss}}\))	指标	IICN (本文)	次优方法	优势基线 (Zero / Mean / GAIN / LAC)	提升幅度
FashionMNIST (\(P_{\mathrm{obs}}=0.1, P_{\mathrm{miss}}=0.5\))	不完整数据准确率 (%)	88.01 \(\pm\) 0.60	86.81 \(\pm\) 0.70 (SupMIWAE)	83.10 / 85.69 / 86.40 / 85.88	+1.20%
FashionMNIST (\(P_{\mathrm{obs}}=0.1, P_{\mathrm{miss}}=0.8\))	不完整数据准确率 (%)	83.06 \(\pm\) 0.70	83.40 \(\pm\) 0.80 (SupMIWAE)	78.45 / 79.78 / 81.18 / 81.64	显著优于判别基线
FashionMNIST (\(P_{\mathrm{obs}}=0.5, P_{\mathrm{miss}}=0.5\))	不完整数据准确率 (%)	88.59 \(\pm\) 0.60	88.16 \(\pm\) 0.90 (SupMIWAE)	83.00 / 83.89 / 86.58 / 84.69	+0.43%
FashionMNIST (\(P_{\mathrm{obs}}=0.5, P_{\mathrm{miss}}=0.8\))	不完整数据准确率 (%)	83.69 \(\pm\) 0.70	83.56 \(\pm\) 1.00 (SupMIWAE)	77.11 / 78.32 / 80.38 / 79.96	+0.13%
CIFAR-10 (\(P_{\mathrm{obs}}=0.1, P_{\mathrm{miss}}=0.5\))	不完整数据准确率 (%)	75.92 \(\pm\) 1.10	72.36 \(\pm\) 0.90 (LAC)	61.65 / 61.52 / 67.60 / 72.36	+3.56%
CIFAR-10 (\(P_{\mathrm{obs}}=0.1, P_{\mathrm{miss}}=0.8\))	不完整数据准确率 (%)	68.38 \(\pm\) 1.30	61.23 \(\pm\) 1.00 (LAC)	53.42 / 51.83 / 41.44 / 61.23	+7.15%
CIFAR-10 (\(P_{\mathrm{obs}}=0.5, P_{\mathrm{miss}}=0.8\))	不完整数据准确率 (%)	67.00 \(\pm\) 1.10	64.52 \(\pm\) 1.00 (LAC)	48.15 / 46.31 / 35.04 / 64.52	+2.48%
CIFAR-10 (\(P_{\mathrm{obs}}=0.9, P_{\mathrm{miss}}=0.8\))	不完整数据准确率 (%)	53.84 \(\pm\) 1.14	50.67 \(\pm\) 1.00 (LAC)	33.85 / 33.72 / 38.99 / 50.67	+3.17%

在包含天然缺失的真实世界 UCI 表格数据集（Mammographic Mass、Diabetes、Hepatitis、Thyroid）上，IICN 同样展现了优异性能：

数据集	特征数 / 样本数	缺失率 \(P_{\mathrm{miss}}\)	评价子集	IICN (本文)	LAC	SupMIWAE	GAIN	Mean
Mammographic Mass	5 / 961	0.2473	完整数据准确率 (%) 填补数据准确率 (%)	83.15 \(\pm\) 0.15 82.86 \(\pm\) 1.17	81.80 \(\pm\) 0.15 79.25 \(\pm\) 1.64	81.56 \(\pm\) 0.26 78.01 \(\pm\) 1.59	82.55 \(\pm\) 0.20 70.84 \(\pm\) 1.77	82.66 \(\pm\) 0.21 80.91 \(\pm\) 1.59
Diabetes	8 / 768	0.2207	完整数据准确率 (%) 填补数据准确率 (%)	78.11 \(\pm\) 0.56 77.26 \(\pm\) 0.22	77.28 \(\pm\) 0.32 74.52 \(\pm\) 0.13	77.21 \(\pm\) 0.47 72.42 \(\pm\) 0.36	77.20 \(\pm\) 0.49 74.95 \(\pm\) 0.19	77.84 \(\pm\) 0.37 75.11 \(\pm\) 0.30
Hepatitis	19 / 155	0.1001	完整数据准确率 (%) 填补数据准确率 (%)	77.98 \(\pm\) 3.40 68.36 \(\pm\) 2.66	77.12 \(\pm\) 2.32 71.59 \(\pm\) 2.05	72.76 \(\pm\) 3.59 73.18 \(\pm\) 3.27	75.12 \(\pm\) 2.38 61.23 \(\pm\) 1.87	76.47 \(\pm\) 2.00 60.00 \(\pm\) 1.66
Thyroid	21 / 3772	0.0966	完整数据准确率 (%) 填补数据准确率 (%)	95.53 \(\pm\) 0.01 98.38 \(\pm\) 0.01	95.11 \(\pm\) 0.03 98.31 \(\pm\) 0.03	92.00 \(\pm\) 0.01 97.13 \(\pm\) 0.01	79.52 \(\pm\) 1.47 86.65 \(\pm\) 0.97	95.85 \(\pm\) 0.04 94.86 \(\pm\) 0.35

消融实验

论文在多模态分布的合成 Burger 数据集以及图像重构误差（MSE per missing pixel）上进行了详尽的机制验证与对比分析。在 Burger 数据集中，条件分布 \(p(x_2 \mid x_1)\) 具有双峰多模特性，贝叶斯最优分类器理论极限准确率为 \(\mathbb{P}(Y=1\mid x_1) = 2/3 \approx 66.7\%\)：

机制 / 填补配置	面对多峰分布表现形态	极端缺失率 (0.9) 决策退化判定	说明
Zero / Mean 填补	坍缩为常数单点	虚假提升（退化为常数多数类预测）	在完全样本上准确率剧烈跳水，丧失判别边界
LAC (点估计交替)	仅捕捉单峰模式	虚假提升（退化为常数多数类预测）	确定性点估计无法表达后验多峰性，分类边界扭曲
GAIN (任务无关对抗)	边界处严重模糊	预测不稳定，完全样本泛化能力崩塌	纯分布重构不关注分类边界，导致决策面失真
SupMIWAE (变分重要性抽样)	能平滑跨越两峰	保持稳定，逼近 \(2/3\) 理论界限	依赖变分族假设，计算开销大且易受样本方差干扰
IICN (本文联合边际化)	完美覆盖真实双峰模式	最严格贴合 \(2/3\) 理论最优曲线	判别器后验对生成分布边际化，直接收敛至贝叶斯界限

此外，图像重构消融对比（FashionMNIST 与 CIFAR-10 的像素重构 MSE）证实了一个关键事实：重构误差最低的模型（如 GAIN 或 SupMIWAE）在下游分类上的表现往往逊于 IICN。例如在 FashionMNIST (\(P_{\mathrm{obs}}=0.1, P_{\mathrm{miss}}=0.8\)) 配置下，IICN 的重构 MSE 为 0.1505（高于部分以自编码为目标的变分模型），但测试分类准确率达到 83.06%，显著证明了「填补质量 \(\neq\) 分类性能」，任务对齐的对抗训练才是下游性能的决定性因素。

关键发现

• 极端缺失场景优势显著：在 CIFAR-10 高缺失率（\(P_{\mathrm{miss}}=0.8\)）且完整样本极少（\(P_{\mathrm{obs}}=0.1\)）的苛刻条件下，IICN 取得了 68.38% 的准确率，相较于此前最好的端到端基线 LAC（61.23%）大幅领先 7.15 个百分点，相较独立对抗填补 GAIN（41.44%）更是领先接近 27 个百分点。
• 彻底免疫分类退化塌陷：传统的均值填补或单点估计在缺失率达到 0.9 时看似准确率升高，实则是退化为常值多数类分类器，导致其在完整样本上的识别率急剧下降；而 IICN 始终保持在完整样本和缺失样本上的双重高精度。

亮点与洞察

• 架构复用极简而优雅：通过将半监督 GAN 的判别输出结构迁移到缺失数据处理中，将额外类别定义为「填补伪影」，仅用一个判别器同时充当了特征真实性判定器与下游任务分类器，避免了引入外部判别模块带来的梯度不匹配。
• 理论闭环扎实严密：完整证明了在非参数极限与完全随机缺失假设下，极小极大博弈的纳什均衡解必然使得填补分布匹配条件后验，且判别器对填补分布的边际期望严格收敛至贝叶斯最优决策规则。
• 巧妙规避非语义伪影：通过交替周期调度引入纯监督分类损失更新，有效防止了深度判别器通过掩码缝隙或非语义高频伪影走捷径，保障了对抗训练的长期平稳收敛。

局限与展望

• 理论假设依赖 MCAR：当前的贝叶斯最优性证明基于完全随机缺失（Missing Completely at Random）假设。在现实工业应用中，许多缺失属于条件随机缺失（MAR）甚至非随机缺失（MNAR），其理论等价性在存在选择性偏差时可能受到挑战。
• 推理依赖多样本蒙特卡洛积分：为了在测试期实现严谨的边际化推断，模型需要对每个不完整样本进行多轮随机采样并前向传播，这在对低延迟有极致要求的实时推断系统中增加了计算开销。

相关工作与启发

• vs GAIN: GAIN 采用掩码指示作为二分类判别条件，仅从数据分布重构角度学习填补，填补过程完全脱离下游分类任务；IICN 采用 \((n+1)\) 类多标签对抗判别，直接让分类目标监督填补器学习，消除了目标不匹配问题。
• vs SupMIWAE: SupMIWAE 采用重要性加权变分自编码器（IWAE）近似后验并联合训练分类器，但其受限于变分分布族的表达能力与似然下界的松弛；IICN 采用似然自由（likelihood-free）的对抗博弈机制，在复杂高维分布下具备更强的生成拟合能力。
• vs LAC: LAC 通过交替最小化重构损失与分类损失的加权和进行点估计，在面对后验多模态分布时必然塌缩为单峰均值；IICN 通过随机隐变量与生成器结合，在原理上实现了真实的分布边际化。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 巧妙利用 \((n+1)\) 类半监督 GAN 架构统一填补与分类，理论证明扎实且优雅。
• 实验充分度: ⭐⭐⭐⭐☆ 覆盖合成多峰实验、两大图像基准以及真实 UCI 表格，实验对比详实有据。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从动机、架构、理论分析到实验剖析层层递进。
• 价值: ⭐⭐⭐⭐⭐ 为缺失数据下的监督深度学习提供了强有力的理论基准与端到端优化范式。

相关论文

• [NeurIPS 2026] Missing Data and Cluster Graphs: Cluster-Level Missingness vs Variable-Level Missingness
• [ICML 2025] Score Matching with Missing Data
• [NeurIPS 2026] Data-Adaptive Mahalanobis Metric Learning for Cross-Head Attention in Transformers
• [NeurIPS 2026] PRISM: Prior Relational Information for Self-Supervised Modeling to Enhance Solubility Prediction
• [AAAI 2026] Sampling Control for Imbalanced Calibration in Semi-Supervised Learning