Learning under Localized Minority Imbalance¶
会议: NeurIPS 2026
arXiv: 2610.04936
OpenReview: https://openreview.net/forum?id=x28XrJ3gbl
领域: 学习理论
关键词: 类别不平衡, 局部少数类不平衡, 分层集成, 观察偏差, 评估协议
一句话总结¶
针对现实中少数类在特征空间特定区域非均匀缺失导致的局部少数类不平衡（LMI），提出基于决策树递归分层并在层内全局复用少数类的分层集成方法（SE），显著提升了在无偏真实目标分布下的泛化性能。
研究背景与动机¶
监督学习中的类别不平衡现象广泛存在于欺诈检测、疾病诊断、客户流失预测等关键决策领域。现有类别不平衡解决方法（如 SMOTE 等过采样、聚类欠采样、Focal Loss / 类别平衡损失等重加权策略、以及 EasyEnsemble 等集成技术）通常暗含一个核心假设：少数类相对于多数类在整个特征空间中是均匀欠采样的（即类别计数不平衡，Class-count Imbalance）。在此假设下，不平衡仅导致后验对数几率产生全局常数偏移，通过常规重平衡手段即可有效修正。
然而在现实场景中，正样本的观测或留存概率往往与其实际特征取值紧密耦合，形成局部少数类不平衡（Localized Minority Imbalance, LMI）。例如在企业破产预测中，破产的小企业往往直接从商业数据库中彻底消失，而存活的小企业依然记录在册，导致小企业群体内部破产率看似极低；类似地，重度抑郁症患者由于心理健康状况严重，参与心理健康调查问卷的意愿显著更低。当这种数据生成与观测机制交织时，少数类在特征空间的特定子区域中遭受不成比例的严重隐匿。
若直接将传统的类别不平衡纠正技术应用于 LMI 数据，算法往往会把数据采集中引入的观测偏差当成真实分布规律进行过拟合。在少数类严重欠观测的区域，大量存在的多数类样本会诱使分类器过度偏向多数类预测，从而在面对真正的总体分布时泛化溃败。同时，后验真实概率与特征依赖的观测机制在数学上不可分，无法直接通过观测数据辨识真实的局部偏差项。核心 idea：利用树形自上而下分裂中观测到的父子节点分位数残差方差作为 LMI 扭曲的代理指标，将特征空间自适应划分为内部 LMI 扭曲极小的局部层，并在各层中将局部多数类与全局完整少数类配对训练基分类器后加权集成。
方法详解¶
整体框架¶
分层集成（Stratified Ensembling, SE）方法旨在不依赖真实观测机制先验知识的前提下，自适应将特征空间剖分为若干局部层（Strata），使得各层内部的 LMI 扭曲近似为常数，从而将难以处理的非均匀 LMI 转化为易于处理的局部类别计数不平衡。
整体流程包含三个核心阶段：首先计算样本的一维代理排序分，并将特征空间初始化为全局分位数桶；其次依据所提出的父子节点 LMI 扭曲残差目标函数递归分裂特征空间，生成分层叶节点；最后构建层级训练子集并进行集成预测。在每个叶节点层中，将该层局部的多数类样本与全局所有观测到的少数类样本组合，训练局部基分类器，并基于内部验证可靠性权重进行集成输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入观测数据集 𝒟_obs<br/>(含多数类与局部欠观测少数类)"] --> B["一维代理排序评分<br/>均值差投影 η(x) 划分全局分位数分桶"]
B --> C["树形特征空间递归分层<br/>最小化父子节点残差加权方差"]
C --> D["构建叶节点分层训练集<br/>局部层多数类 + 全局所有少数类"]
D --> E["局部基分类器训练与验证定权<br/>在各层拟合 f_k 并计算可靠性权重 α_k"]
E --> F["集成加权概率预测输出<br/>目标测试样本总体后验评估"]关键设计¶
1. 基于父子节点残差的自适应树形分层准则：以可观测代理指标隔离局部扭曲 在观测数据中，特征值 \(x\) 处的观测后验对数几率与真实后验之间满足 \(\mathrm{lgt}(P(Y=1 \mid X=x, O=1)) = \mathrm{lgt}(P(Y=1 \mid X=x)) + \gamma(x)\)，其中 \(\gamma(x) = \log(\pi_1(x)/\pi_0(x))\) 为观测倾向比诱导的扭曲项。由于真实后验与 \(\gamma(x)\) 不可解耦分离，SE 首先利用轻量无参数的均值差投影方向 \(\eta(x) \propto w^\top x\)（其中权重由两类特征均值差除以混合标准差决定）生成一维排序评分，建立全局分位数桶 \(\mathcal{B}_0\)。在树节点的分裂评估中，子节点继承父节点的共有分桶定义。对于父节点 \(m\) 与候选子节点 \(v\)，其共有桶 \(b \in \mathcal{B}_v\) 内的观测少数类发生率差值定义为残差： $\(\Delta_{m \to v}(b) = \mathrm{lgt}(q_m(b)) - \mathrm{lgt}(q_v(b))\)$ 理论分析证明，该残差严格分解为真实自然发生率漂移与 LMI 扭曲漂移之和。当共享分桶内自然发生率平稳时，残差的变化主要反映 LMI 扭曲的变异。SE 计算两个子节点内残差的加权方差之和作为分裂损失： $\(\mathcal{L}(X^j, \tau; m) = \frac{|v_l|}{|m|} \sigma^2_{\mathcal{B}_{v_l}}(\Delta_{m \to v_l}) + \frac{|v_r|}{|m|} \sigma^2_{\mathcal{B}_{v_r}}(\Delta_{m \to v_r})\)$ 算法在候选特征与切分点中选择使该损失最小化的切分，仅当相比父节点方差实现至少 0.1% 的提升且满足叶节点最小样本量约束时才执行分裂，自适应收敛至内部 LMI 近似为常数的局部层集合 \(\mathcal{S} = \{S_1, \dots, S_K\}\)。
2. 跨层少数类全局复用与局部多数类配对：平抑分层方差的偏差-方差权衡 特征空间细分虽然削弱了各层内部的 LMI 偏差，但单层内样本稀缺会导致估计方差急剧攀升，特别是极度匮乏的局部少数类会产生高方差边界。传统直觉可能会仅取该层内的正负样本训练，而 SE 采取了关键的非对称配对设计：在第 \(k\) 个层 \(S_k\) 中，仅保留属于该层空间范围的局部多数类样本 \((x_i, 0) \in S_k\)，但与全局观测到的全部少数类样本 \((x_i, 1) \in \mathcal{D}^{\mathrm{min}}\) 共同构成训练子集 \(\mathcal{D}_k^{\mathrm{train}}\)。这一设计的精妙之处在于：导致分类器在 LMI 区域崩塌的主因，是那些少数类被严重隐匿的区域充斥着大量压倒性的多数类样本；通过将多数类限制在层内，彻底排除了外部区域多数类带来的有害干扰；同时全局注入全部正样本，极大地扩充了有效少数类样本量，在不破坏局部多数类排布约束的前提下强力稳定了决策边界。
3. 可靠性加权的分层集成决策：多局部模型协作预测 在生成的 \(K\) 个叶节点分层训练集上，分别训练基分类器 \(f_k\)。由于不同层的数据规模、几何形状及可分性存在差异，各基分类器的稳定性不尽相同。SE 利用训练集内部验证评估各分类器的表现（采用 MCC 或 F1 评估指标），计算得到可靠性权重 \(\alpha_k\)。在推断阶段，对于任意待测样本 \(x\)，无论其落在哪个特征区域，均由所有基分类器联合进行加权概率平均： $\(\hat{p}(x) = \frac{\sum_{k=1}^K \alpha_k P_{f_k}(Y=1 \mid X=x)}{\sum_{k=1}^K \alpha_k}\)$ 通过全域集成，进一步消除由局部子空间估计带来的偶发噪声，实现了全局稳健的最终分类判决。
损失函数 / 训练策略¶
- 平滑发生率估计：在节点 \(m\) 的每个分位数分桶 \(b\) 内，少数类观测概率采用拉普拉斯平滑估计：\(q_m(b) \approx \frac{n^{(1)}_{m,b} + 0.5}{n^{(0)}_{m,b} + n^{(1)}_{m,b} + 1}\)，防止出现对数几率无穷大的数值不稳定问题。
- 基分类器灵活性：SE 属于元算法框架，层内基分类器 \(f\) 支持任意标准模型（如 Logistic Regression, SVM, Random Forest, MLP, CatBoost），并可无缝组合现有的类别不平衡修正技术。
实验关键数据¶
主实验¶
论文在 KEEL 基准数据集上模拟 95% 少数类缺失（即不平衡比 IR 达到 1:20）的 LMI 条件，使用 5 折交叉验证，并在未受损的黄金测试集（反映真实无偏总体分布 \(\mathcal{P}^{\mathrm{tru}}\)）上评估性能。基分类器涵盖 LR、SVM、RF、NN（MLP）以及 CatBoost 五类模型，主要指标采用马修斯相关系数（MCC）与 F1 分数。对比基准包括理想无损上限（GLD）、未经任何处理的受损下限（DMG）、代价敏感法（ICF, FL, CLS, MET, LNG）、解偏法（LA）、经典集成法（RE, EE, BB）、欠采样法（CC, TMK）、过采样法（SMT, BST, ADS）以及优化目标法（DRO, AUC）。
下表汇总了各基分类器在所有数据集上的平均表现（摘自原论文 Table 2）：
| 基分类器 | 指标 | DMG(下限) | SMT(过采样) | EE(集成SOTA) | LNG(先验校准) | SE(本文) | GLD(理论上限) |
|---|---|---|---|---|---|---|---|
| LR | MCC / F1(%) | 0.34 / 33.8 | 0.52 / 59.3 | 0.52 / 61.6 | 0.49 / 54.2 | 0.57 / 70.2 | 0.81 / 89.6 |
| SVM | MCC / F1(%) | 0.35 / 33.9 | 0.42 / 43.9 | 0.47 / 53.7 | 0.42 / 44.2 | 0.53 / 62.5 | 0.90 / 94.4 |
| RF | MCC / F1(%) | 0.35 / 32.6 | 0.38 / 36.0 | 0.45 / 49.8 | 0.47 / 48.9 | 0.59 / 66.1 | 0.98 / 98.8 |
| NN | MCC / F1(%) | 0.36 / 36.1 | 0.46 / 48.6 | 0.56 / 63.8 | 0.50 / 55.0 | 0.59 / 71.3 | 0.91 / 95.3 |
| CatBoost | MCC / F1(%) | 0.34 / 31.8 | 0.39 / 38.9 | 0.49 / 55.1 | 0.42 / 42.2 | 0.59 / 69.1 | 0.96 / 97.9 |
| 全平均 (Avg) | MCC | 0.35 | 0.43 | 0.50 | 0.46 | 0.58 | 0.91 |
| 全平均 (Avg) | F1 (%) | 33.6 | 45.4 | 56.8 | 48.9 | 67.8 | 95.2 |
注：在全平均指标上，SE 达到 0.58 MCC 与 67.8% F1，显著超越了传统 SOTA 集成基准 Easy Ensemble（0.50 / 56.8%）与过采样代表 SMOTE（0.43 / 45.4%）。
消融实验¶
论文在附录 C.5 中针对核心组件设计了三组系统消融实验（关键数值汇总）：
| 配置 / 变体 | 平均 MCC | 平均 F1 (%) | 说明 |
|---|---|---|---|
| SE 完整模型 (全局少数类配对 + MCC加权 + 均值差代理) | 0.58 | 67.8 | 默认完整模型设置 |
| w/ 局部少数类配对 (各层仅保留该层内部少数类) | 0.51 | 58.2 | 局部配对因少数类样本极度匮乏致方差大增，MCC 骤降 0.07 |
| w/ 均匀加权 (各基分类器无权重平均融合) | 0.52 | 69.5 | 缺乏验证集可靠性调节，MCC 损失约 6 个百分点 |
| w/ F1 加权 (使用验证集 F1 作为权重 \(\alpha_k\)) | 0.58 | 67.9 | 与基于 MCC 的加权效果几乎完全一致 |
| w/ 随机排序代理 (用无任何信息的随机排序替代 \(\eta(x)\)) | 0.55 | 67.5 | 仍显著优于其他基线，体现分层集成架构本身的结构鲁棒性 |
| w/ 复杂分类器代理 (采用 Logistic / CatBoost 输出作 \(\eta(x)\)) | 0.58 | 68.0 | 与简单的均值差解析评分效果相当，证实轻量级评分足够高效 |
关键发现¶
- 高 LMI 区域表现差异巨大：在少数类被严重压制的 High-LMI 区域中，现有主流方法（如 SMOTE、Focal Loss）因向主导的多数类严重过拟合，其召回和 F1 极低；而 SE 凭借局部多数类隔离机制，在高 LMI 区域实现了优异的恢复能力，这也是 SE 整体性能大幅领先的关键动因。
- 常规保留集评估的致命陷阱：若直接从 LMI 受损数据中按常规方式留出验证集进行评估，DMG（不采取任何处理的模型）的得分竟能反常地超过在无偏全集上训练的 GLD 模型。这是因为测试集本身包含了相同的观测偏置，使得盲目迎合偏置的模型获得了虚假的高分，验证了建立无偏测试基准的必要性。
- 不同类别不平衡机制下的适用边界：在均匀的类别计数不平衡下，由于没有局部特征扭曲，传统重平衡方法表现最佳，SE 因对多数类过度切分导致方差略微增大；但在所有 6 种不同形态的 LMI 场景（单调、非单调、交互作用、未观测变量驱动、多数类邻近偏差、分类离散偏差）中，SE 均一致取得最高 MCC 与 F1。
亮点与洞察¶
- 重新定义了类别不平衡的本质边界：敏锐地指出了长久以来被文献忽视的“局部少数类不平衡（LMI）”现象，揭示了不平衡的“产生原因（是否与特征相关）”与“纠正策略”同等重要，填补了均匀采样假设与现实观测偏差之间的鸿沟。
- 反直觉的“全局正样本 + 局部负样本”配对智慧：分层后通常的做法是层内自成闭环，但作者洞察到 LMI 的真正毒瘤是“少数类缺失区域内的过量多数类”，因此反其道而行之，限定多数类为局部、敞开少数类为全局，用极简的配对逻辑完美化解了小样本方差陷阱。
- 设计了极具说服力的金标准评估范式：不仅提出了有效算法，还深刻批判了工业界和学界“在同源偏置数据集上做交叉验证”的掩耳盗铃做法，给出了严谨的 LMI 仿真与评估框架。
局限与展望¶
- 依赖部分少数类支持：SE 要求在受 LMI 抑制的区域内仍有微量的少数类残存支撑（即非完全硬截断）；若某一特征区域内的少数类被 100% 绝对剔除且无任何关联特征线索，任何仅基于观测数据的算法都无法在数学上恢复该区域。
- 目前专注于表格数据：分层树的构建直接运行在离散/连续特征维度上，目前主要验证于表格数据集；未来扩展到图像、文本或多模态数据需要结合深度表征学习空间的隐式分层机制。
- 纯类别计数不平衡下的微弱方差惩罚：在完全无特征选择偏置的经典类别不平衡任务中，SE 会因为多余的空间分块带来轻微的方差开销，性能略逊于全局重平衡算法。
相关工作与启发¶
- vs SMOTE / ADASYN 等过采样法：过采样方法在 LMI 区域内缺乏种子少数类样本，只能在原本就容易观测到的少数类密集区大量插值，反而加剧了特征空间内的观测扭曲；SE 则通过空间分层隔离多数类压制。
- vs EasyEnsemble / Balanced Bagging 等集成法：传统集成方法依赖对多数类的全局随机欠采样，其降低的是估计方差，对特征依赖的非均匀偏差无能为力；SE 通过信息驱动的树形空间分层，实现了有针对性的局部偏差纠正。
- vs Logit Adjustment 等长尾修正法：Logit Adjustment 假设类别先验偏移在特征空间全局恒定，采用统一的常数 Logit 偏移；而 LMI 的偏移项 \(\gamma(x)\) 与特征紧密相关，SE 借助局部近似常数假设成功将复杂函数转化为局部常数分块。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统形式化局部少数类不平衡问题并给出对数几率失真理论与树分层集成解法
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 类基分类器、17 种基线算法、8 个基准数据集、6 种不同 LMI 机制及详尽消融
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，引理与命题层层递进，对传统评估缺陷的论证深刻透彻
- 价值: ⭐⭐⭐⭐⭐ 对医疗诊断、金融风控等存在严重选择偏差的关键决策领域具有重大的实用与理论指导意义