FairSplit: Decomposing the Embedding Space for Fair Classification¶

会议: NeurIPS 2026
arXiv: 2610.39031
代码: https://github.com/shkabrii/fairsplit
领域: 安全
关键词: 公平分类, 嵌入空间分解, 希尔伯特-施密特独立性准则, 结构压缩, 人口统计学奇偶性

一句话总结¶

FairSplit 通过动态学习将表征空间解耦为用于下游预测的公平子空间和吸收敏感信息的敏感子空间，并利用希尔伯特-施密特独立性准则与闭式掩码更新，在多分类与非二元敏感属性场景下为人口统计学奇偶性差距提供了严格的理论上界与优异的公平-精度权衡。

研究背景与动机¶

随着机器学习在招聘、医疗诊断、司法审判、信用评分以及人脸识别等高风险决策领域的普及，算法对特定弱势群体的历史偏见与歧视问题受到了极为广泛的关注。群体公平性旨在消除模型决策对性别、种族等敏感属性的依赖。然而，现有的公平分类技术绝大多数受限于二元分类和二元敏感属性的严苛假设，当面对现实中普遍存在的多类别标签以及多元交叉敏感群体时往往难以直接扩展；更重要的是，绝大多数处理方法偏向于在模型输出层面或 logits 预测上施加经验惩罚，不仅无法对所学习的底层表征施加直接的几何约束，而且极度缺乏对下游分类器公平性泛化能力的理论保证。

传统的表征去偏方法要么通过对抗训练抹去敏感信息，导致特征表示发生严重退化并牺牲任务效用；要么仅单向惩罚表征与敏感变量间的依赖关系，使得敏感属性缺乏明确的承载载体，容易残留在关键预测特征中。现存极少数引入统计独立性准则的方法，多停留在直接规整全维嵌入或输出端，未将任务相关特征与敏感信息做结构化空间拆分，且无法自适应确定公平表征所需的有效自由度。

本文切入的角度在于从表征空间的结构解耦出发：与其在全局特征中强行压制偏见信息，不如在表征空间内部显式划分出两个互补的子空间——让一部分特征专门用于分类预测并严格规避敏感偏差，同时开辟一个专属的敏感子空间作为敏感信息的排遣地，并通过闭式解动态学习两者的维度分配。核心 idea：通过可学习的二元掩码将嵌入空间解耦为预测用的公平子空间与吸收偏差的敏感子空间，利用类内/组内方差闭式求解自适应掩码维度，并施加对称反向的 HSIC 统计独立性正则化，从而在多分类和非二元属性下为人口统计学奇偶性差距提供维度与相关性联合约束的严格理论上界。

方法详解¶

整体框架¶

FairSplit 的整体架构由特征编码器、可学习的动态分离掩码、敏感属性正则化器以及下游线性分类头构成。对于输入样本，编码器首先将其映射至高维潜在嵌入空间；随后，模型维护一个与嵌入维度等长的二进制掩码向量，将完整嵌入硬切分为由掩码激活维构成的公平子空间以及由补集构成的敏感子空间。下游分类头严格仅接收公平子空间的特征进行类别预测，完全隔离敏感子空间。在训练阶段，模型通过交替优化策略协同推进：固定掩码时联合更新网络参数与聚类中心，固定表征时根据类内与组内方差的相对比率闭式解析更新掩码。通过对公平子空间实施 HSIC 最小化、对敏感子空间实施 HSIC 最大化，算法促使敏感信息流向敏感子空间，从而在保持高预测精度的同时实现严格的组间公平。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["输入样本 x"] --> ENC["特征编码器 f_phi<br/>映射为高维嵌入 z"]
    ENC --> MASK["可学习二进制掩码 b<br/>空间正交切分"]
    MASK --> FS["公平子空间 z_f = b ⊙ z"]
    MASK --> SS["敏感子空间 z_s = (1 - b) ⊙ z"]
    FS --> CLS["线性分类器 g_psi<br/>交叉熵任务损失 L_task"]
    FS --> REG1["HSIC 依赖最小化<br/>减少与敏感属性 s 的依赖"]
    SS --> REG2["HSIC 依赖最大化<br/>引导吸收敏感信息"]
    ENC -.-> CMP["结构压缩与方差统计<br/>类内方差 V^(y) 与组内方差 V^(s)"]
    CMP -.->|闭式解更新| MASK
    CLS --> OUT["公平类别预测 y_hat"]

关键设计¶

1. 结构压缩驱动的自适应掩码分配：根据标签与敏感属性的组内方差动态划分特征维度

为了在无需预先手工指定公平子空间维度的情况下自适应决定哪些特征维度服务于预测、哪些特征维度应被隔离，FairSplit 设计了结构压缩损失并推导了掩码更新的闭式解。在特征空间中，设类别 $k$ 的中心为 $\boldsymbol{\mu}_k$，敏感群体 $g$ 的中心为 $\boldsymbol{\nu}_g$。对每个维度 $j$，模型统计样本在该维度上的类内方差 $V_j^{(y)} = \sum_k \sum_{i \in \mathcal{I}_k} (z_{ij} - \boldsymbol{\mu}_{kj})^2$ 以及敏感群体内部方差 $V_j^{(s)} = \sum_g \sum_{i \in \mathcal{I}_g} (z_{ij} - \boldsymbol{\nu}_{gj})^2$。当放宽二进制约束至连续区间 $[0, 1]$ 时，平衡压缩目标关于掩码权重 $b_j$ 具有严格凸的闭式极值解：

\[b_j^* = \frac{V_j^{(s)}}{V_j^{(y)} + V_j^{(s)}}\]

当某一特征维度在相同类别样本间高度聚合而在敏感群体间离散（即 $V_j^{(y)} \ll V_j^{(s)}$）时，$b_j^*$ 逼近 1，该维度被判定为高任务相关性并分流至公平子空间；反之，若在敏感群体内部高度聚焦而在类别间杂乱，则判定其富集敏感属性偏见并划归敏感子空间。训练中使用指数移动平均（EMA）平滑每个小批量的取值并以 $0.5$ 阈值硬二值化，从而实现了公平子空间有效维度 $d_f = \|\mathbf{b}\|_0$ 的端到端自适应进化。

2. 基于 HSIC 的正反向双空间独立性引导：为敏感信息提供排遣通道

单纯依靠方差比率只能实现粗粒度的方差聚拢，不足以消除高阶非线性统计依赖。为此，FairSplit 引入了希尔伯特-施密特独立性准则（HSIC）构建双向正则化项。HSIC 能够在再生核希尔伯特空间（RKHS）中刻画两随机变量间的完全统计独立性。FairSplit 对公平表征与敏感空间分别施加反向目标：

\[\mathcal{L}_{\text{reg}} = \rho_f \widehat{\text{HSIC}}(\mathbf{Z}_f, \mathbf{S}) - \rho_s \widehat{\text{HSIC}}(\mathbf{Z}_s, \mathbf{S})\]

其中 $\mathbf{Z}_f$ 和 $\mathbf{Z}_s$ 分别为小批量样本经过掩码过滤后的公平与敏感表征矩阵，$\mathbf{S}$ 为敏感属性独热编码矩阵。正项 $\rho_f \widehat{\text{HSIC}}(\mathbf{Z}_f, \mathbf{S})$ 强力压制预测表征与敏感属性之间的统计依赖；负项 $-\rho_s \widehat{\text{HSIC}}(\mathbf{Z}_s, \mathbf{S})$ 则主动将敏感信息抽吸至敏感子空间。这一机制至关重要：它给敏感属性信息提供了一个安全合规的“蓄水池”，避免因单纯压制而在公平空间内留下不可控的纠缠残差。

3. 多分类与多元敏感属性下人口统计学奇偶性差距的理论界定：空间维度与依赖性的联合控制

现有公平性理论极少能够直接约束下游分类器的实际表现，尤其是在多分类与非二元属性组合场景下。FairSplit 定义了多分类（$K$ 类）与多敏感组（$G$ 组）下连续松弛的人口统计学奇偶性差距：

\[\Delta_{\text{DP}}(h_\theta) := \max_{g, g'} \|\mathbb{E}[h_\theta(\mathbf{x}) \mid s=g] - \mathbb{E}[h_\theta(\mathbf{x}) \mid s=g']\|_2\]

在分类头权重有界 $\|\mathbf{W}\|_{\max} \le B$ 的设定下，论文严格证明了该差距被公平子空间有效维度 $d_f$ 与独立性度量联合控制的上界：

\[\Delta_{\text{DP}}(h_\theta) \le c_G B \sqrt{K d_f} \cdot \sqrt{\text{HSIC}(\mathbf{z}_f, \mathbf{s})}\]

其中 $c_G \le \frac{\sqrt{2}}{p_{\min}}$ 为取决于敏感群体最小先验流行度 $p_{\min}$ 的常数。该理论直接揭示了公平性的根本杠杆：降低模型与敏感属性的 HSIC 统计关联、同时压缩公平子空间的有效维度 $d_f$，能够协同且可控地收紧公平性差距上界。

损失函数 / 训练策略¶

FairSplit 的总训练目标由任务分类损失、结构压缩损失与双向 HSIC 正则化损失联合构成： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \mathcal{L}_{\text{comp}} + \mathcal{L}_{\text{reg}}$$ 其中 $\mathcal{L}_{\text{task}}$ 为标准交叉熵损失；$\mathcal{L}_{\text{comp}} = \lambda_f \sum_k \sum_{i \in \mathcal{I}_k} \|\mathbf{b} \odot (\mathbf{z}_i - \boldsymbol{\mu}_k)\|_2^2 + \lambda_s \sum_g \sum_{i \in \mathcal{I}_g} \|(\mathbf{1} - \mathbf{b}) \odot (\mathbf{z}_i - \boldsymbol{\nu}_g)\|_2^2$ 负责特征聚类中心压缩。训练采用两阶段交替迭代优化： 1. 网络参数更新阶段：保持掩码 $\mathbf{b}$ 固定，通过 Adam 优化器沿 $\nabla_\theta \mathcal{L}_{\text{total}}$ 更新编码器与分类头参数，并以动量滑动平均维护全局类中心 $\boldsymbol{\mu}_k$ 与群中心 $\boldsymbol{\nu}_g$；在前 50 步预热阶段仅优化交叉熵以保证分类器具备基础特征判别能力，随后引入公平性与压缩正则项。 2. 掩码解析更新阶段：截断特征梯度的反向传播，按小批量统计每个维度的类内方差 $V_j^{(y)}$ 与组内方差 $V_j^{(s)}$，代入闭式解计算 $b_j^*$，并经由移动平均系数 $\alpha=0.99$ 更新历史均值后二值化。

实验关键数据¶

主实验¶

实验在 Adult 表格数据集、CelebA-A 图像人脸属性数据集、UTKFace-AR（3 类别年龄预测、3 类种族敏感属性）以及高度偏斜的 COMPAS 数据集（4 交叉群体，$p_{\min}=0.05$）上进行评估。在所有达到 ERM 验证效用 95% 以上的配置中，选取最优公平性指标汇报。

数据集	任务/属性设定	方法	效用 (AP / F1 ↑)	$\Delta\text{DP} \downarrow$	$\text{ABCC} \downarrow$	$\Delta\text{EOdd} \downarrow$
Adult	二元分类 / 二元性别	ERM	76.7±0.5	19.4±0.6	18.7±0.2	18.2±2.3
		FairMixup	72.9±0.4	1.1±0.6	4.6±0.5	36.0±3.3
		DiffMCDP	73.6±0.2	3.0±0.4	4.3±0.4	28.4±1.7
		FairSplit (本文)	72.9±0.9	1.0±0.9	2.4±0.7	8.3±4.2
CelebA-A	二元分类 / 二元性别	ERM	84.5±0.4	52.8±0.8	35.9±0.8	75.0±2.1
		DRAlign	80.3±1.2	31.7±4.9	15.4±2.9	29.9±9.1
		DiffMCDP	80.6±1.0	20.4±2.4	14.4±1.6	9.8±2.5
		FairSplit (本文)	80.4±1.1	18.3±1.1	9.4±1.3	5.2±1.7
UTKFace-AR	3 类年龄 / 3 类种族	ERM	73.8±0.7	27.9±1.4	27.1±2.6	35.9±3.0
		AdvDebias	74.7±0.8	28.7±3.0	21.1±1.9	38.5±7.9
		HSIC(Y,S)	70.3±1.1	11.9±1.3	12.0±0.8	24.1±3.5
		FairSplit (本文)	70.4±1.5	12.6±1.1	9.1±1.0	22.1±4.9
COMPAS	交叉群体 ($p_{\min}=0.05$)	ERM	69.1±2.4	35.2±3.3	17.9±1.8	55.4±8.7
		HSIC(Y,S)	67.9±2.3	20.5±3.1	6.7±0.7	36.1±9.8
		FairSplit (本文)	66.8±2.4	16.8±3.6	1.2±0.4	31.5±7.6

消融实验¶

在 CelebA-A 数据集（原始嵌入维度 $m=512$）上，逐步验证敏感子空间以及各正则项对公平性指标及公平空间维度 $d_f$ 的影响。

配置变体	AP ↑	$\Delta\text{DP} \downarrow$	$\text{ABCC} \downarrow$	公平子空间维度 $d_f$	说明
ERM	84.5±0.4	52.8±0.8	35.9±0.8	512	无任何公平约束的全维表征
无敏感子空间 (No Sensitive Space)	80.7±0.7	26.6±1.4	16.1±1.0	512	仅对全维嵌入单向惩罚 HSIC，无法分流
未正则化敏感空间 (Unregularized)	80.1±0.8	22.2±2.4	12.4±1.7	391	引入掩码切分但置 $\lambda_s=\rho_s=0$
FairSplit 完整模型	80.4±1.1	18.3±1.1	9.4±1.3	334	结合闭式掩码与双向 HSIC 引导

关键发现¶

敏感子空间的显式分流机制具有决定性作用：如果仅仅在全维特征上惩罚 HSIC（无敏感子空间），$\Delta\text{DP}$ 仅能降到 26.6，而引入解耦掩码并激活敏感子空间的反向吸附后，$\Delta\text{DP}$ 进一步锐减至 18.3，且无需牺牲额外的分类精度（AP 保持在 80.4%）。
掩码自适应维度收敛与理论界高度吻合：随着对敏感子空间正则化强度 $\rho_s$ 的提升，更多携带敏感偏差的维度被有效剥离，$d_f$ 从 512 自适应精简到 334 甚至更低，实测的 $\Delta\text{DP}$、ABCC 和 MCDP 指标均呈现单调显著下降趋势，经验规律与理论上界的 $\sqrt{d_f}$ 项严格对应。
在大模型与冻结特征上的极强泛化性：在端到端微调的 ViT-B/16 上，FairSplit 将 $\Delta\text{DP}$ 从 23.0 砍至 9.5；在冻结的 CLIP ViT-L/14 和 DINOv2 特征投影层上，在任务 A 上学得的公平子空间在无需敏感属性标签的情况下直接迁移至未见过的下游任务 B，各项公平性指标依然大幅优于 ERM。

亮点与洞察¶

闭式掩码优化避开了离散门控的梯度反传瓶颈：利用类内方差与敏感组内方差的凸优化闭式解，每个批次仅需统计前向表征方差即可完成维度离散分配，既免除了 Gumbel-Softmax 等松弛近似的训练不稳定性，又实现了动态确定公平维度。
将对抗消除转化为空间解耦与安全引流：传统公平算法常试图在全局表征中“抹杀”受保护特征，极易损坏正常表征结构；FairSplit 创新性地提供专门的敏感子空间作为容纳载体，实现了“分而治之”的表征净化。
打通了多分类/多群体的公平性理论保证：突破了绝大多数算法仅适用于二元设定或经验启发式的缺陷，将人口统计学奇偶性差距严格上界至 $\mathcal{O}(c_G B \sqrt{K d_f} \sqrt{\text{HSIC}})$，使多分类公平性具备了扎实的理论支撑。

局限与展望¶

理论推导依赖于线性分类头假设：当前的理论上界依托于下游分类头为线性变换的条件，尽管实验证明采用多层感知机（MLP）作为非线性分类头时 FairSplit 依然具备显著经验优势，但非线性分类头的严格理论泛化保证仍有待探索。
训练阶段需要显式敏感属性标注：虽然消融实验显示该方法在缺失 30% 敏感标签时依然具有较好鲁棒性，但在高噪声或完全无监督偏见发现场景下仍需进一步与伪标签生成或无监督挖掘技术结合。
敏感子空间的参数安全与隐私考量：由于敏感子空间主动捕获并保留了高度集中的敏感属性信息，在需要保护敏感属性隐私的部署环境中，模型权重本身需受到严格的访问控制保护，避免敏感信息反向重构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出闭式解空间掩码与对称 HSIC 正反向引导，将表征解耦机制与群体公平深度结合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖表格、人脸图像、微调 ViT-B/16 及多种冻结多模态基础模型，多分类与交叉偏斜实验完整详实。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完整，从统计物理引理到主定理层层递进，消融逻辑周密。
价值: ⭐⭐⭐⭐⭐ 突破了现有公平分类长期局限于二元设定的重大瓶颈，为多分类公平机器学习奠定了坚实的基础。