A Comprehensive View of Fairness through Distributional Stability¶

会议: NeurIPS 2026
arXiv: 2609.37061
OpenReview: https://openreview.net/forum?id=MKUF4BK3dQ
代码: https://anonymous.4open.science/r/stable-fairness-public-7AC7/
领域: 安全
关键词: 算法公平性、分布稳定性、群体公平性、个体公平性、二阶锥规划

一句话总结¶

将公平性重新形式化为预测规则在受保护群体边际分布扰动下的分布稳定性，不仅在理论上统一了个体与群体公平性，还通过重加权凸组合与二阶锥规划提供了测试期任意人口比例下的无分布部署保证。

研究背景与动机¶

算法公平性研究长期分裂为两大互不相通的流派：个体公平性（Individual Fairness, IF）要求相似个体获得相似预测，通常依赖于任务度量空间上的 Lipschitz 条件；而群体公平性（Group Fairness）则要求统计指标跨敏感属性群体相等，衍生出了人口统计学均等（Demographic Parity, DP）、机会均等（Equal Opportunity, EO）和几率均等（Equalized Odds, EOdds）等竞争性准则。这两类定义基于截然不同的数学基础，理论与算法演进长期割裂。

更关键的工程现实瓶颈在于：现有公平性框架无一例外假设数据分布固定。然而在实际部署中，模型从训练环境迁移至测试环境时，不可避免地会遭遇人口结构的地理或时序漂移（例如不同地区或时间窗口内受保护群体的比例剧烈变化）。现有探索分布漂移下公平性保证的工作要么依赖预先获知测试分布，要么局限于特征空间的协变量偏移模型（默认敏感属性本身的边缘分布不变），面对现实中驱动部署偏差最普遍的群体比例变化往往无能为力。

本文的切入角度是打破静态分布评估假设，从系统响应变化的“分布稳定性（Distributional Stability）”视角重构公平性公理。不同于统计学习理论中针对训练集点替换的算法稳定性，本文固定预测函数本身，考察敏感属性边际扰动下预测行为的抗漂移能力。本文的核心 idea 是：将公平性定义为对人口结构扰动算子的分布稳定性，不仅证明古典个体与群体公平差距严格对应于预测率泛函的 Lipschitz 常数，更提出联合控制方差与均值的二阶锥规划（SOCP）凸组合学习框架，实现 deployment-free 的一致性公平保证。

方法详解¶

整体框架¶

本文方法的逻辑流由理论等价性刻画驱动至实用可解算法。首先，建立通用的分布稳定性公理；其次，针对群体比例扰动，证明预测率泛函呈仿射形态，且最大偏差严格等于公平性差距；接着，将公平性约束转化为扰动参数随机变量下的二阶矩控制（$t$-方差泛函），同时约束预测率的方差与均值基准；最后，利用重要性权重将经验风险极小化与凸组合结合，将其表述为二阶锥规划（SOCP）凸优化问题。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据分布 D 与敏感属性 G"] --> B["扰动算子与预测率泛函<br/>重采样保持条件机制不变"]
    B --> C["方差与均值联合约束<br/>t-方差泛函分解控制漂移"]
    C --> D["重要性重加权基分类器<br/>在分层扰动点上训练弱分类器池"]
    D --> E["二阶锥规划求解混合权重<br/>最小化线性化代理风险"]
    E --> F["部署模型：凸组合预测器<br/>跨任意测试比例一致稳定"]

关键设计¶

1. 扰动算子与预测率泛函：统一 IF 与群体公平的稳定性视角

传统群体公平性指标将各群体的统计率作为孤立量进行比较，而本文通过两类特定的重采样算子对其进行了动态化。对于人口统计学均等（DP），扰动算子 $\mathbf{P} \in \mathcal{P}_\pi^G$ 保持条件分布 $\mathbb{P}(\bm{X}, Y \mid G)$ 不变，但强制扰动后的边际概率 $\mathbb{P}_{\mathbf{P}(\mathcal{D})}(G=1) = \pi$。对于机会均等（EO），扰动算子 $\mathbf{P} \in \mathcal{P}_\pi^{G \mid 1}$ 保持条件分布 $\mathbb{P}(\bm{X} \mid Y, G)$ 及标签边际 $\mathbb{P}(Y)$ 不变，仅调节正样本类内的群体比例 $\mathbb{P}_{\mathbf{P}(\mathcal{D})}(G=1 \mid Y=1) = \pi$。在此构造下，定义一般预测率泛函 $\Phi(h; \pi) = \mathbb{E}_{\mathcal{D}_\pi}[\varphi_h(\bm{Z})]$。论文发现 $\Phi(h; \pi)$ 对 $\pi$ 严格具有仿射形式： $$ \Phi(h; \pi) = \alpha(h) + \pi \gamma(h) $$ 式中斜率绝对值 $|\gamma(h)|$ 严格等于古典不公平性差距 $\mathcal{U}(h)$（DP 下为 $|r_1(h) - r_0(h)|$，EO 下为 $|q_{1,1}(h) - q_{0,1}(h)|$）。这意味着传统公平性本质上就是预测率泛函关于人口扰动参数 $\pi$ 的 Lipschitz 连续性，其 Lipschitz 常数即为不公平度。类似地，个体公平性被严格证明等价于点质量测度在局部空间位移扰动下的 Wasserstein-1 稳定性，从而完成了两大学派在稳定性概念下的首次公理化统一。

2. 方差与均值联合控制：通过 t-方差泛函消除部署漂移

仅将古典公平差距约束至零并不能防止模型在极端人群结构下的绝对预测率失控（例如纯 $G=0$ 或纯 $G=1$ 环境）。为此，作者引入扰动参数上的概率测度 $\pi \sim \Pi$，并构造了围绕预设目标基准 $t \in [0, 1]$ 的 $t$-方差泛函 $\mathcal{C}_\Pi(h; t) = \mathbb{E}_{\pi \sim \Pi}[(\Phi(h; \pi) - t)^2]$。该泛函具备优美的二阶正交分解： $$ \mathcal{C}\Pi(h; t) = \mathbf{V}\Pi(h) + (\mathbb{E}{\pi \sim \Pi}[\Phi(h; \pi)] - t)^2 = \gamma(h)^2 \text{Var}_\Pi[\pi] \gamma(h) - t)^2 $$ 第一项方差项 }(\pi) + (\alpha(h) + \mathbb{E$\mathbf{V}_\Pi(h)$ 直接等价于按 $\text{Var}_\Pi(\pi)$ 缩放的不公平度平方，约束方差即可压制斜率 $\gamma(h) \to 0$；第二项均值偏差项则强制全局平均预测率锚定于期望水平 $t$（实践中常设为未约束基线的平均预测率）。这种双重控制切断了预测率随环境比例线性漂移的路径，使得模型不仅在训练分布上公平，还能在任意未知的测试期比例 $\pi'$ 下均保持预测率与基准 $t$ 的偏差一致收敛。

3. 重要性加权字典构建与二阶锥规划（SOCP）：多项式复杂度求解

为了使连续函数空间上的非凸方差约束变得可解，本文采用凸组合集成范式，定义假设空间为 $K$ 个基分类器的凸混合 $\bm{\eta}_{\bm{\alpha}} = \sum_{k=1}^K \alpha_k \eta_k$（$\bm{\alpha} \in \Delta_K$）。由于扰动分布 $\mathcal{D}_\pi$ 仅改变 $G$ 的边际，通过 Radon-Nikodym 导数可解析写出重要性权重 $w_\pi(\bm{z}) = \frac{d\mathcal{D}_\pi}{d\mathcal{D}}(\bm{z})$。基分类器通过在训练集上按先验抽取的 $\pi_k \sim \Pi$ 赋权进行加权经验风险极小化（Weighted-ERM）离线预训练得到。

在确定基分类器池后，通过对区间 $[\underline{\pi}, 1 - \underline{\pi}]$ 进行分层均匀采样获得 $m$ 个评估点 $\pi'_j$，构建经验均值矩阵 $\widehat{\mathbf{A}} \in \mathbb{R}^{m \times K}$，其元素为 $\widehat{A}_{j,k} = \frac{1}{n} \sum_{i=1}^n w_{\pi'_j}(\bm{Z}_i) \varphi_{\widehat{\eta}_k}(\bm{Z}_i)$。结合凸损失的 Jensen 不等式上界（线性化风险代理 $\widehat{\bm{r}}^\top \bm{\alpha}$），经验优化问题被精确转化为标准二阶锥规划（SOCP）： $$ \widehat{\bm{\alpha}} = \arg\min_{\bm{\alpha} \in \Delta_K} \left{ \widehat{\bm{r}}^\top \bm{\alpha} \quad \text{s.t.} \quad |\widehat{\mathbf{A}} \bm{\alpha} - t \mathbf{1}|_2 \leqslant \sqrt{m \delta} \right} $$ 利用内点法可在多项式时间内得到全局最优解，彻底规避了传统对抗训练或拉格朗日乘子交替优化的震荡与局部极小问题。

损失函数 / 训练策略¶

训练过程遵循 Algorithm 1 所示的两阶段策略： 1. 基分类器池构建：独立抽取 $K=30$ 个扰动比例 $\pi_k \sim \mathcal{U}(\underline{\pi}, 1 - \underline{\pi})$，利用样本重要性权重 $w_{\pi_k}(\bm{Z}_i)$ 训练带 $\ell_2$ 正则化的 Logistic 回归基模型 $\widehat{\eta}_k$。对于 DP，$w_\pi(g) = \frac{\pi}{p_1} \mathbb{I}\{g=1\} + \frac{1-\pi}{p_0} \mathbb{I}\{g=0\}$；对于 EO，$w_\pi(g, y)$ 则在 $Y=1$ 类内做相应缩放。 2. SOCP 约束求解：采用分层抽样在 $[\underline{\pi}, 1 - \underline{\pi}]$ 内均匀抽取 $m=60$ 个评估扰动参数，计算矩阵 $\widehat{\mathbf{A}}$ 与经验风险向量 $\widehat{\bm{r}}$，调用锥规划求解器计算最优组合系数 $\widehat{\bm{\alpha}}$。 3. 超参数调优：仅需网格搜索容忍度 $\delta \in [10^{-5}, 5 \times 10^{-2}]$ 与扰动下界 $\underline{\pi} \in [0.02, 0.40]$，在独立验证集上依据最大部署差距 $\max(|\Phi(h; 0) - t|, |\Phi(h; 1) - t|)$ 进行择优。

实验关键数据¶

主实验¶

在 Adult Income（敏感属性：性别）和 COMPAS（敏感属性：种族）标准基准上，与约束经验风险最小化（ERM+DP/EO [1]）、后处理方法（PostProc [11]）以及分布漂移公平性方法（Shifty [19]）进行对比。评价指标包括不公平度差距 $\mathcal{U}(h)$、部署漂移极值差距（Deploy gap $= \sup_{\pi' \in \{0, 1\}} |\Phi(h; \pi') - t|$）以及分类准确率（Accuracy）。实验取 20 次独立随机种子均值 $\pm$ 标准差。

约束类型	模型	Adult $\mathcal{U}(h)$ ↓	Adult Deploy gap ↓	Adult Acc ↑	COMPAS $\mathcal{U}(h)$ ↓	COMPAS Deploy gap ↓	COMPAS Acc ↑
DP	ERM (无约束参考)	.180±.005	.122±.003	.845±.002	.132±.009	.079±.006	.680±.007
	ERM+DP [1]	.036±.006	.049±.006	.827±.002	.012±.006	.011±.004	.566±.019
	PostProc [11]	.013±.009	.097±.005	.823±.004	.038±.021	.044±.022	.555±.016
	Shifty [19]	.033±.021	.138±.032	.802±.010	.015±.012	.472±.039	.510±.007
	STABLE (本文)	.011±.000	.006±.000*	.753±.003	.012±.001	.006±.001*	.680±.009*
EO	ERM (无约束参考)	.075±.015	.037±.007	.845±.002	.126±.013	.069±.007	.680±.007
	ERM+EO [1]	.021±.015	.018±.008	.842±.003	.015±.007*	.056±.006	.595±.050
	PostProc [11]	.036±.025	.052±.012	.841±.002	.074±.037	.089±.044	.525±.017
	Shifty [19]	.043±.024	.081±.053	.824±.012	.046±.029	.363±.085	.550±.021
	STABLE (本文)	.013±.009*	.013±.007*	.844±.003	.052±.008	.029±.005*	.651±.010*

真实地理跨州迁移实验与训练开销¶

在基于美国人口普查局的大规模数据集 ACS Income 上，以加利福尼亚州（$n=80,000$）为训练集，在白人居民比例从 62% 至 93% 剧烈变化的 11 个未见州进行跨地域实测评估，并统计单种子平均训练耗时（秒，Apple M2 芯片）：

实验任务	模型	训练耗时 (DP)	训练耗时 (EO)	跨州迁移表现与偏差漂移行为
ACS 跨州迁移	ERM+约束	126.8s	101.2s	DP 漂移斜率明显偏负，高比例州预测率系统性塌陷
	PostProc	8.38s	17.0s	优化迅速但跨州方差极大，EO 约束下预测率系统性上浮
	Shifty	56.9s	50.2s	尽管考虑漂移但产生持续向下漂移，计算稳定性较差
	STABLE (本文)	151.2s	149.9s	斜率几乎绝对水平，跨所有 11 个未见测试州均贴合基准 $t$

关键发现¶

对测试期人口漂移展现出绝对鲁棒性：基线模型（即使是专门针对人口漂移设计的 Shifty）在面对真实跨州人口比例变化时，预测率曲线展现出显著的负斜率，在高白人比例州产生严重的系统性偏差；而 STABLE 的预测率曲线在全比例区间保持平直，Deploy gap 下降最高达一个数量级。
理论下界保证与样本复杂度的分层增益：分层抽样使得扰动参数逼近误差达到 $\mathcal{O}(m^{-3/2})$，显著优于普通独立抽样的 $\mathcal{O}(m^{-1/2})$。最终超额风险与公平差距分别满足 $\widetilde{\mathcal{O}}(n^{-1/2} + m^{-3/2} + N^{-\beta/(2\beta+d)})$，在理论上证明了有限样本下的快速收敛。
基准目标 $t$ 的适度边界：对 $t \in (0.05, 0.95)$ 的敏感性分析表明，在 $t_{\text{ERM}}$ 附近模型的准确率与可行性表现最为稳健；若人为设定过于极端的 $t$，凸可行域将被剧烈压缩乃至导致优化退化。

亮点与洞察¶

将公平性公理化为对分布扰动的微分连续性：摒弃了传统将各群体指标机械做差的静态视阈，证明不公平度本质上是预测率泛函关于扰动算子的 Lipschitz 常数。这一发现从几何动力学层面连通了 IF 与 Group Fairness。
破解分布鲁棒优化（DRO）在公平性中的空洞界限（Vacuous Bound）：DRO 在球体半径内允许特征条件分布 $\mathbb{P}(\bm{X} \mid G)$ 和标签机制发生任意恶性破坏，导致所得最坏界失去指导意义。本文方法严格限制在由重要性权重诱导的一维人口扰动流形上，获得了真正收敛且非空的泛化保证。
SOCP 与凸组合范式的高效求解：避免了对深层网络进行端到端对抗训练的模式崩溃风险，通过轻量级重要性加权基模型与二阶锥规划，实现了多项式时间求解与全局收敛，对工业级审计极具应用价值。

局限与展望¶

线性化代理风险带来的固有准确率折损：由于采用了风险的凸上界 $\overline{\mathcal{R}}(\bm{\eta}_{\bm{\alpha}})$，导致在 Adult 数据集 DP 约束下牺牲了约 7% 的分类精度。未来工作需探索对真实非线性混合风险直接优化的保凸松弛技术。
依赖敏感属性完全观察的加权机制：训练阶段重要性权重的解析计算要求敏感属性 $G$ 完全已知且无偏，在敏感属性存在对抗污染或缺失记录时可能导致加权失准。
高阶连续属性的扩展挑战：当前群体重采样主要面向二值或多值离散属性，将该连续扰动泛函推广至高维连续交织属性（如连续收入与年龄的交乘效应）仍有待进一步理论推演。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆性地将个体与群体公平性统一在分布稳定性框架下，理论构思极其优雅深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖仿真扰动、大规模真实跨州地理漂移、超参网格热图及 target 敏感性消融，证据链坚实。
写作质量: ⭐⭐⭐⭐⭐ 数学证明严谨完整，引理推导逻辑清晰，正文叙述高屋建瓴。
价值: ⭐⭐⭐⭐⭐ 彻底解决了公平机器学习模型部署到不同人口区域时保证失效的现实痛点，提供了理论可证的全新工具。