On the Burden of Achieving Fairness in Conformal Prediction¶

会议: NeurIPS 2026
arXiv: 2605.14260
代码: https://github.com/GreenPenguin001/group-cp-tradeoffs
领域: 安全
关键词: 保形预测, 算法公平性, 组级覆盖率, 预测集大小, 不可能定理

一句话总结¶

本文从总体非一致性得分分布视角出发，证明了保形预测中单池化阈值的组覆盖畸变守恒律与下界，并确立了等覆盖率与等集大小两大主流公平目标之间根本性、双向不可兼得的不可能定理。

研究背景与动机¶

保形预测（Conformal Prediction, CP）作为一种模型无关的不确定性量化框架，能够在仅依赖校准集与测试集可交换性（Exchangeability）的温和假设下，为黑盒机器学习模型的预测输出构造具有严格有限样本覆盖率保证（如 $1-\alpha$）的预测集合。常规的划分保形预测通常采用全样本池化（Pooled Calibration）策略计算单一经验分位数阈值，但这仅能兑现全分布上的边缘覆盖保证。由于在有限样本下精确的无分布条件覆盖（Distribution-free Conditional Coverage）在理论上已被证明不可能实现，学术界与工业界普遍将目标退守至组条件保形预测（Group-conditional CP）。然而，池化校准往往在总体边缘满足标称覆盖率的假象下，掩盖了不同敏感群体间打分分布的异质性，导致某些群体的严重欠覆盖被另一些群体的过覆盖相互抵消。

针对这一公平性缺陷，现有文献主要衍生出两条正交的技术路线：一种是追求组间等覆盖率（Equalized Coverage），即为不同子群分别标定专属阈值以消除覆盖率鸿沟；另一种则是下游决策驱动的等期望预测集大小（Equalized Expected Set Size），旨在避免某些弱势群体因承担过大的预测集而遭受决策延迟或认知偏见。已有的人机协同决策实证表明，强行拉齐覆盖率反而可能在下游任务中扩大决策差距，而拉齐集合大小却往往伴随着覆盖率的严重失衡。尽管实证与局部场景有所觉察，学界长期缺乏一个严格的理论框架来厘清这两大公平性准则之间的内在数学联系与制约关系——这究竟是有限样本校准噪声带来的算法副产物，还是数据群体异质性所决定的内在极限？

本文的切入视角是越过有限样本经验波动的表象，直接从支撑划分保形校准的总体非一致性得分分布（Population Score Distributions）切入建模。核心 idea：在非一致性得分分布存在跨群分位数异质性时，池化校准存在不可消除的组覆盖畸变守恒律与方差下界；等覆盖率与等集大小在理论上双向互斥，任何校准策略都无法消除数据内在异质性，而只能在“覆盖率畸变”与“预测集大小畸变”两个维度之间进行结构性置换。

方法详解¶

整体框架¶

本文的核心数学框架建立在组划分空间 $\mathcal{X} \to \mathcal{G} = \{1, \dots, K\}$ 与非一致性得分函数 $S(X, Y)$ 之上。对于总体分布中概率质量为 $p_g = \mathbb{P}(G(X) = g)$ 的各个子群 $g \in \mathcal{G}$，其条件累积分布函数为 $F_{S|g}(t) = \mathbb{P}(S \le t \mid G = g)$，总体混合分布为 $F_S(t) = \sum_{g} p_g F_{S|g}(t)$。对于目标错误率 $\alpha \in (0, 1)$，总体池化分位数记为 $q := \inf\{t: F_S(t) \ge 1-\alpha\}$，而各群专属分位数记为 $q_g := \inf\{t: F_{S|g}(t) \ge 1-\alpha\}$。本文的核心流程涵盖三个相互推导的理论阶段：池化校准的守恒与下界表征、等覆盖率与等集大小的双向不可能定理，以及策略切换失真代价的定量刻画。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多群非一致性得分分布 S|G=g<br/>标称覆盖水平 1-α 与群权重 pg"] --> B["池化校准守恒律与不确定性关系<br/>跨群分位数方差 σ_Δ 诱导覆盖畸变"]
    B --> C["双向公平性不可能定理<br/>等覆盖率与等集合大小内在张力"]
    C --> D["定量策略转换代价与实证探针<br/>有效刚度与局部响应转换界"]
    D --> E["输出：有限样本校准策略权衡诊断<br/>覆盖误差与集合大小失真权衡"]

关键设计¶

1. 池化校准守恒律与不确定性关系：揭示单一阈值下群覆盖畸变的不可消除性

当使用单一池化阈值 $q$ 时，第 $g$ 个群体的有符号覆盖畸变定义为 $\varepsilon_g(q) := \mathbb{P}(Y \in \widehat{C}_q(X) \mid G=g) - (1-\alpha) = F_{S|g}(q) - (1-\alpha)$。定理 1 建立了池化校准的总体守恒律： $$\sum_{g \in \mathcal{G}} p_g \varepsilon_g(q) = F_S(q) - (1-\alpha) =: \delta(q)$$ 在得分分布连续（$\delta(q)=0$）或离散跳跃下引入随机化平局处理后，加权净畸变严格为零（$\sum_g p_g \varepsilon_g(q) = 0$）。这意味着池化阈值对边缘标称覆盖率的满足是以部分群体过覆盖（$\varepsilon_g > 0$）与另一部分群体欠覆盖（$\varepsilon_g < 0$）严格相互对冲为代价的。

为了进一步刻画畸变的绝对量级，作者引入跨群内在异质性度量 $\sigma_\Delta^2 := \mathrm{Var}(q_G) = \sum_g p_g (q_g - \mathbb{E}[q_G])^2$ 以及由局部条件概率密度下确界 $m_g(q) := \operatorname*{ess\,inf}_{t \in [\min(q, q_g), \max(q, q_g)]} f_{S|g}(t)$ 加权构造的有效刚度（Effective Stiffness）： $$m_{\mathrm{eff}}(q) := \sqrt{\frac{\mathbb{E}[m_G(q)^2 (q - q_G)^2]}{\mathbb{E}[(q - q_G)^2]}}$$ 定理 2 确立了池化阈值的不确定性关系：$\mathrm{Var}(\varepsilon_G(q)) \ge m_{\mathrm{eff}}(q)^2 \mathrm{Var}(q_G) = m_{\mathrm{eff}}(q)^2 \sigma_\Delta^2$。它从总体层面上证明：只要各群体的固有分位数存在离散度（$\sigma_\Delta > 0$），且打分密度非退化，池化阈值就必然诱导出不低于 $m_{\mathrm{eff}}(q) \sigma_\Delta$ 量级的跨群覆盖率不均，绝非增加有限样本校准数据即可消除。

2. 双向公平性不可能定理：确立等覆盖率与等集大小的结构性互斥

为了消除池化校准的覆盖率偏差，最直接的做法是推行等覆盖率政策（Equalized Coverage），即各群使用独立阈值 $q_g$；而下游任务常倡导等期望集大小政策（Equalized Set Size），即寻找群专属阈值 $\tau_g$ 使得期望预测集大小 $\ell_g(\tau_g) := \mathbb{E}[|\widehat{C}_{\tau_g}(X)| \mid G=g]$ 统一等于目标常数 $\lambda$。作者从两个相反方向严格证明了两者在异质性群体下无法共存： - 正向（等覆盖率诱导集大小差距）：定理 3 指出，选定参考群 $r$ 后，若需要更大阈值实现达标覆盖的群体 $\mathcal{H}_r \setminus \{r\} := \{g: q_g \ge q_r\}$ 在基准阈值处已具有更大的集合大小（$\ell_g(q_r) - \ell_r(q_r) \ge c_g > 0$），则一旦各群施加 $q_g$ 强制达到 $1-\alpha$ 覆盖，其期望集大小必然出现不可消除的跨群极差：$\max_{g, g'} |\ell_g(q_g) - \ell_{g'}(q_{g'})| \ge \max_{g \in \mathcal{H}_r \setminus \{r\}} c_g > 0$。 - 反向（等集大小诱导覆盖率差距）：定理 4 考虑设定统一的目标集大小 $\lambda$。设各群在覆盖校准下的固有集合大小为 $\lambda_g := \ell_g(q_g)$。在集合大小曲线导数上界 $|\ell'_g(t)| \le V_g$ 与密度下界 $f_{S|g}(t) \ge m_g$ 的局部正则假设下，定义局部覆盖-大小转换率 $\kappa_g := m_g / V_g$。若目标 $\lambda$ 落在两群固有大小之间（$\lambda_g < \lambda < \lambda_{g'}$），则调整阈值达到 $\lambda$ 势必迫使群 $g$ 过覆盖、群 $g'$ 欠覆盖，诱发严格正向的成对覆盖差距： $$F_{S|g}(\tau_g) - F_{S|g'}(\tau_{g'}) \ge \kappa_g (\lambda - \lambda_g) + \kappa_{g'} (\lambda_{g'} - \lambda) > 0$$ 由此，该工作在保形预测领域首次确立了媲美经典分类公平性（如 Chouldechova / Kleinberg 不可能定理）的核心结构性矛盾。

3. 策略转换失真代价与检测性指标：定量刻画异质性在两维度的重分布

除了定性存在性，作者进一步推导出两种策略转换的均方根（RMS）定量下界： - 从池化校准切换到等覆盖率校准时，推论 1 证明集合大小的均方根扰动受固有分位数异质性严格下界约束： $$\sqrt{\mathbb{E}[(\ell_G(q_G) - \ell_G(q))^2]} \ge v_{\mathrm{eff}}(q) \sigma_\Delta$$ 其中 $v_{\mathrm{eff}}(q)$ 为集合大小增长率的有效响应度。 - 从等覆盖率校准切换到等集大小校准时，推论 2 证明覆盖率的均方根偏移受集合大小离散度 $\sigma_\lambda := \mathrm{sd}(\lambda_G)$ 严格下界约束： $$\sqrt{\mathbb{E}[(F_{S|G}(\tau_G) - F_{S|G}(q_G))^2]} \ge \kappa_{\mathrm{eff}}(\lambda) \sigma_\lambda$$ 为了评估有限样本经验校准能否检验出这些理论底线，作者设计了基于切线代理斜率的经验即插即用诊断量（$\widehat{m}_{\mathrm{eff}}^{\mathrm{seg}} \hat{\sigma}_\Delta$、$\widehat{v}_{\mathrm{eff}}^{\mathrm{seg}} \hat{\sigma}_\Delta$、$\widehat{\kappa}_{\mathrm{eff}}^{\mathrm{seg}} \hat{\sigma}_\lambda$），并基于 Dvoretzky-Kiefer-Wolfowitz（DKW）不等式推导出信噪比 $\mathrm{SNR}(n) \ge 1$ 所需的有限校准样本规模临界律： $$n \gtrsim \frac{K \log(K/\xi)}{m_{\mathrm{eff}}(q)^2 \sigma_\Delta^2}$$ 这为工程实践中判别校准集是否足够分辨结构性公平地板提供了明确的样本量估算工具。

实验关键数据¶

主实验¶

实验评估跨越合成仿真分布、职业文本分类（Bias in Bios，DistilBERT）、自然语言推理（MultiNLI 10 种体裁，DistilBERT）以及细粒度人像属性视觉识别（FACET 4 组年龄划分，CLIP ViT-L/14），使用简单打分（Simple Score $1-\hat{p}_y$）、SAPS 与 RAPS。在标称错误率 $\alpha = 0.10$ 下，三个真实数据集上验证了理论预言的池化覆盖畸变、等覆盖诱发的集合大小形变以及等集合大小诱发的覆盖失真：

数据集 / 场景	分组变量 (群数 $K$)	分位数异质性 $\sigma_\Delta$	池化校准 RMS 覆盖畸变	等覆盖集大小 RMS 畸变	等集大小 RMS 覆盖畸变
Bias in Bios (Simple)	性别 (Male, Female, $K=2$)	0.0116	0.0015	0.0051	0.0017
MultiNLI (Simple)	文本体裁 (Genres, $K=10$)	0.0354	0.0150	0.0532	0.0209
FACET (RAPS)	年龄 (Younger/Mid/Old/Unk, $K=4$)	0.0040	0.0083	0.1717	0.0199
仿真：八群高斯混合	均等权重 ($K=8$)	0.1210 (Oracle)	0.1440	2.8600	0.3520

实验结果表明，在所有真实与仿真任务中，经验池化覆盖畸变均稳定紧贴或高于理论有效下界。切换到等覆盖率后，Bias in Bios 中男性集合大小缩减 0.0050、女性增加 0.0053；而强制拉齐集合大小至 $\hat{\lambda}=1.018$ 后，男性覆盖率升高 0.0016、女性覆盖率下降 0.0018，完全印证了正负符号对冲与双向转移机制。

消融与敏感性实验¶

在合成数据与真实数据中，作者对打分分布异质性缩放、温度扰动、标称水平 $\alpha$ 及样本量对检测性的影响进行了全面压力测试：

配置 / 扰动设定	考察维度	经验值 / 表现	理论预测 / 下界标尺	说明
Bias in Bios 样本量 $n=7000$ (Simple)	结构地板信噪比 $\mathrm{SNR}(n)$	$\mathrm{SNR} \ge 1.0$	$n_{\mathrm{detect}} = 7000$	达到经验可分辨临界点
Bias in Bios 样本量 $n=15000$ (RAPS)	结构地板信噪比 $\mathrm{SNR}(n)$	$\mathrm{SNR} \ge 1.0$	$n_{\mathrm{detect}} = 15000$	局部密度更平缓，需更多校准样本
MultiNLI 体裁温度扰动 ($T=1.0 \to 2.0$)	扰动特定群 FaceToFace	RMS 畸变持续单调增加	$\sigma_\Delta$ 增大同步推高下界	异质性加剧必然扩大策略权衡失真
FACET 4 群样本重采样 (70% 比例, 20 次)	经验稳定性评估	$0.0085 \pm 0.0005$	原始值 0.0083	重采样证明失真现象高度鲁棒非偶然
4 群严重不平衡模拟 ($p=(0.6,0.25,0.1,0.05)$)	少数群体最大误差发生率	40/40 种子全中	少数群集中承载极端欠覆盖	弱势群体在池化下成为主要的保形牺牲品

关键发现¶

异质性非线性置换规律：校准策略的选择根本无法消解数据群间固有的特征差异与预测难度不均；算法工程实质上是在决定将这种异质性以“覆盖率违约”还是“预测集合膨胀”的形式暴露给终端系统。
少数群体的池化承压瓶颈：在群体比例极端不平衡（如少数群仅占 5%）的场景中，单一池化分位数几乎完全由多数群体主导，池化守恒律导致 100% 的随机实验中最大覆盖缺失都单调且集中地落在最小群体身上。
检测性与校准规模标度律：小样本校准不仅会带来方差，还会虚假抬高经验估计的异质性与下界（Sample-size Inflation）；只有当校准集样本量超过 $K \log(K/\xi) / (m_{\mathrm{eff}}^2 \sigma_\Delta^2)$ 时，理论下界地板才具有统计显著性与工程诊断意义。

亮点与洞察¶

CP 领域的经典公平不可能定理奠基：首次在保形预测框架下严格建立了类似于分类领域 Chouldechova 和 Kleinberg 的公平性不兼容定理，终结了关于“能否通过高阶校准同时实现覆盖公平与集合大小公平”的学术幻想。
总体守恒律与有效刚度概念：提出了积分中值与下确界构成的“有效刚度”（Effective Stiffness），将抽象的跨群分位数方差与具体的组间覆盖均方差通过显式不等式直接锚定，给出了漂亮的物理图像。
有限样本诊断探针：不仅停留在总体渐近分析，还给出了有限样本下基于分段割线斜率的即插即用诊断量与校准集需求临界公式，具备极强的工程诊断复用价值。

局限与展望¶

预设离散群体假设：当前所有理论推导均依赖于预先划分且静态给定的离散敏感属性组（Prespecified Discrete Groups），尚未覆盖连续型敏感属性、未知潜在子群或动态自适应交叉群体的保形保护。
模型固定与无端到端协同：分析假定特征抽取器和非一致性得分函数固定，仅研究后处理校准阶段的权衡；未能探究在表征学习或端到端训练阶段如何主动压缩跨群分位数方差 $\sigma_\Delta$。
分布正则性依赖：理论下界的推导要求条件得分分布满足绝对连续性与局部正下界条件；在极端退化、高稀疏或高度离散的非一致性打分场景下，界限的紧致度与分析方法仍有待进一步推广。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次确立保形预测等覆盖率与等集大小的双向不可能定理，开创性极强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成系统控制、自然语言与计算机视觉三种跨度大、模态各异的实证验证。
写作质量: ⭐⭐⭐⭐⭐ 数学严密，符号规范，从总体守恒推导至有限样本检测的逻辑链条一气呵成。
价值: ⭐⭐⭐⭐⭐ 为负责任 AI 与不确定性量化的校准目标选择提供了不可回避的理论底座与实用诊断工具。

数据集 / 场景	分组变量 (群数 \(K\))	分位数异质性 \(\sigma_\Delta\)	池化校准 RMS 覆盖畸变	等覆盖集大小 RMS 畸变	等集大小 RMS 覆盖畸变
Bias in Bios (Simple)	性别 (Male, Female, \(K=2\))	0.0116	0.0015	0.0051	0.0017
MultiNLI (Simple)	文本体裁 (Genres, \(K=10\))	0.0354	0.0150	0.0532	0.0209
FACET (RAPS)	年龄 (Younger/Mid/Old/Unk, \(K=4\))	0.0040	0.0083	0.1717	0.0199
仿真：八群高斯混合	均等权重 (\(K=8\))	0.1210 (Oracle)	0.1440	2.8600	0.3520

配置 / 扰动设定	考察维度	经验值 / 表现	理论预测 / 下界标尺	说明
Bias in Bios 样本量 \(n=7000\) (Simple)	结构地板信噪比 \(\mathrm{SNR}(n)\)	\(\mathrm{SNR} \ge 1.0\)	\(n_{\mathrm{detect}} = 7000\)	达到经验可分辨临界点
Bias in Bios 样本量 \(n=15000\) (RAPS)	结构地板信噪比 \(\mathrm{SNR}(n)\)	\(\mathrm{SNR} \ge 1.0\)	\(n_{\mathrm{detect}} = 15000\)	局部密度更平缓，需更多校准样本
MultiNLI 体裁温度扰动 (\(T=1.0 \to 2.0\))	扰动特定群 FaceToFace	RMS 畸变持续单调增加	\(\sigma_\Delta\) 增大同步推高下界	异质性加剧必然扩大策略权衡失真
FACET 4 群样本重采样 (70% 比例, 20 次)	经验稳定性评估	\(0.0085 \pm 0.0005\)	原始值 0.0083	重采样证明失真现象高度鲁棒非偶然
4 群严重不平衡模拟 (\(p=(0.6,0.25,0.1,0.05)\))	少数群体最大误差发生率	40/40 种子全中	少数群集中承载极端欠覆盖	弱势群体在池化下成为主要的保形牺牲品