Cost Efficient Fairness Audit Under Partial Feedback¶

会议: NeurIPS 2026
arXiv: 2510.03734
代码: https://github.com/nirjhar-das/fairness_audit_partial_feedback
领域: AI 安全
关键词: 公平性审计、部分反馈、拒绝采样、截断指数族分布、成本复杂度界

一句话总结¶

针对真实决策场景中仅正向预测个体存在真实标签（部分反馈）且探索负例代价高昂的痛点，本文提出了非对称审计成本模型，设计了在黑盒设定下匹配理论下界的拒绝采样审计算法（RS-Audit），并在指数族混合模型下结合截断统计学习与近似 MAP Oracle 实现了标签代价与精度容限 $\varepsilon$ 解耦的超低成本审计（Exp-Audit）。

研究背景与动机¶

在信贷审批、刑事再犯风险评估和高校招生等高风险决策系统中，机器学习模型的公平性审计面临着根本性的“选择偏差”（Selection Bias）与“部分反馈”（Partial Feedback）挑战。以银行信贷为例，决策模型仅向批准贷款的申请者（$f(X,A)=1$）放贷，因此历史记录中只能观测到这部分群体的真实还款结果（$Y \in \{0,1\}$）；对于被拒绝的申请人（$f(X,A)=0$），其真实履约能力始终处于缺失状态。然而，主流公平性指标如均等机会（Equal Opportunity）和均等化赔率（Equalized Odds）均依赖于以真实标签 $Y$ 为条件的预测概率估计（即 $\mathbb{P}[f=1 \mid Y=y, A=a]$）。若审计员试图强制发放贷款以获取未被批准者的真实标签，则一旦申请者违约（$Y=0$），决策机构将承担沉重的违约经济损失，而非仅仅是特征采集的处理费用。

以往的公平性文献通常处于两类极端假设之间：一类是无额外探索的半监督公平学习，依赖于完全无标签数据但无法主动干预；另一类是在线公平分类，只探讨长期累积遗憾而未针对给定黑盒分类器提供具备统计保证的假设检验审计方案。传统统计审计方法则往往假定全数据可自由采样，忽略了被拒样本标签获取的非对称财务/伦理成本。在真实审计流程中，敏感属性 $A$ 通常可低成本获取，特征收集收取固定开销 $c_{feat}$，而强制给负分类体赋予正向决策并遭遇负面结果（如贷款违约）则需承担显著更高的标签成本 $c_{lab} \gg c_{feat}$。如何在最小化财务损失的前提下完成 $(\gamma, \varepsilon, \delta)$-公平性假设检验，构成了一个紧迫且未被形式化刻画的核心矛盾。

本文的核心切入点是将历史部分反馈数据与主动在线探索相结合，显式构建特征查询与违约损失非对称的审计成本模型。核心 idea：在黑盒设定下利用敏感属性免费可观测的结构，通过条件拒绝采样（RS-Audit）将在线探索聚焦于目标群体，匹配代价复杂度下界；在结构化混合模型下，创造性地将历史正向数据建模为截断样本学习问题，结合近似 MAP Oracle（Exp-Audit）实现高昂标签代价与检验容限 $\varepsilon$ 的彻底解耦。

方法详解¶

整体框架¶

本文针对决策分类器 $f: \mathcal{X} \times \mathcal{A} \to \{0,1\}$ 进行 $(\gamma, \varepsilon, \delta)$-公平性假设检验（以均等化赔率差值 $\Delta$ 为主指标，区分 $\textsf{FAIR}: \Delta \leq \gamma$ 与 $\textsf{UNFAIR}: \Delta > \gamma + \varepsilon$）。审计员能够免费访问历史被判正例的标注数据 $\{(X_i, A_i, Y_i)\}_{f=1}$ 和被判负例的未标注特征 $\{(X_i, A_i)\}_{f=0}$，并可以在线请求未知负例个体的特征与标签。整体架构根据数据分布假设分为黑盒算法体系（Baseline 与 RS-Audit）和指数族混合模型体系（Exp-Audit）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：分类器 f、历史数据 D、误差参数 (γ, ε, δ) 与成本系数 (c_feat, c_lab)"] --> Mode{"数据分布设定"}
    Mode -->|无分布先验 / 黑盒模型| BBox["黑盒审计路径"]
    Mode -->|已知指数族混合模型| ExpBox["指数族混合模型路径"]
    BBox --> Des1["差异化审计成本模型<br/>定义特征采集 c_feat 与违约损失 c_lab"]
    Des1 --> Des2["基于拒绝采样的黑盒审计 (RS-Audit)<br/>负二项集中不等式 + 按群体 A 条件采样"]
    ExpBox --> Des3["截断分布与近似 MAP Oracle (Exp-Audit)<br/>TruncEst 恢复参数 + MAP 代理标签替代真实查询"]
    Des2 --> Test["假设检验决策<br/>计算经验均等化赔率差 Δ^ 并对比阈值 γ + ε/2"]
    Des3 --> Test
    Test --> Out["输出判决：FAIR (Δ ≤ γ) 或 UNFAIR (Δ > γ + ε)"]

关键设计¶

1. 差异化审计成本模型：精细建模特征查询与违约代价的非对称性 传统主动学习与统计审计往往采用无差别的样本复杂度（Sample Complexity）作为评价标准，无法反映部分反馈场景下负标签暴露所伴随的现实风险。审计员对第 $i$ 个被分类器判定为负（$f=0$）的个体，可选择仅观测其特征（指示变量 $g_i=1$）或请求真实标签（指示变量 $h_i=1$）。为此，论文形式化定义了累积期望审计成本： $$\texttt{cost} \coloneqq \sum_{i=1}^N \mathbb{E}\left[c_{feat} \cdot \mathbf{1}\{g_i=1 \text{ or } h_i=1, f_i=0\} + c_{lab} \cdot \mathbf{1}\{h_i=1, Y_i=0, f_i=0\}\right]$$ 在借贷等真实场景中，$c_{feat}$ 对应征信与人工复审工本费，而 $c_{lab}$ 对应贷款本金全额违约损失，通常满足 $c_{feat} \ll c_{lab}$。这一成本模型不仅涵盖了非对称的经济代价，更为分离特征获取和标签查询提供了理论接口。

2. 基于拒绝采样的黑盒审计（RS-Audit）：利用敏感属性分流收敛下界 自然基线算法（Baseline）对所有在线到达且 $f=0$ 的个体一律索要真实标签，导致大量预算浪费在与当前待测敏感群体无关的样本上。RS-Audit 的核心洞见在于，估算均等化赔率差 $\mathbb{P}[f=1 \mid Y=y, A=a]$ 仅需要群体内部的条件联合概率 $p_{y|a} \coloneqq \mathbb{P}[f=1, Y=y \mid A=a]$ 与条件边际概率 $q_{y|a} \coloneqq \mathbb{P}[Y=y \mid A=a]$。由于敏感属性 $A$ 本身可以无代价观测，算法在针对固定属性 $a \in \mathcal{A}$ 估计时，直接丢弃所有 $A \neq a$ 的样本，从而通过拒绝采样完美模拟以 $A=a$ 为条件的分布。为了在未知概率下自适应决定终止时机，算法设置目标成功计数阈值 $\tau = \frac{576 \log(8|\mathcal{A}|/\delta)}{\varepsilon^2}$，采用负二项分布（Negative Binomial）的集中性界定停时 $N_{y|a}$，以 $\widehat{q}_{y|a} = \frac{\tau}{N_{y|a}}$ 与历史数据统计量 $\widehat{p}_{y|a} = \frac{\tau}{N'_{y|a}}$ 构建乘性 $(1 \pm \frac{\varepsilon}{12})$ 级精度的比值估计。相比基线，RS-Audit 严格削减了对无关属性群体的标签请求，其节省的期望审计成本达到 $\widetilde{\Omega}\left(\sum_{y,a} \frac{c_{feat}\mathbb{P}[f=0, A \neq a] + c_{lab}\mathbb{P}[f=0, Y=0, A \neq a]}{q_{y,a}\varepsilon^2}\right)$，并与论文通过 KL 散度信息论方法证明的下界相匹配。

3. 基于截断分布与近似 MAP Oracle 的混合模型审计（Exp-Audit）：标签成本解耦 $\varepsilon$ 当特征分布遵循指数族混合模型 $\mathbb{P}[X \mid Y=y, A=a] = \mathcal{E}_{\theta^*_{y,a}}(X)$ 时，RS-Audit 的标签代价仍含有 $O(1/\varepsilon^2)$ 因子。Exp-Audit 创新性地将分类决策 $f(X,A)=1$ 解释为对潜在数据分布施加的“几何截断（Truncation）”。既然历史数据库中包含被 $f$ 正向筛选的高维样本，算法直接调用截断统计估计器（TruncEst），在完全无需查询新负例标签的情况下，利用投影梯度下降高精度恢复出分布参数 $\widehat{\theta}_{y,a}$，使其满足 $\|\widehat{\theta}_{y,a} - \theta^*_{y,a}\| \leq \frac{\varepsilon}{2\beta}$。随后，算法仅需利用粗粒度容限 $\varepsilon'=1/10$（样本量仅为 $O(1)$，与 $\varepsilon$ 无关）在线请求少量真实标签估算混合权重 $\widetilde{q}_{y|a}$，进而构建最大后验概率（MAP）代理预言机： $$M_a(X) \coloneqq \arg\max_{y \in \{0,1\}} \widetilde{q}_{y|a} \mathcal{E}_{\widehat{\theta}_{y,a}}(X)$$ 在指数族参数满足温和分离度条件 $\|\theta^*_{1,a} - \theta^*_{0,a}\| \geq \Omega(\sqrt{\log(1/\varepsilon)})$ 下，MAP 预言机在判定未标注样本的类别时代价极低且贝叶斯风险被压制至 $O(\varepsilon)$。此后估计 $q_{y|a}$ 只需在线读取无标注特征 $X$（仅支付廉价的 $c_{feat}$）并通过 $M_a(X)$ 赋予代理标签，从而将高昂的真实标签代价 $c_{lab}$ 项彻底从 $O(1/\varepsilon^2)$ 压低至与 $\varepsilon$ 无关的常数阶 $O(1)$。

一个完整示例¶

考虑信贷审批系统中对两个族群 $\mathcal{A}=\{a_1, a_2\}$ 的公平性审计，设定审计容限 $\varepsilon=0.1$、置信度 $\delta=0.01$、单位成本 $c_{feat}=0.5$（征信费用）、$c_{lab}=100$（单笔违约损失）。分类器 $f$ 为已部署的信用评分模型。 1. 历史数据统计：算法直接读取历史获批还款数据库 $D$，针对 $(y=1, a_1)$ 等子集，当累计计数达到 $\tau$ 时记录步数 $N'_{y|a}$，零成本计算出 $\widehat{p}_{y|a}$。 2. 在线探索对比： - 若运行 Baseline，遇到到达的负预测个体（如 $A=a_2$），即便当前正在评估 $A=a_1$，也会强行发放贷款以收集标签，导致大量 $a_2$ 违约客户产生巨额 $c_{lab}$ 罚款。 - 若运行 RS-Audit，遇到 $A=a_2$ 个体时直接跳过（无需支付任何 $c_{feat}$ 或 $c_{lab}$），仅对目标属性 $A=a_1$ 的个体请求标签，直至累计观察到 $\tau$ 个正/负标签，成功将违约暴露样本量压缩至仅与当前群体边际概率 $q_{y|a}$ 相关。 - 若运行 Exp-Audit，算法首先将历史获批贷款特征送入 TruncEst 拟合指数族参数 $\widehat{\theta}_{y,a}$；随后仅耗费约数十次在线标签查询（常数级）粗测群体比例 $\widetilde{q}_{y|a}$ 并构建后验判决器 $M_a(X)$。最后，算法仅支付极低的特征征信费 $c_{feat}$ 采集特征，通过 $M_a(X)$ 代替放贷违约，最终以极小预算输出均等化赔率差 $\widehat{\Delta}$。

损失函数 / 训练策略¶

在 Exp-Audit 中，截断样本参数恢复子例程 TruncEst 采用基于对数配分函数 $W(\theta)$ 梯度的随机投影优化框架。对于截断指数族样本分布，其似然函数的对数梯度具有样本无偏估计性质： $$v_{j-1} = T(Z') - T(Z_j), \quad Z' \sim \mathcal{E}_{\theta_{j-1}} \text{ 满足 } f(Z')=1$$ 参数更新通过有界凸集投影保证其强凸性与平滑性条件： $$\theta_j = \Pi_{\Theta \cap \mathcal{B}\left(\theta_0, \frac{\varepsilon^2 + 2\beta \log(1/\alpha)}{\kappa}\right)} \left(\theta_{j-1} - \eta \cdot v_{j-1}\right)$$ 步长设定为 $\eta = \frac{\kappa_f \varepsilon^2}{2\rho^2} \wedge \frac{1}{\kappa_f}$，并通过独立的 $O(\log(1/\delta))$ 次复演进行多数投票，将最终参数误差以至少 $1-\delta$ 的概率控制在 $\frac{\varepsilon}{2\beta}$ 之内。

实验关键数据¶

主实验¶

论文在理论渐近界以及真实公平分类基准（Adult Income 数据集：48,842 个体，15 属性；Law School 录取数据集：20,798 个体，12 属性）上全面评估了 Baseline、RS-Audit 与 Exp-Audit 的性能表现。

审计算法	适用分布设定	样本复杂度（索要标签数）	累积审计成本上界（渐近阶）	标签成本 $c_{lab}$ 对 $\varepsilon$ 的依赖性
Baseline (Alg. 3)	任意未知（黑盒）	$\widetilde{O}\left(\sum_{a,y} \frac{\mathbb{P}[f=0]}{q_{y,a} \varepsilon^2}\right)$	$\widetilde{O}\left(\sum_{a,y} \frac{c_{feat}\mathbb{P}[f=0] + c_{lab}\mathbb{P}[f=0, Y=0]}{q_{y,a}\varepsilon^2}\right)$	$O(1/\varepsilon^2)$（高耦合）
RS-Audit (Alg. 1)	任意未知（黑盒）	$\widetilde{O}\left(\sum_{a,y} \frac{\mathbb{P}[f=0 \mid A=a]}{q_{y	a} \varepsilon^2}\right)$	$\widetilde{O}\left(\sum_{a,y} \frac{c_{feat}\mathbb{P}[f=0 \mid A=a] + c_{lab}\mathbb{P}[f=0, Y=0 \mid A=a]}{q_{y
理论下界 (Thm. 3)	任意未知（黑盒）	$\widetilde{\Omega}\left(\sum_{a,y} \frac{\mathbb{P}[f=0 \mid A=a]}{q_{y	a} \varepsilon^2}\right)$	$\widetilde{\Omega}\left(\sum_{a,y} \frac{c_{feat}\mathbb{P}[f=0 \mid A=a] + c_{lab}\mathbb{P}[f=0, Y=0 \mid A=a]}{q_{y
Exp-Audit (Alg. 2)	指数族混合模型	标签数仅常数阶 $O(1)$（特征量 $O(1/\varepsilon^2)$）	$\widetilde{O}\left(\sum_{a} \frac{c_{feat}\mathbb{P}[f=0 \mid A=a]}{q_{m,a}\varepsilon^2} + \sum_{a,y} \frac{c_{lab}\mathbb{P}[f=0, Y=0 \mid A=a]}{q_{y	a}}\right)$

消融实验¶

在合成高斯混合数据与 Adult Income 嵌入空间上，论文对不同误差容限 $\varepsilon$ 下审计假设判决的正确率（衡量算法能否精准区分 $\textsf{FAIR}$ 与 $\textsf{UNFAIR}$，重复 55 次随机试验）进行了详尽统计。

误差容限 $\varepsilon$	真实假设状态 (设定 $\gamma=0$)	Exp-Audit 判决正确率	RS-Audit 判决正确率	理论预期与行为说明
$\varepsilon = 0.8$	$\textsf{FAIR}$	$1.0 \pm 0.0$	$0.8 \pm 0.4$	RS-Audit 在极大容限下因截断样本波动存在少量误判
$\varepsilon = 0.5$	$\textsf{FAIR}$	$1.0 \pm 0.0$	$1.0 \pm 0.0$	两者均完美识别真实公平模型
$\varepsilon = 0.25$	$\textsf{FAIR}$（过渡区）	$0.0 \pm 0.0$	$0.2 \pm 0.4$	真实 EOD 处于两假设间隔之间，未满足可区分间隔前提
$\varepsilon = 0.1$	$\textsf{UNFAIR}$	$1.0 \pm 0.0$	$1.0 \pm 0.0$	成功以高置信度识别非公平模型
$\varepsilon = 0.05$	$\textsf{UNFAIR}$	$1.0 \pm 0.0$	$1.0 \pm 0.0$	细粒度公差下保持 100% 检验效能
$\varepsilon = 0.01$	$\textsf{UNFAIR}$	$1.0 \pm 0.0$	$1.0 \pm 0.0$	高精度需求下算法依然稳健成立
$\varepsilon = 0.001$	$\textsf{UNFAIR}$	$1.0 \pm 0.0$	$1.0 \pm 0.0$	极小 $\varepsilon$ 下 Exp-Audit 成本恒定，RS-Audit 样本激增

关键发现¶

审计成本大幅减半：在 Adult Income 和 Law School 数据集上的 5 种分类器（全特征 LR、去除敏感属性 LR、公平约束 LR、随机分类器、敏感属性直出分类器）评测中，RS-Audit 相比 Baseline 稳定节约约 50% 的综合审计成本，且收敛至真实 EOD 所需的总样本量缩减近半。
高昂违约成本成功解耦：在混合模型实验中（无论 $c_{lab}$ 设定为 0.25、0.5、1 还是 3），Exp-Audit 的标签成本曲线随着 $\varepsilon$ 趋于 0 始终保持平坦（常数阶），而 RS-Audit 的成本呈反比例急剧增长（受计算时限约束甚至需人为截断 $\tau \leq 1000$）。
非理想分布下的强鲁棒性：在 Adult Income 真实数据集上，即使没有严格强加指数族与分离度理论假设（仅用 4 层神经网络提取 10 维嵌入并以高斯分布近似），Exp-Audit 依然在给出准确 EOD 估计的同时实现了最低成本，验证了算法在现实系统中的工程落地价值。

亮点与洞察¶

部分反馈与截断统计的范式转化：传统观点通常将部分反馈视为强化学习或多臂老虎机问题，而本文洞察到在已知历史决策边界下，可观测的正例集合本质上构成了对连续先验特征空间的截断采样（Truncated Sampling），从而巧妙引入截断指数族估计工具化解了标签缺失问题。
特征与标签分离计费的实用价值：论文敏锐抓住了“敏感属性可先验免费知晓”以及“负结果违约损失远高于特征建档工本”这两大产业现实，避免了无差别查询所有负例的粗放式审计。
双层采样架构可无缝迁移：RS-Audit 中基于负二项分布停时的分流采样范式，可直接迁移至差分隐私审计、模型子群鲁棒性评测以及任何包含非对称观测代价的质量监控场景。

局限与展望¶

混合模型假设的分布敏感性：Exp-Audit 依赖特征分布的对数凹性与参数分离度条件；当数据具有强非线性流形或无法用指数族良好近似时，后验 MAP Oracle 可能出现局部误判。
固定黑盒分类器的静态假设：当前审计框架假定被测模型参数固定，未考虑动态自适应模型或博弈交互环境下的对抗性反馈。
未来方向：作者指出可进一步研究受限假设类（如阈值分类器族）下的最小审计代价，并扩展至连续非均匀成本与不完全敏感属性观测场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立部分反馈下非对称成本公平性审计理论体系，将截断统计学引入公平性推断。
实验充分度: ⭐⭐⭐⭐☆ 涵盖理论下界推演、合成实验与两大经典基准数据集，曲线与判决验证详实。
写作质量: ⭐⭐⭐⭐⭐ 理论证明完整严密，算法动机直击现实痛点，逻辑链清晰自洽。
价值: ⭐⭐⭐⭐⭐ 为金融信贷、司法辅助等敏感决策系统的低成本合规审计提供了兼具理论保障与实用价值的落地方案。

误差容限 \(\varepsilon\)	真实假设状态 (设定 \(\gamma=0\))	Exp-Audit 判决正确率	RS-Audit 判决正确率	理论预期与行为说明
\(\varepsilon = 0.8\)	\(\textsf{FAIR}\)	\(1.0 \pm 0.0\)	\(0.8 \pm 0.4\)	RS-Audit 在极大容限下因截断样本波动存在少量误判
\(\varepsilon = 0.5\)	\(\textsf{FAIR}\)	\(1.0 \pm 0.0\)	\(1.0 \pm 0.0\)	两者均完美识别真实公平模型
\(\varepsilon = 0.25\)	\(\textsf{FAIR}\)（过渡区）	\(0.0 \pm 0.0\)	\(0.2 \pm 0.4\)	真实 EOD 处于两假设间隔之间，未满足可区分间隔前提
\(\varepsilon = 0.1\)	\(\textsf{UNFAIR}\)	\(1.0 \pm 0.0\)	\(1.0 \pm 0.0\)	成功以高置信度识别非公平模型
\(\varepsilon = 0.05\)	\(\textsf{UNFAIR}\)	\(1.0 \pm 0.0\)	\(1.0 \pm 0.0\)	细粒度公差下保持 100% 检验效能
\(\varepsilon = 0.01\)	\(\textsf{UNFAIR}\)	\(1.0 \pm 0.0\)	\(1.0 \pm 0.0\)	高精度需求下算法依然稳健成立
\(\varepsilon = 0.001\)	\(\textsf{UNFAIR}\)	\(1.0 \pm 0.0\)	\(1.0 \pm 0.0\)	极小 \(\varepsilon\) 下 Exp-Audit 成本恒定，RS-Audit 样本激增

审计算法	适用分布设定	样本复杂度（索要标签数）	累积审计成本上界（渐近阶）	标签成本 \(c_{lab}\) 对 \(\varepsilon\) 的依赖性
Baseline (Alg. 3)	任意未知（黑盒）	\(\widetilde{O}\left(\sum_{a,y} \frac{\mathbb{P}[f=0]}{q_{y,a} \varepsilon^2}\right)\)	\(\widetilde{O}\left(\sum_{a,y} \frac{c_{feat}\mathbb{P}[f=0] + c_{lab}\mathbb{P}[f=0, Y=0]}{q_{y,a}\varepsilon^2}\right)\)	\(O(1/\varepsilon^2)\)（高耦合）
RS-Audit (Alg. 1)	任意未知（黑盒）	$\widetilde{O}\left(\sum_{a,y} \frac{\mathbb{P}[f=0 \mid A=a]}{q_{y	a} \varepsilon^2}\right)$	$\widetilde{O}\left(\sum_{a,y} \frac{c_{feat}\mathbb{P}[f=0 \mid A=a] + c_{lab}\mathbb{P}[f=0, Y=0 \mid A=a]}{q_{y
理论下界 (Thm. 3)	任意未知（黑盒）	$\widetilde{\Omega}\left(\sum_{a,y} \frac{\mathbb{P}[f=0 \mid A=a]}{q_{y	a} \varepsilon^2}\right)$	$\widetilde{\Omega}\left(\sum_{a,y} \frac{c_{feat}\mathbb{P}[f=0 \mid A=a] + c_{lab}\mathbb{P}[f=0, Y=0 \mid A=a]}{q_{y
Exp-Audit (Alg. 2)	指数族混合模型	标签数仅常数阶 \(O(1)\)（特征量 \(O(1/\varepsilon^2)\)）	$\widetilde{O}\left(\sum_{a} \frac{c_{feat}\mathbb{P}[f=0 \mid A=a]}{q_{m,a}\varepsilon^2} + \sum_{a,y} \frac{c_{lab}\mathbb{P}[f=0, Y=0 \mid A=a]}{q_{y	a}}\right)$