Mitigating Label Bias with Interpretable Rubric Embeddings

会议: NeurIPS 2026
arXiv: 2605.21455
领域: 可解释性
关键词: 标签偏差、可解释量规嵌入、概念瓶颈模型、算法公平性、对照实验审计

一句话总结

针对高风险决策（如招生、招聘）中历史代理标签带有群体偏差、导致通用黑盒文本嵌入放大歧视的问题，本文提出基于专家定义维度的可解释量规嵌入（Rubric Embeddings），通过结构化特征将预测锚定在合法业务准则上，在理论和实证上彻底阻断标签偏差传导并维持高录取质量。

研究背景与动机

在招聘甄选、研究生招生及内容审核等高风险社会决策场景中，真实的“能力与长期潜力”属于高度模糊且不可完全观测的潜在构念（latent construct）。受限于现实约束，机器学习模型通常只能基于历史人类评估（如过往录用决定或考官打分）这类代理标签（proxy labels）进行监督训练。然而，历史人工评估往往内生性地夹带对特定受保护群体（如性别、种族）的系统性偏见。在特征表示层面，现代 NLP 系统普遍采用通用的黑盒稠密文本嵌入（如 OpenAI text-embedding-3 等），这些表征具有极强的高维统计关联捕捉能力，即使在显式隐去性别标识符后，仍能近乎完美地重构出群体属性，导致预测模型在代理标签偏差驱动下将群体线索作为“捷径特征”，从而在下游决策中成倍放大歧视。

针对代理标签偏差引发的不公，已有算法公平性研究主要探索了三类缓解策略，但各自存在严重的理论与实践缺陷。第一种是正交化或对抗去偏（Orthogonalization / Adversarial Debiasing），即强制特征表示与敏感属性在信息论意义上相互独立，但其数学本质是强行诱导人口统计均等（Demographic Parity），若两群体在真实资质分布上存在客观差异，强制均等会反向惩罚高资质群体的申请人，甚至触犯法律关于配额制和群体平衡的红线；第二种是文本遮蔽与脱敏（Redaction），通过正则或掩码替换代词与姓名，但高维黑盒表征依然能从文体、语气、词汇偏好等微弱共现模式中以高达 81.2% 的 AUC 准确恢复性别；第三种是边际化（Marginalization），通过对群体变换后的预测值进行加权平均消除直接差异，但当黑盒嵌入因漏变量偏差（Omitted Variable Bias）在基线处对某一群体形成系统性低估时，边际化校准反而会造成反向错杀。

面对上述两难困境，核心症结在于黑盒嵌入容纳了与评估构念无关的冗余高维模式，使得模型极易通过虚假关联捕捉历史标签中的不公。本文改变了“先用通用黑盒嵌入提取所有信息、再尝试外科手术式消除偏差”的传统范式，提出反向构建设想：完全抛弃黑盒向量，仅将预测函数约束在由领域专家共同定义的结构化量规嵌入上。本文的核心 idea 是：将高风险决策的表征空间显式限制在领域专家定义的因果相关评估准则上，利用大语言模型提取结构化量规嵌入（Rubric Embeddings），切断敏感群体属性与真实评估指标之间的捷径伪相关，从表征因果结构层面彻底消除代理标签偏差在决策下游的放大传导。

方法详解

整体框架

本文围绕研究生招生场景，建立了一套严格量化标签偏差传导机理并利用量规嵌入予以阻断的方法体系。方法整体流程包括四个阶段：第一阶段是对照实验审计变换（Correspondence Experiment Manipulation），利用 LLM 对原始非结构化申请文书（个人陈述、推荐信、履历）进行严格的名字与性别线索置换生成配对反事实文本；第二阶段是代理标签偏差诱导与理论分解，在真实录取分基础上注入可控的群体偏差偏置，并从理论上揭示预测偏差与表征敏感属性可预测性之间的确定性解析关系；第三阶段是专家量规体系构建与 LLM 结构化提取，吸纳招生专家经验构建涵盖学业、履历、文书及推荐信等 396 项可解释特征向量；第四阶段是基于量规特征的下游回归预测与 top-\(k\) 决策选择。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["申请文本材料<br/>简历/文书/推荐信/成绩单"] --> B["对照实验变换构建<br/>姓名/代词/性别标记配对置换"]
    B --> C["双轨特征表征提取"]
    subgraph ReprSpace ["表征空间对比"]
        direction TB
        C1["黑盒文本嵌入<br/>text-embedding-3-large 1000维"]
        C2["可解释量规嵌入<br/>GPT-5打分提取396维准则"]
    end
    C --> C1
    C --> C2
    C1 --> D["标签偏差传导与理论分解<br/>偏倚回归模型训练分析"]
    C2 --> E["因果隔离与防偏差预测<br/>基于合法因果准则的岭回归拟合"]
    D --> F["下游Top-k录取决策与质量评估<br/>女性录取比例与真实质量追踪"]
    E --> F

关键设计

1. 对照实验审计与标签偏差传导解析分解：严谨量化表征对偏见的承载度 针对传统公平性度量难以剥离因果效应的问题，本文将社会科学中的“信件对照实验（Correspondence Experiments）”严密数学化。定义变换算子 \(T(x, g)\) 为将申请者特征 \(x\) 映射至目标性别呈现 \(g \in \{m, f\}\) 的操纵。对于任意决策模型 \(h(x)\)，其审计偏差定义为： $\(\operatorname{bias}_T(h) = \mathbb{E}[h(T(X, m)) - h(T(X, f))]\)$ 当历史训练标签包含偏护男性的偏差扰动 \(Z_i \sim \mathcal{N}(b, 1)\) 时，即 \(Y'_i = Y_i + Z_i\)（当 \(G_i=m\)）且 \(Y'_i = Y_i - Z_i\)（当 \(G_i=f\)），本文在理论上证明了完美拟合有偏标签的回归函数 \(\nu(x) = \mathbb{E}[Y' \mid R=r(x)]\) 的偏差分解定理： $\(\operatorname{bias}_T(\nu) = \operatorname{bias}_T(\mu) + 2b \cdot \mathbb{E}[\pi(T(X, m)) - \pi(T(X, f))]\)$ 其中 \(\mu(x) = \mathbb{E}[Y \mid R=r(x)]\) 为无偏真实标签下的基线模型偏差，而 \(\pi(x) = \Pr(G=m \mid R=r(x))\) 为表征对男性身份的后验概率估计。该公式精炼地揭示出：有偏标签向模型的传导放大强度，严格正比于表征空间区分性别能力的幅度 \(\mathbb{E}[\pi(T(X,m)) - \pi(T(X,f))]\)。同时，针对无偏标签下的基线偏差 \(\operatorname{bias}_T(\mu)\)，本文推导了线性预测器下的解析解：\(\operatorname{bias}_T(h_R) = s^\top \operatorname{Var}(R)^{-1} \operatorname{Cov}(R, Y)\)，其中 \(s = \mathbb{E}[r(T(X,m)) - r(T(X,f))]\) 是审计诱导的表征均值漂移向量。这从数学上严格阐明：若表征遗漏了与性别相关但对真实资质至关重要的变量（如女性在公共服务中的投入），相关特征将迫使敏感属性充当代理变量，从而滋生严重的遗漏变量偏差（Omitted Variable Bias）。

2. 专家驱动的 396 维可解释量规嵌入：基于因果合法准则的瓶颈表示 为了打破黑盒嵌入捕获虚假关联的通道，本文与真实公共政策硕士项目的招生委员会深度合作，将人类专家的选拔标准具象化为 396 个细粒度可解释维度，彻底排除了性别、种族等人口统计信息。该体系具体由四大部分构成： 1. 学术表现维度（335 项）：详尽覆盖主修/辅修专业、毕业荣誉、毕业院校声誉等级与历史分布、本科与研究生总 GPA，以及特定基础先修课（微观经济学、多元微积分 II、高级统计学与高阶数学课程）的专项成绩分档； 2. 推荐信评价维度（39 项）：量化推荐人的总体背书强度、在分析思维/领导力/沟通能力等维度的独立评级、对专业技术能力的实质性引证案例、推荐人身份与学术项目契合度的规范性评分； 3. 文书综合质量（14 项）：采用 5 分制量表打分，细分语法修辞规范性、逻辑论证严密性、对提示词核心问题的呼应度，以及个人抱负与公共政策使命的契合度； 4. 职业履历与成就（8 项）：结构化提炼不同行业（公共部门、智库、私企、NGO）的工作年限、管理级别、晋升轨迹速率与领导力体现。 利用大语言模型（GPT-5 系列）针对非结构化材料严格依照评分准则执行抽取，形成固定维度的结构化向量 \(r(x)\)。由于所有评分指标完全依据客观事实与文本实质内容判定，其表征对于性别变换天然满足不变性 \(r(T(X, g)) = r(X)\)，进而使得表征漂移量 \(s = \mathbf{0}\)，从源头消解了敏感变量的传导杠杆。

3. 因果 d-分离机制下的泛化误差规避：以少胜多的表征收敛机理 在传统的特征工程认知中，移除大量文本潜变量通常会导致预测精度下降。但本文结合 Zanger-Tishler 等人关于标签偏差下特征选择的理论，在因果图框架下阐明了量规嵌入的优越性。若建立因果有向无环图（DAG）：考官的历史真实打分 \(Y\) 仅由申请者的真实学术履历构念（由量规 \(R\) 完全覆盖）决定，而黑盒文本嵌入 \(X_{emb}\) 既承载了 \(R\) 的信息，又混杂了无监督预训练带来的文风、修辞与隐式群体偏置 \(G\)。在因果图结构中，量规表征 \(R\) 构成了真实标签 \(Y\) 与黑盒表征 \(X_{emb}\) 之间的 \(d\)-分离集（d-separating set）。这意味着，一旦在条件中给定量规嵌入 \(R\)，黑盒嵌入 \(X_{emb}\) 对真实结果 \(Y\) 的条件互信息降为零： $\(Y \perp\!\!\perp X_{emb} \mid R\)$ 当训练标签遭受群体偏差扰动演变成代理标签 \(Y'\) 时，全特征模型（Kitchen Sink）与黑盒模型虽然可以通过过拟合黑盒特征中的虚假偏倚降低对 \(Y'\) 的训练均方误差（RMSE），但面对不可观测的真实目标 \(Y\) 时，这些虚假相关性反而构成了严重的泛化误差诱因。量规嵌入通过将假设空间强行约束在因果合法的瓶颈子集内，成功实现了对代理标签噪声的天然滤波。

损失函数 / 训练策略

在模型学习与评估环节，本文采用岭回归（Ridge Regression）算法进行拟合，利用交叉验证确定正则化强度超参数 \(\lambda\)，以兼顾高维特征下的共线性稳定与泛化能力。其目标优化函数为： $\(\min_{\alpha_0, \alpha} \sum_{i=1}^n \left( Y'_i - (\alpha_0 + r(X_i)^\top \alpha) \right)^2 + \lambda \|\alpha\|_2^2\)$ 为了彻底避免过拟合和数据穿越，模型采用 \(10 \times 10\) 双重嵌套交叉验证（Nested Cross-Validation）：外层 10 折负责泛化性能评估，内层 10 折用于岭参数超参调优，并在训练折上通过线性缩放完成预测校准。全流程重复 20 次随机打乱实验，并依据 Rubin 规则对 20 次迭代的点估计与不确定度进行合并计算。

实验关键数据

主实验

实验基于某顶尖公共政策硕士项目 2025–2026 申请季真实抽取的 1,112 份全套申请卷宗展开。实验模拟不同男性偏袒强度 \(b \in [0, 2.5]\) 对模型偏差、录取池性别比例及真实学术质量的影响（按 top-20% 门槛模拟录取）。

表 1 展示了在不同男性偏差偏置 \(b\) 下，各表征方案训练的模型在审计偏差 \(\operatorname{bias}_T(h)\)、女性录取比例（% Women）以及录取群体真实平均总分 \(Y\)（满分 20 分）上的对比表现。

偏置强度 \(b\)	评估指标	真实标签 Top-20% 基准	黑盒文本嵌入 (Black-box)	全特征混合 (Kitchen Sink)	边际化黑盒 (Marginalized)	可解释量规嵌入 (Rubric, 本文)
\(b = 0.0\) (无人工偏置)	审计偏差 \(\operatorname{bias}_T(h)\) 女性录取比例 (%) 录取班级真实均分 \(Y\)	0.00 53.8% 15.82	-0.67 ± 0.04 51.2% ± 0.6% 14.91 ± 0.08	-0.04 ± 0.03 53.1% ± 0.5% 15.35 ± 0.06	0.00 (理论保证) 44.8% ± 0.8% 14.62 ± 0.09	0.01 ± 0.02 53.6% ± 0.4% 15.58 ± 0.05
\(b = 1.0\) (中度标签偏差)	审计偏差 \(\operatorname{bias}_T(h)\) 女性录取比例 (%) 录取班级真实均分 \(Y\)	0.00 53.8% 15.82	+1.15 ± 0.05 32.4% ± 0.9% 13.88 ± 0.11	+0.89 ± 0.04 38.6% ± 0.7% 14.52 ± 0.08	0.00 (理论保证) 39.1% ± 0.7% 14.30 ± 0.10	0.02 ± 0.02 53.2% ± 0.5% 15.54 ± 0.06
\(b = 2.0\) (高度标签偏差)	审计偏差 \(\operatorname{bias}_T(h)\) 女性录取比例 (%) 录取班级真实均分 \(Y\)	0.00 53.8% 15.82	+2.98 ± 0.07 9.5% ± 0.8% 12.45 ± 0.14	+2.12 ± 0.06 18.3% ± 0.9% 13.41 ± 0.12	0.00 (理论保证) 28.4% ± 0.9% 13.65 ± 0.11	0.02 ± 0.03 52.9% ± 0.6% 15.49 ± 0.06
\(b = 2.5\) (极端标签偏差)	审计偏差 \(\operatorname{bias}_T(h)\) 女性录取比例 (%) 录取班级真实均分 \(Y\)	0.00 53.8% 15.82	+3.89 ± 0.08 ~0.0% 11.72 ± 0.16	+2.85 ± 0.07 6.2% ± 0.7% 12.63 ± 0.15	0.00 (理论保证) 21.5% ± 1.1% 13.12 ± 0.13	0.03 ± 0.03 52.5% ± 0.7% 15.45 ± 0.07

消融与敏感属性探测实验

为了剖析不同表征对敏感属性（性别）的泄漏程度，以及不同特征子集在抵御偏倚扩散中的效能，本文针对文本脱敏（Redaction）、黑盒嵌入及量规维度进行了敏感信息可探测性（AUC）与跨指标鲁棒性消融评估。

表 2 展示了不同输入表征下的性别分类可预测性（对真实性别 \(G\) 的留出验证 AUC）、性别表征操纵敏感度 \(\mathbb{E}[\pi(T(m)) - \pi(T(f))]\)，以及在严重偏差场景（\(b=2.0\)）下录取群体的多元学业素质表现（包括本科及研究生综合 GPA、GRE 算术推理均分与 GRE 语文推理均分）。

表征设置 / 缓解方案	性别探测 AUC (%)	表征性别敏感度 \(\Delta \pi\) (%)	录取班级平均 GPA (满分 4.0)	录取班级 GRE-Q 均分	录取班级 GRE-V 均分
真实录取 Top-20% 黄金标准	—	—	3.82 ± 0.02	164.8 ± 0.5	163.2 ± 0.6
原始黑盒文本嵌入 (Raw Black-box)	99.6% ± 0.1%	91.2% ± 0.6%	3.48 ± 0.04	158.4 ± 0.8	156.1 ± 0.9
性别脱敏黑盒嵌入 (Redacted Black-box)	81.2% ± 1.4%	58.6% ± 1.2%	3.56 ± 0.04	160.1 ± 0.7	158.0 ± 0.8
边际化矫正模型 (Marginalized)	—	—	3.63 ± 0.03	161.5 ± 0.6	159.6 ± 0.7
量规嵌入 (仅学业维度, 335维)	51.2% ± 1.5%	1.8% ± 0.4%	3.80 ± 0.02	164.5 ± 0.5	161.4 ± 0.6
量规嵌入 (完整体系, 396维, 本文)	50.8% ± 1.3%	1.2% ± 0.3%	3.81 ± 0.02	164.6 ± 0.5	162.9 ± 0.6

关键发现

1. 黑盒嵌入的偏见完全继承与女性淘汰效应：未经处理的黑盒嵌入由于性别探测 AUC 高达 99.6%，对性别呈现变换极其敏感（\(\Delta \pi = 91.2\%\)）。随着标签偏置 \(b\) 增加到 2.5，被录取的女性比例从自然的 53.8% 暴跌至归零，录取班级的平均真实素质 \(Y\) 下滑超过 4.1 分，大量低资质男性挤占了优秀女性的席位。
2. 纯文本脱敏（Redaction）的彻底失效：单纯用 LLM 将第三人称代词替换为“they”、隐去名字和性别组织，并不能消除性别线索。黑盒嵌入仍能依靠词汇分布模式以 81.2% 的 AUC 准确预测性别，导致模型仍然继承了过半的标签偏见。
3. 边际化（Marginalization）的非预期错杀惩罚：边际化算法虽然在形式上保证了对操纵 \(T\) 的无偏性，但由于黑盒表征本身存在遗漏变量偏差（在 \(b=0\) 时黑盒模型对男性有 -0.67 分的系统性低估），边际化操作机械地向被偏袒方向作补偿，反而对女性施加了不公正的分数惩罚，导致录取的女性比例反常低于自然水平 9 个百分点。
4. 量规嵌入对因果准则的高保真对齐：量规嵌入完全切断了性别信号（性别探测 AUC 为 50.8%，等同于随机猜测）。在 \(b\) 从 0 剧增至 2.5 的全过程中，量规模型的审计偏差恒定保持在接近 0（0.01~0.03），录取的女性比例恒定稳定在 52.5%~53.6%，录取新生的综合 GPA 与 GRE 成绩几乎完美对齐真实录取池的最高水准。

亮点与洞察

• 反转传统去偏范式：以往去偏思路是“自顶向下”在通用黑盒嵌入上做减法（正交投影、脱敏），而量规嵌入采用“自底向上”在因果合法维度上做加法，用业务准则做瓶颈层。这种转换不仅从根源上杜绝了隐蔽统计信号的渗透，而且大幅降低了对抗训练或子空间投影引起的特征畸变。
• 理论澄清遗漏变量与标签偏差的交织机理：首次将计量经济学的遗漏变量偏差与算法公平审计实验相结合，推导出解析公式揭示黑盒嵌入在无偏标签下出现群体差异的根本原因是重要能力的表征缺失，避免了盲目将模型算法偏差归咎于历史决策偏差。
• 构建高可信的可解释概念工程闭环：通过 LLM（GPT-5）结合多阶段校验与自愈修复机制，将主观、冗长、异构的材料（文书、推荐信、跨国成绩单）转化为 396 维结构化向量，在无需人工逐份精细打分的前提下实现了准则级可审计性。

局限与展望

• 量规构建的专家依赖与冷启动成本：设计 396 维高质量量规需要领域专家深入参与、耗费大量时间梳理评价标准与反复校准，对于标准不明确或业务规则变动极其频繁的长尾任务难以低成本推广。
• 间接差别影响（Disparate Impact）的残留隐患：量规嵌入排除了显式性别信息，强力杜绝了直接的差别对待（Disparate Treatment）；但如果某些合法指标本身在不同群体间具有历史分布差异（如特定性别群体更有可能选择某种类型的专业或志愿经历），带偏的历史标签依然可能扭曲回归权重，从而产生难以完全消除的间接不利影响。
• 群体特定有效信息的排斥妥协：将所有敏感属性绝对隔离，使得系统无法在需要合理实施群体校准的场景（例如考虑社会经济背景逆境系数、或特定医疗诊断中生理指标的群体基线差异）下合法引入群体先验，面临“盲目中立”与“语境公平”之间的规范性冲突。

相关工作与启发

• vs 对抗去偏与子空间正交化 (Bolukbasi et al., Ravfogel et al.)：正交化方法试图通过投影将表征与敏感属性统计独立，强制诱导人口统计均等，若群体间真实能力分布存在差异，会严重损害高资质受保护群体的利益并损害模型整体准确率；本文量规嵌入基于合法资质维度，不追求强制配额，既保全公平又最大化甄选质量。
• vs 传统概念瓶颈模型 CBM (Koh et al., Tan et al.)：早期 CBM 多用于图像分类且概念集相对粗粒度（几十维），本文将 CBM 拓展至极端非结构化的超长文本跨模态文档评估任务，通过 LLM 自动化提取近 400 个高保真、多层级的细粒度专家准则，并首次建立了概念表示阻断标签偏差传导的理论证明。
• vs 特征裁剪与筛选 (Zanger-Tishler et al.)：Zanger-Tishler 等人证明了在标签偏差存在时减少特征能提高真实性能，但未给出可执行的特征构造路径；本文提出的量规嵌入为这一理论发现提供了具体的工程落地载体与因果 \(d\)-分离解释。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次将量规嵌入/概念瓶颈与标签偏差理论、对照审计实验框架融合，提出了逆向构建表示的公平学习新视角。
• 实验充分性: ⭐⭐⭐⭐⭐ 基于 1,112 份真实名校全套申请案卷，结合跨跨度人工合成偏差及多项敏感属性探测，实验链条完备且论证严谨。
• 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰优美，实证设计与社会科学对照实验范式高度统一，逻辑层层递进。
• 实用价值: ⭐⭐⭐⭐⭐ 为高校招生、大厂招聘、金融信审等高法律合规要求场景下的 AI 辅助决策系统提供了兼顾可解释、防偏见与高素质落地的工业级方案。

相关论文

• [ICLR 2026] Bridging Explainability and Embeddings: BEE Aware of Spuriousness
• [ACL 2026] Curing "Miracle Steps" in LLM Mathematical Reasoning with Rubric Rewards
• [ICLR 2026] Probing Rotary Position Embeddings through Frequency Entropy
• [ICLR 2026] Cross-Modal Redundancy and the Geometry of Vision-Language Embeddings
• [NeurIPS 2026] Beyond Interpretability: When, Why, and How Sparse Autoencoders Enable Label-Free Visual Steering