ARCA: Attribution-Regularized Causal Alignment for Task-Aware Bias Mitigation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/WUT-IDEA/ARCA
领域: 大模型对齐
关键词: 任务感知去偏、因果对齐、差分梯度归因、反事实生成、掩码语言模型
一句话总结¶
针对传统去偏方法与下游微调解耦导致偏见效应再引入的痛点,ARCA 提出在下游任务微调过程中利用差分梯度归因构建任务特异性因果干预词表,在线生成反事实样本并进行表征级因果对齐正则化,在保持任务精度的同时显著降低预测翻转率与概率散度。
研究背景与动机¶
预训练掩码语言模型(MLMs,如 BERT 和 RoBERTa)在自然语言理解(NLU)任务中凭借优异的任务性能与计算效率平衡,始终是高吞吐和高可控工业落地场景下的关键基座。然而,这类模型不可避免地在大规模预训练语料中吸收并编码了诸如性别、种族等社会偏见与刻板印象。在下游微调适配过程中,这些隐式偏见往往会被下游任务数据中的统计共现进一步放大,导致模型在招聘简历初筛、司法辅助裁判等高风险决策场景中做出系统性的歧视性预测。
尽管针对预训练模型的去偏研究已涵盖数据增强(CDA)、表征投影(如 INLP、Sentence-Debias)以及对比学习(如 FairFil、TriCon-Fair)等多种范式,但现有方法面临一个根本性困境:偏见消除往往独立于下游任务微调(即在预训练表征阶段或离线阶段单独进行)。当模型为了适配具体下游任务而更新参数时,微调优化目标完全以任务分类损失为导向,使预训练阶段消除的偏见极易被重新引入;同时,传统方法重度依赖人工构建的高覆盖率去偏词表,不仅标注成本高昂,而且完全无法捕获下游具体语境下特有的隐式偏见传播词汇。解耦的训练流程阻断了端到端梯度的协同流动,使得去偏效果与下游任务效用之间产生了严重的割裂。
从因果推断视角来看,下游任务中的社会偏见本质上是模型将保护属性当作了预测标签的伪因果路径(捷径特征),而理想的公平决策要求模型仅依赖与任务强相关的真实语义路径。因此,去偏机制必须无缝嵌入到下游微调的整个生命周期中,既要通过模型内部梯度信号自动定位下游任务特定的偏见传播词,又要在更新下游分类器时对反事实干预施加约束。核心 idea:将保护属性视为下游预测的伪因果路径,利用差分梯度归因从预热模型中自动挖掘任务级偏见干预词表,在下游微调流水线中实时在线生成语义对称的反事实样本对,并通过表征级因果散度对齐联合优化任务分类与公平性。
方法详解¶
整体框架¶
ARCA 是一个将偏见抑制与下游任务适配紧密融合的端到端框架。整个流程分为前后承接的两个阶段:Stage 0(预热与因果干预词表构建)与 Stage 1(在线反事实生成与因果对齐微调)。在 Stage 0 中,模型首先在下游训练集上进行轻量预热微调,随后利用紧凑的种子属性词(如 he/she)在探针集上触发保护属性干预,计算原始与干预样本间的差分梯度归因,在词级别聚合后自动筛选出对预测波动贡献最大的任务特异性候选词,并通过语义相似度与属性反向约束完成配对验证,构建出任务级因果干预词表;在 Stage 1 中,模型重新加载预训练权重正式进行微调,训练批次中的句子被扫描并基于该词表进行在线反事实替换,最终联合优化下游任务交叉熵损失与反事实表征之间的均方因果对齐损失。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["下游训练数据与紧凑种子词对"] --> B["任务感知词表构建<br/>差分梯度归因与词表扩展"]
B --> C["在线任务感知因果干预<br/>动态属性替换生成反事实样本对"]
C --> D["表征级因果对齐微调<br/>联合优化任务交叉熵与因果对齐损失"]
D --> E["去偏后下游模型输出"]
关键设计¶
1. 任务感知词表构建:人工静态词表覆盖不足 -> 差分梯度归因挖掘隐式词 -> 构建任务特异干预空间
传统方法依赖人工枚举的性别词库,难以穷尽具体下游语境下与保护属性发生隐式纠缠的修饰词和上下文载体。ARCA 采用极简的先验核心种子词对 \(\mathcal{A}_{\text{seed}}\)(仅包含如 he/she、man/woman 等核心代词与身份名词)作为针,从下游数据中采样 \(M=1000\) 条样本构建探针集 \(\mathcal{D}_{\text{probe}}\)。在经过 1 个 epoch 预热的暂态模型上,将输入样本 \(x\) 中的种子词替换得到反事实样本 \(x'\)。基于 Gradient \(\times\) Input 机制,模型首先计算每个 token 的梯度归因值 \(a_i(x) = |e_i \odot \frac{\partial \mathcal{L}_{\text{task}}(x)}{\partial e_i}|_2\),进而度量因干预保护属性而引发的归因扰动幅值:
$$
\Delta a_i(x) = |a_i(x) - a_i(x')|
$$
如果某 token 的差分归因值 \(\Delta a_i(x)\) 显著偏大,说明模型在判定该词对下游预测的贡献时严重依赖了保护属性的存在。随后,ARCA 将 token 级的差分归因聚合至词级 \(\Delta a(w)\),并设置自适应过滤阈值 \(\delta = \mu_{\Delta a} + k \cdot \sigma_{\Delta a}\)(结合最小频次约束 \(n_{\min}\))挑选候选词。在预训练词向量空间中,利用种子词对计算保护属性轴向量 \(d_{\text{attr}} = \text{norm}(\frac{1}{|\mathcal{S}|}\sum (\hat{e}_m - \hat{e}_f))\),检索语义余弦相似且在属性投影方向相反的反事实对应词,并通过模板双向回译的一致性测试。最终构建出涵盖亲属关系、社会职业角色及特定修饰词(如 handsome / beautiful)的扩展词表 \(\mathcal{A}_{\text{discovered}}\),与种子词表取并集形成完备的因果干预词表 \(\mathcal{A}\)。
2. 在线任务感知因果干预:离线数据扩增开销大且静态 -> 单流水线在线快速扫描替换 -> 保留核心任务语义的反事实样本对
将预生成的反事实样本离线扩充到数据集中不仅倍增了存储与训练周期,还往往引入语法或上下文漂移。ARCA 在 Stage 1 微调时重置模型为初始预训练参数,在数据加载的数据批流中实施复杂度仅为 \(\mathcal{O}(n)\) 的快速前向词表扫描。针对批次中的原始句子 \(x_{\text{orig}}\),一旦命中因果干预词表 \(\mathcal{A}\) 中的条目,立即将其替换为对应反向词,动态生成配对的反事实文本 \(x_{\text{cf}}\);未命中的样本则正常参与常规任务训练。由于替换候选在 Stage 0 已严格经过分词器无未登录词(no UNK token)、词长匹配与双向模板一致性检验,在线替换完全保留了句子的核心句法语义与下游标注标签 \(y\),将因果干预 \(do(A = a')\) 精确收敛在经过模型验证的偏见传播词上。
3. 表征级因果对齐微调:后处理去偏破坏下游特征判别力 -> 约束反事实表征一致性 -> 联合优化消除伪因果依赖
单纯在投影矩阵或后处理中切除偏见子空间容易误伤深层 Transformer 中高度纠缠的任务必要语义。ARCA 采用双头优化的思路,将原始样本 \(x_{\text{orig}}\) 经过编码器输出的分类头概率分布 \(\hat{p}\) 与真实标签 \(y\) 计算常规交叉熵任务损失 \(\mathcal{L}_{\text{task}}\)。对于成功构建了反事实干预对的样本,分别提取原始文本与反事实文本的 [CLS] 句向量表征 \(h_{\text{orig}}, h_{\text{cf}} \in \mathbb{R}^d\),构建基于欧氏距离归一化的表征对齐损失:
$$
\mathcal{L}{\text{align}} = \frac{1}{d} |h|_2^2
$$
该损失直接惩罚由于保护属性干预而导致的深层句子表征漂移,阻断了 }} - h_{\text{cf}\(A \to \hat{Y}\) 的伪因果捷径,迫使编码器将下游预测依据完全锚定在与属性正交的真实任务语义特征 \(S\) 上。
损失函数 / 训练策略¶
整个下游微调过程通过单一联合优化目标实现端到端训练: $$ \mathcal{L}{\text{total}} = \mathcal{L} $$ 其中,}} + \alpha \cdot \mathcal{L}_{\text{align}\(\alpha \ge 0\) 为因果对齐正则化超参数。当输入样本未命中干预词表时,\(\mathcal{L}_{\text{align}} = 0\)。优化器采用 AdamW,在学习率 \([2\times 10^{-5}, 5\times 10^{-5}]\) 范围内网格调优,配合 10% warmup 的线性衰减调度器。在实际训练中,Stage 0 预热轮次 \(E_w=1\),探针集大小 \(M=1000\),整体词表构建的时间开销仅占全部微调时长的 5% 以内;超参数默认设置为 \(\alpha=2.0\)、阈值放大因子 \(k=1.5\)。
实验关键数据¶
主实验¶
论文在 GLUE 基准的三个代表性 NLU 数据集(三分类自然语言推理 MNLI、二分类情感分类 SST-2、句子对语义等价识别 MRPC)上进行了详尽评测,同时以经典偏见基准 StereoSet 作为内在偏见的参考基线。下游任务评价指标包括分类准确率(Acc)、预测翻转率(PFR,度量标签级别脆弱性)与概率散度得分(PDS,度量输出概率分布的平均漂移量)。
| 基座模型 | 方法 | StereoSet SS (Gender) \(\to\) 50 | StereoSet ICAT \(\uparrow\) | MNLI Acc (%) \(\uparrow\) | MNLI PFR (%) \(\downarrow\) | MNLI PDS \(\downarrow\) |
|---|---|---|---|---|---|---|
| BERT-base | Original (Standard FT) | 60.28 | 69.02 | 84.5 | 4.2 | 0.085 |
| BERT-base | CDA | 59.61 | 69.39 | 83.9 | 2.8 | 0.052 |
| BERT-base | INLP | 57.25 | 67.28 | 84.3 | 2.3 | 0.045 |
| BERT-base | Sentence-Debias | 59.37 | 69.67 | 84.4 | 2.7 | 0.053 |
| BERT-base | TriCon-Fair | 55.68 | 72.05 | 84.3 | 1.8 | 0.035 |
| BERT-base | DBR | — | — | 84.2 | 2.5 | 0.048 |
| BERT-base | ARCA (本文) | — | — | 84.4 | 0.9 | 0.018 |
| RoBERTa-base | Original (Standard FT) | 59.93 | 73.16 | 87.6 | 3.8 | 0.072 |
| RoBERTa-base | CDA | 55.85 | 68.01 | 87.1 | 2.4 | 0.045 |
| RoBERTa-base | INLP | 58.05 | 71.10 | 87.2 | 2.0 | 0.038 |
| RoBERTa-base | Sentence-Debias | 58.38 | 75.69 | 87.4 | 2.3 | 0.044 |
| RoBERTa-base | TriCon-Fair | 56.33 | 76.11 | 87.3 | 1.5 | 0.029 |
| RoBERTa-base | DBR | — | — | 87.3 | 2.1 | 0.041 |
| RoBERTa-base | ARCA (本文) | — | — | 87.5 | 0.7 | 0.014 |
在另外两个任务上,基于 BERT-base 的实验结果进一步验证了这一优异表现:在 SST-2 上,ARCA 的 Acc 达到 92.7%(标准微调为 92.8%),PFR 从 3.5% 骤降至 0.3%,PDS 从 0.068 降至 0.006;在小样本语义对齐数据集 MRPC 上,ARCA 的 Acc 逆势提升至 87.26%(标准微调仅为 84.55%),PFR 由 3.05% 降至 2.10%,PDS 由标准微调的较高水平降至全场最低的 0.0178。
消融实验¶
在 SST-2 数据集上,固定正则化权重 \(\alpha=2.0\),对词表构建策略进行控制变量消融分析:
| 词表构建配置 | 词表规模 (对) | Acc (%) \(\uparrow\) | PFR (%) \(\downarrow\) | PDS \(\downarrow\) | 说明 |
|---|---|---|---|---|---|
| S.L. (仅种子词表) | \(\sim 8\) | 92.6 | 2.1 | 0.040 | 仅包含核心代词,难以覆盖上下文语境偏见传播词 |
| M.L. (人工高覆盖词表) | \(\sim 60\) | 92.5 | 0.9 | 0.017 | 人工枚举的大规模词库,成本高且脱离任务语境 |
| R.L. (随机词表) | \(\sim 60\) | 92.4 | 3.3 | 0.063 | 随机搭配词汇,引入语义破坏噪声,去偏失效且损耗任务精度 |
| C.L. (ARCA 自动构建词表) | \(\sim 55\) | 92.7 | 0.8 | 0.015 | 梯度归因自适应挖掘,去偏效果优于人工词表且精度最高 |
此外,针对阈值缩放因子 \(k \in \{1.0, 1.5, 2.0\}\) 的敏感性分析显示,\(k=1.5\) 达到了最佳平衡:Acc 达到 93.12%,PFR 降至 0.00%,PDS 为 0.0064;较小的 \(k=1.0\) 引入噪声(Acc 92.20%,PFR 0.46%,PDS 0.0790),而过大的 \(k=2.0\) 则因候选过少遗漏了有效干预词。
关键发现¶
- 内在去偏指标无法直接迁移至下游任务:在 StereoSet 上表现优异的方法(如 TriCon-Fair 的 ICAT 在 RoBERTa 上达 76.11),经过下游微调后在 MNLI 上仍然具有 1.5% 的翻转率和 0.029 的概率散度;证明预训练期去偏不足以防御微调阶段的偏见反弹。
- 归因挖掘优于人工枚举:自动发现的 55 对干预词中不仅包含亲属代词,还精准锁定了诸如
businessman/businesswoman以及褒贬评价修饰词handsome/beautiful等在情感分类中显著引发归因剧烈波动的任务相关载体,使 PDS 优于耗费大量人工构建的 60 对通用词表。 - 正则化权重 \(\alpha\) 的双刃剑效应:当 \(\alpha\) 从 0 逐步增至 2.0 时,PFR 从 1.75% 持续下降至逼近 0,PDS 从 0.018 降至 0.006;但当 \(\alpha > 2.5\) 增至 3.0 时,由于表征强行同化干扰了句子本身的细粒度语义判别,PFR 发生轻微反弹且 Acc 明显下滑,确立了 \(\alpha \in [2.0, 2.5]\) 为黄金区间。
亮点与洞察¶
- 梯度差分归因定位隐式偏见载体:利用反事实差分归因定位模型依赖偏见特征的敏感 token,跳出了仅靠人工先验枚举的局限,提供了一种自动探查模型隐式捷径的实用手段。
- 单流水线联合优化避免偏见反弹:将反事实因果对齐直接作为正则项融入下游微调步骤,杜绝了传统两阶段方案在下游微调时由于分类目标主导而彻底重学偏见的缺陷。
- 反事实表征一致性在小数据集上带来正向正则化红利:在 MRPC 等样本量有限(仅 3668 条)的任务中,因果对齐约束相当于为语义对齐提供了平滑的隐空间流形约束,使准确率由 84.55% 提升至 87.26%。
局限与展望¶
- 语种泛化局限:目前实验仅集中于英文语料,对于汉语等无屈折形态变化但词汇组合灵活的语言,或阿拉伯语等依赖丰富语法性别的复杂语系,配对属性替换机制尚需重新设计。
- 模型范式局限:ARCA 针对的是基于双向编码器的 MLMs,高度依赖
[CLS]处的全局汇聚向量进行一致性约束;将其扩展到纯自回归的 Decoder-only 生成式大模型,需要克服长程生成中偏见动态累积的表征对齐难题。 - 反事实评测假设的边界:目前的 PFR 与 PDS 指标依赖于受控的单属性词替换,尚不能完全等同于宏观人口统计学群体的完全公平性,面对交叉偏见(Intersectional Bias)的泛化能力仍待探索。
相关工作与启发¶
- vs CDA (Lu et al., 2020): CDA 通过离线数据重写扩展样本集,而 ARCA 在下游训练中依据梯度挖掘的词表在线动态替换并直接在表征层拉近距离,避免了离线样本语境失真且大幅节约显存与周期。
- vs INLP (Ravfogel et al., 2020) & Sentence-Debias (Liang et al., 2020): 线性投影类方法假设偏见方向在空间中完全线性可分,容易切除深层网络中与任务强相关的非线性有用特征;ARCA 采用软性正则化约束,在最大化保留任务精度的同时自适应消除伪因果关联。
- vs DBR (Li et al., 2025): DBR 在下游微调中计算预测分布的散度正则化,而 ARCA 不仅引入了模型内部归因引导的自适应词表生成,更在隐表征层直接惩罚几何偏移,对概率细粒度扰动的平抑更为彻底(MNLI PDS 达到 0.018 vs 0.048)。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 巧妙地将差分梯度归因与因果干预结合,开创了任务感知自适应词表构建与在线微调一体化流程。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个 GLUE 主流下游任务、双基座模型、消融与敏感度对比,并提供完整的内在对比及可视化案例。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密,因果推断形式化表述清晰,问题切入与实验分析契合紧密。
- 价值: ⭐⭐⭐⭐☆ 为实际工业落地中高性价比 MLM 模型的端到端安全去偏提供了极具参考价值的轻量级实操范式。