When Counterfactual Debiasing Backfires: Identity Cues as Task-Dependent Evidence in Harmful Language Understanding¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM 安全
关键词: 有害语言理解, 反事实去偏, 任务感知表征路由, 目标识别, 捷径学习与任务证据
一句话总结¶
揭示了反事实去偏在多任务有害语言建模中对细粒度目标识别(TI)造成反噬的失效机制,提出按任务解耦表征流向的任务感知路由(Task-Aware Routing),在消除滥用检测与情感分析中身份捷径的同时完好保留定义目标类别的本质证据。
研究背景与动机¶
在有害语言理解与网络暴力治理中,模型往往容易利用特定群体或人口统计学身份词(如宗教、性别、种族等高频身份词)与负面标签之间的表面相关性,形成严重的虚假捷径预测。为了抑制这种有害偏置,反事实去偏(Counterfactual Debiasing)已成为自然语言处理领域的标准手段。主流做法通常构建身份掩码或配对的反事实文本,通过对抗学习、正交投影或表征差值减法,强制模型对敏感身份词的表现保持不变,隐式假定所有被抑制的身份特征都属于应被剔除的模型噪声。
然而,有害语言分析往往不仅涉及二分类的网络暴力检测(Cyberbullying Detection, CD)与情感分析(Sentiment Analysis, SA),还高度依赖细粒度目标识别(Target Identification, TI,即判别被攻击的对象是哪类特定群体)。这一多任务需求暴露了全局去偏假定的根本冲突:身份词在 CD 和 SA 中固然构成了模型应当回避的虚假相关捷径;但在细粒度 TI 任务中,这些身份词本身恰恰是区分宗教、性别或种族等目标类别的定义性证据(Label-Defining Evidence)。当多任务系统不加区分地对所有预测头施加统一的反事实表征过滤时,去偏操作在消除偏置的同时无情抹去了目标识别赖以判别的核心语义,导致去偏操作反噬下游效能。
针对去偏操作中“捷径与证据不可调和”的结构性矛盾,本文跳出将身份词视作全局毒药的传统思维,转而从任务条件依赖的因果视角重新审视特征效用。核心 idea:根据不同下游任务对身份线索的信息需求实施任务感知路由(Task-Aware Routing),将滥用检测与情感分析路由至消除虚假关联的去偏表征,而将细粒度目标识别路由至保留身份语义的原始表征,并在解码端进行解耦的词元级修正。
方法详解¶
整体框架¶
任务架构以 BART 编码器-解码器为基础骨干网络,结合关系感知图注意力网络(RGAT)聚合句法依存与共指关系,为原始输入文本与身份词掩码后的反事实样本构建双路编码。对原始文本 \(x_o\) 和反事实文本 \(x_{cf}\),编码器与 3 层 RGAT 分别输出对应的句级表征 \(h_o\) 与 \(h_{cf}\)。随后,门控去偏融合模块计算反事实差异向量并动态削减身份偏置,得到去偏表征 \(h_{debias}\)。核心机制在于解耦路由:将 \(h_{debias}\) 赋予易受捷径干扰的 CD 与 SA 分类头,而将未过滤的 \(h_o\) 赋予目标识别 TI 分类头;解释生成则经由独立的词元级残差适配器输入 BART 解码器,从而避免全局去偏对目标证据的误杀。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本与反事实掩码<br/>原始文本 x_o 与词典掩码 x_cf"] --> B["双路编码与关系图融合<br/>BART 编码器 + 3层 RGAT 提取 h_o 与 h_cf"]
B --> C["门控去偏融合<br/>计算差异向量并预测动态门控生成 h_debias"]
C --> D["任务感知表征路由<br/>CD/SA 接入 h_debias,TI 保持接入原始 h_o"]
D --> E["解耦词元级解释生成<br/>基于词元残差适配器融合输入 BART 解码器"]
E --> F["多任务输出与平衡损失<br/>联合输出 CD、SA、TI 预测与合理解释"]
关键设计¶
1. 门控去偏融合:消除全局捷径并自适应估计身份差异向量 传统反事实差分常将掩码前后的隐向量直接相减作为偏置方向,但掩码操作不仅影响身份语义,还会扰乱局部句法和语境语义。为此,设计了自适应门控去偏融合模块(Debias Fusion Block)。给定原始句表征 \(h_o\) 和反事实句表征 \(h_{cf}\),首先显式提取反事实差异向量 \(h_{bias} = h_o - h_{cf}\),随后将原始表征、反事实表征与差异向量拼接送入多层感知机与 Sigmoid 激活函数,预测各维度门控权重 \(g\): $\(h_{bias} = h_o - h_{cf}, \quad g = \sigma(\text{MLP}([h_o; h_{cf}; h_{bias}]))\)$ $\(h_{debias} = h_o - g \odot h_{bias}\)$ 门控向量 \(g\) 能够自适应学习当前差异中究竟哪些维度是纯粹的身份捷径成分,从而从原始表征中精准剔除身份引起的虚假相关分量,得到保留主干语义的去偏表征 \(h_{debias}\)。
2. 任务感知表征路由:化解捷径抑制与目标证据保留的表征流向冲突 针对统一反事实去偏(Unified-CF)强制所有下游头接收 \(h_{debias}\) 进而破坏目标识别分类面的缺陷,任务感知路由根据任务目标对特征的需求差异对表征流向进行定向切分。在统一去偏下,所有分类头共享去偏表征 \(\hat{y}_{cd}, \hat{y}_{sa}, \hat{y}_{ti} \leftarrow h_{debias}\);而任务感知路由策略明确将网络暴力检测与情感分析头连接至去偏表征,同时将细粒度目标识别头重新连接至完整保留身份证据的原始表征: $\(\hat{y}_{cd}, \hat{y}_{sa} \leftarrow h_{debias}, \quad \hat{y}_{ti} \leftarrow h_o\)$ 在局部一阶泰勒展开视线下,替换输入引起的 TI 损失变化近似为 \(\Delta \ell_{ti} \approx \nabla_h \ell_{ti}(f_{ti}(h_o), y_{ti})^\top (h_{debias} - h_o)\)。当位移 \(h_{debias} - h_o\) 移除了与 TI 决策边界高度对齐的信息时,统一去偏直接推高了 TI 损失。任务感知路由通过物理切断这一表征位移,既切断了 CD 和 SA 利用身份词走捷径的通路,又彻底保护了 TI 对细粒度身份证据的解码能力。
3. 解耦词元级解释生成:协同句级证据保留与词元级反事实校正 在多任务有害语言模型中,解释生成路径若直接接收句级去偏向量,容易导致生成文本语义漂移或退化;若完全不进行去偏(如 No-CF),又无法引导生成关注非偏置证据。为此,设计了与句级分类解耦的词元级适配机制。令 \(H_{fuse,o}\) 和 \(H_{fuse,cf}\) 分别表示 RGAT 融合后的原始与反事实词元级隐状态序列,通过轻量级残差适配器对两者的词元差异进行变换,构造解码器的输入上下文: $\(H_{gen} = H_{fuse,o} - \text{Adapter}(H_{fuse,o} - H_{fuse,cf})\)$ 该机制保证了 BART 解码器既能在 token 层面修正由于特定敏感词引发的生成幻觉,又不会强行抹平输入序列中用于指示受害群体的客观事实词,兼顾了生成合理性与文本生成稳定性。
损失函数 / 训练策略¶
系统采用四阶段渐进式课程训练方案(共 22 个 epoch:Phase-1 为 6 个 epoch,Phase-2a 为 4 个 epoch,Phase-2b 为 6 个 epoch,Phase-3 为 6 个 epoch)。Phase-1 预热基础表征,反事实分支在 Phase-1 关闭并在后续阶段激活;Phase-2b 与 Phase-3 引入快速梯度法(FGM)对抗训练,偏置损失权重经 4 个 epoch 线性递增至最大权重 0.1。多任务总损失定义为: $\(\mathcal{L}_{task} = \mathbb{E} \left[ \ell_{cd}(f_{cd}(h_{debias}), y_{cd}) + \ell_{sa}(f_{sa}(h_{debias}), y_{sa}) + \lambda_{ti} \ell_{ti}(f_{ti}(h_o), y_{ti}) \right] + \lambda_{gen} \ell_{gen} + \lambda_{bias} \ell_{bias}\)$ 其中分类损失采用 Focal Loss(\(\gamma=2.0\))配合标签平滑(0.1),超参数权重分别设为 \(\lambda_{ti}=1.5\)、\(\lambda_{gen}=4.0\)、\(\lambda_{cls}=1.0\)。针对 TI 类别的严重长尾分布,对比了有效样本数加权(Effective-Number Weighting, \(\beta=0.999\))与对数逆频加权(Log-Inverse Weighting, \(\alpha=1.0\))。最佳模型 Checkpoint 按三项分类任务验证集宏平均 F1 严格选定。
实验关键数据¶
主实验¶
在 BullyExplain 翻译基准测试集上进行 5-seed(42–46)受控 \(2 \times 2\) 析因实验(路由策略 \(\times\) 样本加权方式),并与基线 GenEx-Con 及不加去偏的 No-CF 进行全面对比:
| 模型 / 配置 | TI 路由 | TI 加权方式 | CD Macro-F1 | SA Macro-F1 | TI Macro-F1 |
|---|---|---|---|---|---|
| Cell A (Unified) | Unified | Log-inverse | \(85.24 \pm 1.04\) | \(75.20 \pm 0.89\) | \(54.58 \pm 3.09\) |
| Cell B (Task-aware) | Task-aware | Effective-number | \(85.06 \pm 0.50\) | \(75.26 \pm 0.67\) | \(\mathbf{58.32 \pm 1.88}\) |
| Cell C (Unified) | Unified | Effective-number | \(85.05 \pm 0.92\) | \(74.65 \pm 1.12\) | \(53.55 \pm 4.14\) |
| Cell D (Task-aware) | Task-aware | Log-inverse | \(85.42 \pm 0.53\) | \(75.72 \pm 0.68\) | \(56.42 \pm 4.26\) |
| No-CF (Reference) | None (\(h_o\)) | Effective-number | \(85.86\) | \(76.13\) | \(55.36\) |
| GenEx-Con (Baseline) | N/A | N/A | \(82.47\) | \(73.16\) | \(56.44\) |
注:主效应分析显示,路由主效应达到 \(+3.30\) TI F1(95% CI [1.69, 5.28]),在配对有效样本加权下(Cell B vs. Cell C)带来 \(+4.76\) 的大幅提升;而加权方式主效应仅为 \(+0.44\) 且置信区间包含零([-0.29, 1.17]),严密证明了 TI 增益主要源于表征路由而非类别重加权技巧。
消融与跨数据集机制验证¶
为探究去偏表征中目标信息的留存程度以及任务感知路由在不同主干与数据集上的稳健性,进行了表征线性探测(Linear Probing)与跨模型/数据集验证:
| 评估场景 / 架构配置 | 探测表征 / 路由设置 | 评测指标 | 原始/基准值 | 对比/去偏值 | 变化差值 (\(\Delta\)) | 统计显著性 (95% CI) |
|---|---|---|---|---|---|---|
| TI 表征线性探测 (Cell B) | \(h_o\) vs. \(h_{debias}\) | TI Macro-F1 | \(53.57 \pm 6.96\) | \(40.83 \pm 5.90\) | \(\mathbf{+12.74}\) | [3.75, 20.90] (\(p=0.0035\)) |
| HateXplain (Text-only, \(p=0.8\)) | Task-aware vs. Unified | TI Macro-F1 | \(75.79 \pm 0.10\) | \(74.42 \pm 0.61\) | \(\mathbf{+1.36}\) | [0.82, 2.08] |
| HateXplain (Text-only, \(p=0.8\)) | Task-aware vs. Vanilla | TI Macro-F1 | \(75.79 \pm 0.10\) | \(75.93 \pm 0.83\) | \(-0.15\) | [-0.93, 0.52] (统计无显著差异) |
| RoBERTa-base (BullyExplain) | Task-aware vs. Unified | TI Macro-F1 | \(60.32 \pm 1.80\) | \(58.77 \pm 1.12\) | \(\mathbf{+1.55}\) | [0.22, 2.84] |
| Measuring Hate Speech (5-seed) | Task-aware vs. Unified | TI Macro-F1 | \(85.08 \pm 0.80\) | \(84.13 \pm 1.19\) | \(\mathbf{+0.95}\) | [0.37, 1.54] |
关键发现¶
- 去偏表征对身份证据造成严重不可逆擦除:冻结隐层表征训练的逻辑回归探测表明,去偏向量 \(h_{debias}\) 解码目标类别的能力相较 \(h_o\) 暴跌了 12.74 个点,其中 Gender 暴跌 34.68,SexualOrientation 暴跌 26.41,证实统一去偏的本质是抹除细粒度目标判别特征。
- 增益强依赖于干预强度且服从长尾分布:在 HateXplain 上,当掩码概率由 0.2 提升至 0.8 时,任务感知路由对统一去偏的优势由 \(-0.49\) 逐步扩大至 \(+1.36\);且增益集中爆发于训练样本稀缺的长尾身份类别(如 Caucasian \(+5.77\)、Refugee \(+4.46\)、Asian \(+4.37\)),高频头部类别(如 African、Islam)由于拥有更丰富的非词汇化语境上下文,受去偏擦除的影响相对较小。
- 架构无关性:在移除 RGAT 图分支、移除生成模块及改用 RoBERTa-base 纯文本主干时,任务感知路由对统一去偏仍稳定保持 \(+1.55\) 的增益,表明该失效模式与路由优势源于特征与任务本身的因果依赖关系,而非特定图架构诱发。
亮点与洞察¶
- 重新界定特征属性与任务的双向依赖关系:传统去偏将“身份线索 = 偏置捷径”作为先验硬编码,本文敏锐指出特征的虚假性是“任务相关”的(Task-Dependent)——同一信号对于网络暴力判断是捷径,对于受害者群体识别却是不可或缺的核心证据。
- 以精准路由代替一刀切妥协:避免了在“完全放弃去偏(No-CF)”与“全局去偏(Unified-CF)”之间艰难取舍,通过在共享骨干表征之后按头进行任务感知解耦分发,以极简优雅的路由架构实现了多任务各取所需。
- 严谨的析因实验与失效边界梳理:通过控制加权方式的 \(2 \times 2\) 析因设计、掩码强度 Pareto 分析及跨数据集验证,明确指出了任务感知路由生效的前提(干预达到中高强度、词典覆盖显式身份提及),展现了高度求真的学术严谨性。
局限与展望¶
- 显式词典掩码的覆盖盲区:反事实分支目前高度依赖人工整理的 8 类身份词典,能较好捕获显式命名实体与代词,但对于隐式委婉表述、讽刺语境或未登录的新兴攻击俚语覆盖有限,未来可探索 LLM 驱动的隐式反事实生成。
- 生成评估指标对极端分布的敏感性:文本生成质量虽在 Jaccard 和异常输出率上有明显稳定收益,但跨语言翻译引入的细微噪声仍对精确 span 抽取产生一定干扰。
- 更广阔去偏范式的通用推广:本工作聚焦于掩码式反事实去偏,未来有望将“任务感知路由”思想拓展至对抗去偏(Adversarial Debiasing)、零空间投影(Nullspace Projection)及跨领域不变特征学习等更广阔的表征学习领域。
相关工作与启发¶
- vs. 统一反事实去偏(Unified Counterfactual Debiasing, 如 Kaushik et al., 2020; Feder et al., 2022):统一方法在所有任务头上一律使用去偏表征,忽略了特征对不同任务的信息效用差异,造成细粒度目标识别的严重掉点;本文提出任务感知路由,根据任务目标因果依赖分配表征。
- vs. 多任务梯度冲突化解(Gradient Surgery / PCGrad, 如 Yu et al., 2020):梯度冲突方法关注多任务反向传播时优化方向的几何夹角与投影;本文指出多任务去偏的本质冲突发生在前向表征转换(Representational Transformation)层面,直接在表征路由层消除冲突比在梯度空间修补更为直接有效。
- vs. 生成式网络暴力基线(GenEx, Maity et al., 2023):GenEx 强调引入常识知识辅助解释生成;本文则聚焦于有害语言多任务建模中去偏反噬机制与表征流向控制,在分类与目标识别指标上全面超越 GenEx-Con。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次揭示并严谨形式化了反事实去偏在多任务有害语言识别中对目标证据的“反噬”效应,提出极具洞察力的任务感知路由。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5-seed 析因消融、线性探测、干预强度 Pareto 扫描、类别长尾分析、跨模型主干及跨数据集诊断,证据链极其闭环扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 论证脉络行云流水,深入浅出地剖析了“捷径 vs. 证据”的核心矛盾,数学形式与实验解释高度自洽。
- 价值: ⭐⭐⭐⭐⭐ 为多任务学习与安全大模型表征对齐提供了关键设计范例,有力推动了负责任 AI 走向细粒度与上下文感知。