跳转至

ContraGAND: Auditing and Repairing Gender Ambiguity Failures in LLMs with Neuro-Symbolic Counterfactuals

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/TomMoeras/ContraGAND
领域: 社会计算
关键词: 性别歧义检测, 反事实数据增强, 神经符号系统, 大语言模型偏见, 知识蒸馏

一句话总结

针对机器翻译与大语言模型在无性别线索时盲目依赖职业刻板印象推断性别的顽疾,本文构建了包含 14,556 条样本的神经符号反事实基准 CONTRAGAND,首次揭示模型在自主枚举实体与跨子句绑定线索的开放式评测中存在高达 69.1 个百分点的断崖式性能下跌,并通过反事实增强与多指称教师蒸馏将 4B 小模型性能提升至 0.976,在八分之一参数量下追平 31B 前沿教师。

研究背景与动机

在大语言模型与机器翻译系统的实际落地中,性别偏见一直是困扰社会公平性的核心隐患。当源语言输入(如英文)中的实体在语义上具有性别歧义(例如 “The doctor finished the shift and went home” 中,既没有代词也没有称谓来指明医生的具体生理性别),系统若被强制翻译为具备语法性别的目标语言,往往会默认回退到刻板印象——将医生预设为男性、将护士或保姆预设为女性。然而,近年来的反偏见研究大多聚焦于代词共指消解评测(如 WinoBias、Winogender、GAP),这些基准预先给定指称项与候选代词,人工构造了显式的共指绑定任务,却未能评测真实自然文本中完全缺乏性别线索时的“真正歧义感知能力”。

这一领域长期面临的核心矛盾在于:评估大模型对性别歧义的辨识能力不能仅仅依赖单类别的真实歧义数据,否则一个简单地将所有输入盲目预测为“歧义”的惰性模型也能斩获满分;而若要构造具备明确男性或女性线索的最小对比对(Minimal Pairs),传统的反事实数据增强(CDA)通常仅依赖机械的代词替换规则(如 he ↔ she),严重忽视了英语中称谓、呼语、亲属同位语以及修饰形容词等广泛而复杂的性别标记机制。更严峻的是,现有评测往往采用“闭卷模式”(Closed Task)——人工将待判定的指称对象直接喂给模型,这种人为简化的输入掩盖了下游真实系统必须自行从非结构化句子中抽取出实体、并跨越子句边界绑定线索的复杂推理挑战。

为了彻底打破现有基准的局限并诊断大模型在真实部署场景下的潜在缺陷,本文将视角转向自然歧义种子的多策略扩展与评测范式的重构。研究团队以真实语料库 GAND 为起点,设计了一套结合大模型上下文生成与确定性符号规则校验的神经符号流水线,将每条真实歧义句扩充为严格受控的男性与女性最小对比对。核心 idea:通过神经符号反事实流水线构建包含 9 类显式/跨子句线索的高保真对比基准 CONTRAGAND,揭示闭卷到开卷任务下模型因跨子句绑定失败与格式崩溃导致的断崖式下跌,并证实反事实对比微调与教师蒸馏能低成本彻底修复小模型的歧义判别缺陷。

方法详解

整体框架

CONTRAGAND 的构建与评估体系由三大核心阶段有机组成:首先是神经符号对比反事实生成流水线,负责将自然文本中采集的无性别歧义句子扩展为成对的男性与女性高质变体;其次是双任务评测协议,通过在相同语料上对比闭卷设定(给定指称)与开卷设定(要求模型自主自底向上枚举实体并标注性别),剖析大模型的真实能力瓶颈;最后是针对小参数模型的对比反事实微调与多指称教师蒸馏策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然真实歧义句子输入<br/>GAND 语料库 4,852 篇源句"] --> B["神经符号对比反事实生成<br/>优先级路由+Opus生成+确定性校验"]
    B --> C["闭卷到开卷任务漏斗审计<br/>开放指称枚举+跨子句线索绑定"]
    C --> D["对比增强与教师蒸馏修复<br/>三元对比微调+31B教师链式蒸馏"]
    D --> E["部署级性别歧义检测器<br/>4B 学生模型达到 0.976 准确率"]

关键设计

整个方法框架包含三个紧密衔接的核心机制,分别应对反事实多样性与纯洁度、开卷评测诊断性、以及小模型能力修复的瓶颈:

1. 神经符号对比反事实生成:单规则扰动覆盖窄与幻觉累积 -> 符号路由器+LLM生成+确定性后置校验闭环 -> 产出高保真三元对比语料
针对传统 CDA 仅支持代词替换而无法覆盖多样化语言线索、且纯大模型作为数据生成器易引入幻觉与偏置的痛点,该设计构建了一套神经符号生成闭环。流水线定义了涵盖局部线索(词汇替换、代名词重写、所有格标记、远端名词线索、性别形容词、破折号同位语)与跨子句线索(亲属同位语、头衔同位语、呼语称谓)的 9 大去歧义策略。在生成前,确定性符号路由器依据词表与正则规则进行优先级判断,避免引发不对称文化偏见的禁用词对(如 hero/heroine、master/mistress);生成中,利用跨行轮换器将 12 个虚构姓氏与 5 对亲属关系词均匀分布,抑制大模型的词汇复用倾向;生成后,大模型评估器评分结合严格的确定性符号校验器(编辑距离硬阈值 8、保留原句非标缩写、禁止新增句号、指称词原样保留、词性改变防御),未通过的样本携带精确错误代码进入最多 5 轮的定向修复循环。最终从 5,047 条 GAND 种子中成功生成 4,852 组无瑕疵的三元组(共 14,556 行),人工双盲抽检通过率达 92.1%。

2. 闭卷到开卷任务漏斗审计:给定指称遮蔽了真实系统缺陷 -> 开放式实体自枚举+跨子句线索绑定双阶评测 -> 精确定位格式崩溃与未承诺偏置
针对现有基准人工指定待测实体而过度美化模型能力的痛点,本文在评测机制上设计了闭卷(Closed Task)与开卷(Open Task)的对照漏斗。闭卷任务直接向模型提供句子与目标指称(如 client),要求其在三分类集合 \(\mathcal{Y} = \{\text{masculine}, \text{feminine}, \text{ambiguous}\}\) 中输出判定;而开卷任务完全不提供指称,模型必须自底向上识别句中出现的所有职业、角色或关系实体,并逐一完成性别归类。评测协议采用严格的全分母准则(Full-Denominator Policy),模型必须完全命中所有黄金实体且分类完全正确方计为成功。借助这一漏斗协议,研究发现当前开源大模型在闭卷任务上已接近饱和(大部分模型准确率超过 0.93),但在开卷任务中却出现了高达 3.2 到 69.1 个百分点的灾难性滑坡。

3. 对比增强与教师蒸馏修复:单纯真实数据微调诱发全歧义坍缩 -> 局部/跨子句对比微调与31B多指称推理蒸馏 -> 4B小模型在八分之一参数下逼近并追平前沿教师
针对 4B 级别小模型在开放式任务中无法有效解析指令、动辄生成万字冗长推导却无法完成决策的病态表现,该设计提出了针对性的三阶段对比微调与知识蒸馏范式。实验证实,仅使用真实自然歧义数据进行微调(FT-GAND)会导致模型发生决策坍缩——由于缺乏正负样本对比,模型学会了将所有实体一律打上 ambiguous 标签;而引入合成的男性与女性对比变体后(FT-CONTRA),Qwen-4B 与 Gemma-4B 的开卷准确率分别从 0.242 暴涨至 0.958、从 0.585 提升至 0.966。为了进一步赋予小模型多实体枚举与复杂跨子句推理链能力,FT-MULTI 引入以 Gemma-4-31B-it 作为教师生成的全指称链式推导作为银标监督,驱动 4B 学生模型一举达到 0.976(Qwen-4B)和 0.978(Gemma-4B)的 SOTA 表现,甚至在统计检验上追平了教师模型的少样本上限。

神经符号反事实与修复策略

在神经符号反事实生成体系中,符号化与神经化的松耦合协作是保证语料鲁棒性的基石。在预生成阶段,符号路由器以如下严密优先级拦截输入: 1. 优先级 1(禁用词过滤):若指称词命中特定词表(如 confidant/confidante),禁止执行 LEXICAL SWAP,强制回退至外部线索策略; 2. 优先级 2(呼语正则):匹配处于呼语位置的受话者,指定 VOCATIVE ADDRESS; 3. 优先级 3(中性代词窗口):若指称词前后 10 个 token 范围内出现 they/them/their,指定 PRONOUN REWRITE; 4. 优先级 4(第一人称标记):在 50 字符内探测 I'm 等标记,执行对称的第一人称代词重写。

在后置检验层,符号校验器执行基于 Levenshtein 距离的词级编辑约束(\(\text{dist} \le 5\) 软性通过,\(\text{dist} > 8\) 硬性否决),并通过正则表达式防御词性异化(例如杜绝模型将 doctor 篡改为修饰性前缀 doctor man)。

在修复与微调层面,作者为两个 4B 学生模型配置了 QLoRA 架构(秩 \(r=64\),\(\alpha=128\),dropout 0.05,作用于包含注意力与 MLP 门控的所有投影层),在 4 块 A100-80GB 上采用余弦退火学习率(\(2 \times 10^{-5}\))进行 5 个 epoch 的微调。FT-MULTI 的核心思想在于传递教师模型在发现非目标候选词(例如同时出现的受话呼语与角色代词)时的消解链路,使学生模型在解析形如 “...you to become a top influencer in your industry or niche, sir.” 时,能清晰识别出 sir 是修饰 influencer 的远端线索,而非将其孤立处理。

实验关键数据

主实验

论文对涵盖三大模型家族的 6 款开源权重主流模型进行了端到端评测。闭卷任务展现出高度饱和,而开卷任务暴露了悬殊的性能落差。

模型 规模 闭卷准确率 (Acc) 闭卷宏 F1 (mF1) 闭卷歧义 F1 (ambF1) 开卷准确率 (Acc) 开卷宏 F1 (mF1) 开卷歧义 F1 (ambF1) 闭卷→开卷落差 (pp)
Gemma-31B 31B 0.984 0.984 0.979 0.952 0.956 0.942 -3.2
Qwen-27B 27B 0.969 0.969 0.958 0.742 0.757 0.726 -22.7
Magistral 24B 0.883 0.887 0.854 0.721 0.741 0.725 -16.2
Gemma-4B 4B 0.953 0.954 0.936 0.585 0.580 0.628 -36.8
Qwen-4B 4B 0.933 0.958 0.968 0.242 0.356 0.548 -69.1
Ministral 3B 0.685 0.718 0.757 0.323 0.390 0.550 -36.2

消融与修复实验

为探索开卷性能骤降的本质并验证修复策略,作者首先测试了针对 Qwen-4B 的解码与 Prompt 干预,随后展示了 QLoRA 微调与知识蒸馏(FT-GAND / FT-CONTRA / FT-MULTI)的终极修复效果。

模型 / 训练配置 任务设定 准确率 (Acc) 宏 F1 (mF1) 男性召回 (mR) 女性召回 (fR) 歧义召回 (aR) 说明
Qwen-4B 基线 (零样本) 开卷 0.242 0.356 0.153 0.146 0.426 格式崩溃严重,解析失败率达 69.3%
+ 重复惩罚 (1.3) 开卷 0.450 - - - 0.634 最优无损解码干预,提升 JSON 提交率
+ 模式受限解码 (GUIDED_JSON) 开卷 0.417 - - - 0.923 解析错误降至 0.4%,但退化为盲目预测歧义
Qwen-4B + FT-GAND 开卷 0.330 0.191 0.009 0.030 0.953 仅用单类真实歧义微调,发生决策坍缩
Qwen-4B + FT-CONTRA 开卷 0.958 0.973 0.970 0.970 0.935 引入对比反事实变体,暴涨 +62.8 pp
Qwen-4B + FT-MULTI 开卷 0.976 0.978 0.970 0.976 0.983 蒸馏 31B 教师多指称推理,实体漏检从 42 降至 6
Gemma-4B 基线 (零样本) 开卷 0.585 0.580 0.335 0.443 0.976 无格式失败(解析率100%),纯跨子句绑定失败
Gemma-4B + FT-GAND 开卷 0.326 0.179 0.000 0.019 0.959 同样发生全歧义预测坍缩
Gemma-4B + FT-CONTRA 开卷 0.966 0.980 0.974 0.974 0.948 纯绑定赤字修复,提升 +38.1 pp
Gemma-4B + FT-MULTI 开卷 0.978 0.982 0.966 0.978 0.989 全面超越 31B 教师零样本基线 (0.952)

开卷漏斗分解数据(Funnel Decomposition)进一步佐证了错误根因的分野: - Gemma-31B:解析率 99.6%,指称命中率 99.2%,匹配后分类准确率 0.960,整体准确率 0.952; - Gemma-4B:解析率 100.0%,指称命中率 96.6%,但匹配后分类准确率骤降至 0.606,纯粹源于无法跨子句关联线索; - Qwen-4B:解析率仅 30.7%,指称命中率 28.5%,但在成功解析且命中实体的子集上,其分类准确率高达 0.849!说明其核心痛点在于小模型在多步逻辑推导时的表述过长导致未能在上下文内闭合 JSON 结构(平均响应长度 14,429 字符)。

关键发现

  • 两大失效模式的本质剥离:小模型在开卷任务中的惨败由两大完全不同的机制引起。中等模型与 Gemma-4B 属于纯粹的绑定失败(Binding Failure)——模型输出了极其规范的 JSON 并找准了实体,但当线索处于另一子句(如 VOCATIVE ADDRESS 呼语称谓)时,直接退缩为预测 ambiguous;而 Qwen-4B 与 Ministral 则属于格式失败与未承诺偏置(Format Failure & Under-commitment)——在面对需要同时自找实体和找线索的多重目标时陷入无休止的自我反思,无法生成可解析输出。
  • 单类训练陷阱:单纯使用真实无偏文本(FT-GAND)进行安全对齐或微调是灾难性的,这会导致模型彻底丧失决策自信,产生盲目的过度弃权(Abstention Collapse)。必须同时注入成对的反事实正反样本,模型才能建立明确的置信边界。
  • 线索局部性惩罚的不对称性:在所有具备解析能力的模型中,局部线索策略(如 GENDER ADJECTIVE 准确率超 0.92)的表现均大幅优于跨子句线索;VOCATIVE ADDRESS 成为全场最严苛的试金石,Gemma-31B 仍能维持 0.935,而 Qwen-27B 与 Gemma-4B 骤降至 0.381 与 0.364。

亮点与洞察

  • 神经符号闭环为 LLM-as-a-Judge 补足刚性防线:论文未迷信大语言模型的自主评判能力,而是引入 4 项不可被大模型推翻的符号后置校验机制与确定性优先级路由,有效规避了合成数据中常见的语义漂移与格式破坏。
  • 闭卷与开卷的对照设计是一面“透镜”:传统 NLU 任务往往预先界定槽位,造成了技术已经成熟的假象;本文设计的开卷评测拆解出“输出合规性”、“实体发现率”与“条件分类准确率”,为评估大模型在真实 Agentic 管道中的稳健性提供了高信度的诊断框架。
  • 极小代价激活小模型能力天花板:仅耗费不到 5 个 GPU 小时的单节点微调,便将一个在开卷任务中濒临崩溃(0.242)的 4B 模型重塑为超越 31B 教师基线的高效判别器,展示了高质量合成反事实数据在定向对齐上的非凡潜力。

局限与展望

  • 语种与文体边界限制:CONTRAGAND 完全基于英语构建,语料来源于 C4 与字幕数据集。对于诸如法语、德语、俄语等形态句法上存在广泛性别的屈折语种,性别线索往往弥散在冠词、形容词词尾等深层语法结构中,现有 9 种线索策略无法直接迁移。
  • 二元性别范畴的简化:本基准将标签集合严格限制在男性、女性与歧义三类,尚未覆盖单数 they、非二元性别认同或跨文化性别表征。
  • 下游机器翻译的端到端串联仍需验证:本文定位于上游实体性别歧义感知的核心诊断器,该检测器与下游端到端神经机器翻译模型或生成系统的实际级联与容错机制,仍属于后续进行中的研究课题。

相关工作与启发

  • vs WinoBias / GAP / BUG: 传统性别偏见基准仅评估代词归因消解,缺乏对纯歧义样本的测试,且预先绑定了指称与代词对;CONTRAGAND 涵盖了 9 类语言学线索,并首次引入不需要给定指称实体的全自动开卷评估。
  • vs 纯规则 CDA (Lu et al., 2020): 早期反事实数据增强局限于词表中的代词或特定亲属词硬替换,导致生成语句生硬、覆盖狭窄;CONTRAGAND 借助神经符号混合架构,兼具大模型语言流畅度与符号规则的逻辑可验证性。
  • vs Self-Instruct / Constitutional AI: 纯神经提示与自我反思机制在复杂小模型上容易遭遇长度爆炸与退避死循环;本文证实,引入确定性符号校验器参与的重试反馈循环(Autopilot Feedback Loop)是约束生成质量的关键手段。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出开卷性别歧义检测协议与系统化的神经符号反事实增强语料库,切中真实场景痛点。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 款主流模型横跨 3B-31B,提供细致入微的漏斗分解、解码干预消融及知识蒸馏验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨缜密,错误模式分类精准且兼具深入的机理剖析。
  • 价值: ⭐⭐⭐⭐⭐ 为大模型反偏见评测、合规安全推理及跨语言翻译的前置歧义感知提供了极为坚实的数据与技术支撑。