跳转至

Man-Made Language Models: Evaluating LLMs' Perpetuation of Masculine Generics Bias

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/spidersouris/llm_masc_gen
领域: 社会计算
关键词: 阳性泛指, 语言模型偏见, 性别公平语言, 帕累托前沿, 人类名词分类器

一句话总结

论文系统构建了包含1.6万余词的法语人类名词库与HScorer三模型共识分类器,首次在非约束日常交互指令下对6款主流LLM开展双条件偏见评测,通过三维帕累托多目标分析揭示出模型在泛指场景下高达27.57%至78.55%的阳性泛指偏见延续率与对性别公平语言的极度被动。

研究背景与动机

在法语、德语、荷兰语等具有显式语法性别的印欧语言中,阳性泛指(Masculine Generics, MG)长期被语法规范视作一种“默认”或“中性”的指代规则,用来统称男女混合群体或性别未知的个体。然而,心理语言学数十年的实证研究(如P600脑电实验与角色名词联想测试)早已证实,所谓的“语法泛指”在认知处理层面并不中性,因为其形态与特指男性的专有形式完全一致,会不可逆地激活以男性为中心的心理表征并系统性排斥女性与非二元性别群体。伴随大语言模型深入日常生活,高达73%的真实用户交互属于非工作性质的日常咨询与开放式对话,合成数据的大规模递归训练与高频人机交互正使模型生成的语言偏见演变为社会认知偏见的新型放大器。

以往自然语言处理(NLP)领域的性别偏见评测,绝大多数局限于强约束或人为诱导的特定场景,例如代词消歧测试集(WinoGender/WinoBias)、固定职业模板句补全或跨语言机器翻译中的特定代词映射。在这些受限测试中,模型往往展现出显性的刻板印象;但现实世界中用户提出的日常指令大多是完全开放且上下文非特异的通用提问(如“如何向十岁孩子解释量子计算机”或“在墙上安装电视需要注意什么”)。面对这类既不涉及特定个体、也不要求特定性别判断的普通查询,大语言模型究竟是在自主推理中自发退化回阳性泛指的传统男性偏见,还是能够自发展现包容性(Inclusive)或中性(Neutral)的性别公平语言(Gender-Fair Language, GFL),此前在学术界缺乏系统的实证度量与量化工具。

这种研究空白的核心矛盾在于:评估自然指令下的阳性泛指偏见需要精确剥离特指男性的上下文噪声,同时必须妥善处理大量兼具人类与非人类义项的多义词,而在多语言资源匮乏的背景下,缺乏大规模、高质量的人类名词真值库与自动化消歧验证机制。本文针对这一难题,提出了一套完整的研究路径:从传统词典与开放百科出发,训练包含逻辑回归、XGBoost与CamemBERT的三模型共识分类器扩展出16,652个法语人类名词;设计语法依存与词汇规则严格过滤掉特指男性的特定上下文;并借助上下文提示工程消除多义歧义,构建非MG与MG诱导双实验环境。核心 idea:将日常指令生成中的性别公平性评测建模为三维多目标帕累托优化问题(最小化阳性泛指率、最大化包容性后缀率、最大化中性词汇率),通过严密的人类名词共识分类与上下文实体消歧流水线,首次在开放交互场景中定量揭示大语言模型对阳性泛指偏见的深刻延续与自发采用性别公平语言的严重缺失。

方法详解

整体框架

评测流水线旨在从多源词典中构建高置信度的人类名词库,构建去特指化的真实通用指令集,并利用大语言模型评估与帕累托优化理论衡量偏见。输入为非结构化的人类词汇资源与大规模指令-回复数据集(涵盖用户真实问答与模型合成文本),经过词汇扩展与分类器多重共识筛选后构建人类名词基底;随后对海量指令进行依存句法与专名过滤,划分为不含MG与含MG的对照组输入6款大语言模型;最后在输出端进行规则匹配与上下文LLM二次消歧,计算三维公平性指标并映射至帕累托前沿面。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源词典与大规模指令集<br/>TLFi / 维基 / 23万指令对"] --> B["HScorer共识人类名词库构建"]
    B --> C["双条件通用指令特异性过滤"]
    C --> D["六款主流LLM推理生成<br/>开源与商业模型生成回复"]
    D --> E["上下文约束的GPT-4o mini实体消歧"]
    E --> F["三维多策略帕累托偏见评估"]
    F --> G["偏见评测基准与语言公平性结论"]

关键设计

1. HScorer共识人类名词库构建:高精度过滤多义词与非人类名词噪声 在构建语言偏见评测基底时,传统词典或词条资源(如NHUMA仅含1,107词)规模严重不足,而从TLFi、Wiktionary和Wikidata递归抓取或衍生词典(如Demonette)扩展时,会引入大量动物、神话物种或人造物等非人类名词,且许多词汇具有人类与工具的双重多义性(例如“distributeur”既指分销商又指自动售货机)。为此,本文提出了由三种异构机器学习架构组成的一致性集成打分器 HScorer。该模型集成逻辑回归(LR)、XGBoost 以及基于预训练语言模型的 Transformer(CamemBERT)。对于传统分类器,模型构建了4类综合特征:基于 WordNet 上位词路径计算的人类/非人类上位词得分 \(H(W)=(h_s, n_s)\)、WordNet 定义指示词统计得分 \(D(W)=(h_d, n_d)\)、与预设原型词(如 personne, homme, objet, machine)在 300 维 FastText 向量空间中的平均余弦相似度 \(F(W)=(h_f, n_f)\),以及指示是否属于人类职业/身份构词后缀的二进制特征 \(S(W)\),并将它们与 FastText 词向量直接拼接形成密集特征向量 \(\vec{v}(W) = [H(W) \oplus D(W) \oplus F(W) \oplus S(W) \oplus \vec{v}_W]\)。三个模型在正负样本集上独立训练后,设定最为严苛的“一票否决”共识准则:只有当逻辑回归、XGBoost 与 CamemBERT 三者对候选词属于人类名词的预测概率同时不低于 0.50 时,该词才被接纳。通过这一设计,从 Demonette 和 TLFi 递归候选词中高精度滤出 3,740 个有效词条,最终构建起涵盖 16,652 个不重复词汇的高置信度法语人类名词数据库,并进一步分离出 5,140 个纯阳性人类名词子集,为无偏检测奠定词典基础。

2. 双条件通用指令特异性过滤:剥离特异性男性指代以构造真实泛指场景 在自然语言中,阳性名词经常承担“阳性特指”(Masculine Specifics)功能,即明确指代某个已知的具体男性个体(例如“Mon docteur m'a prescrit...”中的我那位男医生,或关于具体历史人物的问答)。若将这些特指用例混入评测,会导致评测指标将合理的单数性别特指误判为“阳性泛指偏见”,严重破坏基准有效性。为此,研究设计了结合 Transformer 依存句法与手工规则的深层过滤流水线。基于 spaCy 的 fr_dep_news_trf 顶尖句法分析模型对来自 oracle、oasst2、hh_rlhf 和 alpaca 四个数据集的 232,570 条指令-回复样本进行词性标注与依存解析:严格剔除包含单数物主代词(如 mon, ton, son)或定冠词(ce, cet)直接修饰人类名词的用例;移除包含专指人类的疑问代词“qui”或含有具体人名的指令;同时针对预实验中高频出现的语境歧义词(如“duo”指代已知双人组合)建立黑名单,并结合词典释义排序规则剔除人类释义位列两项之后的边缘词。经过此项过滤,成功构建出两大隔离实验集:实验1包含 10,000 条严格不含任何 MG 名词的纯通用任务指令,用于测量模型在完全中性提示下的自发偏见生成;实验2包含 4,556 条仅包含阳性泛指名词的通用指令,用于测量提示词中已有的 MG 表述对模型回复偏见产生的诱导强化效应。

3. 上下文约束的GPT-4o mini实体消歧:利用结构化提示消除上下文语义漂移 即便在预处理阶段对词表进行了严格清洗,回复生成阶段的自由文本仍然充满不可预测的语境多义性(Contextual Polysemy)。例如“facteur”在具体回复中可能是“邮递员”(人类)亦可能是“决定性因素”(非人类概念抽象物),“navigateur”可能是“航海家”亦可能是“网页浏览器”。单纯基于词表正则匹配会导致严重的误报率。针对该瓶颈,研究引入 GPT-4o mini 构建端到端上下文实体校验模块,采用严格的 In-Context Learning 格式化提示与 Pydantic 结构化输出约束。当正则系统在生成文本中初筛出候选人类名词后,系统将整段文本上下文及按出现顺序编号的名词列表传入提示模板,强制模型逐一输出形如 {"facteur": 0, "facteur_2": 1} 的 JSON 二元判定,精准界定每一个 token 在当前从句或句子中是否真实指代人类个体。在针对 500 个复杂语境、共计 2,013 个名词实例的双人人工盲审比对中,两名语言学标注者的一致性达到 \(\kappa = 0.944\),而 GPT-4o mini 的自动化判断与人工黄金标注集的一致性高达 \(\kappa = 0.855\)。极少数的分歧仅出现在拟人化神话角色(如会施法的猫头鹰、矮人与老龙)等极端边缘场景,从机制上彻底切断了传统基于关键词匹配评测在开放生成评测中必然遭遇的语义漂移与高误报软肋。

4. 三维多策略帕累托偏见评估:多目标空间权衡阳性泛指与中性/包容性语言 语言学中对性别偏见的消除并不仅仅是简单地“减少阳性词”,而是一个涵盖多种竞争与互补策略的复杂系统工程:写作者既可以采用包含男女双重后缀的“包容性标记”(如使用中点符或括号的 auteur·ice、danseur·euses、二元词组 il ou elle、新代词 iel),也可以转向非性别标记的“中性策略”(如借用集合或转喻中性词 personne 代替 homme)。单一标量指标无法衡量这种多维度权衡。因此,本文依据经济学帕累托最优理论,将性别偏见评测形式化为三维多目标优化问题,定义三个核心比率: $\(\hat{M} = \frac{\text{MG}}{\text{HN}}, \quad \hat{I} = \frac{I}{\text{HN}}, \quad \hat{N} = \frac{N}{\text{HN}}\)$ 其中 \(\text{MG}\) 为验证后的阳性泛指词总频次,\(I\) 为包容性语言标记总数,\(N\) 为中性名词总数,\(\text{HN}\) 为文本中确认的人类名词总频次。一个理想的公平系统追求最小化 \(\hat{M}\)、最大化 \(\hat{I}\)、最大化 \(\hat{N}\)。在数学上,模型 \(A\) 帕累托支配(Pareto-dominates)模型 \(B\) 当且仅当 \(\hat{M}_A \le \hat{M}_B, \hat{I}_A \ge \hat{I}_B, \hat{N}_A \ge \hat{N}_B\) 且至少存在一个严格不等式。未被任何其他模型支配的模型即处于帕累托前沿(Pareto Optimal, PO)。为保证前沿判定的统计显著性与严谨性,评估体系进一步引入基于 10,000 次 Bootstrap 重抽样的稳健性置信度 \(P(\text{PO})\),从根本上克服了单点指标容易被单一策略偏向(例如只盲目堆砌某一个中性词而忽略其他维度)所扭曲的局限。

一个完整示例

以一条源自真实提问的非MG通用指令为例:“Quels sont les facteurs expliquant la popularité de Paris ?”及其扩展生成场景: 1. 指令初筛与归类:指令中未出现人类名词或物主限定词,判定为合法通用非MG提示,归入实验1。 2. 模型生成输出:“Plusieurs facteurs expliquent la popularité de Paris... Il y a de nombreuses choses qu'un touriste peut y faire... La ville est idéale pour les amoureux de culture... Beaucoup de personnes, surtout les Parisien·nes, aiment se promener...” 3. 正则初筛与 HScorer 映射:提取潜在词汇 facteurs, touriste, amoureux, personnes, Parisien·nes。其中 Parisien·nes 带有中点缩合后缀,被识别为包容性形态标记(fem_ending,记入 \(I\));personnes 被识别为中性名词(记入 \(N\));touriste 为通用阳性词;而 facteurs 在词典中存在人类与非人类双重释义。 4. GPT-4o mini 上下文消歧:模型接收上下文与名词列表后,返回 JSON 结构:

{
  "facteurs": 0,
  "touriste": 1,
  "amoureux": 1,
  "personnes": 1
}
facteurs 因在语境中表示“因素”被准确置零,排除在人类名词统计之外;touriste 与 amoureux 被确认在语境中作为人类名词且呈阳性形态(未加任何阴性标记),计入 MG。 5. 多目标比率结算:有效人类名词 \(\text{HN}=4\)(touriste, amoureux, personnes, Parisien·nes),其中 \(\text{MG}=2\)(\(\hat{M}=50\%\)),包容性标记 \(I=1\)(\(\hat{I}=25\%\)),中性词 \(N=1\)(\(\hat{N}=25\%\))。该三维坐标点直接参与全局帕累托前沿面的构建与排序。

实验关键数据

主实验

评测涵盖 6 款主流大模型(商业闭源:GPT-4o mini、Claude 3 Haiku、Gemini 1.5 Flash;开源/本地:Llama 3 8B Instruct、Ministral 8B、Mistral Small 3)以及两套人类书写数据集(oasst2 与 oracle)。下表完整汇集了非MG指令(实验1)与MG指令(实验2)下的三维指标(\(\hat{M}\downarrow, \hat{I}\uparrow, \hat{N}\uparrow\))、帕累托最优判定(PO)、10,000次重抽样前沿置信度 \(P(\text{PO})\) 以及全部回复与人类名词回复下的实际阳性泛指率(MG Rate)。

模型/数据集 实验条件 \(\hat{M}\) (%) \(\downarrow\) \(\hat{I}\) (%) \(\uparrow\) \(\hat{N}\) (%) \(\uparrow\) 帕累托最优 (PO) \(P(\text{PO})\) 置信度 全局MG率 (%) 人类名词回复MG率 (%)
oasst2 (人类) Exp. 1 (Non-MG) 64.77 0.75 19.02 ✓ 0.96 22.94 73.93
oracle (人类) Exp. 1 (Non-MG) 60.83 0.35 14.51 ✗ 0.14 30.89 72.80
claude-3-haiku Exp. 1 (Non-MG) 55.63 0.25 15.69 ✗ 0.38 26.70 69.13
gemini-1.5-flash Exp. 1 (Non-MG) 57.97 0.11 14.86 ✗ 0.01 27.64 75.60
gpt4o_mini Exp. 1 (Non-MG) 58.94 0.36 16.22 ✓ 0.55 29.98 73.60
llama-3-8b Exp. 1 (Non-MG) 54.47 0.84 15.21 ✓ 1.00 26.84 72.05
ministral-8b Exp. 1 (Non-MG) 56.69 0.09 16.74 ✗ 0.23 26.57 75.81
mistral-small-3 Exp. 1 (Non-MG) 54.17 0.28 17.99 ✓ 0.98 27.71 72.37
claude-3-haiku Exp. 2 (MG Prompt) 80.37 0.20 5.45 ✗ 0.00 78.78 94.32
gemini-1.5-flash Exp. 2 (MG Prompt) 77.17 0.22 8.91 ✓ 1.00 75.35 92.10
gpt4o_mini Exp. 2 (MG Prompt) 78.89 0.39 6.95 ✓ 0.79 80.83 94.47
llama-3-8b Exp. 2 (MG Prompt) 78.17 0.77 6.56 ✓ 1.00 71.92 94.98
ministral-8b Exp. 2 (MG Prompt) 79.92 0.14 6.94 ✗ 0.05 79.75 96.37
mistral-small-3 Exp. 2 (MG Prompt) 78.74 0.12 6.86 ✗ 0.05 84.69 96.15

消融实验

消融实验聚焦于分类核心工具 HScorer:首先展示经典机器学习模型在 5 折交叉验证下的基线表现对比(证实选用 LR 与 XGBoost 的优越性);其次展示在测试集上针对各类特征打分函数(上位词 \(H\)、定义词 \(D\)、原型余弦 \(F\)、后缀 \(S\) 及词向量 \(W\))的剥离消融与单特征测试表现,量化各组件对分类准确度(Accuracy)与 F1 值的贡献。

模块/特征配置 评估维度 LR Precision LR Recall LR Accuracy LR F1 XGB Precision XGB Recall XGB Accuracy XGB F1
CART (基线) 5-Fold CV 83.50±0.42 83.66±0.49 85.05±0.27 83.58±0.30 - - - -
KNN (基线) 5-Fold CV 85.65±0.49 88.09±0.56 87.87±0.43 86.85±0.47 - - - -
Random Forest (基准) 5-Fold CV 93.98±0.37 85.61±0.49 90.96±0.32 89.60±0.38 - - - -
HScorer 完整模型 (All) 独立测试集 0.903 0.906 0.913 0.904 0.936 0.924 0.937 0.930
w/o WordNet上位词 (H) 特征消融 0.893 0.891 0.901 (-1.23%) 0.892 0.920 0.903 0.920 (-1.82%) 0.911
w/o WordNet定义词 (D) 特征消融 0.901 0.903 0.911 (-0.22%) 0.902 0.933 0.922 0.934 (-0.26%) 0.928
w/o FastText原型 (F) 特征消融 0.899 0.908 0.912 (-0.10%) 0.904 0.937 0.924 0.937 (+0.06%) 0.931
w/o 后缀特征 (S) 特征消融 0.899 0.908 0.911 (-0.13%) 0.903 0.935 0.925 0.936 (-0.03%) 0.930
w/o FastText词向量 (W) 特征消融 0.792 0.835 0.825 (-9.64%) 0.813 0.794 0.826 0.823 (-12.14%) 0.810
Only 词向量 (W) 单特征检验 0.883 0.889 0.896 0.886 0.916 0.893 0.914 0.904
Only 上位词 (H) 单特征检验 0.597 0.971 0.688 0.740 0.600 0.967 0.690 0.740
Only 原型余弦 (F) 单特征检验 0.746 0.733 0.764 0.740 0.739 0.732 0.760 0.736

关键发现

  • 阳性泛指偏见在模型输出中深刻固化:在完全不含任何 MG 名词的非特异通用指令(实验1)下,大模型自发使用阳性泛指的回复占比平均高达 27.57%;而当只考虑回复中真实包含人类名词的子集时,阳性泛指率剧烈跃升至 69.13%~75.81%,这意味着只要模型提到了人,十有七八会下意识使用阳性词。
  • 提示词词汇具有强烈的偏见诱导乘数效应:当输入指令本身包含阳性泛指词(实验2)时,所有模型的回复平均有 78.55% 包含 MG,在含人类名词的回复中更是高达 92.10%~96.37%。自回归生成机制在遇到用户输入的男性泛指形式后,会急剧收缩生成中性与包容性表达的空间。
  • 包容性语言标记自发使用率无限趋近于零:在所有被测模型中,除了 Llama 3 8B 展现出微弱的自发包容性倾向(Exp. 1为0.84%,Exp. 2为0.77%,主要采用括号式阴性紧凑后缀如 vendeur(euse))之外,其余模型的包容性标记率绝大多数低于 0.40%。新代词(如 iel)在所有模型的自由生成中更是完全绝迹,仅在极少数解释词典定义的元语言回复中被动提及。
  • 帕累托前沿的多元分散性:在三维多目标空间中,不存在任何一个模型能够全面支配其他所有模型。Llama 3 8B 凭借其独有的包容性后缀倾向在两项实验中均以 \(P(\text{PO})=1.00\) 稳定处于前沿;Mistral Small 3 在非MG指令下以更低阳性泛指率(54.17%)和更高集合中性词比例(17.99%)登上前沿;Gemini 1.5 Flash 则在MG诱导场景下展现出最高的中性词偏好(\(\hat{N}=8.91\%\))。
  • 人类文本基线的非均质性:人类撰写的文本并不天然比大模型更具性别公平性。维基百科问答数据集(oracle)因引用百科既有文献,其阳性泛指率高达 30.89%(甚至高于大多数开源模型),且未能进入帕累托前沿;而来自众包社区的 oasst2 则表现出显著较低的全局阳性泛指率(22.94%)和最高的中性词比例(19.02%)。

亮点与洞察

  • 多维度竞争视角的理论创新:打破了以往单纯以“阳性词出现概率”为单轴指标的片面评价,创造性地引入三维帕累托多目标空间,清晰刻画了模型在“抑制阳性泛指”、“显式包容后缀”与“转喻中性词替换”三种互有冲突的语言学策略之间的微观权衡。
  • 高鲁棒性的分层消歧流水线:将传统统计机器学习(HScorer 三模型严苛共识)与现代 LLM 上下文实体消歧(GPT-4o mini 结构化提示)无缝嫁接,既解决了静态词典扩展时非人类噪音泛滥的问题,又攻克了开放文本生成时上下文多义词导致虚假阳性评测的顽疾。
  • 揭示日常泛化交互的安全隐患:证明了大模型即使通过了基于显式对抗 prompt 的常规偏见对齐,在完全无恶意的日常问答和信息检索交互中,依然会系统性地把“男性”作为人类全集的默认代表,为后续构建无偏对齐微调提供了坚实基准。

局限与展望

  • 语种与语言家族覆盖局限:本研究主要聚焦于法语这一具有典型语法性别标志的罗曼语族语言。虽然整个评估框架、HScorer 架构及过滤策略具备极佳的通用性,但尚未直接扩展到德语、意大利语、西班牙语等其他具有复杂阳性泛指传统的语种。
  • 极少数拟人化与虚构实体的边界模糊:即使经过 GPT-4o mini 的上下文过滤,系统在面对民间寓言、童话或幻想文本(如具有智慧的人性化猫头鹰、矮人与巨龙)时,偶尔会出现实体是否属于“人类”(Human Noun)的认知分歧,未来可引入实体类型学本体做更细致的分类。
  • 改进方向与未来探索:后续工作可进一步将帕累托评估框架融入强化学习阶段(如 GRPO 或 DPO),将 \(\hat{M}\) 的惩罚项与 \(\hat{I}/\hat{N}\) 的奖励项直接作为多目标偏好信号,从根源上引导模型在不破坏指令遵循能力的前提下自发产出性别公平的自然文本。

相关工作与启发

  • vs WinoGender / WinoBias 等代词消歧测试集:传统工作大多基于人造的定型短句测量模型在代词补全或回指消解上的性别偏差,场景高度人工化;本文直接切入现实世界无约束通用指令,评测模型自发生成自由文本时的词汇选择偏向。
  • vs INCLURE / GeNRe 等基于规则的文本重写系统:传统性别中立化研究聚焦于已有文本的句法重写工具;本文则构建了针对生成式 LLM 原生输出的量化评测体系,证实未经特定指导的模型几乎不可能自发调用这些重写策略。
  • vs 单一标量性别刻板印象评分器:现有许多偏见评测工具将偏见压缩为单一数值,忽略了包容性(如中点符、并列结构)与中立性(如转喻词、集体名词)两种语言学机制的天然差异;本文的三维多目标帕累托分析为多维度公平性权衡提供了标杆范式。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次从强约束刻板印象评测跨越至无约束日常指令场景,并将性别公平语言形式化为三维多目标帕累托优化空间。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖6款主流商业与开源大模型、2套人类参考集、1.6万人类词库扩展、严格特征消融及10,000次Bootstrap稳健性重抽样。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论框架清晰严密,从心理语言学前提出发层层推导,图表数据详实且与技术论证高度自洽。
  • 价值: ⭐⭐⭐⭐⭐ 为印欧语法性别语言在日常交互生成中的偏见度量提供了标准化工具链,对大模型后续的性别公平对齐研究具有深远指导意义。