SLAyiNG: A Diverse and Community-validated Dataset of Queer Slang¶

会议: NeurIPS 2026
arXiv: 2509.17449
代码: https://github.com/leonorv/slaying-dataset
领域: 社会计算 / Social Computing
关键词: 酷儿俚语, 社会方言, 语言偏见, 数据集构建, 毒性分类

一句话总结¶

本文提出了首个经社群验证、覆盖20余个酷儿亚社群的真实英语酷儿俚语数据集 SLAyiNG（含500余术语、3,405条实例），揭示了语言模型中表征偏见与语言学偏见的脱钩现象，并证实对内群体无害俚语的继续预训练能显著改善语言理解并降低刻板偏见。

研究背景与动机¶

语言不仅是信息传递的媒介，更是个体认同建构与社群归属凝聚的核心载体。对于 LGBTQ+ 酷儿群体而言，酷儿俚语（Queer Slang）或社会方言承载着独特的历史抗争、文化定位与内部联结功能，许多词汇甚至深刻反哺了现代主流流行文化。然而在自然语言处理（NLP）领域，尽管非裔美国人英语（AAVE）等社会方言以及通用非正式网络语言的处理技术已取得长足进步，酷儿群体的语言学特征却长期被边缘化。现有研究所依赖的评测资源极为匮乏，往往局限于单一的重获侮辱词（reclaimed slurs）列表，或是基于模板生成的少量子集与人工合成 Prompt，缺乏真实语境下的生态有效性（ecological validity）。

由于主流语言模型与内容安全系统对真实酷儿语言缺乏理解，酷儿群体在实际使用中遭受严重的系统性伤害：模型的毒性与仇恨言论检测器频繁将正常的内部社群用语误杀判定为有害言论，自动内容审核机制实质上对边缘群体的合法表达构成了静默审查；同时，通用大语言模型在处理跨性别与非二元性别代词时频繁出错，输出带有负面情绪或刻板印象的回复。更为关键的研究盲区在于，整个学界长期默认「降低大模型的表征偏见（如 WinoQueer 基准得分）就能改善对该群体的系统支持」，却从未在真实语料上实证检验表征偏见与语言学理解偏见之间的耦合关系。

填补这一空白的技术难点在于酷儿俚语高度的多义性、语境依赖性以及复杂的词源交织。例如大量俚语词汇在通用语中存在常规含义（如 mother、read），在无约束语料中具有极高的假阳性率，且部分词汇源自黑人与拉丁裔变装舞厅（Ballroom）文化，涉及交叉性语言演化与侮辱词重获过程。本文的核心 idea 是：构建一个由多源本体聚合、经 LLM 情境化预过滤、内部专家敏捷标注与酷儿社群闭环众包双重验证的真实酷儿俚语基准 SLAyiNG，并以此为探针实证揭示「表征偏见低并不等于语言理解好」的解耦规律，通过无害内群体语言暴露实现模型对边缘方言的双重公平性对齐。

方法详解¶

整体框架¶

SLAyiNG 的构建与评测流程涵盖多源术语聚合清洗、海量真实语料挖掘、LLM 上下文感知语义消歧预过滤、内部敏捷多任务标注、社群众包闭环验证，以及下游语言建模适应性与毒性误杀评测六大阶段。输入端整合了医学/社会学本体、词典及俚语表中的 695 个词项与 90 个变体，并从 Reddit 酷儿版块、播客文本及酷儿影视字幕中挖掘出 197,958 条原始例句；输出端则产出经过严格安全过滤的公开基准集（3,405 条无害实例）与科研受限私有集（121 条敏感内群体实例），并基于该基准开展大模型困惑度与毒性分类器的多维度偏见剖析。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源词表采集与多渠道语料挖掘<br/>GSSO/lgbtDB/Chew/Wiktionary + Reddit/播客/影视字幕 (19.8万原始句)"] --> B["多源本体聚合与语义消歧去冗余<br/>MPNet嵌入语义相似度去重(t=0.7)，合并变体并消除循环定义"]
    B --> C["LLM情境化预过滤与人机协同敏捷标注<br/>GPT-5 Mini情境化提示初筛 + 内部标注员(PA/IA)多轮敏捷校验与多数表决"]
    C --> D["社区闭环众包验证与公私分级安全机制<br/>33位酷儿志愿者双标注验证，公开安全集(3405条)与私有敏感集(121条)分流"]
    D --> E["语言偏见与表征偏见解耦评测框架<br/>DataDecide套件BPB与WinoQueer偏见度相关性分析 + 毒性误报审计与持续预训练"]
    E --> F["下游NLP系统公平性评测与语言模型自适应"]

关键设计¶

1. 多源本体聚合与语义消歧去冗余：解决酷儿词表分散、定义循环与多义冲突 构建覆盖多亚社群且无死角的词汇库是生态有效性的基石。作者系统抓取了性与性别本体 GSSO（414词）、正在演进的 lgbtDB（215词）、Chew 包容性词汇表（65词）以及 Wiktionary 的 LGBTQ 英文俚语分类（含 4chan /lgbt/、变装、男同性恋、跨性别等子类，共 251 词），合并得到 695 个独立术语和 90 个拼写/同义变体。面对不同来源间的大量冗余与定义冲突，作者采用通用句子嵌入模型 all-mpnet-base-v2 将各词项的所有候选释义向量化，计算余弦相似度矩阵。设定经验阈值 $t=0.7$，当两项释义相似度超过 0.7 时自动保留篇幅更详尽的释义并舍弃较短者，既避免了信息的重复累赘，又成功保留了同词异义现象（例如 angel 在通用同性恋俚语中指「男同性恋」，而在 Ballroom 舞厅文化中特指「舞风优雅柔美的 Vogue 舞者」）。此外，人工消除了循环定义（如 lesboy 仅被定义为 boydyke），并将依赖外部专用俚语的释义进行内联展开补全。

2. LLM情境化预过滤与人机协同敏捷标注：解决海量自然语料中歧义词假阳性过高问题 从真实世界中挖掘例句是规避人工合成 Prompt 偏差的必要手段。团队从包含 264 个非成人活跃酷儿版块的 Reddit（占比 58%）、文化类公开播客转录（占比 35%）和 OpenSubtitles 酷儿影视字幕（占比 7%）中提取出长度在 4 至 30 个词元之间的 197,958 条原始例句。由于大量酷儿俚语在普通英语中具有常规词义（如 mother、read、slay），原始语料中绝大多数样本均为无关假阳性。为解决全量人工标注难以承受的计算与人力成本，作者基于 3 位专家标注的黄金数据集（一致性系数达 $\alpha=0.89$）评测了推理大模型。实验表明，附带任务背景说明的「情境化（Contextual）」提示词下，GPT-5 Mini 取得了 0.78 的 Micro F1 和最高的优秀术语覆盖比率（85.5%）。通过大模型对全量候选进行打分，仅筛选出高置信度匹配（评分 5，若缺失则扩至 4/3）并经 MPNet 去重（相似度阈值 0.85）的 5,973 条样本进入人工标注环节。随后，首席标注员（PA）与 3 位内部标注员（IA）采用敏捷语料构建机制，开展 3 批 PA 标注与 2 批 100 样本的健全性检查（Sanity Check）批次，对义项适用性、有害言论判断和作者内群体身份判定三项任务进行交叉校验与多数表决，使专家一致性从试点的 0.75-0.78 显著提升至 0.81-0.88。

3. 社区闭环众包验证与公私分级安全机制：平衡社群语言生态真实性与有害言论传播风险 为打破由学术界自上而下定义酷儿语言的局限，作者招募了 33 位年龄在 18 至 42 岁、涵盖顺性别、跨性别（占比 24%）、非二元性别及双性恋、同性恋、泛性恋等多重交织身份的酷儿社群志愿者参与闭环众包。众包抽样覆盖了整个数据集的 12%，并特意对潜在敏感用例进行了加权抽样（抽样了超过 70% 的私有敏感候选集）。在义项消歧和有害言论检测上，志愿者与专家标注员展现出高度一致性（Gwet's $\text{AC}_1$ 分别达 $0.79 \pm 0.16$ 和 $0.66 \pm 0.24$），实证保证了数据的可靠性与伦理安全。在此基础上，作者制定了严格的决策分流逻辑：凡义项不匹配或明确被判定为有害的样本直接剔除；被判定为完全无害的 3,405 条样本进入开源发布的公有数据集；而对有害性存疑（标注为「不确定」）但明确由内群体作者自用表达的 121 条样本（如特定语境下的侮辱词重获表达），则归入受限分发的私有子集，仅面向通过伦理审核的研究者开放，实现了在阻断仇恨传播与保护边缘群体真实历史语料表达权之间的严谨权衡。

4. 语言偏见与表征偏见解耦评测框架：打破大模型无刻板印象即能理解社群方言的盲目假设 基于多源标注所提供的细粒度亚社群标签（涵盖跨性别、非二元性别、变装、黑人与拉丁裔酷儿等 20 余个子类别），作者建立了结合语言建模拟合度（Bits Per Byte, BPB）与表征公平性（WinoQueer）的交叉评测体系。不同于常规将文本拼接至最大上下文窗口的做法，评测在独立文档粒度计算字节级困惑度以准确反映真实拟合情况： $$ \text{BPB} = \frac{-\ell}{B \ln(2)} $$ 其中 $\ell$ 为文档的对数似然总和，$B$ 为 UTF-8 编码的实际字节数。这一评测框架不仅横向比对了 DataDecide 套件在 25 种预训练数据配方下的方言拟合表现，还首次发现表征偏见基准与语言模型 BPB 呈显著负相关（Spearman $\rho = -0.34, p=0.09$）。更进一步，作者结合 Dolma 内容过滤分类器与 ToxiGen HateBERT 开展毒性误报审计，剖析了内容安全管线将常规俚语误判为仇恨言论并导致边缘群体方言在预训练阶段被过滤剔除的根本机制。

损失函数 / 训练策略¶

为实证检验向大模型注入无害内群体酷儿语料能否同时缓解语言学偏见与表征偏见，作者以 OLMo-1B 为基座模型，在 SLAyiNG 的训练划分（80/20 划分）上开展持续预训练（Continued Pretraining）。优化目标采用标准自回归因果语言建模交叉熵损失： $$ \mathcal{L}{\text{CLM}}(\theta) = -\sum; \theta) $$ 训练策略采用 AdamW 优化器，固定权重衰减为 0.01，批大小设置为 8，训练周期设为 1 epoch。作者在学习率超参数空间开展网格搜索（}^T \log P(x_t \mid x_{<t$\eta \in \{1\times 10^{-6}, 3\times 10^{-6}, 5\times 10^{-6}, 1\times 10^{-5}, 2\times 10^{-5}\}$），在 NVIDIA A100-80GB GPU 上耗时不足 2 小时即完成训练。最优模型设置（$\eta = 5\times 10^{-6}$）在 SLAyiNG 上的测试集 BPB 降低了 0.2694，同时在 WinoQueer 的各个亚社群子集上全面压低了偏见得分。

实验关键数据¶

主实验¶

主实验包含两大核心板块：其一是下游仇恨言论与毒性分类模型在 SLAyiNG 衍生基准（395条有害样本与395条无害样本平衡集）上的判别表现；其二是 OLMo-1B 模型在不同持续预训练学习率下，SLAyiNG 拟合度改善与 WinoQueer 偏见准确率（偏见消除效果）的对比。

表 1：仇恨与毒性分类器在酷儿俚语基准（阈值 >0.5）上的检测表现

分类器模型	精确率 (Precision)	召回率 (Recall)	F1 值	说明与代表性误判风险
Dolma (FastText)	0.8227	0.2937	0.4328	召回率严重偏低，但对公开无害 SLAyiNG 的误报率达 7.81%
Detoxify (Original)	0.8037	0.5494	0.6526	表现优于以往重获侮辱词子集评测，但在常规变装表达上仍有误杀
ToxiGen (HateBERT)	0.7231	0.8000	0.7596	综合 F1 最高，但在公开无害 SLAyiNG 上产生了高达 31.16% 的误报率
ToxiGen (RoBERTa)	0.8182	0.5468	0.6555	精确率高但漏报严重，隐式仇恨识别能力受限

表 2：OLMo-1B 在 SLAyiNG 上的持续预训练超参数与 WinoQueer 偏见评测结果

评估指标 / 细分子集	Run 0 ($\eta=1\text{e-}6$)	Run 1 ($\eta=3\text{e-}6$)	Run 2 ($\eta=5\text{e-}6$) [最优]	Run 3 ($\eta=1\text{e-}5$)	Run 4 ($\eta=2\text{e-}5$)
基座模型 BPB	1.6102	1.6102	1.6102	1.6102	1.6102
微调后 BPB	1.3746	1.4269	1.3408	1.3574	1.3948
BPB 改善量 ($\Delta$)	+0.2355	+0.1833	+0.2694	+0.2528	+0.2154
WinoQueer 总体准确率 (%)	54.88	53.60	50.99	47.54	36.69
LGBTQ 子集准确率 (%)	40.48	38.26	38.02	28.69	10.81
Queer 子集准确率 (%)	51.45	59.44	53.76	59.22	46.04
Transgender 子集准确率 (%)	42.39	49.06	47.41	55.64	47.74
Bisexual 子集准确率 (%)	81.33	75.18	71.25	62.45	56.17
Pansexual 子集准确率 (%)	63.03	56.21	54.86	56.00	56.00
Lesbian 子集准确率 (%)	53.56	50.26	37.15	47.32	12.95
Asexual 子集准确率 (%)	90.79	90.48	86.14	86.97	80.04
Gay 子集准确率 (%)	33.15	21.64	22.59	1.05	1.22
Non-binary 子集准确率 (%)	89.20	85.85	87.59	95.15	88.22

消融实验¶

消融实验聚焦于预过滤阶段大模型语义消歧的 Prompt 设计，验证引入背景情境说明对模型甄别歧义俚语能力的实际影响。

表 3：GPT-5 Mini 在 250 条抽样黄金集上的语义消歧提示词消融对比

提示词变体设计	高性能术语比率 ($F_1>0.7 \lor \alpha>0.6$)	Micro F1 得分	Krippendorff's $\alpha$	特性与消融分析
contextual (情境化提示)	0.855	0.864	0.152	明确告知俚语存在通用义项，模型对双关歧义的分辨能力最强
contrastive (对比提示)	0.834	0.842	0.110	强调酷儿俚语与标准英语差异，但部分近义术语产生混淆
one-shot (单样本示例)	0.829	0.841	0.137	给定固定 throw shade 样例，出现少量对特定句式的过拟合
vanilla_task (基线带任务头)	0.824	0.832	0.112	仅保留基本任务定义，消歧召回率显著下降
vanilla (极简基线)	0.829	0.845	0.122	缺乏背景指引，模型在 mother、read 等高频多义词上失误较多

关键发现¶

表征偏见与语言学偏见存在反常负相关：在 DataDecide 1B 套件的 25 种预训练数据配方中，SLAyiNG 的 BPB 与 WinoQueer 偏见得分呈负相关（Spearman $\rho = -0.34$）。这表明很多预训练语料虽然通过极端过滤手段压低了模型对酷儿群体的显式刻板表述，却也连带将该群体的真实方言抹除殆尽，导致模型虽然「看似没有偏见」，却根本无法理解该群体的真实语言。
细分社群与种族交叉受损极不均衡：所有评估的大模型在非二元性别（Non-binary）与变装（Drag）俚语上的 BPB 均显著高于其他子集；更重要的是，具有非裔美国人与拉丁裔文化渊源的俚语（如源自 Ballroom 文化的 realness、shade、slay），其 BPB 显著劣于未指定族裔背景的通用酷儿俚语，且被毒性检测器判为有害的概率翻倍，揭示了算法层面对双重边缘化群体的复合偏见。
预训练数据清洗过滤器是方言消失的根源：对 Dolma 预训练清洗管线的深入剖析证实，毒性分类器并不是导致酷儿俚语丢失的最核心因素，通用「数据质量过滤器」才是真凶——质量过滤器对非标准拼写和口语化句式施加了极低的评分，导致酷儿俚语在大规模预训练阶段被大面积清洗出局。

亮点与洞察¶

提出解耦假说并完成实证闭环：打破了学术界「低表征偏见 $\approx$ 系统公平」的固有思维定式，明确证明表征公平性与语言建模能力需要双轨并重，为小众社会方言的 NLP 评测树立了新的范式。
社群主导的人机协同标注范式：结合了最前沿大模型的高效率初筛与 33 位跨代际、多元性别与性取向酷儿志愿者的闭环审核，实现了敏感文化语料标注在学术严谨性、伦理安全性与社群代表性上的精巧平衡。
低成本持续预训练的双重对齐效应：仅需在千条级的高质量无害内群体俚语上进行极轻量级的持续预训练（A100 上不足 2 小时），即可在显著降低语言方言困惑度（BPB 下降 0.27）的同时改善全子集的反偏见表现。

局限与展望¶

单语言局限与文化地域偏差：数据集目前仅收录英语酷儿俚语，且原始句子主要抓取自英文社交平台 Reddit，不可避免地继承了北美/英语区年轻网民的人口统计学偏差，无法覆盖全球范围内其他语种及多元文化的酷儿社会方言。
模型尺度的泛化边界待验：论文的核心实验与持续预训练探究主要集中在 1B 参数量级（OLMo-1B 及 DataDecide 1B 套件）以及轻量级毒性判别器上，尚未对 70B+ 级别的主流大模型进行系统评测，相关结论在超大参数规模下的泛化性有待进一步验证。
语言动态演化与归属权争议：俚语具有高度的时效性与快速流变特征，且许多变装与酷儿俚语源于黑人英语（AAVE）和地下舞厅文化，在跨社群传播与商业化过程中存在文化挪用（Linguistic Appropriation）的历史争议，静态数据集难以完整刻画其历时演变过程。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首个由社群闭环验证的真实酷儿俚语全景数据集，首次提出并实证表征偏见与语言偏见的解耦现象。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 25 种预训练数据配方评测、多尺度模型困惑度分析、4 种毒性检测器审计以及完整的持续预训练验证。
写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨明晰，社群伦理考虑深入周全，数据分析逻辑层层递进。
价值: ⭐⭐⭐⭐⭐ 为边缘方言保护、大模型包容性评估及内容安全算法的纠偏提供了高质量且具有深远伦理价值的开源资产。