跳转至

Probing Cultural Signals in Large Language Models through Author Profiling

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/vlafargue/author_profiling_llm
领域: 社会计算
关键词: 作者画像, 文化偏见, 大语言模型, 歌词分析, 公平性度量

一句话总结

本文在零样本设定下评测了 7 个开源大语言模型在 10,000 余首英译歌词上的作者画像能力(推断歌手性别与所属大洲族裔),提出了模态准确率散度(MAD)与召回率散度(RD)两项公平性度量,揭示了多数模型以北美为默认文化、而 DeepSeek-1.5B 偏向亚洲的系统性文化对齐偏差,并通过分析自解释有偏词云提出了基于反思修正的去偏提示。

研究背景与动机

大语言模型正被深度嵌入教育自动评分、内容安全审核等具有重大社会影响的场景中。在这些高利害应用中,模型常常因为无法准确理解不同文化背景下的行文与方言表达,而将多元写作误判为低劣或有害内容,加剧社会偏见并压制边缘化群体的表达。现有关于大模型文化认知与社会偏见的研究多集中于事实问答或短文本分类,而忽略了模型在面对高密度规范环境与深层文化隐喻时所展现出的系统性文化认知偏差与文化盲区(cultural blindness)。

作者画像(Author Profiling)旨在从作者的创作产物中反推其社会人口学与心理学特征。传统的作者画像多依赖人工特征工程或在特定小规模文本上微调分类器,且极少在长文本中系统考察大模型的零样本跨文化表征。歌词作为一种高度个人化、兼具流派惯例与深厚文化印记的富文本,相比于受限且高审核的社交媒体推文,保留了更原始的方言特征、社会隐喻与情感表达。然而,直接将歌词用于作者画像面临两大核心矛盾:一是多语言歌词中语法性标记(如西语法语的动词与形容词词尾性属)会成为显式捷径,掩盖模型对深层语义风格的捕捉;二是传统群体公平性指标(如 Disparate Impact 或 Equality of Odds)均建立在“预测结果与敏感属性独立”的假设之上,而作者画像任务的目标输出本身即为敏感属性,导致传统度量在数学上完全失效。

为破解上述困境,本文构建了一个涵盖 10,808 首歌词的大规模双语对齐与元数据清洗基准,通过统一英译消除显式语法性别线索,迫使模型纯粹依赖行文风格、修辞与文化指涉进行零样本推断。核心 idea:将作者画像设定为文化信号探针,引入模态准确率散度(MAD)与召回率散度(RD)量化模型对敏感属性自身预测的非对称性,并通过挖掘错误解释中的高频偏见词设计反思修正提示以消除文化捷径。

方法详解

整体框架

本文的方法流水线涵盖数据清洗对齐、全英文零样本作者画像推理、多层级公平性量化评估以及自解释可解释性审计四大阶段。首先从 Spotify 和 Deezer 抓取 10,808 首歌曲歌词并使用 TF-IDF 去重,通过 Mistral-24B 将所有非英语歌词统一翻译为英语以剥离语法显式性别线索,随后构建族裔平衡与性别平衡子集。接着选取涵盖中美欧三地、参数量 1.5B 至 24B 的 7 个开源指令微调大模型(DeepSeek-1.5B/7B、Qwen-7B、Llama-8B、Gemma-12B、Ministral-8B、Mistral-24B),输入涵盖基础、引导、解释、社会语言学属性评分及反思修正的 5 种渐进式提示词,零样本推断歌手性别(男/女)及所属大洲宏观族裔(非洲、亚洲、欧洲、北美、大洋洲、南美)。最后利用 MAD 与 RD 度量结合分层 Bootstrap 检验量化文化偏差,并对比分析正误推理生成词频。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["歌词数据清洗与语法性别剥离<br/>Spotify/Deezer 抓取 + TF-IDF 去重 + 统一英译"] --> B["渐进式提示工程与社会语言学探针<br/>常规/知情/解释/属性评分/反思修正"]
    B --> C["多模型零样本作者画像推断<br/>中美欧 7 款开源 LLM 推断性别与宏观大洲"]
    C --> D["双重非对称公平性度量评测<br/>MAD 模态准确率散度 + RD 召回率散度"]
    D --> E["错误自解释归因与反思去偏<br/>词频差分词云定位情感/主题捷径并反哺提示"]

关键设计

1. 语法性别剥离与多源元数据宏观区域映射

直接分析原始多语言歌词容易让模型依赖特定语言的显式语法形态(如西语中的 cansado vs cansada 直接暴露说话人性别)。为迫使模型仅依据叙事视角、俚语风格、情感浓度及文化象征等深层信号进行推理,研究设计了一套自动化语言识别与过滤流水线:经 Unicode 规范化后,结合 langid 与 langdetect 将歌词切句并计算英语片段占比(阈值 \(\ge 0.8\) 且 OOV 词比率 \(< 15\%\) 视为英语),非英语部分统一调用部署于双卡 A100 上的 Mistral-24B 在温度为 0 的确定性解码下零样本英译,并严格保留换行结构与非词汇拟声词(如 la la la)。元数据层面将艺人国籍映射为六大宏观大洲区域(非洲、亚洲、欧洲、北美、大洋洲、南美),并构建了平衡子集以消除真实世界中北美流行乐严重偏态对模型先验的干扰。

2. 敏感属性自预测场景下的 MAD 与 RD 公平性度量

传统公平性度量(如 Disparate Impact 与 Equality of Odds)评估的是模型决策对敏感属性的统计独立性;但在作者画像任务中,预测目标 \(\hat{S}_i = f_i(X)\) 本身就是敏感属性 \(S_i\)(如性别或所属大洲族裔)。为此,本文提出了两项专为该场景设计的尺度无关度量。首先是模态准确率散度(Modality Accuracy Divergence, MAD),它衡量敏感属性 \(S_i\) 的各模态 \(k \in \{1, \dots, K\}\) 在 One-vs-Rest 上的准确率 \(Acc_{f,i,k} := P(f_{i,k}^W(X) = W_k^i)\) 偏离宏观平均准确率 \(Acc_{f,i} := \frac{1}{K}\sum_{k=1}^K Acc_{f,i,k}\) 的相对幅度:

\[MAD_{f,i} := \frac{1}{K} \sum_{k=1}^K \frac{|Acc_{f,i,k} - Acc_{f,i}|}{Acc_{f,i}}\]

MAD 综合反映了假阳性过度分配与假阴性漏判。与之互补,召回率散度(Recall Divergence, RD)则专注于各模态真实成员的识别难度差异,度量真阳性表现偏离宏观召回率 \(Rec_{f,i} := \frac{1}{K}\sum_{k=1}^K Rec_{f,i,k}\) 的分散程度:

\[RD_{f,i} := \frac{1}{K} \sum_{k=1}^K \frac{|Rec_{f,i,k} - Rec_{f,i}|}{Rec_{f,i}}\]

其中 \(Rec_{f,i,k} := P(\hat{S}_i = s_k^i \mid S_i = s_k^i)\)。两项度量数值越低代表各族群间的识别越均等;若某模型仅在某一优势群体上准确率虚高而在弱势群体上崩溃,RD 和 MAD 均会显著飙升。

3. 渐进式提示探索与基于错误词频差分的反思修正

为了系统分析提示复杂度与自我解释对画像能力的影响,设计了 5 类渐变提示序列:Direct Regular 提示直接询问属性;Informed 提示注入“利用内容、语调、视角、文化指涉与语言模式”的指导语;Informed & Expressive 要求模型输出判断关键词与详细逻辑链;Well-informed 进一步引入 20 项涵盖情感、俚语、人称代词、自信度、宗教政治等社会语言学属性的打分。研究发现模型输出解释时性能往往略有下滑,为此对错误预测时的推理文本与正确预测文本进行词频相减差分计算:

\[\Delta \text{Freq}(w) = \text{Freq}_{\text{incorrect}}(w) - \text{Freq}_{\text{correct}}(w)\]

词频差分词云表明,当模型在族裔推断上出错时,会显著过度使用 theme(主题)与 emotional(情感)等泛化虚假关联(例如将悲伤反抗或殖民历史叙事机械归入北美黑人文化)。基于此诊断,设计了 Corrected Informed 提示,显式约束模型“不得利用歌曲主题或情感做族裔判断”,成功促使模型深入挖掘具体地理和习俗实体,显著降低了文化归因偏见。

实验关键数据

主实验

在经过平衡采样的测试集上(族裔评测每大洲抽取 300 首,性别评测每模态抽取 500 首,采用 1,000 次分层 Bootstrap 获得 95% 置信区间),各模型在 Informed & Expressive 及 Corrected 提示下的画像准确率与公平性指标如下所示。在性别推断上,随机基线为 50%;在六分类族裔推断上,随机基线为 16.7%。所有大模型均展现出显著超越随机猜测的零样本画像能力。

模型 提示类型 性别准确率 (%) 族裔准确率 (%) 族裔 MAD (↓) 族裔 RD (↓) 性别 RD (↓)
DeepSeek-1.5B Informed & Expressive 55 ± 2 19 ± 2 0.06 ± 0.01 0.40 ± 0.09 0.55 ± 0.05
DeepSeek-1.5B Corrected 56 ± 2 21 ± 2 0.06 ± 0.01 0.24 ± 0.08 -
DeepSeek-7B Informed & Expressive 56 ± 3 27 ± 2 0.11 ± 0.01 0.60 ± 0.07 0.21 ± 0.05
DeepSeek-7B Corrected 59 ± 3 29 ± 2 0.11 ± 0.01 0.54 ± 0.06 -
Gemma-12B Informed & Expressive 73 ± 3 41 ± 2 0.11 ± 0.01 0.45 ± 0.05 0.08 ± 0.04
Gemma-12B Corrected 72 ± 3 41 ± 2 0.10 ± 0.01 0.40 ± 0.04 -
Llama-8B Informed & Expressive 61 ± 3 32 ± 2 0.14 ± 0.01 0.69 ± 0.05 0.20 ± 0.05
Llama-8B Corrected 67 ± 3 42 ± 2 0.10 ± 0.01 0.46 ± 0.05 -
Ministral-8B Informed & Expressive 65 ± 3 30 ± 2 0.16 ± 0.01 0.77 ± 0.06 0.41 ± 0.04
Ministral-8B Corrected 70 ± 3 32 ± 2 0.15 ± 0.01 0.69 ± 0.05 -
Mistral-24B Informed & Expressive 76 ± 2 41 ± 2 0.12 ± 0.01 0.49 ± 0.05 0.21 ± 0.04
Mistral-24B Corrected 76 ± 2 44 ± 2 0.11 ± 0.01 0.47 ± 0.05 -
Qwen-7B Informed & Expressive 68 ± 3 33 ± 2 0.14 ± 0.01 0.60 ± 0.05 0.25 ± 0.05
Qwen-7B Corrected 68 ± 2 33 ± 2 0.13 ± 0.01 0.61 ± 0.05 -

消融实验

通过汇总不同提示形式与消融配置在全局上的表现(以宏观平均表现及 95% 置信区间展示),系统揭示了指令复杂度、自我解释以及基于词频反思的负向规则约束对性能带来的影响。

提示与消融配置 性别准确率 (%) 族裔准确率 (%) 核心观察与机制说明
Regular (基线直接推断) 68.8 ± 1.6 33.7 ± 1.1 仅声明分类目标与格式,模型直接输出预测
Informed (引入语言/风格指导) 68.5 ± 1.2 35.2 ± 0.8 提示模型依据内容、语调、文化指涉推断,族裔略升
Informed & Expressive (要求写解释) 64.5 ± 1.0 31.8 ± 0.7 强制生成关键词和 CoT 推理,引发小幅过拟合与性能下滑
Well-informed (先评测 20 维属性) 62.8 ± 1.1 27.2 ± 0.6 复杂多步 CoT 导致中小模型指令遵循过载,性能显著受挫
Corrected (去除情感/主题捷径) 68.5 ± 1.4 36.8 ± 0.9 禁用 theme 和 emotions 捷径,族裔准确率与公平性达最优

关键发现

  • 默认文化对齐与文化盲区:在平衡评测集上,Llama-8B、Mistral-24B、Ministral-8B 和 Qwen-7B 均将大量非北美歌曲误归类为北美(ROC 曲线中北美族裔呈现出超高的真阳性率与假阳性率双高特征)。唯独 DeepSeek-1.5B 表现出强烈的亚洲文化偏向,甚至在分析南非反种族隔离歌唱家 Miriam Makeba 的《A Piece Of Ground》时,将淘金狂潮与跨大西洋黑奴贸易的历史叙事机械归结为来自亚洲的视角(“suggesting a narrative from Asia”)。
  • “文化指涉”维度的负相关表征:在社会语言学属性相关性分析中,评测项 cultural references 与北美预测呈极强的负相关(Pearson \(r = -0.31 \pm 0.02\)),而与非洲(\(+0.29\))、亚洲(\(+0.19\))、南美(\(+0.14\))呈显著正相关。这表明在大多数模型认知中,北美流行文化构成了其默认的“无标记中立背景”(unmarked default),只有在歌词中出现极其强烈的异域或非北美文化特异性实体(如新西兰的 Waiapu 河或哥伦比亚的 parqués 棋盘游戏)时,模型才会转向预测其他大洲。
  • 性能与公平性的权衡关系:Ministral-8B 表现出最高的族裔偏见(RD 高达 \(0.77 \pm 0.06\)),而 Gemma-12B 整体表现最均衡(性别 RD 仅 \(0.08 \pm 0.04\),族裔 RD 为 \(0.45 \pm 0.05\))。DeepSeek-1.5B 的 MAD 虽低至 \(0.06\),但这是由于其全类别整体准确率低下(仅 19%)所导致的假象,反映出低容量模型在公平性与识别力之间的显著 trade-off。
  • 文本长度与流派信息的调节效应:歌词长度与画像准确率呈单调正相关(95 分位长歌词提供更丰富的句法与词汇证据);在流派上,词汇密度高且篇幅长的说唱音乐(Rap,平均 623 词)画像准确率远高于篇幅短小、重复度高的电子舞曲(EDM,平均 310 词)。

亮点与洞察

  • 构建针对敏感属性自预测的非对称公平性量化工具:创造性地指出了传统 Disparate Impact 等指标无法适用于“输出目标即敏感属性”的作者画像任务,提出的 MAD 和 RD 分别从假阳性过度分配和真阳性组别漏判两个维度补全了评估闭环。
  • 以歌词探针揭示大模型深层认知同质化:突破了以往仅靠短文本或显式问答评测偏见的局限,证明了大模型在高度风格化文本中存在深刻的西方中心主义/北美默认先验(只有具备显式地理标记才能触发非默认判断)。
  • 错误自解释差分反哺提示工程闭环:通过对模型错误自解释的词频差分统计,精准捕捉到了模型依赖“情绪激昂”或“抗争主题”推断族裔的认知捷径,并由此设计否定约束提示(Corrected Prompt)实现了即插即用的去偏改进。

局限与展望

  • 文体局限与真实作者归属噪声:评测完全建立在高度格式化和艺术修辞化的流行歌词之上,无法直接外推到日常对话、学术写作或社交公文领域;此外流行乐中广泛存在幕后枪手代笔(Ghostwriters)及多作者联合创作现象,将演唱歌手的社会人口学标签直接等同于歌词作者存在固有标签噪声。
  • 英译过程引入的风格平滑化:虽然统一英译消除了西语、法语等显式语法性别线索,但神经机器翻译(Mistral-24B)不可避免地对原文独特的方言俗语、句法结构和修辞韵律产生了规范化与平滑效应,可能削弱非英语母语地区的独有文化信号。
  • 大洲宏观划分的粗粒度简化:受限于平衡数据样本量,研究将族裔粗暴映射为六大洲宏观区域,抹平了大洲内部极其复杂的国家、民族、宗教与地域亚文化异质性。

相关工作与启发

  • vs PAN 评测系列与传统作者画像 (Argamon et al., 2009; HaCohen-Kerner et al., 2018):传统工作依赖词性标注、情感词典及监督分类微调,主要考察博客与社交网络推文;本文首次在大规模艺术歌词领域探索了通用开源大语言模型的零样本画像能力。
  • vs 大模型作者身份识别 (Huang et al., 2024):以往大模型研究聚焦于判断文本是否为某特定作者所写的二元归属(Authorship Attribution),而本文进一步推进至社会人口学特征(性别、大洲族裔)的深层反推与跨文化公平性审视。
  • vs 大模型文化对齐评估 (AlKhamissi et al., 2024; Tao et al., 2024):前人多利用价值问卷调查(如 World Values Survey)或文化常识问答来检测对齐度,本文将作者画像转化为隐式文化信号探针,揭示了模型内部深层的默认文化偏置与盲区。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 选题视角独特,将歌词作者画像作为大模型深层文化偏见与默认文化对齐的探针,提出的 MAD 和 RD 填补了自属性画像公平性度量空白。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖中美欧 7 款开源模型,跨越 5 种提示词、多语英译鲁棒性核验、消融对比及深入的自解释词频差分分析,实验设计扎实严谨。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑主线极为清晰,社会学背景与统计学分析阐述规范,对定量数据与定性案例(如 Miriam Makeba、Shakira)的交叉论证极其精彩。
  • 价值: ⭐⭐⭐⭐☆ 对大模型在内容审查、教育写作评估中的跨文化公平性治理提供了重要的诊断工具与反思依据。