Gendered Prompting and LLM Code Review: How Gender Cues in the Prompt Shape Code Quality and Evaluation¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Mayaryin/GenderInfluenceInCodeGeneration
领域: 大模型推理
关键词: 代码大模型, 提示词性别风格, 自动化代码评审, LLM-as-a-Judge, 社会偏见评估
一句话总结¶
本文系统探究了提示词中的性别语言特征对代码生成质量与 LLM 自动化代码评审的影响,通过真实对话、受控用户实验和全自动模拟评测三重证据证实:提示词性别风格不影响代码功能正确性,但 LLM 作为代码评审员(LLM-as-a-Judge)时存在显著偏倚,在客观质量相当的情况下女性作者代码获得更高的批准率。
研究背景与动机¶
计算机科学与软件工程领域长期存在显著的性别不平等,全球女性开发者占比仅约 23%,在开源核心开发与 PR 贡献者中更是仅占约 5%。大语言模型(LLM)驱动的代码生成工具(如 ChatGPT、GitHub Copilot)现已深入日常软件开发工作流,超过 80% 的专业程序员日常依赖 LLM 辅助编程。这一范式本被寄予降低编程门槛、推动技术普惠的厚望;然而已有社会语言学与教育学调查显示,女性在与 AI 交互时呈现出使用频率偏低、提问信心较弱以及更具关系导向和委婉表达的倾向,而代码生成 LLM 的海量预训练语料高度偏向男性编写的代码历史,这引发了关于交互范式与下游输出是否存在潜在偏倚的深刻关切。
这种潜在风险的核心矛盾在于:提示词中的社会人口学与语言风格痕迹是否会隐式传导到代码生成过程,以及更关键地,在“LLM-as-a-Judge”(大模型作为评审裁判)逐步替代人类进行自动化代码审查与作业批改的当下,评估系统是否引入了脱离代码客观事实的评估偏差。过去对 LLM 偏见的评估主要集中在通用自然语言任务(如同义词刻板印象、毒性检测),针对代码领域下游技术构件的分析极度匮乏,且传统软件度量往往无法将人类开发者的能力差异、提示词表面风格特征以及模型评审倾向有效解耦。
本文的切入角度是构建多层次、多阶段的混合方法实证研究框架,将真实世界的非受控交互与高度受控的合成变量对比相结合。研究贯穿真实代码提示语料库语言学分析(Study 1)、双盲受控开发者编程实验(Study 2)以及系统性操控性别编码形容词与评审员身份的纯 LLM 模拟框架(Study 3)。核心 idea:通过解耦代码生成的功能正确性与代码评审决策,揭示提示词中的性别语言线索对代码功能正确性无实质损害,但 LLM-as-a-Judge 自动化评审会产生系统性偏见,展现出脱离代码客观质量的评审偏倚。
方法详解¶
整体框架¶
本项研究设计了三项互补递进的研究(Study 1、Study 2、Study 3),整体评测管线覆盖了从现实语料挖掘、人类受控实验到纯模拟对抗评测的完整闭环:
- Study 1(现实提示词与代码质量关联分析):收集真实学生与专业研究人员的 90 组 Python 对话历史(753 条提示词),利用 Biber 的参与型-信息型(involved-informational)语言学框架和细粒度指令 taxonomy 对提示词进行标注与统计检验,训练 RoBERTa 探测提示词的性别可预测性,并评估对应生成代码的静态复杂度。
- Study 2(受控双盲用户实验与初步评审偏差探测):招募 59 名开发者完成两项标准化 Python 编程任务(密码强度检查器、Hashtag 校验纠错),排除任务难度差异;生成代码提交给多个主流商业 LLM 充当的评审员,以 APPROVE / CHANGES_REQUESTED 衡量客观正确性与模型评审批准率之间的偏倚。
- Study 3(解耦风格与身份的纯 LLM 模拟评测):通过正交合成男性化、女性化与中性化的提示词模版(注入 agentic vs. communal 心理学形容词库及 Sarah / Jack 身份标识),搭配不同性别画像的 LLM 评审裁判,在 5 项标准算法任务上全面探测代码生成风格偏好与评审员偏差。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
A["开发者输入 / 真实提示词语料"] --> B["多维语言学特征建模与性别预测<br/>Biber框架 + 指令直接性标注 + RoBERTa分类"]
B --> C["双盲受控用户编程与自动化评审<br/>标准化任务 + 单元测试检验 + LLM审查批准"]
C --> D["合成风格操控与评审员画像模拟<br/>Agentic/Communal形容词 + 性别化评审Persona"]
D --> E["多维度代码质量与评审决策度量<br/>功能正确率 + Radon/Pylint度量 + 批准偏倚检验"]
关键设计¶
1. 多维语言学特征建模与性别预测:量化人机交互中的性别语言学痕迹与可预测性
现有研究关于用户性别是否会在人机交互提示词中留下明确痕迹存在争议。为此,研究建立了一套严密的特征建模体系:一方面引入 Biber 的“参与型 vs. 信息型”(Involved-Informational)语言学理论,统计代词、情态动词、疑问结构等“参与型”特征与名词、限定词等“信息型”特征的频次与比值;另一方面制定了包含 8 类请求形式的指令直接性标注指南(包含间接疑问如 can_you_quest、道义祈使如 i_statement、直接命令如 you_command 等),三名标注员在 100 条样本上达成高一致性(Krippendorff's \(\alpha = 0.7992\))。在此基础上,微调 RoBERTa 模型并在用户组感知的分层 5 折交叉验证下进行用户性别判别,验证文本本身是否足以泄露用户性别,避免对表面关联做出武断假设。
2. 双盲受控用户编程与自动化评审:分离人类开发者能力与模型评审偏见
为了验证现实代码生成中是否存在性别造成的产出差异,Study 2 设计了跨欧洲开发者的双盲受控实验。为避免直接将提示词模版复制粘贴的作弊行为,实验通过音频录音发布任务需求(Task 1: 密码规则验证分类)以及给定制约性代码排错(Task 2: Hashtag 逻辑语法修复)。收集到 97 份完整有效解答后,采用单元测试用例评估功能正确性,运用 Radon 和 Pylint 评测圈复杂度(Cyclomatic Complexity)、可维护性指数(Maintainability Index)和规范分数。随后,将代码提交给包括 Anthropic(Claude 3.7 / 3 Sonnet)、OpenAI(GPT-4.1 / 4o)、DeepSeek(V3.1)、Groq(LLaMA 3.1-8B / 3.3-70B)在内的 LLM 代码评审机器人(Code Review Bot),要求其严格返回 APPROVE 或 CHANGES_REQUESTED,首次实现在相同客观质量基准下定量测量 LLM 评审决策的性别偏向。
3. 合成风格操控与评审员画像模拟:正交解耦语言风格、人口学身份与评审角色
由于人类编写的代码难以彻底排除个体编码习惯与工程经验的干扰,Study 3 构建了高度受控的合成实验框架。根据心理学文献中经过验证的“男性自主型(Agentic)”与“女性共有型(Communal)”维度,构建专属形容词词典(如 masculine: analytical, streamlined, optimized, robust;feminine: cooperative, well-documented, maintainable, readable),组合成男性化、女性化与中性化的提示词模版,并正交搭配显式自我身份介绍(Jack vs. Sarah)。生成的代码在 5 种标准算法任务(roman2int, unique_subsets, isbn13, flatten_nested, spiral_order)与多种解码温度下运行,并由配置不同性别画像(男性 Jack、女性 Sarah、中性)的 LLM 评审员裁决。该设计将提示词风格引发的代码变动与人口学身份完全解耦,精准探测大模型评审员对不同风格代码的宽容度差异。
评估基准与实验设计¶
实验横跨三项研究、多种评估维度与 7 种以上前沿开源及商业大模型: - 模型覆盖:OpenAI 系列(ChatGPT-4o, ChatGPT-5, GPT-o3, GPT-4.1, GPT-4.1-mini)、Anthropic 系列(Claude 3.7 Sonnet, Claude 4 Sonnet, Claude 3 Haiku)、DeepSeek 系列(DeepSeek V3.1 / Chat / Coder / Reasoner)、Groq 托管的 LLaMA 系列(LLaMA-3.1-8B-Instant, LLaMA-3.3-70B-Versatile)。 - 代码质量静态分析工具:Pylint(捕获未使用变量、风格不合规、未捕获异常等)与 Radon(计算圈复杂度 CC、行数 LOC/SLOC/LLOC 以及综合可维护性指数 MI)。 - 统计检验流程:采用 Shapiro-Wilk 检验数据正态性,对二值化通过率和批准率采用卡方检验(\(\chi^2\) test),对连续静态质量指标采用 Welch's t-test,对相关系数采用 Fisher's z 变换后汇总,采用 Benjamini-Hochberg 过程(\(\alpha = 0.05\))控制多重检验的假发现率(FDR)。
实验关键数据¶
主实验:受控实验中代码质量与自动化评审批准率对比¶
Study 2 对男女参与者生成的代码客观质量及不同模型提供商的代码评审批准率进行了严格对比。结果显示:在代码客观正确率与静态复杂度完全无统计显著差异的前提下,LLM 自动化评审呈现出全方位的偏向,女性作者代码的批准率显著高于男性。
| 评估维度 / 提供商 | 女性参与者指标 (N=39) | 男性参与者指标 (N=58) | 统计检验量与差异 | p 值 | 结论 |
|---|---|---|---|---|---|
| Task 1 单元测试通过率 | 38.5% | 43.1% | \(\chi^2(1) = 0.25\) | 0.62 | 无显著差异 (接受 \(H_0\)) |
| Task 2 单元测试通过率 | - | - | \(\chi^2(1) = 0.15\) | 0.70 | 无显著差异 (接受 \(H_0\)) |
| 圈复杂度 (Radon CC) | 6.61 | 7.58 | \(t = 1.13\) | 0.26 | 复杂度无统计差异 |
| 可维护性指数 (MI) | 84.2 | 81.3 | \(t = -1.06\) | 0.29 | 结构质量基本相当 |
| 全局 Pylint 得分 | 6.91 | 6.78 | \(t = -0.27\) | 0.79 | 规范与告警无显著差异 |
| 代码行数 (LOC) | 25.7 | 25.9 | \(t = 0.09\) | 0.93 | 篇幅完全一致 |
| 全模型评审平均批准率 | 70.6% | 62.9% | \(t \approx 2.67\) | 0.008 | 女性代码获批率显著更高 |
| - Anthropic 评审批准率 | 84.6% | 81.9% | Diff: +2.7% (\(\chi^2=0.09\)) | 0.76 | 偏倚最小,差异不显著 |
| - OpenAI 评审批准率 | 76.9% | 72.8% | Diff: +4.1% (\(\chi^2=0.62\)) | 0.43 | 偏倚温和,差异不显著 |
| - DeepSeek 评审批准率 | 65.0% | 54.6% | Diff: +10.4% (\(\chi^2=2.96\)) | 0.10 | 边缘差异,女性批准率高 |
| - Groq (LLaMA) 评审批准率 | 52.6% | 36.2% | Diff: +16.4% (\(\chi^2=4.45\)) | 0.04* | 显著偏倚,偏向女性代码 |
消融与特征分析实验:提示词性别分类能力与合成风格影响¶
表 1 总结了 Study 1 中基于提示词预测用户性别的性能表现(左侧交叉验证,右侧泛化至 Study 2 独立测试集),表 2 总结了 Study 3 中纯合成风格提示词对生成代码特征及评审决策的统计检验结果。
| 实验组别 / 评估指标 | 准确率 (Acc) | 精确率 (P) | 召回率 (R) | F1-score | 核心特征词与语言学现象 |
|---|---|---|---|---|---|
| Study 1: 多数类基线 (CV) | 0.45 | 0.21 | 0.45 | 0.28 | - |
| Study 1: RoBERTa 分类器 (CV) | 0.60 | 0.62 | 0.60 | 0.60 | 交叉验证提升幅度有限 |
| Study 1: 多数类基线 (Test) | 0.58 | 0.34 | 0.58 | 0.43 | 测试集类别不平衡基线 |
| Study 1: RoBERTa 分类器 (Test) | 0.62 | 0.61 | 0.62 | 0.61 | 女性词: thanks(0.295), risk(0.210) 男性词: working(-0.513), hashtags(-0.466) |
| Study 3: 操控属性检验 | 统计检验量 | p 值 | 实验观察与机制归因 |
|---|---|---|---|
| 单元测试通过率 | \(\chi^2 = 0.11\) | 0.74 | 紧密聚类在 54%–57%,风格词不破坏正确性 |
| 圈复杂度 (Radon CC) | \(t = 1.30\) | 0.19 | 无显著结构复杂度差异 |
| 可维护性指数 (MI) | \(t = 17.0\) | \(< 10^{-50}\) | 女性风格提示显著提升代码可维护性 |
| 全局 Pylint 得分 | \(t = 5.66\) | \(< 10^{-7}\) | 男性/中性风格提示获得更高 Pylint 分数 |
| 代码行数 (LOC) | \(t = 11.6\) | \(< 10^{-10}\) | 女性风格提示生成的代码篇幅显著更长 |
| 男性评审员批准率偏倚 | \(t = 1.97\) | 0.049* | 男性画像评审员对女性风格代码批准率更高 |
关键发现¶
- 代码正确性与性别完全解耦:无论在真实用户的受控实验(Study 2),还是正交合成词汇的模拟评测(Study 3)中,功能正确率(单元测试通过率)在不同性别分组间均保持高度一致(Study 2 为 38.5% vs. 43.1%, \(p=0.62\);Study 3 为 54%–57%, \(p=0.74\)),证明提示词风格不会劣化代码核心逻辑。
- 提示词风格引发代码形态学漂移:女性化共有型(communal)提示词倾向于激发模型编写注释更充分、函数更模块化、篇幅更长(LOC 更高)的代码,因而显著拉高了 Radon 可维护性指数(\(t=17.0, p < 10^{-50}\));而男性化自主型(agentic)提示词促使模型输出紧凑简练的代码,静态检查器报出的格式偏离更少,因而 Pylint 得分显著更高(\(t=5.66, p < 10^{-7}\))。
- LLM 代码评审存在隐蔽偏见,Groq 模型偏倚最剧烈:LLM-as-a-Judge 在代码审查任务上表现出系统性的审批差异。在 Study 2 中,Groq 托管的开源 LLaMA 呈现出 16.4% 的显著正向偏倚(批准率 52.6% vs. 36.2%, \(p=0.04\));Anthropic 模型的偏倚最小(+2.7%, \(p=0.76\))。此外,女性画像评审员在 Groq 和 OpenAI 上表现出比男性评审员更加严苛的准入标准。
亮点与洞察¶
- 首次将大模型偏见审计焦点从“生成端”迁移至“代码评审端”:传统公平性研究往往只聚焦模型能否生成无歧视文本或无 bug 代码,本文敏锐指出在软件工程自动化趋势下,LLM 充当审查判官(LLM-as-a-Judge)才是更具隐蔽性与杀伤力的偏见滋生场所。
- 澄清“表面提示词偏见”与“实际开发能力”的混淆:通过多阶段实验证明,即便提示词中带有委婉疑问(如高频使用
can you)或情绪感谢词,LLM 强大的指令遵循能力依然能产生完全正确的功能实现,打破了“只有采用工程师式强硬命令才能写好代码”的技术刻板迷思。 - 语言风格代理变量的可迁移利用:揭示了心理学中的 agentic / communal 形容词可直接作为“免侵入式探针”,用于无需微调即可探测任意黑盒商业大模型对代码审查标准的底层倾向与敏感边界。
局限与展望¶
- 作者承认的局限:首期探索性试点(Pilot Study)样本规模有限,Study 1 的受试者仅 28 人,后验检验力分析表明对中小型效应量灵敏度不足;非二元性别与跨性别参与者样本极度稀缺,导致实证分析主要受限在二元性别维度;任务局限在函数级小型编程挑战,未能涵盖大型工程仓库的协同 PR 审查。
- 实验设计盲区:Study 3 采用的是纯 LLM 模拟交互,合成提示词虽能有效解耦变量,但无法模拟真实开发者在多轮调试中的交互重试动态;同时,代码质量评审裁判的评判基准仅依赖单一词语回复(APPROVE / CHANGES_REQUESTED),未对拒绝的具体理由与反馈建议做语义溯源。
- 未来改进方向:扩大工业级开发者样本规模并覆盖非二元群体;构建面向多轮对话的上下文调试偏见基准;在代码审查模型中引入基于反事实提示词清洗(De-biasing Prompt Preprocessing)与审查逻辑双盲机制。
相关工作与启发¶
- vs. Brooke (2024):Brooke 在 GitHub 真实开源仓库中挖掘了男女开发者在 Python 编程风格上的显著差异;本文则向前推进一步,系统分析了这种语言学差异在人机协同提示词(Prompting)与大模型自动化审查(Code Review)中是如何被接收与二次放大的。
- vs. Mashburn et al. (2025):Mashburn 等人在临床医学场景下发现用户性别在提示词礼貌度与长度上的差异不显著;本文在软件工程语境下发现,虽然提示词长度与拼写无差异,但“参与型与委婉情态动词”存在明确的统计显著性,揭示了领域特定沟通规范对提示风格的深刻塑造。
- vs. Liu et al. (2023) / Ling et al. (2025):既有代码偏见研究侧重于测试 LLM 在代码注释或条件分支中是否会生成人口学偏见逻辑;本文则将关注点反转为“人类人口学线索如何逆向影响代码审查判决”,填补了自动化软件评估领域的公平性理论空白。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次系统解耦提示词性别语言风格对代码生成与自动化评审的双重影响,视角极具启发性。
- 实验充分度: ⭐⭐⭐⭐☆ 巧妙整合真实语料标注、双盲开发者实验与大规模模拟评测,但真实样本规模略显受限。
- 写作质量: ⭐⭐⭐⭐⭐ 论证逻辑严密周全,统计学检验方法规范严谨,多重检验校正完备。
- 价值: ⭐⭐⭐⭐☆ 对当前广泛采用大模型进行作业打分、代码 PR 机器审核与人才简历初筛的实际工程落地敲响了公平性警钟。