Biases in the Blind Spot: Detecting What LLMs Fail to Mention¶

会议: ICML2026
arXiv: 2602.10117
代码: https://github.com/FlyingPumba/biases-in-the-blind-spot/
领域: AI安全
关键词: 偏见检测, 链式推理忠实性, 反事实测试, 黑盒审计, LLM公平性

一句话总结¶

提出一个全自动黑盒流水线来检测 LLM 的"未言明偏见"（unverbalized biases）——系统性影响模型决策但从未在 CoT 推理中被提及的隐性因素，通过 LLM 自动生成概念假设、反事实输入变体和分阶段统计检验，在三个决策任务上自动发现了性别、种族等已知偏见以及西班牙语流利度、英语水平、写作正式度等新偏见。

研究背景与动机¶

领域现状：链式推理（CoT）被广泛用于监控 LLM 的决策过程——模型说了什么理由，我们就信什么理由。然而越来越多证据表明，CoT 并不一定忠实地反映模型的实际决策依据：模型可能受到某些隐性因素的影响，却在推理链中从不提及这些因素。

现有痛点：现有偏见评估方法通常依赖预定义的偏见类别（如性别、种族）和人工构造的数据集，覆盖面有限且成本高。当研究者没有预先想到某种偏见时，该偏见就无法被检测。此外，仅靠 CoT 监控会遗漏那些影响决策但未被言明的因素。

核心矛盾：LLM 的"说"与"做"之间存在系统性脱节——模型在决策时可能利用了 CoT 中未提及的信息（如申请人姓名暗示的种族），但外部监控者无法仅通过阅读 CoT 发现这些隐性影响因素。

本文目标：设计一个全自动、无需人工假设的流水线，给定任意决策任务数据集，自动发现哪些输入属性会系统性影响模型决策且未被 CoT 提及。

切入角度：作者将问题形式化为反事实检验——对同一输入构造"正向变体"和"负向变体"，观察模型决策是否翻转。如果某概念导致决策显著翻转但未在 CoT 中被引用，就是一个 unverbalized bias。

核心 idea：用 LLM 自动生成候选偏见概念 + 反事实输入变体 + McNemar 配对检验 + 分阶段统计早停，在黑盒条件下自动发现 LLM 的隐性偏见。

方法详解¶

整体框架¶

输入是一个决策任务数据集 \(\mathcal{D}\)（如简历筛选）和目标模型 \(M\)。流水线分五步：(1) 对输入做 k-means 聚类并采样代表性样本；(2) 用 LLM 自动生成候选偏见概念 \(\mathcal{C}\)；(3) 基线言明过滤——收集模型在原始输入上的 CoT，去掉已被频繁提及的概念；(4) 对每个概念生成正/负反事实变体，分阶段扩大样本量并做统计检验；(5) 在不一致对上检查言明率，最终输出通过显著性检验且言明率低于阈值 \(\tau\) 的概念。

关键设计¶

LLM 驱动的概念假设生成:
- 功能：无需人工预定义偏见类别，自动从任务数据中发现候选概念
- 核心思路：将输入嵌入后做 k-means 聚类（\(k=10\)），从每个簇采样 3 个代表输入，让 LLM 仅根据输入内容（不看目标模型的回答）假设可能影响决策的概念。每个概念配套生成言明检查指南、正向添加动作和负向移除动作。最终用 LLM 法官过滤掉引入混淆变量的变体（过滤掉 42% 候选概念）
- 设计动机：传统方法需要人工逐一假设偏见类别（性别、种族等），覆盖面受研究者想象力限制；自动假设生成能发现人类未预想到的偏见（如写作正式度）
分阶段统计检验与早停:
- 功能：在控制家族错误率（FWER）的同时大幅减少计算开销
- 核心思路：用 McNemar 检验比较不一致对的比例，Bonferroni 校正设定每概念阈值 \(\alpha' = \alpha / |\mathcal{C}|\)。每阶段样本量翻倍，O'Brien-Fleming alpha spending 函数分配阈值 \(\alpha_s = 2(1 - \Phi(z_{\alpha'/2} / \sqrt{t_s}))\)（前期严格、后期放松）。效力早停：显著则标记；无效早停：若条件统计功效低于 \(\gamma=0.01\) 则丢弃该概念。整体节省约 1/3 API 调用
- 设计动机：穷举测试所有概念在所有输入上不可行，分阶段设计在保证统计严格性的前提下高效筛选
双层言明过滤器:
- 功能：区分"影响决策的因素"与"影响决策且未被 CoT 提及的因素"
- 核心思路：基线过滤——在原始输入上收集 CoT，若某概念被 \(>\tau\)（\(\tau=0.3\)）的回答引用为决策依据则提前过滤。变体过滤——仅在不一致对（决策翻转的样本）上检查言明率，仅当概念在翻转样本的 CoT 中被引用比例 \(\leq\tau\) 时才保留。注意：仅在输入中复述概念不算言明，必须将其作为决策理由引用才算
- 设计动机：不一致对是偏见的直接证据——模型决策翻转了，我们需要确认模型并未在 CoT 中承认这一翻转依据。LLM 法官验证显示与人类标注一致性 \(\kappa > 0.67\)

实验关键数据¶

主实验¶

在三个决策任务（简历筛选 1,336 输入、贷款审批 2,500 输入、大学录取 1,500 输入）上测试 7 个 LLM。

偏见类别	检测到的模型数（/7）	效应量范围	方向
性别偏见（倾向女性）	5-6	0.017–0.060	22 pro-female vs 0 pro-male
种族/族裔偏见（倾向少数族裔）	5	0.026–0.060	21 pro-minority vs 0 pro-majority
英语水平偏见	2-3	0.021–0.048	倾向英语流利者
写作正式度偏见	2	0.033–0.044	倾向正式风格
西班牙语能力偏见	1 (QwQ-32B)	0.040	倾向西班牙语能力
宗教信仰偏见	1 (Claude Sonnet 4)	0.037	倾向主流宗教

消融实验¶

验证维度	结果	说明
注入偏见检测（80 test cases）	92.5% 准确率	秘密偏见 85% 检出，公开偏见 100% 过滤
言明检测可靠性（100 样本人工标注）	\(\kappa = 0.79\)（最佳模型）	GPT-4.1-mini 和 GPT-5.2 接近人类水平
随机种子一致性（5 runs）	语义相似概念复现	从未检测到矛盾方向的偏见
早停节省	约 1/3 API 调用	O'Brien-Fleming + 无效早停联合效果
概念质量过滤	42% 候选概念被过滤	LLM 法官与人类标注 80% 一致

关键发现¶

跨任务一致性：性别偏见（倾向女性）和种族偏见（倾向少数族裔）在全部三个任务上一致出现，表明这些偏见反映模型的固有行为而非任务特定伪影
Grok 4.1 Fast 最透明：在 30 个被其他模型标记为 unverbalized 的概念中，27 个被 Grok 过滤——它主动在 CoT 中提及并讨论人口统计因素（如"Demographics: Shanice (likely underrepresented minority based on name)"），尽管不一定将其作为决策依据
RLVR vs SFT 对比：QwQ-32B（RLVR）与 Qwen2.5-32B-Instruct（SFT）在贷款任务上的言明过滤率几乎相同（97.0% vs 97.2%），推理训练改变了哪些偏见出现而非改善忠实性
新发现偏见：西班牙语流利度、英语水平、写作正式度——这些人工分析从未覆盖的偏见被流水线自动发现

亮点与洞察¶

无需预定义类别的自动偏见发现：这是与先前工作（如 Karvonen & Marks 2025 手动假设性别/种族）的核心差异——LLM 自动生成假设并自动验证，能发现研究者"盲区"中的偏见。这一范式可迁移到任何需要系统性审计的决策场景
"说与做"的量化度量：将 CoT 忠实性问题转化为可操作的定量指标——言明率 + McNemar 效应量，为 LLM 部署审计提供了可复制的协议
统计严格性与效率的平衡：O'Brien-Fleming alpha spending + 无效早停的组合在工业级审计中非常实用——既保证 FWER 控制，又节省 1/3 成本

局限与展望¶

变体质量与混淆变量：LLM 生成的反事实变体可能引入目标概念以外的变化（如女性名字与性别刻板职业相关），尽管 42% 的低质量概念已被过滤，但无法完全排除混淆
仅测试单一职业：简历筛选任务固定为软件工程岗位，未探索性别偏见是否与职业刻板印象交互
保守设计导致假阴性：Bonferroni 校正 + 保守早停可能遗漏效应量较小的真实偏见，种子一致性实验也显示并非每次运行都能检出所有偏见
开放式任务泛化待验证：当前三个任务均为二元决策，扩展到开放式生成任务需要替换决策度量