跳转至

Deep and shallow biases in language models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://deepbias.github.io
领域: 自然语言理解
关键词: 大语言模型偏见, 偏见深度, 提示词重构, 监督微调归因, 偏见消除

一句话总结

提出了偏见深度评分 \(\pi = \text{DR} \times \text{FR}\),通过直接提示词采样与30个情境重构(scenario reframings)测试,将大语言模型在开放选择下的答案固着解构为继承自预训练且难以消除的深层偏见(Deep bias)与仅由提示词表层措辞诱发的浅层偏见(Shallow bias)。

研究背景与动机

大语言模型在面对本应具备多样化合法答案的主观开放式选择任务时,经常出现严重的模式坍缩并反复输出完全相同的单极答案。例如,在要求随机挑选一种知名蝴蝶时,Olmo-3-7B-SFT 会在 100% 的独立采样中持续输出“帝王蝶(Monarch)”;而在要求随机挑选一个数字时,模型在 73% 的采样中输出“42”。已有基准主要通过固定提示词句式下的单次或多次重复采样来测量响应分布的集中度,并直接将这种集中倾向定性为模型的内在偏见。

然而,这种单一提示词句式的评估范式存在根本盲区:它无法区分模型的固着答案究竟是深植于模型权重的稳定偏好,还是仅仅依赖于特定提示词表层措辞的瞬时假象。大语言模型对输入的轻微表层扰动极度敏感,微小的提示词修变化往往会导致生成答案发生剧烈漂移。如果仅仅因为某一特定句子诱发了高频重复,就断定模型对该实体存在系统性内在偏向,就会将表层提示词敏感性与模型稳定的内在信念混为一谈,进而误导对偏见来源追溯以及消除难度的判断。

要穿透表层句式变体以测量真正的模型偏见,关键在于检验模型的顶选答案能否在不同语境的情境重构下持续存活。当底层的选择任务保持一致、而周围的情境被改写为日常任务(如挑选生日邀请卡图案、彩票示例号码或桌游初始数字)时,帝王蝶依然在 93% 的重构情境中占据统治地位,而 42 的出现率则迅速崩溃至 13%,多数情境答案转而分散甚至翻转为 3。核心 idea:通过联合评估直接提示下的集中度(Direct Rate, DR)与30个情境重构下的答案留存率(Framed Rate, FR),构建偏见深度评分 \(\pi = \text{DR} \times \text{FR}\),将大模型偏见严格解耦为根植于预训练权重的深层偏见与提示词敏感诱发的浅层偏见。

方法详解

整体框架

偏见深度评估框架旨在评估大模型在开放式主观选择中的偏好稳定性与鲁棒性。整体评测管线由真实训练集提示词挖掘重写、直接提示词采样、多情境语义重构、五阶段聚类判别器规范化合并,以及偏见深度量化分类这几个紧密协同的阶段构成。整个流程自底向上将原始无序的多样文本汇聚为规范化统计量,其工作流如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["Dolci-Instruct-SFT 训练语料抽取与多样化重写"] --> B["阶段1:真实语料偏见探针与情境重构构建<br/>4,442 个提示词族 × 30 个无偏情境"]
    B --> C["阶段2:五阶段回答规范化聚类判别器<br/>词元化与词形还原→精确桶→词干与蕴含合并→高阈值同义合并"]
    C --> D["阶段3:偏见深度度量与分类决策<br/>计算 DR 与 FR,依据 π 划分深层/浅层偏见"]
    D --> E["阶段4:跨阶段偏见溯源与模型级多样化去偏<br/>预训练/SFT/DPO/RLVR 演化分析与 LoRA 平坦化训练"]

关键设计

1. 真实语料偏见探针与情境重构构建:避免生成器偏见 -> 规则筛选与LLM结构化重构 -> 保证提示词分布真实且情境无暗示
以往的偏见基准测试多由人工合成或完全依赖商用大模型无端生成,这不仅容易引入生成模型自身的系统性偏向,而且脱离了开源模型实际微调语料的真实分布。本文首先从 Olmo-3-7B-SFT 的微调语料库 Dolci-Instruct-SFT(共215万条样本)中抽取首轮交互,利用包含“random”的关键词规则筛选出 11,859 条涉及任意选择的候选样本,剔除代码与统计学技术噪声(如 np.random、random.seed 等 17 种模式),并用 TF-IDF 种子匹配进行排序。接着利用 Sentence-BERT 嵌入相似度贪婪去重(阈值 0.9),保留 6,845 个代表性样本,并指示 GPT-5.6 Luna 将其泛化重写为形如“Choose a random ”的标准主观开放式提示词,要求候选答案必须能在 1-3 个词内回答。经过基于嵌入(阈值 0.95 自动合并,[0.80, 0.95) 由 LLM 裁决)的跨样本去重后,最终沉淀出 4,442 个唯一的提示词族(Prompt Family)。针对每个提示词族,进一步利用 LLM 生成 30 个具体的日常应用情境(例如为桌游设定初始点数、为画作挑选前景昆虫等),所有情境均严格剥离暗示性特征,确保模型必须在不改变底层候选域的前提下独立做答,共计构造 133,260 个测试用例。

2. 五阶段回答规范化聚类判别器:开放式表层表达多样 -> 规则与嵌入阶梯式收敛 -> 精准归并等价实体
在完全开放的无选项回答设定下,模型对于同一底层实体可能输出多种字面表达(例如“the USA”、“United States”与“America”)。如果直接采用字面精确匹配,会严重低估直接集中率(DR)与情境存活率(FR)。本文设计了五阶段聚类判别算法对每个提示词采集的 30 个样本进行系统归并: - 阶段一(词形规范化):小写化、分词保留字母数字、剔除虚词,并将单词还原为名词和动词中最短的词元形式,用单空格拼接成规范键。 - 阶段二(精确匹配建桶):拥有完全相同规范键的样本汇入同一基桶。 - 阶段三(派生词干合并):若两个桶的规范键在剥除一个后缀后具有相同词干,且 MiniLM 句子嵌入余弦相似度达到 0.55 以上,则合并两桶(如“modern”与“modernism”)。 - 阶段四(子集包含合并):若一侧词元集合完全被另一侧包含、较短侧不超过 3 个词且嵌入相似度达到 0.55,则予以合并(如“keyboard”合并入“keyboard and mouse”,同时利用 0.55 阈值过滤掉“red”与“red herring”这类偶发短语重叠)。 - 阶段五(高阈值同义词合并):对缺乏字面重叠的剩余桶,直接基于句子嵌入余弦相似度进行聚类,采用更为严格的 0.85 阈值门槛,精准捕获“USA”与“America”等同义别名。合并完成后,以最大簇的高频字面表达作为该提示词的权威顶选答案。

3. 偏见深度度量与分类决策:单提示词评估混淆假象 -> 双轴联合乘积评分 -> 严格解耦深层与浅层偏见
为了量化偏见在语境扰动下的持久程度,本文确立了双轴正交评估协议。首先,在温度 \(T=0.6\) 下独立重复采样 30 次直接提示词,定义直接集中率(Direct Rate, DR)为顶选答案出现的频率: $\(DR(p) = \frac{\text{Count}(\text{top\_answer}_{\text{direct}})}{30}\)$ 以 \(DR > 0.65\) 作为模型在单提示词下呈现偏见的选择阈值(30次中至少重复20次,远高于均匀分布基线)。随后,在 30 个重构情境中分别采样一次,定义情境存活率(Framed Rate, FR)为直接顶选答案在情境重构中重新出现的频率: $\(FR(p) = \frac{\text{Count}_{\text{framed}}(\text{top\_answer}_{\text{direct}})}{30}\)$ 偏见深度评分(Bias Depth Score)\(\pi(p)\) 定义为二者的乘积: $\(\pi(p) = DR(p) \cdot FR(p)\)$ 当且仅当模型既在直接提问下高度集中,又在情境重构中稳定复现时,\(\pi\) 才会显著偏高。设定分类阈值 \(\pi > 0.40\)(对应两项指标均达到约 0.65),将所有提示词族严格划分为三类: - 深层偏见(Deep bias):\(DR > 0.65\) 且 \(\pi > 0.40\)。模型的偏好深植于内部表示,跨情境稳定固着。 - 浅层偏见(Shallow bias):\(DR > 0.65\) 且 \(\pi \le 0.40\)。模型仅在直接句式下表现出答案集中,换用情境提问后集中度瓦解或答案转移。 - 非偏见(Non-bias):\(DR \le 0.65\)。模型在直接提示下未呈现显著集中。

4. 跨阶段偏见溯源与模型级多样化去偏:提示工程治标不治本 -> 权重平坦化微调 -> 根除模型内部深层坍缩
针对深层与浅层偏见的异质性,本文进一步探索了偏见在模型训练生命周期中的起源轨迹与干预难度。在来源上,通过对比 Olmo-3-7B 从 Pretrained、SFT、DPO 到 RLVR 的完整训练谱系,发现深层偏见在预训练阶段便已基本奠定;而在 SFT 语料库中进行逐样本精准溯源表明,深度偏见与预训练首选答案的一致率随 \(\pi\) 单调递增(在 \(\pi > 0.8\) 时高达 62.3%)。在去偏干预上,对比了基于提示词进化的外部引导框架 GEPA 与基于强制多样化训练的内部权重更新 LoRA-SFT。LoRA-SFT 在 60 个高偏见提示词族(30个深层、30个浅层)上,为每个提示词人工构造 30 个平权合法实体(例如帝王蝶、凤蝶、小红蛱蝶等),以强制平坦分布进行微调(rank=16, alpha=32, 5个epoch)。实验证实,更新模型内部权重的 LoRA 微调能够有效迫使概率质量重分布并泛化至未见过的测试族,而提示词外挂优化(GEPA)对顽固的深层偏见几乎束手无策。

形式化定义与评估协议

整个评测协议在数学上形式化为一个二元组测试过程。设大语言模型为条件分布 \(P_\theta(y \mid x)\),解码温度固定为 \(\tau = 0.6\)。 对于给定的提示词族 \(p = (x_{\text{direct}}, \{x_{\text{framed}}^{(i)}\}_{i=1}^{30})\): 1. 采样直接响应集合 \(Y_{\text{direct}} = \{y_j \sim P_\theta(\cdot \mid x_{\text{direct}})\}_{j=1}^{30}\); 2. 运行聚类算法 \(\mathcal{C}(Y_{\text{direct}}) = \{C_1, \dots, C_k\}\),确定顶选簇 \(C^* = \arg\max_{C} |C|\) 及其规范代表文本 \(a^* = \text{rep}(C^*)\),计算 \(DR = \frac{|C^*|}{30}\); 3. 采样情境响应集合 \(Y_{\text{framed}} = \{y^{(i)} \sim P_\theta(\cdot \mid x_{\text{framed}}^{(i)})\}_{i=1}^{30}\); 4. 将每个情境响应映射至聚类空间,统计判定为 \(a^*\) 的命中次数,计算 \(FR = \frac{1}{30}\sum_{i=1}^{30} \mathbb{I}(\text{cluster}(y^{(i)}) \equiv C^*)\); 5. 计算深度指标 \(\pi(p) = DR(p) \cdot FR(p)\),并据此将样本划入 Deep、Shallow 或 Non-bias 集合。

实验关键数据

主实验

在涵盖 4,442 个提示词族的测试集上,针对四个具有代表性的指令微调后模型(涵盖开源的 Olmo-3-7B-SFT、Tulu-3-8B-SFT,以及顶尖闭源模型 Claude 3.5 Sonnet 与 GPT-5.6 Sol)进行了系统评估。实验显示,所有模型都存在广泛的直接偏见,但深层偏见在所有模型中均只占少数。

模型 总偏见比例 (Total Bias %) 深层偏见 (Deep Bias %) 浅层偏见 (Shallow Bias %) 无偏见 (Non-bias %) 深层在偏见中占比
Olmo-3-7B-SFT 35.8% 10.8% 25.0% 64.2% 30.2%
Tulu-3-8B-SFT 43.4% 14.7% 28.6% 56.6% 33.9%
Sonnet 5 77.7% 9.9% 67.8% 22.3% 12.7%
GPT-5.6 Sol 54.5% 17.4% 37.1% 45.5% 31.9%
四模型均值 52.8% 13.2% 39.6% 47.2% 25.0%

消融与去偏分析

为了验证偏见深度与干预难度的关系,并在全量 4,442 个提示词族上独立检验去偏算法的鲁棒性,论文对比了基线模型、提示词系统优化方案(GEPA)以及低秩适应平坦化微调(LoRA-SFT)的效果,同时跟踪了标准下游基准任务性能。

模型与配置 深层偏见比例 (%) 浅层偏见比例 (%) 无偏见比例 (%) GSM8K GPQA HumanEval+ 说明
Olmo-3-7B-SFT 基线 10.8% 25.0% 64.2% 89.9 30.4 63.8 原始重训指令微调模型
+ GEPA (系统提示词优化) 9.2% (-1.6) 19.2% (-5.8) 71.6% (+7.4) — — — 提示词引导多样性,深层偏见抗拒去偏
+ LoRA-SFT (多样性平坦化) 6.3% (-4.5) 14.7% (-10.3) 79.0% (+14.8) 88.2 29.9 63.0 权重微调消除偏见,保留下游综合推理能力

关键发现

  • 偏见大部分浮于表面:在四款大模型中,平均有 52.8% 的提示词族呈现出直接偏见倾向,但在这些偏见案例中,高达四分之三(39.6% / 52.8% = 75.0%)在情境重构下即刻瓦解(Shallow bias),仅有四分之一(13.2%)属于真正跨语境稳固的深层偏见。闭源模型(如 Sonnet 5 偏见总达 77.7%)表现出极高比例的表层提示词敏感性(浅层偏见占 67.8%)。
  • 深层偏见奠定于预训练,浅层偏见伴随对齐持续滋生:跟踪 Olmo-3-7B 全谱系发现,预训练基模本身已存在 17.8% 的总偏见,其中超过一半为深层偏见(9.8% Deep vs. 8.0% Shallow)。SFT 阶段使总偏见跃升至 35.8%,但增加的几乎全部是浅层偏见(8.0% 激增至 25.0%),深层偏见仅微增 1.0 个百分点。随后的 DPO(总偏见 46.2%)与 RLVR(总偏见 51.5%)阶段,浅层偏见持续累积至 38.9%,而深层偏见始终稳定在 10.0%–12.6% 区间。
  • 偏见深度严格预测与预训练记忆的一致性:当 \(SFT\) 模型的偏见深度 \(\pi_{\text{SFT}} \le 0.1\) 时,其顶选答案与预训练基模重合的概率仅为 20.7%;而当 \(\pi_{\text{SFT}} > 0.8\) 时,答案重合率飙升至 62.3%。深层偏见本质上是预训练语料记忆在对齐阶段的顽强延续。
  • 深层偏见对去偏干预展现出强抵抗力:无论是 GEPA 提示词外挂干预(深层仅降 -1.6% vs 浅层降 -5.8%)还是 LoRA-SFT 权重微调(深层仅降 -4.5% vs 浅层降 -10.3%),深层偏见下降的绝对幅度与相对比例均远低于浅层偏见。

亮点与洞察

  • 提出双轴正交评估指标 \(\pi = \text{DR} \times \text{FR}\):敏锐指出了传统单提示词重复采样评测的致命缺陷,通过引入 30 个日常生活语义情境重构,首次将表层句式敏感性与模型稳定内部偏见形式化剥离。
  • 揭示了“后训练对齐放大浅层偏见”的技术机制:系统性实验打破了传统认知,证明指令微调(SFT)和强化学习(DPO/RLVR)并不是在重塑或根除深层世界信念,而是在表层持续引入特定句式诱发的单模态输出坍缩。
  • 验证了多样性扩散微调对深层偏见的泛化消除潜力:通过在少量(60个)高偏见提示词上采用 30 个均匀合法候选答案进行 LoRA 微调,成功向全量 4,442 个未见测试集泛化转移,在显著打散偏见分布的同时,标准评测基准(GSM8K、GPQA、HumanEval+)基本无损。

局限与展望

  • 单样本数据溯源的稀疏性:尽管在部分极端案例中(如帝王蝶与动漫人物 Luffy)能够精确定位到 Dolci-Instruct-SFT 中对应的单条训练样本,但对于绝大多数偏见提示词,其倾向性是由整个预训练与微调海量数据中弥散分布的统计共现共同驱动的,无法归因于单个明确的微调样本。
  • 评测语料局限于低风险主观选择:为了保证测试集在开放式设定下具有确定无偏的客观评估标准,当前提示词集中于日常任意选择(如动物、数字、食物、电影等)。未来亟需将该评估框架推广至招聘决策、医疗诊断建议及法律法规解释等高风险、存在潜在伦理与安全影响的核心领域。
  • 情境重构对辅助 LLM 的依赖:30 个情境重构和部分边界去重依赖于商业模型(GPT-5.6 Luna),尽管通过了人工校验,但在极少数边界情况下仍可能带入重构模型的词汇分布特点。

相关工作与启发

  • vs. B-score (Vo et al., 2025) & NoveltyBench (Zhang et al., 2025):以往方法仅在单一固定提示词下重复采样,以响应历史集中度或多样性熵值作为偏见指标。本文引入情境重构和偏见深度指标 \(\pi\),成功区分出 75% 的虚假表层偏见。
  • vs. Artificial Hivemind (Jiang et al., 2026):该工作测量跨模型在主观任务上的同质化崩溃,但仍局限于单提示词范式。本文进一步给出了偏见随训练阶段演化的微观起源轨迹。
  • vs. Forcing Diffuse Distributions (Zhang et al., 2024):以往工作提出通过均匀微调打破模式坍缩,但未在全生命周期模型谱系和不同偏见深度上进行分类检验。本文证明了此类权重级干预是攻克深层偏见所必需的,而单纯的提示词工程(如 GEPA)收效甚微。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出偏见深度评分并利用情境重构将大模型偏见严格区分为深层与浅层,研究切入点极具洞察力。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4,442 个提示词族、13.3万个情境、跨越开闭源主流大模型及 Olmo-3-7B 全谱系(基模至RLVR),数据详实完备。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导环环相扣,图表详实直观,论证极其严密。
  • 价值: ⭐⭐⭐⭐⭐ 深刻揭示了大模型后训练对齐过程中偏见的真实演化本质,为模型可信度评测与针对性去偏提供了关键理论依据与度量工具。