跳转至

Auditing MCQA Benchmarks through Probability Landscapes

会议: EMNLP 2026
论文: ACL Anthology
领域: LLM评测
关键词: MCQA基准审计, 概率景观, 归一化残差熵, 平均成对距离, 噪声注入

一句话总结

提出基于模型输出概率分布的双层评测基准审计框架,宏观上用顶项概率与归一化残差熵构建概率景观及平均成对距离刻画基准内选项竞争与异质性,微观上通过噪声注入扰动有效过滤伪错误并高优先级筛选出人工审查候选题。

研究背景与动机

多项选择问答(MCQA)基准因其评测形式固定且易于自动化打分,长期作为评估大语言模型综合能力的核心标尺。然而随着前沿大语言模型性能的快速跃升,MMLU、ARC、HellaSwag 等经典基准已普遍面临性能饱和与区分度衰减的瓶颈。学界通常通过构建更复杂、更难的全新数据集(如 GPQA、MMLU-Pro、HLE)来延缓饱和,但全新构建高难度基准不仅需要耗费庞大的人力专家资源,而且既有基准内部存在的标注伪影、格式缺陷与题目瑕疵仍缺乏低成本且可扩展的诊断手段。

经典心理测量学与教育考试理论指出,一份高质量的多项选择题应当配备具有实质干扰能力的诱答项(distractors),即合理选项应能吸引一部分受试群体的注意力并形成实质竞争。然而在当前大模型评测体系中,传统分析手段高度依赖聚合准确率(accuracy)或排行榜对比,直接丢失了模型在不同选项之间的置信度分配细节;即使部分工作通过移除题干验证模型是否存在偏置,也难以系统性地刻画整套基准题目的内部结构与质量漏洞。若单纯依靠领域专家全量重新标注审查(如 MMLU-Redux),其审查成本又极其高昂。

本文的切入视角在于:大语言模型在各个选项 token 上的输出概率分布,天然反映了模型内部的表征不确定性与选项间的语义竞争状态。通过解构模型在正确答案之外的残差概率分配,并配合无害但能剥离干扰项竞争的语义噪声扰动,即可在不增加高额人工标注负担的前提下诊断基准结构。核心 idea:构建基于输出概率分布的宏观概率景观分析(结合残差熵与平均成对距离)与微观噪声注入诊断框架,宏观刻画基准题目选项竞争与结构异质性,微观高效收敛候选集以供精准人工审计。

方法详解

整体框架

该框架分为宏观基准级(Benchmark-Level)概率景观分析与微观题目级(Item-Level)扰动诊断两大模块。在标准推理设定下,针对每个多项选择题提取模型在候选选项字母(A、B、C、D)上的归一化概率分布;以顶项预测概率 \(P_{\text{top1}}\) 与归一化残差熵 \(H_{\text{norm}}\) 构成题目在概率景观中的二维坐标,并用平均成对距离(MPD)衡量整套基准中题目分布的凝聚度与异质性。在微观层面,通过将原始干扰项替换为不相关城市名称实施噪声注入(Noise Injection),剥离干扰项的语义竞争;若模型在失去干扰项后依然答错,则将其作为候选缺陷题目进行收敛,交由专家进行可执行缺陷(Actionable)与扰动固有失效(Excluded)的细粒度归因分类。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["MCQA 输入题目与选项"] --> B["基准概率提取<br/>提取选项字母 logits 并做 Softmax"]
    B --> C["二维概率景观表征<br/>计算顶项置信度 P_top1 与残差熵 H_norm"]
    C --> D["宏观景观聚合与凝聚度量化<br/>跨模型池化计算平均成对距离 MPD"]
    B --> E["语义噪声注入扰动<br/>将干扰选项替换为无关城市名称"]
    E --> F["残差错误收敛与人工定向审查<br/>区分排除扰动局限与保留基准真缺陷"]

关键设计

1. 二维概率景观表征:联合建模模型置信度与残差选项竞争

传统准确率统计仅关注模型最终预测是否正确,完全忽略了模型在非预测选项上的概率质量分布。为了表征题目的诱答结构,本文将每道题目映射为二维向量 \(z_i = (P_{\text{top1}}^{(i)}, H_{\text{norm}}^{(i)})\)。其中 \(P_{\text{top1}} = \max_{x_i \in O} P(x_i \mid q)\) 代表模型对其顶项预测的置信度大小。为了衡量未被选中的干扰项之间是否存在实质性竞争,本文针对剔除顶项预测 \(y_{\text{pred}}\) 后的剩余选项集合 \(O \setminus \{y_{\text{pred}}\}\),先重新归一化其概率分布 \(P'(x_i) = \frac{P(x_i \mid q)}{\sum_{x_j \in O \setminus \{y_{\text{pred}}\}} P(x_j \mid q)}\),随后计算归一化残差熵:

\[H_{\text{norm}} = \frac{-\sum_{x_i \in O \setminus \{y_{\text{pred}}\}} P'(x_i) \log_2 P'(x_i)}{\log_2(|O| - 1)}\]

\(H_{\text{norm}}\) 取值范围严格在 0 到 1 之间。高 \(H_{\text{norm}}\) 意味着模型在未选中的干扰项之间分配了相对均衡的概率质量,体现出多个干扰项均具备一定的混淆能力;而 \(H_{\text{norm}} \approx 0\) 则说明剩余概率被极少数某一个非选选项严重独占,呈现出极不均衡的残差竞争格局。两者结合能精细刻画题目的概率结构。

2. 宏观景观凝聚度量化:基于平均成对距离评估基准结构异质性

为将整套基准题目的二维分布特征收敛为全局宏观指标,本文提出基于欧氏空间的平均成对距离(Mean Pairwise Distance, MPD)。针对基准数据集中全体题目经模型池化得到的 \(N\) 个状态点集合 \(\{z_i\}_{i=1}^N\),MPD 计算所有点对之间的平均欧氏距离:

\[\text{MPD} = \frac{2}{N(N - 1)} \sum_{i < j} \|z_i - z_j\|_2\]

在实际评测中,针对每个基准随机采样的 1,000 道题目,汇聚 3 个不同架构的开源小模型(Qwen-2.5 7B、Gemma-2 9B、Llama-3 8B)的输出状态点,构成 \(N=3,000\) 个(题目,模型)样本点并统一计算池化 MPD。较低的 MPD 意味着基准中的题目在模型输出空间中聚拢在狭窄局部,整体难度和决策置信度高度单调(例如多数题目集中在 \(P_{\text{top1}} \approx 1.0\) 的确定性饱和区);较高的 MPD 则代表基准题目的难度跨度、选项混淆度展现出更丰富的多样性与异质性。

3. 语义噪声注入扰动:剥离实质诱答竞争并收敛审查候选集

在题目级缺陷定位上,全量人工逐题复核极其低效。本文设计了噪声注入(Noise Injection)扰动,将除正确答案之外的所有原始干扰项替换为在语义上与题干完全无关的城市名称实体(如 Paris、Seoul、Tokyo 等)。在理想题设下,移除具有语义干扰能力的选项后,正确答案应当在对比中极其平庸且易于辨识,模型正确率理应逼近 100%。如果跨模型的推理输出中依然持续答错(产生残差错误 Residual Failures),则高度预示着该题目自身存在深层缺陷。这一机制成功将全量数据集压缩至仅占极小比例的数十道候选题目。

4. 细粒度缺陷分类学与定向人工审查:区分扰动伪差与基准真缺陷

针对噪声注入筛选出的残差错误题目,本文建立了两级分类体系,通过人工审计将其明确区分为两大阵营:其一为扰动固有失效(Excluded,记为 X),代表由于噪声注入操作本身引入的非本质错误,具体包括否定句/例外格式破坏(X1. Negation / EXCEPT)(如题干询问“下列哪项不属于...”,注入的不相关城市名字反而符合否定条件从而构成假正确答案)以及语义碰撞(X2. Semantic Collision)(注入的城市名称恰巧在特定语境中符合真实答案);其二为真正可执行的基准设计缺陷(Actionable,记为 A),细分为范围不一致(A1)、答案标签错误(A2)、编码伪影(A3,如 1/6 被 Excel 错误转换为 6-Jan)、叙事歧义(A4)及特定冷门事实欠说明(A5),为基准质量清洗提供高精度的实操靶点。

实验关键数据

主实验

实验基于 Qwen-2.5 7B、Gemma-2 9B 和 Llama-3 8B 三个代表性开源模型,在 MMLU、ARC、HellaSwag 和 CommonsenseQA(CSQA,经确定性位置映射标准化为四选一)四个基准的 1,000 题代表性子集上展开评测,并在单 token 贪心解码(temperature=0)下提取 A/B/C/D 的归一化概率。

表 1 汇总了各基准在未受扰动状态下的平均归一化残差熵 \(\text{Mean } H_{\text{norm}}\) 与池化平均成对距离 MPD;表 2 检验了全量文本掩码(Mask 100%)、无答案设置(No Answer)、噪声注入(Noise Injection)及无关分数后缀偏置(Score Bias 10/10)对模型综合准确率的影响。

基准数据集 Mean \(H_{\text{norm}}\) 汇总 MPD (N=3000) 基线准确率 (%) 噪声注入准确率 (%) 无答案插入准确率 (%)
ARC 0.572 0.404 91.4 99.7 (+8.3) 40.8 (-50.6)
CommonsenseQA (CSQA) 0.488 0.424 83.4 99.1 (+15.6) 32.4 (-51.0)
HellaSwag 0.552 0.433 73.3 98.5 (+25.2) 36.5 (-36.8)
MMLU 0.536 0.479 60.2 98.6 (+37.7) 17.1 (-43.1)

说明:扩展实验中将 GPQA 的 448 道题目在相同模型输出下计算池化 MPD,得到值为 0.477(N=1344),与 MMLU 类似展现出较高的异质性。

消融实验

针对噪声注入后模型依然预测错误的 30 道残差失败题目(四数据集汇总),人工定向审计结果如下表所示:

分类分组 故障细分类型 核心机理与特征说明 样本数量 占比说明
Excluded (排除项) X1. 否定/EXCEPT格式 注入城市名同样满足题干否定条件,破坏选项反差 15 占总残差失败 50.0%
X2. 语义碰撞 注入城市名碰巧成为符合语境的合法答案 6 占总残差失败 20.0%
Actionable (可执行缺陷) A1. 范围不一致 题干要求“全部”而答案仅适用于子集 1 基准真实瑕疵
A2. 答案标签错误 基准标注答案存在事实错误或非最优解 3 基准真实瑕疵
A3. 编码伪影 格式转换导致乱码(如分数转日期字符串) 1 基准真实瑕疵
A4. 叙事歧义 题干上下文语境无法唯一确定后续行动 3 基准真实瑕疵
A5. 事实欠说明 答案依赖于题干未说明的影视特定剧集知识 1 基准真实瑕疵
合计 全部残差失败题目 排除扰动副作用 21 例,精准锁定可修复缺陷 9 例 30 成功将全量审查面大幅缩减

在 MMLU 与权威专家纠错集 MMLU-Redux 发生重叠的 373 道题目验证中(含 9 道专家标记真缺陷): - 单纯依赖噪声注入信号:筛选出 2 道候选题目,Precision 达 1.000(2/2 均为专家标注缺陷),Recall 为 0.222,富集比(Enrichment)达 41.4×(\(p = 0.0005\)); - 噪声注入联合 LLM 结构分类器(基于 GPT-4o-mini):筛选出 11 道候选,Recall 提升至 0.444(捕获 4/9),Precision 为 0.364,富集比达 15.1×(\(p < 0.0001\));远超随机检查的 0.024 基线命中率。

关键发现

  • 基准结构异质性排名稳定:在全局概率景观中,MPD 呈现出 ARC (0.404) < CSQA (0.424) < HellaSwag (0.433) < MMLU (0.479) 的稳定递增梯队。ARC 大量题目聚集在 \(P_{\text{top1}} \approx 1.0\) 的超高置信区,表明对当前模型已近乎彻底饱和;而 MMLU 散布于更广阔的空间,题目区分度最为显著。
  • 题目级指标不可直接跨模型迁移:虽然宏观基准级的 \(H_{\text{norm}}\) 均值排序相对稳健,但在微观单题层面,不同模型之间的单题 \(H_{\text{norm}}\) 斯皮尔曼秩相关系数接近于 0(小模型均值仅 0.028~0.177,全模型均值低至 -0.010~0.087),证明单题的残差熵主要由模型特定的校准和认知决定,不可用单一模型的残差熵直接硬判题目优劣。
  • 微观噪声注入具备极强的审查收敛效能:在 4,000 个题目样本中,噪声注入使模型准确率全部飙升至 98.5%~99.7%,残差错误仅存 30 例。经人工排除 21 例因否定或碰撞导致的扰动固有失效后,9 个可执行缺陷精准命中真实数据集瑕疵,极大节省了全量盲审的人力开销。

亮点与洞察

  • 将输出概率转化为诊断工具:打破了以往依赖榜单胜负率或准确率的粗粒度黑盒评测思维,首次利用选项残差熵 \(H_{\text{norm}}\) 与几何距离 MPD 从统计力学视角系统量化诱答项的竞争生态与基准异质度。
  • 极简而有效的两阶段审计工作流:通过语义无关实体注入大幅过滤因模型能力不足引起的常规答错,仅将残差反常样本抛给人工核验,以 41.4 倍的富集倍率大幅提升基准质检效能。
  • 对评测伪影的自反思精神:诚实地提炼出否定句型破坏(X1)与语义碰撞(X2)两类扰动局限性,明确提出模型内部概率不能单独做客观判决,必须采用“概率扰动筛选候选 + 专家规则最终裁决”的协同范式。

局限与展望

  • 依赖开源白盒概率:该审计体系要求直接读取选项首个 token 的 logits/概率分布,无法无缝直接应用于完全黑盒、仅提供文本生成的闭源商业模型 API。
  • 单题残差熵的泛化性不足:单题层面的 \(H_{\text{norm}}\) 受特定模型的分词、校准特性与提示词细节影响显著,目前仅能在宏观上提供基准画像,无法作为单题缺陷的决定性自动化判定器。
  • 噪声注入策略有待针对性增强:采用固定城市名称容易引发否定题型(EXCEPT/NOT)的语义冲突,未来可探索动态语法感知的对抗性噪声合成策略,减少 X1 与 X2 类排除项的产生。

相关工作与启发

  • vs MMLU-Redux (Gema et al., 2025):MMLU-Redux 依赖昂贵的大规模全题人工专家精细重审,耗时长且无法规模化迁移到所有现有基准;本文方法则提供了一种两阶段的漏斗筛选机制,先用概率与噪声扰动将人工审查面缩窄至 1% 以内,以极低成本实现近乎相同维度的质量缺陷挖掘。
  • vs 基准饱和统计分析 (Akhtar et al., 2026):既有饱和度研究侧重于跨模型的分数天花板曲线拟合;本文则从选项级概率景观与诱答项有效性的微观角度,从题库内部机理上揭示了不同基准为何提前衰亡。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 创新性地将输出概率几何与残差熵引入基准评测数据集质量审计。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 个主流基准、6 种不同体量开源模型、扰动消融、真实标注纠错集交叉验证与人工一致性分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰克制,严谨区分宏观描述性指标与微观判定边界,图表完备。
  • 价值: ⭐⭐⭐⭐⭐ 为多项选择评测基准的诊断、清洗、防饱和与高质量诱答项生成提供了可落地、高回报的标准工具链路。