AI Evaluation Should Require Standardized Item-Level Data Releases¶

会议: NeurIPS 2026
arXiv: 2604.03244
OpenReview: https://openreview.net/forum?id=MTjR4BxEXy
代码: https://open-eval.com/
领域: LLM评测
关键词: AI评估, 题目级数据, 构念效度, 经典测验理论, OpenEval

一句话总结¶

针对现有AI基准测试过度依赖总体聚合分数、掩盖构念错配与题目退化的问题，本文提出将标准化题目级数据发布确立为评估基础设施，并构建了涵盖444个模型、10.7M+响应的OpenEval评测库。

研究背景与动机¶

生成式人工智能正迅速进入高风险实际部署场景，而以基准测试为主导的AI评估已成为衡量模型能力、指导政策制定和推动安全落地的核心依据。然而，这一评估体系所依赖的实证基础却极其薄弱。当前学术界与工业界习惯于发布基准、维护榜单并基于聚合排行榜分数作出决策，但在推断过程中模型产生的海量原始响应数据几乎从未被标准化公开与系统审计。诸如能力构念定义模糊、测试样本挑选缺乏依据、评估指标过于宽泛等底层设计缺陷被聚合平均分掩盖，使得外部研究者根本无法验证基准究竟是在度量真实目标能力，还是在捕获偶发捷径与格式偏差。

随着模型能力快速迭代，外部环境压力进一步加速了基准效度的退化。最突出的表现包括基准饱和度快速上升、事实性知识陈旧失效，以及由于多源数据混洗导致的隐蔽数据污染。当排行榜整体准确率普遍向右侧高分段偏移时，仅凭聚合分数完全无法判断性能提升究竟来自模型真实推理能力的飞跃、基准区分度耗尽导致的虚高，还是来自测试集泄露引发的死记硬背。即便社区不断涌现自动化合成或动态过滤的新基准，由于缺乏统一的底层数据共享基础设施，各个团队不得不重复耗费工程精力抓取与清洗数据，导致评估科学难以形成经验的累积与实证复现。

解决这些系统性效度危机的根本切入点，是将度量单位从“基准级总分”下沉到“题目级模型响应”。在教育测量学与心理测量学中，题目级数据早已是检验测试效度、分析题目区分度与信度的金标准。本文的核心 idea 是：将标准化题目级基准数据（包含题目内容、测试上下文环境、逐题模型响应与统计分数）确立为AI评估的默认基础设施，并基于此构建跨基准、跨评估框架的开放生态库 OpenEval，以心理测量学方法审计并重塑基准效度。

方法详解¶

整体框架¶

本文构建了一套面向AI评估科学的“基础设施—分析工具—治理生态”完整体系。该体系以标准化题目级数据规范为底层基石，构建集中式开源数据仓库 OpenEval；向上支撑经典测验理论（CTT）与题目因子分析（IFA）等测量学诊断工具，用于精确识别低质题目、揭示构念错配并追溯模型能力的真实维度；向外延伸至防污染审计、分阶段受控发布与社区治理规范。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["评测运行时输出<br/>原始题目 + 模型推理响应 + 逐题得分"] --> B["OpenEval 统一三层数据模式"]
    B --> C["经典测验理论 (CTT) 题目质量诊断"]
    B --> D["题目因子分析 (IFA) 内部构念对齐"]
    C --> E["识别低质题目与评估饱和度"]
    D --> F["解耦多维高阶推理与表面特征偏见"]
    E --> G["受控发布与防污染社区治理机制"]
    F --> G

关键设计¶

1. OpenEval 统一三层数据模式：兼具柔性表达与评测上下文保真的标准化架构

为了打破各大评测框架（如 HELM、Chatbot Arena、Open LLM 等）输出格式碎片化的壁垒，同时避免统一格式扼杀新兴评测范式（如智能体环境、多工具调用），OpenEval 设计了层次化的数据结构。整个数据仓库自上而下划分为基准级、题目级与响应级三层，通过层级索引标识符（例如以前缀 item_id 构成的 response_id）建立精确关联，支持任意评测机构在不重构历史数据的前提下做增量追加。

在字段定义上，模式严格解耦了原始题目内容（item_content）与实际投递给模型的适配输入（item_adaptation），并完整记录包含系统提示词、采样超参和依赖工具链（model_adaptation.tools）的模型测试环境快照。这种分离确保了测试条件的极高保真度，消除了以往因合并实验条件造成的混淆。此外，系统通过专用格式转换器与自动化校验器，将异构输出归一化为松散约束的核心字段与类型化扩展数组，使得诸如交互式检索、外部环境响应等多轮动态伪影得以忠实沉淀。

2. 经典测验理论 (CTT) 题目质量诊断：难度与区分度的细粒度统计审计

经典测验理论摆脱了复杂的参数化潜在特质先验假设，直接以极小的计算代价从大规模模型—题目分数矩阵中提取统计洞察。针对基准测试中的第 \(i\) 道题目，定义其题目难度指数 \(p_i\) 为该题目在所有参评模型上的平均得分率：

\[p_i = \frac{1}{M} \sum_{m=1}^{M} \frac{s_{m, i}}{s_{i}^{\max}}\]

其中 \(M\) 为参评模型总数，\(s_{m, i}\) 为模型 \(m\) 在题目 \(i\) 上的实测得分，\(s_{i}^{\max}\) 为题目满分；\(p_i\) 越接近 1 说明该题目对现有模型群体越简单。题目的区分度 \(r_i\) 则通过题目得分与除去该题后的剩余总分（Rest-Total Score, \(s^{\text{rest}}_i = \sum_{j \neq i} s_j\)）之间的 Pearson 相关系数来衡量：

\[r_i = \text{Corr}\left(s_i, s^{\text{rest}}_i\right)\]

高区分度（\(r_i > 0\) 且较大）表明该题能够有效区分整体能力强与弱的模型；若 \(r_i \le 0\)，则表明出现了反常的逆向区分——即在基准测试中总体表现优异的高阶模型反而在此题上频繁失分。这为人工精准复查题干歧义、参考答案错标（miskeying）或题目暗含未测量子构念提供了明确的数学依据。此外，通过将模型按剩余总分划分为多个等分位桶并绘制题目特征曲线（ICC），能够直观监测不同能力分层下模型的通过率拐点，精准捕捉基准饱和现象。

3. 题目因子分析 (IFA) 内部构念对齐：基于低秩解耦的潜在能力归因

传统的题目评测往往将全部题目得分直接相加作为单一标量能力输出，默认基准满足单维同质性假设。然而，复杂大语言模型表现通常受多维隐变量与表面伪影共同驱动。本文引入高维奇异值分解（SVD）与广义低秩模型（GLRM），对模型—题目响应矩阵进行低秩分解与 Varimax 正交旋转，将模型在题目上的响应方差投影到少数关键隐因子上：

\[\mathbf{X} \approx \sum_{k=1}^{K} \mathbf{u}_k \mathbf{v}_k^{\top}\]

其中 \(\mathbf{v}_k\) 表示各题目在因子 \(k\) 上的载荷权重。通过对高因子载荷题目实施无监督聚类与语义归纳，即可解耦基准底层真正的测量维度。例如在逻辑推理基准中，若题目在特定因子上的聚类仅由参考答案的具体实体标签（如常识中令人恐惧的动物）决定而非逻辑继承链条，便能直接证实构念错配的存在。而在综合性高难基准中，该分析能将各科目表层分类重组为“形式化定量多步建模”、“领域特定召回”与“应用综合与案例推断”等高阶认知能力，并通过与外部专项基准（如 GPQA、Omni-MATH）的相关性检验实现会聚与区分效度验证。

4. 受控发布与防污染社区治理机制：兼顾开放审计与数据防护的长期生态

针对全面公开逐题数据可能加剧预训练数据污染的广泛担忧，本文系统性设计了三项受控发布机制以化解透明度与保密性之间的张力： - 保留集轮换设计（Hold-out designs）：基准仅公开一部分题目及其响应供学术界做题目级统计与审计，同时保留非公开的测试子集用于定期私有化盲测，通过对比公开子集与保留子集的分数漂移迅速捕捉过拟合与污染信号； - 资质认证访问（Verified access）：对包含版权敏感或极高商业价值的评测内容，向经实名认证并签署合规使用协议的科研机构开放授权，限制数据二次分发； - 分阶段延期发布（Staged release）：设立固定的封禁保护期（如一个评测周期或若干个月），在保护期结束后按既定节奏公开历史评测响应。配合社区污染举报信道、版本回溯控制与多中心联邦治理框架，使题目级公开真正成为阻断隐蔽污染、追责未披露训练注入的有效制度保障。

实验关键数据¶

主实验¶

论文基于 OpenEval 归集的真实测试数据开展实证研究。分析涵盖了 MMLU（66 个早于 2023 年 11 月的模型，567 道代表性题目）与 MMLU-Pro（72 个晚于 2024 年 6 月的模型，1,000 道题目）。通过在不同难度区间内对比两者的题目区分度均值，检验新一代基准在题目质量重构上的实际效果。

题目难度区间 \(p_i\)	数据集	样本题数	平均区分度 (Mean Disc.)	\(p\) 检验值 (Mann–Whitney U)	统计结论与效度洞察
\((0.0, 0.2)\) (极难)	MMLU MMLU-Pro	144 86	-0.0174 0.0615	\(2.48 \times 10^{-3}\)	MMLU 在极难题上出现负区分（噪声占优），MMLU-Pro 区分度显著改善
\([0.2, 0.4)\) (较难)	MMLU MMLU-Pro	172 86	0.1444 0.2933	\(3.43 \times 10^{-6}\)	MMLU-Pro 显著提升，能够更有效分离模型的能力梯队
\([0.4, 0.6)\) (中等)	MMLU MMLU-Pro	175 152	0.4161 0.4708	\(3.33 \times 10^{-1}\)	差异不具统计显著性，处于常规多选题区分度基准线
\([0.6, 0.8)\) (较易)	MMLU MMLU-Pro	74 281	0.4605 0.5876	\(7.16 \times 10^{-13}\)	MMLU-Pro 样本丰富且区分度极高；但高通过率揭示其面临快速饱和
\([0.8, 1.0)\) (极易)	MMLU MMLU-Pro	2 373	0.3803 0.4967	\(1.18 \times 10^{-1}\)	MMLU 仅存 2 题，而 MMLU-Pro 有 373 题落入此区间，显示前沿模型已大面积攻克

消融实验¶

为验证 CTT 难度和区分度估计在模型样本波动下的统计稳健性，作者将模型样本从 72 个扩充至 122 个（涵盖 17 家主流机构），执行了 1,000 次 Bootstrap 重抽样以及逐一排除主要开发商模型（Leave-one-developer-out, LODO）的敏感性消融实验。

评估配置 / 消融设定	被排除机构模型数	难度相关系数 (Corr)	区分度相关系数 (Corr)	均值标准误 (SE)	90% 置信区间宽度
Bootstrap (重抽 72 模型 × 1,000 次)	0 (有放回随机)	0.9916	0.9732	0.0523 / 0.0691	0.1714 / 0.2295
LODO 全局平均 (17 家机构依次排除)	平均各家轮换	0.9988	0.9973	0.0718 / 0.0646	0.2361 / 0.2127
排除 Qwen 模型族	27	0.9951	0.9899	依据 Jackknife 计算	相对全样本极度稳健
排除 OpenAI 模型族	21	0.9936	0.9882	依据 Jackknife 计算	相对全样本极度稳健
排除 Google 模型族	19	0.9976	0.9924	依据 Jackknife 计算	相对全样本极度稳健
排除 Anthropic 模型族	10	0.9980	0.9952	依据 Jackknife 计算	相对全样本极度稳健
排除 Meta 模型族	8	0.9993	0.9976	依据 Jackknife 计算	相对全样本极度稳健

关键发现¶

基准饱和的题目级实证暴露：在对 2024 年 6 月后发布的 72 个模型进行评估时，MMLU-Pro 呈现出明显的两极分化——虽然专家评审成功过滤了大量低区分度噪声题，但有 373/1000 的题目难度指数 \(p_i \ge 0.8\)，表明基准已被前沿模型大规模饱和，亟需更密集的增量淘汰与题目更新。
题目异常区分度精准排查低质项：通过 CTT 分析发现，部分题目（如 MMLU #55、#374）的区分度甚至为负数（总分高的强模型答错、总分低的弱模型反而蒙对），题目特征曲线（ICC）呈现递减趋势。这明确指示了题目题干中存在的表述歧义、事实错漏或诱导性干扰项。
构念错配在因子层级显形：在针对 bAbI Task 15（基础演绎推理）的 SVD 因子分析中，K-means 聚类出的三大题目簇严格对应了答案所指向的实体类别（如“绵羊”、“老鼠”、“狼”），证明模型实际上是在利用对常识中天敌关系的先验偏好作答，而非真正习得了语境内的符号继承推理。
模型族群剔除不影响排位结论：LODO 和 Bootstrap 检验表明，即使剔除样本占比高达 22% 的单一开发商模型家族（如 Qwen），题目难度与区分度的 Pearson 相关系数依然稳定在 0.988 以上，证明题目级质量测定具有跨机构的稳健度。

亮点与洞察¶

将心理测量学范式引入大模型评估基础设施：跳脱出单纯计算“平均正确率”的粗糙范式，系统化引入教育测量学中经过数十年检验的经典测验理论（CTT）与题目因子分析（IFA），为大模型基准测试建立了细粒度效度诊断的技术底座。
解耦原始题目与适配上下文的数据工程创新：OpenEval 模式不仅规范了模型输出，更将 prompt 工程、工具注入与环境状态作为不可分割的一等公民进行快照存储，从根本上解决了因提示词微调导致的评测结果不可复现问题。
以开放透明对抗数据污染的全新反思视角：有力驳斥了“公开数据必加剧污染”的保守论调，指出不透明才是导致隐蔽污染肆虐的温床；借助题目级响应指纹与公开保留集对比，可以极大降低全行业对潜在污染进行法医式审计的技术门槛。

局限与展望¶

模型依赖性假设未彻底解决：当前心理测量学方法（如 CTT 与单维 IRT）均隐含样本独立同分布的假设，但现实中不同大模型共享庞大的预训练网页语料与开源微调祖先，模型之间存在复杂的宗族依赖关系，需未来探索网络化或带有谱系修正的测量模型。
因子语义归纳仍具主观性：在 IFA 因子载荷的解释过程中，本文依赖了先进大模型辅助提炼并辅以人工复核，这种归纳方法在面对跨领域混合型隐因子时仍具有一定的探索性与语义主观偏差。
多智能体与多轮交互的题目边界扩展：当前标准化主要针对基于单轮问答、少轮对话或确定性环境的基准，对于长周期、开放式、具有随机环境交互的通用智能体评测，如何界定最小独立的“题目（Item）”单位仍待进一步定义。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从立场声明高度系统论证并落地以标准化题目级数据为核心的 AI 评估基础设施，构架极具前瞻性。
实验充分度: ⭐⭐⭐⭐⭐ 汇集 444 个模型逾 1,000 万条真实响应，结合 Bootstrap 与排除大厂模型的严格稳健性消融，论据扎实。
写作质量: ⭐⭐⭐⭐⭐ 论证结构缜密，心理测量学概念与 AI 评估痛点结合自然，行文流畅且富有说服力。
价值: ⭐⭐⭐⭐⭐ 为解决基准饱和、数据污染与评价黑盒提供了颠覆性的基石方案，对推动大模型评估的科学化具有深远意义。