Evaluation Cards: An Interpretive Layer for AI Evaluation Reporting¶

会议: NeurIPS 2026
arXiv: 2606.09809
OpenReview: https://openreview.net/forum?id=jGvGY7wh7Q
代码: https://evalevalai.com/
领域: LLM评测
关键词: AI评测报告, 解释层, 可复现性信号, 跨来源可比性, 评测卡片

一句话总结¶

针对 AI 评测结果碎片化且缺乏上下文的问题，本文提出了 Evaluation Cards 解释层框架与自动化管道，通过五层展开层次结构与四种可解释性信号统一跨来源评测记录，并在 5,816 个模型的大规模实证分析中揭示了严重的复现与可比性缺口。

研究背景与动机¶

在大语言模型与前沿 AI 系统的快速迭代下，AI 评测结果正以空前规模被生产出来，但它们散布在各类排行榜、模型卡片、基准论文和企业技术博客中，呈现出极度割裂的形态。不同平台采用互不兼容的数据格式，广泛省略了解释评分所必需的关键超参数（如采样温度、截断长度、提示词模板等），且缺乏跨来源直接比对的统一基准。更严重的是，模型开发者在技术报告中往往只选择性披露局部评测，导致评测盲区难以界定；当关键实验假设、测试切分与评分规则模糊不清时，单个公开的分数根本无法转化为支持监管审查或部署决策的有效论据。

这种碎片化困境的核心矛盾在于：下游决策者（包括模型部署者、监管机构和科研人员）迫切需要可靠的评测证据来评估模型能力与风险，但现有的评测基础设施要么仅关注孤立环节（例如仅提供静态基准元数据的 BenchmarkCards，或仅记录单次运行日志的 EEE），要么局限于静态的人工填写检查清单。这类填表方式不仅认知负担极重、极易产生信息孤岛，而且忽视了不同利益相关者面对同一组评测证据时截然不同的信息诉求——技术研究者关注推理配置与方法论严谨性，而政策决策者则更关注责任归属、基准风险与宏观可比性。

为了打破这种"纸面规范"与"规模化落盘"之间的鸿沟，本文没有孤立地提出又一套主观填空清单，而是构建了一个可落地的自动化聚合与解释层。核心 idea：将基准元数据、评测运行日志与模型元数据融合成五层展开层次结构，并在统一实体规范化之上计算四项核心解释信号（复现性、文档完整性、溯源与风险、可比性），通过双重读者模式向不同受众呈现结构化透明证据。

方法详解¶

整体框架¶

Evaluation Cards 作为一个轻量级、参与式且完全开源的报告解释层，其核心流水线涵盖四个关键阶段：数据摄取（Ingest）、实体规范化与基准元数据关联（Standardize）、解释信号计算（Compute Signals）以及多视图呈现与仓库导出（Output）。系统上游接入 Every Eval Ever（EEE）运行日志仓库、Auto-BenchmarkCards 结构化基准元信息库，以及来自 hub-stats 与 models.dev 的模型元数据；下游通过五层展开层次结构消解扁平三元组的歧义，并驱动面向研究人员（Research Mode）与政策监管者（Summary Mode）的差异化渲染视图。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源原始异构数据<br/>EEE运行日志 / Auto-BenchmarkCards / 模型元数据"] --> B["数据摄取与展开<br/>扁平化为单结果原子行"]
    B --> C["实体规范化与层级匹配<br/>多策略解析稳定模型/基准/指标标识符"]
    C --> D["五层展开层次映射<br/>Family → Composite → Benchmark → Split → Metric"]
    D --> E["四维核心解释信号计算<br/>复现性 / 完整性 / 溯源风险 / 跨源可比性"]
    E --> F["双重受众呈现与仓库物化<br/>研究模式 / 政策摘要模式 / Parquet导出"]

关键设计¶

1. 五层展开层次结构：从扁平三元组到可追溯证据链 传统排行榜与模型卡片习惯将评测结果简化为扁平的 (模型, 基准名称, 分数) 三元组，这种粗暴压缩直接掩盖了基准内部的复杂异构性。例如，数学基准 MATH 包含代数、几何等不同难度的主题切分，SWE-bench 包含跨编程语言和脚手架变体的子集，而 Open LLM Leaderboard 则是六个独立基准的综合体。Evaluation Cards 创新性地提出了五层展开层次结构：基准家族（Family，如 SWE-bench）、复合套件（Composite，如 Artificial Analysis Index）、单一基准（Benchmark，如 GSM8K）、数据切分（Split，如 MATH 的 algebra 子集）以及度量指标（Metric，如 pass@1）。系统将每个具体得分精准解析为该层级中的唯一路径，例如将 GPT-5 在 MATH 上的得分解析为 MATH-family → artificial_analysis → MATH-500 → advanced-math → accuracy。这一设计不仅消除了同名但不同切分或评分规则导致的虚假冲突，还允许将质量完整性警告精确挂载到具体的度量路径而非笼统的基准名称上，使读者能够自顶向下逐层下钻，分清某个宏观结论究竟是有充分细粒度证据支撑还是仅依赖孤立数值。

2. 异构实体解析与规范化流水线：建立统一可比实体空间 跨来源评测数据在模型名称、基准标识和指标字符串上存在严重的命名漂移。例如，同一模型在不同报告中可能记为 gpt-4、gpt-4-0613 或 OpenAI GPT-4，而基准名可能混合了论文原名、排行榜 slug 或带版本后缀的变体。系统设计了三阶段规范化机制：首先进行确定性表面清洗（转小写、合并非字母数字符号、提取版本后缀与多语言语言标识），然后通过统一实体注册表（Entity Registry）执行多级查找策略。查找按置信度递减顺序依次尝试：严格别名匹配（Exact Alias Match）、规范表面匹配（Normalized Match）以及狭义词干模糊匹配（Fuzzy Stem Match，剥离量化版本或上传格式后缀以防过度合并）。若全部未命中，原始字符串将保持原样流入后续流程并标记为待人工审查候选。在针对 200 个随机实体的实证抽检中，该解析器在模型、基准和指标实体上分别达到了 98.3%、77.4% 和 86.7% 的解析准确率，成功打通了跨来源合并的基础。

3. 四维量化解释信号：解构评测证据的可信度边界 针对评测报告中信息严重缺失却被盲目采信的现状，框架形式化定义了四项无惩罚性但高度透明的解释信号： - 可复现性（Reproducibility）：定义基础复现必填子模式 $F_{\text{repro}}=\{\text{temperature}, \text{max\_tokens}\}$，智能体基准则额外强制要求 $\text{harness}, \text{eval\_plan}, \text{eval\_limits}$。对于评测三元组 $r=(m, b, \mu)$，只要任一字段缺失即触发警报标志 $G_{\text{repro}}(r)=1-\prod_{f\in F_{\text{repro}}}\text{pop}(f,r)$，并在界面直观列出缺失的具体参数名。 - 报告完整性（Reporting Completeness）：基于包含 28 个操作化字段的完整模式 $F$，计算基准 $b$ 的无权平均覆盖度 $C(b)=\frac{1}{28}\sum_{f\in F}s(f,b)$。其中全覆盖/保留字段二值计分，部分覆盖字段（如包含子项的结构化说明）按其实际填写的子项比例分式计分 $s(f,b)=\frac{1}{|\text{sub}(f)|}\sum_{f'\in\text{sub}(f)}\text{pop}(f',b)$。 - 溯源与风险（Provenance & Risk）：提取评测主体关系 $\rho(r)\in\{\text{first\_party}, \text{third\_party}, \text{collaborative}\}$，标记是否存在单一开发者自测的垄断偏差 $\text{FPO}(m,b,\mu)$，并无缝继承 Auto-BenchmarkCards 中由 IBM AI Atlas Nexus 映射出的风险类别标签 $\mathcal{K}(b)$，以警示潜在合规与伦理漏洞。 - 跨来源可比性（Comparability）：在指标原生尺度 $[\mu_{\min}, \mu_{\max}]$ 上设置统一发散阈值 $\theta=0.05$（即 5% 量程）。分别针对同方不同设置（变体发散 $D_{\text{var}}$）与不同机构间测试结果（跨方发散 $D_{\text{cp}}$）计算分数跨度比率： $$D_{\text{cp}}(m,b,\mu)=\mathbf{1}\left(|\mathcal{P}(m,b,\mu)|>1 \land \frac{\max_p\sigma(p)-\min_p\sigma(p)}{\mu_{\max}-\mu_{\min}} > \theta\right)$$ 若超标则触发警报 $D_{\text{comp}}=\max(D_{\text{var}}, D_{\text{cp}})$，并同步高亮产生差异的超参配置。

4. 差异化读者双模式：兼顾方法论穿透与政策可读性 面对技术人员与非技术监管者截然不同的认知负荷承受力，系统对完全相同的底层数据提供了两种可即时切换的呈现模式。研究模式（Research Mode）面向评测工程师与元分析学者，完全展开配置细节，明确列出导致复现失败的具体缺失超参数、展开 LLM-as-a-judge 的打分系统提示与裁判超参，并逐项标明基准在各个设置间的微小差异；政策摘要模式（Summary Mode）则面向监管人员与非技术决策者，将冷僻的技术警报转译为清晰的自然语言结论。例如，将复现性缺失转译为“该模型在测试时的提示与生成设置未公开”，将可比性发散转译为“不同机构评测得分存在显著冲突的警告描述”，并将复杂的指标设置概括为“分数越高代表性能越强”，同时固定提炼“测量内容、主要警告、适用场景”三大摘要卡片。

一个完整示例¶

以 OpenAI GPT-5 在 MATH-500 上的评测记录为例。原始数据来自三个不同机构的报告：LLM Stats 记录得分为 84.7%，某第三方记录为 91.2%，而 Artificial Analysis 报告得分为 98.9%。在传统扁平视角下，读者会误以为这是相同模型在同一任务上的性能漂移。通过 Evaluation Cards 管道： 1. 实体规范化将多源模型名归一到 openai/gpt-5，基准名规约至 math_500，指标规约为 accuracy。 2. 层次结构映射明确其完整路径为 MATH-family → artificial_analysis → MATH-500 → advanced-math → accuracy。 3. 信号计算引擎检测到多机构报告的最大最小分差达到 $(0.989 - 0.847) / 1.0 = 14.2\% > 5\%$，立刻激活 $D_{\text{cp}}=1$ 的跨方可比性发散告警。 4. 在研究模式下，系统进一步展示发散根源：Artificial Analysis 采用了带思维链提示（COT）且温度设为 0，而 LLM Stats 缺少采样温度记录且采用了零样本直接生成。在政策摘要模式下，系统直接呈现醒目标签：“GPT-5 在该任务上存在显著的跨机构得分冲突（极差 14.2%），且 95% 的相关报告未提供复现所需的生成参数”。

实验关键数据¶

主实验¶

论文基于部署的监控工具，对由 30 家组织贡献的 5,816 个模型、635 个基准以及 101,955 条公开评测记录执行了全景式实证审计。审计针对结果级复现性、基准级文档完整性、报告方溯源垄断以及跨机构可比性发散四个核心维度展开。

审计维度	考察规模与单元	关键指标	观察结果	核心发现说明
结果级复现性缺失	50,461 个 (模型,基准,指标) 三元组	缺失至少 1 项复现参数比例	96.5%	48,698 个三元组缺少 minimal reproducibility 参数
超参缺口分布 (常规)	50,461 个三元组	`max_tokens` 缺失率 / `temperature` 缺失率	95.6% / 93.9%	绝大多数公开评测完全隐去了最基础的生成参数
超参缺口分布 (智能体)	智能体基准评测三元组	`eval_plan` 缺失率 / `eval_limits` 缺失率	100.0% / 100.0%	智能体评测中的执行规划与资源限制全部处于未披露状态
第一方 vs 第三方复现率	180 对同模型-基准的第一/第三方配对	基础复现字段平均填充率	0.0% vs 16.6%	第一方开发者自测的复现信息披露严重滞后于第三方评测
基准级文档完整性	635 个收录基准	28 项模式指标平均完整度中位数	10.7%	除得分数值外，基准背景、构建意图与局限性普遍空白
评测溯源垄断性	49,865 个 (模型,基准) 配对	单一机构独立报告比例	98.2%	仅 1.8% 的模型-基准对拥有多来源交叉验证数据
跨机构多源发散率	181 个多组织复测指标组	跨机构得分差超过 5% 比例	51.9%	在存在多家测试的场景下，超过半数的评测出现严重得分分裂

消融实验¶

为了验证实体解析器（Entity Matcher）在支持跨源规范化过程中的有效性，作者在 EEE 语料中针对模型、基准与指标三类实体各随机抽取 200 个样本进行了人工标注校验。此外，论文对比了第一方自测与独立第三方评测在不同基准领域中的分布差异，揭示了不同评测任务下第一方垄断的结构性偏差。

评估对象 / 任务类型	样本容量 / 统计基数	评估指标	测评表现	说明与设计洞察
模型实体解析准确率	200 个随机模型标识符	规范化预测准确率	98.3%	词干模糊匹配有效收敛了量化版本与格式变体
基准实体解析准确率	200 个随机基准标识符	规范化预测准确率	77.4%	基准名称别名混杂且缩写歧义较多，依赖持续维护
指标实体解析准确率	200 个随机指标标识符	规范化预测准确率	86.7%	成功将 "COT on X" 等符合表达式解析为原子指标
智能体基准第一方占比	智能体类评测配对	第一方独家报告比例	15.1%	智能体构建成本高，开发者第一方自测垄断显著
通用基准第一方占比	通用能力类评测配对	第一方独家报告比例	12.5%	开发者倾向于在通用大榜上率先发布未经复现的自选高分
安全基准第一方占比	安全性/红队类评测配对	第一方独家报告比例	0.8%	安全评测主要由独立第三方和学术安全机构主导，垄断最低

关键发现¶

开发者自测的复现黑盒最为致命：在 180 个存在第一方自测与第三方复测对照的配对样本中，第一方自测报告在基础复现字段上的填充率惊人地呈现为 0.0%（第三方为 16.6%）。模型开发者在技术报告中极度倾向于直接抛出最终高分，而隐去一切提示词与采样超参。
孤立分数掩盖了基准维度的实质空白：全库 635 个基准的文档完整度中位数仅为 10.7%。虽然原始分数字段的填充率高达 100.0%，但预注册链接 preregistration_url 和生命周期状态 lifecycle_status 的填充率均为 0.0%，这意味着当前整个评测生态严重偏向“刷分”而忽视基准本身的科学效度构建。
交叉验证极其匮乏且高度分裂：98.2% 的模型-基准评测仅有单一来源，缺乏任何交叉比对；而在拥有多方评测的 181 个指标组中，有 51.9%（94 组）在相同模型和基准上的得分跨度突破了 5% 的容忍门槛（如 Llama 3.2 在 MMLU-Pro 上 Hugging Face 报告为 20.9%，而 Arcadia Impact 报告高达 61.8%），证明排行榜单一方面的数据绝不可盲信。

亮点与洞察¶

从纸面清单转向自动化聚合层：过去学术界提出了大量诸如 Model Cards、BenchmarkCards 等规范，但大多因极高的人工录入成本沦为死纸。Evaluation Cards 创新性地将 EEE 运行日志与 Auto-BenchmarkCards 机器提取元数据进行下游管道编排，实现了评测元数据的免标注自动化规模化生产。
透明度告警代替道德裁判：系统不设定主观的合格/不合格门槛，也不给出诱导性的字母等级评分，而是将不可复现和不可比性转化为客观的中立特征标记。这种机制既避免了引起开发者的抵触，又真实暴露了下游部署决策所面临的盲区。
解耦认知负荷的双读者模式：首次将评测信息系统的界面交互区分为技术深度剖析与监管政策摘要，使得同一个标准化评测卡片既能服务于评测专家的复现调优，又能为政策制定者提供可读、可溯源的责任边界证据。

局限与展望¶

依赖上游数据源的真实性与覆盖率：作为下游整合层，Evaluation Cards 的信号质量高度受制于 EEE 和 Auto-BenchmarkCards 的数据抽取精度；若上游提取存在事实偏差或漏采闭源模型数据，系统本身无法纠偏。
缺乏污染控制的显式结构化字段：当前对于学术界最为关注的训练数据污染问题（Data Contamination），框架仅将其归入自由文本局限性说明中，未能转化为参与完整性计分的量化结构化字段。
仅聚焦于纯文本 LLM 评测模态：系统目前涵盖的 635 个基准绝大多数集中于英文大语言模型，尚未扩展至视觉-语言等多模态模型或具身实体智能体环境，跨语言与跨模态基准元数据有待后续迭代扩充。

评分¶

新颖性: ⭐⭐⭐⭐ [构建了打通运行日志与基准元数据的首个自动化 AI 评测解释层与五层展开层次结构]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5,816 个模型、635 个基准和超 10 万条结果的全景式跨源实证审计]
写作质量: ⭐⭐⭐⭐⭐ [问题定义清晰，形式化定义完备，深入结合了 52 篇文献综述与 12 场专家访谈]
价值: ⭐⭐⭐⭐⭐ [直击当前大模型评测碎片化与不可复现的痛点，为 AI 科学评测与治理提供了可操作的基础设施]