Fine-Grained Benchmark Generation for Comprehensive Evaluation of Foundation Models¶

会议: NeurIPS 2026
arXiv: 2605.18824
领域: LLM评测
关键词: 基准测试生成, 基础模型评测, 细粒度评测, 解题图驱动, 多智能体协同

一句话总结¶

提出了基于多智能体与解题图驱动的自动化基准生成框架 Flame，以权威教科书为外部知识源自动化构建具备高覆盖度、丰富元数据且抗数据污染的高质量多选题评测基准。

研究背景与动机¶

基础模型在自然语言理解、代码生成与数学推理等前沿领域展现出迅猛的能力演进，然而评测基准的演化速度却显著滞后于模型迭代步伐。当前学术界与工业界多依赖 MMLU-Pro、SuperGPQA 以及 Humanity's Last Exam (HLE) 等既有基准。这些基准在各个具体领域内通常仅由规模较小、采样稀疏的高难度试题构成，无法对目标领域的整体能力空间形成充分覆盖，从而留下了大片未被探查的能力盲区。此外，既有基准普遍仅输出单一的总体汇总分数或少数粗粒度统计量，缺失结构化分类层级与富元数据支撑，导致模型开发者只能观察到模型间的宏观胜负，却无法精准定位具体是哪些概念理解或推理技能存在缺陷。

静态基准还饱受数据污染与高昂人工构建成本的双重夹击。随着互联网语料在预训练和后训练微调中的广泛吸纳，经典评测数据被模型暗中记忆的现象屡见不鲜，极大侵蚀了评测结论的有效性与可信度；而依赖领域专家从零手写、审校高阶难题的传统策展流程不仅周期漫长、耗费巨资，更无法跟上基础模型高速迭代的需求。

针对上述瓶颈，本文主张将基准生成深度锚定于结构完备的权威教科书等外部知识源，并将其转化为结构化的两级能力分类树，再通过由解题图驱动的多智能体协作管线动态生成评测题目。核心 idea：利用教科书章节脉络与概念依赖图，先构建多步前向推理的解题有向无环图，再据此逆向拟合自包含多选题，并通过生成器与验证器交替的多轮质检修复闭环，实现高可信真实解、抗数据污染且具高覆盖度的细粒度自动化评测。

方法详解¶

整体框架¶

Flame 框架整体分为两大阶段：知识源策展预处理阶段与自动化任务生成阶段。在预处理阶段，领域专家选定覆盖目标领域的权威教科书，提取章节结构并合并构建两级能力分类体系（领域 Area 与细分能力 Competency），利用 Docling 与 OCR 模块清洗章节正文，过滤前言、目录和课后习题。在任务生成阶段，系统采用基于 AutoGen 架构的生成器（Designer，基于 Gemini 3.1 Pro）与验证器（Verifier，基于 Claude Opus 4.6）双智能体分工机制，依次执行章节知识结构化、布鲁姆高阶认知映射、解题图引导的种子题生成、多轮迭代精炼质检与双重去重过滤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["权威教材 PDF 与两级分类体系<br/>章节抽取与正文清洗过滤"] --> B["知识结构化与概念依赖图构建<br/>核心概念/程序/定理/约束抽取"]
    B --> C["高阶认知与难度控制<br/>对齐布鲁姆认知层级 (Hard)"]
    C --> D["解题图驱动的任务生成<br/>先构建多步推理 DAG 再拟合题干与选项"]
    D --> E["迭代精炼与质检修复流水线<br/>自包含/解题轨迹完整性/精简/去教材痕迹/健全性"]
    E --> F["双模型交叉终审与重试循环<br/>验证器评估格式/选项唯一性/认知对齐"]
    F -->|通过| G["嵌入相似度去重过滤<br/>余弦相似度阈值 0.90"]
    G --> H["输出高质细粒度 Benchmark<br/>全元数据多选题集"]

关键设计¶

1. 知识结构化与两级能力分类树构建：为基准评测提供系统化覆盖依据
现有基准题目往往随机选题或只关注零散难点，导致无法全面映射领域全貌。Flame 首先借助专家构建两级领域分类树，并将教科书的核心部分映射至宏观领域（Area），具体章节映射为细分能力（Competency）。在题目生成前，Designer 智能体对输入章节正文执行深度解析，结构化抽取核心概念与定义（Core Concepts）、规则与计算流程（Rules & Procedures）、派生定理与引理（Derived Relationships）以及边界条件与常见误区（Constraints & Caveats），并在概念间建立前向先验依赖图（Dependency Graph），迫使后续生成的题目必须跨越多个交互概念，杜绝单纯死记硬背的孤立事实提问。

2. 布鲁姆认知层级与难度控制策略：聚焦高阶推理与模型区分度
初筛实验发现，低布鲁姆认知层级（Remember、Understand）或中低难度题目普遍缺乏对前沿模型的区分能力，常导致各模型准确率饱和堆叠。为此，Flame 引入了认知深度与难度耦合机制，将认知层级（布鲁姆六大级别）与难度等级（Easy、Medium、Hard）进行语义约束匹配，最终基准严格收敛至高难度结合高阶认知的四类黄金组合：Hard-Apply（复杂情境下的计算与算法实现）、Hard-Analyze（多元模式对比与深层推断）、Hard-Evaluate（依据标准对复杂论断进行判别与论证）与 Hard-Create（全新架构设计、方程重组与方案构思）。

3. 解题图驱动的生成机制：保障真实解标签的严密性与逻辑有效性
传统直接生成模式（Direct Prompting）容易让大模型产生浮于表面、与教材知识弱相关的陈述，甚至诱发幻觉导致参考答案错误。Flame 采用解题图驱动（Solution-Graph-Driven）策略：Designer 智能体首先在概念依赖图基础上构建一条多步骤的求解轨迹，该轨迹表现为有向无环图（DAG），其中每个节点代表中间推理结论或计算变量，每条边代表调用教材具体定理、算法或运算规则的转换操作；在严密固化该 DAG 后，智能体再逆向编写必须沿此逻辑轨迹推演方可求解的自包含题干，并合成 4 个具迷惑性的干扰项（针对推理过程中的典型错误如漏算边界条件、公式套用错误、遗漏步骤）与 1 个标准选项 E（None of the above）。这一设计将验证难度显著降阶，大幅降低真值错误率。

4. 异构双智能体多轮质检与修复闭环：实现端到端工业级题目清洗
为避免单模型自审时的盲区共振，Flame 部署 Gemini 3.1 Pro 承担生成与编辑修复，Claude Opus 4.6 负责判别式验证。生成的种子候选题必须依序穿透五道精细加工工序：①自包含修复（补全未定义符号与隐式假设，但保留领域公理）、②轨迹感知完整性审查（Verifier 验证每步逻辑演算、检查答案唯一性与干扰项必然错误性，给出诊断供 Designer 靶向修改）、③题干精简（剔除对解题无关的多余定义复述）、④去教材标记（清除“根据本章第X节”等外部依赖表述）、⑤语言与逻辑健全性复核。最终经由 Verifier 执行包含格式、选项独立性、认知匹配度与约束遵守度的端到端终审；未通过项携结构化诊断回流修复，最多迭代 3 轮。

5. 提示词防重与向量相似度双重去重：保障题库多样性与知识覆盖均衡
单章节内如果多次命中相同解题模式或相同概念子集，会削弱基准多样性。Flame 采取双层防重：在生成阶段，提示词中实时追加该章节已接收题目的概念与方法摘要，明确指令禁止生成在认知步骤、核心算法或解题链路上相似的重复题目；在章节全量生成结束后，将所有题目的题干与正确答案拼接后通过 text-embedding-3-small 生成嵌入表示，采用贪婪聚类算法将最大两两余弦相似度高于 0.90 的题目彻底筛除。

一个完整示例¶

以机器学习基准中生成的一道关于正则化流（Normalizing Flows）的 Hard-Analyze 题目为例： 1. 知识结构抽取：从教材章节识别核心概念包括雅可比行列式计算、可逆变换复合与高维概率密度代换定理。 2. 解题图构建：节点 $N_0$（输入分布形式 $z \sim \mathcal{N}(0, I)$）$\xrightarrow{\text{仿射耦合层变换}}$ 节点 $N_1$（输出变量 $x$ 的分量切片表达式）$\xrightarrow{\text{分块三角矩阵雅可比行列式}}$ 节点 $N_2$（对数雅可比绝对值求和）$\xrightarrow{\text{引入维数伸缩与特定非线性激活}}$ 节点 $N_3$（在特定奇异边界下的密度发散条件）。 3. 题干与选项拟合：给出具体仿射耦合网络结构与非线性伸缩算子，要求判定在特定隐空间边界下其输出概率密度的解析性。A-D 选项分别对应漏算对角元素乘积、混淆正反变换符号以及误用标准高斯近似的计算结果，E 为 None of the above。 4. 精炼与终审：去除题干中教材章节编号引用，验证器校验 $N_1 \to N_2$ 演算无误，判定答案具有唯一性，最终进入题库。

实验关键数据¶

主实验¶

Flame 团队构建了涵盖机器学习（ML，970 题）、公司金融（Corporate Finance，685 题）与个人理财（Personal Finance，199 题）三套基准。专家抽样审校（包含均匀随机抽样与前沿大模型做错的高疑难题抽样）显示，Flame 的真值错误率显著低于 GSM8K（~5%）和 MMLU（~6.5%）。同时，在各领域能力覆盖的归一化熵值、模型区分度（Separability，各模型准确率的平均绝对离差）与题目难度（Difficulty，最优模型的错误率）上全面超越已有基准。

领域	基准数据集	题目数量	归一化熵 (Coverage) ↑	难度 (Difficulty) ↑	区分度 (Separability) ↑
机器学习	HLE	21	0.6754	0.762	0.056
机器学习	MMLU-Pro (AI/ML)	85	0.8094	0.200	0.067
机器学习	Flame-ML (本文)	970	0.9791	0.283	0.108
公司金融	xFinBench	537	0.8448	0.244	0.046
公司金融	FinanceMath	106	0.6013	0.440	0.077
公司金融	BizBench	387	0.6133	0.159	0.033
公司金融	Flame-CorpFin (本文)	685	0.9969	0.321	0.091
个人理财	xFinBench	441	0.6883	0.244	0.046
个人理财	FinanceMath	94	0.6737	0.440	0.077
个人理财	BizBench	357	0.7418	0.159	0.033
个人理财	Flame-PersonalFin (本文)	199	0.9605	0.501	0.059

消融实验¶

消融与流水线统计重点考察了布鲁姆各认知等级的通过率、重试开销以及流水线各阶段的过滤与修复表现。数据显示，较复杂的认知生成类型（Create）在验证与修复阶段承受最大的质检压力。

布鲁姆认知层级	候选题目总数	首轮验证通过率 (%)	修复后最终通过率 (%)	平均重试次数
Analyze	502	95.62%	100.00%	0.05
Apply	505	96.01%	100.00%	0.04
Evaluate	513	97.71%	100.00%	0.02
Create	494	80.46%	98.38%	0.22

流水线生产成本与损耗统计： - 个人理财：生成 220 题候选，首轮通过 208 题，修复入选 5 题，丢弃 0 题，向量去重剔除 14 题，最终产出 199 题（耗时约 2 天，花费 $48.67）。 - 公司金融：生成 800 题候选，首轮通过 772 题，修复入选 18 题，丢弃 1 题，向量去重剔除 104 题，最终产出 685 题（耗时约 2 天，花费 $181.96）。 - 机器学习：生成 1060 题候选，首轮通过 910 题，修复入选 93 题，丢弃 7 题，向量去重剔除 33 题，最终产出 970 题（耗时约 4 天，花费 $284.13）。 - 全流程合计：生成 2080 题，最终录用 1854 题，总 API 支出仅 $514.76（均摊每道高难度专业题仅约 $0.28）。

关键发现¶

显著揭示出细粒度能力短板：主流商业模型在粗粒度总分上接近，但 Flame 准确揭示了不同体系的具体薄弱点。例如在机器学习中，Gemini 3.1 Pro 和 Claude Opus 4.6 在推荐系统上得分一致，但在在线与序列学习（Online & Sequential Learning）中差距明显；开源模型 DeepSeek-R1-Distill-32B 在整体表现稳健，但在该领域则急剧掉落。
抗数据污染能力显著占优：在测试集插槽猜测（TS-Guessing）协议下，对于短文本和数学选项，GPT-5.4、Claude Opus 4.6 等模型在 MMLU-Pro 与 xFinBench 上的猜测成功率居高不下（揭示了训练集记忆泄漏），而在 Flame 生成的数据集上猜测成功率处于极低基线。
模型表现与布鲁姆层级不呈简单单调衰减：在 Hard 难度下，更高级别的 Evaluate 与 Create 题目的各模型准确率并没有大幅低于 Apply 和 Analyze，这说明模型的特定技能掌握程度比抽象的认知层级难度对结果影响更大。

亮点与洞察¶

解题图先行（Solution-Graph-Driven）的题目生成范式：先让 LLM 构建由形式化概念规则约束的多步前向推理 DAG，再封闭生成题干与选项。这颠覆了传统“先写问题再让模型推导答案”容易引发幻觉逻辑的缺陷，实现了极高的标签保真度。
异构双模型（Gemini + Claude）生成-验证隔离架构：解耦出设计生成者与审校验证者角色，有效规避了单模型的隐式认知盲点与结构性偏见，形成了工业级可复现、低成本的题目清洗闭环流水线。
具备直接向新学科低成本横向迁移的架构潜力：输入仅需一本高质量专业教材与数小时专家 taxonomy 校验，即可在数天内以数百美元的成本自动化构建出千题级的高难度、全覆盖评测基准。

局限与展望¶

受限于单选题（MCQ）形态：尽管单选题排除了 LLM-as-a-judge 的打分偏见与不确定性，但无法完全测验长文本开放式生成、复杂代码工程落地以及自由交互规划等综合能力。
对前沿底模能力的高度依赖：解题图构建与验证的上限受限于当前最顶尖商用模型的推理水平；面对极端复杂的理论推演，仍存在极少数符号与常数遗漏。
教材知识源的潜在局限性：基准严格基于教材知识，在带来严密性和体系性的同时，也继承了经典教材对新兴前沿进展覆盖滞后的天然属性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 提出的解题图先行逆向拟合题目思路极为巧妙，摆脱了单纯 prompt 生成题目的幻觉困境。
实验充分度: ⭐⭐⭐⭐⭐ 跨机器学习与双金融领域共 1854 题，覆盖 12 款主流前沿开源与闭源模型，并经过多重专家审校与防污染验证。
写作质量: ⭐⭐⭐⭐⭐ 论述清晰严谨，流水线步骤与消融统计极其详尽。
价值: ⭐⭐⭐⭐⭐ 为大模型领域摆脱传统静态基准饱和、数据污染与缺乏诊断价值的痛点提供了标准范式。