CroissantMiner: Automated Extraction and Validation of Croissant Metadata for ML Datasets¶

会议: NeurIPS 2026
arXiv: 2610.07132
代码: https://github.com/berkearda/croissantminer
领域: 其他
关键词: Croissant元数据、责任AI（RAI）、大语言模型提取、结构化信息抽取、评测基准

一句话总结¶

本文提出了首个覆盖 Croissant 1.1 全套 30 个核心与责任AI字段的端到端数据集元数据抽取基准与系统 CroissantMiner，实证发现全上下文单次推理在准确率与成本上系统性优于四类多步骤智能体架构。

研究背景与动机¶

机器学习研究高度依赖详尽规范、可发现且可复现的数据集文档。然而在现实研究与开源生态中，数据集文档长期呈现高度碎片化、非结构化与散落分布的状态，阻碍了跨平台检索、代码复用与合规性审查。为了破除这种格式壁垒，MLCommons 推出了 Croissant 机器可读元数据标准，并被 Hugging Face、Kaggle 和 OpenML 迅速采纳。NeurIPS 2026 更明确强制要求所有数据集赛道投稿必须附带符合规范的 Croissant 责任 AI（RAI）元数据文件。然而，对于动辄数十页的学术论文而言，人工通读全文并手动填报数十个专业字段极其耗时费力，NeurIPS 2025 问卷显示多达 16% 的作者因元数据生成困难与托管约束遭遇投稿障碍；与此同时，仅 Hugging Face 每月新增数据集就超 3 万个，纯人工录入已完全无法承载生态规模。

然而，现存的自动化元数据抽取方案存在显著局限。现有工具要么仅能从实际数据文件中读取列名等基本物理结构，无法捕捉论文中散落的数据收集、清洗与标注背景；要么仅针对简单非标准 schema 提取少数几个字段，难以直接生成符合社群规范的机器可读 JSON-LD。更关键的是，领域内缺乏一个经由严格人工校验、覆盖完整模式字段的高质量基准，导致无法系统评估前沿模型在学术论文长上下文下的结构化信息抽取能力。

面对学术文献中长程分散描述、表述含糊以及大量字段在原文中压根未提及的真实复杂场景，单纯依靠 prompt 经验摸索无法确定最佳抽取架构。核心 idea：构建首个包含 102 篇人工严格校验金标与 500 篇银标的 30 字段全模式 Croissant 评测基准 CroissantMiner，并通过规则校验与人类校准的 LLM Judge 双层评分体系，系统证伪“多智能体任务分解优于单次大模型抽取”的普遍直觉，确立高质量全上下文单次抽取基线。

方法详解¶

整体框架¶

CroissantMiner 包含基准构建与元数据自动化抽取验证两大管线。在基准构建端，论文首先通过 PDF 文本清洗并去除参考文献，采用预填充范式由前沿模型生成候选字段，随后组织来自 18 个机构的 22 位专业标注员进行多轮三级判定与失误模式归因，通过多数表决与资深作者仲裁沉淀出高质量金标；在系统抽取端，管线以论文 PDF 为输入，经过文本预处理后，分别交由全上下文单次抽取（Single-Pass）或四种具有代表性任务分解范式的智能体架构（Parallel Specialists、Triage & Critique、Locator-Extractor、ReAct）进行预测，最终输出严格符合 Croissant 1.1 规范的 30 字段 JSON-LD 并由双层评测机制打分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["数据集论文 PDF 输入"] --> B["文本预处理与清洗<br/>PyPDF2 提取 + 正则剔除 References + 保留附录"]
    B --> C["全上下文单次抽取：规范提示词设计<br/>角色设定 + 精度优先 + 30 字段指南 + 显式判空"]
    B --> D["智能体架构对比体系<br/>并行专家 / 预筛批判 / 定位抽取 / 交互式 ReAct"]
    C --> E["双层分级评测框架<br/>Tier 1 规则精确匹配 + Tier 2 人类校准 GLM-5 裁判"]
    D --> E
    E --> F["规范验证与 JSON-LD 产出<br/>Croissant 1.1 校验 + 置信度标注"]

关键设计¶

1. 规范抽取提示词工程：端到端单次全上下文约束

针对长篇学术论文中事实细节密集且容易产生虚假关联的痛点，系统设计了一套约 2,100 词的规范系统提示词（Canonical Prompt）。该提示词系统性整合了四个维度：专业抽取专家角色设定、严苛的“精度优先与严禁臆测”原则（明确要求仅抽取论文明确陈述的事实，严禁引入外部先验知识，未提及一律输出 null）、官方 Croissant 1.1 规范定义的 30 个字段对齐指南，以及针对易幻觉字段的正反例与边界条件说明。所有单次抽取均在固定温度 $\tau=0$ 和固定最大生成长度下执行，从而最大化输出的一致性与可复现性。该设计使得前沿大模型能够在单次推理中完整维持全篇上下文的一致性视野，直接规避了多轮传递导致的语义衰减。

2. 四种智能体分解范式对标：多阶段系统化解构

为彻底检验“智能体分解与工具调用能否提升复杂抽取精度”，研究团队形式化实现了四种覆盖当前主流范式的多智能体抽取系统，并给予同等强度的提示词调优与错误校验机制： - 并行专家架构（Parallel Specialists）：将 30 个字段按语义解构为核心属性（core）、数据收集（collection）、标注协议（annotation）、社会影响（impact）与数据处理（processing）五个互不重叠的子组，由 5 个独立专家提示词并行抽取，对输出为空的字段执行一次重查，最后通过字典并集聚合； - 预筛与自我批判架构（Triage & Critique）：先由轻量模型（Gemini 2.5 Flash）扫描论文目录与章节标题，预估五个子组的存在概率；主模型单次提取全部字段并强制要求附带原文佐证引文；对预筛判定存在但提取为空的字段及全部核心字段发起二次复核，并剔除无法在原文中回溯引文的长文本 RAI 提取值； - 定位-抽取两阶段架构（Locator-Extractor）：采用两阶段上下文截断策略，首先基于章节标题定位各字段簇所在的候选段落，再由 5 个子模型分别仅读取对应段落完成字段抽取，最后针对空字段通过 Hugging Face 与 Semantic Scholar 元数据执行外部补全与置信度打分； - 交互式推理与工具调用智能体（ReAct Agent）：构建具备动态决策回路的 ReAct 智能体，赋予其阅读整篇论文（read_full_paper）、段落检索（search_paper）、Hugging Face 检索（search_huggingface）、URL 验证与许可证正规化等多类工具，使其自主规划推理步数并在多轮交替中组装输出。

3. 双层分级评测与人类校准裁判：客观准确与语义容错统一

针对数据集元数据跨越结构化枚举值与主观长篇叙述的特点，研究构建了结合确定性规则与 LLM 裁判的双层评测体系。Tier 1 针对 10 个核心字段中的 7 个枚举型/受控词字段（如 license、inLanguage、datePublished、isLiveDataset 等）执行标准化后的精确字符匹配（Exact Match），对 3 个短文本字段（description、creator、citeAs）采用 Token-F1 评估；Tier 2 针对 20 个长文本责任 AI（RAI）字段（如 dataCollection、dataLimitations 等），采用独立的 LLM 裁判在 1–3 分三级序数尺度上打分（1分：捕捉核心事实；2分：部分正确/遗漏核心要点/杂糅无关内容；3分：实质性事实背离或在金标为 NULL 时产生幻觉）。为防止裁判偏差，研究团队在 60 个开发集单元格上对 6 种前沿模型作为裁判的人机一致性进行了两阶段 Quadratic-Weighted Cohen's $\kappa$ 校准筛选，最终证实 GLM-5 取得了最高的综合相关性（$\kappa = 0.890$）。随后，两位资深作者独立双盲标注了跨全部 20 个 RAI 字段的 200 个高难样本单元格，证实被选定的 GLM-5 裁判与人类专家共识达到 71.5% 的完全一致率（$\kappa = 0.663$），与两位人类标注员之间的彼此一致率（72.0%，$\kappa = 0.739$）相当，从而奠定了大规模评测的可靠基准。

实验关键数据¶

主实验¶

评测在包含 88 篇留出测试集论文的严格金标上展开，涵盖 10 个核心字段（Core，满分 1.0）、20 个责任 AI 字段（RAI，满分 1.0）以及 30 字段等权平均的综合得分（Composite，附带 2,000 次论文聚类 Bootstrap 95% 置信区间）。

抽取系统	架构类型	Core 得分	RAI 得分	Composite 综合得分 [95% CI]
Claude Sonnet 4.6	Single-Pass (单次)	0.752	0.687	0.709 [0.688, 0.729]
Claude Opus 4.7	Single-Pass (单次)	0.676	0.711	0.699 [0.665, 0.732]
GPT-5.4	Single-Pass (单次)	0.653	0.671	0.665 [0.648, 0.692]
Qwen 3.6 35B-A3B	Single-Pass (单次)	0.698	0.601	0.634 [0.615, 0.654]
GLM-5.1	Single-Pass (单次)	0.675	0.599	0.625 [0.604, 0.645]
Gemini 2.5 Flash	Single-Pass (单次)	0.615	0.616	0.616 [0.592, 0.639]
ReAct (Sonnet 4.6)	ReAct Agent	0.734	0.610	0.652 [0.626, 0.687]
Parallel Specialists (Sonnet 4.6)	并行专家	0.699	0.621	0.647 [0.626, 0.667]
Triage + Critique (Sonnet 4.6)	预筛+自我批判	0.675	0.599	0.624 [0.606, 0.653]
Locator-Extractor (Sonnet 4.6)	定位-抽取两阶段	0.643	0.528	0.566 [0.543, 0.592]
Llama 4 Scout 17B	Single-Pass (单次)	0.506	0.334	0.391 [0.374, 0.409]

消融实验：同底座下智能体分解架构对比与成本倍率¶

为了严格剥离底座模型能力与系统架构的影响，研究以 Claude Sonnet 4.6 为统一骨干，系统对比单次全上下文抽取与四种多智能体分解架构的性能损失、金标有记录时遗漏率（Missed Rate）以及每篇论文的推理成本（美元与相对倍率）：

系统配置 (均基于 Sonnet 4.6)	Composite 得分	$\Delta$ (相比单次)	有效 RAI 遗漏率 (%)	单篇平均成本 ($)	相对成本倍率
Single-Pass (全上下文基线)	0.709	-	2.4%	$0.126	1.0×
ReAct Agent	0.652	-0.057	13.4%	$0.261	2.1×
Parallel Specialists	0.647	-0.061	10.9%	$0.726	5.7×
Triage + Critique	0.624	-0.085	14.8%	$0.213	1.7×
Locator-Extractor	0.566	-0.143	12.9%	$0.195	1.5×

关键发现¶

单次全上下文推理全面碾压智能体解构方案：在所有测试骨干模型（Sonnet 4.6、GPT-5.4、Gemini 3.1 Pro）上，四种智能体架构得分均无一例外显著低于单次抽取。在 Sonnet 4.6 下，多智能体方案的综合分数较单次抽取下降 0.057 至 0.143（经 BH-FDR 校正 $q < 0.001$）。其中，采用局部上下文截断的 Locator-Extractor 性能暴跌最严重（RAI 仅 0.528），证明限制模型长上下文视野直接破坏了多章节综合归纳能力。
智能体错误根源主要在于有效证据严重漏报：对智能体低分样本的深入归因显示，多步骤架构并未带来更高精确度，反而在论文实际存在陈述的事实上出现了高达 10.9%–14.8% 的未提取漏报率（而单次抽取仅 2.4%）。例如在 Parallel Specialists 中，43% 的错误是字段置空，其中大量案例是因为信息被另一个专门子专家提取到了邻近字段；在 Triage + Critique 中，过度的自我引文校验反而误杀删除了 14.8% 的真实长文本描述。
开销代价极不对称：多智能体分解不仅准确率下降，推理费用还暴增 1.2× 至 7.8×。例如 Parallel Specialists 在单篇处理上因重复发送全篇 prompt 导致成本高达 $0.726（5.7× 单次开销），彻底证实了在全模式结构化抽取任务上无盲目堆叠智能体调用的必要。
稀疏性决定论文抽取难度而非文档长度：在针对 6 至 119 页论文的统计中，抽取得分与页数相关性几乎为零（$\rho = -0.01$），与下载热度和发表年份也无显著相关；然而，论文中“未提及字段（NULL）”的占比与模型得分呈现强负相关（$\rho = -0.40$ 至 $-0.61$）。如何精准识别“原文未说明”并自信返回 null，是当前大模型面临的最核心挑战。

亮点与洞察¶

强有力的实证反共识洞察：在学术界普遍推崇 Agentic AI 与复杂推理图的大趋势下，本文用无可辩驳的严格对照证明：当模型长上下文与指令遵循能力足够强时，全文档一次性端到端推理在准确性、全局上下文综合能力及计算经济性上全面击败任务分解与工具交互回路。
工业级金标构建范式：采用 LLM Pre-fill + 三级人工校验 + 错误根因归因 + 资深专家二级仲裁的双层质检流水线，构建了首个具备 3,060 个多标注单元格的 Croissant 1.1 全规范基准，有效解决了负责任 AI 数据集元数据难以标准化评测的瓶颈。
人机裁判校准可迁移机制：明确展示了如何通过 Quadratic-Weighted Cohen's $\kappa$ 校准与人类双盲共识对照，挑选可靠的 LLM Judge（选定 GLM-5），为长文本信息抽取提供了一套兼顾可扩展性与统计严格性的客观评测协议。

局限与展望¶

作者承认的局限：
金标预填充最初依赖 Claude Sonnet 4.5，尽管 10 篇重标注实验显示排名稳定（Spearman $\rho = 0.903$），但仍不可避免对种子模型及其家族存在轻微锚定效应；
评测依赖 LLM 裁判，在最困难长文本字段上与人类存在约 28.5% 的分歧且略倾向于宽容给分；
部分极冷门 RAI 字段（如 dataImputationProtocol）在测试集中非空样本过少（仅有 2 例），导致单字段估计方差偏大；
当前基准聚焦于英文学术论文，尚未扩展到非英语数据集及最新的多模态图表抽取。
未来改进方向：探索多模态视觉大模型直接读取论文排版与表格结构；在预处理环节结合领域本体对易混淆字段（如 publisher）引入概念消歧；将 CroissantMiner 部署为人机协同审核工具，在作者投稿时对低置信度字段触发定向人工复核。

评分¶

新颖性: ⭐⭐⭐⭐ [首次建立针对 Croissant 1.1 社区标准的端到端评测基准，实证系统性推翻智能体分解在该任务上的优越性假设]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 24 种系统、22 位标注员、9,595 次打分，严格实施 Bootstrap 置信区间与显著性检验，包含深度的错误归因与成本剖析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨克制，问题切入点精准，实验对比清晰透彻，附录提供了完备的提示词与统计细节]
价值: ⭐⭐⭐⭐⭐ [切中 NeurIPS 2026 等顶会强制推行 Croissant RAI 元数据的迫切痛点，开源系统与在线 Demo 具极强实用价值]