K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs¶
会议: NeurIPS 2026
arXiv: 2605.09635
代码: https://github.com/haolpku/K12-Dataset
领域: 图学习
关键词: 知识图谱, 教育大模型, 课程认知, 多模态图谱, 指令微调
一句话总结¶
本文构建了首个对齐官方中小学课标与教材的多模态课程知识图谱 K12-KGraph，并衍生出评测结构化课程认知的基准 K12-Bench 与高质量微调语料 K12-Train，系统揭示了现有大模型在课程拓扑认知上的严重短板，并验证了图谱结构化先验对教育模型微调的高样本效率。
研究背景与动机¶
大语言模型在各类教育评测与应试基准上展现出了惊人的能力，在 C-Eval、CMMLU、GaokaoBench 等考试类基准中，前沿模型的得分甚至超越了优秀人类考生的平均水准。然而，这种测试仅仅停留于孤立的事实回忆与习题作答能力。在真实教学场景中，一位合格的教师不仅需要能够解答某个特定题目，更必须具备深层的「课程认知」（Curriculum Cognition）：熟知知识点之间的先修逻辑依赖（Prerequisite Chains）、学科概念的层级归属（Concept Taxonomies）、实验与理论概念的实证关联，以及教科书图表与习题之间的视觉证据链支撑。
现有教育大模型研究的核心矛盾在于：教育评测长期以试题解题准确率为唯一导向，缺乏对课程全局拓扑与教学进阶关系的探查机制；与此对应，现存的指令微调数据集也大多依赖通用问答或试题题库，未曾显式注入系统化的课程结构与多模态图表支撑信息。这导致大模型在充当智能导师（Tutoring）时，极易发生教学顺序颠倒、无法识别前置薄弱知识点，以及缺乏实验实证关联等严重缺陷。
构建这种课程级结构化认知面临着极高的规范性门槛，需要从权威的官方教材中抽取细粒度实体与严格的关系图谱，并有效打通跨年级、跨学科的概念演进与图文多模态关联。核心 idea：直接以官方中小学教材为权威信源构建多模态课程知识图谱 K12-KGraph，通过子图邻域采样与确定性模板构造探查课程认知的评测基准 K12-Bench，并基于图谱节点属性与边语义合成高样本效率的指令微调语料 K12-Train，形成结构化教育 AI 的完整闭环。
方法详解¶
整体框架¶
K12-KGraph 的整体构建与衍生应用流程包含两个核心阶段：第一阶段为知识图谱本身的五步抽取与校验管线，从教材原始 PDF 转化为具有 DAG 拓扑保证的异构多模态属性图；第二阶段为基于图谱的双轨衍生管线，一方面通过图邻域采样构建课程认知评测基准 K12-Bench，另一方面通过节点属性与边语义合成指令微调语料 K12-Train。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["官方人教版教材 PDF<br/>数理化生 48 册"] --> B["阶段一：多模态异构图谱抽取<br/>OCR 解析与跨学段层次合并"]
B --> C["阶段二：拓扑 DAG 自动校验与人工评审<br/>先修与分类层级无环性判定"]
C --> D["K12-KGraph 知识图谱<br/>9 类节点 + 14 类边"]
D --> E["阶段三：课程认知评测基准构建<br/>子图拓扑负采样与分层干扰项过滤"]
D --> F["阶段四：图谱引导数据合成<br/>属性与关系多模态问答对生成"]
E --> G["K12-Bench (23,640 题)<br/>课程认知多选题评估"]
F --> H["K12-Train (7,335 对)<br/>结构化教育指令微调集"]关键设计¶
1. 多模态异构图谱抽取与层次合并：统一全学段教材内容
中小学教材具有章节结构碎片化、图表图示丰富、同名概念跨学段渐进深化（如初中与高中的「速度」）等特点。抽取管线首先利用 MinerU 对原始 PDF 进行高保真排版与公式图表提取，随后基于 GPT-5.2 在严格的 Schema 约束下以句子级引用抽取实体与局部关系。合并阶段采用自底向上的两级策略：第一级为册内实体合并，统一概念与技能标识；第二级为学科内跨册合并，构建跨学段实体的全局指称。图谱最终包含 9 类节点（教材、章、节、概念、技能、实验、习题、插图、视觉元素）与 14 类有向边，涵盖先修依赖（prerequisites_for）、概念归属（is_a）、实证关联（verifies）、多模态接地（illustrates, refers_to）及教学进阶（leads_to）。
2. 拓扑 DAG 自动校验与人机协同闭环：确保严谨教学依赖链
在教育知识体系中，先修关系（prerequisites_for）与概念分类层级（is_a）在逻辑上必须严格构成有向无环图（DAG），否则将引发教学死循环。系统在抽取后执行基于深度优先搜索的拓扑环路检测：
$\(\mathcal{G}_{\text{prereq}} = (V, \mathcal{E}_{\text{prereq}}), \quad \text{CycleCheck}(\mathcal{G}_{\text{prereq}}) = \emptyset\)$
一旦检测到环路，即交由学科专家委员会依据国家课程标准进行裁决与反向纠偏。同时，对多模态关联设置严格置信度阈值（illustrates 需 \(\ge 0.85\)，requires_figure 需 \(\ge 0.95\)），并由 12 位资深特级教师开展三人交叉复审，达成极高的人际一致性（Fleiss' \(\kappa = 0.84\)）。
3. 图驱动的近距多层负例采样：构建高区分度 K12-Bench 基准
评估大模型是否真正理解课程拓扑的关键在于干扰项（Distractors）的设计。K12-Bench 针对五大任务族（视觉定位 Ground、先修推理 Prereq、邻域推荐 Neighbor、实证关联 Evidence、章节归属 Locate），采用基于图拓扑外扩的负采样机制：优先从 1-跳与 2-跳邻域及同级同胞概念中挑选干扰项，利用 BAAI/bge-small-zh-v1.5 向量相似度初筛，结合字面 3-gram 去除语义过近项，最后经大模型教师过滤器剔除潜在合理答案。基准包含 23,640 道多选题（答案数为 1~3 个），要求模型严格输出完整选项标签集合。
4. 结构化先验到问答对的映射机制：高样本效率 K12-Train
为了将图谱中蕴含的结构拓扑显式转化为模型参数能力，K12-Train 沿三条主线合成指令微调语料：针对节点属性生成概念内涵与实验操作问答；针对有向边生成显式关系推理问答（如解释为何 A 是 B 的先修知识、某实验如何支持某规律）；针对习题-概念边基于无幻觉确定性模板生成题目考点分析。最终构建的 K12-Train 包含 7,335 条高质样本（2,267 条纯文本与 5,068 条多模态图文对），在极小的样本规模下实现了极高的信息密度。
损失函数 / 训练策略¶
纯文本微调基于 Qwen3-4B-Base 与 Llama3.1-8B-Base 展开，在严格对齐的 2,300 样本预算下与 8 大通用指令集对比。全参数微调采用 AdamW 优化器，学习率 \(5 \times 10^{-6}\)，余弦退火调度配 10% Warmup，训练 3 个 Epoch，有效批大小 32。多模态微调基于 Qwen3.5-2B-Base 展开，采用 LoRA 架构（Rank 8, \(\alpha=16\)），学习率 \(1 \times 10^{-4}\)，批大小 64。
实验关键数据¶
主实验¶
在 K12-Bench 课程认知基准（23,640 题）上，涵盖开源与闭源前沿模型的零样本评测结果如下表所示（指标为严格全匹配率 Exact Match, EM，以及样例级宏 F1 值）：
| 模型分类 | 模型名称 | 视觉定位 (EM/F1) | 先修推理 (EM/F1) | 邻域推荐 (EM/F1) | 实证关联 (EM/F1) | 章节归属 (EM/F1) | 全局 EM (%) | 全局 F1 (%) |
|---|---|---|---|---|---|---|---|---|
| 基线 | 随机猜测 | 6.7 / 36.2 | 6.7 / 37.9 | 6.7 / 41.3 | 6.7 / 37.7 | 6.7 / 32.9 | 6.7 | 36.4 |
| 开源模型 | Meta-LLaMA-3-8B-Instruct | 6.2 / 54.9 | 4.3 / 47.9 | 3.8 / 53.4 | 5.2 / 55.4 | 11.5 / 53.9 | 7.2 | 52.6 |
| 开源模型 | GLM-4.7-Flash | 36.4 / 70.9 | 13.4 / 56.6 | 15.2 / 59.6 | 39.3 / 72.8 | 48.9 / 66.3 | 31.7 | 63.9 |
| 开源模型 | Qwen3-32B | 46.7 / 77.2 | 16.9 / 60.4 | 14.6 / 60.3 | 41.7 / 75.1 | 72.1 / 75.9 | 42.6 | 69.5 |
| 开源模型 | Gemma-4-31B-IT | 50.6 / 79.0 | 28.3 / 62.6 | 15.0 / 60.7 | 43.3 / 73.9 | 73.4 / 73.5 | 46.4 | 69.5 |
| 商业闭源 | GPT-4o | 30.3 / 70.6 | 9.3 / 57.5 | 10.1 / 57.9 | 32.4 / 71.8 | 55.6 / 72.3 | 31.1 | 65.9 |
| 商业闭源 | GPT-5.2 | 50.8 / 79.2 | 17.9 / 59.5 | 13.1 / 60.0 | 41.6 / 73.9 | 70.1 / 71.5 | 42.8 | 68.0 |
| 商业闭源 | Gemini-3-Flash | 63.4 / 83.3 | 34.8 / 58.2 | 33.4 / 63.5 | 47.4 / 72.4 | 81.7 / 82.6 | 57.1 | 73.0 |
在严格对齐的 2,300 样本 SFT 预算下，K12-Train-Text 在高考与教育基准上显著超越主流通用指令数据集：
| 基座模型 | 微调语料 (~2.3k 预算) | GaokaoBench 总分 | 客观题得分率 | 主观题得分率 | EduEval 均分 (18 任务) |
|---|---|---|---|---|---|
| Qwen3-4B-Base | 未微调 Base | 445.42 | 61.4% | 19.9% | 34.51 |
| Qwen3-4B-Base | 官方 Instruct (全量) | 895.37 | 77.7% | 77.3% | 66.30 |
| Qwen3-4B-Base | + OpenHermes-2.5 | 966.84 | 79.9% | 85.4% | 66.01 |
| Qwen3-4B-Base | + UltraChat | 902.64 | 74.6% | 79.8% | 65.44 |
| Qwen3-4B-Base | + WizardLM | 922.75 | 77.6% | 80.6% | 66.70 |
| Qwen3-4B-Base | + DataFlow | 985.91 | 81.3% | 87.1% | 65.57 |
| Qwen3-4B-Base | + K12-Train-Text (本文) | 1009.96 | 81.8% | 89.5% | 66.76 |
| Llama3.1-8B-Base | 未微调 Base | 130.76 | 12.7% | 9.0% | 20.98 |
| Llama3.1-8B-Base | + WizardLM (强基线) | 593.08 | 39.2% | 62.8% | 38.58 |
| Llama3.1-8B-Base | + K12-Train-Text (本文) | 625.49 | 41.0% | 65.2% | 40.90 |
消融实验¶
基于 Qwen3.5-2B-Base 验证多模态与文本结构化数据在下游图表推理任务上的互补贡献：
| 训练配置 | 样本量 | Gaokao-MM 准确率 (%) | MDK12-medium 均分 | K12Vista 得分 | 备注 |
|---|---|---|---|---|---|
| Qwen3.5-2B-Base (未微调) | 0 | 32.4 | 50.77 | 79.72 | 零样本评测 |
| + WizardLM (全量) | 142,759 | 39.1 | 50.76 | 67.06 | 海量通用 SFT |
| + DataFlow (全量) | 10,000 | 33.3 | 51.28 | 72.87 | 工作流微调 |
| + K12-Train-Text (纯文本) | 2,267 | 38.3 | 51.55 | 71.13 | 文本课程拓扑监督 |
| + K12-Train-MM (纯多模态) | 5,068 | 38.8 | 52.33 | 73.97 | 插图视觉关联监督 |
| + K12-Train-Full (本文) | 7,335 | 39.9 | 52.94 | 79.95 | 协同图谱微调 |
关键发现¶
- 大模型普遍缺乏课程结构认知：最强闭源模型 Gemini-3-Flash 在 K12-Bench 上的精确匹配率仅为 57.1%，开源最强 Gemma-4-31B-IT 仅 46.4%，而 LLaMA-3-8B（7.2%）几乎等同于随机猜测（6.7%）。模型在「先修推理」与「邻域推荐」上准确率最低（均低于 35%），表明单纯题海预训练并未建立知识点之间的有向进阶拓扑。
- 高样本效率与超强跨学科迁移：在严格限制 2,300 样本的条件下，K12-Train-Text 在 GaokaoBench 上的提升幅度显著碾压数据量大其数十倍的通用指令集。更具突破性的是，尽管 K12-Train 仅包含数理化生 STEM 学科，微调后模型在完全未见过的语文（120.18 分）和文科数学（132.00 分）上也取得了历史最高分，证明结构化课程训练激发了模型底层的规范推理方法论而非死记硬背。
- 文本拓扑与插图接地的互补防遗忘机制：纯文本微调虽然提升推理逻辑，但在多模态任务上容易引发视觉退化；多模态图谱数据的注入使模型在保持强大概念推理的同时，在 K12Vista 上实现了唯一超越 Base 基准的提升（79.95 vs 79.72）。
亮点与洞察¶
- 评估范式转变：打破了教育 AI 领域长期以试题正误为唯一尺度的单点考核方式，首创以课程全局拓扑、先修链和实验关联为核心的「课程认知」评测体系。
- 拓扑保真的数据生成闭环：通过在抽取阶段引入 DAG 无环性形式化校验与特级教师复核，从源头上遏制了合成微调数据中常见的事实性幻觉与逻辑颠倒。
- 以质取胜的高密度监督：用详实的定量数据确立了「2,300 条结构化专业课程数据远胜数十万条通用对话数据」的高样本效率范式。
局限与展望¶
- 学科范围局限：首期图谱聚焦于数理化生 4 门理科，未涵盖文史政等更具复杂人文关联与主观解释的文科学科。
- 教材版本专一性：图谱完全基于中国人民教育出版社（人教版）教材抽取，尚未建模苏教版、北师大版等不同教材版本间的教学顺序差异。
- 动态推理结合：当前工作主要立足于离线评测与离线微调，未来可深入探索将 K12-KGraph 作为图检索增强（Graph-RAG）记忆体，实现在线交互式教学诊断与动态导学。
相关工作与启发¶
- vs C-Eval / CMMLU / GaokaoBench: 传统基准考查静态习题的解答率，K12-Bench 考查概念先修、图表证据链及教学层级进阶。
- vs CK12 / 开放知识图谱: 传统教育图谱缺乏与官方权威教材课标的严格对齐和多模态图表接地，K12-KGraph 具备形式化 DAG 拓扑保证与全流程闭环验证。
- vs 通用指令微调数据集: 通用数据缺乏教学进阶梯度，K12-Train 证明对齐课程结构的极小规模数据集即可产生强大的跨领域通用推理泛化。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出课程认知概念，构建了首个对齐官方教材的全学段多模态教育知识图谱。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 23,640 题的大规模基准评测、8 大主流 SFT 基线在 2 大基座 5 大下游任务上的系统横向对比。
- 写作质量: ⭐⭐⭐⭐⭐ 动机立意高远，图谱构建与衍生管线层次分明，数据表格详实完备。
- 价值: ⭐⭐⭐⭐⭐ 为教育垂直大模型的精准评测与高效微调奠定了坚实的结构化先验基石。