LiveK12Bench: Have Large Multimodal Models Truly Conquered High School-level Examinations?¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 高中考试、多学科推理、整页试卷理解、过程评估、推理效率

一句话总结¶

LiveK12Bench 用持续补充的真实高中试卷和兼顾答案、过程、效率及整页视觉输入的评测协议，揭示高分解题模型仍不等于可靠的考试参与者，例如原文复杂版式表中 GPT-5 的准确率从标准输入的 82.7% 降至整页输入的 50.4%，但该表的配对样本口径存在待核实之处。

研究背景与动机¶

模型在 MATH、AIME 等数学基准上的高分，很容易被理解成已经掌握高中阶段的学习与考试能力。然而，这些成绩通常建立在一个有利前提上：问题已经被整理成干净文本，必要图片已经裁好，评测器只看最终答案。真实试卷并不提供这种接口，学生需要在一整页文字、图表和选项中定位目标题，还可能遇到题干与插图分离或跨页呈现。如果整理输入的人已经替模型完成了信息筛选，测到的主要是给定正确条件后的推理，而不是从试卷开始的完整解题能力。此外，选择题允许排除、猜测和偶然命中，答案正确不能保证解释适合拿来教学生。一段误读条件但恰好选对答案的讲解，作为自动判题结果可能合格，作为教学材料却可能传播错误。因此，本文关心的不只是模型能否输出答案，还包括它是否正确读题、是否给出有效推导，以及是否在合理预算内完成。

已有教育基准已将任务从数学扩展到多学科和多语言，但静态题库仍面临公开后进入后续模型训练数据的风险。这种风险不是增加更多旧题就能解决的，因为题量扩大与时间上的独立性并不是同一件事。 LiveK12Bench 选择持续接入教师新编的真实试卷，而不是主要依靠模型合成新题，让评测内容随考试发布而更新。其当前材料来自 2026 年的中国高中试卷，覆盖数学、物理、化学和生物，并提供中文及英文版本。原文把这种来源描述为泄漏概率很低，但没有提供逐模型训练数据审计，因此不能把新近发布直接等同于已证明无污染。真实试卷还提供题目分值、标准解答和课程知识点，使评价可以从平均答对率扩展到带权重的考试表现。这也带来新的工程难点：不同学科的公式、版式和小问结构不同，题目解析和参考解答必须一起保持可信。

本文的切入点是把题库维护与评测条件一起设计，而不是只增加一组更难的问题。动态构建流程负责保留可追溯的题目、图像、参考答案与推导；测试协议再改变输入辅助程度和评分约束。这样可以分别观察题目内容、视觉布局、推理过程与输出预算对结果的影响，避免把所有失败都归为抽象的推理不足。其中整页模式取消的是测试时人工整理输入的帮助，而不是取消数据集构建时的专家校验。核心 idea：用新鲜真实试卷建立可更新的多学科题库，同时把看懂整页、正确推导和高效作答纳入考试评估，检验干净输入下的高分能否迁移到更接近真实考试的条件。

方法详解¶

整体框架¶

LiveK12Bench 是数据集与评测协议，不是一个新训练的解题模型。构建端从原始 PDF 或扫描试卷提取结构化问题，保留标准答案、逐步解法、题型、分值、学科与知识点。评测端把同一题目资源组织成不同输入形式，让被测模型生成推理过程与最终答案，再分别统计答案、过程、效率和考试分数。中间的结构化数据库负责连接原始试卷与评分依据；它不是被测模型额外获得的参考答案上下文。作者使用 200 份试卷，正文与表 1 报告最终包含 2,114 道人工核验的问题。数据按题目发布时间划分为 26-03 和 26-05；主结果表 3 明确标注 26-03，不能自动外推为两个时间划分都已完整报告。表 1 的总计行为数学 772、物理 396、化学 532、生物 414 道题。题型包括 1,473 道选择题、164 道填空题和 477 道问答题，因此最终答案的判定不能全部简化为选项字符串匹配。框架还提供复杂版式、严格过程、长程推理三类挑战子集，分别聚焦输入定位、推导可靠性与预算敏感性。每类子集从每个学科选取 50 题，原文将三类合计描述为 600 题；未据此假定这些题与主体题库互相独立。这是一套基准设计，下面按数据构建、输入条件、过程评分和效率约束解释其机制，不把它画成神经网络结构。

关键设计¶

1. 动态真实题库：把新试卷变成可校验的评测记录

构建从收集新发布的真实考试材料开始，专业教育人员标注标准答案和逐步推导，避免参考答案只剩一个无法审计的选项。文档结构提取使用 MinerU，先检测文本框和嵌入图片，再识别文本、数学公式、化学公式与表格，并裁出配图。作者还在内部考试数据上微调检测与 OCR 模块，以适应中国试卷中特殊符号和密集公式。其输出是 Markdown 文本和图片资源，而不是已经可靠分离的一道道题。因此下一步仍需判断题干、选项、标准解答和配图之间的对应关系，尤其不能把相邻题目的图误挂到当前问题。可变模板解析将题型定义、目标 JSON 字段约束、来源版式说明和提取后的 Markdown 一起交给 LLM。模板参数可以按试卷结构调整，使解析器知道应该寻找哪些字段、它们有什么格式，以及答案在文档中的组织方式。这比固定正则规则更能适应跨学科版式，并允许语义层面修正轻微 OCR 错误，但也引入解析器擅自修补内容的风险。

为阻止这种错误进入评测，结构化文本会重新渲染为 HTML，由人工对照原试卷检查关键公式和解题线索。这种核验关心的是题目是否忠实且可解，不只是 JSON 能否被读取。之后根据题干文本相似度删除重复题，避免同一道题被多份试卷重复收录后放大权重。作者从官方教学大纲抽取层级知识树，并训练基于 Qwen3-VL-4B 的知识分类模型为未人工标注的题分配知识标签。框架图列出 2,725 个知识点，但正文未充分交代这些标签的覆盖率和逐类标注质量，不能把标签数视为独立推理能力数。挑战子集也先由先进 LLM 按版式、知识点或高分值等特征预选，再由专家核验组成。因此“自动化”指大部分录入与组织步骤可以复用，并不意味着没有人工标注或持续维护成本。本研究的训练发生在这些辅助构建组件上，没有报告针对 LiveK12Bench 微调被测解题模型的训练方案。

2. 输入辅助程度：区分干净题目与原始试卷理解

Text-Only（TO）模式提供题干和选项文本，主要检查语言、符号与知识推理。 Text-Image（TI）模式在文本中加入解题必需的裁剪图片，例如几何图、电路图或生物结构图。这两类标准输入都已经替模型完成了部分文档解析，模型可以直接围绕目标题组织推理。 Image-Only（IO，考试模式）则提供未裁剪的整页试卷图像和目标题号，要求模型自行定位、提取并理解相关内容。这里的“纯图像”并非完全没有文字指令：目标题号仍然由外部指定，模型也不是自行安排整张试卷的答题顺序。关键变化在于题干、图像、选项之间的关联不再由预处理结果显式提供，必须由模型从页面空间布局恢复。即使后续代数推导能力没有改变，漏掉一个条件或配错一张图也足以让最终答案失败。所以 IO 结果测的是文档理解与学科推理的组合能力，不能当作只改变推理难度的实验。

复杂版式子集专门纳入跨页问题、题干与配图空间分离、图文紧密交错等情形，让这类接口差异更明显。严格过程子集选择知识点较多、条件冗余且容易通过猜测得到正确选项的问题，检查正确答案背后是否真的有有效推导。长程推理子集关注复杂目标、高分值以及容易让模型反复思考的问题，研究有限预算下是否还能完成解题。三个子集不是同一种“难度”的重复测量：一个强调读对输入，一个强调推导有效，一个强调完成代价。其筛选经 LLM 预标注和专家复核，但这仍是有目的的压力测试，不应把子集失误比例直接当作所有高中题目的平均水平。中文试题的英文版本有助于扩展访问范围，不过当前主结果没有给出逐语言对照，不能从版本存在推断跨语言能力一致。

3. 答案与过程联合评分：不让偶然答对掩盖错误推导

所有被测模型使用统一提示，先输出逐步推理，再用 \boxed{} 包住最终答案，以便评测器抽取。结果维度使用 Pass@1；对于证明题，需要抽取并整体评估证明，而不是只匹配一个末尾数值。考试结果分还考虑一道题内部的多个小问，将正确完成的小问按比例计入该题原有分值。过程维度检查三类根源错误：条件解释错误（CIE）、逻辑假设错误（LAE）和演绎推理错误（DRE）。 CIE 指漏读、误读或加入题目本来没有的条件；LAE 指引入无法由题设和有效知识支持的假设。 DRE 指推导或计算步骤不成立，即使读题正确，前一步也不能合法推出后一步。这些类别检查的是推理有效性，不要求模型必须复现参考解法的相同步骤顺序。一个答案可以被判为正确，却因为推导中出现这些错误而失去过程分，这正是协议试图揭示的分离现象。

第 14 页再次给出了可辨认的过程扣分规则，下面以常规排版重述其定义：

\[ P_i = V_i - \tau \sum_{k=1}^{3} x_{i,k}. \]

其中 \(V_i\) 是题目原始分值，\(x_{i,k}\) 表示第 \(k\) 类过程错误是否出现，实验设置 \(\tau=3\)。由于指示变量按类别取值，这并不等于每发现一个错误步骤都重复扣分，也不是逐步正确率。原文没有清楚说明扣分后是否截断到零，复现时不能自行补入这个实现细节。考试综合分再结合过程分、答案得分和正确小问比例，最后按题目总分归一化到 100 分。该设计让题目重要性和部分答对情况参与总分计算，而非把一道简单选择题与一道多问大题视作等权。过程分还受正确小问比例约束，体现“有正确结果才计入相应过程贡献”的要求。原文过程权重设为 0.5，但缓存中的综合公式损坏，因此这里不猜补完整 ES 公式。实验中 PES、OCS 被另行归一化展示，也不应把表内这两列直接相加当作 OES。

规则判定之外的语义判断使用多模型裁判，主实验裁判池为 GPT-4o、Gemini-3-flash、DeepSeek-V3 和 Qwen3-30B。每次选择三个不同模型，并避免模型评判自己的回答，再汇总平均判断，减少单一裁判的偏差。过程可靠性实验让两名具备高中理科背景的博士生独立标注，提供人工参照。表 5 中多模型裁判准确率为 89.6%，高于单一 GPT-5 裁判的 82.0%，但仍低于人工之间的 93.2%。表 6 还考察重复运行、替换裁判和不同数据划分上的排序稳定性，说明作者不只验证最终排行榜。这些证据支持过程评分的可用性，而不是证明每次裁决都正确；裁判仍可能共同误解参考答案或题目。

4. 效率与预算约束：把思考很久和稳定解题分开

ARL 是按回答长度调整的准确率，使用模型完成题目时生成的 token 数衡量推理代价。原文描述用对数长度因子调整正确回答的贡献；长度接近参考水平时 ARL 接近基础准确率，更短的正确回答获得更高效率评价。实验效率权重为 0.15，参考长度为根据输出统计事后设定的 4,096 token。这不是将所有长回答都判错，而是让同样答对率下的冗长推理与简洁推理有所区分。缓存中 ARL 公式的求和、乘子与下标损坏，因此这里只给出有文字支持的含义，不将猜补公式冒充作者定义。分数解释仍依赖所选参考长度与权重，换一组设置可能改变模型间效率排序。

另一个指标 \(\operatorname{Acc}_{\le r}\) 直接限制最大生成长度，预算为完整窗口的比例 \(r\)，再测量受限条件下的准确率。统计包含中间思考 token，目的是减少硬件吞吐差异对效率比较的影响，而不是测量真实墙钟时间。在长程子集上，原文将预算缩到默认长度的 10%，约 3.2k token，观察模型是否因来不及完成而失败。这与 ARL 不同：ARL 对已经生成的回答做效率加权，硬预算会改变回答能否完成及最终是否正确。一个模型可能在充足预算下分配推理更有效，却在严格截断时更容易丢失最终答案，两类结果并不矛盾。协议没有训练新的预算控制器，也没有提出缩短思维链的优化目标，它提供的是发现此类差异的测试方式。图 1 将过程、效率和整页输入约束逐步叠加，但不能把其中一次总分下降全部归因于某一个因素。

实验关键数据¶

主实验¶

表 3（第 11 页）报告 26-03 划分的学科结果；下表摘取 OES，均为 100 分制，不是准确率百分比。它用于观察不同学科的考试综合表现，不等于所有模型在 IO 硬预算条件下的总排名。

模型	数学 OES	物理 OES	化学 OES	生物 OES
Gemini-3-pro	90.3	87.9	76.7	78.6
Claude-opus-4.6	90.0	83.7	71.1	74.1
GPT-5	85.5	72.7	44.2	53.7
Kimi-k2.5	87.8	85.4	71.8	73.2
Qwen3-VL-235B	81.3	73.8	62.8	65.2
GPT-4o	24.2	21.0	11.4	24.9

GPT-5 的数学 OES 为 85.5，但化学只有 44.2，说明不能用单一数学成绩代表四学科能力。 Kimi-k2.5 在物理得到 85.4，也说明开源与闭源的差距取决于学科和具体模型，不能只按类别下结论。

消融实验¶

本文没有模型模块消融；这里用输入条件对照和过程压力测试解释失分来源。表 4(a)（第 12 页）比较标准 TO/TI 与整页 IO，Acc 的单位为 %，OCS 为 100 分制的结果分。

模型	标准 Acc	IO Acc	标准 OCS	IO OCS
Gemini-3-pro	88.3	60.0	92.6	53.7
Claude-opus-4.6	87.2	55.0	92.8	50.6
GPT-5	82.7	50.4	88.1	44.1
Kimi-k2.5	85.0	59.0	90.2	51.8

按表内数值相减，GPT-5 的 Acc 降低 32.3 个百分点，OCS 降低 44.0 分，不能把前者写成相对下降 32.3%。比较边界：表 4(a) 标准 Acc 列与表 3 数学 Acc 列逐项相同，缓存没有解释为何复杂版式子集沿用这些值。因此这里只报告作者表格中的差异，不把它视为已经独立确认的同样本因果消融。

表 4(b)（第 12 页）进一步在严格过程子集报告答案与过程分，CIE、LAE、DRE 是错误计数而非百分比。

模型	OCS	PES	OES	CIE	LAE	DRE
Gemini-3-pro	90.9	76.9	81.7	17	7	10
Claude-opus-4.6	89.0	68.7	78.0	36	7	11
GPT-5	83.0	56.0	61.0	61	13	30
Kimi-k2.5	87.5	71.9	77.3	25	7	16

关键发现¶

GPT-5 在严格过程子集仍有 83.0 的 OCS，但 PES 为 56.0；高答案分与过程缺陷可以同时存在，二者并非同一度量。
图 5 及第 13 页正文报告 Gemini-3-pro 的长程子集 ARL 为 74.8，比总体下降 8.2；在充足预算下的效率表现不代表硬截断下也最稳健。
同页描述 10% 预算时多数模型准确率约降至不受限时的一半；图中精确坐标未被可靠提取，不补造逐模型数值。

亮点与洞察¶

取消人工裁图和题干整理，会暴露被干净输入掩盖的文档理解问题。迁移到教育产品时，应该分别评估输入解析和学科解题，而非只复用已有答题榜单。
过程错误按根源类别记录，比只看生成步骤数量更不容易奖励冗长解释。其价值在于发现哪些错误被最终正确选项遮蔽，而不是证明所有非参考解法都有问题。
真实试卷的分值和小问结构为部分得分提供了自然依据。这个设计可迁移到有明确评分细则的职业考试，但需要重新校准学科权重和过程扣分规则。

局限与展望¶

数据统计存在冲突：正文与表 1 为 2,114 题，图 4 和第 14 页却出现 2,124；表 1 的 IO 物理项为 220，而总计物理项为 396。本笔记保留主统计口径，不声称已解决原文矛盾。
缓存中的 ARL、ES 与归一化公式排版损坏，部分表格的分数组合也不能靠简单平均解释。复现评分前应核对原始公式及实现，不能仅据本笔记拼装评测器。
新近试卷降低污染风险但不保证不存在训练重叠；内部 OCR 微调数据、解析准确率与动态更新成本也缺少充分量化。这些是读者对可复现性和长期维护的保留意见。
原始材料集中于中国高中四门理科，英文版本存在不等于已验证其他课程体系。整页图像加指定题号也没有完整覆盖自主答题调度、交互式辅导或学生学习效果。
裁判仍有人工一致性差距，token 预算也不是实际延迟。后续可在固定时间切分、同题配对输入、真实耗时和独立人工评分下复核结论。

评分¶

新颖性: 4/5，真实新题维护与多维考试约束的组合有辨识度，单项技术主要复用现有工具。
实验充分度: 4/5，覆盖 12 个模型、学科与压力子集，并检查裁判可靠性，但部分统计及配对口径需要澄清。
写作质量: 3/5，问题设定直观，数据总量冲突与当前文本提取中的公式损坏增加了核验难度。
价值: 4/5，有助于区分答题高分和教育场景可靠性，但不应直接当作智能辅导有效性的证明。