PhysElite: How Far Are LLMs from Solving Olympiad-Level Physics Problems?¶

会议: NeurIPS 2026
arXiv: 2608.25097
OpenReview: https://openreview.net/forum?id=f3ceI8ijyu
代码: https://huggingface.co/datasets/physelite/PhysElite
领域: LLM 其他
关键词: 物理奥赛评测, 多模态大模型, 过程级评估, 物理图表推理, 竞赛物理数据集

一句话总结¶

本文构建了包含 11,586 道竞赛级物理题的大规模双语多模态基准 PhysElite，每道题均配对真实图表、专家推导步骤与开放式答案，评测 18 个前沿模型发现顶尖系统答案准确率仅 33.7%，并揭示了多模态模型在物理感知与物理定律建模上的系统性瓶颈。

研究背景与动机¶

物理问题求解一直被视作检验多模态大语言模型（MLLM）复杂严密推理能力的黄金试金石。它不仅要求模型精准解析图表中的几何与空间拓扑关系，还要求模型准确激活物理定律并将其转化为代数约束，最后通过多步符号推导串联求解。近年来，前沿模型在现有基准（如 ScienceQA、MathVista、MMMU 等）上屡创高分，甚至在部分高中奥赛测试中声称达到奖牌水准。然而，这种亮眼的表现引发了一个关键审视：现有模型是真的掌握了深层次的奥赛级物理推理，还是仅仅在浅层模式匹配与题目泄漏上过拟合？

现有物理评测基准主要面临两大约束：其一是规模与难度的权衡困境，多数评测集以 K-12 基础教育阶段选择题为主，难以给前沿模型提供充足的推理压力；而真正的奥赛级基准（如 IPhO、APhO、HiPhO）题目规模极为有限（数十至数百题）且更新停滞，极易遭遇性能过早饱和与测试集污染；其二是过程级评估标注的全面缺失，多数基准仅比对最终输出，但在物理问题求解中，中间推导步骤往往比最终标量承载着更多的推理信号。仅凭最终答案判定对错，既无法诊断模型究竟在物理建模的哪一步出现偏差，也无法为基于思维链监督（Process Supervision / PRM）或过程级强化学习（RL）提供高质量的数据支持。

为了打破这种高难度、大规模、多模态与过程推导不可兼得的瓶颈，研究团队从顶尖竞赛选手的日常训练实操中汲取真实题目资源。核心 idea：构建包含 11,586 道奥赛级物理题的大规模双语多模态基准 PhysElite，全量配备示意图与人工校验的双语分步推导，并提出免于路径强绑定的 LLM-Judge 过程级评分协议，深入诊断模型推导链条的早逝位置与错误归因。

方法详解¶

整体框架¶

PhysElite 的构建与评测管线围绕数据采集、结构化标注、双语扩展以及双轨评估展开。整个基准包含力学、电磁学、热学、光学与近代物理五大基础领域，题目形式均为开放式（包含符号表达式、数值、定性物理结论与物理方程），彻底杜绝了模型依靠选项猜测蒙混过关的可能性。

在评估阶段，系统不仅检验最终答案的一致性（Answer Score），还通过大模型裁判集成（LLM-as-a-Judge Ensemble）将模型的推理链条解耦为关键推导步，评定各步骤的物理与数学自洽性（Process Score）。这一机制允许模型采用不同于参考答案的合法替代解法，真实还原物理求解的多路径特性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["竞赛训练原始资料<br/>15,000 道手稿与图表"] --> B["高质量多模态数据清洗<br/>300 DPI 扫描 + OCR + LaTeX 规范化"]
    B --> C["两级难度与学科范式标注<br/>1-7 级量化 + 五大物理二级学科统一分类"]
    C --> D["双语开放式数据集构建<br/>11,586 题配对示意图与详细分步解答"]
    D --> E["双轨多模态能力评估<br/>Answer Score 严格比对 + Process Score 步级裁判"]
    E --> F["细粒度错误归因诊断<br/>首错步位定位 + 6 类失效模式解构"]

关键设计¶

1. 高质量多模态数据清洗：从选手实战资料到无泄漏结构化数据

针对以往奥赛基准多来自公开竞赛真题归档、极易被商业大模型预训练语料污染的问题，PhysElite 另辟蹊径，原始素材全部采集自 15 位省级/国家级一等奖物理竞赛选手的日常训练习题集、内部集训材料与私密模拟试卷。团队对约 15,000 道包含手绘/排版图表的题目进行 300 DPI 高清扫描，利用 Tesseract OCR 引擎提取图文初稿。随后由专业物理研究人员执行严苛的全量人工校验，消除混淆字符与扭曲符号，并将所有数学式与物理推导手工转换为标准 LaTeX 格式。最后通过相似度阈值 0.95 的模糊匹配算法去重，最终凝练出 11,586 道无侵入式泄露风险的精品试题。

2. 两级难度与学科范式标注：专家校准与大模型辅助协同

为了赋予基准精细的分层评估能力，PhysElite 建立了覆盖力学（6,739题）、电磁学（2,811题）、光学（824题）、热学（652题）与近代物理（560题）的五大国际物理奥赛分类体系。在难度划分上，设计了 1 到 7 级的连续刻度，若原题源自带官方难度则直接继承，缺失题目则由物理专家依据解题参考长度与 LLM 推理所需的 token 预算综合定级（1-2 级为少步直解题，3-4 级为常规大学/入门奥赛综合题，5-6 级为典型奥赛多物理量建模题，7 级为顶尖高难决胜题）。跨领域综合问题依据解决问题的主导物理阻碍裁定归属，歧义样本均由专家组集中讨论仲裁，保证了标签的高度统一与权威性。

3. 双语开放式数据集构建：图文配对与完全开放式回答

与以往仅提供纯文本或选择题的评测集不同，PhysElite 包含 16,130 张高质量示意图（Schematic Diagrams），并在部分题目中配备了展现演化状态的过程图（Process Diagrams）。数据格式上，每道题目均提供对齐的中文和英文双语题干与步骤解答，题目平均长度为 135.9 词，最长复杂题达 2,619 词。答案类型严格限定为符号闭式解（7,767题）、带单位数值（1,449题）、定性结论（1,331题）以及物理方程关系（1,039题）。这种完全开放式的交互迫使模型必须端到端完整执行建模与代数解算，完全排除了捷径学习与蒙题概率。

4. 双轨多模态能力评估：解耦最终答案与推导步骤的过程评分

物理题目的正确求解往往具备多种合法路径，机械地要求中间步骤与参考答案字句匹配会严重低估具备发散思维的模型。PhysElite 提出双轨评估体系：答案分（Answer Score）要求最终符号或数值在物理等价性上严格一致；过程分（Process Score）则先将模型自主生成的回复切分为关键物理推导步骤，再由 GPT-5.2、Claude-Opus-4.6 与 Gemini 3-Pro 组成的大模型裁判团根据物理有效性逐步打分（完全正确赋 1.0，思路正确但局部笔误或缺条件赋 0.5，物理错误或无关推导赋 0.0），取三者均值作为最终过程分。在 200 道样本的人工盲测中，该评测体系与人类专家打分的平均绝对误差（MAE）仅为 0.09，展现出极高的可靠度与解释性。

损失函数 / 训练策略¶

作为标准化评测基准，PhysElite 本身不引入新模型权重训练，但在评测提示词与长思维链设置上做了规范化约定：针对 12 款 System-1 模型采用标准 CoT 提示词并执行贪婪解码，针对 6 款 System-2 深度思考模型（如 Grok-4.2、o3-mini、GPT-5.2 等）开启原生 Extended Thinking 推理模式；所有多模态模型均直接摄入题目高清示意图，纯文本基线（DeepSeek-V3、LLaMA-3.1-70B、o3-mini）则仅输入文字题干。

实验关键数据¶

主实验¶

评测覆盖了 10 个闭源商业模型与 8 个开源模型，分别在中文与英文环境下独立测试后计算平均得分。

模型	类型	输入模态	力学 (%)	电磁学 (%)	近代物理 (%)	热学 (%)	光学 (%)	Ans. 答案准确率 (%)	Proc. 过程分 (%)
Grok-4.2	闭源 (System-2)	图文多模态	34.0	26.6	33.0	35.4	25.4	33.7	47.6
Claude-Opus-4.6	闭源 (System-1)	图文多模态	27.2	20.9	24.7	33.1	21.3	28.1	49.6
o3-mini	闭源 (System-2)	纯文本	25.3	20.4	26.8	28.4	19.6	26.2	43.9
GPT-5.2	闭源 (System-2)	图文多模态	22.1	18.6	23.9	28.4	17.4	24.0	42.6
Gemini-3-Pro	闭源 (System-2)	图文多模态	21.9	15.5	20.0	23.7	16.1	21.8	41.4
Qwen3-VL-235B-A22B	开源 (System-1)	图文多模态	19.3	15.8	19.2	22.0	14.4	20.0	36.8
DeepSeek-V3	开源 (System-1)	纯文本	18.7	10.3	14.5	19.3	10.9	17.0	34.6
Claude-Sonnet-4.5	闭源 (System-1)	图文多模态	17.5	14.7	18.5	23.7	12.6	18.5	33.6
GPT-4o	闭源 (System-1)	图文多模态	8.8	6.5	10.2	13.8	10.0	10.4	25.0
LLaMA-3.1-70B	开源 (System-1)	纯文本	4.9	6.0	10.5	7.9	6.6	7.5	20.2
Qwen2.5-VL-7B	开源 (System-1)	图文多模态	2.4	0.5	0.7	2.0	0.5	1.7	3.7
人类专家基准 (15人)	人类竞赛生	图文试卷	47.6	42.3	54.2	51.7	57.3	48.5	65.2

消融实验¶

为研究中间过程先验对模型求解的引导作用，论文在 6 款代表性模型上对比了仅提供示意图（Schematic）、额外补充物理过程图（Process Diagram）以及额外补充文字解题提示（Solution Hint）的差异表现。

输入设置	指标	GPT-5.2	Claude-Opus-4.6	Claude-Sonnet-4.5	Gemini-2.5	Qwen3-VL-235B	Qwen3-VL-32B	说明
+ Process Diagram	Ans. 提升	+2.7 (26.7)	+0.3 (28.4)	+0.6 (19.1)	+1.9 (19.8)	+2.5 (22.5)	+2.6 (18.5)	视觉过程图显著提升各模型最终答题准确率
+ Process Diagram	Proc. 提升	+3.4 (46.0)	+1.7 (51.3)	+2.3 (35.9)	+3.8 (40.6)	+4.1 (40.9)	+5.5 (37.0)	过程评分显著增加，最高提升达 5.5 分
+ Solution Hint	Ans. 提升	-0.5 (23.5)	+0.3 (28.4)	+0.0 (18.5)	+0.0 (17.9)	-0.1 (19.9)	-0.2 (15.7)	纯文字提示对最终答案几乎无帮助甚至干扰解题
+ Solution Hint	Proc. 提升	+0.2 (42.8)	+0.4 (50.0)	+2.3 (37.0)	-0.1 (36.7)	+0.0 (36.8)	+0.9 (32.4)	仅对部分模型中间步骤有微弱增益

关键发现¶

大模型在真实奥赛物理面前依然极具挑战：当前全球最强系统 Grok-4.2 的最终答案准确率仅为 33.7%，所有开源模型的准确率均在 20.0% 或以下，与人类高中省队选手 48.5% 的答案准确率和 65.2% 的过程分仍有显著鸿沟。
慢思考（System-2）并非万能解：具备长思维链推理的 System-2 模型在前六席中占据四席，但基座性能更强的标准单遍输出模型（如 Claude-Opus-4.6，28.1% 答案准确率与 49.6% 过程分）大幅超越了 GPT-5.2、Gemini-3-Pro 及 Kimi-K2-Thinking 等多款慢思考推理模型，表明推理链条无法完全弥补视觉物理基座能力的欠缺。
光学是全模型的共有重灾区：所有模型在光学分项上的早期建模错误率最高，顶尖闭源模型在光学与热学之间的差距平均超过 20 个百分点，反映出当前模型在复杂折射反射几何光路追踪及波动干涉相位解算上存在先天短板。
异常的难度 U 型反转现象：除少数模型单调递减外，多数前沿推理模型在中等难度（Medium）题目上的得分反而低于高难度（Hard）题目（差距可超 10 个百分点）。其根本原因在于商用模型可能针对官方竞赛真题模板做过定向后训练强化，而 PhysElite 中源于日常选手训练实操的中等难度题目对模型而言构成了更为彻底的分布外（OOD）考验。

亮点与洞察¶

视觉过程图的价值远超纯文本提示：在消融实验中，向模型提供中间态示意图能普遍拉升答案准确率与推导步骤质量，而纯文本 hint 甚至可能引起注意力发散导致掉点，证实复杂物理推理对空间几何具象表征具有极强依赖。
错误归因向前段严重倾斜：通过对 Claude-Opus-4.6 的 100 个典型错误归类分析，物理感知理解错误（31%）、物理定律误用（25%）与几何视觉误读（8%）占据了近三分之二的失败案例，而纯粹的代数计算失误仅占 6%，表明阻碍模型攻克物理高地的核心不是数学运算，而是对物理情境的合理建模与定律选取。
过程级评分协议有效降低幻觉惩罚：所有模型的过程分均显著高于答案分（如弱模型步级得分可达答案准确率的 2-3 倍），说明模型普遍能在前 1-2 步写出正确的初始物理方程，但在中后期推导中逐步偏离轨道。

局限与展望¶

部分给分的主观边缘歧义：尽管三审裁判团与人类专家高度对齐（MAE=0.09），但在边界分步（如给予 0.5 分的局部失误判定）上仍存在一定的主观裁量空间。
未完全隔离的私域数据潜在泄漏：虽然精选自竞赛生的线下训练材料，但部分高阶习题未来仍可能随互联网爬虫流入开源语料池，后续工作需进一步探索动态生成的合成物理沙盒。
对物理推导过程监督模型的启发：PhysElite 释放的 11,586 组高质量步骤标注为训练物理领域的 PRM（Process Reward Model）以及探索基于强化学习的自我纠错（Test-Time Compute）提供了宝贵的数据底座。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次构建了万题级、配对示意图与双语人工推导过程的奥赛物理基准，跳出了公开赛题的污染套路。
实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 18 款主流模型，涵盖答案级与过程级评估、首错步定位、6 种错误模式解构与过程图消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨连贯，对 U 型难度反转与光学短板等反直觉现象的机理探讨深刻透彻。
价值: ⭐⭐⭐⭐⭐ 填补了高难度多模态物理推理领域无过程级评测与监督语料的空白，对 PRM 与科学模型后训练极具参考价值。