DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking¶

会议: NeurIPS 2026
arXiv: 2605.26087
代码: https://github.com/polymathic-ai/DiscoverPhysics
领域: LLM评测
关键词: 科学发现基准, 主动实验设计, 物理定律推断, N体模拟器, 双重评估框架

一句话总结¶

本文提出 DiscoverPhysics 交互式评测基准，构建了 22 个包含屏蔽引力、分数阶拉普拉斯、暗物质隐藏粒子及额外维度等非标准物理定律的模拟世界，通过多轮主动实验设计、参数拟合与外推预测，配合轨迹 MSE 与专家标准大模型概念解释双重指标，全面评估大语言模型自主发现未知科学定律的创新能力。

研究背景与动机¶

大语言模型在学术竞赛数学、代码生成以及研究生阶段的标准化科学知识问答（如 GPQA 准确率超 90%）上已取得突破性进展，然而这些基准测试主要衡量模型对既有已知人类科学知识的记忆、检索与演绎推理，无法检验其探索未知科学规律的能力。真实的自然科学发现过程高度依赖科学家提出假设、主动设计信息量丰富的实验、在带噪观测中更新认知信念，甚至在面对反常数据时彻底推翻已有先验框架。现有的物理评测（如 NewtonBench 或 PhysGym）多聚焦于标准物理教科书定律的参数平移，或限定在已知自变量维度的符号回归，使模型往往凭借强先验记忆或高维曲线拟合过关，未曾真正触及核心的物理假说生成与概念抽象机制。

科学理论的核心价值从来不仅限于对观测数据的插值拟合，更在于提供具有外推泛化能力的因果与结构概念解释。物理学史上常出现经验公式与机制解释解耦的现象，例如洛伦兹变换最初仅作为麦克斯韦方程组协变性的经验唯象修正，直到爱因斯坦提出光速不变原理才确立其基本对称性本质。单纯追求轨迹预测精度（MSE）往往掩盖了模型盲目使用高阶多项式强行拟合数据的缺陷，而忽略了系统背后真实的对称性、场算子或隐变量。

本文的切入角度是：必须将智能体置于物理定律有意偏离现实常规物理的合成“外星世界”中，剥离其对牛顿引力或库仑反平方定律的记忆先验。核心 idea：构建包含 22 个非标准物理规律世界的动态可交互 N 体模拟基准 DiscoverPhysics，要求智能体在多轮实验中自主投放测试粒子、设计实验、调用拟合工具，最终提交自然语言物理机制解释与执行代码，并采用“轨迹预测误差 + 专家量表概念解释评分”双重机制解耦评测模型的预测与理解能力。

方法详解¶

整体框架¶

DiscoverPhysics 的核心架构由非标准物理世界定义集、高精度可微 N 体动力学模拟器环境，以及闭环交互式实验与双重评估协议组成。对于任意给定的物理世界，评测系统不存储静态轨迹，而是按智能体请求实时数值积分生成。智能体在被遮蔽真实作用力公式的黑盒环境中启动，拥有固定的多轮实验交互预算（通常最多 $N=16$ 轮）。在每一轮交互中，智能体自主决定探索策略：设计包含初始位置、初速度、广义荷属性与采样时间点的测试探针，由模拟器返回带高斯噪声的观测轨迹；智能体还可调用最小二乘参数拟合工具验证候选参数。当实验预算耗尽时，智能体必须提交一份阐明物理本质的自然语言机理解释，以及一个用于外推演化粒子的 Python 代码函数 discovered_law。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["未知物理世界初始化<br/>隐藏真实作用力与粒子种类"] --> B["1. 非标准物理世界库构建<br/>22个非常规引力/场算子/隐变量世界"]
    B --> C["2. 闭环多轮交互实验<br/>智能体提出探针初值/采样时刻/参数拟合"]
    C --> D["N体可微分动力学模拟器<br/>四阶Yoshida辛积分+可控观测噪声"]
    D -->|带噪轨迹反馈与拟合诊断| C
    C -->|实验轮次耗尽提交成果| E["3. 预测与解释双重评估框架<br/>未见测试粒子外推MSE + 专家量表LLM判分"]
    E --> F["输出评测结论<br/>pass@k / 预测与概念理解解耦分析"]

关键设计¶

1. 非标准物理世界库构建：打破常规物理先验以考验真正假说生成 为了彻底阻断大模型通过检索已有科学文献记忆直接解题，基准精心设计了 22 个底层动力学规律反常的模拟世界（包含 11 个公开世界与 11 个严格保密的私有世界）。这些世界涵盖四类核心非常规机制： 1. 场算子与势函数偏离：如 gravity（2D 平面二维对数势引力，对应力按 $1/r$ 衰减而非 $1/r^2$）、yukawa（静态屏蔽亥姆霍兹算子 $\nabla^2\phi - \phi/\lambda^2 = \text{source}$，导致长程指数衰减）、fractional（分数阶拉普拉斯算子 $-(-\nabla^2)^\alpha$ 导致的慢衰减长程作用）； 2. 隐藏未观测自由度：如 three_species（包含 3 类带异性相互作用的背景粒子，其中一类表现为排斥力）和 dark_matter（20 个可见粒子与 10 个智能体不可见的暗物质粒子构成的暗晕，探针仅能观测到异常引力场）； 3. 时空破缺与背景效应：如 ether（中心引力叠加上全空间统一方向的发光以太背景漂移，破坏旋转各向同性）、hubble（中心势叠加依赖空间位置的径向哈勃流膨胀 $H(\mathbf{r})$）； 4. 时变耦合与维度跃迁：如 oscillator（周期性交替变号的振荡引力常数 $G(t) = G_0 \cos(\omega t + \varphi)$）以及 extra_dimensions（含紧致额外维度的卡鲁扎-克莱因跃迁，短程表现为三维 $1/r^2$、长程过渡至二维 $1/r$）。

2. 闭环多轮交互实验：主动因果干预与带噪观测更新机制 针对传统静态数据拟合无法评估实验设计能力的缺陷，DiscoverPhysics 实现了智能体主动干预机制。模拟器统一将粒子的广义相互作用荷分解为源荷（$s_i$，产生势场的能力）与响应荷（$c_i$，感受势场影响的惯性/荷响应）： $$\mathbf{F}_{i \leftarrow j} = F_{\mathrm{mag}}\left(r_{ij}, \mathbf{q}_i, \mathbf{q}_j, t\right) \hat{\mathbf{r}}_{ij}, \quad \mathbf{q}_i \equiv (s_i, c_i)$$ 这种形式允许智能体通过投放无源测试探针（$s_i = 0, c_i \neq 0$）来纯粹感知背景场，或者设置不对称荷属性来解耦源作用与惯性响应。在数值演化上，模拟器采用四阶辛积分器（4th-order Yoshida），兼顾长时间尺度轨道能量守恒与快速执行效率；并在训练轨迹中注入 5% 标准差的各向同性高斯位置噪声 $\sigma = 0.05$。智能体在每一轮不仅要根据观测反差设计下一组实验的初始几何构型、速度与测量步长，还可通过内置的 scipy.optimize 工具向模拟环境提交候选符号规律与边界条件做最小二乘参数拟合，模拟科学家从数据探索到实验验证的完整科研闭环。

3. 预测与解释双重评估框架：分离唯象数据拟合与真正物理机理认知 以往纯机器学习评估依赖均方误差（MSE），但高阶经验多项式常可在局部区域拟合带噪轨迹而完全违背生成机理。为此，本文建立了互补的“数值外推 + 概念解释”双轨制评估体系： - 归一化轨迹外推误差（Normalized Trajectory MSE）：将模型提交的 Python 仿真代码在外推未见（held-out）无噪测试粒子上推演，计算预测轨迹与真实动力学之间的均方欧氏距离，并通过测试粒子位移方差对其进行归一化： $$\text{Norm-MSE} = \frac{\frac{1}{T}\sum_{t=1}^T \|\hat{\mathbf{r}}(t) - \mathbf{r}(t)\|^2}{\mathrm{Var}(\mathbf{r}_{\text{test}})}$$ - 专家量表概念解释得分（Explanation Score）：针对每个世界撰写从 0 分到 10 分的层次化专家评测标准（Rubric）。由独立裁判模型（采用未参与主榜单测试的 Claude Opus 4.6）对比智能体提交的自然语言解释与标准量表，衡量其是否洞悉了真实的微分算子、对称破缺、特征尺度（如屏蔽长度 $\lambda$）或隐藏粒子等核心结构。只有当归一化 MSE $< 0.1$（预测相对误差低于 10%）且解释得分 $\ge 0.9$（达到标准满分的 90%）时，该世界才被判定为完全通过（Pass）。基准通过随机采样 5 次独立运行计算通过率期望 $\text{pass}@k$。

实验关键数据¶

主实验¶

论文对 11 个顶尖前沿商业模型与开源模型进行了完整基准评测。智能体在默认推理预算与标准设定下运行 16 轮交互实验，每个世界独立运行 5 个不同随机种子。

模型类型	模型名称	概念解释均分 $\langle\text{Explanation}\rangle \uparrow$	归一化误差 $\langle\text{MSE}\rangle \downarrow$	pass@1 (%) $\uparrow$	pass@3 (%) $\uparrow$	pass@5 (%) $\uparrow$
商业闭源	claude-opus-4-7	0.61 ± 0.03	0.010	26.4 ± 0.3	43.1 ± 0.2	50.0
商业闭源	gpt-5.5	0.59 ± 0.03	0.002	21.7 ± 0.2	30.8 ± 0.1	36.4
商业闭源	claude-sonnet-4-6	0.28 ± 0.02	2.800	1.8 ± 0.1	5.5 ± 0.1	9.1
商业闭源	gpt-5.4	0.29 ± 0.03	6.700	0.9 ± 0.1	2.7 ± 0.1	4.5
商业闭源	claude-haiku-4-5	0.23 ± 0.02	3.100	0.0	0.0	0.0
开源模型	Qwen3.5-397B-A17B	0.33 ± 0.03	0.100	4.5 ± 0.1	8.6 ± 0.01	9.1
开源模型	Kimi-K2.5	0.29 ± 0.02	0.800	2.6 ± 0.1	6.8 ± 0.1	9.1
开源模型	Qwen3-235B-A22B	0.24 ± 0.02	1.000	1.0 ± 0.1	2.7 ± 0.1	4.5
开源模型	gpt-oss-120b	0.22 ± 0.02	1.600	0.0	0.0	0.0
开源模型	gpt-oss-20b	0.14 ± 0.02	0.700	0.0	0.0	0.0
开源模型	Llama-3.3-70B	0.10 ± 0.01	14.100	0.0	0.0	0.0

消融实验¶

为了检验智能体自主设计实验对科学发现的实际赋能程度，论文对比了智能体主动引导实验（Guided）与均匀网格随机撒点实验（Random），并在 50% 极高观测噪声下进行了抗噪能力评估。

实验配置与消融设置	对应模型	解释得分	归一化 MSE	pass@3 (%)	现象与机理解析
主动引导实验 (16轮预算)	claude-opus-4-7	0.61	0.010	43.1%	随轮次增加表现单调上升，充分利用长期交互调整假说
随机实验 (16轮预算)	claude-opus-4-7	0.42	0.080	18.2%	丧失主动探测极端相空间能力，但仍保留一定反推能力
主动引导实验 (16轮预算)	gpt-5.5	0.59	0.002	30.8%	极低 MSE，但第 4 轮后解释分停滞，陷入局部参数过拟合
随机实验 (16轮预算)	gpt-5.5	0.48	0.015	22.7%	随机实验下仍具备极强的经验曲线拟合能力
主动实验 (开源基线)	Qwen3.5-397B	0.33	0.100	8.6%	主动与随机实验表现差异微弱，缺乏有效实验设计逻辑
50% 极端高噪声消融 (Ether)	claude-opus-4-7	0.75	0.045	35.0%	能识别噪声并在实验中设计大样本长周期探针抵消随机抖动

关键发现¶

预测准确率与科学概念理解发生显著解耦：gpt-5.5 取得了全榜最低的轨迹 MSE（0.002），显示出极致的数值逼近和参数优化能力；然而其概念解释得分与 pass@k 却落后于 claude-opus-4-7。分析表明 gpt-5.5 往往在第 2~4 轮确定一个经验函数族后便致力于数值微调，放弃了对底层异质机制的进一步假说修正；而 claude-opus-4-7 表现出随着实验轮数增加而单调上升的概念理解能力。
隐藏潜在结构是当下前沿模型的共同盲区：所有模型在具有显式相互作用的简单世界（如 2D 对数引力、简单库仑力）表现相对较好，但在包含暗物质（dark matter 隐变量）、多物种耦合（three species 异性相互作用）以及额外紧致维度（extra dimensions 尺度交叉）的世界中遭遇系统性溃败，极难自主设想“看不见的场源”存在。
开源模型与顶尖商业模型存在代际断层：开源模型在此类多轮交互实验探索任务中普遍处于被动状态，Qwen3.5 在 5 次尝试下仅能通过 9.1% 的物理世界，多数中小规模开源模型在主动实验与随机撒点实验之间几乎无性能差异，表明其尚未习得根据历史反常数据规划判决性实验的高阶科学发现能力。

亮点与洞察¶

将科学发现评测从“死记硬背”彻底转向“在未知世界中从零探索”：传统学术评测往往被数据污染和先验记忆所困扰，DiscoverPhysics 创造性地构造了 22 个非标准动力学宇宙，强迫大模型像面对全新物理现象的科学家一样开展主动探索，具有极高的测试纯度和前瞻性。
揭示了“曲线拟合”与“真理发现”在智能体行为上的本质分野：实验明确指出了纯 MSE 指标的致命缺陷——低误差往往只代表强大的数值插值伪装，唯有结合专家量表机理解释评估，才能甄别出智能体是否真正洞察到了因果律与对称性破缺。
失败归因分析将模型缺陷精准锚定在不同认知层级：论文附录系统地将错误拆解为“物理假说先验不足”、“判决性实验设计缺失”、“数值奇点处理不当”及“代码与文字脱节”等维度，清晰揭示了不同顶尖模型背后的认知短板差异。

局限与展望¶

物理世界的规模与复杂度依然有限：当前的 22 个世界均属于少体粒子动力学系统（$N \le 35$），且缺乏现实科研中复杂的仪器系统误差、边界流体力学或极端强关联量子效应，与真实的物理实验室探索仍有差距。
裁判机制对单一闭源大模型的依赖：解释得分高度依赖 Claude Opus 4.6 依据量表打分，尽管跨模型评测证明了其相对公正性，但未来引入多裁判大模型交叉裁决与自动化符号等价性证明将更加严密。
强化学习驱动的科学发现策略探索：实验中 pass@5 远高于 pass@1 的现象表明模型在不同随机路径下的探索质量方差极大，未来针对实验设计轨迹实施强化学习（RL）有望显著提升模型面对未知环境的定向科研推演能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了传统静态物理评测框架，首创基于非标准物理世界的主动闭环科学发现基准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个顶尖大模型、22 个物理宇宙、主动与随机消融、噪声鲁棒性及系统的深层失败模式归因分析。
写作质量: ⭐⭐⭐⭐⭐ 概念阐述清晰，实验对比视角深刻，对科学哲学层面的拟合与机理解耦讨论透彻。
价值: ⭐⭐⭐⭐⭐ 为大语言模型迈向自主 AI 科学家（AI Scientist）提供了极具区分度与客观标准的关键评估底座。