CME–SpectrumBench: Can LLMs Analyze Condensed Matter Spectral Data?¶

会议: NeurIPS 2026
arXiv: 2610.24304
OpenReview: https://openreview.net/forum?id=NHQBRaklRP
代码: https://huggingface.co/datasets/jingene/CMESpectrumBench
领域: 物理/科学计算
关键词: 凝聚态物理实验, 光谱数据分析, 密集上下文推理, 智能体代码生成, 长上下文衰减

一句话总结¶

斯坦福与 UC 伯克利团队提出首个针对凝聚态物理前沿实验（ARPES/RIXS）光谱分析的基准 CME–SpectrumBench，揭示前沿大模型在长上下文直接推理密集连续数据时的严重衰减，并验证通过 Python 解释器与 ReAct 代码生成智能体可取得逼近物理学研究生手写代码的分析性能。

研究背景与动机¶

近年来，大语言模型在科学领域的评估取得了显著进展，但大多数基准（如 CMT-Benchmark、CMPhysBench、QMBench）主要聚焦于理论推导、符号运算或纯代码/工作流生成，忽视了真实科学发现中最核心的基石——从包含噪声与仪器卷积的真实实验数据中提取定量物理结构。凝聚态物理（Condensed Matter Experiment, CME）作为探索微观强关联复杂系统、奠定现代半导体与量子计算硬件基础的前沿学科，其最尖端且信息密集的探测手段正是角分辨光电子能谱（ARPES）与共振非弹性 X 射线散射（RIXS）。这些实验数据直接映射材料中电子的能量与动量分布，是凝聚态物理距离底层哈密顿量最近的“领域语言”。

然而，直接对连续光谱进行定量反演构成了严苛的长上下文密集推理（Dense Context Reasoning）挑战。不同于传统“大海捞针”（NIAH）基准中仅需在大量无关填充中检索稀疏片段，光谱分析要求模型必须在整个二维强关联连续强度阵列（能量-动量网格）中全局整合信息，同时克服实验噪声与仪器分辨率卷积带来的伪影与展宽。更关键的是，物理领域的实验数据本质上是连续分布的网格，不像生物基因模型或代码任务那样天然具备离散的分词单元（token），使得大模型在平衡分词计算效率与连续物理量数值精度之间面临深刻矛盾。

面对这一评估空白，本文的研究切入点是构建一个兼具真实实验物理机制与可控真值的高精度光谱模拟基准，系统考察大模型在面对稠密连续实验数据反演时的真实表现与退化规律。核心 idea：构建包含 190 道前沿实验问题的闭卷三样本基准 CME–SpectrumBench，基于柯西-洛伦兹连续评分函数量化模型数值偏差，揭示模型在直接密集提示下的长上下文与高噪声失效模式，并证明赋予 Python 解释器与 ReAct 反思机制的代码智能体能使大模型分析精度逼近资深物理研究者的手写分析代码。

方法详解¶

整体框架¶

CME–SpectrumBench 的评测流水线由四大核心支柱构成：基于物理前向过程的高保真光谱仿真器、涵盖七大物理领域与三个难度梯级的分层问题集、兼顾动态范围与 token 预算的紧凑文本/表格编码协议，以及基于连续物理容差的柯西-洛伦兹（Lorentzian）评分机制。评测支持直接提示（Direct Query）以及带 Python 解释器调用与 ReAct 自反思的代码生成智能体两种评估模式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["高保真物理光谱仿真器<br/>ARPES / RIXS 前向物理过程模拟"] --> B["多梯级真实实验问题构建<br/>七大科学领域与 Tier I/II/III 梯级任务"]
    B --> C["密集上下文数据表示与噪声注入<br/>高动态范围归一化网格与高斯噪声/仪器卷积"]
    C --> D{"模型交互与分析模式"}
    D -->|模式一：直接密集推理| E["直接少样本密集提示<br/>闭卷 3-shot 文本强度阵列直接预测"]
    D -->|模式二：智能体代码生成| F["解释器工具与 ReAct 反思机制<br/>CSV 表格输入 + Python 代码执行与纠错"]
    E --> G["洛伦兹连续评分系统<br/>基于半峰全宽容差的连续物理偏离度评分"]
    F --> G

关键设计¶

1. 高保真物理光谱仿真器：建立无污染且可控的物理真值正向-逆向映射

为了彻底杜绝大模型预训练数据污染并提供绝对精确的物理真值（Ground Truth），基准不直接抓取已有发表文献的图谱，而是开发了专门的 ARPES 与 RIXS 高保真前向仿真器。在 ARPES 中，电子能带的谱函数正向过程由格林函数虚部解析给出： $$A(k, \omega) = \frac{\Sigma^{\prime\prime}(\omega)}{(\omega - \epsilon(k))^2 + (\Sigma^{\prime\prime}(\omega))^2}$$ 其中 $\omega$ 为能量，$k$ 为晶格动量，$\epsilon(k)$ 代表真实的微观能带色散，$\Sigma^{\prime\prime}(\omega)$ 为自能虚部（反映相互作用导致的谱线展宽）。正向仿真过程为 $y \mapsto x$（由物理参数生成强度谱 $A(k,\omega)$），而模型面临的评测则是极具挑战性的逆问题 $x \mapsto y$（从含噪声与卷积的二维强度图中提取微观参数）。真值由解析函数直接生成，克服了人类专家手动标定存在的主观偏差与速度限制。

2. 多梯级真实实验问题构建：从局部标量检索到全局隐结构反演的七大领域任务体系

基准覆盖凝聚态物理实验七大核心领域（A–G），细分为 38 个任务类别，每类生成 5 种不同噪声或卷积梯度，总计 190 道严谨的专业实验问题。同时，基准将问题正交划分为三个渐进认知梯级： - Tier I（基础标量提取）：提取单一标量物理量（如费米能级 $E_F$、能带底能量 $E_{\text{bottom}}$、狄拉克点能量、超导能隙大小、声子频率等），是与传统 NIAH 差异最小但信息已弥散的层级； - Tier II（潜在阵列反演）：要求模型提取完整的一维连续物理曲线阵列，包括复杂能带色散 $\epsilon(k)$（线性、二次抛物线、超结构折叠）与散射线宽 $\Sigma^{\prime\prime}(\omega)$（杂质散射常数、边缘费米液体线性展宽、费米液体二次展宽），检验模型追踪全局潜在拓扑结构的能力； - Tier III（间接推导物理量）：要求模型在反演 Tier II 连续结构的基础之上，进一步通过微分或积分计算导出二级衍生物理量，例如费米速度 $v_F = \partial\omega/\partial k$ 以及对布里渊区费米面围积进行面积分所导出的载流子掺杂浓度 $\text{Doping} = 1 - 2 \cdot \frac{\text{Area}}{\text{Area}_{\text{BZ}}}$。

3. 密集上下文数据表示与噪声注入：模拟真实实验伪影与长上下文高动态范围

真实物理探测器存在本底噪声与测量仪器带来的能量/动量展宽。基准对二维强度阵列注入两类关键实验伪影： - 随机斑点高斯噪声：在谱图上随机播撒 $2 \times 10^4$（ARPES）或 $5 \times 10^3$（RIXS）个随机位置的噪声斑点，其脚印通过二维高斯平滑展开，平均噪声强度设定为谱线最大峰值的 $0\%$ 至 $40\%$； - 仪器高斯卷积：在动量方向引入半高宽为 $0.005\text{ \AA}^{-1}$、能量方向为 $0.003\text{ eV}$ 的一维高斯卷积核，严格还原探测器物理分辨率限制。在数据表征上，为了在上下文窗口中容纳高达 $100 \times 100$ 至 $200 \times 200$ 网格的巨大 token 消耗（三样本下达 $\sim 10^5$ tokens），基准将所有强度值线性重标定至 $[0, 1000]$ 整数区间，能量与动量轴标定在矩阵表头与首列，实现高动态范围与紧凑文本序列的平衡。

4. 解释器工具与 ReAct 反思机制：将逆问题映射为智能体代码生成任务

在直接密集提示（Direct Query）之外，基准针对前沿模型设计了代码智能体工作流。将二维强度谱矩阵以结构化 .csv 文件形式输入，允许模型调用 Python 解释器执行数据处理与拟合脚本。进一步，结合 ReAct（Reasoning + Acting）提示策略，智能体先在附带已知参考答案的示例数据集上编写并运行代码，对比自身代码输出与示例物理真值，通过观察残差自主调试拟合超参数（如洛伦兹拟合初值、切片能量窗口、数值积分步长等），随后将收敛的代码迁移执行至测试数据集，从而将困难的端到端密集感知反演解耦为可执行的程序综合与符号工具链调用。

5. 洛伦兹连续评分系统：基于物理测量容差的有界连续评估指标

不同于通用基准非对即错的二值判断，连续物理测量中数值偏差具有渐进意义。基准引入重标定的柯西-洛伦兹（Cauchy-Lorentz）分布作为连续评分函数： $$\text{Score} = \frac{\gamma^2}{(x - x_0)^2 + \gamma^2}$$ 其中 $x$ 为模型预测数值，$x_0$ 为真实解析解，$\gamma$ 为半峰全宽（HWHM）。当预测绝对精准时 $\text{Score} = 1$；当偏差恰好等于典型实验标准测量误差 $1\sigma$ 时（设定动量容差 $\gamma = 0.005\text{ \AA}^{-1}$，能量容差 $\gamma = 0.003\text{ eV}$，掺杂容差 $\gamma = 0.01$），得分恰好为 $0.5$；偏差极大时得分平滑趋于 $0$。对于 Tier II 阵列预测，逐点计算洛伦兹得分后取算术平均值。柯西分布相较于高斯分布具备更宽的重尾，能够更宽容地奖励捕捉到定性趋势但存在系统微小偏移的预测。

实验关键数据¶

主实验¶

评测涵盖 2024 年 12 月至 2026 年发布的前沿推理大模型（含闭源 OpenAI o1/o3/o4-mini/GPT-5/GPT-5.4、Google Gemini 系列、Anthropic Claude 系列，以及开源 DeepSeek-R1/V4 Pro、Qwen3-Thinking、Kimi K2、GLM-4.5 等）。直接查询（Direct Query）与进阶代码/ReAct 提示在标准 $100 \times 100$ 分辨率下的综合表现与对照如下表所示。

模型	交互模式	全谱平均分（所有噪声/卷积）	最小噪声/卷积得分	最大噪声/卷积得分
研究生手写基准代码（3天开发）	Python 算法拟合	0.45	0.61	0.31
Gemini 3.1 Pro	Direct Query	0.34	0.48	0.21
GPT-5.4	Direct Query	0.32	0.45	0.20
Claude Opus 4.7	Direct Query	0.31	0.44	0.19
Claude Sonnet 4.5	Direct Query	0.28	0.41	0.16
DeepSeek V4 Pro (开源首位)	Direct Query	0.23	0.35	0.14
OpenAI o3	Direct Query	0.26	0.38	0.15
DeepSeek-R1	Direct Query	0.18	0.27	0.11
Qwen3-235B (Thinking)	Direct Query	0.16	0.25	0.10
Gemini 3.1 Pro + Code / ReAct	智能体代码生成	0.46	0.68	0.25
Claude Opus 4.5 + Code / ReAct	智能体代码生成	0.42	0.63	0.23
Claude Sonnet 4.5 + Code / ReAct	智能体代码生成	0.40	0.60	0.22
GPT-5 + Code / ReAct	智能体代码生成	0.41	0.61	0.22
DeepSeek V4 Pro + Code / ReAct	智能体代码生成	0.35	0.52	0.18

消融实验：不同认知梯级与进阶提示增益分析¶

下表对比了顶尖推理模型在三个不同认知难度梯级下，从直接提示（Direct）切换至代码解释器与 ReAct 智能体（Advanced）前后的得分表现，展示了不同问题结构在工具增强下的收益差异。

任务梯级	核心任务特征	直接提示得分 (Gemini 3.1 Pro)	智能体代码得分 (Gemini 3.1 Pro)	提升幅度	典型失效表现与机理
Tier I	标量特征提取 ($E_F$, 能隙, 极值)	0.46	0.54	+0.08 (+17.4%)	存在约 0.1 的底线得分，长上下文下不易发生致命偏移
Tier II	连续拓扑曲线反演 ($\epsilon(k)$, $\Sigma^{\prime\prime}(\omega)$)	0.21	0.43	+0.22 (+104.8%)	直接查询无法输出长数组；代码拟合（MDC/EDC）带来翻倍提升
Tier III	间接派生计算 ($v_F$, 费米面微积分)	0.29	0.41	+0.12 (+41.4%)	理论上最难，但直接查询常出现经验捷径（Heuristics Short-circuit）

关键发现¶

直接密集推理的严重退化与分辨率幂律衰减：在直接密集文本输入下，所有前沿模型均显著落后于物理专业研究生撰写的基础拟合脚本。对数据分辨率从 $50^2$ 扩展至 $200^2$ 的消融表明，模型准确度随 token 序列增长呈现出明显的指数/幂律衰减（$S \propto e^{-\alpha N}$）。其中 Tier II 连续曲线提取任务的衰减速度最陡峭，验证了大模型在自注意力机制中处理大尺度稠密感知计算时的内生瓶颈。
工具使用（Code/ReAct）让 LLM 胜任科研助手：当赋予模型 Python 解释器与 ReAct 反思机制后，Gemini 3.1 Pro 全谱得分由 0.34 跃升至 0.46，在低噪声工况下达到 0.68，全方位反超物理专业研究生基础脚本（0.45 / 0.61）。这证明前沿大模型已完全具备作为实验物理科研助手的代码编写与调优潜力。
高噪声瓶颈与“良性噪声扰动”反常现象：当实验噪声或仪器卷积达到严苛水平（如 40% 噪声）时，代码智能体收益急剧收敛（得分停滞在 0.25 附近），模型生成的反演代码缺乏高鲁棒性的反卷积与背景扣除能力。同时，实验观测到一个引人注目的反直觉现象：在极低噪声下，模型常陷入死板错误的先验幻觉；而微量噪声的注入反而“踢出”了模型的错误启发式捷径，使其回归到大致正确的反演轨迹上，随后随着噪声进一步加剧才逐渐退化为“随机游走”。

亮点与洞察¶

将凝聚态逆问题转化为连续多模态稠密评估：将量子材料能谱反演形式化为长上下文密集推理任务，既跳脱出传统 NIAH 稀疏检索的简单玩具场景，又为 AI for Science 提供了拥有确定解析物理真值的坚实评测标准。
基于柯西-洛伦兹分布的物理容差度量：巧妙利用谱学线型天然的洛伦兹展宽构建无界误差向 $[0, 1]$ 连续有界分数的映射，将实验仪器的标准不确定度（$1\sigma$）物理锚定在 0.5 分，避免了二值硬匹配对科学探索渐进精度的粗暴割裂。
揭示了物理基础模型在“连续空间分词”上的深层危机：指出生物大模型（DNA/蛋白质）依赖天然离散字母编码，而物理大模型必须在连续实数场（网格/体素）中寻找计算紧凑性与数值保真度的平衡，为下一代原生物理领域基础模型（Physics Foundation Models）指明了必须原生消化原始连续数据的方向。

局限与展望¶

作者承认的局限：评测目前局限于 ARPES 与 RIXS 的二维能动量切片，真实前沿实验中常包含三维立体谱学数据（如变偏振或三维布里渊区扫描）；评测仅采用闭卷三样本（3-shot）形式，未探索模型微调（Fine-tuning）或基于领域强化学习（RL）的后训练潜力；未纳入通用视觉大模型（VLM），主要是由于 Patch 粗粒度嵌入与离散色彩映射破坏了关键强度的数值严谨性。
自主观察的局限：手写对比基准仅由一名研究生在三天内编写的基础代码构成，未与成熟的专业物理谱学拟合工业级软件（如 Igor Pro 经典分析套件或严谨的高维贝叶斯反卷积管线）进行深度对照；对于 Tier III 中模型采取启发式捷径的机制尚未给出微观注意力权重层面的归因解释。
改进方向：探索类似 ESM3 或离散变分编码器（VQ-VAE）的连续物理谱图离散分词技术；引入强化学习环境（类似 $\tau$-bench）让智能体在仪器采集实时数据流的过程中完成在线动态测量参数调整。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次开创性地将凝聚态物理谱学实验逆问题构建为前沿 LLM 的稠密长上下文基准。
实验充分度: ⭐⭐⭐⭐⭐ 详尽覆盖 190 道严谨实验问题、跨越 20 余款顶尖推理模型、对比直接提示与代码智能体、深入消融长上下文衰减。
写作质量: ⭐⭐⭐⭐⭐ 物理概念推导严谨清晰，实验问题分类层次分明，对物理基础模型发展瓶颈的洞察极具前瞻性。
价值: ⭐⭐⭐⭐⭐ 极大推进了 AI for Science 从理论符号演算向真实实验数据分析的范式跃迁，对构建下一代物理基础模型具有重要指导意义。

任务梯级	核心任务特征	直接提示得分 (Gemini 3.1 Pro)	智能体代码得分 (Gemini 3.1 Pro)	提升幅度	典型失效表现与机理
Tier I	标量特征提取 (\(E_F\), 能隙, 极值)	0.46	0.54	+0.08 (+17.4%)	存在约 0.1 的底线得分，长上下文下不易发生致命偏移
Tier II	连续拓扑曲线反演 (\(\epsilon(k)\), \(\Sigma^{\prime\prime}(\omega)\))	0.21	0.43	+0.22 (+104.8%)	直接查询无法输出长数组；代码拟合（MDC/EDC）带来翻倍提升
Tier III	间接派生计算 (\(v_F\), 费米面微积分)	0.29	0.41	+0.12 (+41.4%)	理论上最难，但直接查询常出现经验捷径（Heuristics Short-circuit）