跳转至

Test-Time Scaling for Scientific Equation Discovery

会议: EMNLP 2026
arXiv: 2502.14382 ⚠️ 以原文为准
论文: ACL Anthology
代码: https://ahong-lin.github.io/ScaleSR-tts/
领域: LLM推理
关键词: 测试时扩展, 科学方程发现, 算力分配, 符号回归, 搜索宽度

一句话总结

本文将大语言模型驱动的科学方程发现形式化为统一的外部测试时扩展(TTS)搜索过程,通过约 4,000 个 H100 GPU 小时的控制实验揭示:搜索宽度是决定性能与物理时钟效率的核心分配变量,较大算力预算偏好更宽的并行扩展,而群体-分支分配与控制器算法差异仅属次要因素。

研究背景与动机

测试时扩展(Test-Time Scaling, TTS)已成为不更新模型权重、纯粹通过增加推理期计算预算来提升大语言模型复杂推理能力的标准范式。然而,现有 TTS 研究大多集中在数学推导或代码生成等封闭式任务(Closed-ended Tasks)上,其目标往往是恢复唯一确定的参考答案,算力分配通常被简化为「单次生成消耗多少思考 token」或「独立采样多少次候选(Best-of-N)」。相比之下,科学方程发现(Equation Discovery / Symbolic Regression)代表了一种典型的开放式建模问题:模型需要提出候选方程或可执行程序,交由外部数值验证器在观测数据上拟合并评估适应度,再通过反馈迭代优化,不存在预先给定的标准文本目标。

尽管近期涌现出如 AlphaEvolve、OpenEvolve、ShinkaEvolve 等基于大模型的自动化算法与方程发现系统,并在符号回归等开放式探索中展现了强大的经验性能,但这些系统往往被包装成高度复杂的 Agent 工作流。它们混杂了特定的提示词技巧、变异与交叉规则、模型集成以及繁琐的启发式剪枝策略,导致学界无法辨清其性能增益究竟来自特定的工程启发式,还是源于底层搜索控制流对推理算力的合理组织。特别是在面对耗时的外部数值评估与参数拟合时,纯串行逐步自校错(Sequential Refinement)会产生严重的物理时钟瓶颈,而纯并行独立采样(Best-of-N)又完全丢弃了中间反馈,难以应对广阔的符号假设空间。

本文切入的角度是:在具备高保真、信息充足的数值验证器前提下,算法设计的首要矛盾不再是繁复的 Agent 框架包装,而是如何将固定的测试期算力预算 \(N\) 战略性地分配在「广度探索(Exploration)」与「深度精炼(Exploitation)」之间。核心 idea:将 LLM 科学方程发现统一形式化为由采样、生成、评估、剪枝构成的离散搜索过程,通过解耦工程启发式的极简并行控制器(PBeam 与 PIE),系统性证明搜索宽度是决定方程发现精度与耗时 Pareto 前沿的第一支配要素,且最优宽度随总预算单调递增。

方法详解

整体框架

本文将大语言模型驱动的方程发现抽象为一个跨时间步演化的记忆状态 \(M_t\) 搜索流程。给定初始弱基线代码(通过最小二乘法拟合的仿射线性基线),系统在每轮迭代 \(t\) 依次执行四个泛化算子: 1. 采样(Sample):依据选择策略 \(q_t(\cdot \mid M_t)\) 从当前记忆池选出待扩展的父节点子集 \(S_t\)(规模为 \(n_t\)); 2. 生成(Generate):LLM 对每个选定候选生成 \(k_t\) 个改进提案,产生候选集 \(G_t\)(单轮总扩展宽度 \(w_t = n_t k_t\)); 3. 评估与剪枝(Evaluate and Prune):外部数值验证器评估生成提案在训练集上的适应度得分 \(f(x)\),并通过剪枝算子 \(\Pi_t(M_t \cup G_t)\) 决定保留存活的候选进入 \(M_{t+1}\); 4. 迭代(Iterate):在总算力约束 \(\sum_{t=0}^{T-1} \sum_{i=1}^{n_t} k_t^{(i)} \le N\) 下循环执行 \(T\) 步。

为了剥离混杂变量,作者提出参数化控制器 \((q, n, k, g)\),其中 \(g\) 为分组数(子种群/Islands 隔离度),全局宽度 \(w = nk\),同步搜索深度 \(T = \max(1, \lfloor N / (nk) \rfloor)\),并在无复杂变异规则的极简设置下实例化为并行束搜索(PBeam)与并行迭代扩展(PIE)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:任务描述 + 训练集数据 + 共享仿射初始解 M0"] --> B["统一搜索控制框架<br/>按全局预算 N 确定总轮数 T 与全局宽度 w=nk"]
    B --> C["分组并行采样<br/>划分为 g 个子组,每组选出 s=n/g 个父节点"]
    C --> D["单步并行生成<br/>每个父节点异步生成 k 个方程候选,单步生成 w=nk 个提案"]
    D --> E["数值验证与两类剪枝策略<br/>PBeam 组内保留 Top-s;PIE 全局历史池 Softmax 采样"]
    E -->|未达到预算 T 步| C
    E -->|耗尽预算 N| F["输出:全流程在训练集上 Acc0.1 最高的最佳方程程序"]

关键设计

1. 统一搜索控制框架:将复杂开放式发现抽象为受限算力分配问题

现有演化系统(如 OpenEvolve)将控制流与交叉、特定提示模板紧密绑定,使得无法进行严谨的控制变量研究。本文的统一形式化将生成候选总数 \(N\) 定义为测试期算力度量。对于固定参数量 \(P\) 的模型和固定的代码编辑脚手架,每次 Rollout 的输入和输出 token 长度均严格受限,单次推理 FLOPs 近似满足 \(C_{\text{rollout}} \approx 2P(L_{\text{in}} + L_{\text{out}})\),总 FLOPs 与调用次数 \(N\) 严格呈线性关系: $\(c_{\min} N \le C_{\text{total}} \le c_{\max} N\)$ 该框架天然涵盖了主流的外部 TTS 范式:纯并行 Best-of-N(\(T=1, n=1, k=N\))、纯串行逐步自校错 Self-Refine(\(T=N, n=1, k=1\))以及受限树搜索。它让研究者能摆脱工程细节,直接在 \((q, n, k, g)\) 参数空间内探讨资源最优分配。

2. 分组并行采样:利用子群划分平衡系统吞吐与探索隔离

在真实科学发现管线中,数值拟合与验证器运行往往成为物理耗时的主瓶颈。为了解决传统 MCTS 或串行搜索缺乏并行性的弊端,控制器引入分组因子 \(g\)。全局活跃种群 \(n\) 和预算 \(N\) 被均匀切分为 \(g\) 个子组(Islands),每个子组独立维护大小为 \(s = n/g\) 的候选池,且组内单轮生成 \(w/g = (n/g)k\) 个方程。分组机制将全局大同步屏障切细为组内局部同步,有效消除了长尾评估任务(Stragglers)造成的硬件空转,在异构延迟环境下显著压缩物理挂钟时间。

3. 单步并行生成:严格控制可编辑作用域的代码演化脚手架

为确保 LLM 探索的是数学方程的符号泛函形式及其参数优化逻辑,而不是在通用 Python 语法上发生幻觉,系统设计了极简的可执行代码脚手架(Executable Scaffold)。提示词仅由任务说明、不可变的前缀 EXACT_PREFIX、不可变后缀 EXACT_SUFFIX 以及当前组内历史最佳程序的一个参考片段组成。模型只能在 # EVOLVE-BLOCK-START 与 # EVOLVE-BLOCK-END 之间生成新的方程表达函数 scaling_law_func 与参数拟合器 fit_scaling_law,并仅允许调用 numpy、scipy 和 scikit-learn。这种统一约束消除了多提示词工程对探索效率的混淆干扰。

4. 数值验证与两类剪枝策略:对比前沿束搜索与全历史概率重访

在评估步骤中,生成的 Python 脚本在沙箱子进程中利用训练集数据拟合未知参数并计算相对误差小于 10% 的样本覆盖率 \(\text{Acc}_{0.1}\) 作为适应度: $\(\text{Acc}_{0.1} = \frac{1}{m} \sum_{i=1}^m \mathbb{I}\left(\left|\frac{\hat{y}_i - y_i}{y_i}\right| \le 0.1\right)\)$ 在剪枝算子设计上,本文对比了两种正交的控制策略: - PBeam(并行束搜索):严格的局部贪心剪枝,每轮在 \(M_t \cup G_t\) 中根据 \(\text{Acc}_{0.1}\) 仅保留得分最高的 \(s = n/g\) 个最优候选进入下一轮,体现出强利用导向; - PIE(并行迭代扩展):维护历史全局累积池 \(H_{t+1} = H_t \cup G_t\),并在截断平滑后的分数上通过 Softmax 概率分布采样父节点: $\(p_{t+1}(x) = \frac{\exp(f(x)/\tau)}{\sum_{x' \in H_{t+1}} \exp(f(x')/\tau)}\)$ 该策略避免了弱但在局部有潜力的候选被硬剪枝过早淘汰,赋予模型从长程搜索历史中重访并展开探索的能力。

一个完整示例

以生物领域任务 BPG1(逻辑斯蒂增长方程)为例: - 初始状态:\(t=0\) 时,系统加载共享的仿射线性回归基线,在 4,000 个训练样本上拟合得到初生解 \(x_0\),其相对拟合精度 \(\text{Acc}_{0.1} \approx 0.50\); - 参数配置:设定总算力预算 \(N=128\),搜索宽度 \(w=32\)(分解为种群 \(n=4\)、单父分支 \(k=8\)),分组 \(g=1\),此时迭代步数 \(T = 128 / 32 = 4\) 轮; - 第 1 轮迭代:系统从记忆池选出当前的 4 个候选槽位(初始均为 \(x_0\) 副本),每个候选生成 8 个变体,单批并发提交 32 个方程至数值验证器。模型提议引入非线性多项式与指数衰减项,验证器筛选出最优候选使得 \(\text{Acc}_{0.1}\) 跃升至 0.82; - 第 2-4 轮迭代:PBeam 保留排名前 4 的前沿解继续并发派生。在第 3 轮某分支探索出包含饱和容量项 \(K_0\) 的微分形式,第 4 轮数值拟合器准确锁定非线性参数,训练集 \(\text{Acc}_{0.1}\) 达到 0.9844,随后在测试集记录性能并终止搜索。

实验关键数据

主实验

实验基于 LLM-SRBench 科学方程发现基准,覆盖 Biology(24 个任务,拟合种群微分方程 \(dP/dt\))与 Material Science(25 个任务,拟合应力响应方程 \(\sigma(\epsilon, T)\))两大领域。基座模型主要采用 gpt-oss-20b,并在 Qwen3-30B-A3B 上完成跨模型泛化验证。评价指标为主流的训练集拟合精度 \(\text{Acc}_{0.1}\)(均值基于 3 个独立随机种子)。

表 1 展示了在 gpt-oss-20b(无分组 \(g=1\))设置下,各算力预算 \(N\) 所能达到的最优搜索宽度 \(w^\star\) 及其最优配置:

算力预算 \(N\) 生物学最优算法 生物学最优 \((n, k, T)\) 生物学最优宽度 \(w^\star\) 材料学最优算法 材料学最优 \((n, k, T)\) 材料学最优宽度 \(w^\star\)
1 PBeam (1, 1, 1) 1 PBeam (1, 1, 1) 1
2 PBeam (1, 1, 2) 1 PBeam (1, 1, 2) 1
4 PBeam (1, 2, 2) 2 PBeam (2, 1, 2) 2
8 PIE (1, 2, 4) 2 PIE (2, 2, 2) 4
16 PIE (1, 2, 8) 2 PBeam (1, 4, 4) 4
32 PBeam (1, 8, 4) 8 PBeam (1, 4, 8) 4
64 PBeam (2, 8, 4) 16 PIE (8, 2, 4) 16
128 PBeam (4, 8, 4) 32 PIE (64, 1, 2) 64

消融实验

为了验证固定全局宽度 \(w=nk\) 下,种群大小 \(n\) 与单父分支数 \(k\) 的分配是否关键,表 2 报告了在总预算 \(N=128\)、宽度 \(w=32\)、单组 \(g=1\) 下不同分解体制的消融对比(划分体制:种群偏置 \(n>k\)、平衡 \(n \approx k\)、分支偏置 \(k>n\)):

领域 算法 体制类型 最优配置 \((n, k)\) 训练集 \(\text{Acc}_{0.1}\) 相比最优体制相对差距
Biology PBeam 种群偏置 (Population-heavy) (16, 2) 0.9816 0.28%
Biology PBeam 平衡分配 (Balanced) (4, 8) 0.9844 0.00%
Biology PBeam 分支偏置 (Branching-heavy) (1, 32) 0.9801 0.44%
Biology PIE 种群偏置 (Population-heavy) (16, 2) 0.9804 0.00%
Biology PIE 平衡分配 (Balanced) (8, 4) 0.9612 1.95%
Biology PIE 分支偏置 (Branching-heavy) (2, 16) 0.9794 0.10%
Material PBeam 种群偏置 (Population-heavy) (16, 2) 0.9857 1.15%
Material PBeam 平衡分配 (Balanced) (8, 4) 0.9971 0.00%
Material PBeam 分支偏置 (Branching-heavy) (1, 32) 0.9876 0.95%
Material PIE 种群偏置 (Population-heavy) (32, 1) 0.9884 0.92%
Material PIE 平衡分配 (Balanced) (4, 8) 0.9975 < 0.01%
Material PIE 分支偏置 (Branching-heavy) (2, 16) 0.9976 0.00%

关键发现

  • 搜索宽度是决定精度的第一支配要素:随着测试时总算力 \(N\) 从 1 扩展至 128,最优搜索宽度 \(w^\star\) 呈现明确的单调上移趋势(在生物学任务中从 \(w=1\) 上升至 \(w=32\),材料学从 \(w=1\) 上升至 \(w=64\))。极度狭窄的纯串行自反思(\(w=1\))或纯并行一次性采样(\(w=128, T=1\))均明显跑输中等宽度的折中方案。
  • 宽度扩展带来巨大的物理挂钟加速:适当调大宽度能够极大释放 LLM 并行批处理和多进程数值评估的硬件吞吐。在生物数据集上,将配置从串行迭代(\(w=1\))调整到中等宽度(\(w=32\)),物理运行时间从 7622 秒断崖式降低至 1586 秒(加速近 80%),同时训练集 \(\text{Acc}_{0.1}\) 从 0.965 逆势提高至 0.984。
  • 内部次级分解与控制器选择属于二阶效应:在选定合适宽度 \(w\) 的前提下,无论是将宽度分配给更多的父节点 \(n\) 还是单节点派生数 \(k\),其性能波动通常严格控制在 1% 到 2% 之内;同时,PIE 与 PBeam 在所有算力与宽度切片上的性能差距仅在 \(\pm 2\%\) 之间徘徊,远远小于因宽度选错导致的 10-20% 断崖式跌落。
  • 分组是系统吞吐杠杆而非搜索多样性增益:将种群划分为 \(g>1\) 个独立子岛在材料学上至多带来 \(1.075\times\) 的挂钟加速(缓解 straggler 效应),但当 \(g\) 过大(如 \(g=8\) 时局部宽度 \(w/g\) 过窄)会导致生物学精度下降 1.54 个百分点。

亮点与洞察

  • 去伪存真的计算分配视角:打破了近年来大模型科研发现领域对复杂 Agent 架构、杂交变异算子和多重提示词工程的盲目迷信,证明复杂进化系统(如 OpenEvolve)的核心经验优势实质来自于其隐式拉宽了测试期搜索并发度。
  • 性能与速度的 Pareto 双赢:传统的 TTS 研究往往假设「更高精度的深层搜索必然牺牲时钟速度」,而本文揭示在科学发现等具备并行评估环境的场景下,增大探索宽度不仅能更均衡地覆盖非线性假设空间,还能天然压缩串行同步等待周期,实现推理质量与吞吐效率的同时跃迁。
  • 可复用的实用工作流调优范式(Empirical Recipe):向开源界提供了清晰的部署实践:先依据硬件上限拉满算力预算 \(N\);再通过以 2 为底的指数步长在小规模试点实验中快速锁定最优宽度 \(w^\star\);最后采用平衡的 \(n-k\) 拆分与轻微的分组 \(g \le 2\) 即可逼近性能上限,无需在控制器算法微调上耗费冗余精力。

局限与展望

  • 基准任务与真实科研场景的现实差距:论文实验局限于 LLM-SRBench 的合成方程基准(聚焦于 ODE 演化与应力应变物理律),未包含真实湿实验或物理世界中常见的异质噪声测量、因果结构辨识、多目标安全约束与长程迭代验证。
  • 对高保真数值验证器的强依赖:全文结论以存在准确的数值评估器为前提。在搜索过程中完全依赖训练集精度作为奖励反馈,虽然在当前基准下未观察到严重的过拟合现象(测试集曲线高度跟随训练集),但在带噪或代理奖励易被欺骗的复杂科研场景中,过度扩展测试时搜索可能会加剧 Goodhart 效应并诱发过拟合。
  • 算力核算的均匀假设:研究将生成调用次数 \(N\) 严格视作统一成本,未深入考虑不同候选方程在数值求解时可能导致的动态超时、复杂编译开销以及不同 Token 长度下的细粒度 GPU 显存负载扰动。

相关工作与启发

  • vs OpenEvolve / ShinkaEvolve: 这类前沿演化编码 Agent 引入了多岛隔离模型、LLM 交叉变异提示词及集成机制。本文证明在同等受限预算 \(N\) 下,OpenEvolve 实际上退化为 \((n=w, k=1, g=w)\) 的完全隔离极端子集;采用极简的 PBeam/PIE 并在全局维持温和的分组(如 \(g=2\))和非全隔离探索,其拟合精度不仅不逊色于高度工程化的系统,甚至表现更为优异。
  • vs 推理期思维链扩展(Internal TTS / o1-style): 传统 CoT / 思考模型探索的是自回归单序列内部的 token 伸缩(内部 TTS);本文聚焦于通过交互式验证器与外部工具闭环构成的外部多轮展开(External TTS),证明在黑盒优化与假设生成这类无直接梯度反馈的任务中,多分支离散状态搜索展现出独特的尺度分配规律。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 首次将测试时算力扩展(TTS)从封闭数学代码任务形式化引入开放式科学方程发现,剥离了工程杂质。
  • 实验充分度: ⭐⭐⭐⭐⭐ 耗费约 4,000 个 H100 GPU 小时,全网格式覆盖 8 档预算、几十种宽度与分组组合,多模型双领域交叉验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 形式化严谨自洽,论证逻辑环环相扣,图表直观且深刻指出了算力分配的本质。
  • 价值: ⭐⭐⭐⭐⭐ 为自动化科学发现(AI for Science)系统的计算架构设计提供了极具操作价值的准则与基准认知。