跳转至

From Atomic to Agentic: Towards Interpretable Evaluation of LLMs’ Agentic Mathematical Capabilities

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Eternity-gaga/Agentic-Math-Bench
领域: LLM Agent
关键词: 数学智能体、过程级评测、原子能力解耦、规划与反馈、LLM-as-a-Judge

一句话总结

本文提出了首个面向大语言模型内在数学智能体能力的过程级评测基准 AgenticMathBench(AMB),将结构化数学原子能力与规划、动作、反馈三类智能体核心行为双轴对齐并细粒度解耦,揭示出传统端到端答案正确率完全掩盖的模型微观智能体能力断层与瓶颈。

研究背景与动机

近年来,大语言模型在数学难题求解上取得了突破性进展,正逐步从单轮端到端思维链(CoT)推理向融合动态规划、工具调用、环境交互与自我反思的智能体范式演进。然而,当前绝大多数主流数学基准评测(如 GSM8K、MATH、OlympiadBench 等)仍遵循严格的结果导向逻辑,仅对比最终答案的离散准确率。这种粗粒度评估缺乏对解题推理链的过程级诊断能力,不仅无法识别模型在多步推演中的逻辑断裂、代数跳步或因果归因偏差,更无法为基础模型升级为高可靠自主智能体提供明确的归因指导。

深层次的核心矛盾在于:数学推理过程与智能体执行工作流在认知与结构层面具有高度同构性——二者均可递归拆解为可复用的原子认知单元(如符号提取、空间感知、方程建模与形式化证明,映射至智能体的子目标规划、单步执行与状态监控)。然而现有评测体系存在严重割裂:一方面,传统数学数据集按代数、数论、几何等学科领域机械组织,脱离了智能体的交互式决策机制;另一方面,现有自主智能体评测往往将基础模型直接置于复杂的外部框架中执行长程任务,使得模型内在能力缺陷与外部框架调度、工具延迟等混杂变量高度缠绕,无法孤立度量基础模型内在的智能体禀赋。

为了打破这一评估黑盒,本文的切入角度是将数学复杂推理系统性拆解为结构化原子能力,并与智能体的决策生命周期进行投影映射。核心 idea:构建双轴对齐的过程级基准 AgenticMathBench(AMB),将数学原子认知能力与规划(Planning)、动作(Action)、反馈(Feedback)三大智能体行为深度解耦,在纯文本与多模态场景下实现单步决策、单项执行与首错诊断的可解释评测。

方法详解

整体框架

AgenticMathBench(AMB)旨在评估大语言模型内在的数学智能体潜能,而非依赖外部调用框架的黑盒表现。整个框架沿两个严格对齐的维度展开:纵向为结构化数学原子能力轴(涵盖概念理解、计算、空间感知、形式化语言、演绎推理、建模、定理应用及自我反思等 3 个层级共 9 项核心能力),横向为智能体功能行为轴(规划、动作、反馈)。

评估流程先从 150+ 经典与前沿数学竞赛基准中筛选出 27 个高质量数据集,涵盖单项原子任务与复合奥林匹克竞赛题;接着利用数学智能体合成计划-执行-反馈全流程轨迹,经过答案正确性核验、人工质量双审及多样性过滤保留核心轨迹;最后将其转化为规划(能力规划、路线规划、动态下一步推断)、动作(8 个单原子任务独立执行)以及反馈(正确性判决、首错定位、修复建议)三大维度的评测题库,配合严格校准的自动化规则与 LLM-as-a-judge 混合评判指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["基准题库采集与清洗<br/>150+数据集筛选 → 27个高阶/原子题库"] --> B["阶段1:双轴映射的数学原子能力体系<br/>3级9项原子能力 ↔ Planning / Action / Feedback 对齐"]
    B --> C["阶段2:自动化轨迹合成与多阶段清洗管线<br/>智能体合成轨迹 → 正确性初筛 → 人工双审 → 多样性过滤(保留17.3%)"]
    C --> D["阶段3:全流程解耦的三阶评测任务范式<br/>任务派发至 Planning / Action / Feedback 独立评测"]
    D --> E["混合评判机制与可解释诊断<br/>规则验证 / 符号等价 / LLM-as-a-Judge 多维判分"]

关键设计

1. 双轴映射的数学原子能力体系:解决传统学科分类脱离智能体行为的痛点

传统数学基准多按学科分支划分,无法指导智能体模块的设计与调试。AMB 联合数学领域专家与长期高等教育学者,经过多轮理论论证与实证筛除,确立了三级九维的数学原子能力体系,并将其精准投射到智能体认知功能上: - Level 1(基础概念与计算):包括符号识别(Symbol Recognition)、概念理解(Concept Understanding)和计算执行(Calculation),构成智能体单步动作的基础执行模块; - Level 2(高级推理与应用):包括空间感知(Spatial Perception)、形式化数学语言(Formal Mathematical Language,Lean4)、演绎与归纳推理(Deductive and Inductive Reasoning)以及数学建模(Mathematics Modeling),承载复杂单步动作与长程任务推进; - Level 3(数学元认知):包括定理应用(Theorem Application)、自我反思(Self-Reflection)与新知识学习(New Knowledge Learning),与全局规划和反馈纠错机制天然对齐。

该体系实现了数学解题步骤与智能体行为的一一映射:Level 1 与 Level 2 的具体技能直接作为 Action 模块的被调用单元,而 Level 3 的元认知能力则驱动 Planning 的全局战略制定和 Feedback 的状态监控与路径修正。

2. 全流程解耦的三阶评测任务范式:解决端到端评估无法诊断微观决策与纠错能力的痛点

为彻底解耦模型内在能力与多步长程误差累积,AMB 将智能体行为划分为三个互不干扰的评测子集: - 规划能力评测(Planning):将规划抽象为受约束的有序决策序列生成。包含三个递进任务:① 能力规划(Capability Planning),给定题目要求预测解题所需的原子能力集合 \(A_{sub} \subseteq \mathcal{A}\);② 全局解题规划(Solution Planning),生成完整的有序步骤与子目标序列 \(\pi = \{(a_1, g_1), \dots, (a_T, g_T)\}\);③ 动态下一步预测(Next-step Planning),将标准解题轨迹在 20%、50%、80% 完成度处阶段性截断,要求模型在给定历史上下文 \(s_t\) 下预测下一步应采取的原子能力 \(a_{t+1}\) 及具体子目标 \(g_{t+1}\)。该设计精准探测模型是否具备动态自适应推断能力。 - 动作执行评测(Action):针对解耦的单原子任务开展单步能力定点压力测试,涵盖除自我反思外的 8 类原子任务。针对不同任务制定差异化目标表征与评判标准:符号识别采用 LaTeX 表达式的 ExpRate 与符号集相似度 SymRate;概念理解评估提取核心概念集合的 Set-F1;计算执行评估数值精确匹配 EM 与计算机代数系统符号等价 CAS-Eq;空间感知评估拓扑与几何关系谓词的 Set-F1;形式化语言评估 Lean4 的编译通过率 Compile 与语义对齐度 Align(pass@k);演绎推理与定理应用评估证明骨架覆盖率与一致性;建模任务则严格解析提取的变量名、代数约束与优化目标。 - 反馈纠错评测(Feedback):形式化为轨迹状态评估函数 \(f: (\text{problem}, \tau_{\le t}) \to \{\text{status}, \text{type}, \text{sugg}\}\)。包含三层进阶诊断:① 轨迹正确性判断(Correctness Judgment),对混合正确与带错的解题轨迹进行二分类鉴别;② 首错定位(Error Localization),要求模型在不借助真值的前提下指出整条轨迹中最早发生逻辑断裂的步骤索引 \(t_{err}\) 并准确分类错误类型(如代数失误、概念混淆、无效推断等);③ 修复建议(Fix Suggestion),在首错发生前切断轨迹,要求模型提出修正方案与合理的下一步动作建议 \((a_{t+1}, g_{t+1})\)。

3. 严密约束的合成过滤与混合评判管线:解决过程级轨迹真值稀缺与评判一致性不足的痛点

过程级评测的最大阻碍在于高质量带步骤标注的轨迹极其稀缺。AMB 提出了一套严密受控的合成与清洗工序:从 OlympiadBench、Omni-MATH、AMO-Bench 等高难度基准中收集 1,236 篇纯文本与 136 篇多模态复合难题,利用 Math Agent 框架在原子能力指导下自主合成解题轨迹。合成结果经历三重过滤:① 最终答案等价性硬性初筛,剔除 ~76.8% 错误轨迹;② 两位具有数学背景的专业标注员进行盲审,逐步审查步骤完整性、逻辑一致性与推理有效性,三项指标均达标才予通过;③ 结构多样性过滤,强制剔除少于 2 个步骤或涉及少于 2 项原子能力的平庸样本。最终仅保留 17.3% 的极致精品轨迹(217 篇纯文本与 20 篇多模态轨迹)。

在评估判分端,为解决过程级表达多样性带来的评判偏差,评测管线构建了多重防护机制:采用 DeepSeek-V3 在温度为 0 的确定性配置下充当 Judge,并注入领域专家制定的 3-5 条多维度判分准则,涵盖逻辑一致性、完备性与推进效率。抽样 10% 样本进行人工双盲复核显示,LLM 评判与人类专家评分的一致率超过 96%(F1 达 0.86);同时引入 GPT-5-mini 作为备用 Judge 进行鲁棒性检验,两者交叉一致性高达 0.96,充分证明了评估准则的客观性与抗漂移能力。

一个完整示例

以论文附录展示的一道反馈评测首错定位样例为例,直观呈现 AMB 针对过程级因果归因的诊断机制:

  • 输入题目:计算极限 \(\lim_{x \to 0} \frac{e^x - 1 - x}{x^2}\)。
  • 呈现给模型的待审轨迹:
  • 步骤 1:直接代入得 \(\frac{0}{0}\) 型不定式,满足洛必达法则适用条件(正确);
  • 步骤 2:对分子求导,\((e^x - 1 - x)' = e^x - 1\)(正确);
  • 步骤 3:对分母求导,\((x^2)' = 2x\)(正确);
  • 步骤 4:再次使用洛必达法则,但对分母求导时错写为 \((2x)' \to 1\)(关键首错发生点);
  • 步骤 5:代入 \(x=0\),得出极限最终结果为 1(因承接步骤 4 的推导错误导致结果错误)。
  • 标准期望输出:最早错误步骤为步骤 4;错误类型为导数计算/代数变形错误;正确修复动作为将分母导数重算为 2,进而得出正确极限 \(\lim_{x \to 0} \frac{e^x}{2} = \frac{1}{2}\)。
  • 代表性大模型错误输出:“第一个错误发生在步骤 5。前面的洛必达法则应用均正确有效,但在最后代入计算时算错了极限值。应当重新计算最终极限而非直接得出 1。”
  • 诊断分析:传统端到端基准只能判定该模型给出的最终答案错误,而无法判断失败根源。AMB 的过程级反馈任务精准暴露了该模型具备表面结果校验意识,却缺乏追溯逻辑因果链的能力——它将分母求导的代数根源错误遗漏,直接甩锅给最后一步代入。这种细粒度失误在真实智能体交互中会导致灾难性的无效纠错循环。

实验关键数据

主实验

论文对通用开源模型、数学专用开源模型以及前沿商用模型三大阵营进行了全面测评。下表汇总了各代表性模型在规划(Planning)与反馈(Feedback)两大核心能力上的评测表现。

模型类型 模型名称 能力规划 F1 解题规划 Overall 下一步规划 Overall 判真准确率 Acc 首错定位 Overall 修复建议 Overall
通用开源 Llama-4-Scout-17B 60.8 36.2 33.5 50.0 30.8 28.0
通用开源 Llama-4-Maverick-17B 64.1 44.3 46.1 44.4 19.2 24.3
通用开源 DeepSeek-V3.2 52.1 76.1 46.3 49.0 60.5 31.5
通用开源 Qwen3-32B 41.5 40.2 36.3 56.1 51.4 24.7
通用开源 Qwen3-235B-A22B-Thinking 54.1 7.2 28.7 56.5 22.3 2.4
通用开源 GLM-4.7 56.0 8.3 29.0 47.3 16.3 13.0
数学开源 Qwen2.5-Math-72B-Instruct 65.4 11.2 30.2 51.7 15.9 11.4
数学开源 DeepSeek-Math-V2 57.9 13.6 29.5 48.8 34.6 9.5
商用前沿 GPT-5.2 74.0 85.1 41.0 49.3 47.2 34.7
商用前沿 Claude-4.5-Sonnet-Thinking 78.8 84.0 49.4 46.3 46.3 32.8
商用前沿 Gemini-3-Pro 72.9 66.2 34.2 52.8 43.2 28.6

核心对比:端到端数学成绩 vs. 智能体能力解耦

下表展示了典型模型在传统端到端数学评测(MATH, AIME 2025)与 AMB 智能体三大能力轴(规划 Plan.、反馈 Feed.、动作 Act.)之间的鲜明对照,直接证明了端到端得分无法预测智能体潜能。

模型名称 MATH (E2E) AIME25 (E2E) 规划 (Plan.) 反馈 (Feed.) 动作 (Act.) 特征诊断与断层分析
Llama-4-Scout-17B 82.6 10.0 33.5 46.7 53.7 基础能力偏弱,各维度均衡落后
Llama-4-Maverick-17B 90.6 15.9 46.1 40.9 67.4 动态规划较强,首错定位严重掉点
Qwen3-235B-A22B 98.0 81.5 28.7 21.4 84.5 端到端超高,但规划与反馈极度塌陷
GLM-4.7 98.8 95.7 29.0 29.7 64.5 AIME25 顶尖,解题路线规划不足 10%
Qwen2.5-Math-72B 85.9 20.0 30.2 27.2 30.5 针对题库优化,脱离特定模板后动作崩溃
GPT-5.2 100.0 99.0 41.0 53.7 89.3 动作与反馈全面领先,动态规划略有下降
Gemini-3-Pro 100.0 95.7 34.2 48.3 80.6 端到端与 GPT-5.2 相当,但规划显著偏弱

关键发现

  • 端到端高分掩盖智能体机能塌陷:GLM-4.7 与 Qwen3-235B-A22B 在 AIME 2025 上取得了超过 80% 甚至 95% 的端到端正确率,但在全局解题规划上仅取得 8.3% 与 7.2% 的惨淡分数,修复建议得分更是低至 13.0% 与 2.4%。这表明过度针对最终答案优化的模型极易退化为“捷径跳步机器”,丢失了逐步构建一致推理链的能力。
  • 离线全局规划与在线动态推断出现严重鸿沟:多数顶尖模型(如 DeepSeek-V3.2、Claude-4.5、GPT-5.2)在一次性生成全局路线规划时可达 75%~85% 的优异表现,但一旦进入截断轨迹要求动态预测下一步(Next-step Planning),准确率普遍骤降至 30%~49%。模型严重依赖自上而下的初始惯性,缺乏感知中间状态并适时调整方向的鲁棒状态追踪机制。
  • 反馈纠错中的“知其然而不知其所以然”:在反馈维度上,各模型对整条轨迹正确与否的判断基本徘徊在 45%~56%(甚至低于常规随机推测的直觉水平),首错定位整体准确率极少突破 60%。绝大多数模型在遭遇错误时,倾向于盲目归咎于最后得出错误数值的一步,或给出“重新计算”等泛泛而谈的无效建议,无法将诊断转化为精确有效的修复动作。
  • 概念理解而非基础计算构成动作执行的最大瓶颈:在动作执行的 8 大细项中,大多数模型在数值计算与目标方程识别上均能取得较高得分,但在概念理解(Concept Set-F1)上普遍表现最差(开源模型普遍在 13%~52% 之间)。这表明模型执行失准的根因并非算力不足,而是对数学深层抽象概念的内涵与外延缺乏精准对齐。

亮点与洞察

  • 认知同构驱动的双轴对齐范式:首次从形式化与认知科学双重视角,将高难度数学解题过程与智能体规划、动作、反馈三大机能进行严格对齐与解耦,开辟了可解释数学智能体评测的新标准。
  • 揭示“端到端强化学习的捷径假象”:通过详实的实证数据切中当前主流大模型的命门——仅依赖最终奖励(Outcome-supervised RL)微调出的模型虽然具备极高的榜单刷分能力,但在状态追踪、首错回溯与动态规划上极其脆弱,为 Process Reward Model(PRM)与内在智能体对齐训练提供了强有力的理论依据。
  • 高标准数据纯化技术:在轨迹合成中坚持 17.3% 的极低入选率,通过正确性初筛、逻辑三要素双盲人工复核与结构多样性硬约束,构筑了高抗噪、防污染的过程级真值标准,具备极佳的基准示范意义。

局限与展望

  • 长程记忆与持续学习机制的缺位:作者坦承当前基准由于单次测试受控性限制,尚未涵盖需要跨轮更新外部记忆(Long-term Memory)与即时摄入新数学定理(New Knowledge Learning)的长周期评测任务,未来需引入外置工具交互与记忆扰动评测。
  • 多模态图表复杂推理样本受限:受制于高难度带图数学竞赛题目的天然稀缺性,目前多模态轨迹子集规模相对较小,未来版本需进一步扩展包含几何拓扑构图与复杂函数图像的多模态交互轨迹。
  • 推理预算与调用成本的联合考量:AMB 当前聚焦于基础模型内在能力维度的度量,未将步骤消耗的 Token 数与时延纳入统一帕累托权衡,建立成本感知的效率-能力双重评估将是下一代基准的重要演进方向。

相关工作与启发

  • vs. 传统数学基准(GSM8K, MATH, OlympiadBench):传统基准将多步推理折叠为黑盒,仅考察单一数值/证明结论;AMB 穿透推理全过程,将解题过程拆解为原子能力映射下的多步决策,实现了细粒度可解释归因。
  • vs. 技能分类基准(GAUSS, MathEval):现有技能基准主要沿代数、几何等数学学科领域平铺分类,缺乏与智能体认知工作流的互动映射;AMB 首次建立了数学能力与智能体核心行为(Plan/Act/Feed)的交互矩阵,让评测直接对齐智能体架构设计。
  • vs. 端到端智能体框架评测(ToRA, MathAgent):端到端框架评测将基础模型能力与工具接口、编排代码高度缠绕;AMB 坚持评测基础模型内在固有的智能体潜质,排除了环境噪声干扰,为选拔与微调智能体骨干模型提供了纯净标尺。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次实现数学原子能力与智能体行为的双轴对齐与过程级细粒度解耦,立意深刻]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖三大阵营 10 余款前沿大模型,横跨纯文本与多模态,数据清洗严苛且有人工/双评委高度对齐验证]
  • 写作质量: ⭐⭐⭐⭐⭐ [结构严密,概念界定清晰,案例剖析透彻,图表呈现极具表现力]
  • 价值: ⭐⭐⭐⭐⭐ [直击当前数学大模型评测由刷分走向实用的核心瓶颈,对下一代过程监督与智能体训练具有重要指导意义]