Memorize Theorems, Not Instances: Probing SFT Generalization through Mathematical Reasoning¶
会议: NeurIPS 2026
arXiv: 2605.09270
领域: Reasoning
关键词: 监督微调, 数学推理, 泛化瓶颈, 定理学习, 归纳目标
一句话总结¶
针对监督微调（SFT）损害推理泛化的根本症结，本文指出失败源于模型记住了问题实例的表面虚假关联而非记忆机制本身，进而提出将监督重构为结构化规则调用的 Theorem-SFT，使 LLaMA-3.2-3B 在 MATH-500 上提升 8.8%，且证明仅更新 MLP 即可达到全量微调性能。
研究背景与动机¶
监督微调（SFT）已成为使大语言模型适应特定下游推理任务的主流范式。然而，学术界近年来频繁观测到一种反常现象：在包含题目与详细解答步骤的常规语料上微调后的模型，尽管在分布内测试中准确率亮眼，一旦测试题目的实体名称置换、表述形式微调或置于新颖的未见条件下，模型的严密推理能力便急剧崩溃。主流观点普遍将这一泛化瓶颈归咎于模型的“记忆机制”，认为端到端监督迫使网络直接死记硬背解答轨迹、特定句式和词汇共现模板，从而失去了如强化学习那般的自发探索与逻辑泛化能力。
然而，将泛化失效简单归咎于“模型在记忆”忽略了一个更为本质的问题：人类数学学习同样高度依赖记忆，为何人类在牢记公理定理后能灵活进行严密演绎，而大模型却演变为脆弱的模式匹配？本文指出，核心症结不在于模型是否进行了记忆，而在于 vanilla SFT 驱动模型记忆了错误的归纳目标（inductive target）。当训练数据仅为“问题-步骤-答案”实例对时，模型实质在求解一个极其困难的反问题——从散乱的端到端实例中逆向归纳抽象规则。由于缺少显式逻辑边界，模型不可避免地依赖局部关键词走向捷径学习，将问题模板与解答片段建立虚假关联，最终演化为两大系统性单步推理错误：在前提条件不满足时依然被表面词汇触发的“前提忽视”（Premise Oversight），以及无法将定理抽象变量与具体几何或代数实体正确绑定的“结论实体误指”（Conclusion Misassignment to Entities）。
本文的切入角度是重构对齐的归纳目标：借鉴人类数学教育中先显式讲授定理适用前提、结构角色与推导逻辑，再进行严密演绎推理的教学模式，将传统的端到端实例模仿解耦为原子定理掌握与逻辑链条编排。核心 idea：大模型推理泛化失败源于记忆了具体的题目实例而非抽象规则，提出 Theorem-SFT 范式，通过去实例化将定理显式解耦为“条件门控-实体映射-演绎执行”三元算子，并构建跨步骤条件传递的定理链，将不可靠的逆向模式诱导转变为确定性的结构化前向演绎。
方法详解¶
整体框架¶
Theorem-SFT 的核心哲学在于将监督信号从“具体问题解答轨迹的序列模仿”重定向为“逻辑规则结构化算子的获取与组装”。整个方法流水线分为两个渐进阶段：第一阶段为单步原子规则的“定理学习”（Theorem Learning via De-instantiation），通过对原始解题过程做去实例化（De-instantiation），将具体题目中的数理规则提炼为标准化三元功能算子 \(\mathcal{T}=\langle\text{Cond}, \text{Map}, \text{Exec}\rangle\)；第二阶段为多步组合推理的“定理链构建”（Chain-of-Theorems），将多个原子定理算子编织为具备前置条件显式传递与高阶抽象的演绎图谱。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["原始数学训练语料<br/>MATH / GeoQA 题解对"] --> B["阶段一：去实例化定理学习<br/>提取三元算子 Cond-Map-Exec"]
B --> C["阶段二：多步演绎定理链<br/>源定理识别与条件跨步传递"]
C --> D["参数高效定位微调<br/>T-All 全量 vs T-MLP 纯前馈层"]
D --> E["严密推理泛化输出<br/>跨领域/多模态/竞赛基准测试"]关键设计¶
1. 去实例化定理学习：构建 Cond-Map-Exec 三元功能算子
针对常规 SFT 中模型频发的“前提忽视”与“实体误指”两大痛点，本文在单步层面彻底摒弃整段自然语言的自由拟合，将所有数学公理、定理与定义严格抽象为三元功能算子 \(\mathcal{T}=\langle\text{Cond}, \text{Map}, \text{Exec}\rangle\)。其中 \(\text{Cond}\) 充当逻辑门控，要求模型在调用任何定理前必须显式逐项核验前提条件（如线段非退化、夹角为直角、函数连续等），并在训练时引入专门违背特定前提的反例（Counterexamples）提供负监督，迫使模型建立严格的有效性判定边界，根除“看到直角关键词就套勾股定理”的前提忽视缺陷。\(\text{Map}\) 专门负责实体角色绑定，强制模型将定理中的抽象代数变量（如底、高、半径、切线）显式映射到当前题目的具体几何对象或变量（如线段 \(BC\)、垂线 \(AD\)），杜绝结论误指。最后由 \(\text{Exec}\) 给出与题目表面文本解耦的确定性符号演进逻辑。整个算子迫使模型从单纯的文字补全网络转化为执行严格验证的结构化求解器。
2. 演绎定理链构建：建模条件跨步传递与高阶抽象
单步定理的精确掌握仅是复杂推理的前提，多步推理的核心瓶颈在于长链条中的跨步逻辑一致性与前置条件级联衰减。为此，Theorem-SFT 引入定理链机制（Chain-of-Theorems），将多步推导刻画为功能模块的拓扑组合。首先要求模型根据全局目标进行“源定理识别”（Source Theorem Identification），显式检索出解题所需的原子定理集合（如内错角定理、三角形内角和定理），模拟人类的工具选择认知过程；其次通过分步定理合成显式建模“条件传递”（Condition Propagation），严格要求前一步的输出结论 \(\text{Exec}_{t}\) 必须在形式逻辑上满足下一步定理的先验前提 \(\text{Cond}_{t+1}\)，杜绝传统自回归生成中中途“幻觉飞跃”的推理脱节；最后要求模型在自然语言与形式化两个层面将复合推理路径抽象为高阶函数链定义 \(C = f(A, B)\)，从而内化跨问题不变的深层演绎架构。
3. 推理规则的参数定位：以 MLP 层作为模型核心“规则库”
在确定了结构化监督范式后，针对“模型究竟在何种参数组件中编码这些逻辑定理”这一机制问题，研究进一步对比了全参数 LoRA 微调（T-All）与仅针对 FFN/MLP 前馈网络层的 LoRA 微调（T-MLP）。基于 Transformer 中 MLP 层本质充当键值记忆库（Key-Value Memories）的理论假设，定理的结构化触发与执行可被视作从特定语义条件向量检索并投影出确定性逻辑操作的参数化存储过程。实验证明，完全冻结注意力投影层而仅更新 MLP 层，不仅在几乎所有数学推理基准上与全层微调表现持平，甚至在需要多模态几何推理的任务上因保留了预训练跨模态注意力对齐而略微超越全层微调。这证实了大模型中的数学定理主要以内隐参数化形式存储在 MLP 组件中，结构化 SFT 的核心作用在于规整并校准这些前馈存储单元的触发阈值。
损失函数 / 训练策略¶
数据构建严格基于 MATH 和 GeoQA 的原始训练集进行去实例化提取，共提取出 3.8K 几何定理算子、6.4K 代数与概率定理算子，以及超过 8K 条 2 至 5 步不等的定理链，保证与 Vanilla SFT 的底层知识源完全对齐。模型训练采用 LoRA 微调方案，对比全层更新（T-All）与仅更新 MLP 层（T-MLP），设定恒定学习率 \(1 \times 10^{-5}\)，全局 batch size 为 32，在配有 8 张 NVIDIA H20 GPU（96GB HBM3）的双节点集群上以 bf16 精度、DeepSpeed ZeRO-2 与 FlashAttention-2 优化运行，最大序列长度设为 4096。
实验关键数据¶
主实验¶
在纯文本数学推理任务（覆盖基础代数、竞赛级数学及通识测试）与跨模态几何推理任务（GeoQA）上对多种参数规模模型进行了全面评测。
| 模型 | 方法 | MATH-500 | GSM1K | AGIEval-Math | Omni-Math | LiveBench | GeoQA |
|---|---|---|---|---|---|---|---|
| LLaMA-3.2-3B-Instruct | Base | 30.6% | 56.3% | 27.6% | 11.6% | 35.6% | - |
| LLaMA-3.2-3B-Instruct | Vanilla SFT | 23.4% | 39.0% | 25.1% | 5.2% | 45.4% | - |
| LLaMA-3.2-3B-Instruct | T-All (本文) | 39.4% | 57.2% | 35.8% | 13.6% | 42.4% | - |
| LLaMA-3.2-3B-Instruct | T-MLP (本文) | 38.0% | 57.5% | 36.2% | 11.9% | 44.6% | - |
| LLaMA-3.1-8B-Instruct | Base | 40.4% | 73.9% | 38.5% | 17.3% | 47.9% | - |
| LLaMA-3.1-8B-Instruct | Vanilla SFT | 35.6% | 64.2% | 33.1% | 17.1% | 47.9% | - |
| LLaMA-3.1-8B-Instruct | T-All (本文) | 45.2% | 76.1% | 45.6% | 18.1% | 52.3% | - |
| LLaMA-3.1-8B-Instruct | T-MLP (本文) | 43.0% | 75.4% | 45.1% | 18.4% | 53.6% | - |
| Mistral-7B-Instruct | Base | 40.6% | 39.9% | 13.0% | 7.3% | 39.7% | - |
| Mistral-7B-Instruct | Vanilla SFT | 44.4% | 26.7% | 15.1% | 6.3% | 31.0% | - |
| Mistral-7B-Instruct | T-All (本文) | 55.0% | 41.4% | 19.3% | 9.2% | 37.6% | - |
| Mistral-7B-Instruct | T-MLP (本文) | 54.0% | 40.8% | 18.5% | 9.1% | 38.0% | - |
| Qwen2.5-VL-7B-Instruct | Base | - | - | - | - | - | 49.46% |
| Qwen2.5-VL-7B-Instruct | Vanilla SFT | - | - | - | - | - | 38.78% |
| Qwen2.5-VL-7B-Instruct | T-All (本文) | - | - | - | - | - | 66.89% |
| Qwen2.5-VL-7B-Instruct | T-MLP (本文) | - | - | - | - | - | 69.73% |
消融实验¶
表 2 针对视觉语言模型在无需多模态重新训练前提下的跨模态跨架构泛化能力进行了消融对比，并验证了仅更新前馈层（T-MLP）与全层更新（T-All）在几何空间推理上的表现差异：
| 评估配置 | Qwen2.5-VL-3B | Qwen2.5-VL-7B | Gemma-3-4B-IT | 说明 |
|---|---|---|---|---|
| Base 模型 | 35.95% | 49.46% | 23.24% | 原始预训练/指令基座，未经定理数据微调 |
| Vanilla SFT | 34.59% | 38.78% | 31.89% | 标准题解对微调，在复杂模型上严重损害泛化性能 |
| T-All (全层微调) | 35.54% | 66.89% | 35.72% | 纯文本定理监督下微调全层，零视觉微调直接跨模态评估 |
| T-MLP (纯 MLP 微调) | 41.89% | 69.73% | 36.72% | 仅微调前馈层，性能普遍超越全层微调，保留预训练空间注意力 |
关键发现¶
- Vanilla SFT 的泛化退化现象：在多项具有挑战性的数学基准上，常规 Vanilla SFT 反而导致模型表现倒退。例如在 LLaMA-3.2-3B 上，Vanilla SFT 使 MATH-500 从 30.6% 骤降至 23.4%，GSM1K 从 56.3% 暴跌至 39.0%；Qwen2.5-VL-7B 在 GeoQA 上从 49.46% 跌至 38.78%。这有力印证了实例级端到端微调极易诱导快捷浅层特征拟合，摧毁了原有的推理泛化分布。
- 定理监督带来强大的零样本跨基准与跨模态迁移：Theorem-SFT 仅在 MATH 训练集提取的定理上进行纯文本训练，却在从未见过的奥数级基准 Omni-Math（+2.0% 至 +1.9%）、AGIEval-Math（+8.2% 至 +7.1%）上展现出强劲的正向迁移；更显著的是在没有任何图像输入的条件下，纯文本定理训练使 Qwen2.5-VL-7B 在多模态 GeoQA 上获得 +20.27% 的惊人增益（由 49.46% 跃升至 69.73%），证明规则层级的知识天然跨越了模态界限。
- MLP 层的定理记忆定位效应：在所有对比模型与评测集上，仅微调 MLP 参数的 T-MLP 均能达到甚至超越更新全部参数的 T-All（如 Qwen2.5-VL-7B 的 GeoQA 上 T-MLP 为 69.73%，高出 T-All 近 3 个百分点），证实 Transformer 的 FFN 网络确实是逻辑定理规则的特异性物理载体。
亮点与洞察¶
- 重新审视了 SFT 损害推理泛化的核心矛盾，提出“不是记忆有罪，而是记错了目标”这一精辟洞见，打破了“SFT 必然走向死记硬背而强化学习才能产生逻辑泛化”的机械二元论认知。
- 通过引入反例负监督（Counterexamples）构建的条件门控（Cond）与显式实体角色映射（Map），在无需引入重型可验证符号推理器的情况下，以纯粹的数据格式工程成功消解了前提忽视与实体误指两大经典幻觉顽疾。
- 揭示了逻辑定理知识具备深刻的跨模态通用性与前馈层局部性，为多模态智能体通过纯文本形式学习抽象知识体系并零样本应用于视觉规划与推理指明了高算力能效的新路径。
局限与展望¶
- 实验范围主要集中于符号边界清晰的数学与几何推理领域，对于软性逻辑、常识反事实推理、法律文书演绎等非形式化定理场景的去实例化抽象难度较高。
- 定理算子与定理链的标注目前依赖从现有题解中利用大模型提示逆向抽取与重构，对于未收录于主流教材的隐性启发式推导规则，自动化抽取管线的覆盖率与自洽性仍有提升空间。
- 尚未探索定理化监督与后训练阶段强化学习（RL/RLVR）的协同效应；未来的一个重要方向是将 Theorem-SFT 产出的结构化定理作为策略模型的动作空间或过程奖励验证器（PRM）的硬约束锚点。
相关工作与启发¶
- vs Vanilla SFT / CoT Fine-Tuning (Wei et al., 2022; Chu et al., 2025): 常规微调让模型拟合从问题到答案的整条自然语言轨迹，容易退化为词汇浅层共现与句式背诵；Theorem-SFT 将监督目标拆解为原子定理的去实例化算子调用与链式传递，教会模型何时调用规则而非答案长什么样。
- vs 过程监督与逐步验证 (Lightman et al., 2023): 过程奖励模型（PRM）依赖对推理步骤进行密集人工或模型正负打分，但并未改变底层生成模型以扁平文本展开推理的生成本质；Theorem-SFT 直接从生成源头重塑了训练数据的结构表征，将隐式推演固化为显式前提核验与实体对齐。
- vs 模型内部知识定位研究 (Geva et al., 2021; Meng et al., 2022): 以往工作主要探讨事实性三元组知识在前馈层中的存储定位；本文将这一认知拓展至高阶逻辑公理与数学定理维度，用参数高效微调在实证上证明了 MLP 层是严密数学推理规则的主要载体。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [精准颠覆 SFT 记忆有害论，以去实例化定理学习重塑推理归纳目标]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨越纯文本与多模态双重领域，涵盖多个模型家族、参数规模与消融定位]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严丝合缝，对 failure modes 的诊断直击大模型推理要害]
- 价值: ⭐⭐⭐⭐⭐ [对大模型后训练数据工程与纯文本提升多模态推理能力具备极高的指导意义]