CircuitSeer: Mining High-Quality Data by Probing Mathematical Reasoning Circuits in LLMs¶
会议: NeurIPS 2026
arXiv: 2510.18470
领域: 大模型推理
关键词: 数学推理, 数据选择, 机制可解释性, Transformer Circuits, 注意力头消融
一句话总结¶
CircuitSeer 摆脱了传统依赖强模型重打分与复杂启发式规则的沉重负担，通过探测大模型内部专门负责数学长程推理的稀疏注意力回路，以输入 token 的注意力方差量化推理复杂度，并结合软采样策略，仅用 10% 的筛选数据微调即可全面超越全量数据训练的推理表现。
研究背景与动机¶
随着 OpenAI-o1 和 DeepSeek-R1 等长思维链推理模型的突破，构建大规模高质量的数学推理监督微调（SFT）数据集成为推动模型逻辑能力跃升的核心动力。然而，OpenR1、Synthetic-1 等主流合成推理语料动辄包含数十万条长文本轨迹，直接进行全量微调对算力和显存造成了巨大的开销，且其中夹杂着大量低信息量、模板化或浅层推理的样本。为了在控制训练开销的同时保持甚至提升推理上限，如何从海量合成数据中精选出高质量、高难度的子集成为当务之急。
现有的推理数据筛选方法（如 LIMO、s1、COT-SELF-INSTRUCT）主要存在两类严峻瓶颈：一方面，基于拒绝采样或强模型打分的方法严重依赖更大、更昂贵的外部裁判模型，导致数据工程流水线极为沉重且成本高昂；另一方面，基于模型损失、多样性聚类或指令跟随难度（IFD）的启发式方法依赖大量人工经验设计，打分逻辑晦涩、泛化性差，且难以对样本真实的“深层逻辑推理需求”给出第一性原理的定量解释。外部输出的表面文本特征往往容易受到作答长度、语言风格和模板格式的干扰，无法真实反映数学思维的内在难度。
本文的切入视角转向模型内部的机理表征——借鉴 Transformer 回路理论（Circuits Theory），复杂的多步逻辑推理并非由网络的所有组件均匀承担，而是在模型深层中自发涌现出一组高度特化的稀疏注意力头（Reasoning Circuits）。这些回路在处理严密推理任务时展现出高度特异的激活模式。核心 idea：利用无差别注意力消融精确定位负责长程数学推理的核心注意力回路，仅基于问题输入的注意力分布方差量化推理内在复杂度，并通过保多样性的软采样抽取高质量子集。
方法详解¶
整体框架¶
CircuitSeer 的核心理念是将“数据质量与难度评估”直接转化为“数据对模型内部推理回路的激活与信息调度测试”。整个流水线分为推理回路探测、样本复杂度方差评分以及保多样性概率软采样三个有序阶段。首先，在轻量参考模型上，利用无差别注意力介入消融评估各注意力头在探针集上的因果损失增量，筛选出负责数学逻辑推导的关键注意力头集合 \(\mathcal{H}_{\text{math}}\)；接着，针对无标签或候选训练样本，仅将其问题提示词输入参考模型，提取关键头上的归一化注意力矩阵并计算 token 级平均接收注意力的离散方差，以此表征问题所需推理深度的内在复杂度；最后，将样本方差转化为选择概率分布进行软采样，在保留高复杂度核心样本的同时兼顾分布多样性，产出紧凑且高质量的微调子集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["候选数学数据池与探针集<br/>(OpenR1 候选集 & 损失 Top-300 探针)"] --> B["推理回路定位与关键头筛选<br/>无差别注意力消融计算损失增量"]
B --> C["基于输入注意力的方差复杂度评分<br/>仅输入问题并聚合核心头注意力分布"]
C --> D["平衡质量与多样性的概率软采样<br/>分数归一化加权随机抽取目标预算"]
D --> E["目标 LLM 监督微调<br/>10% 紧凑子集训练全面超越全量数据"]关键设计¶
1. 推理回路定位与关键头筛选：摆脱外部裁判并消除非推理头的噪音干扰 传统数据筛选往往直接使用全部网络权重或全量损失，但这会引入大量负责句法分析、局部位置对齐或标点符号的无关注意力头的统计噪声。CircuitSeer 借鉴回路理论，采用干预消融手段精确定位专用于数学推理的注意力头。给定轻量参考模型 \(\mathcal{M}_{\text{ref}}\)（如 Qwen2.5-Math-1.5B-Instruct）和损失最高的 300 条挑战性探针样本 \(\mathcal{D}_{\text{probe}}\)，系统依次对每个注意力头 \(h \in \mathcal{H}\) 施加无差别注意力消融（Undifferentiated Attention Ablation）。具体而言，通过将注意力权重缩放至下三角均分矩阵 \(A=[a_{ij}]\)，其中当 \(i \geq j\) 时 \(a_{ij}=1/i\)，否则为 \(0\)，彻底消除该头的内容寻址能力： $\(\tilde{h} = \operatorname{Softmax}\left(\frac{\epsilon W_q W_k^\top}{\sqrt{d_k/|\mathcal{H}|}}\right) W_v \stackrel{\text{def}}{=} A W_v\)$ 通过测量消融该头后探针集上的交叉熵损失期望增量： $\(\text{Imp}(h) = \mathbb{E}_{(x,y)\sim \mathcal{D}_{\text{probe}}}\left[\mathcal{L}(x,y;\mathcal{M}_{\text{ref}}^{-c}) - \mathcal{L}(x,y;\mathcal{M}_{\text{ref}})\right]\)$ 对增量降序排列，仅提取前 \(k\) 个（约占总头数 5%）对推理能力具有关键决定作用的头构成数学推理回路 \(\mathcal{H}_{\text{math}}\)，从源头上纯化了质量信号。
2. 仅依赖输入提示词的注意力方差评分：基于注意力非均匀度量化真实思维复杂度 在评估样本难度时，现有方法常直接对长答案计算 loss 或 IFD，但解题文本极易受到表达冗余度、解题风格以及格式套路的影响。CircuitSeer 做出了一个极具反直觉却被实验严格证实的决策：评分只输入问题题目 \(x_i\)，完全不看生成的解答 \(y_i\)。当模型解析多步推导问题时，内部推理回路必须在关键约束、已知条件和逻辑枢纽 token 上建立极度集中的注意力流，以规划推导路径；而面对模板化或单步计算的简单问题时，注意力的分布则相对平坦均匀。对于长度为 \(n\) 的输入序列 \(x_i\)，在提取所有推理头 \(h \in \mathcal{H}_{\text{math}}\) 的行归一化自注意力矩阵 \(A^h\) 后，计算第 \(k\) 个 token 聚合的平均注意力强度： $\(\alpha_k = \frac{1}{|\mathcal{H}_{\text{math}}|} \sum_{h \in \mathcal{H}_{\text{math}}} \sum_{j=1}^n A^h_{k,j}\)$ 进而定义该样本的 CircuitSeer 得分 \(S(x_i)\) 为所有 token 接收注意力的方差： $\(S(x_i) = \frac{1}{n} \sum_{k=1}^n \left(\alpha_k - \frac{1}{n} \sum_{k'=1}^n \alpha_{k'}\right)^2\)$ 方差越大，说明模型推理回路在解析该题目时形成的逻辑锚点越尖锐，所需规划的多步推理深度越深。
3. 平衡质量与分布覆盖的概率软采样：避免硬筛选导致的领域退化与过度偏好长文本 若直接采用常规的确定性 Top-k 截断，算法会极度倾向于筛选出同一分布或篇幅极长的极端样本（例如实验观察到 Top-k 会过度抽取国内高中题目 Cn_k12，且平均词数急剧膨胀至 3393），这极易造成问题领域覆盖面狭窄，进而导致模型在非对应风格的基准上出现泛化崩溃。为了在追求高推理难度的同时兼顾数据分布的多样性，CircuitSeer 采用分数驱动的概率软采样（Soft Sampling）。将所有样本得分归一化为概率分布： $\(p_i = \frac{S(x_i)}{\sum_{(x_j, y_j) \in \mathcal{D}} S(x_j)}\)$ 按照概率分布进行无放回加权抽样，直至达到预定的子集规模预算 \(m = \lfloor \rho \cdot |\mathcal{D}| \rfloor\)（如 \(\rho=10\%\)）。软采样通过引入受控的随机性，保留了部分中高难度但处于稀有领域的题目，有效阻止了训练分布向狭窄局部塌缩。
一个完整示例¶
以一道包含多重几何约束与参数方程的竞赛题 \(x_i\) 为例（Token 序列长 \(n=128\)）： 1. 回路探测已完成：轻量参考模型 Qwen2.5-Math-1.5B 预先选定 5% 关键头构成 \(\mathcal{H}_{\text{math}}\)。 2. 输入推理前向传播：将 \(x_i\) 送入模型，提取推理头上各层的自注意力权重矩阵。在关键条件 token（如“正交基底”、“极值点 \(x_0\)”、“存在唯一实根”）处，各推理头自发投射出极高注意力权重，计算得这些核心 token 的 \(\alpha_k\) 高达 \(0.18 \sim 0.25\)，而普通虚词 token 的 \(\alpha_k\) 仅为 \(0.002\)。 3. 方差得分计算：全序列方差计算得出 \(S(x_i) \approx 0.042\)；相比之下，一道公式代入型计算题（“求 \(f(x)=2x+1\) 在 \(x=3\) 处的值”）的注意力分布近乎平权，其方差仅有 \(S(x_{\text{simple}}) \approx 0.003\)。 4. 软采样命中：归一化后竞赛题 \(x_i\) 的被选概率比平庸题目高出一个数量级，但随机采样机制确保了它与不同数学分支的优质题目一同入选，最终构成训练子集。
损失函数 / 训练策略¶
所筛选出的紧凑子集 \(\mathcal{D}'\) 在下游模型微调中采用标准自回归因果语言建模损失（仅对推理轨迹和答案部分计算交叉熵损失）： $\(\mathcal{L}_{\text{SFT}}(\theta) = -\sum_{(x_i, y_i) \in \mathcal{D}'} \sum_{t=1}^{|y_i|} \log P_\theta(y_{i,t} \mid x_i, y_{i,<t})\)$ 训练基于 LLaMA-Factory 框架实现，采用优化器 fused AdamW，基础学习率设为 \(5 \times 10^{-5}\)，进行 3 个 epoch 的微调。学习率采用余弦退火策略（warmup 比例 0.1，退火衰减至 0），全量全局 batch size 为 32。模型开启 FlashAttention 和 DeepSpeed ZeRO-3 显存优化。针对 Qwen2.5-Math-7B 系列，利用 RoPE 缩放将最大上下文长度由 4096 扩展至 16384（RoPE base 频率由 10k 调整为 300k）；Llama-3.2-3B 最大长度设为 8192。在 8 卡 NVIDIA A100 环境下，全量 196k 数据训练耗时约 54 小时，而使用 CircuitSeer 精选的 10% 子集仅需约 6 小时即可完成微调，大幅削减了近 90% 的计算时间。
实验关键数据¶
主实验¶
实验基于 DeepSeek-R1 合成并过滤验证的 OpenR1-Math 数据集（约 196k 样本），以 10% 筛选比例（约 1.96 万条）在 Qwen2.5-Math-7B-Base、Qwen2.5-Math-7B-Instruct 等基座上进行对比微调，测试涵盖 3 项顶级竞赛级评测（AIME24, AIME25, AMC23）及 6 项常规综合基准（MATH, OlympiadBench, 高考 2023, 高考数学, 高考 2024, 考研数学）。
| 模型基座 / 训练方案 | AIME24 (P@1 / M@16) | AIME25 (P@1 / M@16) | AMC23 (P@1 / M@16) | MATH (P@1) | Olympiad (P@1) | Kaoyan (P@1) | 9基准平均 (P@1) |
|---|---|---|---|---|---|---|---|
| Qwen2.5-Math-7B-Base | |||||||
| Zero-shot (未微调) | 1.0 / 0.0 | 0.4 / 3.3 | 13.4 / 27.5 | 27.0 | 8.4 | 6.5 | 12.0 |
| + Random (随机10%) | 35.2 / 53.3 | 30.0 / 43.3 | 75.0 / 95.0 | 87.2 | 50.7 | 49.2 | 61.2 |
| + Diversity (多样性) | 33.8 / 53.3 | 28.5 / 36.7 | 75.0 / 90.0 | 87.4 | 50.5 | 46.7 | 60.4 |
| + Quality (模型打分) | 30.4 / 46.7 | 26.3 / 30.0 | 75.8 / 95.0 | 86.4 | 48.9 | 49.7 | 60.8 |
| + Max Loss (最大损失) | 29.6 / 56.7 | 28.1 / 46.7 | 77.7 / 92.5 | 87.0 | 51.6 | 44.7 | 60.0 |
| + IFD (指令跟随难度) | 34.6 / 54.3 | 29.4 / 46.7 | 76.9 / 95.0 | 86.4 | 50.7 | 49.7 | 61.6 |
| + CircuitSeer (本文10%) | 37.5 / 63.3 | 31.5 / 50.0 | 80.3 / 95.0 | 88.4 | 53.9 | 55.3 | 64.5 |
| Full-dataset (100%全量数据) | 48.1 / 73.3 | 35.6 / 56.7 | 81.9 / 95.0 | 88.2 | 55.3 | 39.2 | 63.1 |
| Qwen2.5-Math-7B-Instruct | |||||||
| Zero-shot (未微调) | 11.7 / 20.0 | 10.8 / 20.0 | 56.7 / 72.5 | 84.0 | 40.7 | 44.7 | 50.0 |
| + Random (随机10%) | 27.1 / 50.0 | 22.9 / 36.7 | 68.1 / 92.5 | 84.8 | 47.6 | 48.2 | 57.8 |
| + IFD (指令跟随难度) | 25.8 / 43.3 | 22.3 / 30.0 | 68.3 / 85.0 | 87.0 | 47.6 | 46.7 | 59.7 |
| + CircuitSeer (本文10%) | 27.3 / 46.7 | 23.1 / 36.7 | 68.1 / 92.5 | 87.0 | 50.1 | 56.8 | 60.5 |
| Full-dataset (100%全量数据) | 44.2 / 66.3 | 35.0 / 50.0 | 79.2 / 95.0 | 89.0 | 51.4 | 36.2 | 61.7 |
消融实验¶
在 Qwen2.5-Math-7B-Base 模型上深入验证了注意力头选择、打分方向（高分 vs 低分）、采样策略以及输入/输出打分源对微调效果的因果影响（评价指标为 9 项基准 Pass@1 准确率）：
| 消融维度 | 对比配置 | AIME24 | AIME25 | AMC23 | MATH | Kaoyan | 9基准平均 P@1 | 说明 / 核心结论 |
|---|---|---|---|---|---|---|---|---|
| 注意力头筛选 | Random Heads | 35.2 | 30.0 | 75.0 | 87.2 | 49.2 | 61.2 | 随机选取等量头计算方差，无增益 |
| All Heads | 33.8 | 26.0 | 75.6 | 87.6 | 42.2 | 60.0 (-1.2) | 全量头混杂非推理噪音，性能显著退化 | |
| Reasoning Heads (本文) | 37.5 | 31.5 | 80.3 | 88.4 | 55.3 | 64.5 (+3.3) | 仅保留 5% 数学核心回路，信号信噪比最高 | |
| 打分有效性 | Low Score (选低分) | 29.8 | 25.9 | 70.2 | 80.1 | 46.2 | 57.2 (-4.0) | 低方差对应简单模板题，微调收益断崖式下跌 |
| High Score (选高分) | 37.5 | 31.5 | 80.3 | 88.4 | 55.3 | 64.5 (+3.3) | 高方差精准捕获多步长程推理核心题 | |
| 采样策略 | Hard Top-k (截断筛选) | 33.1 | 30.8 | 77.5 | 87.6 | 50.8 | 62.8 (+1.6) | 出现领域分布偏置与长度过拟合 |
| Soft Sampling (软采样) | 37.5 | 31.5 | 80.3 | 88.4 | 55.3 | 64.5 (+3.3) | 兼顾高质量与全领域分布多样性 | |
| 评分打分源 | Output Scoring (依答案) | 35.6 | 29.8 | 73.9 | 89.0 | 48.2 | 62.8 (+1.6) | 答案易受输出长度和模板行文风格干扰 |
| Input Scoring (依问题) | 37.5 | 31.5 | 80.3 | 88.4 | 55.3 | 64.5 (+3.3) | 问题注意力直接映射逻辑抽象与规划难度 |
关键发现¶
- 10% 紧凑数据反超全量训练：在 Qwen2.5-Math-7B-Base 上，CircuitSeer 筛选的 10% 子集微调后在 9 项基准上的平均 Pass@1 达到 64.5%，超越了在 100% 全量数据上训练的 63.1%（+1.4 个百分点），在考研数学上更以 55.3% 碾压全量训练的 39.2%（+16.1 个百分点），且 Majority@16 相比随机筛选狂胜 10.0 个点。这充分证实海量合成推理数据中存在大量稀释学习效率的低质量冗余。
- 全模型头反而损害性能：消融实验清晰展示，若盲目使用模型全部注意力头计算方差，平均 Pass@1 降至 60.0%，甚至低于随机抽样的 61.2%。只有将注意力聚焦在因果消融验证出的 5% 核心推理回路上，才能提炼出可靠的质量表征。
- 输入决定推理上限，输出易被风格误导：仅对题目 Input 计算注意力方差（64.5%）明显优于对题解 Output 计算注意力（62.8%）。输入阶段的激活反映了模型对约束条件的拆解与逻辑架构的构建（“需要多复杂的思考”），而输出阶段则充斥着解题格式和语言习惯等表面混淆变量（“怎么表达”）。
亮点与洞察¶
- 机制驱动的数据选择范式：首次将 Transformer Circuits 的可解释性因果分析直接赋能于百万级大模型数据筛选，彻底摆脱了此前需要更大模型充当 LLM-as-a-Judge 的高成本套路，计算高效且理论自洽。
- 反直觉的“只看问题不看答案”：打破了数据筛选必须依赖完整思维链（CoT）推理过程损失或验证正确率的固有思维，仅凭输入提示词在特化推理头上的注意力离散方差就能敏锐量化思维难度，展现了优雅的极简性。
- 端到端的弱监督向强模型泛化能力：使用仅 1.5B 规模的轻量模型识别推理回路并计算样本分数，筛选出的数据直接能高效激发 7B 乃至跨架构 Llama 系列大模型的长程推理潜力，具备极高的实际工程价值。
局限与展望¶
- 依赖预训练基础能力充足的参考模型：若参考模型规模过小或在数学领域的预训练极度匮乏，其内部可能尚未自发涌现出特化的数学推理回路，从而导致消融探测出的注意力头信噪比不足。
- 跨模态与开放领域推理推广待验证：当前验证主要聚焦于纯文本数学推理任务（Math Reasoning），对于图表几何等多模态数学问题，或者涉及常识、代码合成等更广泛的逻辑推理任务，特化回路的探测边界仍有待进一步探索。
- 回路动态演化的未来研究空间：当前推理回路的筛选是在静态探针集上离线完成的，未来若能将推理回路的动态激活演化与课程学习（Curriculum Learning）自适应结合，有望在模型微调过程中动态调整数据采样权重。
相关工作与启发¶
- vs LIMO & s1: LIMO 和 s1 揭示了长推理中“少即是多”的潜力，但它们依赖复杂的数据清洗工程、启发式规则或昂贵的外部模型拒绝采样；CircuitSeer 则是纯内生机制驱动，以模型内部神经回路的因果激活作为统一的客观度量。
- vs IFD & Loss-based Selection: 传统的 Max Loss 或指令跟随难度（IFD）严重受限于输出 token 的困惑度波动和表面文本长度；CircuitSeer 仅以核心头输入注意力方差作为评分信号，直接切中题目逻辑复杂度的第一性原理。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将 Transformer 回路理论与注意力头因果消融落地于长程数学推理数据筛选。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨越 4 种主流模型与 9 大评测集，涵盖详实的消融与深入的可视化分布分析。
- 写作质量: ⭐⭐⭐⭐⭐ 论证链条严密，动机自然纯粹，方法描述与数学建模清晰流畅。
- 价值: ⭐⭐⭐⭐⭐ 仅用 10% 数据训练实现对全量数据的超越，为大模型低成本高质量对齐提供了强有力的实用范式。