MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis¶

会议: NeurIPS 2026
arXiv: 2605.21630
代码: https://github.com/EachSheep/MindLoom
领域: Reasoning
关键词: 复杂推理, 数据合成, 思维范式, 组合难度工程, 有监督微调

一句话总结¶

将复杂推理题目的难度解构为原子知识-推理变换（思维范式 Thought Mode），提出通过逆向工程抽取思维链、嵌入检索导向与分布对齐采样驱动的组合合成框架 MindLoom，在 9 个 STEM 与高难度数学基准上全面超越基准模型、轨迹蒸馏与开源精选数据。

研究背景与动机¶

近年来大语言模型在数学与专业学科推理上取得了跨越式进展，学术界与工业界日益依赖处于模型能力边界的前沿级（frontier-level）评测基准来衡量智能极限。然而，手动构建高难度、高质量的前沿级推理题目成本极其高昂，不仅严重依赖顶尖人类专家的时间与深度领域认知，而且在生成速度与规模上难以支撑大模型后训练所需的海量数据吞吐。现有的推理数据构建工作主要围绕模型辅助合成、专家基准研制与高质量数据选择三类范式展开，但各具瓶颈：直接提示或演化生成缺乏对问题内在难度结构的显式建模，容易产生表层多样但推理结构同质的样本；专家手作题目成本不可持续；数据选择受限于源语料池的分布覆盖，无法凭空创造新的推理组合。

现有数据合成范式的核心症结在于将“题目难度”视为黑盒或单调属性，无法在合成过程中实现精细受控的难度提升与模式发散。强模型蒸馏往往直接照抄解题轨迹，基于提示词的变体生成则流于对背景描述、数值或设问角度的表层置换，掩盖了逻辑跃迁与深层推导要求的内在规律；而强化学习策略或符号规则生成通常受限于狭窄单一的数理模板，难以推广到跨学科复合推理。

本文的切入角度是将题目难度解耦为一系列原子知识-推理变换的叠加，并引入“思维范式”（Thought Mode）这一模块化抽象。核心 idea：通过逆向工程将专家级高难度题目的验证解答逆推解构为思维范式链，构建知识-推理变换库，并借助嵌入检索与分布对齐采样将可复用的思维范式逐步组合注入种子问题，构建出一套具备显式难度控制与广阔推理覆盖的前沿级推理数据合成管线。

方法详解¶

整体框架¶

MindLoom 是一套将原子推理变换进行逆向提取、动态检索、组合演化与检验转化的全流程数据合成管线。整体框架由四个递进阶段构成：首先是对参考语料库中的高难度题解执行“逆向工程”（Thought Mode Extraction），将其自底向上剥离成思维范式链并构建变换资产库 $\mathcal{B}$；随后构建双编码器检索模型并基于带难负例挖掘的边界排序损失进行训练（Retrieval Learning），赋予系统为任意问题状态推荐兼容思维范式的能力；接着在分布对齐评分与稀缺性奖励的引导下，从种子问题 $Q_0$ 展开多轮步进式的组合演化合成（Distribution-Aligned Synthesis）；最后通过多轮采样推理与大模型裁判执行难度标注与正确性过滤（Rollout-Based Filtering and Conversion），提取判定正确的非凡推导轨迹转化为高质量 SFT 训练集。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["高难度源问题与验证解答<br/>58,526 道多学科难题"] --> B["逆向工程思维范式抽取<br/>窗口划分→种子生成→依赖吸收"]
    B --> C["思维范式库 B 构建<br/>四元组: S_sum, S_det, K_gen, K_spec"]
    C --> D["双塔检索模型对比训练<br/>难负例动态挖掘与边界排序损失"]
    D --> E["分布对齐组合演化合成<br/>兼容度检索 + 聚类稀缺度加权采样"]
    E --> F["Rollout 评判与 SFT 转化<br/>3-Rollout 难度分级与数据源防污染过滤"]
    F --> G["最终 SFT 推理训练集<br/>9,230 条高质量前沿微调样本"]

关键设计¶

1. 逆向工程思维范式抽取：基于依赖吸收与自底向上窗口划分将题目难度解构为模块化蓝图

为了破解难题难度来源难以捕捉的问题，MindLoom 提出了操作性的逆向课程分解机制。针对一个包含 $m$ 个步骤验证解答 $S=[s_1, \ldots, s_m]$ 的难题 $Q$，算法从解答末尾向前划分为大小为 $w$（默认 $w=2$）的 $k$ 个滑窗 $[W_1, \ldots, W_k]$。在第一阶段“种子生成”（Seed Generation），系统仅基于最后一个窗口 $W_k$ 提取计算目标，并将上游步骤计算所得的所有中间变量强制固化为显式已知条件，生成独立可解的最小化种子问题 $Q_0$；在第二阶段“迭代演化”（Iterative Evolution），系统自底向上倒序遍历窗口 $W_{k-i}$ 执行“依赖吸收”（Dependency Absorption），依次撤销前序问题 $Q_{i-1}$ 中的显式已知条件，强迫解题者必须自行推导该数值，从而每次新增一层推理难度。该过程输出演化后的问题 $Q_i$ 以及对应的原子变换思维范式四元组： $$\mathcal{T} = (S_{\mathrm{sum}}, S_{\mathrm{det}}, K_{\mathrm{gen}}, K_{\mathrm{spec}})$$ 其中 $S_{\mathrm{sum}}$ 为变换类型的抽象单句总结，$S_{\mathrm{det}}$ 为具体修改细节与被移除条件的说明，$K_{\mathrm{gen}}$ 为通用的可迁移定理、公式或法则，$K_{\mathrm{spec}}$ 为该题特有的边界约束或参数设定。该结构有效将可泛化的逻辑变换与具体题目上下文解耦，为后续的组合重构奠定了标准化构件。

2. 思维范式检索模型训练：结合 ANCE 动态难负例挖掘的双塔兼容性表征学习

拥有海量思维范式构件后，任意推理状态并非能与所有构件无缝嫁接（例如无法在基础代数问题中直接植入微分流形变换）。为此，MindLoom 基于 Qwen3-Embedding-0.6B 构建双编码器检索模型，学习问题状态与思维范式之间的语义与逻辑兼容性。在训练数据构造上，输入查询端为演化前问题 $Q_{i-1}$ 的纯文本，文档端则串联拼接思维范式的 $[LOGIC]$ 格式描述。为了避免模型受限于表层词汇匹配，系统引入基于异步最近邻（ANCE）的难负例挖掘策略：在初始阶段构建全体范式库 $\mathcal{B}$ 的 FAISS 向量索引，每隔 $R=5$ 个优化步用更新后的模型重新编码全库，在当前查询的近邻中挖掘排斥正样本的非同源范式作为难负例 $\mathcal{T}_j^-$。模型通过边界排序损失进行端到端优化： $$\mathcal{L} = \sum_{(Q_{i-1}, \mathcal{T}_i^+)} \sum_{\mathcal{T}_j^-} \max\left(0, \operatorname{sim}(Q_{i-1}, \mathcal{T}_j^-) - \operatorname{sim}(Q_{i-1}, \mathcal{T}_i^+) + \gamma\right)$$ 其中正负样本间隔设为 $\gamma=0.2$。该设计强迫检索模型在嵌入空间中拉近具备上下文推演可行性的逻辑动作，排除与当前状态冲突的无关算子。

3. 分布对齐组合演化合成：基于聚类稀缺性自适应奖励打破模式坍塌

在利用检索模型指导题目演化时，朴素贪心匹配往往会反复挑选高频同质的泛化操作，导致生成题目陷入常见推理类型的模式坍塌。MindLoom 提出了分布对齐的采样合成算法。首先通过对全库范式嵌入执行 K-Means 聚类得到 $K=12$ 个宏观推理大类，统计参考库的真实分布 $P_{\mathrm{ref}}$；在持续合成过程中，维护已选范式所属聚类的经验分布计数 $P_{\mathrm{gen}}$。针对当前问题状态 $Q_i$，检索模型首先召回 Top-$m$（$m=20$）个兼容候选，随后利用通用嵌入模型计算相似度，并与有界稀缺度奖励进行加权融合： $$\operatorname{score}(\mathcal{T}_j \mid Q_i) = \alpha \cdot \operatorname{sim}(Q_i, \mathcal{T}_j) + (1-\alpha) \cdot \tanh\left(\log\left(1 + \frac{P_{\mathrm{ref}}(c_j) + \epsilon}{P_{\mathrm{gen}}(c_j) + \epsilon}\right)\right)$$ 其中权重参数 $\alpha=0.65$ 控制语义兼容性与稀缺覆盖度的权衡。最终候选范式通过带温控系数 $\tau=1.0$ 的 Softmax 概率分布进行随机采样： $$P(\mathcal{T}_j \mid Q_i) = \frac{\exp(\operatorname{score}(\mathcal{T}_j \mid Q_i) / \tau)}{\sum_l \exp(\operatorname{score}(\mathcal{T}_l \mid Q_i) / \tau)}$$ 抽中的范式交由前沿大模型执行 $Q_i \to Q_{i+1}$ 的题目融合重写，并返回严格的 is_compatible 一致性标志。若第一步重写不兼容则安全回退，后续步骤失败则及时熔断，确保整条组合演化链在保持高连贯性的同时覆盖多样的冷门推理分支。

4. Rollout 评判与 SFT 转化：多轮采样解题验证与严格的数据源防污染隔离

合成出的复杂问题必须具备确定性真值与高质量解答轨迹，方可用于下游微调。MindLoom 为每个合成题目运行 3 次独立的解题采样（Rollout），并调用大模型裁判对预测答案与题目真值及推导过程进行语义等价性核验。依据三轮结果将题目划分为全对（all-correct）、部分正确（partial）与全错（all-wrong）三个难度梯级：全错题目因缺乏可信监督信号被直接剔除；全对题目通常过于平庸；而存在 1~2 次正确解答的“部分正确”题目正好处在模型的能力挑战边缘，为 SFT 提供了最具价值的前沿训练轨迹。与此同时，为了杜绝测试集泄露引发的评估虚高，管线实施了严苛的数据源追溯过滤：凡是由 HLE、SciBench 和 AIME 2025 等保留评测集衍生而来的合成种子题，在 SFT 转化阶段全部剔除（过滤留存率达 94.9%），最终固化为 9,230 条标准 ms-swift 格式的微调记录。

一个完整示例¶

以极坐标面积计算问题为例，展示逆向抽取与正向合成的具体流转： - 原始难题：求解极坐标区域 $1 \le r \le 2, 0 \le \theta \le \pi/2$ 的面积。完整解答需计算双重积分 $\int_0^{\pi/2} \int_1^2 r \, dr \, d\theta$。 - 逆向工程抽取：滑窗从外层角度积分倒推，第一阶段生成种子题 $Q_0$：“已知径向中间积分结果 $\int_1^2 r \, dr = 3/2$，求外层角度 $\theta \in [0, \pi/2]$ 的定积分。”该种子题由单步即可闭环解答。随后执行依赖吸收，剥除已知值 $3/2$，抽取出思维范式 $\mathcal{T}_1$（要求掌握极坐标面积微元 $r \, dr \, d\theta$ 与径向积分上下限装配），从而还原出多步复合难题。 - 正向组合演化：以金融无套利定价题为种子（计算无风险利率 $r$），管线先后检索出“代数相消变形”（消除两组无套利线性方程中的 $r$）、“物理与工程线性方程联立组装”（移除显式系数转为根据观测参数拟合）以及“随机分析理论推导”（要求基于伊藤引理与吉尔萨诺夫定理推导无套利漂移条件）三个来自不同聚类的范式。题目由简易代数运算演化为涵盖随机微积分理论的竞赛级数理金融大题，验证了跨领域范式组合对难度的飞跃式提升。

实验关键数据¶

主实验¶

论文在涵盖 5 个 STEM 领域（CS-Bench, ChemBench, HLE, MedQA, SciBench）与 4 个数学推理基准（MATH-500, HMMT-Feb 2025, HMMT-Nov 2025, AIME 2025）上系统评测了 Qwen3 与 Qwen3.5 多个尺寸模型，微调样本量统一对齐为 9,230 条。下表展示 4B 与 8B/9B 模型的核心对比（指标为 pass@1 / pass@3，单位 %）：

模型与基准	CS-Bench	ChemBench	HLE	MedQA	SciBench	MATH-500	HMMT-Feb	AIME 2025
Qwen3-4B Base	64.82 / 74.25	56.56 / 65.81	4.72 / 8.24	62.69 / 74.70	50.43 / 61.85	84.40 / 90.20	20.00 / 26.67	30.00 / 33.33
DS-V3.2 Distill	63.62 / 78.87	52.16 / 69.79	5.16 / 11.40	60.17 / 76.28	47.90 / 64.90	81.20 / 91.60	23.33 / 33.33	26.66 / 36.70
MegaScience	64.53 / 77.06	57.32 / 67.10	5.28 / 11.16	60.48 / 77.92	50.14 / 67.92	83.80 / 91.40	33.33 / 40.00	30.00 / 50.00
OpenThought	65.85 / 78.75	60.70 / 72.26	5.72 / 11.32	59.78 / 74.94	49.42 / 69.51	85.20 / 94.00	40.00 / 46.67	43.33 / 56.67
MindLoom (本文)	68.29 / 80.16	61.72 / 74.78	5.96 / 12.12	65.12 / 81.30	53.61 / 71.53	85.20 / 98.60	33.33 / 43.33	40.00 / 53.33
Qwen3.5-9B Base	69.60 / 80.19	63.20 / 77.17	6.24 / 12.04	78.71 / 90.97	51.73 / 69.08	89.20 / 96.80	40.00 / 46.67	40.00 / 60.00
DS-V3.2 Distill	71.31 / 82.92	62.90 / 78.05	6.64 / 13.92	79.97 / 90.42	65.03 / 79.05	90.80 / 97.20	43.33 / 66.67	43.33 / 70.00
MegaScience	71.52 / 82.10	63.53 / 78.48	6.36 / 13.52	81.30 / 93.64	65.75 / 77.75	91.20 / 96.20	50.00 / 66.67	53.33 / 63.33
OpenThought	73.13 / 82.32	64.67 / 77.53	7.12 / 13.08	77.37 / 92.38	67.48 / 80.78	92.00 / 97.60	60.00 / 70.00	60.00 / 73.33
MindLoom (本文)	73.96 / 84.79	67.86 / 80.21	8.12 / 14.88	86.80 / 95.12	71.39 / 85.11	91.80 / 98.20	63.33 / 73.33	66.67 / 73.33

消融实验¶

基于 Qwen3-4B 与 Qwen3.5-9B 对管线各关键组件展开了剥离测试（指标为 pass@1 / pass@3，单位 %）：

配置变体	CS-Bench	HLE	SciBench	MATH-500	HMMT-Feb	AIME 2025	说明
Qwen3-4B Full MindLoom	68.29 / 80.16	5.96 / 12.12	53.61 / 71.53	85.20 / 98.60	33.33 / 43.33	40.00 / 53.33	完整模型管线
w/o Scarcity ($\alpha=1.0$)	65.44 / 78.46	5.24 / 11.04	51.87 / 66.76	92.40 / 96.80	33.33 / 43.33	30.00 / 46.67	去除稀缺性奖励，仅凭相似度采样
w/o Filter	53.45 / 72.92	4.28 / 10.84	30.63 / 46.24	67.80 / 82.00	13.33 / 20.00	16.67 / 20.00	跳过 Rollout 验证与难度标注（降幅最大）
Random Retriever	63.04 / 77.68	4.89 / 10.44	46.89 / 64.40	80.20 / 92.42	16.00 / 20.00	26.67 / 33.33	随机抽取思维范式构件
w/o Reverse Eng.	61.02 / 77.64	4.96 / 11.16	45.81 / 63.44	81.00 / 91.20	23.33 / 36.67	33.33 / 40.00	不做逆向依赖解构，直接由 Rollout 提取
Qwen3.5-9B Full MindLoom	73.96 / 84.79	8.12 / 14.88	71.39 / 85.11	91.80 / 98.20	63.33 / 73.33	66.67 / 73.33	强基座完整管线
w/o Filter (9B)	60.36 / 73.91	5.48 / 12.56	41.47 / 56.65	58.80 / 81.00	23.33 / 30.00	26.67 / 43.33	9B 下剔除过滤仍导致毁灭性暴跌

关键发现¶

过滤校验是管线质量的生命线：在所有消融变体中，去掉 Rollout-Based Filtering（w/o Filter）引发的性能坍塌最剧烈，Qwen3-4B 在 AIME 2025 的 pass@3 从 53.33% 暴跌至 20.00%，SciBench pass@1 从 53.61% 跌至 30.63%。这表明合成生成难免产生逻辑错位或不可解题目，未经解题校验的数据会对微调带来灾难性噪声。
稀缺性引导有效防范模式坍塌：去除稀缺性奖励（w/o Scarcity）后，虽然在个别高频题型上有微弱收益，但全学科泛化与高难度竞赛题（AIME 2025 pass@3 由 53.33% 降至 46.67%）全面滑坡。聚类覆盖分析证实，MindLoom 的生成分布能高度拟合参考库分布 $P_{\mathrm{ref}}$，而消融版本则高度偏向社科等大类，严重饥饿几何与向量推理等小众高难度簇。
高数据效率与跨模型扩展性：在相同的 9,230 条严格 SFT 预算下，MindLoom 击败了同等规模的 DeepSeek-V3.2 轨迹直接蒸馏，并在多学科与竞赛题上超越开源大语料 OpenThought 与 MegaScience，且该优势在参数规模扩展到 Qwen3.5-9B 时依然稳定保持。

亮点与洞察¶

难度解构的逆向工程视角：不同于常规的正向 prompt 扩写，本文从验证解答末尾倒推依赖，将“已知转隐含”作为难度提升的标准算子。这一设计极其优雅地把复杂题目的制作变成了逆向解构过程，生成的问题天然附带清晰严密的参考步骤。
兼容性与稀缺性的动态博弈采样：在嵌入召回的基础上，巧妙运用 $\tanh(\log(\cdot))$ 将经验生成比例与基准分布的偏离转化为有界的稀缺性奖励，既利用预训练嵌入维持了领域逻辑自洽，又从机制上遏制了合成数据的模式坍塌。
前沿级边缘难度的动态捕获：利用三轮 Rollout 中“出现 1~2 次正确”的弱通过率区间精准锚定模型能力的临界边界，把微调计算量全额倾注在最具信息量的难题上。

局限与展望¶

受限于参考库的初始范式池：作者承认，合成新题目的能力上限本质上被参考语料库所覆盖的思维范式边界所约束；若源数据缺乏特定领域的深层数学或算法模式，管线无法凭空创造全新维度的范式。
纯文本模态与缺少在线强化学习闭环：当前框架仅在纯文本 STEM 与数学题目上进行了验证，且主要作为离线 SFT 数据的生成器。未来可探索将思维范式组合扩展至视觉-几何等多模态推理，并将生成的具备难度梯度的题目作为在线 RL（如 PPO/GRPO）的环境生成器。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将题目难度系统性抽象为思维范式并提出逆向工程分解与分布对齐组合合成，构思精巧且通用性强。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 9 大横跨 STEM 与顶尖数学竞赛的基准、4 款基座模型，消融实验设计严谨且数据量完全等额控制。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式表述规范，附录案例与失效分析极其详实。
价值: ⭐⭐⭐⭐⭐ 为大模型后训练前沿级推理数据的可控合成提供了极具启发性与落地价值的方法论参考。