MMFineReason: Closing the Multimodal Reasoning Gap via Open Data-Centric Methods¶
会议: NeurIPS 2026
arXiv: 2601.21821
OpenReview: https://openreview.net/forum?id=Z3ctdgrbBf
代码: https://github.com/OpenDataLab/MMFineReason
领域: 多模态VLM
关键词: 多模态推理, 数据中心方法, 思维链蒸馏, 难度感知过滤, 视觉语言模型
一句话总结¶
提出了大规模开源多模态推理数据集 MMFineReason（177万样本、51.5亿思维链 token），通过三阶段标准化清洗、Qwen3-VL-235B 结构化思维链蒸馏与难度感知过滤，微调 Qwen3-VL-Instruct 打造出以小博大的 MMFineReason-2B/4B/8B 模型家族，并发现仅需 7% 极具挑战性样本即可匹敌全量数据训练效果的“少即是多”规律。
研究背景与动机¶
近年来，视觉语言模型在视觉感知与图文对话领域取得了长足进展，但开源多模态模型与前沿闭源系统（如 GPT-5、Gemini 3）在深层次视觉推理（如复杂数学几何、科学图表、逻辑谜题）上依然存在显著的能力鸿沟。在纯文本领域，以 DeepSeek-R1 及其开源蒸馏变体为代表的数据中心范式已经充分证明：通过从能力强大的教师模型中蒸馏高一致性、长思维链（Long-form CoT）监督信号，配合严格的质量校验，是开源阵营拉近与闭源旗舰差距的最关键路径。
然而，将这一成功经验跨模态迁移至视觉语言领域时却面临双重严重瓶颈。首先是领域数据的极端不平衡：现有多模态数据集大多高度集中于自然图像问答与通用文档 OCR，高难度的 STEM 几何图表与逻辑推理样本极其稀缺且人工标注成本高昂；其次是推理标注质量的高度异质性：社区现有数据缺乏标准化、长程且强视觉绑定的解题推理轨迹，开源多模态思维链数据集碎片化且推演深度不足，难以激发模型的 System-2 慢思考推理能力。
针对开源多模态推理数据在规模、深度与一致性上的缺失，本文的核心 idea 是构建全流程开源且完全基于本地开源大模型的三阶段数据构建流水线（汇聚标准化、四阶段思维链蒸馏、难度感知过滤），蒸馏出含 5.1B token 的 1.8M 高质量多模态推理数据集 MMFineReason，并利用小型模型通过难度过滤筛选出 7% 核心难例（123K），以极高参数效率和数据效率抹平多模态推理差距。
方法详解¶
整体框架¶
MMFineReason 构建流水线与训练架构完全摒弃对商业闭源 API 的依赖，整体包含数据构建、微调监督与强化学习三个解耦模块。在数据端，系统首先从开源社区汇聚涵盖数学、科学、谜题与通用视觉的原始数据，执行多语言翻译、提示词诱导重构与跨模态规范化模式转换；接着以开源顶尖模型 Qwen3-VL-235B-A22B-Thinking 为生成教师，强制执行四阶段视觉解题框架，蒸馏带有 <think>...</think> 显式思维链与 <answer>...</answer> 结构化标签的高密度答案；随后通过模板长度过滤、n-gram 去重与真实标签一致性校验剔除幻觉轨迹，形成包含 1,770,926 条样本的 MMFineReason-1.8M 语料库。在此基础上，系统通过弱小模型通过率进一步分流出高难度精选子集，最终驱动两阶段（SFT + RL）模型训练。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多源原始多模态数据<br/>FineVision / MMR1 / BMMR / GameQA"] --> B["多源清洗与规范化预处理<br/>过滤无关任务 / 指令重构 / 统一字段规范"]
B --> C["四阶段结构化 CoT 知识蒸馏<br/>Qwen3-VL-235B 生成严密视觉思维链与稠密描述"]
C --> D["三重质量验证与幻觉剔除<br/>模板长度约束 / n-gram 重复过滤 / 真实解一致性核验"]
D --> E["难度感知过滤与数据配比<br/>利用 4B 弱模型通过率剥离低效冗余样本"]
E --> F["两阶段模型后训练流水线<br/>序列打包 SFT 注入推理能力 + GSPO 算法强化泛化"]关键设计¶
1. 跨模态原始数据清洗与统一 Schema 规范化
针对现有开源开源多模态数据集来源分散、标注风格各异以及问题缺乏思考引导的问题，系统建立了严格的清洗与对齐规范。在语言层面，将非英语题目（如 BMMR 与 Euclid30K 中的样本）统统翻译为英文，并剔除网页链接、题号乱码等格式残留；在指令层面，将原始数据中诱导浅层直接回答的提示（例如“directly give the answer”）系统性重构为显式鼓励深度分析的指令（如“provide your answer after careful reasoning”），确保后续蒸馏阶段能充分激发长思维链。所有数据被转化为标准 Schema，明确区分原始元数据（source, id）、原始输入输出（original_question, original_answer）、标准化三元组（image, question, answer）、增强标注（稠密图文描述与思维链解答）以及质量指标（通过率、一致性标记与验证分析），为大规模流水线奠定结构化基础。
2. 四阶段强视觉绑定的长思维链生成机制
为根治多模态推理模型容易将图像视作次要上下文、在推演中脱离视觉证据的“虚假思考”弊端，蒸馏提示词强制 Qwen3-VL-235B-A22B-Thinking 遵循四阶段认知解决框架：全面信息提取（深入识别图像图表与题干全部要素）、策略化解题设置（建立方程、推演逻辑拓扑与代数关系）、严格推导执行（每一步必须与视觉观测强绑定）、解题完整性验证（反思中间步骤、检验极值或一致性）。模型输出严格封装在 <think>...</think> 与 <answer>...</answer> 结构化标签中。与此同时，采用 Qwen3-VL-235B-A22B-Instruct 为每张图像生成平均长达 609 个 token 的稠密语义描述（保持 100% 全样本覆盖），确保视觉符号信息与语言逻辑链路深度咬合。
3. 三重质量过滤与幻觉清洗流水线
未经验证的模型自生成轨迹不可避免存在幻觉与格式坍缩。MMFineReason 部署了三重串行质检屏障：第一层为结构与长度验证，强制剔除不符合思考标签结构或少于 100 词的肤浅回答，过滤约 1.2% 的结构异常样本；第二层为 n-gram 语义去重，针对生成陷入局部死循环的问题，检测是否存在重复出现 3 次及以上的 50-gram（即 \(n=50, f=3\)），命中的死循环轨迹直接丢弃或换用不同随机种子重新生成；第三层为端到端正确性校验，对于具备客观真值标签的样本，自动解析 <answer> 标签答案并与标准答案匹配，剔除了约 20% 包含逻辑谬误或伪真解的错误样本。该流水线最终从 2.3M 候选集中凝练出 1,770,926 条高质量样本（5,152,806,394 个解答 token，平均长度达 2,910 token）。
4. 基于弱模型通过率的难度感知过滤（Less is More） 全量 1.8M 语料中存在大量过于基础或单一视觉感知的简单样本，直接全量微调会导致严重的算力浪费与优化梯度饱和。为此，算法引入基于弱模型表现的难度代理评分机制：利用参数量较小的 Qwen3-VL-4B-Thinking 对每个题目独立生成 4 次回答，统计其通过率（Pass Rate, PR）。由此构建两个递进的高效训练子集：严格难例集 MMFineReason-123K（仅保留 4 次全部失败、即 \(\text{PR} = 0\) 的样本，占全量约 7%）和广义难例集 MMFineReason-586K（保留未能全对、即 \(\text{PR} \neq 1\) 的样本）。实验证明，剔除已被中小模型完全掌握的简单样本，能将优化注意力集中在需要深层跨模态反思的高价值难例上，不仅大幅压缩了近 93% 的训练数据量，而且模型在下游复杂评测上的表现几乎无损。
损失函数 / 训练策略¶
模型训练分为 SFT 基础推理注入与 RL 跨模态泛化对齐两阶段： - 监督微调（SFT）阶段：基于 LLaMA-Factory 框架微调 Qwen3-VL-Instruct（2B/4B/8B），使用 AdamW 优化器，学习率设为 \(1\times 10^{-5}\) 并采用余弦退火衰减，权重衰减为 0.0，预热比例为 3%。为提升高吞吐与长上下文处理效率，集成 liger kernel 并开启长达 32,768 的序列打包（Sequence Packing）；输入图像分辨率规范为 \(768\times 768\) 以兼顾训练速度与空间特征保留，全局批量大小为 32，共训练 3 个 epoch。 - 强化学习（RL）阶段：从全集中均匀抽取 40k 个具客观验证标准的样本，采用 VeRL 框架与成组序列策略优化算法（GSPO）。学习率固定为 \(1\times 10^{-6}\)，每个 prompt 自主生成 \(G=16\) 条推理 rollout 以估计组相关基线降低梯度方差，批量大小设为 256，训练 300 步，显著提升了模型在未见领域与图表任务上的泛化能力。
实验关键数据¶
主实验¶
在涵盖 STEM、图表与通用感知的 13 项主流多模态基准（如 MMMU、MathVista、MathVision、MathVerse、DynaMath、LogicVista 等）上，MMFineReason 微调模型全面超越同级别开源基线，以小参数量匹敌更大尺寸思考模型与商用闭源系统。
| 模型 | 基础尺寸 | MMMU_val | MathVista_mini | MathVision_test | MathVerse_mini | DynaMath_test | LogicVista_test | 13项全基准均分 |
|---|---|---|---|---|---|---|---|---|
| Gemini-2.5-Flash (闭源) | - | 77.7 | 79.4 | 64.3 | 77.7 | 75.9 | 67.3 | 75.0 |
| GPT-5-mini High (闭源) | - | 79.0 | 79.1 | 71.9 | 78.8 | 81.4 | 71.4 | 76.5 |
| Qwen3-VL-8B-Thinking | 8B | 74.1 | 81.4 | 62.7 | 77.7 | 73.2 | 65.1 | 72.5 |
| Qwen3-VL-30B-A3B-Thinking | 30B (A3B) | 76.0 | 81.9 | 65.7 | 79.6 | 80.1 | 65.8 | 74.5 |
| Qwen3-VL-32B-Thinking | 32B | 78.1 | 85.9 | 70.2 | 82.6 | 82.0 | 70.9 | 77.9 |
| MMR1-8B (开源基线) | 8B | 62.8 | 75.3 | 48.4 | 67.3 | 73.6 | 54.6 | 67.4 |
| HoneyBee-8B (开源基线) | 8B | 63.1 | 71.9 | 37.4 | 60.9 | 69.4 | 47.8 | 65.1 |
| OMR-7B (开源基线) | 7B | 57.8 | 79.5 | 43.6 | 63.8 | 69.1 | 50.0 | 65.3 |
| MFR-2B (Ours) | 2B | 54.8 | 74.6 | 45.3 | 69.2 | 71.4 | 53.8 | 65.3 |
| MFR-4B (Ours) | 4B | 69.6 | 82.2 | 61.3 | 78.7 | 80.6 | 67.6 | 73.9 |
| MFR-8B (Ours) | 8B | 71.3 | 81.7 | 67.1 | 81.5 | 83.4 | 68.5 | 75.7 |
消融实验¶
消融实验重点验证了不同训练阶段（SFT vs RL）、不同数据规模子集、前置图像描述（Caption Augmentation）以及输入图像分辨率对最终推理表现的具体影响。
1. 两阶段训练（SFT 与 RL）在各模型尺度上的有效性对比
| 尺度与配置 | MathVision (%) | MathVerse (%) | DynaMath (%) | LogicVista (%) | CharXiv_reas (%) | 全基准均分 (%) |
|---|---|---|---|---|---|---|
| 2B Qwen3-VL-Instruct | 31.6 | 52.1 | 54.2 | 35.8 | 26.8 | 53.9 |
| 2B MFR-SFT | 40.9 (+9.3) | 70.4 (+18.3) | 68.7 (+14.5) | 52.8 (+17.0) | 39.0 (+12.2) | 63.1 (+9.2) |
| 2B MFR-RL | 45.3 (+4.4) | 69.2 (-1.2) | 71.4 (+2.7) | 53.8 (+1.0) | 45.4 (+6.4) | 65.3 (+2.2) |
| 4B Qwen3-VL-Instruct | 51.6 | 46.8 | 65.3 | 53.2 | 39.7 | 63.5 |
| 4B MFR-SFT | 62.4 (+10.8) | 78.4 (+31.6) | 79.9 (+14.6) | 66.7 (+13.5) | 55.9 (+16.2) | 73.2 (+9.7) |
| 4B MFR-RL | 61.3 (-1.1) | 78.7 (+0.3) | 80.6 (+0.7) | 67.6 (+0.9) | 58.1 (+2.2) | 73.9 (+0.7) |
| 8B Qwen3-VL-Instruct | 53.9 | 62.1 | 67.7 | 55.3 | 46.4 | 67.6 |
| 8B MFR-SFT | 67.6 (+13.7) | 82.2 (+20.1) | 82.6 (+14.9) | 68.7 (+13.4) | 58.4 (+12.0) | 75.0 (+7.4) |
| 8B MFR-RL | 67.1 (-0.5) | 81.5 (-0.7) | 83.4 (+0.8) | 68.5 (-0.2) | 60.0 (+1.6) | 75.7 (+0.7) |
2. 数据规模与难度过滤子集的极简效率表现（8B 模型）
| 数据配置 | 样本数量 | 占全集比例 (%) | 全局均分 (%) | 说明 |
|---|---|---|---|---|
| HoneyBee-2.5M (基线) | 2,481,229 | - | 65.1 | 社区典型开源数据，标注冗余度高 |
| MMR1-1.6M (基线) | 1,524,033 | - | 67.4 | 大规模多模态数学数据集 |
| MMFineReason-123K (难例集) | 123,000 | 7.0% | 73.3 | 仅用 7% 极难样本即大幅超越百倍规模竞品 |
| MMFineReason-586K (筛选集) | 586,000 | 33.1% | 74.8 | 接近全量数据性能，平衡算力与精度 |
| MMFineReason-1.8M (完整集) | 1,770,926 | 100.0% | 75.7 | 建立开源同级别最强巅峰性能 |
关键发现¶
- “少即是多”的难度感知 Pareto 前沿：仅包含 7% 样本的 MMFineReason-123K 子集训练的 8B 模型达到 73.3 分，以约 5% 的数据量超越了包含 2.5M 样本的 HoneyBee（65.1）与 1.6M 样本的 MMR1（67.4）。这证明了未清洗的简单题目对模型优化贡献几乎为零，高质量复杂思维链能够显著加快收敛并减少算力消耗。
- 训练阶段分工明确：SFT 是注入严密符号推导与几何定理理解的主要推动力，在 MathVision 与 MathVerse 上贡献了超过 10 至 30 个百分点的巨额涨幅；而 RL 则展现出泛化催化剂的作用，在真实图表与复杂感知任务（如 CharXiv 与 AI2D）上带来稳健提升，但对高度确定性的纯数学定理题收益趋于饱和。
- 输入分辨率的边际收益递减：将图像分辨率强制放大至 \(2048\times 2048\) 并没有在几何数学图表（MathVista、CharXiv）上带来增益，甚至落后于 \(768\times 768\) 与 \(256\times 256\)。这表明几何与图表推理的核心依赖拓扑关系而非亚像素细节，超高分辨率带来的长 token 序列反而增加了注意力机制捕获关键线索的负担（唯独在包含微小复杂现实物体的 RealWorldQA 上高分辨率持续有效）。
- 前置 Caption 增强的冗余性：在输出端强制前置
<caption>...</caption>虽略微提升了逻辑关系解析（LogicVista +1.1%），但在深层数学推理上却未见明显收益，原因是长思维链本身已经内嵌了对视觉要素的充沛解析，额外的前置描述造成了表达冗余。
亮点与洞察¶
- 多模态推理能力对通用感知的反哺效应：训练集中 97.8% 为数学、科学与谜题数据，通用的自然图像仅占 2.2%（3.8 万条 LLaVA-CoT 作正则化），但模型在未见过的真实场景理解（RealWorldQA 达 75.6%）与学术图表解析（CharXiv 达 90.8%）上同样表现优异，证实深度逻辑推导能作为底层通用认知的放大器。
- 高质量高密度指令的“催化剂”效应：消融显示极其小巧的 WeMath2.0-SFT（仅 814 条样本，占 0.05%）微调模型竟能斩获 70.98% 的推理准确度，与数百万级的 MMR1（73.60%）差距微弱。这揭示预训练模型已蕴藏海量先验，精简严密的推理格式指令能充当激活潜伏能力的催化钥匙。
- 完全开源复现的数据中心标杆：全流程仅依靠本地部署的 Qwen3-VL 开源系列（235B 蒸馏、4B 难度过滤、8B/4B/2B 最终训练），彻底摆脱对商用闭源 API 的隐式依赖，为开源社区提供了一套透明、可扩展的多模态数据工程范式。
局限与展望¶
- 强化学习阶段存在探索方差：作者在实验中观察到 RL 训练在部分高难度数学基准（如 MathVision）上相比 SFT 阶段出现了轻微掉点，推测是在 SFT 阶段模型已基本饱和吸收规则模板，后续 RL 亟需设计更加丰富、探索空间更为宽广的多模态奖励函数与环境。
- 抽象游戏与算法谜题的迁移壁垒：分析显示 GameQA 与 Raven 等纯逻辑游戏数据集的独立微调性能较低（67.67 分），这类形同程序执行轨迹的状态转移规则与常规多模态问答分布存在固有鸿沟，如何使模型真正内化算法状态机更新机制仍待深入探索。
- 多图跨模态与视频推理的扩展缺失：当前数据集过滤排除了包含多张图像的样本，未来需要将此数据工程扩展至交织多图、长视频等时空跨模态复杂推理领域。
相关工作与启发¶
- vs MMR1 / HoneyBee: MMR1 与 HoneyBee 主要依靠规模化抓取或部分弱模型生成，平均思维链长度不足一千 token 且缺乏严格的难度过滤；本文平均 CoT 达 2,910 token，且通过 4B 模型难度过滤剔除简单冗余样本，不仅峰值表现高出 10+ 点，更用 7% 的数据量完成了反超。
- vs DeepSeek-R1 / OpenR1: 在纯文本领域已建立成熟的开源思维链蒸馏管线，但多模态领域长期缺乏对等的端到端方案；本文将长 CoT 蒸馏技术结合视觉特定 Schema、稠密图像描述与难度分级，成功在视觉语言领域复刻了开源数据中心闭环。
评分¶
- 新颖性: ⭐⭐⭐⭐ [构建了目前开源界首个全开源蒸馏、含 5.1B token 的标准化多模态思维链数据集与难度过滤策略]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 13 个主流基准，详细对比 2B/4B/8B 尺度及 SFT/RL 阶段，并提供极具说服力的数据消融]
- 写作质量: ⭐⭐⭐⭐⭐ [流水线划分清晰，数据统计图表详实透彻，动机与实证分析逻辑严密]
- 价值: ⭐⭐⭐⭐⭐ [彻底开源数据集、模型与处理代码，揭示“少即是多”的难例微调规律，对多模态后训练研究极具指导价值]