What MLLMs Learn about When they Learn about Multimodal Reasoning

会议: NeurIPS 2026
arXiv: 2510.01719
领域: VLM 推理
关键词: 多模态推理, 几何问题求解, 强化学习, 感知与推理分解, MathLens

一句话总结

提出了基于形式化几何的解耦评测基准 MathLens，将多模态大模型的推理能力严格拆解为感知提取、纯文本推理与多模态特异性协同三个正交维度，揭示了强化学习与文本 SFT 等训练范式在各能力维度上的结构性演进差异。

研究背景与动机

大语言模型在形式化数学定理证明、高难度竞赛解题及复杂代码生成中展现出的强大推理能力，促使研究界迅速将类似训练范式拓展至多模态大语言模型（MLLMs）。在多模态数学题求解与视觉逻辑谜题等复杂任务中，监督微调（SFT）、强化学习（RL）以及两阶段序列微调（如文本 SFT 后接多模态 RL）被广泛应用。然而，与纯语言模型中以推理为导向的训练通常能带来稳定的单调性能收益不同，多模态推理模型的训练结果表现出极高的方差与不确定性，甚至在不同评测集上出现相互矛盾的结论。

导致这一认知困境的核心症结在于：现有主流多模态基准普遍将模型性能压缩为一个单一的下游准确率标量，隐式假定多模态推理是一种同质的单一能力。在单一分数的遮蔽下，模型究竟是因为感知能力提升（更精准地从图像中读取几何事实）、纯文本逻辑推演能力增强（在已知事实基础上正确执行多步推理），还是跨模态协同整合能力改善（多模态特异性协同），完全无法被有效分离。此前一些基准（如 MathVerse）尝试通过消减输入模态来近似评估单一技能，但由于缺乏对底层语义状态的显式控制，其生成的文本描述往往缺失关键几何条件，难以提供因果层面的诊断价值。此外，公共基准常直接采纳教科书插图，使模型容易依赖训练集中的视觉样式先验，产生虚假的推理繁荣。

针对上述挑战，本文将具有天然形式化结构与符号严密性的几何问题作为受控试验场，构建了能够严格解耦各能力维度的基准 MathLens。核心 idea：基于形式化几何语义状态生成四重对齐标注，将多模态推理严格分解为原子感知探针、信息无损的纯文本推理测试以及多模态特异性残差分析，并结合保持语义不变的图形扰动，系统揭示不同训练范式在感知接地、反思性推理与视觉鲁棒性上的结构性能力迁移规律。

方法详解

整体框架

MathLens 围绕潜在语义状态与目标算子展开构建，将多模态几何推理任务的评测解耦为三个正交组件及语义一致性检验。对于每个几何问题，系统从形式化符号规范出发，分别生成：(1) 用于测试纯感知能力的原子感知探针；(2) 完全保留所有几何条件、将感知难度降为零的纯文本描述；(3) 必须依赖视觉图示才能求解的上下文敏感多模态问题；(4) 经受严密数值求解与人工筛选的精确几何图示。基于这四类对齐输入，评测流程将端到端多模态推理任务逐层拆解，精准归因模型的错误根源，并结合 6 种语义级图形扰动量化视觉一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["形式化几何规范与符号状态<br/>S_k = {s_k,1, ..., s_k,m} + 目标算子 phi_k"] --> B["符号化语义状态与四重对齐标注构建"]
    B --> C1["原子感知探针测试 Q_k^perc<br/>直接验证图示事实读取"]
    B --> C2["等价文本推理测试 (C_k^txt, Q_k)<br/>感知难度归零下的逻辑推演"]
    B --> C3["多模态复合任务测试 (C_k^img, Q_k')<br/>强制依赖图示的端到端解题"]
    C1 & C2 & C3 --> D["三元正交能力解耦与残差错误归因"]
    D --> E1["感知与推理双重错误 / 单项错误"]
    D --> E2["多模态特异性协同残差 (Integration Residual)"]
    B --> F["语义级几何图形扰动与一致性评测<br/>旋转 / 翻折 / 增线 / 增形 / 合并 / 重命名"]
    F --> G["一致性率 CR 量化分析"]

关键设计

1. 符号化语义状态与四重对齐标注构建：消除模态间信息不对称与视觉偏见 现有基准在剥离视觉模态时，手工编写的文本描述常常遗漏几何图示中的隐含条件（如共线、垂直、等长），导致纯文本模式无法解题，进而误判模型的推理能力。MathLens 依托 FormalGeo-7K 的谓词集合构建严密语义状态 \(S_k = \{s_{k,1}, \ldots, s_{k,m}\}\) 与目标算子 \(\varphi_k\)。针对文本描述生成，设计无修辞模板函数 \(f_d\)，将每个谓词原子无损映射为命题子句 \(C_k^{\text{txt}} = \text{concat}_i f_d(s_{k,i})\)，确保文本输入包含求解所需的全部充分必要条件。在构建多模态问题 \(Q'_k\) 时，显式剔除与视觉上下文重叠的事实原子 \(S_k^q \cap S_k^c = \varnothing\)，使得问题无法仅凭文字先验或盲猜解答，强制模型进行跨模态信息抽取。在图示渲染端，将每个几何谓词转换为解析代数约束，采用序列最小二乘规划（SLSQP）在连续坐标空间内数值求解并以 Matplotlib 重新渲染，彻底破除模型对教科书历史图形排版风格的先验依赖。

2. 三元正交能力解耦与残差错误归因：打破标量准确率的诊断黑盒 传统评测仅输出是否做对，无法回答模型“死在何处”。MathLens 设计了细粒度原子感知探针 \(Q_k^{\text{perc}} = \{q_{k,i}^{\text{perc}}\}_{i=1}^m\)，每个探针对应单个事实原子 \(s_{k,i}\) 的真值判断，直接检测底层视觉编码器的特征提取完整性。在此基础上，系统将模型的错误因果归因于四种互斥状态： - 感知与推理双重失败（Perception & Reasoning）：感知探针与纯文本推理均未通过，表明模型既无法正确看图，也不具备基础几何解题逻辑； - 纯感知失败（Perception Failure）：纯文本推理正确，但无法通过感知探针，说明模型拥有充足的领域解题逻辑，但视觉特征提取存在缺陷； - 纯推理失败（Reasoning Failure）：感知探针全部正确读取，但在文本测试中推导失败，表明瓶颈完全在语言骨干网的多步逻辑推断； - 多模态特异性残差（Multimodal-specific Residual）：模型在隔离评测中同时完全答对了感知探针与纯文本推理，但在联合输入 \((C_k^{\text{img}}, Q_k')\) 上却未能求解。这一残差明确锁定了跨模态信息对齐、图文信息注入或视觉线索在长思考链中被遗忘等模态协同层面的系统性缺陷。

3. 语义级几何图形扰动与一致性评测：超越像素噪声的语义不变性度量 常见鲁棒性评测往往使用高斯模糊、色彩抖动等像素级扰动，极易引起离散视觉分词器的特征崩塌，无法度量高阶几何理解的稳健性。MathLens 提出基于语义规范的可容许变换集合 \(\tau \in \mathcal{T}_{\text{AP}}\)，在保证真实解 \(f(\varphi_k, S_k) = f(\varphi_k, \tau(S_k))\) 完全恒定的前提下，自动构造 8 种图示变体：包括添加干扰线段（add_lines）、添加几何干扰形（add_shapes）、水平翻折（flip）、全图旋转（rotate）、图元重叠拼接（merge）以及顶点符号重命名（rename）。通过在同一问题不同扰动图示集合 \(\bar{C}_k\) 上计算模型预测的一致性率（Consistency Rate, CR）： $\(CR = \mathbb{E}_{Q'_k \sim Q'} \left[ \mathbb{E}_{\begin{subarray}{c}\bar{C}_{k,i}, \bar{C}_{k,j} \sim \bar{C}_k \\ i \neq j \end{subarray}} \mathbf{1}\left[M(Q'_k, \bar{C}_{k,i}) = M(Q'_k, \bar{C}_{k,j})\right] \right]\)$ 该设计精确剥离出模型在面临图形布局变化、符号重排时的泛化稳定性，有效检测出因过度拟合特定构图模板而产生的伪推理能力。

一个完整示例

考虑一个求解角平分线与垂线交角的几何问题实例： 1. 潜在语义状态 \(S_k\)：包含谓词 Triangle(B, D, F)、Perpendicular(D, F, A, C)、AngleMeasure(D, F, B, 65°) 以及求角目标 \(\varphi_k = \angle D B F\)。 2. 感知探针测试：针对原子事实生成多项选择题 \(q_{k,1}^{\text{perc}}\)：“图中度数为 65° 的角是哪一个？A. \(\angle DFB\) B. \(\angle DFC\)”，若模型选择 A 则通过该原子感知。 3. 等价文本推理测试：提供完整文字命题：“存在三角形 \(BDF\)，边 \(DF\) 垂直于 \(AC\)，已知 \(\angle DFB = 65^\circ\)，求解 \(\angle DBF\)。”模型不查看任何图片，若能推导出正确数值，则证明纯推理能力完备。 4. 多模态复合任务测试：输入重新渲染的几何图形 \(C_k^{\text{img}}\)，问题为：“根据附图，求解 \(\angle DBF\) 的度数。”若基线模型在此处失败，但前述感知探针与文本推理均满分通过，该样本即被判定为多模态特异性协同残差。 5. 语义扰动测试：将顶点标签 \(D, F, B\) 映射为 \(X, Y, Z\)（重命名），并将图示逆时针旋转 \(90^\circ\)（旋转）。若模型在旋转后预测跳变，则一致性指示函数记为 0。

损失函数 / 训练策略

论文系统对比了当前主流开源多模态推理模型的训练范式及其对上述组件的差异化塑形： 1. 直接多模态强化学习（Direct MM-RL，如 VL-Rethinker, ShareVL-R1）：在预训练多模态骨干模型上，利用几何答案的可验证规则奖励（Rule-based Reward），通过 GRPO 等策略梯度算法进行强化学习。实验发现，仅凭下游答案正确性奖励，就能强力激发基础感知对齐，显著降低感知错误并提升图形扰动一致性。 2. 多模态监督微调（MM-SFT，如 Vision-R1-CI, R1-OneVision-SFT）：基于合成或蒸馏的多模态思维链（CoT）轨迹进行有监督微调。由于现有 MM-SFT 数据中推理链条普遍偏短（平均约 800 tokens），且图示样式单一，模型极易过拟合于特定图形分布，在语义扰动下鲁棒性大幅崩塌。 3. 文本 SFT 后接多模态 RL（Text-SFT \(\to\) MM-RL，如 Revisual-R1, OVR）：先在高质量长文本推理数据（如 DeepMath）上预热推理思维链，再进行多模态强化学习。文本 SFT 阶段不仅大幅提升纯推理能力，还通过激发模型的“反思与自我纠错”（Reflective Reasoning，测试轨迹中反思标记数量在纠错样本上显著激增），间接提升了感知探针准确率。

实验关键数据

主实验：多模态几何推理与语义扰动鲁棒性评测

实验评测了 13 个主流 7–9B 开源模型及代表性闭源前沿模型，在纯文本描述、原始图示、基础重新渲染图示及 6 种语义扰动图示下的下游准确率与一致性率（CR）。

模型	变体类型	文本输入	原始图示	基础重渲染	增加线段	增加图形	水平翻折	拼接合并	顶点重命名	全图旋转	一致性 (CR)
VL-Rethinker-7B	Backbone	38.9	34.7	33.2	26.1	28.1	30.6	26.9	29.4	31.4	31.0
	MM-RL	41.1	37.6	35.7	31.4	29.4	34.7	30.6	33.5	35.5	37.3
ShareVL-R1-7B	Backbone	38.9	34.7	33.2	26.1	28.1	30.6	26.9	29.4	31.4	31.0
	MM-RL	42.1	36.7	35.4	31.1	32.7	33.9	33.7	35.1	35.3	41.3
R1-OneVision-7B	Backbone	38.9	34.7	33.2	26.1	28.1	30.6	26.9	29.4	31.4	31.0
	MM-SFT	36.7	35.4	29.8	21.9	26.1	29.7	25.3	27.6	29.2	24.0
	MM-RL	35.9	33.0	32.0	25.1	28.5	34.0	23.3	30.7	32.3	28.5
Vision-R1-7B	Backbone	38.9	34.7	33.2	26.1	28.1	30.6	26.9	29.4	31.4	31.0
	MM-SFT	35.2	34.3	26.8	19.1	21.7	27.8	20.6	23.1	28.0	21.1
	MM-RL	48.6	44.5	36.0	33.0	31.5	36.6	30.6	34.2	37.8	39.4
Revisual-R1-7B	Backbone	38.9	34.7	33.2	26.1	28.1	30.6	26.9	29.4	31.4	31.0
	Text-SFT	62.3	43.8	39.2	32.9	35.1	42.7	32.8	37.4	39.8	41.0
	MM-RL	63.8	51.7	45.8	35.3	38.0	44.4	39.1	42.2	44.7	46.9
OVR-7B	Backbone	38.9	34.7	33.2	26.1	28.1	30.6	26.9	29.4	31.4	31.0
	Text-SFT	66.2	46.7	38.7	33.8	33.7	37.9	32.5	38.1	40.7	42.9
	MM-RL	70.4	49.8	43.7	38.4	38.2	44.9	36.2	39.7	44.9	49.9
GLM-4.1V-9B	Base	40.0	44.6	44.7	37.7	37.8	44.7	36.7	40.4	43.7	39.7
	Thinking	69.2	65.8	59.9	52.3	50.2	60.8	50.0	57.0	61.4	62.8
VL-Rethinker-72B	Backbone	52.9	41.6	41.0	36.2	35.5	42.2	37.5	38.4	41.6	40.0
	MM-RL	56.2	47.6	45.0	38.2	39.1	45.5	38.4	44.6	44.8	43.9
GPT-4o / o3	4o (Non-think)	49.1	40.7	39.1	35.2	32.9	40.7	33.6	39.0	40.8	38.7
	o3 (Thinking)	74.5	66.8	61.4	51.9	49.9	61.7	55.8	57.8	62.9	59.0
Claude-4-Sonnet	Non-thinking	75.1	60.7	61.2	51.0	53.3	60.4	48.1	57.0	60.6	55.7
	Thinking	84.1	65.6	64.4	51.0	55.0	65.6	51.5	61.0	67.0	57.0

消融与细粒度感知分析：按几何关系类型划分的感知探针表现

针对低层感知能力，MathLens 将探针按照几何谓词属性解耦为 10 类，展示不同训练阶段对具体视觉模式识别的精确影响。

模型	变体类型	三角形	四边形	平行	垂直	共线	共圆	等长判定	线段长度值	等角判定	角度数值
Qwen-2.5-VL 基座	Backbone	69.1	52.3	49.0	78.2	59.5	65.6	57.4	86.6	50.0	68.1
VL-Rethinker-7B	MM-RL	67.6	55.2	60.6	76.6	67.4	81.7	50.0	86.9	50.0	75.8
Vision-R1-7B	MM-SFT	65.8	49.4	43.3	73.5	64.8	60.0	45.6	78.6	61.5	73.8
	MM-RL	70.9	56.1	49.0	76.1	65.7	77.8	57.4	88.9	61.5	76.9
Revisual-R1-7B	Text-SFT	79.1	64.0	65.4	77.5	59.8	67.8	57.4	81.7	69.2	82.3
	MM-RL	84.3	72.0	65.4	82.8	68.0	77.2	60.3	88.1	84.6	87.8
OVR-7B	Text-SFT	83.5	61.5	79.8	82.2	61.0	69.4	57.4	83.2	69.2	86.0
	MM-RL	82.2	67.8	76.9	85.9	66.9	80.6	50.0	83.0	80.8	89.0
GLM-4.1V-9B	Base	74.3	52.3	76.9	77.8	68.2	74.4	57.4	90.1	53.8	74.5
	Thinking	82.2	66.5	88.5	88.8	66.2	91.7	82.4	95.3	92.3	88.0
GPT-4o / o3	4o	81.9	60.3	78.8	80.3	69.5	95.0	67.6	93.4	80.8	87.5
	o3	94.0	95.4	95.2	92.8	94.1	93.9	95.6	98.9	100.0	96.7
Claude-4-Sonnet	Non-thinking	88.6	75.3	79.8	85.2	82.3	95.0	77.9	98.1	84.6	92.5
	Thinking	93.5	93.7	85.6	88.8	83.1	89.4	83.8	98.5	88.5	93.7

关键发现

• 强化学习主要促进感知接地与鲁棒性：无论是否经过 SFT，MM-RL 都能显著改善基础感知探针表现，并在所有图示扰动下大幅提升一致性率（CR 从基座的 31.0% 分别跃升至 37.3%–49.9%）。
• 文本 SFT 通过反思思维链间接赋能视觉感知：仅在纯文本数学上训练的 SFT 模型（如 Revisual-R1 和 OVR），在未经任何多模态训练的情况下，多项视觉感知探针准确率平均提升了 8–15 个百分点。深入思维链分析证实，纠错样本中的自我反思（Reflection）频次显著高于基线，说明更强的抽象逻辑引导了模型对视觉模糊线索的二次核验。
• 多模态 SFT 易导致过拟合与鲁棒性塌陷：MM-SFT（如 Vision-R1 和 R1-OneVision 的 SFT 阶段）在添加线段和图形扰动下出现断崖式性能下跌（CR 暴跌至 21.1%–24.0%，低于基座的 31.0%），说明现有多模态 SFT 轨迹过于刻板，损害了特征泛化。
• 多模态特异性协同（残差错误）成为高能力瓶颈：随着 RL 与文本 SFT 不断消减纯感知和纯推理错误，剩余错误中“能正确看图且能正确文本推理、但在图文结合时失败”的比例急剧攀升。这证实跨模态对齐与融合能力并没有随着单一模态能力的增长而自动水到渠成。
• 视觉线索共位性决定感知学习难易度：感知探针中，标注与几何实体局部共位的线索（如平行符号、角度数值、共圆）极易被 RL 激活；而空间跨度大或需要远距离对比的线索（如等长线段判定、垂直判定）改善极其有限。

亮点与洞察

• 解耦式评测打破了多模态推理的标量幻觉：传统榜单仅关注最终胜负率，导致研究者误以为只要堆砌推理数据就能提升所有能力。MathLens 证明，不同训练策略分别在感知、逻辑和协同上引发互不相同的拉扯效应。
• 文本推理能力向视觉感知的逆向溢出：揭示了高阶认知（反思、自校正）可以作为一种自顶向下的注意力机制，帮助视觉感知纠正初级提取偏差，为多模态长 CoT 的训练时机提供了理论依据。
• 语义不变性图形扰动提供抗作弊检验：通过在符号空间直接修改几何构图，MathLens-E 与 MathLens 证实模型对公开基准中的图形排版存在严重的“视觉熟面孔效应”，新图生成能够真正倒逼模型进行几何逻辑推演。

局限与展望

• 形式化几何的领域局限：尽管形式化几何提供了完全可控的语义原子，但在图表分析、自然科学图像等无严格符号真值的开放域中，此类严密因果拆解难以直接复制（虽然扩展了 MathLens-NS，但后者依赖模型过滤，缺乏形式化保证）。
• 残差定义的非穷尽性假设：当前将多模态特异性协同定义为排除感知探针和纯文本测试之后的残差，若感知探针未完全覆盖某些细微的视觉隐变量，可能会将部分未测感知失误计入残差。
• 开源检查点的跨模型对照而非严格控制变量消融：评估对象主要为社区公开释放的模型检查点，未来需在相同预训练底座与算力预算下，进行严格同源的训练范式完全可控消融。

相关工作与启发

• vs MathVerse / MathVista：MathVista 仅提供混合准确率；MathVerse 尝试通过剥离模态进行分析，但其文本描述缺失大量图形隐含几何事实，无法衡量纯推理能力。MathLens 依靠形式化状态保证文本描述的信息无损性，实现了真正严格的三元能力解耦。
• vs FormalGeo-7K：FormalGeo-7K 专注于形式化求解器与自动定理证明，缺乏多模态视觉鲁棒性评测与多阶段对齐设计；MathLens 将其转化为包含感知探针、多模态上下文依赖问题与 8 类语义扰动的系统性评测基准。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态推理能力的三元形式化解耦与语义图形扰动评测。
• 实验充分度: ⭐⭐⭐⭐⭐ 详尽测试 13 个主流开源与前沿闭源模型，覆盖多模态扰动与 10 类原子感知探针。
• 写作质量: ⭐⭐⭐⭐⭐ 论证严谨，数学形式化定义完备，深入揭示了跨模态反思机制。
• 价值: ⭐⭐⭐⭐⭐ 为多模态长思考大模型（o-series / Thinking VLM）的训练策略选择指明了方向。

相关论文

• [CVPR 2026] Reinforce to Learn, Elect to Reason: A Dual Paradigm for Video Reasoning
• [ICLR 2026] VTool-R1: VLMs Learn to Think with Images via Reinforcement Learning on Multimodal Tool Use
• [ICML 2026] Learn to Think: Improving Multimodal Reasoning through Vision-Aware Self-Improvement Training
• [CVPR 2026] HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
• [ECCV 2026] Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning