Unveiling Fine-Grained Visual Traces: Evaluating Multimodal Interleaved Reasoning Chains in Multimodal STEM Tasks¶

会议: NeurIPS 2026
arXiv: 2604.19697
代码: https://github.com/lll-hhh/STEPSTEM
领域: VLM 推理
关键词: 多模态大语言模型, 视觉交错推理, 细粒度步骤评测, STEM基准, 动态规划对齐

一句话总结¶

提出了包含 283 道研究生水平理科难题的 StepSTEM 基准与基于注意力展开及图像补丁对齐的步骤级双层评测框架，揭示了当前顶级 MLLM 仍严重依赖文本快捷方式且统一多模态交错推理能力孱弱的深层缺陷。

研究背景与动机¶

多模态大语言模型（MLLMs）在图像理解与自然语言生成上取得了长足进步，但在专业 STEM（科学、技术、工程与数学）领域的复杂推理依然面临严峻瓶颈。STEM 任务通常具备高度客观可验证的标准答案，本应是衡量逻辑链推演的理想试验场；然而，现有评测体系往往暴露出严重的模态塌陷与推理捷径问题。一方面，现有基准中题目文本往往包含了过多冗余细节，模型无需真正理解图表或几何结构，仅凭文本上下文中的常识和公式即可直接推导出正确答案，这导致评测结果严重高估了模型的真实跨模态推理能力。另一方面，当前的科学图表和公式图像在通用预训练数据中占比极低，主流图像生成模型多偏向自然风光与写实场景，难以支持带有严谨符号、几何约束和拓扑关系的中间视觉推导。

更为关键的矛盾在于过程评测的缺失：现存绝大多数多模态评测仅关注最终答案的标量准确率（Answer Accuracy），完全忽视了中间推导过程的忠实性与逻辑完备性。先前研究已反复证实，思维链（CoT）生成的中间文本存在严重的欺骗性或未忠实反映底层逻辑的“对齐幻觉”；若缺乏细粒度的步级过程监督，我们根本无法分辨模型是凭借跨模态视觉证据完成了真正的严谨逻辑推导，还是仅仅依赖概率捷径蒙对了终极答案。此外，面对具有复杂多分支解题路径的 STEM 问题，单一标准答案链容易惩罚其他完全正确但形式迥异的推理轨迹。

为了彻底破解这些限制，本文从严格的数据互补性与细粒度过程评测双向切入。核心 idea：构建严格排除单模态捷径的研究生级多模态 STEM 基准 StepSTEM，并提出融合局部步骤动态规划对齐与全局逻辑命题覆盖的跨模态步级评测框架，首次实现了对文本与交错图像中间推理痕迹的精细化质量解耦。

方法详解¶

整体框架¶

StepSTEM 框架包含两个相互依托的核心支柱：一是经过严谨专家管线清洗、强制图文互补的研究生级多模态基准数据集 StepSTEM；二是涵盖局部步骤对齐、全局逻辑覆盖及多参考解最佳匹配的步骤级细粒度过程评测协议。输入为待评测模型在给定题目与图像下生成的交错图文推理轨迹，输出包括答案准确率、局部文本/视觉对齐得分、全局覆盖得分以及融合后的综合过程得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多模态 STEM 题目与输入图像"] --> B["StepSTEM 严谨基准构建<br/>图文互补筛选 + 专家多路径轨迹标注"]
    B --> C["模型交错推理轨迹生成<br/>文本分析与视觉证据穿插推导"]
    C --> D["双层过程评测协议"]
    subgraph D["双层过程评测协议"]
        direction TB
        D1["局部步级对齐：注意力展开 DP + 补丁特征匹配"]
        D2["全局逻辑覆盖：LLM 裁判判定关键命题与证据"]
    end
    D --> E["多解聚合与指标融合<br/>RMS 融合局部与全局，取最优参考解得分"]
    E --> F["输出：最终答案正确率 + 细粒度过程分数"]

关键设计¶

1. 严格图文互补的数据集构建与多解轨迹标注：消除单模态捷径与容纳合法解题多样性 现有基准常允许模型利用纯文本或纯图像直接猜出答案。StepSTEM 由 8 位跨学科领域专家精选了 283 道研究生水平的难题（涵盖工程 111 题、物理 94 题、数学 30 题、化学 25 题及其他 23 题，包含 14 项以图像为最终输出的绘图任务）。筛选执行严格的双向难度与互补性过滤：彻底剔除仅靠纯文本即可解出、纯图像即可直接识别，或图像仅起装饰修饰作用的问题；同时剔除无须显式中间步骤的浅层题。更关键的是，专家为每个视觉推理步精确标注了关键证据的边界框（BBox），并借助 LLM 辅助建议与人工严格审核，为 72 道题目构建了第二条完整标准解路径，为 14 道题目构建了第三条独立解法。不同解法代表完全不同的演绎路径（如动量矩定理直接积分对比惯性张量坐标转换计算），从根本上避免单路径评测对合理创新的误判。

2. 基于注意力展开与单调动态规划的局部文本步骤对齐：捕捉非字面重合的语义因果依赖 传统文本评测依赖字面重合度（如 BLEU/ROUGE），难以适应步骤合并或同义改写的严谨推理。本文利用语言模型（Qwen3.5-9B）的多层自注意力权重，通过跨层注意力展开（Attention Rollout）计算参考步骤 $g_i \in \mathcal{G}^T$ 与预测步骤 $p_j \in \mathcal{P}^T$ 的全局依赖矩阵 $\bar{A} = \prod_{l=1}^L \tilde{A}^{(l)}$，进而构建细粒度词元级最大依赖聚合相似度矩阵： $$M^T[i,j] = \frac{1}{|g_i|} \sum_{u \in g_i} \max_{v \in p_j} \bar{A}_{u,v}$$ 在此基础上，通过施加单调递增约束的动态规划（Monotonic Dynamic Programming）寻找全局最优对齐路径 $\pi^{T,*}$。该设计允许模型跳过或压缩平凡中间子步，但严格禁止因果时间倒置的交叉错位，最终求得局部文本分数 $S_{\text{local}}^{\text{text}} = \frac{1}{|\pi^{T,*}|} \sum_{(i,j)\in\pi^{T,*}} M^T[i,j]$。

3. 锚定边界框特征与多样性惩罚的局部视觉步骤对齐：防止单张泛化图像骗取多步分数 在多模态交错推理中，模型往往生成中间草图、几何辅助线或状态演化图。评测参考轨迹中的视觉步骤 $g_i \in \mathcal{G}^I$ 包含专家标注的关键区域 BBoxes，利用视觉编码器 $\phi(\cdot)$ 池化得到参考特征；预测的中间图像步骤 $p_j \in \mathcal{P}^I$ 则不假定包含标注，采用滑动窗口打补丁切块 $W(p_j)$，计算最大余弦相似度构建视觉相似度矩阵： $$M^I[i,j] = \max_{w \in W(p_j)} \frac{\phi(g_i) \cdot \phi(w)}{\|\phi(g_i)\| \|\phi(w)\|}$$ 针对生成模型可能用一张模糊概括的通用假图复用匹配所有视觉步骤的退化作弊行为，设计了图像多样性惩罚机制：计算所有参考步最佳匹配的独立预测图像索引比例 $D_{\text{img}}$，进而调节视觉局部得分 $S_{\text{local}}^{\text{img}} = C_{\text{img}} (1 - \lambda (1 - D_{\text{img}}))$（默认 $\lambda=0.2$），从而迫使模型在各个具体推导环节生成具备特异性视觉证据的图像。

4. 基于 LLM 裁判的全局命题覆盖与加权均方根度量融合：平衡微观严密性与宏观推理完备性 局部对齐关注微观步骤间的直接映射，但面对推导颗粒度不一的高质量解题仍显严苛。为此，本文引入以 Qwen3.5-9B 为底座的全局裁判，从标准参考轨迹中抽取关键命题集合 $\mathcal{R}$（含关键公式结论与几何事实），对候选回答全局审查其是否在语义或数学上蕴含每个命题 $r \in \mathcal{R}$，输出覆盖度评分 $S_{\text{global}}$。最后，采用加权均方根（RMS）将局部结构分数与全局覆盖分数有机融合，并在多个候选标准参考轨迹 $\mathbb{G}$ 下取最大值： $$S_{\text{fused}} = \sqrt{\frac{w_s S_{\text{local}}^2 + w_j S_{\text{global}}^2}{w_s + w_j}}, \quad S_{\text{final}} = \max_{\mathcal{G}_k \in \mathbb{G}} S_{\text{fused}}(\mathcal{G}_k, \mathcal{P})$$ 该融合机制不仅平滑了单步失配带来的惩罚，更能综合体现“推导过程扎实且全局逻辑完备”的完整推理质量。

实验关键数据¶

主实验¶

在 269 道文本终答问题与 14 道图像终答问题上评测了包含统一多模态模型、交错生成模型及纯理解（文本输出）模型在内的代表性前沿架构。

模型类型	模型	文本答案准确率 (Txt. Acc. %)	图像答案准确率 (Img. Acc. %)	综合过程得分 (Fused)	局部文本得分 (Local-T)	局部视觉得分 (Local-I)	全局综合得分 (Global)
统一多模态	Gemini 2.5 Flash Image	15.61	50.80	67.05	58.62	64.10	71.40
统一多模态	GPT-5.4 + GPT-Image	33.21	39.40	71.52	57.72	61.83	80.94
交错生成	Bagel	4.83	0.00	47.38	30.64	54.15	49.76
交错生成	Janus-Pro	0.37	0.00	40.99	24.20	53.20	30.11
交错生成	OmniGen2	3.35	0.00	45.04	23.58	59.05	47.76
交错生成	Showo2	1.86	0.00	42.17	35.39	54.13	36.13
仅纯文本理解	Gemini 3.1 Pro	38.29	0.00	38.13	66.13	0.00	39.53
仅纯文本理解	Claude Opus 4.6	38.29	0.00	37.87	61.38	0.00	41.25
仅纯文本理解	Qwen3.5-122B	34.94	0.00	36.55	64.72	0.00	37.43
仅纯文本理解	Qwen3-VL-235B	23.42	0.00	33.18	64.65	0.00	32.05

消融实验：正确与错误答案的推理过程得分对比¶

检验所提出的步级过程度量能否忠实区分高质量推导与低质量推导。下表展示在正确推导（Correct）与错误推导（Incorrect）样本上的综合过程得分对比。

模型	正确样本 Fused 得分	错误样本 Fused 得分	过程分差距 (Gap)	正确样本 Global-T	错误样本 Global-T	判别有效性说明
Gemini 2.5 Flash Image	81.43	64.73	+16.70	88.29	62.14	正确样本过程显著更优
GPT-5.4 + GPT-Image	78.41	68.81	+9.60	87.21	68.84	过程得分与终答高度正相关
Bagel	65.84	47.46	+18.38	76.92	49.79	推导失败时过程分剧烈下滑
Janus-Pro	78.88	40.82	+38.06	100.00	38.18	具备极高过程分辨敏感度
Gemini 3.1 Pro	42.86	35.33	+7.53	87.27	61.74	即使无图像输出，文本过程亦拉开差距
Claude Opus 4.6	41.25	35.98	+5.27	86.80	68.53	正确推导在全局命题上覆盖率更高

关键发现¶

当前最强 MLLM 在研究生级理科题上面临严重天花板：纯文本理解顶级模型（Claude Opus 4.6 与 Gemini 3.1 Pro）文本终答准确率仅为 38.29%，统一生成模型 GPT-5.4 + GPT-Image 仅为 33.21%，说明纯靠参数规模无法轻松攻克需深度空间感知的多模态理科问题。
仅支持文本输出的纯理解模型存在结构性盲区：尽管其在 Local-T 和 Global-T 上得分极高，但在涉及几何绘图、结构草图生成的题目上，其图像指标与图像准确率全部为 0。
强行交错插入图像并不等同于掌握了推理：开源交错生成模型（如 Bagel、OmniGen2）虽然能生成一定相似度的图像（Local-I 达 50~59 分），但其终答准确率极低（普遍不足 5%），表明其生成的图像与后文推导脱节，未能形成有效的证据闭环。
过程得分与解题正确率高度正相关：在各类架构中，回答正确的样本其综合 Fused 得分和 Global 覆盖率均系统性高于回答错误样本，验证了评估协议具有极高的信度与可解释性。

亮点与洞察¶

创新性地引入单调动态规划与跨层注意力展开来评测复杂数学推理链，兼顾了步骤压缩的灵活性与严密的因果时序一致性，摆脱了机械字面比对的局限。
提出了基于滑动窗口和多样性惩罚的视觉证据细粒度匹配机制，巧妙解决了模型凭借单张空洞泛化插图刷分的问题，填补了多模态推理中视觉中间态量化评估的空白。
引入多解真值路径的最佳匹配机制，从评测层面解除了“必须死板贴合单一标注推导链”的思想桎梏，为真正鼓励跨模态探索性自主推导指明了方向。

局限与展望¶

视觉特征提取器仍依赖通用的预训练骨干网络（如 ResNet-50 补丁编码），对包含极高精度数学坐标、极细微刻度标注或化学官能团异构体的微小视觉差异敏感度有限。
数据集规模为 283 题，虽然因其高难度和多解专家标注展现出极强的代表性，但样本总容量相对有限，未来可扩展至更大规模自动化验证流水线。
未来可进一步探索将该评测体系中的过程奖赏反哺为过程奖励模型（PRM），用于多模态强化学习（RLVR）与测试时搜索优化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对多模态交错推理轨迹的细粒度步级评测基准与图文互补构建协议。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖了前沿三大类近 10 种前沿模型的评测，消融分析细致，并附带了严密的人工评估一致性验证。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、数学公式与逻辑推导严密、问题针对性极强。
价值: ⭐⭐⭐⭐⭐ 为推动 MLLM 从浅层图文匹配走向深层次交错物理/几何自主推理树立了关键标杆。