Benchmarking Multimodal Mathematical Reasoning with Explicit Visual Dependency¶
论文速览¶
现有针对大视觉语言模型（LVLMs）的数学推理基准（如 MathVista、MathVision、GeoQA 等）高度偏向“以知识为中心”（knowledge-centric）的高阶定理和公式考察，往往掩盖了模型在基础视觉感知与多图依赖推理层面的真实瓶颈。本文提出了 VCBench，一个专注于显式视觉依赖（Explicit Visual Dependency）的小学基础多模态数学推理基准。数据集源自中国小学 1-6 年级数学教材，严格筛选包含至少 2 张图像、具备唯一明确答案的题目，最终涵盖 1,720 道选择题和 6,697 张图像（平均每题 3.9 张图，最多达 18 张图），划分为 6 大认知领域和 17 个子任务，评估时间、空间、几何、逻辑和模式识别 5 项核心能力。在对 26 款前沿 LVLM 的系统评测中，人类基线达到 93.30%，而目前最顶尖的多模态模型（Gemini-2.0-Flash 达 49.77%、Qwen2.5-VL-72B 达 48.08%）准确率均无法突破 50%；单图拼合与多图离散对比显示普通 LVLM 存在严重的单图偏置（单图平均提升 +42.3%），而专用多图模型（如 LLaVA-Interleave）则相反；错误归因表明视觉感知错误占主导（高达 62%），揭示了 LVLM 在多模态感知整合与常识空间推理上的本质短板。
研究背景与动机¶
近年来，大视觉语言模型在图像描述、单图问答和通用多模态理解任务中取得了瞩目进展。然而，在多模态数学推理领域，现有主流基准测试大多遵循“知识中心化”设计思路，重点评测高中竞赛、大学微积分或复杂几何定理证明。此类评估方式存在两个关键痛点： 1. 预训练语言知识的干扰与掩盖：以知识为中心的评测高度依赖大语言模型在海量文本预训练中沉淀的符号公式与解题套路。模型即使视觉感知模糊或发生幻觉，也能单纯依靠文本先验与参数记忆“盲猜”出正确答案，难以真实检验跨模态协同推理的核心能力。 2. 缺乏多图交互与基础认知常识的评测维度：儿童在认知发展初期，无需掌握深奥的几何定理，即可凭借直观的视觉感知、空间旋转、时间钟表读取和模式序列规律解决基础数学问题。这类问题对视觉信息具有强烈的显式依赖性，且通常需要跨越多个离散视觉输入（如钟表指针的前后对比、不同视角的立方体展开图、天平平衡推导等）进行信息联结与综合。
当前评测基准普遍缺乏跨多张图像的显式依赖约束，导致现有模型在面对多图视觉输入时无法有效进行跨图线索组合与视觉感知关联。为了弥补这一评估空白，推动模型向具备通用认知能力的 AGI 演进，本研究构建了 VCBench，专注于无须高深领域知识但重度依赖多图视觉线索整合的小学数学推理基准。
方法详解¶
整体框架¶
VCBench 的构建与评测遵循“教材原始题目挖掘 \(\rightarrow\) 严格多图依赖与单解过滤 \(\rightarrow\) 大模型翻译与双重人工核验 \(\rightarrow\) 六大认知领域/五大核心能力解耦 \(\rightarrow\) 多图与单图拼合对照评测 \(\rightarrow\) 五维认知错误诊断”的全流程闭环。其系统架构与基准处理流水线如下图所示：
flowchart TD
A[小学 1-6 年级数学教材题库] --> B[题目初筛: 显式多图依赖 >=2 张图 & 唯一客观解]
B --> C[规范化预处理: 过滤非英文题图 & 歧义消除]
C --> D[LLM 英文翻译与专家校验: 控制词汇量至 2,312 词]
D --> E[VCBench 基准库: 1,720 道选择题 / 6,697 张图像 / 均题 3.9 图]
E --> F1[六大认知领域分类]
E --> F2[五大核心认知能力映射]
F1 --> G1[时间与日历: 日历, 钟表]
F1 --> G2[空间与位置: 方向, 位置, 场所]
F1 --> G3[几何与形状: 角度, 四边形, 长方形, 形状, 三角形]
F1 --> G4[物体与运动: 立方体, 运动平移]
F1 --> G5[推理与观察: 逻辑推理, 视觉观察]
F1 --> G6[组织与模式: 排序组织, 图案规律, 天平称重]
F2 --> H[时间推理 / 空间推理 / 几何推理 / 逻辑推理 / 模式识别]
E --> I1[多图离散交互评测协议 Multi-Image]
E --> I2[单图多视角拼合评测协议 Single-Image]
I1 & I2 --> J[26 款主流 LVLM 系统评测]
J --> K[五维细粒度错误归因: 感知/计算/上下文/逻辑/整合]关键设计¶
1. 显式多图视觉依赖导向的基础题目甄选与质量清洗：数据采集严格锚定中国小学 1-6 年级数学教材，强制设定每道题目必须包含至少 2 张图像，确保解题路径必须跨越多图提取特征、对比变化或建立空间/时间映射，彻底杜绝单图或纯文本捷径。筛选流程仅保留具有唯一、明确客观答案的选择题形式，消除主观开放式回答带来的评测方差。所有选定题目经由大语言模型翻译为英文后，由人类专家执行二次核验，系统剔除题图中残留中文文字、视觉模糊、排版重叠或指令不清的问题。为了确保评测聚焦于模型的“多模态感知推理能力”而非“长文本语言理解难度”，基准将整体词汇量严格控制在 2,312 个唯一定义词内，题目平均长度仅为 136.2 个字符，实现了文本语义极简与视觉依赖极高的评测平衡。
2. 六大认知领域与五项基础能力的双重解耦分类体系：VCBench 覆盖了人类早期数学认知发展的六大核心领域，并细分为 17 个子任务范畴： - 时间与日历（Time and Calendar）：包含日历（Calendar）与钟表（Clock），考察指针旋转夹角、周期性时间推算和跨时间点间隔估计； - 空间与位置（Space and Location）：包含方向（Direction）、位置（Location）与场所（Place），评测相对空间坐标、相对方位转换及网格地图寻路； - 几何与形状（Geometry and Shapes）：包含角（Angle）、四边形（Quad）、长方形（Rectangular）、基本形状（Shape）及三角形（Triangle），考察多图几何拼接、图形等价分割与边角属性分析； - 物体与运动（Objects and Motion）：包含立方体（Cube）与位移变换（Move），评测三维视点变换、折叠展开图对应以及多帧物体刚体平移与翻转轨迹； - 推理与观察（Reasoning and Observation）：包含逻辑推理（Reasoning）与精细观察（Observe），检验在干扰背景下的视觉细节比对与归纳演绎； - 组织与模式（Organization and Pattern）：包含组织排序（Organize）、规律推演（Pattern）与天平称重（Weight），评测视觉序列递推、周期排列补全和物理等量代换常识。 这 17 个子类别进一步对应解耦到时间推理、空间推理、几何推理、逻辑推理和模式识别五项核心认知能力，形成全方位的认知画像。
3. 离散多图 vs 单图拼合的跨图像组合感知探测协议：为了严格解耦模型性能受制于“视觉编码器跨图注意力交互不足”还是“高层空间/符号推理缺陷”，基准设计了多图（Multi-Image Setting）与单图拼合（Single-Image Setting）两套对照实验。在多图设定下，图像作为独立的图文交织 token 输入序列（平均每题 3.9 图，最长 18 图），要求模型在跨图自注意力层建立实体对应关系；在单图设定下，将题目关联的多张图按视觉网格整合为一张结构化的综合大图输入。通过对比模型在两套设定下的相对增益比率，能够精准诊断模型究竟是受限于多图输入接口的注意力稀释，还是欠缺本质上的视觉模式辨识能力。
4. 涵盖感知、逻辑与整合的五维细粒度错误归因诊断机制：为了突破传统基准仅给出准确率分数的黑盒局限，VCBench 对主流顶尖模型（GPT-4o、Claude-3.7-Sonnet、Gemini-2.0-Flash、QVQ-72B）的错误案例实施人工标注与细分类别归因，确立了五类错误范式： - 视觉感知错误（Visual Perception Error）：模型无法准确辨别多图中的低级视觉特征（如指针刻度读错、立方体面数误判、几何边长比例失真）； - 计算错误（Calculation Error）：算术加减乘除过程发生数值计算偏差； - 上下文理解偏差（Contextual Misinterpretation）：误解题目文本前提约束，将无关信息误认为关键条件； - 逻辑推理错误（Logical Error）：在视觉信息提取正确的前提下，演进推导步骤出现因果颠倒或规则应用错误； - 答案整合失败（Answer Consolidation Error）：模型在思考过程中得出结论，但在最终输出环节出现自相矛盾、拒绝选择或输出多个冲突选项。
一个完整示例¶
以 VCBench 中的“立方体折叠展开图（Cube）”问题为例： - 题目文本：“Which of the following folded cubes can be formed by the net shown in the first image?” - 图像序列：输入 Image 1 为平面 6 格展开十字网格，各格标有不同颜色或几何符号；Image 2、Image 3、Image 4 分别为候选立方体的三维透视投影视点图（选项 A、B、C）。 - 解题依赖与推理链： 1. 模型必须先在 Image 1 中识别人脸网格的相邻面与对立面约束（如面 1 与面 3 相对，面 2 与面 4 相对）； 2. 随后在 Image 2/3/4 中检验三维视点下可见的三个相邻面的空间相对朝向与旋转不变性； 3. 若模型仅具备单图能力，其无法将展开图的拓扑连通性映射至三维旋转后的视点空间； 4. 最终选出唯一与展开图拓扑几何一致的候选立方体。
损失函数 / 训练策略¶
VCBench 作为纯粹的评估基准测试集，不涉及自研模型的权重反向传播训练损失函数。但为了确保 26 款受试 LVLM（包含闭源商业 API、开源通用多模态权重以及垂直领域数学专用模型）在完全客观、公平的条件下完成评测，基准制定了严格的推理与后处理协议：
1. 统一生成参数：闭源模型（GPT-4o、GPT-4o-mini、Claude-3.7-Sonnet、Gemini-2.0-Flash、Qwen-VL-Max）均设置生成温度 \(T = 0.2\)，最大生成 Token 上限为 1,024（QVQ-72B-Preview 设置为 2,048 以适配长推理链路）。开源模型均基于 vLLM 框架以 do_sample=True, temperature=0.2, max_new_tokens=1024 统一拉起服务。
2. 零样本与思维链评测范式：基准提供直接输出选项的标准 Prompt（Direct Zero-shot）以及引导逐步推导的思维链 Prompt（Chain-of-Thought），明确要求输出特定标记包裹的最终选项（如 The answer is (X)）。
3. 确定性多选题答案抽取：采用规则匹配结合大模型评估 Prompt（LLM-based Evaluation Prompt）对模型的开放式输出文本进行严格选项提取与规范化，杜绝格式不兼容导致的假阴性误判。
实验结果与分析¶
核心实验结果：多图设定下的主流模型评测¶
实验评估了包含 5 款闭源商业模型、18 款开源模型和 3 款数学专用模型在内的共计 26 款 LVLM。下表总结了人类基线、随机猜测以及代表性模型在多图设定下各子任务维度的准确率表现（摘录自原论文表 2）：
| 模型分类 | 模型名称 | Time & Calendar (均值) | Space & Location (均值) | Geometry & Shapes (均值) | Objects & Motion (均值) | Reasoning & Obs. (均值) | Org. & Pattern (均值) | 全任务平均分 (Avg.) |
|---|---|---|---|---|---|---|---|---|
| 基线参考 | Random Guess | 33.06 | 29.38 | 29.73 | 28.86 | 31.37 | 31.61 | 29.83 |
| 人类水准 | Human | 98.00 | 96.84 | 95.11 | 96.15 | 96.80 | 96.24 | 93.30 |
| 闭源前沿模型 | GPT-4o-mini | 70.33 | 30.60 | 41.31 | 35.22 | 14.34 | 67.13 | 34.88 |
| GPT-4o | 70.00 | 39.15 | 47.78 | 44.02 | 60.64 | 64.64 | 40.29 | |
| Claude-3.7-Sonnet | 75.00 | 67.95 | 59.85 | 53.85 | 65.64 | 76.62 | 46.63 | |
| Qwen-VL-Max | 23.34 | 36.33 | 58.07 | 58.41 | 42.64 | 69.22 | 47.03 | |
| Gemini-2.0-Flash | 85.00 | 48.12 | 62.63 | 56.64 | 37.77 | 73.52 | 49.77 | |
| 开源大规模模型 | LLaMA-3.2-90B | 22.34 | 42.74 | 28.51 | 26.39 | 12.79 | 20.44 | 25.41 |
| InternVL2.5-78B | 25.67 | 69.66 | 50.73 | 37.00 | 39.02 | 69.01 | 37.56 | |
| QVQ-72B-Preview | 71.67 | 43.16 | 50.72 | 42.23 | 39.28 | 75.43 | 39.13 | |
| LLaVA-OneVision-72B | 16.67 | 31.20 | 58.74 | 50.70 | 69.12 | 67.79 | 47.67 | |
| Qwen2.5-VL-72B | 20.34 | 34.62 | 67.82 | 59.44 | 47.77 | 73.03 | 48.08 | |
| 数学专有模型 | G-LLaVA-13B | 20.00 | 18.80 | 27.34 | 20.93 | 13.25 | 22.71 | 25.47 |
| G-LLaVA-7B | 68.34 | 16.92 | 34.73 | 25.59 | 13.63 | 50.71 | 28.26 | |
| MathLlava | 60.00 | 35.64 | 27.93 | 31.99 | 34.99 | 45.90 | 29.30 |
实验揭示出以下核心事实： 1. 整体推理准确率严重偏低：与人类接近完美的表现（93.30%）相比，受测 26 款模型中表现最好的 Gemini-2.0-Flash 仅获得 49.77%，Qwen2.5-VL-72B-Instruct 仅获 48.08%，没有任何单一模型能够突破 50% 准确率门槛，充分暴露出多图视觉依赖问题的严峻性。 2. 数学专用模型的严重泛化坍塌：专门针对几何与数学微调的开源模型（G-LLaVA 系列、MathLlava）在 VCBench 上的平均得分仅为 25.47% - 29.30%，甚至低于随机猜测基线（29.83%）。这证明死记硬背符号定理的微调数据极大地损害了模型的通用感知与空间常识推理能力。
单图拼合 vs 多图离散对比分析¶
为了探究多图架构对模型性能的具体影响，研究将 VCBench 题目排版为单张大图（Single-Image Setting），并在相同题目下对比模型性能变化。下表列出部分代表性模型的单图表现及性能相对变化率（摘录自原论文表 3）：
| 模型名称 | 多图模式均分 (Multi-Image) | 单图模式均分 (Single-Image) | 单图相比多图提升比率 (Improvement Ratio) |
|---|---|---|---|
| Human | 93.30 | 93.30 | - |
| Random Guess | 29.83 | 29.83 | - |
| Emu2-Chat | 6.05 | 23.08 | +281.5% |
| Qwen2.5-VL-7B-Instruct | 29.24 | 51.10 | +74.8% |
| DeepSeek-VL2 | 15.47 | 24.77 | +60.1% |
| InternVL2.5-8B | 24.71 | 36.16 | +46.3% |
| Qwen-VL-Max | 47.03 | 57.03 | +21.3% |
| Claude-3.7-Sonnet | 46.63 | 51.69 | +10.8% |
| GPT-4o | 40.29 | 45.52 | +12.9% |
| Gemini-2.0-Flash | 49.77 | 53.90 | +8.3% |
| LLaVA-Interleave-7B | 35.47 | 29.24 | -17.6% |
| LLaVA-OneVision-72B | 47.67 | 39.24 | -17.7% |
结果展现出显著的两极分化： 1. 通用 LVLM 的单图偏置现象：绝大部分通用大模型（如 Emu2-Chat 飙升 +281.5%，Qwen2.5-VL-7B 提升 +74.8%）在单图设定下性能大幅跃升，全模型平均增幅达 +42.3%。这表明这些模型在预训练时过度偏向单图输入，缺乏跨离散视觉 token 建立跨图注意力对应与信息交互的能力。 2. 专有多图交织架构的独特性：经过专门交织多图指令微调的模型（如 LLaVA-Interleave-7B 下降 -17.6%、LLaVA-OneVision-72B 下降 -17.7%）在单图拼合模式下反而性能显著倒退。这证实了专门的多图注意力机制在处理离散多图像时具备独特表征优势，但也说明模型对输入图像的排版与边界形式极为敏感。
思维链（CoT）与题目难度反常现象分析¶
思维链的双刃剑效应：原论文表 4 评估了 CoT 提示对顶尖模型表现的影响。在全局层面上，CoT 带来了微弱的正向增益（GPT-4o 提升 +1.74%，Qwen-VL-Max 提升 +2.45%，Gemini-2.0-Flash 提升 +3.89%）。然而在细分维度上，CoT 呈现强烈的任务依赖性： - 在依赖抽象归纳的高级任务中，CoT 提升显著（例如 Qwen-VL-Max 在 Reasoning 任务中大幅提升 +40.00%，Gemini-2.0-Flash 在 Pattern 任务中提升 +15.40%）； - 在高度依赖基础感知的任务中，CoT 产生负面干扰甚至明显退步（例如 Gemini-2.0-Flash 在 Calendar 任务中退步 -20.00%，Qwen-VL-Max 在 Clock 任务中退步 -10.00%）。原因在于冗长的文本自回归推导引发了对简单视觉事实（指针位置、数字网格）的过度思辨与幻觉干扰。
题目难度维度的“反常逆转”现象：原论文表 5 对按教材标注的题目难度进行了准确率统计： - Qwen2.5-VL-72B-Instruct：简单题（Easy）准确率仅为 25.93%，中等题（Medium）为 45.49%，而难题（Hard）反而达到 55.11%； - LLaVA-OneVision-72B：简单题 29.63%，中等题 45.32%，难题 53.76%； - QVQ-72B-Preview：简单题 18.52%，中等题 36.71%，难题 45.66%。 这种反常现象揭示了基础小学数学在认知机制上的特殊性：教材所谓的“简单题”往往不依赖复杂的代数步骤，而纯粹考验对视觉形态、方向、对称性的直观感知与模式识别，而这恰恰击中了当今基于 Transformer 的 LVLM 的感知盲区；所谓的“难题”通常需要结合多步公式推理，模型反而能够调用其强大的语言推理先验来辅助解题。
局限性与思考¶
局限性¶
- 题型范式局限于客观多选题：为了规避开放式文本生成在自动化打分中的主观判据与误差，VCBench 全面采用多选题形式（Multiple Choice）。这虽然保证了可复现性，但模型仍存在通过排除法或特定选项偏见（Selection Bias）随机蒙对的可能，无法完全探查模型自发生成完整解题草稿的链式逻辑。
- 多图视觉模态形式尚属静态离散：当前基准中的多图像主要来源于教材插图、几何视图和表格切片，图像间的时间与空间变换依然是离散切片形式，尚未扩展至连续视频帧或具身交互的主动多视角观测场景。
- 针对中国教材本土化语境的泛化度验证：虽然基准经过严格的 LLM 翻译与人工审查，确保了英文表达规范与题目通用性，但部分关于日历节气、度量衡符号的表达可能仍隐含特定的教材课程编排习惯。
思考与未来方向¶
VCBench 为当前多模态大模型的评估提供了极具启发性的“回归认知本源”视角： - 反思“知识膨胀”与“认知空心”：当前社区过多追求模型在竞赛级数学、奥数题和专业定理上的跑分，使得模型在充满高阶术语的题目上表现亮眼，但在看懂两个钟表的时间差、识别展开立方体哪个面朝上等小学一年级视觉常识任务上溃不成军。这种“高阶符号过载、基础感知贫乏”的现象，表明当前的端到端视觉编码器（如 CLIP/SigLIP 变体）在多图细粒度空间几何与拓扑感知表征上存在深层次表征缺陷。 - 发展原生多图交织与空间先验架构：未来的多模态模型架构需要摆脱单图平铺微调的惰性，探索真正支持跨图交互感知的原生多图注意力机制、多视角对齐预训练任务，并引入显式的 3D 空间变换与时间动态推理归纳偏置。 - 解决感知与推理的解耦纠缠：实验表明 CoT 在感知任务中容易引发幻觉。如何在架构设计上实现“低级视觉特征精准锚定”与“高级多步逻辑推理”的双向协同，防止冗长思考链路反噬视觉客观事实，是未来多模态推理模型演进的核心关键。