Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs¶

会议: NeurIPS 2026
arXiv: 2502.16435
代码: https://github.com/jwxwang/VisFactor
领域: 多模态 VLM
关键词: 多模态大语言模型、认知心理学、视觉认知基准、参数化数据生成、空间推理

一句话总结¶

基于认知心理学因子参照认知测验（FRCT），构建涵盖4大认知领域、20个纯视觉子测验的评测基准 VisFactor 及可控难度的参数化生成算法，揭示前沿 MLLM 缺乏底层视觉认知基石且存在“中等得分异常”的本质缺陷。

研究背景与动机¶

人类视觉认知系统的发育呈现严格的自下而上层级结构：从低层视觉基元（边缘、线段、朝向检测）到格式塔组织原则（闭合、群组化），再逐步支撑起高阶语义理解与逻辑推理。然而，当前多模态大语言模型（MLLMs，如 GPT-4o、Gemini-2.5-Pro 等）普遍跳过底层视觉感知的显式建模，直接在大规模图文配对及下游复杂任务上端到端预训练。虽然前沿模型在 MMBench、MMMU 等宏观综合榜单上逼近甚至超过 90% 的高分，但在需要基础感知能力的简单几何视觉任务上却频繁发生灾难性崩溃。这种“能看却无法感知”的认知悖论表明，现有通用基准过度侧重下游高阶任务，掩盖了底层视觉能力的严重缺失。

在传统认知心理学中，人类智力被解构为可独立测量的潜在认知因子，其中最具代表性的因子参照认知测验集（FRCT, Factor-Referenced Cognitive Test）通过严格标准化的子测验精确定位各项认知功能。然而，将心理学经典范式迁移至 MLLM 评测面临三大阻碍：其一，原始测验包含物理绘图或语音输入等非纯文本接口任务；其二，传统人类指令冗长且对模型存在指令遵循噪声；其三，固定题目极易被模型训练集污染，且常见的选择题（单选或是非题）存在高达 20%~50% 的随机盲猜基线，无法敏锐区分真正认知与侥幸蒙对。

针对上述挑战，本文将认知心理学因子分解理念系统引入多模态大模型评测。核心 idea：将经典心理学 FRCT 测验中 20 个视知觉子测验全面数字化为纯文本交互基准 VisFactor，结合一致性组合提问将随机猜测概率压制至 2.89%，并构建支持难度精确调控的无上限参数化生成算法，彻底诊断 MLLM 底层视觉认知的结构性缺陷。

方法详解¶

整体框架¶

VisFactor 评测框架包含三大核心环节：子测验筛选与数字化清洗、防盲猜评测协议设计、以及可控难度的参数化题目自动生成系统。系统首先从 FRCT 的 72 个原始子测验中筛除图画绘制与听觉依赖任务，锁定 20 个视觉中心型子测验，覆盖可视化与空间推理、知觉与闭合、记忆、推理 4 大认知领域（共 10 个独立认知因子）。随后，通过大模型重写与人工对齐提炼最小化 AI 友好指令，并实施严格的组合判定协议将盲猜期望降至 2.89%。最后，针对其中 12 个子测验开发程序化几何图生成算法，支持连续调节网格尺度、折叠步数、噪声强度等难度参数，生成无限题库。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始心理学测试集<br/>72个 FRCT 认知子测验"] --> B["测验筛选与指令精简<br/>排除绘制/听觉任务，提取20个视觉子测验"]
    B --> C["防盲猜评测协议<br/>拆解选择题/分组一致性/对称变体 (盲猜率 2.89%)"]
    C --> D["参数化生成引擎<br/>图论/几何折叠/噪声掩码生成无限难度实例"]
    D --> E["跨模型认知能力诊断<br/>评估39个前沿模型并对比13个现有基准"]

关键设计¶

1. 认知因子对齐的二十项子测验分类架构：全方位解耦多模态视觉能力

传统评测通常将所有视觉问题混杂在一起，难以精确定位瓶颈。VisFactor 严格对齐 FRCT 认知分类体系，涵盖 4 大领域共 10 个认知因子：（1）可视化与空间推理（Visualization & Spatial Reasoning），包含空间关系（S1 卡片旋转、S2 立方体比对）、空间扫描（SS2 路径选择、SS3 地图规划）和高级可视化（VZ1 拼板测验、VZ2 折纸测验、VZ3 表面展开）；（2）知觉与闭合（Perceptual & Closure），涵盖闭合灵活性（CF1 隐藏图形、CF2 隐藏模式、CF3 图案复制）、闭合速度（CS1 格式塔补全、CS2 隐蔽单词、CS3 雪景识别）以及知觉速度（P3 相同图案比对）；（3）记忆（Memory），涵盖关联记忆（MA1 图文数字配对）与视觉构型记忆（MV1 形状记忆、MV2 建筑记忆、MV3 地图记忆）；（4）推理（Reasoning），涵盖归纳归类（I3 邦加德图形分类）与形式逻辑（RL2 关系图解）。每个子测验严格隔离特定的认知加工机制。

2. 防盲猜多变体评测协议：将随机成功率压制至统计基线以下

普通 VQA 基准常用 4 选 1 或判断题形式，模型即便完全不理解也有 25%~50% 的正确率。为确保得分反映真实感知，VisFactor 针对不同题型重构评测逻辑，将全套测试的随机盲猜准确率从 22.47% 降低至 2.89%（单项最高不超过 6.25%）： - 分解式多选（Decomposed Multiple Choice）：针对 5 选项单选题（如 CF1、MV2、P3、RL2、SS2、VZ1、VZ2），拆分为 5 个独立的“是/否”问询，模型必须全部 5 问均答对才给分，盲猜准确率降为 \((0.5)^5 \approx 3.13\%\)。 - 分组一致性约束（Grouped Consistency）：针对连续考查同一潜在特质的题型，聚类并强制全对记分。如 CF2（5 题一组，盲猜率 \(3.13\%\)）、I3（8 张图统一分类，盲猜率 \(0.23\%\)）、S1（单卡片 8 次朝向判断，盲猜率 \((0.5)^8 \approx 0.39\%\)）。 - 逻辑对称变体（Symmetry Variants）：对原版判断题（MV1、MV3、S2），自动生成 4 个互逆与置换变体（“A 等同 B”、“A 不等同 B”、“B 等同 A”、“B 不等同 A”），消除持续输出单一标签的偏置，4 问全对概率为 \((0.5)^4 = 6.25\%\)。 - 特异性路径与几何重构：如 SS3 调换起点与终点双向一致才记分（盲猜率 1%）；VZ3 结合填空与轮换置换判断题，盲猜率压至 \(3.65\%\)。

3. 具备难度可控性的程序化生成引擎：消除数据污染与性能饱和

静态基准极易面临过拟合与数据泄漏。针对 CF1-CF3、CS1-CS3、MA1、S1-S2、SS3、VZ1-VZ2 共 12 个子测验，本文开发了纯代码渲染的参数化算法： - 图论与自回避路径：CF1 与 CF2 在 \(m \times n\) 格点图上依据预设边密度 \(\rho\) 生成连通图，保证局部与全连通性；CF3 采用自回避步态（Self-Avoiding Walk），通过向量叉积过滤共线线段，控制折线阶数。 - 三维群论与拓扑折叠：S2 立方体比对基于三维空间中立方体的 24 个刚体旋转群 \(SO(3)\) 离散状态，在统一内蕴坐标系下校验面标记与朝向自洽性；VZ2 折纸测验在单位正方形上生成任意对称轴 \(y = \pm x + c\)，动态跟踪外多边形、折痕折叠与打孔坐标，支持逆向逆推还原展开图，可将折叠复杂度从经典的 1~3 折平滑扩展至 5 折。 - 连续退化控制：CS 系列通过连续严重度系数 \(s \in [0, 1]\) 线性调节遮挡笔画粗细、随机雪花白斑与线段密度；MA1 可任意调节记忆图文对规模（从 10 对扩展至 80 对）。

一个完整示例¶

以折纸测验（VZ2 Paper Folding Test）的参数化生成与评测为例： 1. 参数设定与折叠执行：系统在 \(n \times n\) 离散空间中随机选择连续折叠序列（例如 4 折：水平中轴对折 \(\rightarrow\) 垂直对折 \(\rightarrow\) \(45^\circ\) 对角斜折 \(\rightarrow\) 局部外角平移折叠）。算法维护当前未折叠底板多边形拓扑与各层折痕，每步将活动面通过仿射变换反射至固定面。 2. 打孔与状态逆推：在最终形态上的关键坐标打穿圆形孔洞，随后算法反向遍历折叠历史，计算每一次反折展开操作下的镜像孔洞坐标集合，精确渲染最终平面展开图作为金标。 3. 5 项分解选项生成：构造 1 个真实展开图与 4 个误导项（如遗漏某次对折的镜像孔、或旋转角度产生偏置的干扰图）。 4. 评测与记分：向 MLLM 连续提问 5 次“该展开图是否为最终结果”，模型必须在金标选项上输出“TRUE”、在 4 个干扰项上全部输出“FALSE”，才判定该题得分。若模型靠单次 20% 猜对则无法过关。

实验关键数据¶

主实验¶

评估涵盖 GPT 家族（GPT-4o、GPT-4.1、GPT-5.1、GPT-5.5、o1、o3 等）、Gemini 系列（2.5-Pro、3.0、3.1-Pro）、Claude 系列（3.5-Sonnet、3.7-Sonnet、4.5、4.6）、Qwen 系列（Qwen-2.5-VL、Qwen-3.5-Plus、Qwen-3.6-Plus）等共 39 个前沿 MLLM，在零样本（Zero-shot）设置下评测。同时组织 31 位人类大学生完成 1,540 道抽样题目作为人类对比基准。

模型 / 评估对象	空间推理 (S/SS/VZ)	知觉闭合 (CF/CS/P)	记忆检索 (MA/MV)	逻辑推理 (I/RL)	总分 Avg (%)
Human Baseline	74.6	83.1	77.8	79.6	78.8
GPT-5.5-2026-04-23	52.8	62.4	56.1	52.2	55.9
Gemini-3.1-Pro	51.2	59.8	54.3	50.8	54.0
Qwen-3.6-Plus	41.5	50.2	48.9	43.1	45.9
Claude-Sonnet-4.6	39.8	48.7	45.2	42.0	43.9
GPT-5.1-2025-11-13	31.4	38.6	41.2	37.5	37.2
GPT-4.1-2025-04-14	22.1	31.5	34.0	28.9	28.6
Gemini-2.5-Pro	24.3	33.7	35.8	30.1	31.0
Claude-3.7-Sonnet	23.8	32.1	36.5	29.4	30.5
Qwen-2.5-VL-72B	18.2	26.4	29.7	25.0	24.8
LLaMA-3.2-90B-Vision	15.6	21.3	24.1	20.8	20.5
Random Guessing	3.1	2.3	5.1	1.7	2.9

消融实验¶

基于参数化生成工具验证难度调控有效性（以 GPT-5.5 在不同难度子集上的表现为例）：

评估配置	CF1 (隐藏图形)	CF2 (隐藏模式)	CS1 (格式塔)	VZ1 (拼板)	VZ2 (折纸)	全生成集平均
原始题目 (Original)	37.5	73.8	40.0	33.3	25.0	41.9
相同配置生成 (Normal)	35.0	72.5	45.0	31.2	20.0	40.7
降低难度 (Easy)	52.5	95.0	65.0	47.9	35.0	58.9
提高难度 (Hard)	17.5	45.0	25.0	14.6	0.0	20.4

关键发现¶

最强模型仍显著落后于人类：最强模型 GPT-5.5 仅获得 55.9% 的准确率，距离人类大学生平均水平（78.8%）存在超过 22 个百分点的绝对断层；弱模型（如 LLaMA-3.2-90B 仅 20.5%）更是在绝大多数任务上接近随机瞎猜。
空间折叠与心理旋转成为致命重灾区：在涉及空间变换的 VZ 维度（特别是折纸 VZ2 和空间展开 VZ3），模型平均准确率极低，高难度 5 折折纸任务甚至面临 0% 的毁灭性失效。
“中等得分异常”（Middle Score Anomaly）：在对人类而言近乎完美的极简知觉任务（如 P3 相同图案判定，人类达 91.7%）中，几乎所有主流模型均反常聚簇在 30%~60% 的中等分数区间，既不接近满分也不完全是瞎猜（盲猜率 3.13%）。这证明模型并不是拥有“部分认知推理能力”，而是缺乏严谨的自底向上构型匹配机制，仅依赖粗糙的概念级识别导致偶发命中。
“语言化思维”损害空间知觉（Verbal Overshadowing）：思维链（CoT）推理并未像在代码/数学任务中那样带来普适提升，反而使得长文本 CoT 的 token 数与视觉准确率呈负相关（Pearson \(r = -0.18 \sim -0.35\)）。在 CF3、SS3、VZ1 等任务中，强制将连续的二维/三维空间探索转化为按部就班的文本步态描述，会引发严重的累积性幻觉与误判。
概念依赖而非底层特征表征：案例分析显示，当 MA1 记忆任务使用具有明确文本概念的图象（足球、椅子）时，模型准确率超 90%；而替换为无语义抽象线条图（CF2 格点图）时，随着图对数量增加，模型准确率断崖式跌至 2%~33%。

亮点与洞察¶

将心理学百年积淀的 FRCT 范式转化为 AI 视知觉标准尺：摆脱了依赖特定下游任务（如医学诊断、图表问答）混杂知识与视觉的评测思路，通过 20 个独立因子测验精确剥离出纯视觉感知的认知短板。
防盲猜一致性评测与代码级参数化生成的工程闭环：通过选项打散和双向约束将随机成功率从 22.47% 削减至 2.89%，结合可无限制扩充的生成算法，从根源上防御了模型对基准的数据污染与记忆过拟合。
揭示了“高阶语义繁荣”与“低阶感知贫瘠”的空中楼阁悖论：有力反驳了“只需堆叠多模态预训练数据即可自然涌现完整人类视觉认知”的盲目乐观预期，证实当前 MLLM 本质上是“语言中介的概念匹配器”而非真正的“具身感知系统”。

局限与展望¶

输入输出模态边界受限：目前框架受限于“多图输入、纯文本输出”的多模态对话接口，未能涵盖原版 FRCT 中需要物理绘图（如 FF1-FF3 图形流畅度）的操作性子测验，也无法直接评估纯单图模型。
参数化覆盖仍有缺口：自动生成算法目前仅覆盖了 20 个子测验中的 12 个，其余 8 个因几何规则过于复杂尚未完全参数化；由于避免使用扩散模型生成可能引入的人工瑕疵，其余子测验的题目规模仍受原始扫描集限制。
工具调用与智能体能力的解耦隔离：研究聚焦于基础多模态底座本身的内生视觉认知能力，尚未评估外接 Python 沙箱、画辅助线工具或视觉智能体（Visual Agents）架构在此类测验下的补偿效应。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将心理学 FRCT 测验体系引入 MLLM 评估，并实现 12 项任务的代码级参数化自动生成。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 39 个前沿大模型与真实人类大学生对照组，完成跨 13 个主流基准的结构效度验证与详细错误分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构缜密，心理学理论背景扎实，数据分析视角深刻。
价值: ⭐⭐⭐⭐⭐ 精准指出了现代视觉大模型在低阶感知上的结构性短板，为具身智能与多模态课程学习指明了关键改进方向。