Distinguishing Performance From Competence in Evaluations of Humanlike Abstract Reasoning¶

会议: NeurIPS 2026
arXiv: 2510.02125
代码: https://github.com/claasbeger/performance-competence-gap
领域: 视觉语言模型推理
关键词: 抽象推理, 表现与能力, 概念理解, 归纳偏置, ARC基准

一句话总结¶

通过在简化且面向核心概念的 ConceptARC 基准上解耦输出准确率与自然语言规则抽象性，本文揭示了前沿推理大模型（如 o3）在文本网格模式下存在依赖局部捷径虚高表现的问题，而在视觉多模态下虽输出准确率暴跌，却具备超出表现的潜在抽象归纳能力。

研究背景与动机¶

抽象推理与类比迁移是人类通用智能在面对未知场景时实现零样本泛化的核心基石。为了量化机器是否具备类人的抽象归纳能力，François Chollet 提出的抽象推理语料库（ARC）以“核心知识”（包含物体性、计数、拓扑包含与对称性等先验）为基准，成为了衡量通用流体智力的黄金标准。近年来，随着 o3、Gemini 2.5 Pro 等大语言模型与前沿推理模型的崛起，ARC-AGI 榜单上的准确率指标屡创新高，甚至在公开/半公开测试集上超越了人类平均基准，引发了学界对大模型已具备人类抽象推理能力的广泛乐观推断。

认知科学长期强调“外在表现（Performance）”与“内在能力（Competence）”的根本分离。在标准评测设定下，测试者完全可能通过记忆、低维局部模式匹配或偶发特征相关性取得极高的任务分数，但这绝不等于其真正掌握了底层通用的抽象归纳规则。目前 ARC 评测几乎完全依赖文本矩阵形式的输入（将像素网格表示为 0-9 整数矩阵）以及严苛的网格输出准确率。这种单一准确率评估模式存在严重的黑盒效应：由于神经网络极度擅长捕获训练数据与示例中的伪相关特征（Shortcut Learning），前沿推理模型的高准确率究竟源自掌握了通用的概念抽象，还是仅仅学会了针对特定数字排布模式的过拟合程序合成，此前缺乏系统解构。

面对这一评估盲区，本文不再局限于传统的 ARC 输出黑盒评估，而是依托概念粒度更解耦、人类极易求解的 ConceptARC 基准展开多维度探针分析。研究系统性地考察了不同输入模态（文本矩阵 vs. 原生视觉图像）、推理算力预算（Token Budget）以及代码执行工具接入对大模型表现的影响。核心 idea：通过强制模型在输出预测网格的同时生成解释变换机制的自然语言规则，并由专家团队对规则捕获“设计意图抽象”与“低级局部捷径”的真实程度进行三分类审计，直接解耦并量化 AI 推理过程中的外在表现与内在能力差距。

方法详解¶

整体框架¶

本文构建了一套用于区分抽象推理任务中“表现（Performance）”与“能力（Competence）”的系统化双轨评估流水线。该框架不仅评测终端输出网格的像素级准确率，更引入了归纳规则的语义对齐与意图审计机制。

整个评测流程涵盖多模态输入呈现、推理轨迹引导、规则-网格忠实度（Faithfulness）校验以及人工三级规则语义分类四大核心阶段：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["ConceptARC 任务<br/>16大核心概念 / 480道任务"] --> B["输入模态与工具解耦呈现<br/>文本整数矩阵 vs 原生视觉图像 (+Python)"]
    B --> C["双输出生成机制<br/>自然语言变换规则 + 预测输出网格"]
    C --> D["端到端忠实度与格式校验<br/>规则-网格一致性 >90%"]
    D --> E["表现与能力双轨审计<br/>输出准确率计算 + 规则意图三级分类"]
    E --> F["认知偏差诊断<br/>文本模态虚高能力 vs 视觉模态低估能力"]

关键设计¶

1. 输入模态与求解工具的多维解耦配置 为了彻底剥离大模型在特定任务表征上的归纳偏见，评测体系设计了完全对称的跨模态实验环境。在文本模态下，网格以 Chollet 原生格式呈现为 \(0\) 至 \(9\) 的二维整数矩阵；在视觉模态下，任务以原生渲染的高清像素图像形式直接输入给多模态视觉推理模型。在此基础上，研究进一步引入推理计算量（Low vs. Medium Token Budget，约 16K Reasoning Tokens）以及外部 Python 代码执行沙箱（Tool-use）的组合对照。这一设计的关键动机在于：视觉模态能够测试模型是否依赖感知先验还是仅能处理离散符号数组，而外部 Python 工具能够测试模型是依靠隐空间流式直觉还是依靠符号化程序执行（例如借助 OpenCV 或 Numpy 弥补几何感知短板）。

2. 变换规则与网格输出的双重显式解耦 传统的黑盒评测仅索取最终网格，导致模型即便完全依赖偶然的颜色索引顺序猜对输出，也会被判定为具备智能。为此，本文设计了结构化的双输出提示架构，强制模型以标准 JSON 格式并行输出两项内容：一是对示例转换机制作出概括的自然语言规则描述（Natural Language Transformation Rule），二是针对测试网格生成的预测输出矩阵。这一设计确保了生成的规则属于模型最终解答承诺的一部分（而非随意漂移的内部 Chain-of-Thought 思维链）。通过细致的人工对齐分析，研究证实模型生成的规则与其输出网格在超过 90% 的样本中保持完全逻辑一致，确立了自然语言规则作为模型实际推理方案可信代理的有效性。

3. 面向认知先验的规则三级人工分类与语义词频诊断 为了精准度量模型的内在认知能力，评测体系摒弃了机器自动化评语的粗糙度量，建立了一套严格的人工意图审计协议。由领域专家参照 ConceptARC 设计师的真实意图，将人类与模型归纳出的变换规则划分为三个互斥类别： - 符合意图正确（Correct-Intended）：规则不仅能完美解释所有演示示例，而且准确抓住了预设的核心知识概念抽象（如“识别并移除最上方和最下方的独立对象”）； - 非意图正确（Correct-Unintended）：规则能够完全拟合所有演示输入输出对，但依靠的是非通用的、低抽象层次的局部虚假相关性或领域特定捷径（如“根据颜色索引的数字大小排序，删除排名前二的物体”或“利用四邻域硬编码遍历”）； - 错误规则（Incorrect）：规则无法覆盖所有的演示变换。

此外，为了消除人工主观偏差，研究团队定义了针对“物体性词汇（Objectness terms，如 object, shape, square, polygon）”与“网格特异性词汇（Grid-specific terms，如 cell, pixel, row, value, coordinate）”的标准词形还原统计流水线，直接从词汇学分布上印证大模型与人类在认知基底上的本质差异。

一个完整示例¶

以 ConceptARC 中 Above vs. Below（上下空间拓扑关系）主题下的典型任务为例： - 基准真实意图：在多个形状各异的色块中，找到空间拓扑位置处于绝对上方/下方的目标并进行填充或删除。 - 人类归纳规则：“保留居中的物体，将最上方和最下方的独立形状全部删除。”（符合意图正确：完美体现物体性与空间相对关系）。 - o3 文本模态下生成的捷径规则：“遍历网格中每一个包含最大非零颜色数值的单元格，沿同一列垂直向上扫描；若遇到的单元格颜色为唯一的另一个非零数值，则将其重写为最大数值颜色。”（非意图正确：虽然在当前只有两种颜色且目标色恰好数值更大的特定样例上输出结果完全正确，但其逻辑完全绑定在毫无物理意义的整数编码顺序上，面对颜色扰动立即崩溃）。

实验关键数据¶

主实验¶

主实验在 480 道 ConceptARC 任务上评测了前沿推理模型（OpenAI o3、Anthropic Claude Sonnet 4、Google Gemini 2.5 Pro）与人类专家的 Pass@1 性能基准。

模型 / 受试者	模态	Low推理量 (%)	Medium推理量 (%)	Low + Python工具 (%)	Medium + Python工具 (%)
o3	文本 (t)	68.3	77.1	67.9	75.6
o3	视觉 (v)	6.7	5.6	18.1	29.2
Claude Sonnet 4	文本 (t)	–	60.2	–	55.0
Claude Sonnet 4	视觉 (v)	–	5.2	–	6.9
Gemini 2.5 Pro	文本 (t)	–	66.0	–	60.4
Gemini 2.5 Pro	视觉 (v)	–	4.2	–	5.8
人类专家 (Human)	视觉 (v)	–	–	–	73.0

注：非推理模型（GPT-4o 文本无工具准确率仅 14.6%，视觉 0.0%；Llama 4 Scout 文本 6.7%；Qwen 2.5 VL 72B 文本 9.2%）均存在极大差距。

消融与规则意图分析¶

研究在 Medium + Python工具设定下，进一步对模型与人类输出正确网格时的生成规则类别分布进行了深层拆解与消融比对（单位：%）：

评估对象	模态	终端网格正确率	正确输出中: 符合意图规则 (Intended)	正确输出中: 偶发捷径规则 (Unintended)	正确输出中: 错误规则 (Incorrect)	错误输出但意图正确率 (Intended on Fail)
人类 (Human)	视觉	73.0	91.1	3.9	5.0	–
o3	文本	75.6	72.7	20.9	6.3	9.4
o3	视觉	29.2	70.0	19.3	10.7	27.6
Claude Sonnet 4	文本	55.0	80.3	9.5	9.1	29.6
Claude Sonnet 4	视觉	6.9	57.6	6.1	33.3	11.2
Gemini 2.5 Pro	文本	60.4	72.4	19.7	7.9	5.8
Gemini 2.5 Pro	视觉	5.8	78.6	3.6	17.9	20.1

注：人类排除了 18.8% 表达含糊未分类的数据；o3 在视觉模态下虽然网格正确率仅 29.2%，但其实际归纳出符合设计意图规则的总体比例高达 40.0%（\(p < 10^{-5}\)，McNemar 显著检验）。

关键发现¶

文本模态下的表现严重虚高能力（Overestimation）：在文本格式下，o3 取得了超越人类专家的 77.1% 网格准确率，但在这些“正确”解中，有多达 27.2% 的案例其实依赖了非意图捷径规则或错误规则（人类该比例仅约 7%）。这证明文本表现掩盖了大量过拟合于离散数字编码的伪推理。
视觉模态下的表现严重低估能力（Underestimation）：在纯视觉输入下，所有模型的网格输出正确率惨遭腰斩（o3 无工具仅 5.6%，Claude 5.2%，Gemini 4.2%）。然而规则审计显示，模型归纳出“符合设计意图规则”的比例远远高于其像素输出准确率（o3 符合意图规则占比 40.0% vs. 网格正确率 29.2%）。经检查，失败大多源于视觉感知精度缺陷（如网格长宽计数错误、颜色值微小错位），而非抽象归纳能力缺失。
底层表征偏置的认知分野：词频统计显示人类规则中压倒性地使用“物体性词汇”（如 object、shape、square），而在大模型规则中，极度充斥着“网格特异性词汇”（如 cell、pixel、row、value、coordinate），揭示了大模型缺乏先天的物理“物体性（Objectness）”归纳偏置。

亮点与洞察¶

跳出准确率单一指标陷阱的认知科学视角：首次将认知科学中经典且深刻的“Performance vs. Competence”理论框架引入顶尖大模型的 ARC 评测，明确指出了学术界与工业界盲目崇拜 ARC 刷榜高分的认知误区。
揭示离散整数编码的虚假相关性灾难：详尽展示了前沿大模型如何巧妙却荒谬地利用颜色数值大小（如数字 8 大于数字 2）或全局行周期算法合成伪规则，直接证实了即便最先进的 o3 模型在处理形式符号时依然具有极强的数据捷径学习本能。
为视觉推理评测指明了双向解耦路径：证明当前 VLM 在多模态抽象推理上的惨败首要瓶颈在于视觉低级感知（Perceptual Bottleneck）与精细网格生成控制，其高维抽象诱导能力实际上被粗糙的像素匹配指标严重埋没。

局限与展望¶

基准范围局限与人工审计成本：本研究依托于结构清晰、单概念解耦的 ConceptARC（480题），虽利于精细分析，但在组合概念复杂度极高的完整 ARC-AGI-1/2 私有测试集上，尚未建立起低成本、自动化且可信赖的规则抽象性语义判别器。
推理预算与采样深度覆盖不全：受限于商用 API 额度与计算资源，主要实验基于 Pass@1 展开，且 o3 仅评估了 Low 与 Medium 推理预算，未覆盖最耗算力的高预算（High-effort）甚至全自动 Test-Time Training 设定。
未来改进方向：探索基于形式化领域特定语言（DSL）的语义抽象验证框架，开发更鲁棒的神经符号评判智能体，并针对视觉几何网格设计具备更强物体先验的多模态表征架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在主流 ARC 评测中提出并系统验证了“表现虚高/低估内在能力”的认知分离范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖跨模态、多模型、工具接入、推理预算、480题人工双盲规则审计与词频量化，统计检验扎实。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰锐利，实验论证严密，附录案例丰富且极具启发性。
价值: ⭐⭐⭐⭐⭐ 对重新审视 AGI 评测基准的有效性、防范基准过拟合以及发展对齐人类常识的类人推理模型具有深远指导意义。