AI GAMESTORE: Scalable, Open-Ended Evaluation of Machine General Intelligence with Human Games¶

会议: NeurIPS 2026
arXiv: 2602.17594
OpenReview: https://openreview.net/forum?id=zFv5xwDcsy
代码: https://aigamestore.org
领域: LLM评测
关键词: 通用人工智能评测, 交互式游戏基准, 多模态大模型, 认知能力剖析, 开放式环境合成

一句话总结¶

针对传统 AI 基准任务静态狭窄且易饱和过拟合的问题，本文提出以人类游戏全空间（Multiverse of Human Games）作为通用智能评测代理，构建包含 LLM 程序生成与人机协同迭代的开放式评测平台 AI GAMESTORE，并在首批 100 款游戏上揭示前沿视觉语言模型平均仅达人类中位数得分不足 10% 的认知能力瓶颈。

研究背景与动机¶

人类智能的核心特质在于能够在完全未知的开放物理与社会环境中快速学习、推理并解决新问题。评估机器系统是否具备类人通用智能（AGI）一直是人工智能与认知科学领域的根本挑战。然而，传统的 AI 评测基准长期局限于棋类、静态问答、数学推导或代码补全等孤立且狭窄的任务空间。即便是近期涌现的大规模聚合基准（如 BIG-bench、SWE-bench），依然存在任务静态化、规则固定以及易被模型开发者显式或隐式针对性优化而快速饱和的严重缺陷，无法真实反映模型在动态、开放环境中的通用认知灵活性。

利用游戏环境评测智能虽然历史悠久，但直接接入真实商业电子游戏在工程与方法论上面临五重现实屏障：严苛的商业版权与知识产权限制、跨引擎（Unity、Unreal、专有引擎）导致的操作接口与状态获取极度异构、玩家真实数据涉及隐私与分发壁垒、前沿思考模型 API 调用高延迟导致无法适配实时即时响应动作，以及模型训练语料不可知带来的严重数据污染与基准失效风险。现有的通用视频游戏 AI（GVGAI）或程序化合成环境则多偏向玩具式人造规则，脱离了真实人类社会文化中自然沉淀的高质量挑战。

本文提出将人类创造且享受的全部游戏集合构成的“人类游戏多元宇宙”（Multiverse of Human Games）作为评测通用智能的理想试金石。游戏作为人类文化进化的凝练产物，本质上是对现实世界多样化物理法则、资源规划、工具使用与社会博弈的微缩抽象。核心 idea：通过构建结合大语言模型代码合成与人类在环迭代检验的半自动化开放式平台 AI GAMESTORE，将真实应用商店中的流行人类游戏标准化重构为无版权争议、轻量容器化的交互式环境，并基于多维认知能力量表对模型与人类进行等时对齐评测与瓶颈诊断。

方法详解¶

整体框架¶

AI GAMESTORE 构筑了一套由真实世界人类游戏生态持续驱动、半自动合成与进化的元评测管线。该管线主要涵盖四个阶段：商业榜单游戏抓取与适宜性过滤、基于 LLM 代码生成与人类在环的沙箱重构、细粒度多维认知能力专家打分标注，以及标准化交互挽具驱动的多模态模型与人类基准比对。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["商业游戏市场全景<br/>Apple App Store / Steam 热门榜单"] --> B["阶段一：游戏抓取与 LLM 适宜性多级过滤"]
    B --> C["阶段二：代码合成与人类在环交互演进"]
    C --> D["阶段三：多维认知能力专家画像剖析"]
    D --> E["阶段四：标准化交互挽具与人类对齐评测"]
    E --> F["评测产物与诊断<br/>认知能力短板定位 / 开放式变体衍生"]

关键设计¶

1. 游戏抓取与 LLM 适宜性多级过滤：从海量商业池锚定高质量人类挑战

针对评测基准代表性与可行性难以兼顾的矛盾，系统从 Apple App Store（覆盖全球 15 个国家与地区的动作、冒险、休闲、益智、棋盘 5 大分类的 Top 100）及 Steam 独立游戏前 500 名中系统性初筛出 7,500 款热门候选游戏。为了保证候选游戏具备真实的人类趣味性与高质量交互设计，过滤机制要求游戏必须具备不少于 10,000 条公开评价且平均评分高于 4.5/5.0。在此基础上，引入 Gemini 2.5 Flash 作为评估裁决者，围绕四大硬性准则进行百分制可行性量化打分：单局游戏能否在数分钟内形成闭环、底层物理与逻辑能否用轻量 Web 技术呈现、是否具备可量化的连续得分机制，以及是否避免依赖冷门专有先验知识（如特定扑克牌规则）。最终筛选出最具代表性的 100 款基准游戏，确保评测集合紧扣人类真实喜好分布。

2. 代码合成与人类在环交互演进：程序化鲁棒构建与机制创新衍生

为了规避商业引擎重型封装与版权壁垒，系统规范所有游戏均以 JavaScript / p5.js（辅以 three.js 和 matter.js 处理 3D 与刚体物理模拟）实现，且严格限制为离散键盘控制与步进式可暂停机制。构建流水线采用两阶段闭环设计：首先以 Claude 3.5 Sonnet / Claude Sonnet 4.5 依据结构化功能规范生成初始代码草稿，并通过脚本驱动的模拟随机交互单元测试自动捕捉控制台异常与崩溃缺陷；随后进入人类在环反馈循环（Human-in-the-Loop Refinement）。人类测试者在专用调试界面中试玩游戏，以自然语言提出游戏节奏、碰撞边界或视觉反馈的具体修正建议，驱动模型快速补丁修复（平均每款游戏历经 4.7 轮、耗时约 30 分钟即可达到完整可玩状态）。此外，系统支持人类玩家提出新颖交互规则（如为追逐障碍物增加视锥遮蔽机制），程序化衍生出难度可控的创新变体，从源头上杜绝测试集记忆污染。

3. 多维认知能力专家画像剖析：超越单一分数的白盒行为诊断

为了打破传统基准只输出标量准确率的局限，AI GAMESTORE 建立了涵盖七大维度的认知需求分类学：视觉感知（Visual Processing, VP）、时空协调（Spatial-temporal Coordination, ST）、工作记忆（Memory, ME）、长程规划（Planning, PL）、世界模型推断（World Model Learning, WM）、物理直觉常识（Physical Reasoning, PH）以及社会与心理理论推理（Social Reasoning, SO）。每项能力定义了严格的 6 级打分准则（0 级表示完全无需求，5 级表示极端复杂），由三位专家作者独立试玩标注并通过共识研讨消除分歧。这种解耦标注赋予了基准强大的诊断属性，使研究者能够精确定位模型在特定博弈场景中的失败根源到底是感知瓶颈、时空动力学拟合缺失，抑或是隐式因果转移学习失效。

4. 标准化交互挽具与人类对齐评测：消除 API 延迟偏差的双模态协议

商业前沿模型的高推理耗时与即时反应游戏之间存在巨大的时间尺度冲突。为此，平台设计了一种微离散化交互挽具：游戏时间每推进 1 秒立即暂停冻结物理引擎，向多模态模型发送当前视窗截图、玩法操作规则、可编辑草稿本（Scratchpad）以及上一周期的动作历史。模型单次推理必须输出包含三部分的结构化响应：简要反思推理链、更新后的长短期记忆草稿本，以及未来 1 秒内细分为 5 个连续时间片（每片 0.2 秒）的动作序列（支持单次脉冲敲击与持续长按按键）。模型与 106 名人类受试者（均经 IRB 批准，在 Prolific 平台招募）均被给予精确对齐的 120 秒游戏时间预算。在汇总模型表现时，采用人类中位数作为基准点，通过截断归一化与几何平均计算综合得分：

\[\text{Normalized Score} = \text{clip}\left(100 \times \frac{\text{Raw Game Score}}{\text{Human Median Score}}, 1, 10000\right)\]

损失函数 / 训练策略¶

本论文为纯黑盒/白盒基准评测工作，不包含底层模型的参数更新训练。在模型评测阶段，统一采用各大主流前沿模型服务商的默认推理配置（默认采样温度，启用自适应 CoT 推理/思考预算），每款游戏独立重复评测 3 次并取均值，以平抑随机动作采样带来的评测方差。

实验关键数据¶

主实验¶

主实验在 100 款 AI GAMESTORE 游戏上全面评测了 7 款前沿视觉语言模型（VLMs），并与 106 名人类玩家在相同 120 秒时限内的交互轨迹进行对齐分析。

评估对象 / 模型	几何平均分 (Geom Mean [95% CI])	中位数得分 (Median [95% CI])	平均耗时 / 计算开销倍率	胜过人类中位数的游戏占比
人类中位数基线	100.0	100.0	120 秒 (1.0×)	-
GPT-5.2	8.26 [5.93, 11.28]	10.70 [5.57, 17.09]	> 1400 秒 (~12×)	~5%
Claude-Opus-4.5	7.74 [5.50, 10.68]	8.63 [4.02, 17.86]	> 1500 秒 (~13×)	~4%
Gemini-2.5-Pro	7.49 [5.36, 10.28]	12.40 [4.78, 18.10]	> 1600 秒 (~14×)	~6%
Gemini-2.5-Flash	7.07 [5.07, 9.69]	7.32 [4.03, 13.72]	> 1200 秒 (~10×)	~3%
GPT-5-mini	6.13 [4.44, 8.39]	6.36 [2.01, 14.97]	> 1200 秒 (~10×)	~2%
Llama-4-Maverick	5.91 [4.26, 7.80]	6.50 [3.94, 11.31]	> 1300 秒 (~11×)	~2%
Qwen-3-VL-32B	4.68 [3.39, 6.41]	3.50 [0.00, 7.41]	> 1200 秒 (~10×)	~1%

消融与诊断实验¶

通过结合专家标注的认知难度等级，进一步分析模型在不同认知维度（要求需求等级 \(\ge 1\)）与反应延迟敏感性下的能力衰减特征。

认知维度能力要求	涵盖游戏数量	代表性前沿模型均分区间 (归一化)	人类相对表现基准	关键性能降幅特征
纯视觉处理 (VP \(\ge 1\))	98 款	7.5 ~ 9.0	100.0	模型基本具备基础物体识别能力
时空协调 (ST \(\ge 1\))	82 款	6.0 ~ 8.0	100.0	离散化规划部分缓解时序压力
物理直觉常识 (PH \(\ge 1\))	48 款	4.5 ~ 6.5	100.0	连续重力与抛物轨迹预测欠佳
社会/博弈推理 (SO \(\ge 1\))	28 款	3.5 ~ 5.5	100.0	难以对动态 NPC 建立意图归因
工作记忆整合 (ME \(\ge 1\))	14 款	1.5 ~ 3.0	100.0	跨帧信息遗忘与草稿本维护失效
前瞻深度规划 (PL \(\ge 1\))	42 款	2.0 ~ 3.5	100.0	状态空间分支膨胀时迅速陷入循环
世界模型推断 (WM \(\ge 1\))	26 款	1.0 ~ 2.5	100.0	无法通过自主主动试错假设检验机制

为了验证模型落后是否仅仅源于动作离散化导致的反应速度劣势，作者专门在无需快速反应的静态/低时空协调游戏子集（ST \(\le 2\)，如纯回合制解谜）上进行了消融隔离。实验表明，即便完全剔除时序反应压力，前沿模型的几何均分依然停留在 8.0 ~ 9.5 区间，证明时序反应并非核心制约因素。

关键发现¶

显著的双峰能力断层：所有评测模型在得分分布上均表现出强烈的双峰特征。在约 60% 的轻度休闲游戏中，模型凭借即时视觉模式匹配能够取得部分分数，甚至在少数几款规则极简的游戏中因动作无畏执行超过人类中位数；但在 35%~40% 的游戏中，所有模型几乎彻底停滞，得分不足人类的 1%。
核心认知瓶颈集中于记忆与世界模型：在记忆（Memory）、长程规划（Planning）以及世界模型构建（World Model Learning）维度上，模型的表现断崖式下跌。这证明当前以上下文滑动和静态知识驱动的模型，在面对“规则未完全显式给出、需要主动探索以建立动态因果转移模型”时极度脆弱。
复合认知能力协同失灵：当单款游戏仅依赖 1 个高阶认知维度时，部分模型尚能维持中等分数；但随着游戏所要求的复合认知维度数量增加（从 1 维拓展至 4 维以上），所有模型的相对得分呈指数级下滑，凸显出当前多模态系统在多认知子系统协同调度上的结构性短板。

亮点与洞察¶

将人类游戏全空间确立为通用智能评测的第一性原理：跳脱出学术界人工合成虚拟任务的窠臼，深刻指出人类游戏本质上是人类社会繁衍演进中为了适应真实物理与社会挑战而自发形成的“试炼场”，因此人类游戏空间具有无可替代的通用能力表征完整性。
兼顾工程可控性与防过拟合的半自动化流水线：将商业流行游戏萃取为无版权侵权风险的 p5.js 代码，并结合“LLM 生成 + 人类玩家在环调优与机制突变”，平均仅需 30 分钟即可产出一款高品质沙箱环境，为构建永不枯竭、动态进化的基准生态开辟了高可行性范式。
认知层面的白盒诊断价值：并非仅仅维护一个被动排名的榜单，而是通过细粒度认知画像与可暂停时间片挽具，将失败精确归因至时空推理、记忆检索与世界假设检验，为下一代具身与多模态 Agent 的架构设计提供了清晰的实证靶点。

局限与展望¶

当前任务形态偏向轻度与短时程：初版 100 款游戏主要聚焦于 2 分钟以内的即时休闲与轻度益智游戏，缺乏需要数小时沉浸、复杂剧情推进、装备经济系统以及超长程跨场景状态持久化的大型游戏环境。
多智能体博弈与复杂社会推理覆盖不足：现有游戏中的 NPC 行为模式主要基于简易硬编码有限状态机，缺乏具备高阶心理理论（Theory of Mind）的自适应敌手，未能充分施压模型的递归心智建模与复杂社交协商能力。
关卡程序化生成的智能化程度有待提升：当前关卡设计仍高度依赖人类试玩反馈，未来需进一步集成基于强化学习或世界模型的自动化关卡自适应生成机制，精准调控认知负荷梯度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从人类游戏进化 teleology 出发构建人机协同的开放式基准合成平台。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 7 款顶级多模态前沿大模型与 106 名人类受试者，具备细粒度消融与轨迹诊断。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密自洽，认知维度分析框架清晰详实。
价值: ⭐⭐⭐⭐⭐ 为解决通用人工智能基准过拟合与能力黑盒诊断提供了极富生命力的新基石。