跳转至

Mini Amusement Parks (MAPs): A Testbed for Modelling Business Decisions

会议: NeurIPS 2026
arXiv: 2511.15830
代码: https://github.com/Skyfall-Research/MAPs
领域: 其他
关键词: 商业决策基准, 主动世界模型学习, 长期规划, 空间推理, 随机性环境决策

一句话总结

Mini Amusement Parks (MAPs) 是一个模拟主题公园运营的具身商业决策基准环境,全面整合了长期规划、主动世界模型学习、空间拓扑推理和随机性对冲等多维挑战,揭示了当前前沿 AI 系统相比人类专家存在的十倍以上性能差距。

研究背景与动机

当前前沿人工智能系统在狭窄目标和确定性环境中的各类测试中已展现出接近甚至超越人类的水平,但在应对真实世界复杂的综合决策任务时仍显疲态。以实际商业运营为例,企业的生存与盈利高度依赖于统筹多重相互耦合的决策链条——从基础设施建设、人员招聘调度、研发投资到库存与供应链管理,同时必须面对具有部分可观测性与随机波动的客户需求,并基于极少量的试错经验在长时域下规避破产风险。

然而,现有的智能体评估基准在任务范式上存在明显割裂:一类基准(如 Crafter、DiscoveryWorld)虽强调长期规划,但其环境实体交互多被简化为静态的先决条件树,缺乏多维动态系统的复杂耦合;另一类抽象推理基准(如 ARC-AGI、AutumnBench)侧重极少样本下的归纳泛化,却剥离了现实语义;而针对真实计算机或网页操作的基准(如 OSWorld、WebArena)多为确定性的二元任务完成度评估。仅有极少数基准(如 VendingBench)尝试引入不确定性下的开放式优化,但它缺乏空间布局推理维度,且无需智能体通过环境交互主动归纳物理规律,加之任务形式单一已被前沿模型迅速饱和。目前缺乏一个能将开放式价值优化、主动物理动力学发现、长时域规划、空间拓扑认知及随机性建模有机融为一体的评估平台。

为了填补这一关键空白,本文提出了 Mini Amusement Parks (MAPs) 仿真环境与基准套件。核心 idea:构建一个基于离散网格与连续访客动力学耦合的主题公园仿真器,将长时域研发投资、多实体空间拓扑布局、非确定性客流行为与逆事实主动探索沙盒统筹于统一商业决策闭环中,全面剖析前沿模型与人类专家的决策鸿沟。

方法详解

整体框架

在 MAPs 中,智能体扮演主题公园总经理的角色,目标是在给定的时间跨度(简单模式为 50 天,中等模式为 100 天)内最大化公园最终总价值(手头现金、设施折旧价值及研发知识产权价值之和)。游戏每天清晨进入决策阶段,智能体通过图形界面或结构化 JSON 状态(基于 Pydantic 定义)感知环境,执行一步离散决策,例如建造或移动设施、招聘员工、调整商品售价与订货量、设定科技研发方向、开展游客调研或空转等待。日间则由底层引擎基于个体偏好分布模拟全体游客的离散事件交互,进而反馈次日早晨的财务报表与公园状态。

整个系统由地形网格、游乐设施、商业店铺、服务员工、科技研发分级树以及自主访客六大核心支柱构成。为清晰展现决策流程与各核心机制的协同关系,整体框架逻辑如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境状态感知与每日清晨决策<br/>20×20网格地形/客流与财务JSON观测"] --> B["多实体耦合的商业仿真机制<br/>平衡设施扩建/库存周转/维护支出"]
    B --> C["拓扑驱动空间布局优化<br/>邻水加成/主干道人流/避免不连通孤岛"]
    C --> D["逆事实主动学习沙盒<br/>探索动作试错与自生成经验笔记沉淀"]
    D --> E["随机性对冲与模型预测控制<br/>多步前向轨迹模拟与风险厌恶动作剪枝"]
    E --> F["输出单步执行动作<br/>日间自主访客交互模拟与综合资产结算"]

关键设计

1. 多实体耦合的商业仿真机制:构建非线性正负反馈交织的系统动力学 传统基准往往将环境解耦为独立的线性前置条件,而真实商业经营中各部门高度互为因果。MAPs 在 \(20 \times 20\) 地形上构建了深层耦合网络:游乐设施(旋转木马、摩天轮、过山车)决定公园接待容量与吸引力,进而驱动游客入园率;入园游客的饥饿、口渴、精力与资金状态促使其寻找餐饮与特色商店;然而高客流量会不可避免地加剧道路垃圾积累并提高设施机械磨损率。如果清洁工配备不足导致清洁度暴跌,或者机修工维修不及时导致设施停机,公园评分将在次日大幅跳水,引发客流断崖式下跌与恶性破产循环。各设施与员工分为黄、蓝、绿、红四个层级(Tier),高级实体效能显著但成本激增,要求智能体在有限现金流下精准平衡资本开支与日常运营成本。

2. 逆事实主动学习沙盒:受限探索预算下的假设验证与因果提炼 真实企业无法承受无止境的试错成本,必须在极短探索周期内提炼出环境动力学假说。针对这一痛点,MAPs 独创了主动世界模型学习(Active World-Model Learning)评测协议,并配套提供了专属沙盒模式。在沙盒阶段,系统将动作空间扩充至逆事实操作集合(包括现金充值 max_money、科技全开 max_research、日状态回滚 undo_day、环境重置 reset 与切换地图 switch_layouts),并严格限定 100 个游戏日的非沙盒行动预算。智能体必须自主识别知识盲区,针对性设计对照实验(例如测试高阶过山车在无机修工条件下的损耗衰减速率),并在交互过程中主动向自身工作记忆写入结构化经验笔记(Learnings Summary)。进入正式评测后,辅助动作被剥离,智能体仅凭沉淀的经验笔记指导新地图上的商业博弈。

3. 拓扑驱动空间布局优化:消除欧氏距离错觉与人流阻滞瓶颈 实体商业的区位选择直接决定投资回报率。在 MAPs 中,游客具有真实的物理寻路与步行疲劳模型,空间拓扑布局构成极高维度的约束:首先,游乐设施紧邻水域地块可获得额外的兴奋度加成(每邻接一格水体兴奋度 \(+1\));其次,取款机(ATM)与信息亭等特种商店不具备自发性游客引流能力,必须嵌设在连接出入口的高客流交叉主干道旁才能激发消费;再者,复杂的迷宫型或岛屿型地形存在连通性陷阱。智能体若仅凭二维坐标网格的几何欧氏距离规划,常会将昂贵设施误建在未连通道路的废弃地块,或使游客在过长盘山路中耗尽精力离园,必须具备全局拓扑推理与视线流动感知能力。

4. 随机性对冲与模型预测控制:解耦行为本质趋势与偶发噪声 真实市场中消费者的决策服从非确定性随机分布。MAPs 中每位访客的意图决策均基于隐式状态采样,单日营收具有极高的变异系数(CV)。面对这种偶然不确定性(Aleatoric Uncertainty),智能体若对单日收益下跌过度反应(如恐慌性折价拆除资产),将造成不可挽回的折旧损失。为此,基准探索了结合世界模型(World Model)与模型预测控制(MPC)的决策框架,引入随机抽样搜索(Random-Shooting MPC)。在每个决策步骤,模型基于前向世界模型预测展开 \(k\) 条候选交互轨迹并前瞻 \(H=4\) 步,借助显式模拟滤除高方差波动,择优选择首步行动,从而实现确定性价值投资与概率性客流波动的鲁棒对冲。

一个完整示例

以中等难度下的第 10 天至第 12 天运营决策为例,具象化智能体的协同演化轨迹: 1. 第 10 天清晨(状态诊断与科技立项):系统输入显示当前手头现金为 \(\$387\),公园评分 \(31.68\),仅有一台黄色旋转木马与黄饮料店、黄小吃店。访客调研报告警报“设施单一且口渴难耐”。由于中等模式锁定高级实体,智能体权衡后启动科技研发 research(topic="roller_coaster", speed="medium"),并追加投资 \(\$200\) 在坐标 \((1, 4)\) 新建邻水黄色饮料店以提升现金流。 2. 第 11 天清晨(库存瓶颈与磨损危机):前日访客激增至 45 人,饮料店库存耗尽发生断供(stockout),且旋转木马因高负荷运转出现机械故障,正常运行率(uptime)骤降至 \(0.62\)。智能体调用修改动作 modify(x=1, y=4, order_quantity=150) 避免断供损耗,同时雇佣黄色机修工 hire(type="mechanic", subclass="yellow")。 3. 第 12 天清晨(协同收益体现):机修工完成抢修使设施运行率恢复至 \(1.0\),公园评分回升至 \(38.5\),中速研发产出蓝色过山车科技蓝图。智能体避免盲目借贷建造昂贵的蓝色过山车,而是等待现金流积累并微调小丑员工抚平排队焦虑,展现出多维度决策环环相扣的推进过程。

损失函数 / 训练策略

针对强化学习基线,研究采用近端策略优化算法(PPO),基于 Stable-Baselines3 框架实现。 策略网络采用分层动作解耦策略(Hierarchical Policy),动作空间分解为动作类别 \(a_{\text{type}}\) 及级联参数 \(a_{\text{param}}\)。为解决组合爆炸与无效动作问题,设计了基于环境物理状态的动态动作掩码(Cascading Action Masking): $\(M(a_{\text{param}} \mid s, a_{\text{type}}) \in \{0, 1\}\)$ 掩码严格过滤资金不足、地形非空、无相邻道路等非法动作,将有效分支因子大幅缩减。

PPO 优化采用标准的带截断替代目标损失: $\(L^{\text{CLIP}}(\theta) = \hat{\mathbb{E}}_t \left[ \min\left( r_t(\theta)\hat{A}_t, \, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_t \right) \right]\)$ 其中广义优势估计参数设为 \(\lambda = 0.95\),贴现因子 \(\gamma = 0.995\),截断阈值 \(\epsilon = 0.2\)。奖励信号采用日均公园差分净值 \(\Delta V_t = V_t - V_{t-1}\),并在训练期间使用滑动均值与方差进行动态归一化。超参数采用基于 Optuna 的贝叶斯优化(TPE 采样器)全面调优,训练时跨 5 个训练地图并行运行多达 1 亿环境交互步。

实验关键数据

主实验

主实验在 3 个严格留出的测试地图(The Islands, Ribs, Zig Zag)上评估主流前沿大模型(ReAct 架构)与强化学习智能体。评估分为简单模式(50天,全科技解锁)与中等模式(100天,需自主研发解锁)。人类专家得分基于公开天梯榜无限资源设定,作为归一化基准上限(100%)。

模型 / 架构 简单模式得分 (%) 中等模式得分 (%) 运行时间 (s) 调用成本 (USD)
Human (Expert Ceiling) 100.00 100.00 ~3,000 $0.00
GPT-5 8.80 ± 8.49 4.44 ± 4.01 3,774 / 7,583 $3.75 / $8.36
Grok 4 2.82 ± 4.50 0.44 ± 0.16 2,908 / 5,438 $6.60 / $13.00
Claude Sonnet 4.5 2.28 ± 2.02 1.06 ± 0.80 937 / 1,713 $6.06 / $12.19
Gemini 2.5 Pro 1.82 ± 2.78 0.52 ± 0.22 787 / 1,423 $3.06 / $5.97
Qwen3-VL 0.36 ± 0.29 0.27 ± 0.21 529 / 1,252 $0.38 / $0.77
GPT-5 Nano 0.29 ± 0.29 0.44 ± 0.47 1,311 / 2,506 $0.13 / $0.27
\(\text{PPO}_{\text{Simple}}\) (启发式补全参数) 7.83 ± 4.33 2.08 ± 1.76 0 $0.00
\(\text{PPO}_{\text{Full}}\) (端到端全动作空间) 0.50 ± 0.49 0.25 ± 0.23 0 $0.00

消融实验:空间推理范式与主动学习沙盒分析

表 A:简单模式下空间推理模态与启发式干预对比(得分相对人类上限 %)

模型 纯文本提示 (Text) 视觉网格+文本 (VLM) 文本+空间启发式规则 (Spatial Heur.) 表现变动特征
GPT-5 8.80 ± 8.49 5.72 ± 9.85 14.94 ± 13.44 视觉输入负向干扰;规则介入性能接近翻倍
Claude Sonnet 4.5 2.28 ± 2.02 1.28 ± 1.75 5.03 ± 4.25 引入空间规则大幅修正过度保守的建址行为
Qwen3-VL 0.36 ± 0.29 0.15 ± 0.16 0.52 ± 0.32 视觉增强导致注意力涣散,启发式有效挽救

表 B:沙盒主动世界模型学习(100天探索预算)消融对比

模型 简单模式 (无沙盒) 简单模式 (经沙盒学习) 中等模式 (无沙盒) 中等模式 (经沙盒学习) 机制分析
GPT-5 8.80 ± 8.49 8.70 ± 7.53 4.44 ± 4.01 6.52 ± 4.81 中等模式下成功总结研发节奏,其余充斥上下文冗余
Grok 4 2.82 ± 4.50 1.37 ± 0.89 0.44 ± 0.16 0.85 ± 0.57 简单模式下过度拟合偶发异常,中等模式略有收益
Claude Sonnet 4.5 2.28 ± 2.02 0.44 ± 0.42 1.06 ± 0.80 0.70 ± 0.48 经验笔记造成上下文膨胀,导致格式崩坏与消极等待
Gemini 2.5 Pro 1.82 ± 2.78 0.63 ± 0.58 0.52 ± 0.22 0.42 ± 0.45 笔记机械复读用户手册,未产生有效决策先验

关键发现

  • 人类与 AI 存在巨大性能鸿沟:人类专家在简单模式和中等模式分别领先最强前沿模型 GPT-5 达 11.4 倍与 15.3 倍。人类具备强大的跨时域资本统筹与全局空间规划直觉,能顺畅度过前期资金荒并迅速滚动投资红利。
  • 长时域规划引发断崖式退化:中等模式在引入科技树并将步数延长至 100 天后,除人类能有效累积复利外,所有前沿 AI 的相对人类得分均出现腰斩。模型极易出现短视行为,过早投入重金研发昂贵设施却无力建造,导致流动资金枯竭。
  • 视觉多模态陷入负迁移陷阱:在纯文本提示中追加网格图像渲染后,所有被测 VLM(GPT-5、Sonnet 4.5、Qwen3-VL)性能均显著下滑(GPT-5 从 8.80% 跌至 5.72%)。低分辨率网格图形未能提供清晰的拓扑引导,反而引入了视觉噪声。相对地,嵌入最简单的一阶空间规则(靠拢主干道、邻水加成)即可使模型性能提升 70% 至 120%。
  • 主动世界模型学习能力匮乏:赋予智能体可重置、可充值的沙盒环境后,除 GPT-5 和 Grok-4 在中等难度略有斩获外,绝大多数模型的性能反而下降。智能体记录的笔记充斥着对局部微观状态的过拟合与对游戏手册的机械复读,缺乏建立高层因果假设的能力。

亮点与洞察

  • 多维度协同的具身商业基准:MAPs 成功将开放式价值优化、长时域科技树推进、空间拓扑约束与多主体随机客流整合成一个有机整体,避免了单一维度基准易被捷径解穿透的缺陷。
  • 基于沙盒的主动假设检验评测机制:通过在行动空间中注入逆事实控制原语(undo_day、max_research 等),首创了面向 LLM 的受限样本主动世界模型发现评估范式,对探究 AGI 科学发现能力极具启发。
  • 空间认知局限的定性解剖:论文精准指出了大语言模型在空间推理上的“欧氏几何幻觉”——模型倾向于在坐标邻近但实际路径隔绝的孤岛上建房,为未来强化具身空间表示提供了鲜明反例。

局限与展望

  • 人类基准设定为无限制上限:人类专家得分来自于公开排行榜上的最佳实践,拥有无限试错与社区交流机会,属于理论性能天花板(Upper Bound),而非严格受限资源下的同条件对照。
  • 测试地图多样性仍显有限:目前仅在 3 个固定地形上执行留出测试,难以完全排除智能体在特定拓扑上的方差波动。
  • 上下文窗口截断压制长期记忆:ReAct 智能体仅能保留过去 5 步的历史记忆,迫使长时域信息依赖于质量欠佳的经验笔记,未来可探索引入层次化记忆检索或动态图谱状态追踪。

相关工作与启发

  • vs Crafter / DiscoveryWorld: 后者侧重合成物品的静态先决依赖树与任务完成度,MAPs 引入了以利润和资产为导向的非确定性开放式价值优化,以及深层耦合的系统动力学。
  • vs ARC-AGI / AutumnBench: 后者属于抽象网格着色智力测试,缺乏真实商业语义与时序决策回环;MAPs 将样本高效学习嵌入至现实商业管理情境中。
  • vs VendingBench: VendingBench 仅模拟单台自动售货机运营且缺乏空间维度,目前已被前沿模型迅速饱和;MAPs 涵盖全园空间规划、多工种协作与研发演进,复杂度显著提升。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向前沿 AI 的复杂主题公园全流程商业决策基准与主动世界模型沙盒。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 GPT-5、Sonnet 4.5、Grok 4、Gemini 等闭源旗舰,评测兼顾纯文本、多模态、强化学习与世界模型 MPC。
  • 写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密,实验图表详实,问题提出与消融剖析极其透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为评估智能体在现实复杂经济系统中的长期规划、空间推理与主动学习提供了极具挑战性的里程碑基准。