CEO-Bench: Can Agents Play the Long Game?¶

会议: NeurIPS 2026
arXiv: 2606.18543
领域: LLM Agent
关键词: 大语言模型智能体, 长程规划, 商业模拟基准, 运筹决策, 部分可观测马尔可夫决策过程

一句话总结¶

CEO-Bench 构建了一个长达 500 天的初创软件企业模拟环境（NovaMind），通过 34 种工具与 19 张业务 SQL 数据表评测大语言模型智能体在部分可观测、延迟反馈与动态竞争环境下的长程战略规划与跨领域协同决策能力。

研究背景与动机¶

大语言模型智能体在代码修复、对话客服、网页信息抓取等短程独立任务上已展现出极高的执行效率。然而，现有评测基准（如 SWE-bench、WebArena、$\tau$-bench 等）普遍具有相似的结构特征：目标清晰定义、单次执行轮数少（通常以小时或数步计），且环境能在动作执行后迅速给予确定性反馈。这类基准主要检验智能体局部单点工具调用的“执行力”，却无法测量智能体在局部单点任务不再是瓶颈后所必需的“持续战略控制能力”。

真实世界中的关键人类成就往往依赖于高度不确定性下的长期决策链条：在资源受限的情境下权衡优先级、从嘈杂的间接信号中推断真实状态、在延迟回报的阻隔下前瞻布局，并随竞争对手与宏观周期的漂移自适应调整战略。虽然近期诸如 Vending-Bench 与 Accounting-Bench 迈出了长周期模拟的尝试，但其决策维度狭窄、环境动态高度稳定，缺乏多变量耦合的复杂权衡。因此，智能体评测亟需向复合长程场景跨越：动作随时间层层累积、底层世界状态仅能通过间接证据推断、收益与风险严重滞后且环境持续非平稳演化。

本文提出 CEO-Bench，将这一核心挑战具象化为“经营一家初创订阅制软件公司 500 天”的沙盒模拟任务。智能体扮演首席执行官，从 100 万美元初始资金与 0 客户起步，通过可编程 Python 接口与 19 张核心业务数据表协同调度定价、获客、研发、算力基础设施及大客户谈判。核心 idea：构建一个机制透明、参数非平稳且具备强延迟反馈的 500 天初创企业仿真世界模型，要求智能体编写代码并联合查询 SQL 数据库，将嘈杂的数据信号转化为稳健的长期商业战略。

方法详解¶

核心机制¶

CEO-Bench 的底层世界运行基于严格的微观经济学机制与随机动力学，而非依赖不透明的 LLM 作为评判裁判（LLM-as-a-judge），从而避免了传统模拟中智能体靠“语言画大饼”钻空子的脆弱漏洞。

模拟器包含 26 个具有异质性偏好的细分客户群体 $g$。每个客户个体 $i$ 的私有参数（最高支付意愿 $c_i$、最低接受质量阈值 $q_i^{\min}$、最高品质要求 $q_i^{\max}$ 以及高低价敏感度斜率 $s_i^L, s_i^R$）从群组分布中采样并随市场漂移动态截断。客户依据 Mussa-Rosen 质量分级参与准则做出决策： $$ Q_i^{\mathrm{req}}(C) = q_i^{\min} + (q_i^{\max}-q_i^{\min})\operatorname{clip}(\psi_i(C), \psi_Q^{\min}, \psi_Q^{\max}) $$ 其中 $\psi_i(C)$ 是由双 Sigmoid 混合构成的价格-质量敏感度曲线。客户在续费决策日评估所有可选方案，选择能够产生最大正向质量盈余的套餐 $p^* = \arg\max_{p} [Q_{i,p,t}^{\mathrm{perc}} - Q_i^{\mathrm{req}}(C_{i,p,t}^{\mathrm{eff}})]$；若没有任何套餐能满足门槛，客户将触发流失（churn）。

每日现金流更新则呈现高维耦合的收支结构： $$ B_{t+1} - B_t = Y_t^{\mathrm{sub}} + \sum_i Y_{i,t}^{\mathrm{ads}} - K_t^{\mathrm{cost}} $$ 收入项 $Y_t^{\mathrm{sub}}$ 来自订阅客户的周期性按席位缴费，$Y_{i,t}^{\mathrm{ads}}$ 为应用内广告变现；成本项 $K_t^{\mathrm{cost}}$ 则涵盖固定算力容量费用、浮动推理计算开销、日常研发支出、定向研发投入、全局与定向客户支持（SRE/运维）、多渠道获客广告费、销售线索费以及多级市场调研与研发项目支出。

整体框架与流程¶

智能体通过 Python 交互库 novamind_api 在 Linux 终端环境中与仿真核心交互。智能体每周拥有无限轮次操作权限，既可以直接调用原子工具，也可以编写复杂的 Python 自动化脚本和 SQL 查询，构建私有数据驱动监控流。

%%{init: {'theme': 'base', 'themeVariables': {'fontSize': '12px', 'lineColor': '#2B6CB0'}}}%%
flowchart TD
    Env["环境输入: 19张业务数据库表 + 社交媒体流 + 宏观指标"] --> AgentLoop["智能体决策循环 (可编程 Python 脚本 / SQL 分析)"]
    AgentLoop --> D1["1. 细粒度操作编排<br/>(定价/广告/研发/算力层级/大客户谈判)"]
    AgentLoop --> D2["2. 隐状态推断与信息获取<br/>(SQL归因/群组调研/社交舆情感知)"]
    D1 & D2 --> SimEngine["世界动力学仿真引擎 (500 天离散时间推演)"]
    SimEngine --> ExtDyn["3. 非平稳环境演化<br/>(Ornstein-Uhlenbeck 宏观周期 + 竞争对手自适应追赶)"]
    SimEngine --> DelayCash["4. 延迟后果与现金流结算<br/>(账单周期回款 / 积压问题流失 / 破产判定)"]
    DelayCash --> NextTurn["推进至下一模拟周 (next_week)"]
    NextTurn --> AgentLoop

关键设计（带序号的紧凑段落）¶

1. 细粒度可编程操作空间与复合工具集 为了让战略博弈具备真实运筹复杂度，CEO-Bench 摒弃了粗粒度的单一开关设计，在 7 大功能范畴内提供 34 种具名工具。在定价端，智能体需分别配置基础价格、模型算力梯队（影响推理质量与每次 token 成本）以及用量配额；在增长端，获客广告投放细化到“（渠道, 客户群）”二元组；在研发端，分为平滑递增的日常开发支出与周期离散、成败带有随机方差的 R&D 研发工程；在交付与稳定性端，智能体必须动态购买算力容量层级以防止并发过载造成宕机，并通过配置全局或定向客户运维支持（Ops Pool）消化工单。

2. 隐状态部分可观测性与间接数据分析机制 智能体无法直接读取客户的真实满意度数值、留存倾向概率、竞争对手排期或宏观底层参数。所有关键商业指标均隐藏在由 19 张关系型数据表构成的数据库中（包括订单流水、订阅变更明细、现金台账、广告渠道归因、工单队列与社交媒体抱怨贴文）。智能体必须像专业数据分析团队一样，通过编写 SQL 聚合查询与 Python 统计脚本，自主计算留存漏斗、渠道获客成本（CAC）、客户终身价值（LTV）与故障率关联性，进而从充满噪声的数据足迹中反向推断市场偏好漂移。

3. 非平稳宏观周期与自适应竞品追赶模型 为了打破“寻找单点套利策略后机械躺平”的作弊可能，仿真环境内置了深层非平稳机制。宏观经济走势由一个围绕正弦采购经理人指数（PMI）波动的 Ornstein-Uhlenbeck 均值回归随机过程主导： $$ \mathrm{PMI}{t+1} = \operatorname{clip}\left(\mathrm{PMI}t + \eta}}(\mu_t - \mathrm{PMIt) + \sigma}}\epsilon_t, \mathrm{PMI\right) $$ 它直接调节企业销售周期、获客难度与支付意愿。与此同时，竞争对手不仅定期发起外生产品升级冲击，还会对智能体的研发积累产生内生反应：通用技术研发（Shared R&D）会按比例 }, \mathrm{PMI}_{\max$u_t^{\mathrm{global}} \sim U[u_{\min}, u_{\max}]$ 被对手吸收反超，倒逼智能体将资金倾斜到更具护城河的特定客群专有开发（Targeted Dev）上。

4. 具有网络溢出效应与时间延迟的因果反馈 系统中多项重大决策的影响周期横跨数周至数月。研发投入需要经过随机分布的天数才转化为交付质量；在容量不足时勉强获客会导致过载 $o_t$，引发服务宕机指标 $\mathbb{1}\{\mathrm{outage}_t\}$ 上升并累积未结工单 $I_{i,t}$，使客户体验质量发生严重折损： $$ Q_{i,t}^{\mathrm{perc}} = \phi_{i,p,t}^{\mathrm{quota}} \left[ Q_{g,p,t}^{\mathrm{del}} + \beta_r (r_{i,t}-r_0) + \beta_d \log(\alpha_d + d_{i,t}/d_0) - \beta_I I_{i,t} - \eta_i^{\mathrm{ads}} a_{i,t}^{\mathrm{eff}} \right] $$ 受损的满意度不仅会在账单结算日引发隐性集中退订，还会通过声誉网络跨群组溢出扩散（Spillover Effect），导致未来数月的获客自然转化率全面崩塌。这种短视扩张带来的毁灭性后果往往在数十天之后才彻底显现。

理论分析与设计权衡¶

在系统设计上，CEO-Bench 深度权衡了“真实拟真度”与“可重复因果归因”。若直接接入自由文本的多智能体对话或 LLM 驱动的供应商，容易出现类似 Vending-Bench 中代理人靠虚假文本承诺诱导裁判的仿真失真。因此，CEO-Bench 坚持全过程因果逻辑公式化与显式机制化，客户购买、退订与工单生成均由严密数学分布采样驱动。

在随机数架构上，为了确保多智能体间横向评测的绝对公正，环境为市场调研发现序列、宏观震荡分布、大客户回复延迟等子系统分配了独立的随机数发生器（RNG）。即使智能体在早期采取完全相异的操作分支，只要处于同一全局随机种子，付费调研揭示的客群顺序与宏观经济背景震荡节奏均严格自洽，从而消除了因外生随机性偏移导致的不可比误差。

实验关键数据¶

主实验¶

论文对 16 个前沿大模型智能体进行了完整的 500 天模拟评测，每个模型在随机种子 42 下独立运行 3 次全生命周期，起始资金均为 100 万美元，最终以结存现金与存活天数作为核心考核指标。

模型	破产率 (Bankruptcy)	最佳运行结存现金 ($)	最大存活天数	平均存活天数 (Mean ± Std)	周均轮次 (Turns/week)	最佳运行 API 成本
Rule-based baseline	0/3 (–)	15,756,408	500	500.0 (–)	–	–
Claude Fable 5	1/3	12,630,078	500	461.7 ± 54.2	9.86	$265.43
GPT-5.6 Sol	2/3	11,313,982	500	294.0 ± 145.7	25.96	$153.47
Claude Opus 4.8	1/3	2,399,209	500	378.0 ± 172.5	16.64	$348.49
Qwen 3.7 Max	0/3	365,346	500	500.0 ± 0.0	7.82	–
Gemini 3.5 Flash	0/3	75,126	500	500.0 ± 0.0	58.37	$67.09
Claude Opus 4.7	1/3	70,620	500	414.3 ± 121.2	14.33	$92.32
Claude Sonnet 5	1/3	64,459	500	470.7 ± 41.5	20.50	$68.25
Claude Haiku 4.5	2/3	59,625	500	286.3 ± 153.3	19.35	–
GLM 5.2	2/3	54,327	500	376.7 ± 105.6	25.24	–
Kimi K2.6	0/3	43,598	500	500.0 ± 0.0	16.64	–
Claude Sonnet 4.6	1/3	38,166	500	419.3 ± 114.1	14.37	$73.28
GPT-5.5	2/3	33,260	500	401.0 ± 98.3	30.41	$153.80
GLM 5.1	3/3	0	319	155.7 ± 130.0	98.66	–
DeepSeek V4 Pro	3/3	0	160	136.3 ± 23.7	21.85	–
Gemini 3 Flash	3/3	0	150	137.0 ± 10.2	15.81	$1.19
Grok 4.20	3/3	0	59	36.0 ± 18.4	13.49	$3.64
理论估计现金上限	–	~2,200,000,000	500	–	–	–

消融实验与行为特征分析¶

论文深入剖析了智能体行为特征与战略能力差异，并对环境参数进行了系统性消融。

评估维度 / 行为度量	顶级模型 (Fable 5 / Opus 4.8)	中游存活模型 (Opus 4.7 / Qwen 3.7)	早期破产模型 (DeepSeek V4 / Grok 4.20)	机制影响与说明
最优广告渠道识别率	> 35%（显著高于 20% 随机基线）	~20% - 25%	< 20%（严重受制于随机猜测）	能否从历史获客账本中挖掘最佳 ROI 渠道
4周远期现金预测误差	极低预测误差 (< 15%)	中等误差 (~30% - 50%)	严重偏差 (> 80%)	考验前瞻模拟与未来退订/回款计算能力
定向研发支出占比	Fable 5: 88%, Opus 4.8: 51%	Qwen: 25%, GLM 5.1: 19%	Grok 4.20: 11%	定向研发构筑防竞品壁垒，顶级模型高度重视
竞品难度消融 (Sonnet 4.6)	无竞品: 现金大幅盈利	弱自适应 ($u=0.1$): 勉强存活	强自适应 ($u=0.3$ / 默认): 早期利润被吃尽	竞争对手是制约模型长期盈利的核心瓶颈
周期缩短消融 (50天短程)	仍无模型能超越 100 万初始资金	均处于烧钱初期亏损状态	均未能建立盈利正循环	证明不仅是长程问题，短程多变量编排同样薄弱
Agent Harness 框架消融	极简终端 Harness: 表现最优	Claude Code: 周均轮次骤降，结存下滑	Codex: 轮次显著减少，早早破产	通用软件工程 Harness 的系统提示词存在业务水土不服

关键发现¶

大模型在长程运筹任务中仍未越过人类简单启发式基线：即便最为强大的 Claude Fable 5（最佳结余 12.63M）与 GPT-5.6 Sol（最佳结余 11.31M），依然大幅落后于一个仅通过网格搜索调参、不消耗任何语言模型调用的无代码规则基线（15.76M）。相比理论上限 22 亿美元，基准依然具有极其广阔的未饱和空间。
顶级智能体形成了截然不同的商业演进哲学：Claude Fable 5 采取“动态精细化运营”路线，将 88% 的研发预算投入定向开发，持续在代码中推演现金流情景并贯穿 500 天微调战略；Claude Opus 4.8 展现“早期激进扩张、后期收割留存”的资本运作风格，前期积累庞大用户群后转入防守套现；而 GPT-5.6 Sol 极速扩张单一人群规模，但鲁棒性较差，三次运行中有两次在第 190 天左右轰然倒闭。
弱模型深陷“被动躺平”或“盲目失血”两极陷阱：表现落后的模型要么无法理解算力负荷与获客的耦合关系，疯狂砸广告导致系统过载、宕机暴增、工单积压引发群体退订；要么如 Claude Opus 4.7 般在早期受挫后过度谨小慎微，一味削减预算甚至放弃维护，最终在客户自然流失与宏观下行中慢性死亡。

亮点与洞察¶

将软件开发能力与运筹决策实现深度解耦与融合：表现最好的智能体并非单纯调用现有 API，而是自主在沙盒中编写复杂的 Python 财务预测工具与 SQL 留存监控流水线，证明高级长程决策需要以扎实的编程与数据工程能力作为支撑脚手架。
彻底揭露了现有单轮/短程 Agent 评测的“虚假繁荣”：在静态代码修复中得分极高的模型，在需要跨越 500 天时间线、权衡短期现金消耗与远期产品壁垒时几乎全线崩溃，证明现有模型缺乏在非平稳环境中的策略韧性与前瞻推演能力。
基准可调节旋钮为智能体演进提供了清晰的阶梯梯度：通过对竞争对手自适应吸收系数 $u$ 与仿真天数（50天 vs 500天）的灵活调制，CEO-Bench 既能用于高阶前沿模型的长程对抗评测，也可降维作为当前主流模型的训练环境。

局限与展望¶

产品创新维度的抽象简化：当前环境仅用单一标量值“产品质量（Product Quality）”表征软件本身，未能评估智能体针对市场诉求提出创新性产品功能与定性交互方案的能力。
商业维度的范围边界：为保证单次 500 天沙盒推演在经济与时间成本上的可行性，当前仿真暂时排除了法律合规审查、网络安全攻击、股权融资及员工团队招聘管理等复杂现实场景。
通用 Agent Harness 的适配鸿沟：实验表明，专为软件工程（SWE）优化的通用命令行 Agent Harness 会抑制模型在商业运筹场景中的探索轮次，未来需要探索能够兼顾代码编写与宏观统筹的自适应 Agent 调度框架。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将真实商业运营全流程转化为长达 500 天、机制严密的自动化交互 Agent 基准。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 16 个前沿模型，包含 500 天完整轨迹比对、行为量化剖析及竞品/周期/框架三重消融。
写作质量: ⭐⭐⭐⭐⭐ 经济学机制建模严密规范，问题痛点阐述深刻，行为个案与代码分析极富启发性。
价值: ⭐⭐⭐⭐⭐ 为推动 Agent 从“单点短程代码工具”迈向“自主长程战略决策系统”树立了极具挑战性的里程碑。