The PokéAgent Challenge: Competitive and Long-Context Learning at Scale¶

会议: NeurIPS 2026
arXiv: 2603.15563
OpenReview: https://openreview.net/forum?id=j6gW9gBis0
代码: https://github.com/PokeAgent/pokeagent
领域: LLM 效率
关键词: 决策智能体, 强化学习, 长程规划, 部分可观测博弈, 宝可梦基准

一句话总结¶

PokéAgent 提出了包含“竞争性对战”与“RPG速通”的双赛道决策评测基准，发布了超 2200 万场轨迹与多智能体编排框架，揭示了通用大模型与专用强化学习/搜索算法之间的巨大鸿沟，并证明对战决策能力几乎与现有 49 项主流 LLM 基准正交。

研究背景与动机¶

部分可观测性、博弈论对抗推理以及超长程规划是序贯决策的核心难题，但现有基准往往只能独立考察单一维度。例如，德州扑克或花火（Hanabi）等非完全信息博弈侧重于短轮次内的纳什均衡求解，而 Minecraft（MineRL）或 NetHack 等开放世界测试虽强调自主探索，却普遍缺乏高度对抗的战略对手；同时绝大多数环境依赖简化的符号状态而非端到端视觉感知。真实世界的人机交互往往要求智能体兼具复杂隐藏信息的对抗博弈与跨越数千步操作的长期记忆管理。宝可梦兼具二者：对战赛道拥有约 $10^{564}$ 规模的状态空间、千余种宝可梦搭配的动态对抗环境；单人 RPG 战役则要求智能体在像素级视觉输入下完成长达数万步的资源管理与路径规划。

在 2025 年间，以 Claude Plays Pokémon、Gemini Plays Pokémon 以及 GPT-5 跑通 Pokémon Red 为代表的探索掀起了大模型具身游戏热潮。然而，这些研究高度碎片化：各团队采用不同世代游戏（红/蓝/水晶/绿宝石）、截然不同的脚手架（harness）与差异极大的评估口径（动作步数、用时、外部内存介入程度完全不同），致使学界根本无法将成功归因于基础模型本身、代理架构创新还是硬编码先验。更关键的是，虽然大模型预训练语料中充斥着宝可梦属性相克与数值公式等静态知识，但将其转化为部分可观测环境下的动态多步博弈是截然不同的分布外挑战。

为终结评测割裂并系统度量前沿 AI 决策能力，普林斯顿与 UT 奥斯汀等团队联合推出了标准化基准 PokéAgent Challenge。核心 idea：构建双赛道评测生态——对战赛道依托 Pokémon Showdown 检验非完全信息下的即时博弈与分布外适应，速通赛道依托 Pokémon Emerald 检验像素级长程具身规划与上下文压缩，并配套超 2200 万场对战数据集与模块化多智能体编排系统。

方法详解¶

整体框架¶

PokéAgent 基准由两个互补的赛道构成：竞争性对战赛道（Competitive Battling Track）与长上下文速通赛道（Long-Context Speedrunning Track）。对战赛道通过定制的独立 Pokémon Showdown 服务器运行双人零和对抗，覆盖初代（Gen 1 OU）与九代（Gen 9 OU）规则，输出历史全量 Bradley-Terry（FH-BT）与 Glicko-1 评分；速通赛道运行实时的 Game Boy Advance (GBA) 模拟器，智能体需在仅知晓基础队伍状态而缺失完整内存地图的限制下，从未白镇自主推进至击败卡那兹道馆馆主杜鹃（共 15 个里程碑），输出里程碑完成率、总动作步数与真实挂钟时间。

针对大模型在此类任务中面临的“无法闭环”与“长上下文崩溃”问题，基准提供了统一的多智能体编排架构。系统自底向上将游戏交互封装为 MCP（Model Context Protocol）低级动作工具，中层设置感知与反思模块，顶层由中央编排器维持长期规划并调度专业子智能体。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["环境输入<br/>Showdown状态 / GBA视觉帧"] --> B["双赛道标准化评测协议<br/>对战FH-BT排位 / 速通15里程碑"]
    B --> C["多智能体编排与上下文压缩<br/>中央编排器调度 + 20步滚动清理"]
    C --> D["专业化子智能体协同网络<br/>战斗/空间反思/任务核验/道馆解谜"]
    C --> E["底层MCP动作与先验引导工具<br/>A*寻路 / 记忆检索 / 引导手册"]
    D --> F["策略输出与实机执行<br/>选招换人 / 实时手柄按键序列"]
    E --> F
    F -->|状态流转与反思回环| A

关键设计¶

1. 双赛道评测协议与高保真对战数据集构建：兼顾即时对抗与长程规划
通用评测常因线上排位环境的非平稳性与稀疏对抗而充满噪声。针对这一痛点，对战赛道搭建了专属对抗服务器，推行两套控制规则：标准限时（60–90秒强制快速决策）与扩展计时（为大模型深度思考与搜索预留充足计算预算）。同时针对 Showdown 官方录像仅含旁观者视角的缺陷，研究团队通过逆向推演对局各方的隐蔽信息，重构出超 400 万场人类第一人称视角的完整强化学习轨迹，并注入 1800 万场自对弈轨迹及 20 万套竞技阵容。在技能度量上，团队摒弃了小样本下极不稳定的原生 Elo，采用基于全历史对局拟合的 Bradley-Terry 模型（FH-BT）与带置信区间的 Glicko-1，确保排名稳定收敛。

2. 层次化多智能体编排架构：解耦模型固有能力与工程脚手架
以往大模型玩宝可梦常将脚手架工程技巧与底模推理能力混为一谈。为实现公平的横向比较，基准提出了标准化的长程 RPG 多智能体编排系统。中央编排器维护全局主线、队伍养成与突发动态三条并行目标线，并集成 stuck 检测逻辑。当遭遇复杂瓶颈时，编排器动态调度四类专用子智能体：负责打击面与轮转判断的对战智能体、通过比对先验与地图信息排查卡死原因的反思智能体、防止主智能体“幻觉任务已完成”的独立核验智能体，以及针对复杂机关（如电击屏障）的道馆解谜智能体。底层交互完全通过 MCP 工具规范化暴露（状态获取、按键写入、带避障方差的 A* 寻路与持久化知识库检索），使学术界能清晰剖析不同大模型在同一基座上的真实决策边界。

3. 动态滑动窗口与自适应上下文压缩机制：攻克跨千步推理的上下文爆炸
RPG 探索历经数小时实机运行，累积的交互动作动辄数千步，极易导致大模型注意力分散、记忆退化与 API 费用失控。该设计引入了滑动窗口压缩策略：上下文历史仅完整保留最近 20 个回合的对话痕迹；超出阈值的信息强制执行压缩，剔除重复的冗余环境状态帧，仅提炼保留大模型关键判断理由与动作执行摘要。同时搭配重要性加权的持久化记忆单元，将关键 NPC 位置、道具存量与地图跳转点固化存储。在思考预算上支持动态调节（如 Deepest 方案中的自适应 Thinking Tool），常规巡路仅消耗 512 tokens，遇关键战斗或分支剧情动态扩充至 2048 tokens，从而在维持全局决策连贯性的同时大幅削减推理延迟与 Token 开销。

损失函数 / 训练策略¶

在基准提供的强化学习基线中，对战策略主要基于 Metamon 框架演进，使用 Transformer 架构通过离线强化学习（Offline RL）结合多实验经验回放（Replay Across Experiments）在大规模轨迹上优化；在 NeurIPS 2025 决赛中，冠军方案 PA-Agent 采用了迭代式离线 RL 与动态数据加权策略：从 100% 人类录像冷启动，经历 6 轮模型间对抗数据迭代，逐步将人类数据权重降低至 10%，避免低分录像干扰。而在速通赛道，冠军 Heatz 提出了脚本策略蒸馏（Scripted Policy Distillation, SPD）：先由大模型生成带可执行判定函数 $success\_cond(s)$ 的子目标脚本，再利用 Qwen3-VL-8B 视觉辅助迭代修正，最后通过专家轨迹种子初始化 Replay Buffer 并结合退火探索率 $\epsilon \in [0.1, 0]$ 的 DQN 策略进行模仿与强化微调，将符号规划能力高效蒸馏为高吞吐神经网络。

实验关键数据¶

主实验¶

在 NeurIPS 2025 官方挑战赛中，全球超 100 支队伍展开对抗，基准对主流模型、参赛算法及人类基线进行了详尽对比。

赛道 / 规则	评测模型 / 参赛方案	类型	关键指标（胜率/用时）	对战等级/动作步数
对战 Gen 1 OU	PA-Agent (冠军)	迭代离线 RL (Transformer)	80.35% GXE (排位第1)	决赛 50:28 夺冠
对战 Gen 1 OU	4thLesson (亚军)	Kron优化器+AID激活 RL	78.42% GXE	决赛亚军
对战 Gen 1 OU	SyntheticRLV2 (主办方基线)	200M Transformer RL	77.0% GXE	人类天梯高段位
对战 Gen 9 OU	FoulPlay (冠军)	Rust MCTS + DUCT + 击杀分组	>80.0% GXE / 1879 Elo	决赛 50:14 夺冠
对战 Gen 9 OU	Team Q (亚军)	50M 机制-策略两阶段课程 RL	~80.0% GXE (v6)	决赛亚军
对战 Gen 9 OU	Kakuna (主办方基线)	142M Transformer RL	71.0% GXE	顶级自对弈基线
对战 Gen 9 OU	Gemini 3.1 Pro (PokéChamp)	前沿 LLM + 极小化极大搜索	64.2% GXE	平均 21.1 回合 ($0.066/局)
对战 Gen 9 OU	GPT-5.2 (PokéChamp)	前沿 LLM + 极小化极大搜索	61.8% GXE	平均 17.8 回合 ($1.247/局)
速通 Emerald	Heatz (速通冠军)	脚本策略蒸馏 (SPD, LLM+RL)	40分13秒 (100% 完成)	1,608 步
速通 Emerald	Hamburg PokéRunners (亚军)	循环 PPO (CNN+LSTM+里程碑向量)	1小时14分43秒 (100%)	纯强化学习
速通 Emerald	Anthonys (季军)	分阶段提示词 + A* 寻路 LLM	1小时29分17秒 (100%)	纯 LLM 方案最快
速通 Emerald	Deepest (裁判特奖)	Gemini 2.5 Flash + 引导手册 + 工具	2小时04分29秒 (100%)	649 步 (样本效率第一)
速通 Emerald	人类速通记录 / 平均人类	人类专家	18分00秒 / 1小时22分05秒	人类操作基准
速通 Emerald	裸大模型 (无 Harness)	纯前沿 VLM (Claude/GPT/Gemini)	0% 完成率 (卡死/死循环)	无法走出初始区域

消融实验¶

针对对战赛道大模型推理成本、脚手架增益以及 BenchPress 49 项基准正交性分析，论文给出了关键测试与消融：

评估维度 / 设定	核心指标表现	机制效应说明
Gemma3-1B 裸跑对战	29% GXE	缺乏外部知识和状态转化，无法做出合理解释
Gemma3-1B + PokéChamp 脚手架	53% GXE (+24% GXE)	极小化极大搜索与 Smogon 先验显著弥补小模型能力缺陷
Gemini 3 Flash 裸跑 vs 脚手架	71% GXE (基础对战极强)	前沿模型具良好先验，但对复杂博弈仍依赖搜索增强
CLI 编码 Agent (Claude Code / Codex CLI)	速通完成率近乎为 0	通用代码脚手架缺乏长期目标锚定与里程碑空间重构能力
外部 Wiki 实时搜索接入 (知识检索工具)	决策质量出现负向退化	检索到跨世代不一致规则导致知识冲突，模型产生幻觉
BenchPress 49 基准 SVD 解释方差	标准基准解释度 91%	传统 LLM 评测矩阵高度低秩（Rank-2 即可预测大部分基准）
BenchPress 对齐 Pokémon GXE	解释度暴跌至 27%	最大 Spearman $\rho=0.77$，平均仅 0.45，显现高度能力正交性

关键发现¶

专用 RL 与搜索方法显著碾压通用 LLM：在对战和速通两个赛道中，前沿 LLM 均未登顶。对战中以 Rust 高性能引擎运行 MCTS 的 FoulPlay 与纯离线 RL 训练的 PA-Agent 统治赛场；速通中冠军 Heatz 仅将 LLM 作为先验分解器，核心推进依赖蒸馏后的神经网络，其 40 分 13 秒的成绩比纯 LLM 冠军（Anthonys，1小时29分）快了一倍以上。
评测正交性揭示了传统 NLP 基准的盲区：将 Pokémon 对战的 GXE 评分纳入 BenchPress 49 项大模型评测矩阵后，传统能解释 91% 方差的二阶主成分对宝可梦对战的解释度断崖式下跌至 27%。在常规代码或数学测试中名列前茅的若干模型在对战中惨遭崩溃，证实竞争性博弈评估了传统静态基准完全无法测度的隐藏信息对抗能力。
大模型长程具身中的“病态行为模式”：多轮动态对抗暴露出大模型独特的崩溃现象——面对劣势，弱小模型出现“恐慌行为”（Panic Behavior），错误决策连锁蔓延；Claude 易陷入“记忆污染级联”，一旦单步幻觉进入上下文便难以自拔；Gemini 易在矛盾目标间反复横跳（Goal Oscillation）；GPT 表现出过度的计划沉没成本偏执；而 Qwen 系列则在对战高压下产生“计算瘫痪”，在单回合内耗费大量 Token 递归验证基础属性克制导致超时判负。

亮点与洞察¶

将 LLM 转化为探索先验，由 RL 完成最终加速（Scripted Policy Distillation）：冠军 Heatz 证明了大模型最擅长宏观目标解构与初始脚本合成，而强化学习在低级连续控制与执行效率优化上具有绝对优势。这种“LLM 规划先验 + RL 策略蒸馏”的组合拳范式，为长程稀疏奖励具身智能提供了极具启发性的通用解法。
碰撞与击杀导向的状态折叠剪枝（Damage Roll Grouping）：FoulPlay 在自研 Rust 引擎 poke-engine 中颠覆了传统穷举博弈树的思维，将 16 种伤害随机数和暴击概率按“是否达成击杀（Knockout）”进行定性聚类，从而将原本指数级膨胀的分支因子急剧压缩，实现了 10 步以上的深层 MCTS 搜索。
从打榜竞赛无缝演进为常态化活体基准（Living Benchmark）：项目并未止步于单次学术竞赛，而是将对战服务器、多智能体框架、离线评估镜像与持续更新的排行榜完全开源，为博弈对抗与超长上下文具身推理设立了高标准开放平台。

局限与展望¶

视觉感知与空间定位瓶颈（VLM-SLAM 缺失）：速通智能体频繁卡死于地图死角、NPC 动态碰撞和台阶障碍，当前 VLM 缺乏统一的空间度量感，亟需构建融合视觉-语言接口的轻量级实机 SLAM 定位体系。
对战中大模型与 RL 的巨大性能差距：纯 LLM 在高阶对战中极难精确推算对手隐式努力值分配、速度线制约与伤害期望，未来亟需探索结合大模型泛化直觉与符号化物理/伤害计算引擎的混合神经符号系统。
全流程长程通关仍高度依赖工程脚手架：目前即使是最先进的专有模型，脱离了高度定制的编排脚手架也无法走出新手村，而在完全不借助商业 API 的前提下依靠开源模型跑通全流程尚未实现。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立兼具不完全信息竞技对战与超长程 RPG 速通的标准化宝可梦双赛道基准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 100+ 参赛团队、2200万+ 训练轨迹、多种大模型与强化学习算法的长期实机检验。
写作质量: ⭐⭐⭐⭐⭐ 体系结构清晰，状态空间数学推导严谨，对大模型独特失效模式的剖析入木三分。
价值: ⭐⭐⭐⭐⭐ 彻底解耦了脚手架与基础模型能力，其评测正交性为未来通用智能体的博弈规划评估树立了标杆。