跳转至

Agentick: A Unified Benchmark for General Sequential Decision-Making Agents

会议: NeurIPS 2026
arXiv: 2605.06869
OpenReview: https://openreview.net/forum?id=uQfa6HnJkS
代码: https://roger-creus.github.io/agentick/board/
领域: LLM Agent
关键词: 序列决策 (Sequential Decision-Making), 智能体基准 (Agent Benchmark), 跨范式评测 (Cross-Paradigm Evaluation), 强化学习 (Reinforcement Learning), 具身推理 (Embodied Reasoning)

一句话总结

Agentick 是一个统一的通用序列决策智能体基准，通过跨越 6 大能力维度、4 个难度等级和 5 种同步观测模态的 37 个程序化生成任务，统一评测强化学习（RL）、大语言模型（LLM）、多模态模型（VLM）与混合范式智能体。

研究背景与动机

自主智能体研究目前横跨两条截然不同的技术路线。在控制主导的一端，深度强化学习（RL，如 PPO、DQN、SAC）通过在环境中从零试错交互，在雅达利游戏、连续控制以及星际争霸等对抗博弈中达到超人水准；然而深度 RL 面临极高的样本复杂度、缺乏通用先验，且在复杂环境下面临严重的优化不稳定性。在认知推理的另一端，基于大语言模型（LLM）与视觉语言模型（VLM）的基础模型智能体借助互联网规模预训练获得的广泛常识与推理能力，通过提示工程与推理期扩展展现出零样本决策潜力；但基础模型从未针对长期精准控制做过适应，在需要精确动作、时序回溯与物理因果交互的长程任务中表现极其脆弱。两端之间催生了丰富的混合范式（如基于基础模型的奖励塑形、技能发现与序列强化学习后训练），但研究界始终缺乏一个能够将从零学习的强化学习、冻结基础模型以及微调混合智能体置于完全对等语义环境下对比的评测基准。

现有评测环境的割裂加剧了这种范式鸿沟。传统的 RL 基准（如 ALE、DM Control、MiniGrid、MiniHack、Crafter）原生为像素或状态向量控制设计，无法直接提供适配 LLM/VLM 的文本与符号语义；而后来的 BALROG 虽然尝试为部分 RL 游戏封装文本接口，但缺乏针对核心认知能力的解构性任务设计，更无法提供跨模态的严格对齐；另一类兴起的强化学习验证环境（RLVR，如 MATH、HumanEval、Reasoning Gym）多局限于单步、确定性、无部分可观测性的静态推理问题，完全避开了序列决策中核心的探索、时序信用分配（credit assignment）、部分可观测性与多智能体协同挑战。

造成跨范式智能体无法公正对比的核心矛盾在于：不同智能体对观测模态（像素、文本、结构化状态）与动作交互协议的依赖各异，缺乏一套任务语义、环境动态、种子实例与归一化指标严格一致的公共实验底座。核心 idea：构建首个对齐全范式智能体的统一序列决策基准 Agentick，解构 6 大核心决策能力与 4 级难度，通过五种同步观测模态、可编程 Coding API 及预制 Oracle 轨迹数据集，为跨范式评测与大模型序列强化学习（RLVR）提供标准化基础设施。

方法详解

整体框架

Agentick 围绕 Gymnasium 原生接口构建，从底层彻底解耦了环境状态仿真与智能体交互接口。环境内部维护一致的 2D 离散网格世界动力学，每个交互步骤根据全局状态同时派生出 5 种完全同步的观测模态，供不同范式的智能体消费。评测流程通过 37 项程序化生成任务覆盖 6 大核心能力维度，各任务均划分 4 个受控难度等级，并基于确定性种子哈希生成严格一致的评测回合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["程序化环境状态生成<br/>37个任务 × 4级难度 × 25个确定性评测种子"] --> B["多模态同步感知接口<br/>ASCII / 自然语言 / 结构化字典 / 像素渲染 / 原始状态"]
    B --> C["模块化智能体 Harness<br/>解耦观测格式化、推理链Prompting与动作解析"]
    C --> D["跨范式智能体决策<br/>从零训练RL / 冻结Frontier LLM / LoRA SFT微调模型"]
    E["可编程 Coding API 与 Oracle 策略<br/>BFS寻路与空间逻辑查询 / 预制120k-500k专家轨迹"] -.->|提供专家动作与标定基准| F["Oracle归一化评分 (ONS)<br/>跨任务难度统一标定与六维能力雷达剖析"]
    D --> F

针对基准的通用评测与训练需求，Agentick 设计了可编程 Coding API（AgentickAPI）以构建全任务的近最优 Oracle 参考策略，并基于此生成大规模专家轨迹数据集；评测指标采用校准的 Oracle 归一化得分（ONS），将随机基线映射为 0.0、Oracle 表现映射为 1.0，从而在不同任务与奖励尺度间实现可比较的跨范式雷达图分析。

关键设计

1. 多模态同步感知接口：消除跨范式交互偏差的统一环境契约

以往基准若想评测 LLM 往往只能通过后期包装文本，导致文本描述与底层游戏状态时延或语义不对齐。Agentick 在环境每一步交互中，由统一的网格世界底层状态同步生成 5 种观测： - ASCII 字符网格：紧凑的带图例着色字符矩阵（如以 Kg 表示金钥匙、Dg 表示金门、^ 表示朝北智能体），适合 LLM 空间感知； - 自然语言描述：结构化空间方位描述（如“你位于11×11房间西侧，朝北，正前方1步有一把金钥匙”），专为纯语言模型设计； - 结构化语言字典：包含坐标、距离、朝向及可见实体列表的 JSON 解析字典，供结构化/程序化智能体直接调用； - 等轴像素渲染：原生 512×512 RGB 等轴透视渲染，供 VLM 智能体、CNN-RL 策略及人类使用（经 ALE 约定预处理为 84×84 灰度帧堆叠）； - 原始状态数组：地形、实体遮罩与元数据的 NumPy 阵列，供经典 RL 与符号规划器高效向量化训练。 这种同步机制确保所有智能体面对完全相同的时空拓扑和物理转移逻辑，实验变量仅取决于模型自身架构与表征形式。

2. 六大决策能力解构与程序化难度分级：从局部控制到系统泛化

为了告别单一标量指标遮蔽模型真实短板的缺陷，Agentick 将 37 项任务正交解构为 6 大能力维度： - 导航（Navigation，8 题）：包含 GoToGoal、MazeNavigation、ShortestPath 等，考察空间寻路、反应式避障与指令依从； - 规划（Planning，9 题）：包含 SokobanPush、KeyDoorPuzzle、BacktrackPuzzle、TileSorting 等，考察长程多步前瞻、约束满足与回溯搜索； - 推理（Reasoning，8 题）：包含 SwitchCircuit、LightsOut、GraphColoring、DeceptiveReward 等，考察组合逻辑、图染色与抵抗局部欺骗性奖励； - 记忆（Memory，4 题）：包含 SequenceMemory、DelayedGratification、FogOfWarExploration 等，在部分可观测迷雾下测试长程时序信息维持； - 泛化（Generalization，3 题）：包含 FewShotAdaptation、DistributionShift、NoisyObservation，测试规则少样本推断、动力学漂移与噪声鲁棒性； - 多智能体（Multi-Agent，5 题）：包含 CooperativeTransport、TagHunt、ChaseEvade、Herding 等，测试与具有多样化行为模式的脚本对手或合作者的博弈。

各任务设计了 Easy、Medium、Hard、Expert 4 级难度，通过程序化生成参数连续调节网格尺寸（如从 7×7 缩放到 25×25）、约束链条深度、干扰物数量及步数预算，而非人工硬编码关卡。官方评测使用各任务-难度专属的 25 个确定性 SHA-256 哈希种子（共 3,700 个评测回合），外加 2,000 个独立训练种子，杜绝记忆化过拟合。

3. 可编程 Coding API 与 Oracle 策略：可解释专家轨迹与数据驱动基础设施

基准内置了名为 AgentickAPI 的 Pythonic 可编程接口，封装了智能体空间坐标、朝向查询、BFS 最短路径搜索（api.path_to）、最近实体检索（api.get_nearest）与动作执行原语（api.interact_with）。利用该 API，作者为全部 37 项任务编写了完全可解释的算法级 Oracle 参考策略（如基于最短路规划与颜色依赖树的解析器）。 这些 Oracle 策略兼具双重使命：首先，它们生成了 120k、250k 及 500k 回合的多模态专家离线轨迹数据集（发布于 HuggingFace，包含 Croissant 负责任 AI 元数据），直接赋能行为克隆（BC）与 LoRA 监督微调（SFT）；其次，它们界定了环境的经验最优上界，构成了标准化评测指标 Oracle 归一化得分（ONS） 的分母：

\[\text{ONS} = \frac{\text{agent\_return} - \text{random\_baseline}}{\text{oracle\_return} - \text{random\_baseline}}\]

其中随机动作基准得分定为 0.0，Oracle 得分定为 1.0（若智能体策略在随机探索环境下超越 Oracle 则 ONS > 1.0）。ONS 实现了不同任务内在奖励量级与难度阶梯的全局对齐。

4. 模块化智能体 Harness 与推理策略解耦：提示工程与思维链的系统化控制

Agentick 提出了解耦模型底座与推理时策略的 Harness 抽象架构。基类 BaseAgent 将后端模型（OpenAI、Gemini、Anthropic 或本地 vLLM）与预设 HarnessPreset 组装： - Markovian 预设：智能体在每一步仅接收当前单帧观测，完全不引入中间思维链与历史记录，直接输出单个整数动作标量（0: NOOP, 1: UP, 2: DOWN, 3: LEFT, 4: RIGHT, 5: INTERACT）； - Markovian Reasoner 预设：保持无记忆属性，但在输入 Prompt 中显式诱导 2–4 句的精简思维链（CoT，包含“我看到了什么、我的目标是什么、哪个动作最能推进目标”），并在末行强制以 ACTION: <n> 格式输出动作。 这种将提示设计、历史管理与模型参数隔离的机制，使得研究者能够精确消融“提示策略”与“模型内在能力”的贡献比。

实验关键数据

主实验

基准在 31 种配置下评测了 108,550 个完整交互回合，覆盖冻结 Frontier LLM（通过 API 采样，temperature=0）、从像素直接训练的 PPO（A100 训练 2M 步，ALE 预处理）以及在 Oracle 轨迹上进行 LoRA 微调的开源模型（Qwen3.5-4B）。

智能体 / 配置 导航 (Nav.) 规划 (Plan.) 推理 (Reas.) 记忆 (Mem.) 泛化 (Gen.) 多智能体 (Multi.) 总体 ONS 95% 置信区间
SFT-250k (Qwen3.5-4B) 0.568 0.557 0.445 0.413 0.350 0.348 0.447 [0.38, 0.52]
SFT-120k (Qwen3.5-4B) 0.428 0.459 0.350 0.288 0.357 0.246 0.354 [0.29, 0.41]
GPT-5 mini (ASCII Reasoner) 0.456 0.334 0.131 0.348 0.437 0.150 0.309 –
PPO (2M 步, 像素输入) 0.250 0.402 0.191 0.283 0.163 0.432 0.287 [0.21, 0.37]
Qwen3.5-4B (ASCII Reasoner) 0.223 0.313 0.124 0.248 0.327 0.134 0.228 [0.16, 0.29]
PPO (500k 步, 像素输入) 0.193 0.300 0.153 0.228 0.130 0.352 0.226 [0.17, 0.29]
Gemini 3.1 Flash Lite 0.238 0.249 0.090 0.163 0.287 0.098 0.187 [0.13, 0.25]
Qwen3.5-2B (ASCII Reasoner) 0.136 0.237 0.048 0.213 0.133 0.032 0.133 [0.07, 0.19]
Qwen3.5-0.8B (ASCII Reasoner) 0.069 0.164 0.021 0.133 0.143 0.036 0.094 [0.05, 0.14]
Qwen3-4B (ASCII Reasoner) 0.073 0.106 0.005 0.153 0.133 0.038 0.085 –

消融实验

1. 观测模态与推理 Harness 消融（Qwen 模型家族）

通过固定任务与环境随机种子，消融 ASCII 字符图与自然语言描述，以及是否启用思维链推理（Markovian vs. Reasoner）：

模型底座 观测模态 Harness 策略 总体 ONS 得分 策略倍率 / 模态对比说明
Qwen3.5-4B ASCII Markovian (Direct) 0.023 无 CoT 时仅具微弱反应式能力
Qwen3.5-4B ASCII Markovian Reasoner 0.228 提升近 10×，推理链极大释放空间规划能力
Qwen3.5-4B Natural Language Markovian Reasoner 0.181 ASCII 显著优于自然语言（+0.047 ONS）
Qwen3.5-0.8B ASCII Markovian (Direct) 0.020 基线极低
Qwen3.5-0.8B ASCII Markovian Reasoner 0.094 提升 4.7×；甚至超越上一代大模型 Qwen3-4B (0.085)

2. 受控难度等级递减验证（平均成功率）

智能体 简单 (Easy) 中等 (Medium) 困难 (Hard) 专家 (Expert) Easy → Expert 降幅
GPT-5 mini 0.494 0.332 0.223 0.189 -61.8%
PPO (2M 步) 0.606 0.277 0.160 0.104 -82.8%
Qwen3.5-4B (Base) 0.445 0.259 0.110 0.098 -78.0%
SFT-250k 0.647 0.467 0.369 0.303 -53.1%
全模型均值 0.548 0.334 0.215 0.173 -68.3%

关键发现

  1. 范式间能力互补且无单一霸主：在总体表现上，Oracle 轨迹微调模型 SFT-250k 以 0.447 ONS 领跑全场，并统治了导航、规划、推理与记忆四项技能；但涉及规则外推与分布漂移的泛化任务由未接触过该环境的冻结闭源大模型 GPT-5 mini (0.437) 夺冠；而在需要动态连续博弈的多智能体对抗与协作中，通过 2 亿步环境交互探索的 PPO (0.432) 显著优于所有 LLM 方案（大模型平均低于 0.150）。
  2. 符号空间表征优于自然语言叙述：在完全相同的模型与任务设置下，ASCII 文本网格全面优于长篇自然语言描述（如 Qwen3.5-4B 上 0.228 vs. 0.181）。二维网格在保留空间相对坐标、邻域遮挡拓扑与紧凑语义上有独特优势，冗长的自然语言反而给序列注意力引入了冗余干扰。
  3. SFT 抹平了显式思维链的需求差距：对于冻结的预训练 Qwen3.5-4B，Reasoner Harness 相比直接输出动作带来了从 0.023 到 0.228 的巨大增益（差距 0.205）；但经过 250k 步 Oracle 状态-动作微调后，直接输出动作的 Markovian 策略达到 0.447，与带有 Reasoner 的 0.444 基本持平（差距收窄至 0.003）。这表明模仿学习已将复杂的空间寻路启发式规则内化为权重层面的“反射式直觉”，不再高度依赖推理期长文本生成。
  4. 纯提示词（Prompting）在形式化推理上的绝对局限：在 Hard 难度的推理任务中，包括 GPT-5 mini、Gemini 3.1 Flash Lite 和 Claude Haiku 4.5 在内的所有 Frontier 模型在图染色（GraphColoring）、关灯问题（LightsOut）、开关电路（SwitchCircuit）、程序合成（ProgramSynthesis）与符号匹配（SymbolMatching）上全部遭遇了 0.0% 成功率，证明纯依赖提示词无法实现长程约束追踪与系统性穷举回溯。

亮点与洞察

  • 真正的跨范式“共同实验底座”：以往 RL 与 LLM 论文相互割裂，各用各的 benchmark（ALE 对比 WebArena/SWE-bench）。Agentick 通过 5 种完全同步的等价观测接口与 Gymnasium 协议，首次让 CNN-RL、开源轻量小模型、前沿闭源大模型与 SFT 策略在完全一致的时空转移概率和种子下较量。
  • 训练优先（Training-first）设计赋能大模型 RLVR：不仅用于评测，基准提供高效向量化环境、全任务近最优的可解释 Pythonic Coding API 规则解算器，以及从 120k 到 500k 的完整轨迹池。这解决了当前大模型强化学习（RLVR）高度集中在单步数学/代码验证、缺乏高难度序列决策与部分可观测探索场景的行业瓶颈。
  • 雷达图能力解构直击模型痛点：通过 6 大正交维度评测，能够直观暴露前沿 LLM 空间记忆弱、动态博弈极差的软肋，以及纯 RL 缺乏跨任务零样本泛化常识的缺陷，为后续混合具身智能体研发提供了清晰的诊断探针。

局限与展望

  • 2D 网格离散世界抽象：为了寻求跨 RL、LLM、VLM 与人类通用评测的最大公约数，任务局限于离散步进的二维网格，缺乏连续运动学控制、高维物理接触与实时连续时间动力学建模。
  • 多智能体博弈策略仍为预设脚本：目前多智能体任务中的对抗者与协作者多采用硬编码行为树与有限状态机，未能展现多智能体共同演化（Co-evolution）与自适应涌现博弈。
  • 观测模态信息未达绝对信息论对等：尽管底层动力学状态完全一致，但三维等轴透视像素渲染由于视角投影原因可能在某些遮挡瓦片上产生歧义，使得直接评估 VLM 存在额外视觉解码挑战。
  • 未来方向：作者团队计划进一步拓展基准支持多模态 VLM 等轴渲染端到端评测、大模型序列强化学习（RL post-training / PPO on LLM），以及利用 Agentick 基础算子自动化构建开放式长程任务。

相关工作与启发

  • vs. BALROG (Paglieri et al., 2024)：BALROG 是将现成的 6 款旧 RL 游戏（BabyAI、Crafter、NetHack 等）通过简单文本封装供大模型评测，缺乏针对性能力分类解构，环境间异质性极高且未提供训练基础设施；Agentick 则完全从底层定制了 37 个程序化任务，原生同步输出 5 种模态，并配套了 Oracle 求解器与微调数据集。
  • vs. MiniGrid / MiniHack (Chevalier-Boisvert et al., 2023; Samvelyan et al., 2021)：MiniGrid 和 MiniHack 专为强化学习设计，缺乏对 LLM/VLM 的原生语言语义对齐与标准化 Harness；Agentick 继承了其轻量与模块化设计，但补齐了跨范式交互接口、提示链基线与统一的 ONS 校准标准。
  • vs. RLVR 训练环境 (MATH, HumanEval, Reasoning Gym)：当前的语言模型可验证强化学习环境绝大多数是单步或短程确定性任务；Agentick 提供了支持部分可观测、长视野步数预算（20–800步）、动态随机扰动与探索挑战的交互式真序列强化学习训练场。

评分

  • 新颖性: ⭐⭐⭐⭐⭐（首次彻底打通 RL、LLM、VLM 全范式同台竞技的统一序列决策环境，5 模态同步与 ONS 标定设计极佳）
  • 实验充分度: ⭐⭐⭐⭐⭐（横跨 31 种配置、108,550 个评测回合，全难度、全任务消融完整，兼顾开源微调、商业前沿模型与 2 亿步 RL）
  • 写作质量: ⭐⭐⭐⭐⭐（问题阐述极其清晰，动机深刻，附录任务描述、Coding API 文档与实验曲线完备详实）
  • 价值: ⭐⭐⭐⭐⭐（为大模型后训练进入真序列决策/具身强化学习领域提供了至关重要的开源基础设施与评测标杆）

相关论文