Gym-Anything: Turn Any Software into an Agent Environment¶

会议: NeurIPS 2026
arXiv: 2604.06126
代码: https://cmu-l3.github.io/gym-anything
领域: LLM Agent
关键词: 计算机使用智能体, 环境构建, 多智能体系统, 长程任务基准, 视觉语言模型

一句话总结¶

提出 Gym-Anything 自动化环境构建框架与“创建-审计”多智能体反馈闭环，基于真实 GDP 经济数据自动化将 200 款跨领域软件转化为计算机交互环境，构建了包含万余项长程任务的 CUA-World 与高难基准 CUA-World-Long。

研究背景与动机¶

计算机使用智能体（Computer-Use Agents, CUAs，亦称图形用户界面 GUI 智能体）被寄予自动化处理数字化密集型经济活动的厚望。然而，现有关于 GUI 智能体的评测与微调训练主要局限于极短视野、低经济价值的玩具任务，例如更改桌面壁纸、填写简单表单或检索商品列表等，受测软件也仅仅覆盖少数几款消费级应用或玩具网页环境。这种脱节导致现有高分评测无法真实反映智能体在复杂生产力软件中的专业作业能力，同时也因为缺乏多样化、长程交互的轨迹数据而限制了通用智能体的进阶训练。

构建贴近真实专业场景的高质量评测与训练环境面临极高的技术壁垒。现实生产中的专业工作流（如医疗影像分析系统或企业资源计划 ERP 系统）具有异构性强、依赖特定领域标注数据与后台服务的特点，通常需要数百步长程交互。以往手动安装配置每款专业软件并固化 VM 快照的流程平均耗费专业人员数周时间，导致环境无法模块化复用或版本控制，成本高昂且扩展性极差。

面对环境规模化扩展的核心瓶颈，本文的核心切入点是将“环境搭建与配置”本身定义为一个代码生成与计算机使用任务。通过标准化的脚本抽象，将底层异构运维转化为智能体可执行的操作。核心 idea：基于美国 GDP 职业数据驱动的软件遴选，通过“创建智能体编写脚本与落地证据 + 对抗审计智能体依据清单核验 + 共享记忆沉淀经验”的多智能体闭环，将任意真实软件全自动转化为具备特权信息评分机制的标准化计算机交互环境。

方法详解¶

整体框架¶

Gym-Anything 的核心目标是将任意给定的现实专业软件全自动转化为支持 Gym 交互规范的强化学习/评测环境，并规模化合成具备真实验收依据的长程任务。整个管线包含四个阶段：(1) 基于数字经济 GDP 归因的多层级软件遴选；(2) 由创建智能体（$\text{Agent}_C$）与审计智能体（$\text{Agent}_{\text{audit}}$）协同演进的环境构建-审计闭环；(3) 结合强智能体种子生成与非智能体模型扩展的“提议-放大（Propose-and-Amplify）”任务生成流水线；(4) 结合安装元数据特权信息与细粒度评分准则的 VLM 检验器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["美国职业就业与工资数据 (O*NET/BLS)"] --> B["基于数字经济 GDP 归因的软件遴选<br/>全美职业映射→GDP分解→沙盒化过滤→分层抽样"]
    B --> C["分层环境抽象规范<br/>install.sh + configure.sh + task_setup.sh + config.yaml"]
    C --> D["创建-审计双智能体闭环与共享经验记忆<br/>Agent_C 编写脚本与采集截图 ↔ Agent_audit 依据核验清单对抗审核"]
    D --> E["提议-放大任务生成与特权信息自动化提取<br/>Opus 探索生成高质量种子任务 → Gemini 扩增 → 提取底层事实"]
    E --> F["细粒度清单式 VLM 验收与完整性审查<br/>加权子任务得分核算 + 违规绕过一票否决"]
    F --> G["标准化 CUA-World 环境与任务集输出"]

关键设计¶

1. 基于数字经济 GDP 归因的软件遴选：打破玩具场景限制，锚定高经济价值应用 为了彻底解决基准软件分布与真实经济活动严重脱节的痛点，设计了基于美国数字经济 GDP 数据的量化软件筛选流程。首先从 O*NET 和美国劳工统计局（BLS）获取全美 900 多个标准化职业的就业人数与平均薪酬，计算职业工资总额并缩放对齐至全美数字化 GDP。随后利用联网 LLM 检索每一职业日常依赖的软件类别与具体工具，形成包含 1,400 个类别、16,600 款软件的应用池。为了精确度量每款软件对 GDP 的贡献，提出如下分解公式：

\[\text{GDP}_{\text{software}} = \sum_{\text{occ}} \text{GDP}_{\text{occ}} \times p_{\text{computer}} \times s_{\text{category}} \times s_{\text{software}}\]

其中 $p_{\text{computer}}$ 表示该职业需要使用计算机工作的工时占比，$s_{\text{category}}$ 表示计算机工作中该特定软件类别的权重，$s_{\text{software}}$ 表示软件在对应类别中的市场份额。在计算出经济贡献后，流程对软件进行沙盒化能力过滤（要求支持自托管、具备免费版本、拥有原生 GUI 且不依赖专有不可模拟硬件），无法直接沙盒化的则以同类开源/免费软件等价替换。最后采用包含战略行业（医疗、教育等）、STEM 领域与 22 个 SOC 职业大类全覆盖的分层抽样策略，最终选定 200 款具有高度代表性的核心应用。

2. 分层环境抽象规范：将异构系统部署解耦为三阶段无状态声明 传统环境通过虚拟机全量快照（VM Snapshot）固化，存在黑盒不透明、存储开销巨大、无法进行版本控制及复用性差的问题。Gym-Anything 提出了分层规范，将跨 Linux、Windows、Android 系统的任意复杂应用统一拆解为三个依次执行的 Shell 脚本与一个声明式配置文件： - install.sh：负责软件本体、底层系统库及其运行环境的静默安装； - configure.sh：负责获取真实业务数据（如开源医疗影像数据、公开财务报表、公开邮件归档）、初始化数据库结构并完成全局参数调优； - task_setup.sh：根据具体评测任务的需求，注入特定的初始状态或打开目标窗口。

通过这种规范拆解，上层智能体仅需专注于编写面向软件的轻量脚本，而容器编排、X11 虚拟显示转发、进程网络隔离与多级快照缓存均由底层统一调度引擎托管。同款软件下的数千个不同任务可以完全共享前两个阶段的构建缓存，支持在无 root 权限集群（如 Slurm + Apptainer）上进行单机数百路的高并发并行交互。

3. 创建-审计双智能体闭环与共享经验记忆：克服自评偏差与上下文疲劳 若仅依靠单个大模型编写安装与配置脚本，智能体会因为长上下文疲劳而频繁出现提早宣告完成、填充伪造假数据或停留在报错弹窗等问题。为此设计了基于对抗模式的“创建-审计”双智能体协同架构。创建智能体（$\text{Agent}_C$）负责查阅文档、下载真实数据集、编写三阶段配置脚本，并在后台无头运行软件以截取屏幕画面和日志，生成客观安装证据链。对抗审计智能体（$\text{Agent}_{\text{audit}}$）则独立加载环境配置与证据链，严格对照预设的工程质量清单进行盲审（检查界面是否停滞在初次引导页、数据是否真实有效、进程是否崩溃等）。

两者的交互经验被实时沉淀至全局共享记忆库 $M$ 中。记忆分为软件专用排错记录 $M_{\text{soft}}$ 与通用工程策略 $M_{\text{general}}$。当后续智能体遇到同类技术栈（例如 Web 系统需要等待后端就绪轮询探针）时，可直接复用已有经验。为了防止多环境并发构建导致上下文急剧膨胀，引入记忆提炼智能体（$\text{Agent}_{\text{summ}}$）定期提取共性经验，保证了构建耗时随着软件数量增长呈现亚线性趋势。

4. 提议-放大任务生成与特权信息自动化提取：低成本高质量扩增真实任务 为了在已构建好的 200 款软件环境中构建数以万计的复杂任务，本文提出了两段式“提议-放大”策略。首先由强推理模型（Claude Opus 4.5/4.6）扮演提议者，深入软件交互全流程，为每款软件探索并创建约 5 个高质量、具备长程交互深度的基准种子任务（Seed Tasks）；随后利用轻量推理模型（Gemini 3 Pro）以这些种子作为上下文示例，批量放大扩充至每款软件约 75 个任务。针对放大任务可能出现的同质化与不可执行问题，一方面在提示词中维护已有任务上下文并执行语义相似度去重，另一方面在任务初始化时自动截取第一帧渲染画面交由视觉语言模型进行可执行性过滤。

在此过程中，自动化信息提取智能体深入解析软件的初始化脚本与数据集元数据，自动抓取任务执行背后的基准真值并固化为“特权信息”（Privileged Information $\mathcal{I} = \text{Extract}(\mathcal{S}, p)$）。例如医疗 CT 切片中肿瘤的预设坐标、财务系统中特定的结算总额等。待测智能体在推理交互时无法访问特权信息，而验证模块则能基于该真值精确评判操作结果。

5. 细粒度清单式 VLM 验收与完整性审查：实现可解释的部分赋分与防作弊校验 传统的 GUI 任务评测通常依赖黑盒端到端脚本断言，开发工作量极大且只能给出二元对错，无法对复杂长程任务进行梯度评估。本文将特权信息 $\mathcal{I}$、任务指令 $p$ 与评测轨迹 $\tau$ 结合，生成包含 $N$ 个具体子项的加权验证清单 $C = \{(c_i, w_i)\}_{i=1}^N$，由多模态验证器核算得分：

\[V(\tau) = \sum_{i=1}^N w_i \cdot \text{VLM}(\tau, c_i, \mathcal{I})\]

为了防止智能体绕过正常的 GUI 操作流程（例如直接在终端修改后台配置文件、利用未隔离环境痕迹读取结果或硬编码伪造数据），评测体系并行引入了完整性审查准则 $C_{\text{int}}$。当且仅当智能体完全遵循目标软件的原生 UI 交互路径时得分方为有效；一旦触发完整性违规判定，最终得分直接强制置零：

\[V_{\text{final}}(\tau) = \begin{cases} V(\tau), & \text{if } \text{IntegrityCheck}(\tau, C_{\text{int}}) = \text{PASS} \\ 0, & \text{otherwise} \end{cases}\]

一个完整示例：天文图像光度分析任务¶

以天文学专业测光软件 AstroImageJ 的自动化环境搭建与任务执行为例： 1. 环境构建：创建智能体编写 apt 脚本配置 Java 运行库与 AstroImageJ 桌面端，从公开天文观测数据源下载 2016 年 1 月关于系外行星 WASP-12b 的真实 FITS 地基望远镜时序图序列注入系统；审计智能体检查启动截图与图像加载日志，确认软件正常处于测光分析主工作台界面。 2. 任务与特权信息生成：种子扩增生成指令：“分析 WASP-12 星系的时序图像以检测系外行星凌星信号，计算凌星深度、中心时刻与行星半径”。提取智能体从数据头信息与天体物理参数中固化特权信息 $\mathcal{I}$：真实凌星深度约为 1.4%，行星半径约为 1.79 倍木星半径。 3. 交互与细粒度核验：智能体载入图像序列、框选比对星并拟合光变曲线。清单式 VLM 逐项比对：(a) 成功载入时序图 (20分)；(b) 正确标记目标星与参考星 (20分)；(c) 绘制光变曲线并拟合凌星凹陷 (30分)；(d) 报告的数据误差在理论容差范围内 (30分)。若智能体跳过图像分析直接生成文本猜测数值，完整性校验通过图像帧回溯判定未触发 UI 拟合操作，直接判定违规得 0 分。

训练策略：轨迹蒸馏与测试时审计¶

学生模型蒸馏：以开源强模型 Kimi-K 2.5 为教师模型，在 CUA-World 训练集任务上按 $k=4$ 采样轨迹直到成功，收集约 2,000 条高质量完整长程轨迹。采用两阶段分步微调课程体系对 Qwen3-VL-2B-Thinking 进行监督微调：前阶段限制轨迹步长在 50 步以内以稳固基础 GUI 定位与指令对齐，后阶段使用 200 步完整复杂长轨迹进行长程上下文建模。
测试时审计（Test-Time Auditing, TTA）：针对智能体在长程场景下常因“以为自己做完了”而提早发出结束信号的顽疾，在推理时引入独立的审查智能体。该智能体仅以历史多模态屏幕操作截图流为输入（剥离原智能体的思维链以杜绝先入为主的偏见），对照任务目标指明缺失的操作子步骤，并将整改提示注入主智能体推动其继续执行。

实验关键数据¶

主实验¶

基于 CUA-World-Test 与超长程子集 CUA-World-Long，对前沿大模型与经轨迹蒸馏的小型模型进行了系统评测。在 CUA-World-Test 上，模型单次交互步长上限为 200 步；而在 CUA-World-Long 上，模型面临要求高达数百步的真实长程工作流。

表 1：CUA-World-Test 测试集上的主流模型与蒸馏模型对比表现

模型类别	评测模型	平均得分 (Avg. Score)	完全通过率 (Pass Rate, %)
前沿闭源/大模型	Gemini 3 Flash	50.1	22.6
前沿大模型	Kimi-K 2.5	37.1	12.8
开源小模型基线	Qwen3-VL-2B	12.7	1.6
开源小模型基线	Qwen3-VL-4B	19.3	3.9
本文蒸馏模型	Ours (2B distilled)	22.5 (+9.8)	4.4 (+2.8)

表 2：CUA-World-Long 超长程基准评测结果（含不同预算与测试时审计）

预算配置	评测模型	平均得分 (Avg. Score)	完全通过率 (Pass Rate, %)
500步 / $5 限制	GPT-5.4	22.7	3.0
500步 / $5 限制	Claude Sonnet 4.6	20.5	6.0
500步 / $5 限制	Kimi-K 2.5	33.9	5.5
500步 / $5 限制	Gemini 3 Flash	36.2	7.5
2000步 / 无预算限制	GPT-5.4	55.5	27.5
2000步 / 无预算限制	Gemini 3 Flash	38.7	11.5
2000步 + 测试时审计 (TTA)	Gemini 3 Flash + TTA	-	14.0 (+2.5)

消融实验¶

为验证管线中各核心模块的具体增益，开展了蒸馏教师选择、任务放大机制有效性及跨模型审计效果的三项核心消融。

表 3：不同教师模型对小模型蒸馏效果的影响（4款代表性软件子集）

教师模型	教师自身得分	Qwen3-VL-2B 学生得分	Qwen2.5-3B 学生得分	说明
Claude Opus 4.5	53.5	19.3	8.5	教师自身最强，但闭源黑盒思维链致学生表现受限
Claude Sonnet 4.5	45.5	17.5	9.8	居中基准
Gemini 3 Flash	44.0	16.3	8.3	居中基准
Gemini 3 Pro	39.3	15.8	7.0	相对较弱
Kimi-K 2.5	39.8	25.3	15.8	学生得分最高；开源完整推理链显著改善小模型泛化

表 4：关键流程组件消融分析

消融配置项	关键指标	结果与说明
任务放大：含种子提议 (w/ Seed)	任务环境初始化成功率	88.9% (任务具有专业深度，真实覆盖业务逻辑)
任务放大：无种子提议 (w/o Seed)	任务环境初始化成功率	55.2% (剧降33.7个百分点；任务退化为简单功能演示)
审计机制：独立跨模型审计 (Cross-Model)	发现环境隐藏缺陷均值	检出额外 2.1 个隐蔽缺陷/环境 (识别硬编码数据与伪造日志)
审计机制：自身模型自审 (Self-Audit)	发现环境隐藏缺陷均值	基准表现 (存在自证偏差，容易忽略自身脚本的逻辑漏洞)
评测验证：清单式特权信息 VLM 评测	与人类专家标注一致率	93.3% (逐项验证兼顾部分得分，具备极佳可解释性)
评测验证：直接单一判定 VLM 评测	与人类专家标注一致率	81.7% (缺乏分项证据，极易出现错判与幻觉)
评测验证：纯代码脚本断言评测	与人类专家标注一致率	43.3% (极低；生成代码难以精准解析非结构化运行状态)

关键发现¶

教师模型的推理透明度比自身参数量与跑分更关键：Claude Opus 4.5 虽在教师自身单项得分最高（53.5），但其蒸馏出的 Qwen3-VL-2B 学生模型（19.3）大幅落后于由 Kimi-K 2.5 蒸馏出的学生模型（25.3）。原因在于 Kimi-K 2.5 输出了高度详尽的显式推理思维链与长程纠错轨迹，为小模型提供了极其紧凑的行为监督信号。
环境规模扩展遵循对数线性规律，但跨软件泛化仍存显著瓶颈：在训练数据扩展实验中，固定单软件任务数并将环境软件种类从 50 翻倍至 100 再至 200 时，下游测试集平均得分呈现稳定的对数线性提升（每次数据量翻倍约提升 3.5 分）。但在分布外（OOD）未见软件上的泛化恢复度仅有 22%~27%，远低于分布内（IID）软件的 65%~87%，表明扩大环境库的多样性对于 GUI 通用智能体至关重要。
失败轨迹的主因是重试循环与过早退出：行为模式统计显示，未通过的轨迹中高达 78% 的步骤浪费在无响应的无效操作重复尝试上；而在长程测试集 CUA-World-Long 中，引入独立多模态审查的测试时审计（TTA）使 Gemini 3 Flash 的通关率从 11.5% 跃升至 14.0%，证实外部纠偏能有效缓解智能体的注意力衰退。

亮点与洞察¶

多智能体环境构建的对抗证据机制：传统的单智能体代码生成容易陷入“声称已完成但界面已报错”的虚假完成状态，本文强制要求智能体交出屏幕截图与运行时日志作为硬证据，并设立独立的对抗审计者按清单挑刺，极大提升了环境搭建的鲁棒性。
特权信息解耦赋能低成本轨迹判决：巧妙利用了“搭建环境的人拥有全局真值，而做任务的智能体只有部分观测”这一信息不对称，直接从初始化脚本抽取特权信息提供给 VLM 阅卷，既无需针对上万个任务手写脆弱的代码断言，又避免了传统端到端大模型判卷的幻觉与不透明。
由宏观经济数据驱动的科学基准设计理念：彻底脱离了“研究人员手头有什么软件就测什么”的随性选题模式，以真实的就业人口和数字 GDP 贡献为锚点自顶向下分解软件池，使智能体研究第一次与真实的社会生产力需求紧密对齐。

局限与展望¶

商用专有软件替代带来的领域泛化鸿沟：受限于沙盒化与开源可评测原则，大量高 GDP 专有工业软件（如 AutoCAD、Photoshop、SAP 等）在管线中被替换为开源同类替代品（如 FreeCAD、GIMP 等）。开源软件操作逻辑是否能完全外推至专有工业生态仍待深入论证。
极长任务的人类完整通关金标缺失：由于 CUA-World-Long 涉及许多需要专业领域背景且多达数百步的超复杂任务，团队仅人工验证了起始状态与数据注入的正确性，尚未由人类专家全部手动打通所有任务，部分任务可能存在隐含的前置阻塞。
VLM 评分器的潜在鲁棒性边界：虽然引入了完整性审查与特权信息比对，但评测核心仍依赖通用多模态模型的视觉模式识别，在极端复杂的微小界面控件变化或高度专业化的科学图表读数上可能仍存偶发判定误差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多智能体协作闭环引入真实专业软件的交互环境自动化创建，机制设计高度原创且完整。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 200 款真实软件、万级任务基准构建、多前沿大模型与蒸馏小模型评测、超长程追踪以及极其详实的多维度消融分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨清晰，问题定义切中要害，图表与公式规范，实验分析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为计算机使用智能体（CUA）领域从“玩具级评测”迈向“真实世界经济生产力”铺平了底层环境与数据基础设施道路。