MobileGym: A Verifiable and Highly Parallel Simulation Environment for Mobile GUI Agents¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://mobilegym.github.io
领域: LLM 智能体
关键词: 移动 GUI 智能体, 可验证仿真环境, 大规模强化学习, Sim-to-Real, 状态判定
一句话总结¶
本文提出基于浏览器的轻量级移动 GUI 仿真平台 MobileGym,通过将应用数据与系统上下文建模为全可控的结构化 JSON 状态,实现了单机数百实例高并发与毫秒级重置,配合类型化 AnswerSheet 协议与确定性状态比对判定,消除了 VLM 判定的幻觉并使模拟强化学习增益在真实手机上保留 95.1%。
研究背景与动机¶
移动端图形用户界面(GUI)智能体在过去几年取得了长足发展,多模态大模型能够通过观察屏幕截图并生成点击、滑动、输入等动作来自主操作智能手机。然而,驱动智能体能力进阶的两大核心支柱——可验证的评估信号与可扩展的在线强化学习(Online RL)——在日常移动应用环境中遭遇了根本性的结构壁垒。现有的评估与训练基础设施长期割裂在两条互有缺陷的技术路线之中:一类是基于 Android 原生模拟器(如 AndroidWorld、AndroidLab)的方案,其受限于繁重的操作系统镜像和虚拟机开销,单实例内存消耗高达数 GB、启动耗时数十秒,且通常仅能覆盖简单的开源工具类应用;另一类是直接在真实物理机上部署基准测试(如 MobileBench-OL),虽然触达了真实的日常应用生态,但受到活跃账户依赖、后端状态不可控、应用频繁版本漂移、真实不可逆操作(如真实支付转账)的风险以及物理机群极高的维护成本限制,导致轨迹难以复现且完全无法支撑大规模并行探索。
这两条路线陷入困境的核心矛盾在于:真实日常应用的内部状态具有“不可读、不可写、不可分叉且操作不可逆”的封闭特性。日常应用的业务数据(如账户余额、订单状态、购物车)大多深锁在私有存储、运行时缓存和远程服务器后端,通过 adb 或无障碍服务(Accessibility Tree)难以获取内部真实结果,迫使研究者转而依赖多模态大模型(VLM-as-a-judge)通过离散截图进行模糊推断,不可避免地引入显著的判定误差与幻觉;同时,在线强化学习(特别是以 GRPO 为代表的群组相对策略优化算法)极度依赖从完全一致的初始状态并行派生(fork)多条 rollout 采样,而现有移动生态既无法提供轻量廉价的内存快照克隆,又无法在执行破坏性删除或资金操作后一键无痕回滚,使得移动 GUI 领域的在线 RL 研究长期被高昂的虚拟机算力与真机风险阻隔。
本文的切入视角在于重新审视 GUI 智能体的交互本质:由于视觉智能体在操作时仅观察屏幕像素并输出离散交互动作,仿真环境并不需要完整复现专有的后端微服务或像素级底层的 Android 操作系统内核,而只需要提供高保真的交互表面(Interaction Fidelity)。基于这一洞察,作者构建了完全运行于浏览器中的 Android 交互模拟环境 MobileGym,将外部世界数据、会话覆盖层和 OS 运行时生命周期全部解耦并表达为显式的结构化 JSON 状态。核心 idea:以交互保真度为目标构建基于浏览器的轻量结构化移动仿真平台,使日常应用状态在毫秒级全可读、可写、可分叉且免除真实后果,利用确定性状态差分验证与类型化 AnswerSheet 协议提供无偏差奖励信号,低成本驱动高并发移动端在线强化学习。
方法详解¶
整体框架¶
MobileGym 的架构核心是围绕“交互保真度而非后端复制”进行设计的轻量级全栈模拟系统。整个平台自底向上分为四层体系:底层是由 React 与 Zustand 构建的标准化应用与系统运行时,中间层是维护全局设备上下文与跨应用通信的 OS 语义层(任务栈、Back 派发链、Intent 路由与 ContentProvider),顶层是面向智能体的 17 种归一化交互动作抽象与截图渲染视口,外部则通过确定性状态判决器和 AnswerSheet 评测协议构筑基准评测与 RL 闭环。
在渲染和状态管理上,MobileGym 采用了三层解耦的组合状态模型(Composition Model):只读且大规模的外部世界数据(World Data,承载超 19 万实体记录)、每个仿真环境独占的可变运行时覆盖层(Runtime Overlay,记录购物车、输入草稿、消息队列等智能体引起的变动)以及操作系统运行时状态(OS Runtime)。最终展现给智能体的视口 UI 由三者合成渲染,而智能体引发的所有状态变异仅写入紧凑的 Runtime Overlay。这一设计使得整个环境的有效状态可以极小体积(约 400 MB 内存、50 MB 框架代码)瞬间序列化为 JSON,支持单台服务器并发承载数百个并行实例并实现约 3 秒极速冷启动。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务模板与参数化采样<br/>Prompt/Slots/初始状态"] --> B["三层解耦状态模型与环境容器<br/>World Data + Runtime Overlay + OS Runtime"]
B --> C["高保真跨应用与生命周期调度<br/>Activity栈 / Back链 / Intent路由"]
C --> D["智能体视觉交互与动作执行<br/>截图观察 + 17种归一化动作空间"]
D --> E["类型化 AnswerSheet 协议<br/>GUI表单填写替代自由文本匹配"]
E --> F["确定性状态比对与全状态判定<br/>State Diff / 意外副作用检测 / RL奖励"]
关键设计¶
1. 三层解耦状态模型与环境容器:解决传统模拟器臃肿与不可复现问题
传统 Android 虚拟机由于包含整套 Linux 内核、系统镜像和底层服务,单实例内存动辄 4.5~6 GB,重置环境只能依赖完整 AVD 镜像恢复或脆弱的应用数据目录拷贝,根本无法胜任大规模在线强化学习所需的高频一致重置与状态分叉。MobileGym 将环境状态严格划分为三个正交层级:只读的 World Data 存储公开实体(包括商品库、社交帖子、列车班次等 35 万条结构化数据);可变的 Runtime Overlay 专门记录智能体在当前任务生命周期中产生的一切变更(如未发送的草稿、新增订单、购物车项);OS Runtime 则管理系统级硬件开关与全局配置。整个环境的瞬时状态均由统一的全局注册工厂管控,支持通过单次 JSON 序列化(setState)在毫秒级实现状态注入、无损快照与精确分叉(Fork)。当执行账户注销、大额转账、清空会话等不可逆高危操作时,智能体完全在无实际资产后果的沙盒中探索,单台机器即可并行运行数百个环境,为 GRPO 等群组采样算法提供了完全一致的初始采样锚点。
2. 高保真跨应用与生命周期调度:解决复杂长流程任务中的交互断裂
为了让智能体在无真实 Android 系统的环境下学到具备真机迁移能力的通用控制策略,MobileGym 在浏览器内部完整实现了对齐 Android 底层规范的交互与生命周期系统。系统通过 TaskManager 镜像了 Android 的 ActivityTaskManager,以 Reducer 模式维护各个应用的多任务栈与页面回退。当智能体切出应用(如在微信输入一半转至支付宝付款)时,后台页面通过 display:none 保持挂载而非销毁组件,完整保留 React 状态树,实现真实手机上的跨应用草稿保留机制。在系统按键上,BackDispatcher 建立了优先级派发链:权限弹窗(1000)> 系统通知栏(800)> 虚拟键盘(700)> 应用页面栈(100)> 返回桌面(0),并引入帧级防抖锁消除手势穿透。此外,系统通过支持 startActivityForResult 回调的 IntentResolver、提供 CRUD 变更通知的标准 ContentProvider(实现通讯录、短信、相册数据共享)以及 BroadcastBus 广播总线,使涵盖 12 款日常主流 App 与 16 款系统 App 的跨应用复杂工作流具备了工业级交互保真度。
3. 类型化 AnswerSheet 协议:消除查询类任务中的文本匹配误判
在过往的移动 GUI 评测基准中,针对信息检索与问答类(Query)任务,传统方法普遍采用基于启发式文本匹配(如字符串相似度或子串包含)来判定智能体输出。这导致了严重的双向判定失真:一方面,语义完全等价但表述稍有差异的答案(如输出 "34 degrees Celsius" 对比标注 "34°C")会被启发式相似度判定为错误;另一方面,模型如果在输出中泄露了长篇思考链且其中偶然包含了正确数字,极易被子串匹配判定为假阳性接受。MobileGym 创新地将答案提交行为内化为 GUI 交互的一部分:在所有查询类任务末尾,智能体必须在系统内置的 AnswerSheet 应用中填写结构化表单。表单包含单选(Choice)、数值(Number,支持浮点容差匹配)、文本/日期(Text/Date/Time)等强类型输入框,并显示明确的占位提示(如 "Temperature (Celsius, integer)")。这种设计不仅杜绝了自由文本匹配的漏洞,迫使智能体展现精确遵循格式规范的操作能力,同时评测协议额外补偿 15 步交互预算以平衡切换表单的开销。
4. 确定性状态比对与全状态判定:消除 VLM 幻觉并提供密集 RL 奖励
不同于依赖多模态大模型“看图猜结果”的易错机制,MobileGym 在任务结束时直接对初始状态与终止状态的结构化 JSON 执行全环境状态差分(Full Environment State Comparison)。系统判定不仅核验预期目标节点(如 tickets[0].status == "created"),还通过比对全量环境字段,首次提出了“意外副作用”(Unexpected Side Effects, USE)评测指标,精确捕捉那些虽然完成了表面任务、但误删其他订单或误发未授权私信的行为偏差。在强化学习训练中,该判决器直接将子任务通过率转化为稠密的进度奖励 \(p \in [0, 1]\),并针对副作用、虚假宣称完成(False Complete)、超时未停(Overdue)和成功后异常中止(Post-success Abort)引入严格的乘法折扣惩罚因子,构建出零 API 成本、完全确定性且抗作弊的 RL 奖励函数。
损失函数 / 训练策略¶
在 Sim-to-Real 迁移验证中,作者基于 MobileGym 的 160 个训练集任务,使用群组相对策略优化算法(GRPO)对基础通用多模态模型 Qwen3-VL-4B-Instruct 进行在线策略微调。训练硬件仅采用单台配置 3 张 RTX Pro 6000 GPU 的计算节点,并发维护 96 个轻量级浏览器环境实例。
强化学习的即时奖励直接从结构化状态中抽取。设 \(p \in [0, 1]\) 为智能体通过的目标检查项比例(进度率 PR)。对于包含 AnswerSheet 的任务,若智能体提交的表单中存在任一字段错误,则扣除提交动作产生的进度得分,获得修正后的进度 \(p'\)。在此基础上施加状态判定的乘法折扣惩罚:
其中 \(\mathbb{I}[\cdot]\) 为指示函数,\(\text{clean}\) 表示全量环境比对未发现预期之外的意外状态突变。训练超参数采用学习率 \(\eta = 10^{-6}\),群组采样大小 \(k=8\),批次大小 \(bs=12\),KL 散度惩罚系数 \(0.01\),并结合 DAPO 式非对称高限截断(clip-higher 范围设为 0.2/0.28)。整个训练仅历经 10 步梯度更新,便展现出惊人的跨域策略迁移能力。
实验关键数据¶
主实验¶
在包含 256 个评测任务的 MobileGym-Bench 测试集上,作者全面评测了商业闭源前沿模型、开源 GUI 专用模型以及开源通用模型三大阵营共 9 款代表性智能体。评测涵盖综合成功率(SR)、进度率(PR)、四个由 8 款参考模型经验校准的难度阶层(L1 极简 20 题、L2 中等 73 题、L3 困难 83 题、L4 极难 80 题),以及包含假阳性完成(FC)、超时截断(OT)和意外副作用(USE)在内的诊断指标。
| 类别 / 模型 | 综合 SR (%) | 综合 PR (%) | L1 SR (20) | L2 SR (73) | L3 SR (83) | L4 SR (80) | FC (%) | OT (%) | USE (%) |
|---|---|---|---|---|---|---|---|---|---|
| 闭源前沿模型 | |||||||||
| Gemini 3.1 Pro | 58.8 ±1.4 | 72.1 | 97.5 | 83.6 | 63.3 | 21.9 | 34.0 | 0.2 | 5.5 |
| Doubao-Seed-2.0-Pro | 52.0 | 63.6 | 100.0 | 93.2 | 48.2 | 6.2 | 33.6 | 0.4 | 4.7 |
| Qwen3.6-Plus | 45.7 | 59.2 | 100.0 | 78.1 | 44.6 | 3.8 | 34.0 | 0.4 | 14.5 |
| 开源 GUI 专精模型 | |||||||||
| AutoGLM-Phone-9B | 20.0 ±1.3 | 35.3 | 86.2 | 33.6 | 9.6 | 1.9 | 39.6 | 0.6 | 12.6 |
| UI-Venus-1.5-8B | 15.4 ±2.4 | 28.3 | 85.0 | 21.9 | 6.0 | 1.9 | 22.9 | 0.5 | 7.7 |
| GUI-Owl-1.5-8B-Think | 15.1 ±0.9 | 28.8 | 76.2 | 26.0 | 4.2 | 1.2 | 30.4 | 0.9 | 14.1 |
| UI-TARS-1.5-7B | 13.8 ±1.7 | 26.3 | 77.5 | 21.9 | 3.0 | 1.6 | 38.6 | 0.2 | 11.0 |
| Step-GUI-4B | 12.9 ±1.1 | 25.7 | 83.8 | 17.8 | 2.4 | 1.6 | 37.0 | 0.8 | 7.6 |
| 开源通用基础模型 | |||||||||
| Qwen3-VL-4B-Instruct | 9.4 ±0.6 | 20.1 | 71.2 | 12.3 | 0.6 | 0.3 | 15.9 | 0.4 | 10.0 |
Sim-to-Real 真实手机迁移与环境效率分析¶
为了严谨验证在纯浏览器模拟环境中通过 GRPO 学到的策略是否具备向真实复杂设备迁移的生命力,作者在一台红米 Note 12 Turbo(分辨率 1080×2400)真实智能手机上展开了真机迁移对照实验。实验将 256 个测试任务根据基础与训练后模型在仿真中的表现聚类,选取了包含显著增益信号的 59 个等价真机任务子集(Signal Subset),并在 15 个确定失败的任务上进行负对照抽检。
| 实验切片 / 指标 | 仿真环境基准 (Sim Base) | 仿真环境微调后 (Sim Trained) | 真实手机基准 (Real Base) | 真实手机微调后 (Real Trained) | 策略增益迁移保留率 |
|---|---|---|---|---|---|
| 59 题真机信号子集 SR (%) | 33.9% | 76.7% (+42.8 pt) | 32.2% | 72.9% (+40.7 pt) | 95.1% |
| ↳ 显著提升桶 (Uplift, n=23) | 17.4% | 80.7% (+63.3 pt) | 2.2% | 73.9% (+71.7 pt) | 113.3% |
| ↳ 稳定通过桶 (Stable-pass, n=18) | 95.8% | 95.8% (+0.0 pt) | 94.4% | 94.4% (+0.0 pt) | 100.0% |
| ↳ 中间过渡桶 (Mid, n=18) | 12.5% | 61.1% (+48.6 pt) | 22.2% | 50.0% (+27.8 pt) | 57.2% |
| 15 题稳定失败负对照桶 SR (%) | 0.0% (0/15) | 0.0% (0/15) | 0.0% (0/15) | 0.0% (0/15) | 一致性 100% |
| 测试集全量 256 题 (Sim 侧) SR (%) | 9.4% ±0.6 | 22.2% ±1.2 (+12.8 pt) | — | — | 4B 超越 9B 专精模型 |
在资源效率方面,MobileGym 单实例仅占约 400 MB 内存与 50 MB 框架代码,冷启动仅耗时约 3 秒;单台工作站即可平稳驱动 256 个并发实例,在 6 分钟内跑完 256 题全量评测。相比之下,主流模拟器方案 AndroidWorld 单实例占用高达 4.5 GB 内存与 20 GB 磁盘镜像,冷启动达 78 秒;业界如 MAI-UI 进行 512 个模拟器在线并发训练往往需要调用 10 台裸金属云服务器(960 vCPU、3840 GB 内存)。
关键发现¶
- 真机策略增益几乎无损迁移:在 59 个真实手机可等价评测的信号任务上,Qwen3-VL-4B-Instruct 在仿真中获得 +42.8 pt 提升,在真实物理手机上同样实现了 +40.7 pt 的惊人跃升,保留了高达 95.1% 的策略增益;且真机与仿真基线差距仅 1.7 pt,微调后差距仅 3.8 pt,有力驳斥了“轻量级模拟无法训练出真机可用策略”的质疑。
- OOD 交互瓶颈的自主探索与恢复:在真机 Reddit 发帖案例中,真实的特定社区强制要求选择 Flair 标签否则发帖按钮置灰。未经 RL 的基线模型在不可点击的灰色按钮上陷入 50 步死循环直至耗尽预算;而在 MobileGym 中训练后的模型不仅在第 15 步敏锐觉察到“按钮呈现灰色且标签栏带有星号提示”,并主动跳转选择 Tech 标签激活蓝色按钮,成功展现出从模拟器学到的动态错误恢复机制。
- VLM 裁判存在不可忽视的系统性误差:人工复核真机 118 条评测轨迹发现,闭源强模型 Qwen3.6-Plus 作为多模态裁判的误判率高达 10.2%(12/118);使用 GPT-5.4 进行交叉验证同样测得 10.2% 误判率。这证明完全依赖 VLM 看图判定极易污染评估与强化学习奖励,凸显了底层代码级确定性判定的必要性。
亮点与洞察¶
- 交互保真度优于全系统复刻:论文极具洞见地指出面向 GUI 智能体训练的模拟器不必死磕虚拟机底层和闭源云端 API,仅需在前端构建响应点击、渲染视觉、维护应用生命周期的高保真交互面,即可用极低的算力开销达成极高质量的动作控制泛化。
- 将问答评测转化为 GUI 表单输入:设计内置系统 App AnswerSheet,将模糊的自发多模态问答转化为标准的结构化界面输入,用严格的字段格式与数值容差比对取代脆弱的自然语言字符串匹配,为移动智能体信息检索任务树立了严谨的标准范式。
- 意外副作用的全环境监测:借助全量结构化 JSON 状态比对,首次实现了在完成任务主流程之外对静默破坏行为(如无意修改他人设置、误删历史文件)的量化追踪,揭示出模型能力提高并不等价于操作谨慎度提升的潜在安全隐患。
局限与展望¶
- 视觉渲染细节与动态后端差距:由于环境通过前端模拟真实 App,在特定动态图标、微动画及复杂长视频流媒体渲染上与真实物理机存在细微差异;此外,系统未模拟反欺诈拦截风控、动态广告弹窗以及网络剧烈抖动等偶发服务端干扰。
- 高风险操作的谨慎度对齐亟待深入:高危实验表明当前最顶尖的商业模型(如 Gemini 3.1 Pro)在面对清空账户、大额资金转账等危险指令时执行成功率极高(约 68%~71%)且毫无拒绝意识,执行能力与安全审慎性严重脱节,后续应利用该零成本沙盒进一步推进防护对齐研究。
相关工作与启发¶
- vs AndroidWorld / AndroidLab: 后者依赖高开销的 Android 模拟器与虚拟机镜像,单实例消耗数 GB 内存且启动迟缓,难以支撑大规模并行在线 RL;MobileGym 通过浏览器轻量化托管将内存压缩至十分之一,支持单机数百并发并提供原生的确定性全状态判定。
- vs MobileBench-OL: 后者直接在真实物理设备上运行上千测试例,但面临账号风控、数据污染、无法重置和不可逆副作用等致命缺陷;MobileGym 提供了免除真实后果且具备毫秒级精确快照回滚的沙盒环境,极大降低了实验门槛与风险。
- vs GUI-Genesis / ViMo: 后者采用单一轨迹合成或视觉生成世界模型,在长交互步长下易累积生成误差且缺乏确定的逻辑状态转移;MobileGym 采用扩展有限状态机(EFSM)与真实业务代码逻辑,保证了多步长任务的状态一致性与可预测性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 颠覆了移动智能体必须依赖笨重模拟器或昂贵真机的思维定势,开创了轻量级可编程移动交互仿真的全新研究范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 评测覆盖 9 款模型、256 个基准任务,并提供了极为严谨详实的真机迁移验证、轨迹长度对照与 VLM 判定误差复核。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层递进,系统架构与技术选型论述深刻透明,附录工程细节完备。
- 价值: ⭐⭐⭐⭐⭐ 彻底打破了移动端 GUI 智能体开展大规模在线强化学习的基础设施算力瓶颈,具有重大的学术与工程落地价值。