SecAgent: Efficient Mobile GUI Agent with Semantic Context¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/datasets/alibabagroup/CMGUI
领域: LLM Agent
关键词: 移动端GUI智能体, 语义上下文, 多模态大模型, CMGUI基准, 强化微调
一句话总结¶
SecAgent 针对移动端 GUI 智能体面临的非英语生态数据匮乏与多步历史表示冗余两大痛点,构建了包含 12.1 万步人工精细标注的中文移动 GUI 数据集 CMGUI 与多选评估基准 CMGUI-Bench,并提出一种仅保留单步视觉历史与递增自然语言摘要的语义上下文机制,配合 SFT 与 GRPO 强化微调,使 3B 参数模型在任务成功率上超越同量级基线并比肩 7B–8B 模型。
研究背景与动机¶
基于多模态大语言模型(MLLM)的移动端图形用户界面(GUI)智能体正在深刻改变智能手机的自动化交互范式。早期的自动化方法大多依赖 Android 系统的辅助功能树(Accessibility Tree)提取结构化元数据,但在实际生产环境中往往面临跨平台碎片化严重、动态控件层级嵌套错乱以及元数据信息残缺不全等致命缺陷。为此,学术界与工业界迅速转向基于纯视觉屏幕截图输入的端到端感知方案。然而,现有的移动 GUI 智能体研究几乎全盘聚焦于以英语为主导的应用生态,非英语(尤其是拥有庞大用户体量、独特交互惯例及深度嵌套页面特征的中文移动生态)的高质量开源轨迹数据极度匮乏,现存少数专有商业数据集亦不对学术界开放,严重制约了多语言环境下的智能体泛化能力。
在复杂多步导航任务中,智能体做出决策不仅依赖当前界面状态,更受制于历史动作链路与前序页面反馈。当前主流的多步表征范式陷入了两难困境:若直接堆叠前 \(N\) 步完整的历史屏幕截图与动作,视觉 Token 的线性膨胀会导致灾难性的端到端推理延迟与计算显存开销,这在移动端设备实时交互场景下完全不可接受;若退而求其次仅保留动作文本序列或截断至极短的窗口,模型又极易丢失关键页面的演变线索与长程记忆,进而诱发重复点击、死循环以及目标丢失等规划失败。
面对生态数据缺口与长程表征瓶颈的双重矛盾,本文确立了从「高质量生态原生数据构建」与「极简高效历史表征范式」双轮驱动的核心研发目标。研究团队没有采用多智能体协作中沉重的独立摘要代理,亦未遵循先规划动作再事后总结的非因果流向,而是提出让单一端到端轻量模型在每一步决策前直接承载递增的自然语言状态蒸馏。核心 idea:将多步长程交互历史浓缩为逐步更新的自然语言「语义上下文(Semantic Context)」,在每步仅输入前序单步图文与最新界面的极简配置下承载全程决策依据,并通过统一坐标空间的数据格式对齐与基于规则的双重奖励 GRPO 强化微调全面释放 3B 紧凑模型的规划潜能。
方法详解¶
整体框架¶
SecAgent 的系统架构旨在以极低的计算开销实现高精度的移动界面自主导航。其端到端决策流程以用户的高层指令 \(I\)、当前屏幕截图 \(X_t\)、前一步屏幕截图 \(X_{t-1}\)、前一步动作 \(A_{t-1}\) 以及累积至前一步的历史语义上下文 \(\mathcal{C}_{t-1}\) 作为模型输入。在单次自回归推理中,模型以链式因果顺序依次生成三个核心组件:更新后的全局语义上下文 \(\mathcal{C}_t\)、针对当前界面的推理思考过程(Thought)\(H_t\)、以及最终的结构化交互动作 \(A_t\)。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>指令 I + 截图 Xt + 历史 Xt-1, At-1, Ct-1"] --> B["语义上下文机制<br/>单步历史蒸馏 + 递增自然语言摘要"]
B --> C["端到端思维链生成<br/>更新语义上下文 Ct + 局部意图推理 Ht"]
C --> D["统一定位与动作对齐<br/>包围盒中心点映射 + 单点动作预测 At"]
D --> E["双阶段训练与规则引导策略优化<br/>SFT 格式统一 + GRPO 格式与功能双重奖励"]
E --> F["输出可执行动作<br/>CLICK / SWIPE / TYPE / TERMINATE 等"]
关键设计¶
1. 语义上下文机制:长程多步视觉历史的高效自然语言状态蒸馏 针对多步导航中堆叠多帧历史截图(如 \(N \ge 5\))导致的多模态视觉 Token 膨胀、计算显存与端到端首字延迟(TTFT)急剧飙升的严峻瓶颈,本文摒弃了原始截图堆叠范式,提出了递增式自然语言语义上下文机制。在任意导航步骤 \(t\),模型不需要回溯整个历史轨迹的图像序列,而是以紧凑的自然语言列表形式显式维护从步骤 1 到步骤 \(t-1\) 的关键操作与状态演变(如「1. 点击了主屏幕上的淘宝图标进入应用首页;2. 点击顶部搜索框并激活输入状态」)。该设计将传统以百计甚至上千 Token 的屏幕嵌入压缩为数十个语义密集的文本 Token,使得模型仅需保留最近单步历史(即 \(N=1\):前一步截图 \(X_{t-1}\) 与动作 \(A_{t-1}\)),便能完整获取任务推进脉络与深层上下文。与依赖独立汇总代理(如 Mobile-Agent-v2)相比,单模型自回归生成杜绝了多代理交互带来的额外通信开销与错误级联;与事后汇总(如 GUI-Rise)相比,SecAgent 严格遵循「摘要 \(\to\) 思考 \(\to\) 动作」的前向因果流,确保动作输出充分立足于最新确认的状态理解之上。
2. 统一定位与动作对齐:跨任务数据异构性消除与空间知识迁移 移动 GUI 智能体的训练通常需要混合 UI 元素定位(Grounding)数据与长程多步轨迹(Navigation)数据以兼顾感知与规划能力,但这两种数据在输出标签格式上存在根本冲突:传统 Grounding 任务强制要求模型预测边界框的四个角点坐标 \([y_{\min}, x_{\min}, y_{\max}, x_{\max}]\),而实际移动端交互的 Navigation 动作只需输出目标点击的单点坐标 \([x, y]\)。这种格式撕裂会导致模型在多任务联合训练中产生表征冲突并削弱跨任务泛化。本文提出在训练前统一将所有 Grounding 样本通过几何投影转化为导航兼容格式(Gr2Nav):对于每一个交互控件的候选标注框,直接计算其几何中心点坐标 \((x_c, y_c)\) 作为等效点击目标: $\(x_c = \frac{x_{\min} + x_{\max}}{2}, \quad y_c = \frac{y_{\min} + y_{\max}}{2}\)$ 通过将定位任务的感知监督无缝映射至相同的单点操作空间,模型在学习屏幕控件语义定位的同时直接强化了导航动作触发的精确度,使底层视觉表征知识无损迁移至下游规划任务。
3. 双阶段训练与规则引导策略优化:格式稳固性与功能正确性的协同强化 针对小参数规模(3B)多模态模型在复杂长程任务中容易出现结构化输出格式漂移及探索效率低下的痛点,SecAgent 构建了严格的 SFT 到 RFT(强化微调)进阶演练流水线。在第一阶段(SFT),模型在统一格式后的 CMGUI 混合数据集上通过自回归交叉熵损失联合学习生成 \((\mathcal{C}_t, H_t, A_t)\) 三元组;在第二阶段(RFT),引入群组相对策略优化(GRPO)算法,摆脱对额外独立价值模型或 Critic 网络的依赖,直接通过采样策略生成的 \(G\) 个候选响应序列计算群内相对优势值。为兼顾格式可解析性与交互执行成功率,团队设计了解耦的规则奖励体系:格式奖励 \(R_{\text{format}}\) 对完整输出合法三元组 XML 标签与有效 JSON 动作结构的样本赋予 0.5 基础奖励;动作奖励 \(R_{\text{action}}\) 则在离线环境中对照金标准判定执行正确性,落入真实有效点击框内或精准完成滑动、文本输入与终止判定时赋予 1.0 满额奖励,错误则记为 0。这种双轮奖励约束使得 3B 紧凑模型在复杂的探索策略更新中能够迅速收敛,兼顾了输出结构的极度严谨与多步动作的精确命中。
损失函数 / 训练策略¶
在第一阶段监督微调中,基于 Qwen2.5-VL-3B 模型采用 LoRA 微调(Rank = 8, Alpha = 16),批次大小为 2,学习率为 \(2 \times 10^{-5}\),共训练 6 个 Epoch,图像分辨率限制在 200,704 到 501,760 像素之间。训练损失函数为标准自回归 Token 预测交叉熵损失: $\(\mathcal{L}_{\text{SFT}}(\theta) = -\sum_{i=1}^{|\mathcal{Y}|} \log P_\theta(y_i \mid y_{<i}, I, X_t, \mathcal{C}_{t-1}, X_{t-1}, A_{t-1})\)$ 其中目标序列 \(\mathcal{Y}\) 严格包含三元组 \((\mathcal{C}_t, H_t, A_t)\)。
在第二阶段强化微调中,切换为全参数微调,采用包含非对称截断边界与 Token 级目标修正的 GRPO 算法。针对单一查询输入 \(q\),旧策略 \(\pi_{\theta_{\text{old}}}\) 采样 \(G=16\) 条轨迹响应 \(\{o_i\}_{i=1}^G\),计算其归一化标量总奖励 \(R_i = R_{\text{format}}(o_i) + R_{\text{action}}(o_i)\),得到样本优势估计: $\(\hat{A}_{i,t} = \frac{R_i - \text{mean}(\{R_j\}_{j=1}^G)}{\text{std}(\{R_j\}_{j=1}^G)}\)$ 随后通过带 KL 散度惩罚项的截断目标函数更新策略参数 \(\theta\): $\(J_{\text{GRPO}}(\theta) = \frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min \left( r_{i,t}(\theta) \hat{A}_{i,t}, \; \text{clip}(r_{i,t}(\theta), 1 - \epsilon_{\text{low}}, 1 + \epsilon_{\text{high}}) \hat{A}_{i,t} \right) - \beta \mathbb{D}_{\text{KL}}\left[\pi_\theta \parallel \pi_{\text{ref}}\right]\)$ 其中重要性采样概率比率定义为: $\(r_{i,t}(\theta) = \frac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t} \mid q, o_{i,<t})}\)$ 训练超参数配置为:学习率 \(1 \times 10^{-6}\),批次大小 8,KL 惩罚系数 \(\beta = 0.04\),非对称截断区间设为 \(\epsilon_{\text{low}} = 0.20, \epsilon_{\text{high}} = 0.28\),共进行 2 个 Epoch 的策略自适应优化。
实验关键数据¶
主实验¶
评估涵盖新构建的中文 CMGUI-Bench(包含来自 44 款主流移动应用的 386 个真实人类任务与 2,547 步操作,支持单步多分支等效动作判定)以及两个权威英文基准 AndroidControl 和 GUIOdyssey(采样 100 条高层指令轨迹)。核心指标采用单步准确率(Step Accuracy, SA,百分比)与完整任务成功率(Task Accuracy, TA,百分比)。
| 模型类别 | 模型名称 | 参数量 | CMGUI-Bench SA (%) | CMGUI-Bench TA (%) | AndroidControl SA (%) | GUIOdyssey SA (%) |
|---|---|---|---|---|---|---|
| 闭源前沿模型 | GPT-4o | 未知 | 48.4 | 0.0 | 20.8 | 29.3 |
| 闭源前沿模型 | Claude-3-Sonnet | 未知 | 81.4 | 25.8 | 12.5 | 46.5 |
| 开源基线 (7B–8B) | Qwen2.5-VL-7B | 7B | 83.8 | 35.6 | 62.9 | 59.6 |
| 开源基线 (7B–8B) | UI-TARS-7B | 7B | 63.8 | 2.5 | 74.4 | 37.5 |
| 开源基线 (7B–8B) | OS-Atlas-7B | 7B | 69.6 | 10.0 | 71.2 | 65.2 |
| 开源基线 (7B–8B) | GUI-R1-7B | 7B | 70.5 | 7.9 | 51.7 | 41.9 |
| 开源基线 (7B–8B) | UI-Venus-Navi-7B | 7B | 89.6 | 53.1 | 76.1 | 71.1 |
| 开源基线 (7B–8B) | AgentCPM-GUI-8B | 8B | 84.9 | 39.0 | 69.2 | 79.2 |
| 开源基线 (7B–8B) | Qwen3-VL-8B | 8B | 91.1 | 59.7 | 46.4 | 53.8 |
| 开源基线 (3B–4B) | Qwen2.5-VL-3B | 3B | 78.8 | 25.6 | 60.1 | 49.3 |
| 开源基线 (3B–4B) | UI-R1-3B | 3B | 56.4 | 1.0 | 45.4 | 32.7 |
| 开源基线 (3B–4B) | GUI-R1-3B | 3B | 45.2 | 0.5 | 46.6 | 34.6 |
| 开源基线 (3B–4B) | Qwen3-VL-4B | 4B | 90.1 | 57.4 | 47.5 | 53.4 |
| 本文方法 | SecAgent-3B (Ours) | 3B | 96.4 | 80.0 | 69.5 | 74.3 |
在具体动作类型的准确率表现上,SecAgent-3B 在 CMGUI-Bench 上取得了全方位的断层领先:点击准确率(Click Acc)达到 96.1%(同量级最佳 Qwen3-VL-4B 为 91.2%),输入准确率(Type Acc)达到 99.1%(Qwen3-VL-4B 为 84.8%),极具挑战性的滑动操作准确率(Swipe Acc)达到 87.6%(Qwen3-VL-4B 为 65.9%,而多数基线不足 10%),任务终止准确率(Terminate Acc)达到 99.2%(Qwen3-VL-4B 为 94.6%)。
消融实验¶
消融实验深入验证了历史窗口大小 \(N\)、语义上下文(SC)、显式推理思考(Thought)以及训练数据与方法对模型性能与计算效率的影响。
| 实验配置 / 变体 | SA (%) | TA (%) | 输入 Token 数 (ITC) | 首字延迟 TTFT (s) | 吞吐 TPS (tokens/s) | 配置说明 |
|---|---|---|---|---|---|---|
| \(N=0\)(无历史输入) | 85.3 | 36.2 | 1,537 | 0.07 | 145 | 仅输入当前帧与指令,缺乏状态转移追踪 |
| \(N=1\)(默认:含 SC + Thought) | 94.8 | 72.8 | 2,239 | 0.11 | 140 | SFT 阶段基线配置,取得极致计算效能比 |
| \(N=2\)(含 SC + Thought) | 95.1 | 73.8 | 2,760 | 0.14 | 134 | 收益递减,Token 增长 23.3% |
| \(N=5\)(含 SC + Thought) | 95.5 | 74.1 | 3,642 | 0.22 | 122 | Token 暴增 62.7%,TTFT 翻倍,提升边际 |
| \(N=5\) w/o SC(仅截图+动作序列) | 95.0 | 73.0 | 3,507 | 0.22 | 124 | 堆叠 5 帧图像的效果仅相当甚至劣于 \(N=1\) 含 SC |
| \(N=1\) w/o SC(仅单步截图与动作) | 90.6 | 56.4 | 2,171 | 0.11 | 142 | 移除语义上下文,任务准确率断崖式暴跌 16.4% |
| \(N=1\) w/o Thought(移除显式思考) | 94.0 | 68.9 | 2,207 | 0.11 | 141 | 移除 CoT 思维链,任务准确率下降 3.9% |
在训练阶段消融中,纯 Navigation 数据 SFT 达到 93.7% SA / 65.8% TA;加入原始 Grounding 数据 SFT 提升至 94.4% SA / 69.2% TA;采用格式统一后的 Gr2Nav 数据 SFT 进一步达到 94.8% SA / 72.8% TA;在 SFT 充分收敛的基础上施加 GRPO 强化微调后,最终达到 96.4% SA / 80.0% TA,相比单一 SFT 实现了 7.2% 的任务完成率净跃升。
关键发现¶
- 语义上下文以极简计算实现以一当十:实验表明,配置 \(N=1\) 并引入语义上下文时的任务成功率(72.8% TA),直接超越了堆叠 5 帧历史截图但缺乏语义上下文的配置(73.0% TA vs 72.8% TA,考虑到计算量减少 36.2%,TTFT 缩短 50%)。这证明自然语言对历史界面关键事实(搜索词、已访问标签、过滤条件)的抽象表达能力远优于纯视觉序列的隐式记忆,有效解决了移动端部署显存与时延的双重约束。
- 空间格式对齐消除跨任务负迁移:将 Grounding 数据的四元组边界框直接投影转换为中心点击点(Gr2Nav),比直接混合训练在任务成功率上高出 3.6%(72.8% vs 69.2%)。这表明使定位任务的动作空间与下游执行器完全同构,能够显著降低模型在多任务学习时的表征混乱。
- 强化微调大幅拔高域外未知应用泛化能力:在跨应用泛化(OOD)实验中,当模型仅在部分应用数据上训练时,引入 GRPO 强化微调展现出卓越的策略自愈与泛化能力,例如在未见过的百度地图任务上 TA 从 41.7%(仅 SFT)大幅跃升至 62.5%(SFT + RFT),全量训练后更在哔哩哔哩上取得了 91.7% 的极高任务成功率。
亮点与洞察¶
- 高纯度中文原生移动基准填充生态空白:构建了首个涵盖 44 款主流移动应用、包含 18k 定位与 12.1 万步人工严格核验轨迹的高质量中文 GUI 数据集 CMGUI,并在评测端独创性地提出了「多选合理动作(Multi-choice Action)」评估机制,彻底解决了移动操作中搜索补全推荐与键盘回车等价、横划切页与点击 Tab 等价而导致的传统单标签评测误判问题。
- 状态蒸馏前置的前向因果推理闭环:与常规将历史摘要交由辅助大模型处理或将反思放在动作输出之后的方法不同,SecAgent 在单一端到端轻量模型内确立了「语义上下文生成 \(\to\) 意图思考 \(\to\) 结构化动作输出」的严格因果依赖链,让紧凑模型在输出物理操作前先行完成全局状态校准。
- 规则驱动的 GRPO 双轮解耦奖励体系:在 RFT 阶段将格式有效性与任务功能执行解耦,借助群组相对优势消除 Critic 建模开销,为轻量级视觉智能体在复杂多步环境下的强化学习探索提供了可低成本规模化复用的工程范式。
局限与展望¶
- 语言生态覆盖依然受限:当前 CMGUI 数据集与评测基准完全集中于中文移动应用生态,虽然跨基准测试证明其在英文 AndroidControl 和 GUIOdyssey 上具备稳健迁移能力,但面对日韩、欧洲等多语言本土应用的适配能力仍有待进一步采集验证。
- 离线轨迹仿真与真机动态部署存在环境鸿沟:目前的实验评测主要基于离线捕获的静态交互图谱进行多选动作重放验证,尚未全面覆盖真机在线运行中的瞬态网络延迟、第三方弹窗打断、验证码拦截以及动态渲染帧率丢失等动态不确定性。
- 模型参数容量上限有待探索:本文验证主要集中在 3B 级别轻量模型上,虽然已取得超越 7B–8B 基线的性能,但语义上下文机制在 7B、14B 或更大体量视觉语言模型上的缩放定律(Scaling Law)尚未进行大规模验证。
相关工作与启发¶
- vs OdysseyAgent / UI-TARS: 传统追求高精度的 GUI 智能体通常依赖堆叠多帧历史图像输入(例如 OdysseyAgent 采用 \(N=5\) 的截图滑动窗口),导致视觉 Token 数量剧增、推理显存占用过大且首字延迟极高。SecAgent 提出仅保留单步历史(\(N=1\))配合自维护文本语义上下文,以减少 38.5% 的输入 Token 消耗与 50% 的首字延迟实现了相当甚至更优的规划完成率。
- vs Mobile-Agent-v2: Mobile-Agent-v2 依靠多个独立的 LLM 智能体分别执行观察、思考与历史总结,在实际移动端部署中存在严重的多模型通信时延与极高的部署硬件门槛。SecAgent 将多步状态总结、反思推理与单点操作统一集成至单个 3B 紧凑模型中,极大提升了端侧落地的可行性。
- vs GUI-Rise: GUI-Rise 在输出动作之后才进行事后轨迹总结,未能让当前动作直接受惠于最新的结构化状态感知;SecAgent 确立了「语义总结 \(\to\) 思考 \(\to\) 动作」的严格执行序列,保证每次动作决策均以前置确认的语义上下文为基础。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 创新性地提出将长程多步 GUI 视觉历史压缩为轻量因果自回归语义上下文,且在单模型内完成闭环。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 44 款中文原生应用评测及两大公开英文基准,对比了十余个主流闭源与开源强基线,提供了详实的效率与消融分析。
- 写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严谨,问题陈述明确,方法架构与训练机制阐述透彻,实验数据展示完备。
- 价值: ⭐⭐⭐⭐⭐ 开源了高质量的人工核验中文移动 GUI 数据集与多选基准,为移动智能体的高效端侧部署提供了切实可行的解决方案。