跳转至

SecAgent: Efficient Mobile GUI Agent with Semantic Context

会议: EMNLP 2026
论文: ACL Anthology
代码: https://huggingface.co/datasets/alibabagroup/CMGUI
领域: LLM推理
关键词: 移动端GUI智能体, 语义上下文机制, 中文GUI基准, 强化微调, 历史压缩

一句话总结

SecAgent 针对多模态移动端 GUI 智能体在历史屏幕堆叠带来的巨大计算开销及中文开源生态数据匮乏问题,提出语义上下文机制将历史屏幕与操作压缩为紧凑的自然语言摘要,结合高质量中文数据集 CMGUI 与两阶段对齐强化训练,使 3B 规模轻量模型在任务准确率上超越同量级基准并匹敌 7B-8B 先进智能体。

研究背景与动机

基于多模态大语言模型(MLLMs)的移动图形用户界面(GUI)智能体正在迅速革新复杂手机日常任务的自主执行能力。早期基于辅助功能树(Accessibility Tree)等结构化元数据的系统受制于平台强依赖与元数据缺失缺陷,促使学界全面转向基于纯视觉屏幕截图的感知与规划范式。然而,多步导航决策高度依赖于历史上下文,为了使智能体知晓之前的交互路径与页面状态迁移,当前主流架构普遍采用无损堆叠历史屏幕截图和操作序列的策略(如 OdysseyAgent 维护多达 5 帧完整历史屏幕)。由于单张视觉嵌入占位动辄数百甚至上千 token,长程多步导航会导致输入序列急剧膨胀,带来灾难性的首字生成延迟(TTFT)与实时推理开销,严重阻碍了端侧部署与低延迟响应。

与此同时,现有移动 GUI 智能体研究几乎被英文生态主导,开源高质量非英文轨迹数据集极其稀缺。现存少数中文 GUI 数据集或属企业内部闭源资产,或仅依托随机游走及启发式脚本生成合成指令,缺乏细粒度的步骤级人工质检与精确边界框校验;且自动化分割模型(如 SAM2)在密集移动 UI 场景中频发检测框过大或过小等失真现象,无法为精准触控提供可靠训练基准。更关键的是,现实移动端人机交互天然存在“同目标多可行路径”的多样性特征(例如既可通过搜索建议直达,亦可键入完整文本后回车),现有单真值(Single Ground-Truth)评估协议对多解操作的误判率极高,严重低估了智能体的泛化规划能力。

为了同时化解“历史堆叠带来的计算负担”与“非英文生态高质量基线匮乏”的瓶颈,亟需探索一种既能精准表征长程历史、又对视觉 token 极度克制的表征范式。本文的核心 idea 是:抛弃昂贵的多历史屏幕堆叠,提出以自然语言为载体的“语义上下文机制(Semantic Context)”,仅以单帧历史图文为锚点动态递归提炼执行进展,并将人工校验的中文移动全场景数据集转换为统一导航坐标空间,配合 SFT 与两阶段规则强化微调(RFT),以 3B 紧凑参数实现高精度、极低延迟的自适应长程 GUI 导航。

方法详解

整体框架

SecAgent 将多步 GUI 导航形式化为结合动态文本记忆的自回归决策策略。在任意导航步骤 \(t\),模型接收用户全局目标指令 \(I\)、当前屏幕截图 \(X_t\)、上一时刻演化而来的语义上下文 \(C_{t-1}\)、前一步屏幕截图 \(X_{t-1}\) 以及前一步执行动作 \(A_{t-1}\)。模型以统一自回归序列输出结构化三元组:更新后的当前语义上下文 \(C_t\)、当前决策思维链推理 \(H_t\)、以及最终输出的规范动作 \(A_t\):

\[P(C_t, H_t, A_t \mid I, X_t, C_{t-1}, X_{t-1}, A_{t-1})\]

由于语义上下文 \(C_t\) 以纯自然语言摘要形式记录了历史所有关键交互(已点选标签、已输入关键词、已呈现检索结果等),智能体无需回溯 \(N > 1\) 的历史图像队列,将历史图像窗口安全截断至极小的 \(N = 1\),大幅释放注意力计算量并消除历史图像冗余。整体系统构建在 CMGUI 高质量数据集采集流水线、Grounding 到 Navigation 动作空间对齐映射、以及 SFT 到 RFT 的两阶段强化训练框架之上。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>指令 I + 截图 Xt + 历史 Xt-1, At-1 + 上轮记忆 Ct-1"] --> B["语义上下文机制<br/>单步历史图文递归提炼自然语言进展 Ct"]
    B --> C["跨任务格式对齐<br/>定位框中心点转换统一导航点击坐标"]
    C --> D["两阶段对齐与强化微调<br/>LoRA 模仿预热 + GRPO 规则驱动策略优化"]
    D --> E["结构化三元组输出<br/>语义上下文 Ct + 思维链 Ht + 规范动作 At"]

关键设计

1. 语义上下文机制:解决多步导航历史屏幕堆叠的计算膨胀与信息丢失

传统视觉智能体要么仅保留动作序列而失去页面语义迁移线索,要么保留多达 \(N \ge 5\) 步完整屏幕截图而导致显存消耗和计算延迟呈线性暴增。SecAgent 提出将非结构化且信息稀疏的屏幕视觉流提炼为显式的自然语言语义上下文(Semantic Context)。在每一步 \(t\) 中,智能体比对 \(X_{t-1}\)、实际执行动作 \(A_{t-1}\) 和当前转移后的页面 \(X_t\),以自然语言增量总结前一步带来的界面状态变迁(例如“点击了搜索栏并成功唤起软键盘”),并将其追加维护到全局有序列表 \(C_t\) 中。这使智能体不仅具备即时感知的记忆跨度,而且摆脱了对历史屏幕张量的注意力依赖。由于大模型对自然语言具有强大的先验理解力,自然语言上下文相比参数化的屏幕坐标元组具备更高的语义可解释性与因果链贯穿性。

2. 跨任务格式对齐:消除定位数据与多步导航数据的交互空间割裂

移动智能体在预训练与监督微调中通常混杂界面定位(Grounding)与导航(Navigation)两类数据。然而传统做法中,Grounding 任务强制输出两点式边界框坐标 \([x_{\min}, y_{\min}, x_{\max}, y_{\max}]\),而真实导航执行仅需点选动作的单点命中坐标 \([x, y]\)。这种格式与损失分布的不一致会诱发任务间负迁移。SecAgent 提出 Grounding-to-Navigation 坐标重映射策略(Gr2Nav),在构建 18k 规模的高质量中文定位数据时,利用人类双重核验的精确外接矩形直接计算其几何中心点 \((x_{\text{center}}, y_{\text{center}})\),将其无缝重构为单步原子级点击操作。这彻底消除了两类任务的目标表示冲突,使定位先验无损迁移至复杂交互决策。

3. 两阶段对齐与强化微调:打通从结构化模仿到规则驱动策略优化的泛化路径

为激发轻量 3B 模型的端到端推理与容错能力,SecAgent 采用“SFT 模仿对齐 + RFT 规则引导强化”两阶段训练体系。第一阶段采用 LoRA 针对统一动作格式与“上下文-思维-动作”结构化模板进行监督预热,使模型学会稳定的输出范式;第二阶段采用全参数微调,引入群体相对策略优化(GRPO)算法。该算法无需单独训练 Critic 或奖励模型,通过自采样生成 \(G=16\) 条候选输出并在组内归一化优势值。奖励函数由双轨规则严格构成:格式奖励(Format Reward)在正确生成 <summary>、<think> 和 <tool_call> 三元组时给予 0.5 分;动作奖励(Action Reward)则在预测动作落在多选有效动作集合或正确匹配输入文本/滑动朝向时给予 1.0 分,并通过非对称截断(\(\epsilon_{\text{low}}=0.2, \epsilon_{\text{high}}=0.28\))与 KL 散度惩罚约束策略漂移:

\[J_{\text{GRPO}}(\theta) = \frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \left( \min\left( r_{i,t}(\theta) \hat{A}_{i,t}, \, \text{clip}\left( r_{i,t}(\theta), 1 - \epsilon_{\text{low}}, 1 + \epsilon_{\text{high}} \right) \hat{A}_{i,t} \right) - \beta D_{\text{KL}}[\pi_\theta \parallel \pi_{\text{ref}}] \right)\]

损失函数 / 训练策略

在 SFT 阶段,模型以标准的自回归 Next-Token Prediction 交叉熵损失进行训练,学习率设为 \(2\times 10^{-5}\),Batch Size 为 2,训练轮数为 6 个 Epoch,LoRA Rank 与 Alpha 分别配置为 8 和 16。在 RFT 阶段,基于 GRPO 算法进行全参数优化,学习率为 \(1\times 10^{-6}\),Batch Size 为 8,Rollout 条数 \(G=16\),KL 惩罚系数 \(\beta=0.04\)。视觉输入分辨率限制在最小 200,704 像素与最大 501,760 像素之间,在保证 UI 文本清晰度的同时约束显存开销。

实验关键数据

主实验

评估在专门构建的中文移动端权威基准 CMGUI-Bench(386 条成功评测轨迹,2,547 步操作,覆盖 44 款主流 App)以及两大通用英文移动端评测集 AndroidControl 与 GUIOdyssey 上全面展开。所有模型均采用统一的高级目标指令(High-Level Instructions)。

CMGUI-Bench 中文全场景导航评测:

模型类别 模型名称 单步准确率 (SA %) 任务成功率 (TA %) 点击 (Click %) 输入 (Type %) 滑动 (Swipe %) 终止 (Terminate %)
闭源前沿模型 GPT-4o 48.4 0.0 43.5 68.3 63.7 62.1
闭源前沿模型 Claude-3-Sonnet 81.4 25.8 91.1 30.0 81.3 53.4
开源 7B/8B 规模 Qwen2.5-VL-7B 83.8 35.6 89.0 75.9 4.4 79.0
开源 7B/8B 规模 UI-TARS-7B 63.8 2.5 80.2 11.1 3.3 8.3
开源 7B/8B 规模 OS-Atlas-7B 69.6 10.0 77.0 76.8 5.5 32.1
开源 7B/8B 规模 GUI-R1-7B 70.5 7.9 84.2 45.5 5.5 8.7
开源 7B/8B 规模 UI-Venus-Navi-7B 89.6 53.1 92.6 91.5 45.0 81.2
开源 7B/8B 规模 AgentCPM-GUI-8B 84.9 39.0 85.8 93.8 54.9 81.2
开源 7B/8B 规模 Qwen3-VL-8B 91.1 59.7 92.6 82.6 69.2 94.6
开源 3B/4B 规模 Qwen2.5-VL-3B 78.8 25.6 83.2 66.0 5.5 81.9
开源 3B/4B 规模 UI-R1-3B 56.4 1.0 71.2 7.6 5.5 6.5
开源 3B/4B 规模 GUI-R1-3B 45.2 0.5 57.1 8.0 2.2 4.3
开源 3B/4B 规模 Qwen3-VL-4B 90.1 57.4 91.2 84.8 65.9 94.6
本文方法 SecAgent-3B (Ours) 96.4 80.0 96.1 99.1 87.6 99.2

通用英文移动端基准泛化表现:

模型分类 模型名称 AndroidControl (SA %) GUIOdyssey (SA %)
闭源模型 GPT-4o 20.8 29.3
闭源模型 Claude-3-Sonnet 12.5 46.5
开源 7B/8B 模型 Qwen2.5-VL-7B 62.9 59.6
开源 7B/8B 模型 UI-TARS-7B 74.4 37.5
开源 7B/8B 模型 OS-Atlas-7B 71.2 65.2
开源 7B/8B 模型 GUI-R1-7B 51.7 41.9
开源 7B/8B 模型 UI-Venus-Navi-7B 76.1 71.1
开源 7B/8B 模型 AgentCPM-GUI-8B 69.2 79.2
开源 7B/8B 模型 Qwen3-VL-8B 46.4 53.8
开源 3B/4B 模型 Qwen2.5-VL-3B 60.1 49.3
开源 3B/4B 模型 UI-R1-3B 45.4 32.7
开源 3B/4B 模型 GUI-R1-3B 46.6 34.6
开源 3B/4B 模型 Qwen3-VL-4B 47.5 53.4
本文方法 SecAgent-3B (Ours) 69.5 74.3

消融实验

消融实验深入验证了历史滑动窗口大小 \(N\)、语义上下文(SC)、思维链(Thought)以及训练数据格式与强化对齐机制的独立贡献。

历史窗口大小与推理效率消融:

实验配置 单步准确率 (SA %) 任务成功率 (TA %) 输入 Token 规模 (ITC) 首字延迟 (TTFT s) 解码吞吐 (TPS)
\(N = 0\)(仅当前帧) 85.3 36.2 1537 0.07 145
\(N = 1\)(默认:单步历史 + SC) 94.8 72.8 2239 0.11 140
\(N = 2\)(保留 2 步) 95.1 73.8 2760 0.14 134
\(N = 5\)(保留 5 步) 95.5 74.1 3642 0.22 122
\(N = 5\) 无语义上下文 (w/o SC) 95.0 73.0 3507 0.22 124
\(N = 1\) 无语义上下文 (w/o SC) 90.6 56.4 2171 0.11 142
\(N = 1\) 无思维链 (w/o thought) 94.0 68.9 2207 0.11 141

数据构建与训练范式消融:

训练数据组成 训练算法阶段 单步准确率 (SA %) 任务成功率 (TA %)
仅 Navigation 数据 SFT 93.7 65.8
原始 Grounding + Navigation SFT 94.4 69.2
坐标对齐 Gr2Nav + Navigation SFT 94.8 72.8
坐标对齐 Gr2Nav + Navigation 仅 RFT(1k SFT 预热) 95.2 75.9
坐标对齐 Gr2Nav + Navigation 完整 SFT + RFT 96.4 80.0

关键发现

  • 历史压缩的等效增益:\(N=1\) 配备语义上下文后,任务成功率(72.8%)几乎追平了无语义上下文时堆叠 5 张屏幕的配置(73.0%),而输入 Token 数量下降了 36.2%(从 3507 降至 2239),首字生成时间缩减了一半(0.11s vs 0.22s),充分证明语言层面的进展摘要能够无损替代沉重的图像注意力记忆。
  • 动作空间对齐的决定性影响:将 Grounding 数据的两点矩形框直接映射为导航中心点(Gr2Nav)相比原始 Grounding 输入,在 SFT 下带来了 3.6% 的端到端任务成功率净增益(72.8% vs 69.2%),验证了消除定位与导航动作输出空间割裂的必要性。
  • RFT 对复杂推理的强化:在完整的 SFT 基础上引入基于 GRPO 的规则强化微调,使模型在单步准确率上提升 1.6%,任务完成率显著提升 7.2%(从 72.8% 攀升至 80.0%),尤其是针对滑动操作(Swipe)这种易受滑动起止距离与时机影响的动作,准确率从基线的极低水平飞跃至 87.6%。

亮点与洞察

  • 语言摘要代替图像栈:巧妙地将多模态视觉长记忆转化为主体自回归生成的自然语言状态日志,使端侧轻量视觉模型无需背负沉重的长视觉序列注意力负担,在 \(N=1\) 的极低输入延迟下达到了 \(N=5\) 图像堆叠的全局规划能力。
  • Gr2Nav 动作空间统合:针对跨模态定位与手机控制格式冲突问题,采用框中心单点化映射统一数据表示,为多源 UI 混合预训练提供了简洁高复用的技术规范。
  • 动态多分支有效动作评估:CMGUI-Bench 突破了传统单一步骤单真值的狭隘测试框架,首次在中文移动端真实复杂任务中全面标注了多重可行分支(Multi-Choice Actions),为社区提供了更符合真实用户习惯的高可靠评测基准。

局限与展望

  • 语言生态扩展性:CMGUI 目前仅覆盖中文移动应用生态,虽然展示了向英文测试集的跨域迁移能力,但缺乏向更多小语种及跨文化界面的本地化适配与数据覆盖。
  • 模型体量探索受限:当前实验与模型参数主要聚焦在 3B 规模,未在 7B、14B 等更大规模骨干网络上探索语义上下文与 RFT 带来的潜在性能边界。
  • 离线回放与在线动态部署鸿沟:目前的实验评测基于离线轨迹环境进行,未完全涵盖真实真机部署中的网络波动延迟、系统动态弹窗、偶发权限拦截等极端长尾场景。

相关工作与启发

  • vs OdysseyAgent:OdysseyAgent 依赖显式堆叠多达 5 步的历史屏幕截图与动作序列,计算延迟与 token 开销随步数线性激增;SecAgent 引入自回归演化的语义上下文,仅需单步历史即可达到相当精度,推理吞吐与时延优势显著。
  • vs Mobile-Agent-v2:Mobile-Agent-v2 依赖多个异构代理(单独的模型分别负责规划、信息抽取与操作总结)协同运作,通信开销与推理轮次庞大;SecAgent 实现了“记忆更新-反思思考-动作输出”在单智能体自回归三元组中的全内化。
  • vs UI-Venus / AgentCPM-GUI:现有中文与多模态端侧强化学习系统主要专注于通用思维链探索;SecAgent 进一步结合了精细的格式化奖励与动作有效性奖励,并配以跨任务动作空间无损对齐,使轻量 3B 模型全面抗衡 7B-8B 先进基线。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 提出轻量级语义上下文替代多历史屏幕记忆流,并设计了首个多选择真值中文基准。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 44 款 App、多尺阶基准模型横向对比、全面的时延/吞吐量化及跨域泛化评测。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨,问题陈述明确,逻辑层层递进,方法与消融对照细致。
  • 价值: ⭐⭐⭐⭐⭐ 开源首个高质量人工双重校验的中文移动 GUI 全场景数据集及高基准模型,极大推动了端侧智能体实用化落地。