跳转至

Are Android GUI Agents Robust Against Runtime Anomalies? AnTrap: Evaluating Agents in Dynamic Adversarial Environments

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/gguogan/AnTrap
领域: LLM Agent
关键词: Android GUI Agent、运行时异常评测、动态对抗环境、STAR分类法、强化学习鲁棒性

一句话总结

提出了针对 Android GUI 智能体运行时异常的动态对抗评测基准 ANTRAP,涵盖状态、思维、动作与交互轮次四大层级共十个细粒度陷阱,并揭示现有智能体面对运行时异常普遍脆弱且强化学习仅能修复单步扰动而无法解决多步上下文死锁的根本瓶颈。

研究背景与动机

基于多模态大语言模型(MLLM)的 Android GUI 智能体在近期取得了突破性进展,能够依据自然语言指令在 live 操作系统中自主完成复杂的长序列规划与设备操作。现有的主流动态评测基准(如 AndroidLab、AndroidWorld 与 MobileWorld)主要关注智能体在理想、稳定、干净环境下的通用任务完成率。然而,在真实手机系统部署中,智能体不可避免地频繁面临两类严重的动态异常:一是来自系统外部的突发环境扰动,例如应用弹窗广告、权限申请弹窗、系统卡顿和界面渲染延迟;二是智能体内部认知与执行错误引发的中间失效,如元素视觉幻觉、定位偏移(grounding error)或动作类型误用。

尽管现有工作开始意识到鲁棒性的重要性,但早期的尝试存在显著缺陷。部分基准局限于预定义的静态单步轨迹测试或单纯的视觉噪声加噪,脱离了真实多步交互环境;另一些工作虽在动态环境中评估,但往往仅探索指令歧义性或依赖模拟器偶发的偶发性故障,缺乏受控、系统且覆盖真实交互全周期的异常注入机制。更重要的是,现有研究未能清晰划分哪些运行时异常可以通过环境交互式强化学习自愈,哪些构成了大模型深层推理能力的固有瓶颈。

面对这一系统性空白,迫切需要建立一个贯穿真实设备操作全生命周期、兼具任务可解性保证与细粒度扰动控制的动态对抗评测基准。核心 idea:基于 GUI 交互循环提出覆盖状态、思维、动作、轮次四层级十细类的 STAR 异常分类法,在保证任务可解的前提下构建动态对抗评测基准 ANTRAP,并揭示强化学习仅能修复单步表面扰动而无法克服深层上下文死锁的根本分界。

方法详解

整体框架

ANTRAP 构建于 AndroidWorld 动态模拟环境之上,将基准任务扩充至 236 项涵盖随机参数的真实移动任务。其核心机制是在智能体与 Android 操作系统的多步交互循环 \(\mathcal{R} = (S, T, A)\) 中动态植入可控扰动。其中 \(S\) 为环境返回的屏幕状态,\(T\) 为智能体内部思维过程,\(A\) 为发往系统的执行动作。在执行步 \(t\) 时,ANTRAP 的控制层根据设定的触发概率与调度规则,通过陷阱工具箱(Trap Toolbox)在四个对应交互阶段无缝拦截并注入扰动 \(L_{\text{trap}}\):

\[X \xrightarrow{L_{\text{trap}}} \tilde{X}, \quad X \in \{S_t, T_t, A_t, \mathcal{R}_{t-k:t}\}\]

扰动注入严格遵循两大核心原则:动态干预(Dynamic Intervention)与可解性保持(Solvability Preservation)。扰动不是静态预置在离线轨迹中,而是在智能体在线自主探索时随机触发;同时注入逻辑保证不会破坏任务底层逻辑与目标完成路径,确保智能体性能下降完全归因于对运行时异常的恢复能力不足。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户指令 + 236项动态Android任务"] --> B["STAR四层扰动分类体系<br/>涵盖状态/思维/动作/轮次"]
    B --> C["双重拦截注入流水线<br/>动态拦截 + 保持任务可解"]
    C --> D["非对称历史记录机制<br/>真实环境变动 vs 诱导思维偏航"]
    D --> E["GRPO在线对抗强化学习<br/>辨识环境可学与推理瓶颈边界"]
    E --> F["输出:细粒度异常自愈与鲁棒性诊断"]

关键设计

1. STAR 四层十类动态陷阱分类体系:系统化映射真实部署异常

针对以往基准异常类型碎片化、缺乏系统分类的问题,ANTRAP 提炼出 STAR 分类体系,将异常精确对齐到交互循环的生命周期中: - 状态层(State Layer, \(S_{\text{trap}}\)):模拟真实屏幕状态突变。包含 外部中断(External Interruption)(通过在模拟器安装专用的 TrapOverlay APK 注册系统弹窗悬浮窗,触发应用广告、权限申请弹窗或顶部横幅)以及 视觉遮挡(Visual Obscuration)(利用 Pillow 在无障碍树抽取的 UI 组件或全屏 10%–30% 区域叠加高斯模糊或色块遮罩)。 - 思维层(Thinking Layer, \(T_{\text{trap}}\)):模拟模型认知与时序理解失真。包含 时序冲突(Temporal Conflict)(在决策瞬时将当前帧替换为向前回退 \(N\) 步的旧帧或无关应用截图)以及 视觉幻觉(Visual Hallucination)(将文本组件替换为反义词词对,如 Save/Delete、Allow/Deny,制造视觉语义误导)。 - 动作层(Action Layer, \(A_{\text{trap}}\)):模拟执行与底层控制偏差。包含 定位误差(Grounding Error)(在模型输出坐标上叠加均匀随机偏移 \(\delta_x, \delta_y \in [20, 50]\) 像素)、类型不匹配(Type Mismatch)(在点击、长按、双击之间随机重映射,或翻转滑动起终点)以及 意图偏离(Intent Deviation)(将点击篡改为邻近反向功能按钮,或篡改输入文本)。 - 轮次层(Round Layer, \(R_{\text{trap}}\)):模拟跨越多个交互步的长程异常。包含 状态死锁(State Deadlock)(在连续 \(k\) 步内静默吞噬所有发往系统的 ADB 指令,返回完全未更新的屏幕)、上下文破坏(Context Disruption)(在智能体行动前注入系统按键如 KEYCODE_HOME 强退桌面或 KEYCODE_APP_SWITCH 切入后台列表)以及 执行循环(Loop)(固定步长周期性注入 KEYCODE_BACK 导致反复返回)。

2. 动态拦截与非对称历史记录机制:精准隔离环境恢复与自主反思能力

为了让注入既能真实检验智能体自愈能力,又不对模型推理框架造成外部侵入,ANTRAP 设计了透明代理拦截器与非对称历史日志管理策略。 在调度上,评测时设定单步独立触发概率 \(p_{\text{trap}} = 0.16\),且每轮交互上限严格限制为 \(n_{\text{max}} = 1\)(仅注入单次陷阱),注入窗口限制在任务前 80% 步数内,并将总步数预算适度放宽至 \(1.15\times\),为智能体留出足够的自愈空间。 在交互历史记录机制上,ANTRAP 创新性地区分了两类模式: - 直接修改(Direct Modifications):针对状态层及动作重映射等真实改变系统状态的操作,修改后的新屏幕与执行动作原原本本录入上下文历史,考察智能体能否准确察觉外部世界的真实变动并调整方案。 - 诱导修改(Induced Modifications):针对思维层的观测篡改或动作静默丢弃,被污染的虚假观测或动作拦截器本身不写入长期历史,历史中仅保留模型被误导后生成的输出文本。这意味着模型在后续步骤中必须面对自身先前推理失误留下的“历史包袱”,从而严格检验智能体面对内部认知错误时的反思与自愈能力(Self-Correction),而非单纯的环境抗噪能力。

3. 对抗环境下的 GRPO 强化学习探索:分离环境可学挑战与推理瓶颈

为了探索运行时异常能否通过强化学习训练自愈,研究引入了在线 Group Relative Policy Optimization(GRPO)。针对任务采样 \(G=8\) 条 rollout 轨迹,完全基于环境规则的成功/失败给予二元稀疏奖励 \(r_i \in \{0, 1\}\),无需独立的 Critic 网络:

\[J_{\text{GRPO}}(\theta) = \mathbb{E}\left[\frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min\left(\rho_{i,t}(\theta) A_i, \text{clip}(\rho_{i,t}(\theta), 1-\epsilon, 1+\epsilon) A_i\right)\right]\]

其中优势值 \(A_i = \frac{r_i - \text{mean}(r)}{\text{std}(r)}\) 实现组内序列级相对归一化,\(\rho_{i,t}(\theta) = \frac{\pi_\theta(o_i(t)|o_{i,<t})}{\pi_{\text{old}}(o_i(t)|o_{i,<t})}\) 为重要性采样比率。 通过在无陷阱的原始环境(+Orig)与独立陷阱子类对抗环境(+Trap)下分别进行全参数 GRPO 训练,揭示了不同异常层级的本质分界:单步扰动具有明确的对抗信号,策略能快速学会检测并补偿;而跨步长上下文陷阱由于奖励过于稀疏且需要高阶元认知自省,纯粹的环境交互 RL 几乎无法带来增益。

损失函数 / 训练策略

训练采用基于 VERL 框架的 full-parameter GRPO,在 2 个计算节点共 16 张 NVIDIA A100 (80GB) 上进行分布式训练。配置采用 FSDP2 与 BF16 混合精度,vLLM 加速交互推理,每卡微批次大小为 1,全局训练批次大小为 8,学习率设定为 \(1 \times 10^{-6}\),梯度裁剪范数为 1.0,PPO 截断系数 \(\epsilon = 0.2\)。交互采样温度固定为 1.0,最大 Prompt 长度为 32,768 tokens,单步最大回复长度为 512 tokens,单任务最大交互轮次上限为 50 步。

实验关键数据

主实验

在 ANTRAP 的 236 项任务上系统评估了来自 7 家机构的 16 款领先智能体模型(涵盖商用闭源、开源 Instruct 以及开源 Thinking 模型),各模型在基准干净环境(Orig)与各个陷阱子类别下的 Pass@3 成功率(%)如下表所示:

模型类型 模型 原始 (Orig) 外部中断 (Ext.I.) 视觉遮挡 (Vis.O.) 时序冲突 (Tmp.C.) 视觉幻觉 (Vis.H.) 定位误差 (Grd.E.) 类型不匹配 (Typ.M.) 意图偏离 (Int.D.) 状态死锁 (St.DL.) 上下文破坏 (Ctx.D.) 循环 (Loop) 平均 (Avg)
人类基线 Human Annotator 94.1 94.1 92.4 - - 94.1 93.6 - 93.2 92.8 - 93.4
商业闭源 Claude-Sonnet-4.6 74.2 64.8 66.1 66.9 72.0 69.9 67.8 69.5 63.1 63.1 61.9 66.5
商业闭源 Gemini-3-Pro 72.9 61.9 68.6 60.2 62.7 68.6 60.6 66.1 63.6 61.4 62.3 63.6
商业闭源 GPT-5.4 65.3 55.1 53.8 57.6 64.8 - 61.9 61.9 50.0 52.5 51.7 56.6
商业闭源 GPT-5.4-Mini 42.8 31.4 25.0 40.3 29.7 - 29.2 33.1 31.8 34.7 39.4 32.7
开源 Instruct GUI-Owl-1.5-32B-Instruct 68.2 58.1 62.7 57.2 65.3 63.1 64.0 66.1 63.6 62.7 61.0 62.4
开源 Instruct GUI-Owl-1.5-8B-Instruct 64.8 55.1 66.9 58.1 65.3 65.7 63.1 60.2 55.1 57.2 58.5 60.5
开源 Instruct Qwen3-VL-4B-Instruct 54.7 37.7 52.1 47.9 31.4 50.8 50.8 49.2 42.8 43.2 52.1 45.8
开源 Instruct Qwen3-VL-8B-Instruct 52.1 38.1 53.8 41.5 47.0 49.6 50.0 48.3 41.5 45.3 47.9 46.3
开源 Thinking GUI-Owl-1.5-32B-Think 69.5 60.2 67.8 52.5 67.4 67.4 65.7 65.3 55.5 54.2 68.2 62.4
开源 Thinking GUI-Owl-1.5-8B-Think 66.1 53.0 66.5 58.5 60.2 67.4 62.3 63.6 63.1 57.2 65.3 61.7
开源 Thinking GUI-Owl-7B 63.1 43.2 57.6 40.7 58.9 59.3 55.5 57.2 42.4 26.3 35.6 47.7
开源 Thinking MAI-UI-2B 33.5 27.5 31.8 26.7 34.3 30.9 26.3 27.5 29.2 25.8 30.1 29.0
开源 Thinking MAI-UI-8B 53.4 40.3 51.7 47.0 54.2 52.5 50.0 51.3 50.0 44.5 45.8 48.7
开源 Thinking Qwen3-VL-4B-Thinking 57.2 45.3 50.0 41.1 50.0 50.8 53.8 55.5 47.9 43.2 46.6 48.4
开源 Thinking Qwen3-VL-8B-Thinking 62.7 59.3 61.0 48.7 61.9 64.4 61.0 60.2 54.2 58.9 36.9 56.6
开源 Thinking UI-TARS-1.5-7B 29.7 28.0 27.1 21.6 22.9 17.8 21.2 21.2 23.7 13.6 20.8 21.8

消融实验

为了探究强化学习训练环境对模型通用能力与鲁棒自愈能力的根本影响,论文在 GUI-Owl-7B 与 UI-TARS-7B 上对比了三种训练机制:基础基线(Base)、在原始干净环境中训练(+Orig-GRPO)、在 ANTRAP 各子类对抗环境中专用训练(+Trap-GRPO),成功率(%)如下表所示:

层级 细分类别 GUI-Owl Base GUI-Owl +Orig GUI-Owl +Trap UI-TARS Base UI-TARS +Orig UI-TARS +Trap 说明
- 原始基线任务 (Original Task) 63.1 69.9 69.5 29.7 36.0 35.6 两种 RL 对通用任务提升均超 5.9%
S层 外部中断 (Ext. Interruption) 43.2 45.3 54.2 28.0 29.2 36.4 对抗RL显著提升自愈率(+11.0% / +8.4%)
S层 视觉遮挡 (Vis. Obscuration) 57.6 58.9 66.5 27.1 28.4 35.2 对抗RL在S层带来超过8%的绝对涨点
T层 时序冲突 (Tmp. Conflict) 40.7 41.9 45.8 21.6 22.5 25.8 对抗RL温和改善(+5.1% / +4.2%)
T层 视觉幻觉 (Vis. Hallucination) 58.9 59.7 64.0 22.9 23.7 27.1 认知层面自愈信号相对微弱
A层 定位误差 (Grd. Error) 59.3 62.7 67.4 17.8 20.8 25.4 单步动作级偏移可通过RL有效修复
A层 类型不匹配 (Type Mismatch) 55.5 58.5 64.0 21.2 24.2 28.8 对抗RL带来显著增益(+8.5% / +7.6%)
A层 意图偏离 (Int. Deviation) 57.2 55.5 60.6 21.2 21.6 26.7 涉及语义偏离时提升相对收敛
R层 状态死锁 (State Deadlock) 42.4 42.8 44.9 23.7 24.6 26.3 跨步长死锁几乎无法通过RL解决(增益<3%)
R层 上下文破坏 (Ctx. Disruption) 26.3 27.5 29.2 13.6 14.4 15.7 强退桌面等长程破坏恢复增益极小
R层 循环陷阱 (Loop) 35.6 36.0 36.4 20.8 21.2 21.6 周期性Back拦截导致策略完全停滞(增益<1%)

关键发现

  • 普遍脆弱性与显著降级:所有 16 款模型在对抗环境下的平均表现均显著劣于原始环境。即使最强闭源模型 Claude-Sonnet-4.6 也从 74.2% 跌落至 66.5%,开源最强的 GUI-Owl-1.5-32B-Think 从 69.5% 下降到 62.4%。
  • 长序列上下文陷阱远比单步扰动致命:智能体在轮次层(R-Layer)异常中跌幅最惨烈,尤其是状态死锁(State Deadlock)与上下文破坏(Context Disruption)。智能体对单步即时视觉/定位扰动具有一定容忍度,但极其缺乏跨步长反思能力,极易陷入死循环或产生任务已完成的幻觉。
  • 思维链推理能力并不直接等价于鲁棒性:Thinking 模型虽然在干净环境下基线显著更高(例如 Qwen3-VL-8B-Thinking 相比 Instruct 提升 10.6%),但在陷入陷阱时绝对下降点数却相仿甚至更大(Qwen3-VL-8B-Thinking 下跌 6.1%,Instruct 下跌 5.8%;GUI-Owl-1.5-32B-Think 下跌 7.1%,Instruct 下跌 5.8%)。
  • 环境可学挑战与推理瓶颈的分界线:在对抗环境下微调(+Trap-GRPO)可以在状态层和动作层带来 8%~11% 的强劲提升;但面对轮次层(如 Loop 和 State Deadlock),提升低于 1%~3%。这表明单步自愈是环境可学的,但摆脱死锁需要更高维度的长程元认知自省能力。

亮点与洞察

  • STAR 交互全生命周期异常抽象:将真实移动端崩溃场景精炼为状态、思维、动作、轮次四层,并针对无障碍树与 ADB 原生层给出了十种程序化注入实现,为真实 GUI 智能体系统设计了标准的压力测试范式。
  • 诱导修改(Induced Modifications)评测设计:在思维层扰动中只给模型喂单步错误帧,而在历史上下文中仅保留模型被误导后的决策产物。这一设计剥离了外部噪声容忍度,直接测试智能体修正自身先前错误决策的“自省与自纠错”本领。
  • GRPO 强化学习有效性边界探索:系统性实验回答了“强化学习能否直接训练出鲁棒智能体”,明确指出单步动作/感知鲁棒性易于习得,而跨步长状态死锁是长程推理架构瓶颈。

局限与展望

  • 基础任务覆盖规模仍有限:受限于人工校验环境与规则化评估器的耗时成本,基准目前包含 236 项基础任务,虽然涵盖常见应用,但仍难以全覆盖全球移动生态中的长尾应用场景。
  • 未探索对抗性监督微调(Adversarial SFT):由于多步自愈交互轨迹的人工标注极其昂贵,研究未评估离线 SFT 与在线 RL 的协同效应,后续工作可探索对抗轨迹数据对长程上下文死锁的缓解作用。
  • 侧重于评测诊断而非全套防御方案:ANTRAP 的主要目标是暴露智能体弱点与划定边界,如何设计架构级自省机制与高效在线训练方案以根本解决长程死锁仍是开放课题。

相关工作与启发

  • vs AndroidWorld / AndroidLab: AndroidWorld 等专注于干净操作系统中的单路径常规任务执行;ANTRAP 在其基础上大幅扩充任务多样性,并首次引入系统性的跨层级动态异常注入。
  • vs SMAN-Bench / ScreenSpot: SMAN-Bench 等属于离线静态轨迹评测或仅限于视觉扰动/指令模糊;ANTRAP 是全动态可交互环境,涵盖从单步感知到多步状态死锁的完整扰动图景。
  • vs GUI-Reflection / Agent-R: 现有自省机制依赖离线随机偶发错误轨迹进行微调,缺乏对异常类型的可控解耦;ANTRAP 提供了受控实验基准,精确指引未来智能体在何处需要补强元认知监控。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出针对 Android GUI 智能体全交互周期的 STAR 动态异常分类法与测试流水线。
  • 实验充分度: ⭐⭐⭐⭐⭐ 评测了 16 款代表性多模态模型,并完成了两套环境下的全参数 GRPO 深入对比。
  • 写作质量: ⭐⭐⭐⭐⭐ 异常分类严密,实验图表详实,对 RL 适用边界的讨论极其透彻。
  • 价值: ⭐⭐⭐⭐⭐ 为推动 GUI 智能体从实验室理想环境走向工业级鲁棒部署提供了关键标准与基准。