AndroidReality: How Far Are Mobile Agents from the Real World?¶

会议: NeurIPS 2026
arXiv: 2608.07775
OpenReview: https://openreview.net/forum?id=H8jkwac4sG
代码: https://github.com/AndroidReality/AndroidReality
领域: LLM Agent
关键词: 移动智能体, 鲁棒性评估, 马尔可夫决策过程, 扰动基准, 运行时反思恢复

一句话总结¶

针对移动端智能体在真实复杂环境下易受视觉变形、执行丢包与弹窗干扰而崩溃的问题，本文构建了基于马尔可夫决策过程（MDP）三大要素的扰动评测基准 AndroidReality，揭示出四类高频失效模式并提出无需训练的测试时内省恢复机制（TTIR）。

研究背景与动机¶

近年来，依托多模态大模型（VLM）构建的移动端 GUI 智能体在 AndroidWorld、SPA-Bench 等标准化线上评测中取得了优异的规划与交互成绩。然而，这些基准环境大多基于高度纯净、静态且行为完全确定的理想假设：界面遵循标准规范布局、动作输入 100% 准确响应、系统状态转移严格按预期步进。一旦将现有智能体部署到真实移动设备中，面对暗黑模式切换、字体与分辨率缩放、网络动作延迟或丢包、各类权限弹窗与全屏广告插屏等不可控变动时，系统成功率往往急剧崩塌。

导致这一鲁棒性断崖的核心矛盾在于：真实设备交互并非单一静态的马尔可夫决策过程（MDP），而是一个语义目标相同、但在状态表征、状态转移与动作执行维度持续漂移的扰动 MDP 族；但现存移动智能体在预训练与指令微调阶段几乎从未暴露于非标准干扰轨迹中，导致模型过度拟合特定布局特征与理想确定性转移，缺乏对执行失败与意外状态的在线感知与重定位能力。以往的鲁棒性评测往往局限于孤立的单一事件（如零散弹窗注入），缺乏统一的形式化建模框架，也无法精准溯源智能体在感知、执行与规划状态机各环节的深层脆弱性。

针对上述挑战，本文将移动端人机交互严格形式化为 MDP 空间中的受控扰动问题，构建了全覆盖、可控注入的评测体系。核心 idea：从马尔可夫决策过程的状态、转移与动作三个正交维度构建移动端扰动基准 AndroidReality，系统性归纳出四大共性失效机理，并由此衍生出纯测试时即插即用的内省恢复机制（TTIR），在无需参数微调的前提下全面提升智能体的真实部署韧性。

方法详解¶

整体框架¶

AndroidReality 在真实的 Android 模拟器与待测移动智能体之间构建了一个透明的中间层扰动注入包装器（Perturbation Wrapper）。该框架将基准环境视为规范 MDP \(\mathcal{M}_0 = (\mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma)\)，并通过受控扰动算子 \(P_{c, \theta}\) 将其映射为扰动 MDP 族 \(\widetilde{\mathcal{M}}_{c, \theta}\)。其中 \(c \in \{\text{State}, \text{Transition}, \text{Action}\}\) 指定扰动发生的核心 MDP 组件，\(\theta\) 控制具体扰动类型与强度。

在单步交互中，环境首先通过动作扰动算子 \(\phi^A_\theta\) 拦截并变形智能体发出的动作（如丢弃或注入延迟），环境转移内核 \(\widetilde{\mathcal{T}}_\theta\) 依据当前状态及扰动动作驱动系统步进并可能注入意外中间态（如安全弹窗或系统通知），最后由状态扰动算子 \(\phi^S_\theta\) 对真实 UI 观察进行视觉与结构变换（如字体缩放、横屏旋转或骨架屏占位），智能体仅能基于扰动后的观察 \(\tilde{o}_{t+1}\) 展开下一步推理与规划。当智能体陷入异常轨迹时，旁路集成的测试时内省恢复模块（TTIR）将介入诊断并进行定向纠偏。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务目标与标准环境 MDP"] --> B["MDP 扰动注入层<br/>状态 / 动作 / 转移受控变换"]
    B --> C["智能体闭环推理交互<br/>生成动作并遭遇扰动轨迹"]
    C --> D["TTIR 四维内省诊断<br/>检测卡顿/未生效/干扰/偏离"]
    D -->|发现异常| E["TTIR 定向纠偏恢复<br/>替代动作/关闭干扰/重定位"]
    D -->|轨迹正常| F["环境状态转移与动作执行"]
    E --> F
    F -->|更新观察| B

关键设计¶

1. MDP 扰动分类学与受控注入层：解耦三维交互脆弱点

传统基准将异常视为偶发的宏观任务事件，无法细粒度归因失败根因。本文基于 MDP 形式化将现实世界变动解耦为三个正交的数学算子：状态扰动 \(\phi^S_\theta\) 保持任务语义与内部逻辑状态不变，仅变换前端视觉渲染（如紧凑屏幕 DPI 缩放、暗黑主题切换、横屏旋转以及骨架屏占位），迫使智能体验证其视觉接地（Visual Grounding）的几何不变性；动作扰动 \(\phi^A_\theta\) 破坏意图动作与实际执行的确定性映射，引入动作概率延迟、随机静默丢包、界面冻结以及应用假死崩溃，测试智能体对执行反馈的敏感度；转移扰动 \(\widetilde{\mathcal{T}}_\theta\) 则在状态机中强行插入非目标支路的中间状态（如权限弹窗、安全验证警告、全屏广告、评分对话框与系统通知），考验智能体区分主线任务与环境噪音的能力。整套体系包含 24 种参数化扰动类型，支持幅度、触发时机和持久度的精确调节。

2. 四大共性失效模式归因：揭示智能体深层机理缺陷

通过对覆盖 2B 到 32B 参数量的 8 款主流移动智能体在扰动环境下的执行轨迹进行系统性人工与日志归因，本文提炼出四种重复出现的代表性错误模式： - 失效陈旧坐标死锁（Stale-Coordinate Stuck）：在屏幕旋转或 DPI 缩放后，UI 元素绝对坐标发生偏移，智能体由于缺乏主动重定位机制，在未观察到预期界面变化时，仍机械性重复点击初始失效坐标，造成步数耗尽； - 静默执行失败感知缺失（Silent Action Failures）：当动作被系统静默丢弃或因网络卡顿未响应时，智能体缺乏动作前后效果的比对验证步骤，依然盲目沿用原规划执行后续子任务，最终在毫无进展的界面上宣布任务成功； - 任务外干扰过度纠缠（Off-Task Engagement with Distractions）：面对系统级弹窗或广告，智能体无法判别其是否属于任务主流程，反而顺应干扰弹窗的按钮层层深入，陷入伪流程死循环； - 干扰排除后的目标记忆漂移（Goal Memory Drift After Distraction）：智能体虽成功关闭了弹窗，但干扰打断了其短期工作记忆，导致其在返回主界面后发生子目标错位、重复从头执行或过早退出。

3. 测试时内省恢复机制（TTIR）：纯免训即插即用的在线自愈

针对上述四大共性缺陷，本文设计了无需微调模型权重的测试时内省恢复模块（TTIR）。该模块复用智能体原有的 VLM 底座，在每个交互步前通过结构化 JSON 提示词进行四项靶向自检：①死循环检测（Stuck-loop detection，同时结合模型判断与连续 \(N\) 步完全相同动作的硬编码兜底）、②动作效果验证（Action-effect verification，对比上一步意图与当前画面）、③外部干扰检测（Interference detection，扫描非任务浮层）、④任务对齐检查（Task-alignment check，判断弹窗排除后是否偏离主线）。

一旦任意维度亮起红灯，TTIR 立即介入并启动具有步数上限的恢复会话，触发一一对应的修复策略： - 对死锁与静默失败，执行替代动作恢复（Alternative-action Recovery），显式告知历史动作无效并强制换用不同可见锚点或交互路径； - 对弹窗干扰，执行消除干扰恢复（Dismiss-interference Recovery），严格限制智能体仅能执行关闭/跳过操作，严禁点击进入弹窗内文； - 对记忆漂移，执行上下文重定位恢复（Re-orientation Recovery），结合全局任务目标提示智能体返回受干扰前的有效子目标状态。一旦状态机恢复正常，控制权即刻交还主智能体。

一个完整示例¶

以设定系统屏幕亮度至最大的典型任务为例：在基准环境下，智能体下拉快捷设置栏并拖动滑块即可完成。在 AndroidReality 中，系统在下拉过程中注入了短信弹窗通知（notification_message 转移扰动）。

未引入 TTIR 的原始智能体在成功点击关闭通知后，屏幕回退到桌面主屏；由于丢失了短期目标追踪，智能体误以为桌面即是最终状态，直接输出 terminate(success)，导致任务失败。

在引入 TTIR 的闭环中： 1. 智能体关闭通知并返回桌面； 2. TTIR 诊断模块扫描当前截图，通过第 ④ 项检查判定 task_alignment = off_track（桌面状态与调整亮度目标脱节）； 3. 系统激活重定位恢复策略，提示模型“当前位于主屏，尚未达成亮度调整，请恢复控制面板”； 4. 恢复智能体执行单步纠偏重新下拉快捷面板，将系统重置回任务正轨； 5. 主智能体重新接管，拖动亮度滑块至最大值，最终成功完成评测。

实验关键数据¶

主实验¶

在基于 AndroidWorld 构建的 AndroidReality 基准上，系统全面评测了 GUI-Owl 系列与 UI-TARS 系列共 8 款开源 GUI 专用智能体。所有模型在扰动环境下的综合成功率均发生显著下跌，跌幅达 13.36 到 36.61 个百分点。

模型	参数量	综合基准 (Clean / Pert.)	状态扰动 \(\Delta_{\text{State}}\)	动作扰动 \(\Delta_{\text{Action}}\)	转移扰动 \(\Delta_{\text{Trans}}\)	步数变化 \(\Delta\text{Step}\)
GUI-Owl-7B	7B	63.79% / 48.28% (-15.51)	-22.73%	-12.50%	-10.23%	+0.91
GUI-Owl-32B	32B	64.66% / 41.81% (-22.85)	-18.18%	-25.00%	-26.14%	+0.54
GUI-Owl-1.5-2B	2B	48.71% / 26.29% (-22.42)	-22.73%	-10.71%	-29.54%	+3.47
GUI-Owl-1.5-4B	4B	43.10% / 29.74% (-13.36)	-25.00%	-12.50%	-2.27%	+1.72
GUI-Owl-1.5-8B	8B	56.90% / 37.07% (-19.83)	-13.64%	-19.64%	-26.13%	+3.77
GUI-Owl-1.5-32B	32B	67.67% / 43.10% (-24.57)	-30.68%	-14.28%	-25.00%	+3.54
UI-TARS-7B-SFT	7B	33.00% / 25.86% (-7.14)	-3.45%	-4.43%	-12.55%	–
UI-TARS-1.5-7B	7B	64.20% / 27.59% (-36.61)	-34.65%	-39.20%	-36.93%	–

消融实验与最具破坏性扰动分析¶

论文进一步对各个具体的细分扰动类型进行了全面冲击力审计。下表展示了对 6 款 GUI-Owl 模型均造成 100% 普遍负向冲击的前三大最严苛扰动类型的表现对比：

扰动类型	归属 MDP 维度	6 款模型平均 Clean 成功率	6 款模型平均 Perturbed 成功率	平均性能降幅 \(\Delta\)
Notification Message (消息通知浮层)	Transition (转移)	73.33%	13.33%	-60.00%
Display Size DPI Compact (紧凑 DPI 缩放)	State (状态)	59.38%	12.50%	-46.88%
Execution Delay Frozen (界面冻结卡顿)	Action (动作)	69.44%	47.22%	-22.22%

此外，在对 TTIR 机制的有效性消融验证中（基于 GUI-Owl-7B）： - 扰动环境下：任务失败数从 60 项下降至 50 项，相对失败率降低 17%； - 纯净原版环境下：即便没有人工注入任何扰动，失败数亦从 44 项下降至 35 项，相对失败率降低 20%。

关键发现¶

状态扰动影响最普遍：改变 DPI 密度或横屏旋转会破坏智能体对 UI 空间布局的先验记忆，导致模型几乎 100% 出现坐标点击偏移并陷入死循环重复尝试。
动作扰动相对宽容但存在隐性陷阱：短延时或偶尔丢包容易被智能体默认的“重试策略”自发掩盖，因而平均降幅较小；但一旦遇到长冻结或静默丢包，智能体将因缺乏自检而在错误界面上盲目推进。
转移扰动呈现剧烈跨模型方差：部分模型能干净利落地跳过广告，而另一些模型（包括 32B 大模型）则被弹窗完全吸入；且即便成功关闭弹窗，后续仍有大量用例因目标工作记忆丢失而半途废弃。
TTIR 揭示纯净基准亦存在伪稳健：TTIR 在纯净环境下依然带来 20% 的失败修复率，证明当前智能体并非只在极端扰动下脆弱，而是其内在机制本就缺乏状态检验与反思闭环。

亮点与洞察¶

将移动端鲁棒性严格形式化为 MDP 空间扰动：不再停留在散装的“收集几个 bug 截图”，而是用严谨的数学形式化把前端视觉、交互动作与后端系统转移切分开来，为后续 Agent 评测树立了规范的基准标准。
揭示了“模型变大不等于鲁棒性变强”的现实困境：32B 模型在扰动下的降幅（-22.85% 至 -24.57%）与 7B/8B 相当甚至更大，说明仅靠提升视觉语言主干的容量无法自发涌现出在线调试与自我纠错能力。
免训内省恢复机制（TTIR）的轻量性与迁移性：无需昂贵的后训练 RL 或 SFT，仅用主干模型自言自语完成诊断与轻量纠偏，且同时赋能真实扰动与原始环境，极具工程实用价值。

局限与展望¶

作者承认的局限：目前基准主要在 Android 模拟器内运行，且任务大多沿用 AndroidWorld 原有任务池（116项），未能完全覆盖需要多 App 复杂跳转的长周期极端真实场景。
未充分探索的维度：TTIR 采用额外的推理轮次进行诊断与恢复，虽然提升了成功率，但不可避免地引入了额外的 Token 消耗与时间延迟，在端侧高实时性交互场景下仍需权衡成本。
未来演进方向：将 TTIR 的内省自纠机制作为轨迹标注器，反哺智能体进行强化学习在线策略优化（RLVR），使其将内省能力内化到原生权重中。

评分¶

新颖性: ⭐⭐⭐⭐ [基于 MDP 的三维扰动形式化体系严谨清晰，解构全面]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖 8 款主流模型，覆盖 2B 到 32B，细颗粒度归因详实]
写作质量: ⭐⭐⭐⭐⭐ [叙事逻辑层层递进，从形式化定义、评测发现到自愈模块设计闭环完整]
价值: ⭐⭐⭐⭐⭐ [指出了当前移动 Agent 走向真实落地的致命痛点，提供了高质量的测试套件与免训基线]