GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions¶

会议: NeurIPS 2026
arXiv: 2609.34113
代码: https://github.com/sqzhang-lazy/GUITAR
领域: LLM Agent
关键词: GUI Agent, 故障诊断, 状态转移图, 瓶颈状态分析, 结构化评估

一句话总结¶

针对传统 GUI Agent 单步成功率指标割裂屏幕语义且掩盖长尾关键失败的问题，GUITAR 通过将外观多样的界面映射为共享功能状态并构建全局状态转移图（STG），揭示了 60.4% 的错误高度集中在仅 20% 的瓶颈状态中，并通过针对性引导显著提升了执行性能。

研究背景与动机¶

近年来基于视觉语言模型（VLM）的图形用户界面智能体（GUI Agent）取得了显著进展，能够跨手机应用和网站自主执行复杂的多步交互。然而，当前社区对 GUI Agent 的评测仍然严重依赖单步准确率或整条轨迹的聚合成功率（Success Rate, SR）。这种标量评估范式将每个屏幕截图视为彼此独立的单步观测，完全割裂了 GUI 交互环境中固有的底层状态拓扑与决策依赖。

这种以单步或整轨标量为中心的评估视角导致了两个关键盲区。首先，界面在视觉呈现上存在极高差异性（如不同商品的详情页、不同店铺的主页），但它们在工作流中承担着完全等价的功能角色；传统的感知相似度或独立单步评估无法将这些异构界面归并为统一的功能语义状态，导致跨轨迹、跨任务的系统性失效规律被表面视觉噪声掩盖。其次，GUI 交互呈现出天然的长尾分布，高频浅层界面（如主页、常用搜索框）在轨迹中占据绝大多数步数，而低频但决定成败的关键交互（如复杂表单确认、多条件过滤）即使频繁失败，也会被高频状态的成功掩盖。更重要的是，即使拥有状态抽象，简单的标量平均也会混淆状态转移的拓扑身份——在同一状态反复自环失败与在跨状态跳转中失败具有截然不同的工程含义，而标量指标对此毫无区分度。

为了突破这一瓶颈，研究者需要一种超越扁平轨迹的结构化诊断框架。本文的核心切入点是：GUI 环境本质上是有状态的有限状态转移系统，评测不应停留在静态图像匹配，而应将屏幕观测解耦为「按功能角色定义的抽象状态」并在全局轨迹上聚合为拓扑图谱。核心 idea：将跨轨迹的 GUI 交互映射为基于功能等价性的全局状态转移图（STG），并在状态层和转移层建立细粒度失败统计指标，实现对 Agent 瓶颈状态的结构化定位与闭环优化引导。

方法详解¶

整体框架¶

GUITAR 的核心设计是将不同 Agent 在同一应用或网站上产生的大量离线执行轨迹，解析并聚合成一个具有统一语义与诊断统计信息的全局状态转移图（State Transition Graph, STG）。系统输入为多条包含目标、截图观测和执行动作的轨迹，经过端到端五阶段自动化流水线提炼出规范拓扑图；随后在构建好的 STG 上对不同模型进行状态级成功率 $C(s)$ 与转移级成功率 $T(s_i, s_j)$ 的多层次结构化分析，进而找出高失败率的瓶颈节点与关键转移；最后在推理阶段利用所诊断出的瓶颈知识进行闭环子目标辅助。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多轨迹交互记录<br/>截图序列 + 动作 + 目标"] --> B["五阶段 STG 自动化构建<br/>图生文描述→轨迹抽象→拓扑聚合→对齐重构→界面映射"]
    B --> C["多层级诊断指标计算<br/>状态级成功率 C(s) 与转移级成功率 T(si, sj)"]
    C --> D["瓶颈状态与转移定位<br/>高错误率节点识别与长尾失效归因"]
    D -->|高风险状态触发阈值 > 0.6| E["闭环推理引导<br/>检索拓扑历史并生成纠错子目标"]

关键设计¶

1. 基于功能等价性的五阶段全局状态转移图构建：消除视觉多样性对状态拓扑的干扰

传统基于图像哈希或感知嵌入的方法容易因为背景壁纸、动态广告等表面差异而导致状态数量爆炸，抑或将布局相似但功能截然不同的界面（如导航设置页与路线规划图页）错误合并。GUITAR 提出以「屏幕在任务流中承担的功能角色而非外观」来定义状态，即两张截图若在给定任务目标下支持相同的任务关键操作并处于相同的推进阶段，则归入同一抽象状态 $\phi(x, a, g) \rightarrow s$。

为此，GUITAR 设计了完全基于 VLM（如 Qwen2.5-VL-72B）的五阶段自顶向下构建流水线： - 阶段一（界面语义描述 $\mathcal{M}_{cap}$）：使用 VLM 为每个原始界面截图生成密集自然语言描述 $c_t = \mathcal{M}_{cap}(o_t)$，将纯视觉信号转换为结构化语义文本。 - 阶段二（轨迹链式抽象 $\mathcal{M}_{abs}$）：结合任务目标 $g_i$、描述序列 $\{c_t\}$ 与动作序列 $\{a_t\}$，将每条离散单步轨迹压缩抽象为高层状态转移链 $h_i = \mathcal{M}_{abs}(g_i, \mathcal{C}_i, \{a_t\})$，以动作驱动界面的功能跃迁。 - 阶段三（全局图谱拓扑聚合 $\mathcal{M}_{graph}$）：将所有轨迹的状态链集合 $\mathcal{H}$ 进行全局拓扑合并，消除不同轨迹间语义冗余的同义状态名称，构建唯一的全局图拓扑 $\mathcal{G} = \mathcal{M}_{graph}(\mathcal{H}) = (\mathcal{S}, \mathcal{E})$。 - 阶段四（状态链对齐重构 $\mathcal{M}_{recon}$）：在统一拓扑 $\mathcal{G}$ 的约束下重新审视每条独立轨迹，将其局部状态符号投影到规范状态空间中，得到对齐轨迹 $\hat{h}_i = \mathcal{M}_{recon}(h_i, \mathcal{G})$。 - 阶段五（细粒度状态实例分配 $\mathcal{M}_{assign}$）：将具体历史上下文、执行动作与原始截图最终映射到规范状态节点 $s_t \in \mathcal{S}$，实现高精度端到端对齐。

2. 层次化诊断统计与瓶颈定位：解耦状态失误与转移决策

为了使评估兼具宏观定位与微观决策归因能力，GUITAR 在拓扑图之上定义了分层度量。宏观层面上，针对每个抽象状态 $s \in \mathcal{S}$ 计算状态级成功率 $C(s)$，用于度量 Agent 在该交互阶段的总体鲁棒性： $$C(s) = \frac{\text{successful executions at } s}{\text{total visits from } s}$$ 当 $C(s)$ 显著偏低时，该节点被标记为潜在的系统瓶颈状态（Bottleneck State）。

然而，单靠 $C(s)$ 仍无法定位具体错误类型（例如在状态内死循环 vs 错跳出分支）。GUITAR 进一步在有向边 $(s_i \rightarrow s_j) \in \mathcal{E}$ 上引入转移级成功率 $T(s_i, s_j)$： $$T(s_i, s_j) = \frac{\text{successful executions of } (s_i \rightarrow s_j)}{\text{attempts of } (s_i \rightarrow s_j)}$$ 通过在全局 STG 上统计错误转移的热力图分布，GUITAR 能将 Agent 的能力缺陷精准锚定到具体的决策分叉点上，清晰区分出是由于任务终止误判（在终态多余交互）、界面增量感知迟钝（反复在等价状态空转），还是特定组件交互知识不足（如过滤筛选器展开失败）所导致的。

3. 闭环瓶颈靶向推理引导：验证诊断结果的真实因果性与干预价值

为了验证 GUITAR 发现的瓶颈状态不仅是统计相关、而且是 Agent 决策的核心短板，GUITAR 设计了基于 STG 诊断先验的闭环增强机制。在推理阶段，Agent 实时维护历史轨迹并计算当前截图与 STG 节点的混合多模态相似度： $$s = 0.5 \times s_{\text{text}} + 0.5 \times s_{\text{visual}}$$ 其中文本相似度基于动作历史向量计算，视觉相似度基于 CLIP 图像编码计算。当检索出的候选匹配状态在 STG 历史诊断中的错误率超过阈值 0.6 时，触发辅助推理流程；系统提取该节点在 STG 中所有合法的后继转移分支及典型错误范例，由轻量辅助模型生成结构化「子目标」（Sub-goal），直接替换当前 prompt 中的全局指令作为下一步指引。这一机制避免了全量注入无意义提示造成的上下文污染，确保额外算力精准倾斜至高风险环节。

一个完整示例¶

以地图导航应用（Maps）中的路线规划任务为例： 1. 轨迹输入与映射：Agent 执行“规划从地点 A 到地点 B 的骑行路线”。截图中地点搜索页、候选列表展示页在不同地点下视觉元素差异巨大，但通过 $\mathcal{M}_{assign}$ 均统一映射为 Search_Results_Page 状态。 2. 瓶颈捕获：在全局诊断中，Start_Location_Search_Interface 和 Route_Map_Page 的状态成功率 $C(s)$ 分别低至 27.9% 和 24.1%，且转移 $(Search\_Results \rightarrow Route\_Map)$ 产生大量非预期的返回自环错误。 3. 靶向干预：在新的测试轨迹中，当 Agent 进入 Start_Location_Search_Interface 时，检测到当前状态历史错误率达 72.1%（$> 0.6$），系统立即介入，从 STG 调取历史成功的转移边，生成明确子目标：“在顶部输入栏输入起始地点，并点击键盘回车确认”。这直接纠正了 Agent 原本在此处由于不确定终点而误触「取消」按钮的顽疾，顺利推动状态流向预期的 Route_Map_Page。

实验关键数据¶

主实验¶

GUITAR 在涵盖 AndroidControl（Maps, Kitchen Stories, CNN）和 Mind2Web（Booking, Carmax, Kayak）的 6 个任务及 8 种主流 GUI Agent（包括 Qwen2.5-VL 系列、UI-TARS 系列、OS-Atlas-7B 等）上进行了系统评测。针对瓶颈状态的靶向引导（Targeted Guidance, Tgt.）与对所有状态施加均一引导（Uniform Guidance, Uni.）的提升效果（$\Delta\text{SR}\%$）对比如下：

模型	Maps (Uni. / Tgt.)	Kitchen (Uni. / Tgt.)	CNN (Uni. / Tgt.)	Booking (Uni. / Tgt.)	Carmax (Uni. / Tgt.)	Kayak (Uni. / Tgt.)	平均提升 (Uni. / Tgt.)
Qwen2.5-VL-7B	-3.5 / +1.0	+8.3 / +4.6	-7.6 / +2.6	-12.3 / +1.4	-13.1 / -0.7	-17.3 / +1.1	-7.6 / +1.7
Qwen2.5-VL-72B	0.0 / +0.6	+3.0 / +1.8	-17.9 / 0.0	-9.6 / +1.4	-9.2 / +3.9	+3.9 / +3.9	-5.0 / +2.0
OS-Atlas-7B	0.0 / +3.5	-1.4 / +2.3	+1.3 / +2.5	+0.4 / +0.3	+3.0 / +8.0	+9.5 / +9.5	+2.1 / +4.4
GUI-Owl-7B	+5.5 / +6.0	+7.5 / +1.5	-7.6 / +1.3	+1.0 / +3.1	-0.9 / -8.7	-2.7 / -6.0	+0.5 / -0.5
GUI-Owl-32B	+8.5 / +8.5	+11.2 / +12.5	-6.4 / +2.5	+0.5 / +5.3	-4.8 / +6.3	-11.5 / -12.0	-0.4 / +3.9
Aguvis-7B	+1.5 / +5.0	0.0 / 0.0	-3.7 / +1.3	-4.1 / +0.7	-12.4 / 0.0	-19.4 / 0.0	-6.4 / +1.2
UI-TARS-1.5-7B	-16.1 / +18.7	-6.5 / +21.2	+8.8 / +6.3	-3.4 / +2.1	-1.2 / 0.0	+1.6 / -2.8	-2.8 / +7.6
UI-TARS-72B-DPO	-10.2 / +4.3	-3.0 / +12.6	-9.9 / -6.1	-4.8 / -1.3	-7.2 / +0.7	+0.5 / 0.0	-5.8 / +1.7
全体平均	-1.8 / +5.9	+2.4 / +7.1	-5.4 / +1.3	-4.0 / +1.6	-5.7 / +1.2	-4.4 / -0.5	-3.2 / +2.8

消融实验¶

表 4 展示了实施靶向引导前后，各任务中已识别瓶颈状态成功率 $C(s)$（%）的具体变化（GUITAR 引导后 vs 原始基线）：

任务名称	原始基线瓶颈 $C(s)$	靶向引导后瓶颈 $C(s)$	瓶颈绝对提升 $\Delta C(s)$	对应整轨 $\Delta\text{SR}$
Maps	20.0%	52.6%	+32.6%	+5.9%
Kitchen Stories	13.5%	51.0%	+37.5%	+7.1%
CNN	15.1%	32.4%	+17.3%	+1.3%
Booking	23.5%	34.2%	+10.7%	+1.6%
Carmax	19.8%	24.9%	+5.1%	+1.2%
Kayak	16.0%	21.6%	+5.6%	-0.5%
全部跨任务均值	18.0%	36.1%	+18.1%	+2.8%

同时，在状态抽象构建方法的对比中，GUITAR 展现了极致紧凑且行为内聚的图拓扑结构：

构建方法	状态节点总数 $N$	图像相似度均值 (CLIP)	转移内动作相似度 (Intra)	转移间动作相似度 (Inter)	内外区分度差值 (Gap)
ImageHash (感知基线)	14	77.2	47.9	38.1	+9.75
PageAgent (VLM 聚类)	30	79.6	45.7	35.0	+10.7
GUITAR (本文方法)	11	77.1	60.1	35.9	+24.2

关键发现¶

失败高度集中于长尾瓶颈：实验统计揭示了显著的二八定律，平均而言 60.4% 的错误发生在前 20% 的瓶颈状态中，基尼系数高达 0.584；单步准确率过度受占 51.57% 的前四分之一高频简单页面主导，严重掩盖了核心交互瓶颈。
靶向引导与整轨成功的因果对应：对所有步骤施加均一引导反而引入噪声使 SR 平均下降 -3.2%，而精准靶向瓶颈使瓶颈自身成功率大幅跃升 18.1%，进而拉动整轨 SR 净增 2.8%；瓶颈修复程度越高的任务（如 Kitchen 的 $\Delta C(s) = +37.5\%$），整体任务提升越明显（$\Delta\text{SR} = +7.1\%$）。
非留存轨迹的鲁棒泛化：在严格的三折未见轨迹验证（Held-out Evaluation）中，完全依靠全自动 STG 仍保持了 +1.88% 的平均跨模型增益（7 个模型 36 个评测组合中 17 项提升、16 项持平、仅 3 项下降），证明状态拓扑具备强大的跨轨迹迁移能力。

亮点与洞察¶

将轨迹评测升维为图结构诊断：突破了长期以来将 GUI 执行看作离散 Token 或扁平序列的评测思维，用状态转移图统一了视觉多样界面与决策路径，提供了具备拓扑可解释性的诊断工具。
功能等价性超越表面相似度：敏锐地指出了传统基于感知（Perceptual）或纯图嵌入（VLM embedding）聚类的致命缺陷——视觉相似不等于操作等价，通过引入动作驱动与上下文对齐，以极少的节点数量（平均仅 11 个状态）达成了最高的动作行为内聚性（Gap +24.2）。
诊断即优化（Diagnosability as Optimization）：诊断结果直接化身为轻量推理时的纠错路由器，仅在进入高风险脆弱状态时按需激发辅助推理，为高效且经济的 Agent 在线反思提供了优雅范式。

局限与展望¶

依赖离线参考轨迹与静态拓扑：当前 STG 是从已有的成功/离线轨迹中离线编译而成，若实际生产环境中的 App 发生重大改版或遇到参考集中完全不存在的新页面，静态拓扑可能产生覆盖盲区。
跨应用与跨网站迁移未覆盖：虽然证明了在同一任务集内未见轨迹的良好泛化性，但尚未探索如何将某类通用组件（如各类网页通用的日历选择器、验证码交互）的失败拓扑跨域迁移至全新应用。
未来方向：探索动态在线增量更新 STG 的机制，将失败图谱与强化学习策略优化（如针对瓶颈转移的针对性探索奖励）直接联动。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向 GUI Agent 的功能等价全局状态转移图诊断框架，跳出了单步/整轨标量评测的局限。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 款主流开源/专有智能体架构、跨移动端与 Web 的多任务评测，包含人工一致性校验、扰动鲁棒性分析及严格的留出集检验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，理论动机、形式化建模与图表呈现清晰，实验归因深刻。
价值: ⭐⭐⭐⭐⭐ 为 GUI Agent 领域提供了急需的可解释评测基础设施，且兼具直接提升线上执行鲁棒性的实用工程价值。