GUI-PRA: Process Reward Agents for GUI Tasks¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/YuanDaoze/GUI-PRA
领域: LLM Agent
关键词: GUI Agent, 过程奖励模型, 经验注入, 自回归感知, 证据主动调查
一句话总结¶
针对传统过程奖励模型(PRM)在图形用户界面(GUI)任务中由于静态单遍打分导致的评价知识缺口与视觉歧义问题,GUI-PRA 提出了经验注入准则合成与准则引导自回归感知的解耦架构,将过程验证转变为主动调用多粒度视觉工具的证据搜集过程,在 AndroidWorld 与 Mobile-MiniWoB++ 上显著超越基线。
研究背景与动机¶
随着多模态大语言模型(MLLMs)在智能体领域的快速演进,基于视觉交互的图形用户界面(GUI)自动化取得了显著进展,涵盖跨移动端应用导航、网页表单填报以及复杂桌面多步操作。然而,真实操作系统中的任务通常具有长程决策链与不可逆转移特性,微小的单步执行漂移极易引发级联错误,最终造成整个交互轨迹不可挽回的崩溃。针对这一长程挑战,过程奖励模型(PRM)因能提供密集的单步级反馈、引导推理解码剪枝而备受关注,试图在执行过程中即时拦截错误动作。
然而,将标准 PRM 直接移植到 GUI 交互验证时暴露出两个根本性缺陷。首先是评价知识缺口(Evaluative Knowledge Gap):标准 PRM 依赖浅层的视觉表征相似度进行全局单遍打分,缺乏深层的功能依赖性逻辑与特定应用状态转移规则。这导致模型极易落入“完成假象”(Completion Illusion),例如智能体仅在表单上输入了内容但未点击真正的持久化提交按钮,或者违反了“不要保存草稿”等复杂的负向约束,标准 PRM 却因界面视觉上看似填满而给予高额正向奖励。其次是视觉歧义(Visual Ambiguity):标准 PRM 采用被动的一次性全局截图感知,面对密集文本列表、微小单选框选中态、隐藏在折叠视图下的计数项或细微的状态图标时,缺乏主动聚焦与空间校验机制,往往凭借粗粒度的视觉先验妄下断言,产生严重的幻觉评分。
为了弥合评价逻辑与感知证据的双重断层,本文的核心切入点在于将“验证什么(What to Verify)”与“如何验证(How to Verify)”从机制上彻底解耦,摒弃静态单遍打分范式。核心 idea:将 GUI 过程奖励模型从被动打分器重构为主动调查智能体(GUI-PRA),通过离线提炼与在线检索的经验注入准则合成确立状态级明确判定逻辑,并在此准则驱动下通过多粒度视觉工具自回归搜集具有实体接地的视觉证据链,以显式逻辑链支持步骤判定。
方法详解¶
整体框架¶
GUI-PRA 将传统 PRM 的不透明打分重塑为一个主动调查管道。输入包括自然语言用户指令 \(I\)、当前 GUI 截图与交互历史 \(H_{t-1}\),以及执行策略生成的 \(N\) 个候选动作集合 \(A_t = \{(u_{t,j}, a_{t,j})\}_{j=1}^k\);输出为通过证据驱动决策选出的最优候选动作 \((u_t, a_t)\)。
整个架构由三个紧密协同的阶段构成: 1. 经验注入准则合成(Experience-Injected Criterion Synthesis):首先在离线阶段通过 Meta-Judge 对比对比轨迹提炼通用验证准则并聚类构建准则库 \(\mathcal{P}\);在在线推理时,针对当前状态与候选动作检索并实例化出状态专属的裁决标准 \(C_t\)(确立“验证什么”)。 2. 准则引导自回归感知(Criterion-Guided Autoregressive Perception):以合成的准则 \(C_t\) 为指导,通过“差距识别 - 动作生成 - 状态更新”的自回归循环,按需动态调度 OmniParser、Point 与 ZoomInSubfigure 等多粒度视觉工具,建立接地的视觉证据链 \(H^{\text{inv}}_{\text{final}}\)(确立“如何验证”)。 3. 基于证据的裁决监督(Evidence-Aware Adjudication):评分裁判模型基于收集到的详实证据链 \(H^{\text{inv}}_{\text{final}}\) 和显式准则 \(C_t\),量化每个候选动作的逻辑一致性,输出最终的步骤级奖励 \(r_t\) 并完成动作优选。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务指令与当前界面状态<br/>指令 I / 截图 St / 候选动作 (u, a)"] --> B["经验注入准则合成<br/>离线准则库 P 检索 + 在线实例化 Ct"]
B --> C["准则引导自回归感知<br/>动态调度 OmniParser / Point / ZoomIn"]
C --> D["基于证据的裁决监督<br/>证据链与准则逻辑对齐评分 Fjudge"]
D --> E["优选动作输出与执行<br/>argmax Fjudge 选择最佳迁移"]
关键设计¶
1. 经验注入准则合成:解决评价知识匮乏导致的逻辑盲判与虚假完成
标准 PRM 缺乏对 GUI 领域特定功能依赖(如前置条件、数据持久化规则、负向约束)的理解。本文提出两阶段的经验注入准则机制。在离线准则提炼阶段,采用“生成-对比-抽象”管线:首先在分布外基准上构建由执行智能体产生的成功与失败轨迹对,着重挖掘“看似合理但逻辑错误”的硬负样本;随后由强模型(如 GPT-5.1)担任元裁判(Meta-Judge),超越表面界面错误抽象出可复用的高阶验证逻辑(如状态依赖验证、不可逆操作防护);最后通过多轮语义聚类合并冗余条目,凝练出紧凑泛化的准则库 \(\mathcal{P}\)。在在线实例化阶段,当面临具体决策时,密集检索器根据指令 \(I\)、当前状态 \(S_t\) 和候选动作 \((u, a)\) 选出 Top-\(k\) 条最相关的通用原则,并将其动态投射为针对当前 UI 布局的具体检验标准 \(C_t\)(例如将“前置状态完整性”细化为“在执行提交前必须确认姓名与电话框已填入非空值”),确立精准的核查边界。
2. 准则引导自回归感知:攻克被动单遍感知遗留的局部视觉歧义与幻觉
单纯拥有文本准则不足以消除全局视图下的细节模糊,例如复选框状态、密集的列表文字或微小的开关按钮。本文将静态打分拓展为动态主动调查循环,配备专用的多粒度视觉工具集 \(\mathcal{T}\):包含负责全局 OCR 与 Set-of-Mark 结构解析的 OmniParser、基于 Molmo-7B 实现语义目标精确定位并叠加红色五角星视觉反馈的 Point、基于 Qwen3-VL-8B 对感兴趣区域进行原生像素级无损裁剪放大的 ZoomInSubfigure,以及终止信号 Terminate。在自回归循环中,模型以“差距识别(Gap Identification) \(\to\) 动作生成(Action Generation) \(\to\) 状态更新(State Update)”的机制运行:模型先比对准则 \(C_t\) 与当前证据历史,识别未决断的目标元素;继而生成最优工具调用(如全局模糊时调用 OmniParser、待决位置定位调用 Point、细粒度状态确认调用 ZoomInSubfigure);工具执行结果追加至观测历史 \(H^{\text{inv}}_{k+1} = H^{\text{inv}}_k \cup \{A_k, O_k\}\),直到达到证据置信度阈值主动触发 Terminate 或达到 4 次迭代上限,形成一条可追溯、可审计的真实视觉证据链。
3. 基于证据的裁决监督:根除黑盒概率输出的显式证据对齐评分协议
传统 PRM 直接利用语言模型对动作 token 似然或二元分类概率进行端到端预测,评分逻辑黑盒且不可靠。GUI-PRA 引入显式证据对齐协议:裁判智能体不再直接根据原始截图和动作打分,而是严格评估候选动作 \((u, a)\)、实例化准则 \(C_t\) 与主动提取的证据链 \(H^{\text{inv}}_{\text{final}}\) 之间的逻辑蕴涵关系:
其中 \(F_{\text{judge}}\) 量化证据链对准则满足度的支撑程度。系统采用 0-10 分层评分准则,优先做硬性约束校验(如违反“勿点击保存”或执行顺序错误直接判定 \(\le 3\) 分的致命违规),只有当视觉证据链完全且肯定地证明候选动作满足所有功能前置条件且定位无误时才给予 9-10 分的高分,确保过程监督具备高度的可信度与抗幻觉能力。
损失函数 / 训练策略¶
GUI-PRA 作为免微调的即插即用型过程奖励智能体(Process Reward Agent),不改变底层 VLM 的模型权重,无需耗费昂贵资源进行专门的判别器有监督微调。在离线阶段,元裁判模型使用 GPT-5.1 对 50 条正轨迹和 50 条负轨迹(离线基准扩展至 150 条正/负样本)进行经验归纳与多轮去重,最终在在线实验中凝练出包含 64 条紧凑原则的准则库 \(\mathcal{P}\)(Qwen3-VL 离线实验中提炼出 143 条)。在在线推理期间,执行端基于温度系数 \(\tau=1.0\) 的 Best-of-N(\(N=8\))拒绝采样策略生成多样化动作候选集;GUI-PRA 则以贪婪解码(温度 \(\tau=0\))运行自回归感知与最终评分裁判,准则采样上限设为 5 次,工具调度步数硬性截断为 4 次,兼顾了评分的确定性与多步调查的收敛安全性。
实验关键数据¶
主实验¶
在真实移动操作系统长程基准 AndroidWorld 以及密集网页移动基准 Mobile-MiniWoB++ 上,评估基于不同骨干模型的在线执行成功率(SR)与难度分层成功率(DSR)。
| 模型 / 评测配置 | AndroidWorld Easy DSR (%) | AndroidWorld Med DSR (%) | AndroidWorld Hard DSR (%) | AndroidWorld SR (%) | Mobile-MiniWoB++ SR (%) |
|---|---|---|---|---|---|
| InternVL3-8B (M3A) Base | 5.17 | 0.00 | 0.86 | 6.03 | – |
| + Standard PRM | 6.90 | 0.00 | 1.72 | 8.62 | – |
| + GUI-PRA | 8.62 | 0.00 | 0.86 | 9.48 | – |
| InternVL3.5-8B (M3A) Base | 6.04 | 0.00 | 0.86 | 6.90 | – |
| + Standard PRM | 9.91 | 0.43 | 0.86 | 11.20 | – |
| + GUI-PRA | 10.34 | 1.72 | 0.86 | 12.93 | – |
| Qwen2.5-VL-7B Base | 15.52 | 3.88 | 0.86 | 20.26 | 51.09 |
| + Standard PRM | 17.24 | 1.72 | 0.86 | 19.83 | 45.65 |
| + GUI-PRA | 21.55 | 2.16 | 0.86 | 24.57 | 53.26 |
| Qwen3-VL-8B-Instruct Base | – | – | – | 47.60 | 59.78 |
| + Standard PRM | 30.60 | 14.66 | 4.31 | 49.57 | 59.78 |
| + GUI-PRA | 36.21 | 14.66 | 3.88 | 54.74 | 65.22 |
消融实验¶
在 AndroidWorld 基准上以 Qwen3-VL-8B-Instruct 为骨干网络,对核心组件进行剥离消融分析。
| 配置 | Easy DSR (%) | Medium DSR (%) | Hard DSR (%) | 整体 SR (%) | 较完整模型变化 (\(\Delta\)) |
|---|---|---|---|---|---|
| Standard PRM | 30.60 | 14.66 | 4.31 | 49.57 | -5.17 |
| GUI-PRA (Full) | 36.21 | 14.66 | 3.88 | 54.74 | – |
| w/o Principle(移除经验准则库) | 36.21 | 12.93 | 2.59 | 51.72 | -3.02 |
| w/o Tool(移除主动视觉感知工具) | 32.76 | 12.93 | 4.31 | 50.00 | -4.74 |
| 角色耦合:整合进执行器(Actor-style) | – | – | – | 32.76 | -14.84 (较Base) |
| 算力对照:PRM-CoT (单遍) | – | – | – | 49.57 | -5.17 |
| 算力对照:PRM-SC3 (采样3次平均) | – | – | – | 48.28 | -6.46 |
关键发现¶
- 工具调度的贡献高于纯准则检索:消融表明移除视觉工具集直接导致 SR 剧降 4.74 个百分点(回落至 50.00%),说明缺乏细粒度事实接地的“空中楼阁式”准则并不能阻断感知幻觉;而缺少准则库也会掉点 3.02%,证明两者存在深度的互补协同。
- 算力扩展不能弥补信息盲区:在等额推理算力控制实验中,增加思维链采样并取自洽均值的 PRM-SC3(48.28%)甚至略低于单遍 PRM-CoT(49.57%),远落后于 GUI-PRA(54.74%)。这表明被动打分的性能瓶颈在于“不知道核验什么且无法主动看清界面”,盲目增加思维采样次数只是对已有幻觉的重复。
- 评判与执行必须解耦:将准则和视觉感知工具直接塞入执行器进行端到端生成的整合智能体(Integrated Agent),其成功率暴跌至 32.76%(远低于无监督 Base 模型的 47.60%),证实将调查感知上下文与动作生成混合会严重扰乱策略分布,独立裁判架构是最佳解。
- 弱监督者能够引导强智能体:采用 8B 规模的 GUI-PRA 监督 32B 规模的 Qwen3-VL-32B 时,成功率从 55.60% 提升至 57.76%(+2.16%),而同尺寸 Standard PRM 仅能提升 0.43%,验证了精准的主动检验具备优异的弱指导强(Weak-to-Strong)泛化能力。
亮点与洞察¶
- 解耦“验证内容”与“核验动作”:通过离线归纳抽象的准则库引导在线自回归工具调用,把被动“看图打分”颠覆为由问题导向的“主动排查案发现场”,从根本上攻克了完成假象与细粒度状态误判。
- 高性价比的按需调查机制:在 1,475 步实际评估中,模型平均每步仅触发 1.17 次主动视觉工具调用(总计 1.48 次含 Terminate),大部分步骤快速终止,局部放大 ZoomInSubfigure 仅在真正存在歧义时精准激活(237次),展现了高度自适应的感知经济性。
- 对显式工具崩溃的天然自愈力:当 OmniParser 或 Point 报出定位缺失等硬性异常时,自回归路由器能够识别证据空白并转向补充视角或触发滚动交互,展现出远超端到端分类器的鲁棒自愈特征。
局限与展望¶
- 受制于底层视觉骨干与隐式语义错配:虽然自回归循环能吸收显式工具调用崩溃,但面对“语法正确但语义错误”的隐式定位漂移(如 Point 工具固执地将 Google Lens 快捷图标识别并对应为相机 Camera),裁判模型会轻信该虚假证据,陷入主页反复跳转的震荡失效。
- 依赖预构建离线准则库且尚缺乏在线终身演进:当前的准则库由离线对比轨迹由强 LLM 一次性提炼合成,虽然跨平台泛化优良,但在面对完全未知的新颖复杂界面交互范式时,缺乏在线增量沉淀与持续进化的动态闭环能力。
相关工作与启发¶
- vs OS-Oracle / GUI-Critic-R1: OS-Oracle 与 GUI-Critic-R1 依赖大规模高质量正负交互样本的有监督微调或强化微调来沉淀判别能力,迁移成本高昂且受限于离线数据分布;GUI-PRA 提出免微调的 Agent 化范式,利用外挂工具与元裁判抽象准则,在零样本与小模型裁判场景下均展现出逼近甚至超越全监督 Critic 的性能。
- vs 纯被动式 VLM-as-a-Judge / PRM: 传统方法直接输入静态历史截图计算奖励,容易受界面表象欺骗而产生“完成幻象”;GUI-PRA 通过工具链主动探查输入框、开关与折叠面板,为 Agent 系统中的可信环境奖励机制提供了范式参考。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐(颠覆了静态 PRM 单遍打分模式,首创基于准则引导与多粒度工具主动探索的过程奖励智能体架构)
- 实验充分度: ⭐⭐⭐⭐⭐(横跨 AndroidWorld、Mobile-MiniWoB++ 与 OS-Critic Bench,具备详尽的算力对齐、弱导强、时延拆解与工具可靠性审计)
- 写作质量: ⭐⭐⭐⭐⭐(问题剖析直指痛点,图表丰富,机制推导与自回归调查流阐述极其严谨明晰)
- 价值: ⭐⭐⭐⭐⭐(无需微调即可即插即用,显著降低长程 GUI 智能体的级联错误,对智能体反思与强化自演进极具指导意义)