Reflection with Action-Induced Visual Differences for Desktop GUI Agents¶
会议: NeurIPS 2026
arXiv: 2608.24015
OpenReview: https://openreview.net/forum?id=DCT0OXlKnj
领域: LLM Agent
关键词: 桌面 GUI Agent、反思机制、视觉差异提取、Set-of-Marks、闭环验证
一句话总结¶
针对桌面 GUI Agent 中反思模块（Reflector）在密集大屏下难以捕获微弱或分散状态变化的痛点，提出两阶段 Evidence-First Reflection（EFR）框架，显式解耦视觉差异提取与成败验证，在 OSWorld-Verified 和 WindowsAgentArena 上将任务成功率分别提升 5.94% 和 4.95%。
研究背景与动机¶
图形用户界面智能体（GUI Agent）通过模拟人类对屏幕的视觉感知与键鼠操作，在移动端和桌面端执行跨应用的复杂长程任务。为了防止多步交互中的错误累积，主流方案广泛采用规划器-执行器-反思器（Planner-Operator-Reflector, POR）模块化闭环架构，由规划器拆解子目标、执行器生成具体屏幕动作、反思器在动作执行后对比前后截图判断是否达成预期。然而在实际桌面操作环境中，屏幕分辨率往往数倍于移动设备，界面元素密集且层级复杂，一次操作引发的状态反馈常常表现为极其微弱的局部变化（如输入光标微移、复选框变色）或分散在整个屏幕各处的多区域级联刷新（如日期切换引起多个面板联动），这使得反思器面临的感知与推理负担远重于仅观察单帧界面的规划器与执行器。
现有反思机制普遍采用端到端单步推理设计，直接将执行前后的两张原始截图连同预期动作喂给多模态大模型进行整体裁决。这种做法将“客观感知画面发生了什么变化”与“主观判断变化是否符合动作预期”混杂在单次前向推理中，导致中间决策证据完全隐式化。作者在 OSWorld-Verified 上的错误归因分析表明，在基线 POR 框架的失败轨迹中，有 27.35%（61/223）直接源于反思器的误判；而在这类反思错误中，高达 70.49%（43/61）是因为未能准确定位界面真实的前后差异，仅有 29.51% 是在正确识别变化后做出的逻辑推断错误。这种“证据看不准、结论靠猜想”的单步机制，成为阻碍桌面 GUI 智能体实现可靠自纠错的关键瓶颈。
本文的切入角度是打破单步黑盒，将反思逻辑显式重构为两阶段串行流水线：首先通过专门的计算机视觉算法与标记机制，剥离环境干扰并提取出客观发生的可视差异作为显式证据，随后再基于清洗后的证据链条去验证动作意图。核心 idea：提出证据先行反思机制（Evidence-First Reflection, EFR），将反思解耦为“动作引发视觉差异提取”与“基于清洁证据的成败验证”两阶段，借助 Set-of-Marks 标记差异区域与物理动作坐标，并隔绝预期意图偏置以提取客观证据，实现高度扎根、可自检的桌面闭环反思。
方法详解¶
整体框架¶
EFR 替代了传统 POR 框架中黑盒式的单步 Reflector 模块。在执行器根据规划子目标执行完低级动作 \(A_{ground}\) 后，EFR 接收动作前截图 \(S_{pre}\)、动作后截图 \(S_{post}\)、物理接地动作参数 \(A_{ground}\) 以及高层意图描述 \(A_{intend}\)，通过轻量视觉感知、意图隔离分析、噪声过滤和证据验证四步流水线输出最终反思结果 \(R\)。整个过程遵循“先客观锁定事实，再主观对齐意图”的原则，自上而下形成严密的证据推理闭环。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：前截图 S_pre、后截图 S_post<br/>物理动作 A_ground 与意图 A_intend"] --> B["SoM 差异与动作空间标记<br/>像素差分提取候选框 + 绘制操作位置"]
B --> C["意图解耦的差异描述与噪声过滤<br/>仅输入物理动作参数，识别区域变化并剔除系统噪声"]
C --> D["清洁证据重构<br/>重新绘制无噪声标记截图对与文本证据链"]
D --> E["基于证据图文联合的成败验证<br/>注入预期意图 A_intend 进行终审裁决"]
E --> F["输出：反思状态 R<br/>反馈给 Planner 进行下一步规划"]关键设计¶
1. 基于 Set-of-Marks 的差异区域与动作空间锚定：降低复杂界面的视觉搜索负荷 针对通用视觉语言模型（VLM）在超大分辨率桌面界面上细粒度像素比对能力孱弱、易遗漏微弱变化的问题，EFR 不依赖模型自行全局搜寻，而是将原本用于执行期目标定位的 Set-of-Marks（SoM）思想逆向重构为反思期的差异锚定工具。系统首先将前截图 \(S_{pre}\) 与后截图 \(S_{post}\) 转为灰度图像，计算像素级绝对差分图 \(D\)，并通过固定阈值二值化得到变化掩膜 \(M\)。随后提取外部轮廓并转化为候选边界框，过滤掉面积小于 22 像素的噪点以及顶栏状态栏，对边界框四周向外扩张 5 像素后进行邻近区域合并：若两个候选框紧密相邻且合并区域的差异像素密度满足 \(\text{density}(u) \ge \tau_{\mathrm{dens}}\)，则执行并集融合。合并后的框按从上到下、从左到右排序并赋予唯一编号，用红色边框同步绘制在前后两帧截图上。
除了差异区域，系统还必须建立操作位置与画面反应的空间关联。EFR 解析物理接地动作 \(A_{ground}\) 的几何参数：对于单点点击类操作，在其坐标 \((x, y)\) 处于 \(S_{pre}\) 上绘制蓝色空心圆；对于拖拽操作，提取起点 \((x_s, y_s)\) 与终点 \((x_e, y_e)\)，分别绘制黄色空心圆与实心圆，并用黄色箭头指示移动轨迹；对于无坐标的纯键盘快捷键则不标注。最终输出带有差异框与动作标记的前截图 \(S_{pre}^{som}\) 以及仅带差异框的后截图 \(S_{post}^{som}\)，将广域视觉比对收敛为带有明确空间上下文的局部靶向观察：
2. 意图解耦的差异描述与环境噪声过滤：消除预期偏置并构建纯净事实链条 常规单步反思中，模型已知“期望发生的动作”，极易产生证实偏差（Confirmation Bias），将微弱的环境闪烁甚至未生效的界面脑补为符合预期的变化。为了保证证据的绝对客观，EFR 在第一阶段向 VLM 仅输入标记截图对 \((S_{pre}^{som}, S_{post}^{som})\) 和客观物理动作 \(A_{ground}\)（如“在坐标 (519, 232) 处点击”），严格隐去任务的高层意图描述 \(A_{intend}\)（如“点击按日期排序历史记录”）。VLM 针对每一个编号差异区域逐个对比前后画面的具体变化，独立输出自然语言描述，同时利用其常识与上下文将每个变化打上标签，区分为系统噪声 \(\mathcal{N}\)（如托盘时间刷新、光标悬停阴影、网页广告轮播）或动作引发的相关状态变化 \(\mathcal{E}\)：
在完成全区域扫描后，系统将属于环境噪声 \(\mathcal{N}\) 的标注框彻底剔除，并在原始截面上重新绘制仅保留相关变化 \(\mathcal{E}\) 的干净标记截图 \(S_{pre}^{clean}\) 和 \(S_{post}^{clean}\)，同时将描述文本过滤为纯净证据集 \(C^{clean}\)。这一去噪与解耦设计不仅抹平了无意义环境干扰，更确保了所有后续推理都立足于经过审查的客观事实之上。
3. 基于清洁证据图文联合的成败验证：消除幻觉实现强扎根闭环决策 在第二阶段，系统正式引入预期意图 \(A_{intend}\)，连同经过提纯的清洁截图对 \((S_{pre}^{clean}, S_{post}^{clean})\) 以及结构化变化描述文本 \(C^{clean}\) 共同输入反思器。此时模型的认知负荷已被大幅卸载，它不再需要一边费力找差异一边猜测意图，而是执行纯粹的逻辑比对任务：核对 \(C^{clean}\) 中的各项事实演变是否在语义与状态层面充分支撑了 \(A_{intend}\) 的成功达成。
这里图文联合输入至关重要：消融实验表明，如果仅提供文本差异描述 \(C^{clean}\) 而丢弃截图，由于文本在表述复杂界面拓扑与未标注的整体布局时存在信息损失，模型准确率会出现断崖式下跌。保留清洁截图能让验证模型在结构化证据的指引下，快速回溯全局排版，最终输出包含布尔成败标签、关键判定证据索引及状态摘要的完整反思报告 \(R\)，输入给规划器指导下一步行动或触发回退自纠。
一个完整示例¶
以 Chrome 浏览器历史记录管理中的一次真实交互为例：
- 执行输入：规划意图 \(A_{intend}\) 为“点击历史记录页面的 By date 按钮以按日期排序”，执行器生成的物理动作 \(A_{ground}\) 为 click(519, 232)。
- 阶段一（SoM 标记）：视觉差分模块在界面上检测出 5 处变化并用红框编号：区域 1 为鼠标光标位移，区域 2 为顶部地址栏 URL 变化，区域 3 为左侧导航模式切换，区域 4 为中央内容列表更新，区域 5 为右下角任务栏系统时钟。同时在 \(S_{pre}\) 的 (519, 232) 位置绘制蓝色标记圆。
- 阶段二（描述与过滤）：VLM 在未知晓“按日期排序”意图的前提下，客观描述各区域：区域 1 光标移开（相关）；区域 2 URL 从 chrome://history/grouped 变为 chrome://history（相关）；区域 3 选项高亮由“By group”切换为“By date”（相关）；区域 4 内容由“No results”变为浏览历史列表（相关）；区域 5 时间刷新（判定为环境噪声 \(\mathcal{N}\)）。随后系统剔除区域 5，重构保留 1-4 的清洁证据 \(S_{pre/post}^{clean}\) 与文本 \(C^{clean}\)。
- 阶段三（意图验证）：反思器对照意图 \(A_{intend}\) 与清洁证据，确认区域 2、3、4 的联合变化确凿证明了分组模式成功切换到日期模式，输出判决结果为“成功”，规划器据此推进下一子任务。
损失函数 / 训练策略¶
EFR 属于即插即用的模块化推理框架，完全无需对底层多模态大模型进行额外的参数微调或参数更新。其核心优化策略体现在推理时的上下文工程与流水线控制：通过两阶段提示词分离上下文中的意图输入，并在第一阶段限制模型仅使用规范化的 JSON/列表格式输出区域描述与噪声分类标签。所有动作均通过 pyautogui 统一标准执行，基准模型对专门模型开放 50 步最大交互预算，通用开源模型设定 15 步交互上限。
实验关键数据¶
主实验¶
评估在 Linux 环境下的真实桌面基准 OSWorld-Verified（361 个任务，涵盖 Chrome、LibreOffice、GIMP、VSCode 等）以及 Windows 真实系统基准 WindowsAgentArena（154 个任务）上展开，测试了 GUI-Owl-32B、Qwen3-VL-32B、Kimi-K2.5 和 Seed-1.8 四款异构基础模型。各模型运行 3 次取平均成功率。
表 1: OSWorld-Verified 基准主实验平均成功率（%）
| 任务类型 | GUI-Owl-32B (POR) | GUI-Owl-32B (EFR) | Qwen3-VL-32B (POR) | Qwen3-VL-32B (EFR) | Kimi-K2.5 (POR) | Kimi-K2.5 (EFR) | Seed-1.8 (POR) | Seed-1.8 (EFR) |
|---|---|---|---|---|---|---|---|---|
| OS (系统管理) | 61.11 | 62.50 (+1.39) | 56.94 | 55.56 (-1.38) | 59.72 | 68.06 (+8.34) | 59.72 | 70.83 (+11.11) |
| Office (办公软件) | 30.16 | 33.62 (+3.46) | 23.02 | 26.72 (+3.70) | 50.97 | 61.20 (+10.23) | 47.23 | 51.25 (+4.02) |
| Daily (日常软件) | 50.24 | 58.02 (+7.78) | 42.03 | 48.67 (+6.64) | 57.88 | 64.50 (+6.62) | 49.00 | 58.36 (+9.36) |
| Professional (专业软件) | 64.63 | 80.95 (+16.32) | 66.67 | 73.47 (+6.80) | 80.95 | 78.91 (-2.04) | 62.59 | 63.27 (+0.68) |
| Workflow (跨工作流) | 16.92 | 24.60 (+7.68) | 15.48 | 21.51 (+6.03) | 32.50 | 41.66 (+9.16) | 25.32 | 25.78 (+0.46) |
| Overall (全任务平均) | 37.82 | 44.91 (+7.09) | 33.36 | 38.38 (+5.02) | 52.36 | 59.74 (+7.38) | 44.88 | 49.16 (+4.28) |
表 2: WindowsAgentArena 基准主实验平均成功率（%）
| 任务类型 | GUI-Owl-32B (POR) | GUI-Owl-32B (EFR) | Qwen3-VL-32B (POR) | Qwen3-VL-32B (EFR) | Kimi-K2.5 (POR) | Kimi-K2.5 (EFR) | Seed-1.8 (POR) | Seed-1.8 (EFR) |
|---|---|---|---|---|---|---|---|---|
| Office | 5.43 | 8.66 (+3.23) | 6.98 | 6.98 (+0.00) | 16.28 | 18.60 (+2.32) | 36.43 | 37.02 (+0.59) |
| Web Browsing | 21.33 | 32.76 (+11.43) | 30.00 | 43.22 (+13.22) | 44.11 | 56.44 (+12.33) | 47.44 | 49.78 (+2.34) |
| Windows System | 48.61 | 44.44 (-4.17) | 47.22 | 51.39 (+4.17) | 73.61 | 79.17 (+5.56) | 83.14 | 80.56 (-2.58) |
| Coding | 58.33 | 75.00 (+16.67) | 66.67 | 65.28 (-1.39) | 73.47 | 81.81 (+8.34) | 58.33 | 67.92 (+9.59) |
| Media & Video | 39.63 | 34.92 (-4.71) | 34.92 | 48.52 (+13.60) | 59.35 | 61.30 (+1.95) | 24.79 | 26.40 (+1.61) |
| Windows Utilities | 16.67 | 25.00 (+8.33) | 16.67 | 30.56 (+13.89) | 41.67 | 41.67 (+0.00) | 42.53 | 58.33 (+15.80) |
| Overall (全任务平均) | 29.04 | 34.24 (+5.20) | 31.60 | 37.55 (+5.95) | 47.40 | 52.88 (+5.48) | 48.16 | 51.32 (+3.16) |
消融实验¶
在 OSWorld-Verified 基准上使用 GUI-Owl-32B 深入验证各核心模块的设计必要性：
表 3: OSWorld-Verified 上 GUI-Owl-32B 消融对比
| 实验配置 | 全局成功率 Overall (%) | 相比完整方案降幅 Drop (%) | 机制说明 |
|---|---|---|---|
| Full method (SoM + 两阶段判定) | 44.83 | — | 完整 EFR 框架 |
| w/o 两阶段判定 (仅保留 SoM 标记直接裁决) | 38.13 | -6.70 | 差异虽被标出，但未经显式描述与去噪，单步裁决仍受推理过载与意图偏置困扰 |
| w/o SoM 标记 (仅两阶段无图面标注) | 42.11 | -2.72 | 缺少局部方框聚焦，VLM 在大图上自发提取微弱差异的感知能力受限 |
| 差异识别阶段提前暴露预期意图 \(A_{intend}\) | 43.45 | -1.38 | 引入主观先验偏置，导致模型在差异描述时倾向于迎合预期 |
| 成败验证阶段剔除截图仅凭纯文本描述 | 34.25 | -10.58 | 丢失全局视觉上下文与页面整体拓扑，证明图文联合验证的必要性 |
| POR Baseline (无 SoM 且无两阶段解耦) | 37.86 | -6.97 | 原始单步黑盒反思基线 |
关键发现¶
- 反思器准确率与端到端任务成功率高度正相关：人工逐轮标注表明，EFR 将单步反思判断准确率从 80.39% 提升至 87.50%（绝对提升 7.11%）。各任务类别下反思准确率与任务成败的相关系数达到惊人的 0.86（Pearson Correlation），确凿证实了反思器质量是解决长程 GUI 任务的核心天花板之一。
- 错误归因显著转移：在失败轨迹归因分析中，因反思器误判导致的任务失败占比从 27.35%（61/223）腰斩至 13.57%（27/199）；其中界面差异识别错误在整体失败中的占比从 19.28% 骤降至 7.04%，充分体现了 SoM 显式差分提取的强大鲁棒性。
- 推理成本与步数节约权衡：由于反思拆为两步，单任务平均延迟增加约 13.3%~15.8%，Token 消耗增加约 14.9%~17.9%。但更准确的反思大幅减少了智能体陷入盲目重试与错误累积的无效操作，使得任务执行平均总步数在 OSWorld 上减少了 11.5%，在 WindowsArena 上减少了 3.7%，有效缓解了计算开销。
亮点与洞察¶
- 将 Set-of-Marks 从“行动定位器”逆向重构为“变化监视器”：过去 SoM 仅用于帮助 Agent 在执行前识别可点击元素，本文巧妙将其迁移至执行后的状态对比中，以极低 CV 算力为 VLM 提供了高对比度的局部空间锚点。
- 意图隔离机制消除证实偏置：第一阶段刻意向模型隐藏“想干什么”，仅告知“点了哪里”，逼迫模型纯粹从视觉事实出发客观陈述屏幕变动，从源头上杜绝了模型为迎合意图而凭空捏造变化的幻觉。
- 图文互补的闭环校验范式：消融证明单凭差分描述文本（丢弃图像）会导致性能暴跌 10.58%，表明视觉大模型必须在“显式文本链条”与“底层视觉原图”的双重锚定下才能做出最稳固的高层常识裁决。
局限与展望¶
- 作者指出的局限：由于引入了额外的 VLM 交互轮次用于差异描述，导致单步反思延迟有所增加（约 15%）；在少数极度依赖全局复杂动画或涉及高频连续视频播放的场景下，基于二值差分的框合并启发式策略可能会产生过大包围框。
- 实际观察到的局限：对部分非几何型变化（如滚动条滑动导致的全局长内容平移）容易生成全屏密集差异框，导致区域拆解效率下降；此外该机制目前仅作用于单步动作之后，尚未与跨多步的长程回滚（Backtracking）机制进行深度联合建模。
- 未来改进方向：可进一步训练一个轻量专用视觉差异判别器代替第一阶段通用大模型的文本描述，实现端侧亚秒级无开销变化提取；同时可探索将清洁证据结构化沉淀为外部经验记忆，辅助后续探索。
相关工作与启发¶
- vs Mobile-Agent-v3 / UFO: Mobile-Agent 系列与 UFO 等工作主要侧重于在宏观上构建多 Agent（如 Planner/Operator/Reflector/Notetaker）协同机制或设计执行期的 UI 标注器；本文则深入 Reflector 内部认知机理，指出了传统单步反思在大分辨率桌面端的感知缺陷并完成了内部流水线解耦。
- vs InfiGUIAgent / D-Artemis: 现有带反思机制的 GUI Agent 大多聚焦于在流程中的不同时间节点（如动作前思考、动作后复盘）调用统一的单步 VLM，而本文证明了单步反思本身存在严重的“意图污染证据”和“视觉注意力迷失”缺陷，必须实施两阶段分治。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [反思机制内部两阶段解耦与 SoM 逆向用于状态差分极具启发性]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Linux 和 Windows 两大多应用真实系统，4 种异构模型且均跑 3 次均值，消融与错误归因详实]
- 写作质量: ⭐⭐⭐⭐⭐ [问题拆解清晰，逻辑推进丝丝入扣，图表详实自洽]
- 价值: ⭐⭐⭐⭐⭐ [即插即用且显著提升主流桌面 GUI Agent 成功率，对后续闭环控制设计有重要指导意义]