Are GUI Agents Focused Enough? Automated Distraction via Semantic-level UI Element Injection¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/3983
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/3964.pdf
代码: https://github.com/HashTAG00002/UI-Injection
领域: LLM Agent
关键词: GUI鲁棒性、视觉定位、语义级UI元素注入、黑盒搜索、跨模型迁移

一句话总结¶

本文用真实、内容无害且受空间与语义约束的UI图标干扰GUI智能体，通过多候选累积搜索在UI-TARS-1.5-7B上达到32.99%的五层搜索误点率，并以直接点击注入图标的统计揭示仅靠内容安全对齐难以覆盖的视觉定位弱点。

研究背景与动机¶

GUI智能体需要把自然语言指令落实为截图上的具体点击坐标：理解“搜索”“返回”或某条商品信息，并不等于能在相似按钮、重复列表和复杂工具栏中稳定找到正确位置。随着系统从多模块流水线走向端到端视觉语言模型，这种定位能力越来越重要，错误也不能仅靠语言回答是否合规来判断。

已有红队评测常借助像素级对抗扰动或恶意提示注入。前者中的白盒方案需要模型梯度，难以直接适用于商业接口；后者主要检验模型会不会服从不可信内容中的恶意指令。本文关注的是另一个层面：如果新增元素本身只是普通图标，不要求模型违反安全规则，却在视觉上改变了指令与目标的对应关系，智能体是否仍会操作错误？这不是证明所有既有防线失效，而是把内容安全与定位可靠性拆开评估。

为避免把“遮住目标后点错”当成发现，作者要求真正目标仍可见，也限制注入图标与目标裁剪的相似度。这样，研究对象变成在可完成任务的界面中引入语义竞争，而不是破坏任务的基本可解性。核心 idea：把“描述什么图标、放在哪里”交给视觉语言模型，把真实图标检索与约束交给独立模块，再根据黑盒点击反馈逐层保留最有干扰性的画面。

方法详解¶

整体框架¶

输入包括原始截图、当前步骤指令和真实目标框，输出是经过受约束编辑的截图及智能体点击结果。方法不训练新的受害模型，也不读取其梯度；但编辑器知道任务和真实目标位置，因此这里的“黑盒”指模型访问方式，并不意味着攻击者对任务信息一无所知。

整个流程由Editor、Overlapper和Victim协作完成。任务感知提案决定图标描述和位置，受约束图标检索把描述落实为可审计的局部覆盖，点击反馈与累积搜索决定下一轮沿用哪张画面。独立的L1/L2判据进一步区分“点错了”和“确实点到了新增图标”，避免把两种现象混为一谈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["截图、指令与目标框"] --> EDITOR["任务感知提案"]
    EDITOR --> OVERLAY["受约束图标检索"]
    OVERLAY --> SEARCH["点击反馈与累积搜索"]
    SEARCH -->|继续搜索| EDITOR
    SEARCH --> METRICS["L1/L2判据"]
    METRICS --> OUTPUT["编辑截图与评测结果"]

关键设计¶

1. 任务感知提案：先理解布局，再描述局部修改

Editor默认使用Qwen3-VL-Plus，读取当前截图、指令和归一化目标框，输出图标的文字描述及归一化放置框。作者没有让模型生成整张新截图，因为完整图像合成可能改变无关控件或产生渲染伪影，使误点难以归因。把输出限制为“内容描述加位置”，则能保留原始界面的主体结构，也让后续覆盖操作可复现。

编辑器不能直接浏览图标库，因此描述是否能检索到有用图标，是实际瓶颈。原文报告约20个先导样本中，朴素描述的平均检索余弦相似度约为0.22，超过95%的尝试中归一化点击位移小于0.01；这些只是小规模开发观察，不是完整测试集结论。最终提示组织了六类布局策略，覆盖相似图标、相邻行列、导航线索、位置偏移、跨工具栏位置和激活状态等干扰；每次调用还提供不与目标重叠的候选区域，并用不同的多样性标记减少并行候选重复。其作用是让提案贴合当前任务，而非随机增加界面杂物。

2. 受约束图标检索：让编辑真实且不靠遮挡取胜

Overlapper使用Qwen3-VL-Embedding把文字描述与真实UI裁剪映射到同一空间，通过FAISS余弦近邻检索挑选图标，再从LMDB读取图像、缩放并覆盖到指定区域。图标库由移动端、桌面端及多语言GUI数据汇集而来；图2统计的最终库包含58,922个元素、8个来源。离线阶段包含尺寸与长宽比筛选、透明覆盖率和清晰度检查、哈希去重等步骤，避免用低质量或大量重复裁剪充当候选。

可检索并不等于可接受。原文式(1)用两个约束排除近乎遮挡目标和近乎复制目标的编辑，下面依据正文恢复其清晰写法；缓存中的公式排版有损，未给出可核验的阈值数值。

\[ \operatorname{IoU}(\hat b,b^*)<\tau_{\mathrm{iou}},\qquad \cos\bigl(\phi(e),\phi(e^*)\bigr)<\tau_{\mathrm{cos}}. \]

其中，放置框与真实目标框的交并比限制空间干扰；注入图标与真实目标裁剪的嵌入余弦相似度限制近重复。注意后一个量不同于检索时“描述与候选图标”的相似度：检索要让图标符合描述，而非平凡约束要防止它几乎复制真实目标。违反任一条件的编辑被丢弃，不能算作有效注入。

3. 点击反馈与累积搜索：每层尝试多个候选，只延续最好画面

搜索采用Depth × Pass@N：同一深度从当前画面出发，产生多个独立提案，分别覆盖并调用Victim得到点击坐标。若某个候选包含有效编辑，而且点击已落在目标框外，普通模式就提前结束；否则选出一个最好的候选，连同已加入的图标一起进入下一层。这是贪心单路径搜索，不是保留所有分支的完整树搜索，也不是每次重置原图的独立采样。

“最好”按五项信号做字典序比较：是否攻击成功、点击到目标中心的归一化距离、已应用图标的平均余弦相似度、有效图标数量，以及用于打破平局的候选序号。归一化距离以截图对角线长度为分母；在尚未成功的候选之间，它提供了连续的部分进展信号。累积保留则让先前引入的视觉竞争持续存在，下一层可以进一步修正，而不必重新碰运气。原文对平均余弦项的具体比较对象交代不如两个约束清楚，因此不将其展开为额外公式。

主设置最多5层，每层3个候选，每个提案最多提出3个图标；过滤后实际接受的数量会减少。受害模型与编辑器调用预算均随深度乘候选数增长，最大设置对应15个候选查询，但不能等同于“最终图上必有15个图标”。是否提前停止、多少编辑通过约束，以及跨尝试累计的图标预算，都会影响实际消耗。

4. L1/L2判据：区分一般误点和直接点击诱饵

L1成功指点击落在真实目标框外，无论最终点击了哪个元素；L2成功要求点击落在注入图标上。在本文强调避免覆盖目标的设置中，L2刻画的是更直接的诱饵吸引现象。ASR是相应成功率，但解释时必须说明分母：主评测仅保留该受害模型在干净截图上能答对的样本，不是对所有原始样本无条件统计。

ASR@D统计在给定搜索深度内是否曾达到L1成功；ASR@K则以跨尝试累计接受的非平凡图标数量为预算，两者不是一一对应。作者还运行不在首次成功处停止的full模式，统计首次L1成功之后各次尝试的L1和L2比例。这一条件统计能检验点击诱饵是否反复出现，但并非所有样本上的总体成功率，也不是把同一固定截图重复测试所得的纯复现率。

一个完整示例¶

原文图1的指令要求定位一个带有价格的公寓条目。Editor观察条目与周围工具栏的布局，提出导航、价格标签和搜索类图标的局部编辑；Overlapper检索真实裁剪并执行约束检查，留下有效的覆盖结果。Victim随后在编辑图上预测点击，评测器检查它是否离开目标框，以及是否落在新增图标范围内。

若当前候选尚未造成误点，搜索并不会把这次尝试全部抛弃：它将同层候选的点击反馈排序，保留最有希望的编辑画面，再在该画面上继续提案。若发生误点，普通模式结束；只有专门的一致性分析继续消耗剩余预算。这个例子说明了状态如何逐层积累，不额外假设图中未报告的成功轮数或点击诱饵概率。

实验关键数据¶

主实验¶

作者从OS-Atlas、SeeClick、AMEX与ShowUI构造跨移动端、桌面端和Web的候选集，经干净图定位筛选形成885个有效实例，再排除各受害模型本身答错的样本。全文报告覆盖19个模型、8个模型家族；下表只摘录主文表1可直接核对的结果。UT-opt.与GO-opt.分别表示针对UI-TARS-1.5-7B与GUI-Owl-7B优化的两组攻击。

受害模型	UT-opt. L1-ASR，D=5	GO-opt. L1-ASR，D=5	随机注入L1-ASR，K=15近似对照
UI-TARS-1.5-7B	32.99%	34.43%	7.58%
GUI-Owl-7B	51.65%	50.96%	23.36%
GUI-Owl-1.5-8B	28.99%	28.86%	7.56%
Qwen3-VL-8B	31.70%	32.87%	8.43%
Claude-Sonnet-4.6	22.24%	21.91%	3.23%

随机注入采用无记忆采样，放置框要求与真实目标零像素重叠，但原文明确写明不做语义检查，因此不能假定它与完整方法具有完全相同的语义约束。原文把K=3D的图标预算结果用作深度对照，这张表也不能解释为严格查询预算完全一致。Claude上的22.24%对3.23%约为6.9倍，但这个倍数继承上述预算近似；不同攻击行的干净图合格比例也有差异。

消融实验¶

主文表5提供更有辨别力的受害模型查询预算匹配比较。以下统一选择UI-TARS-1.5-7B受害模型、UT-opt.列，所有方法共享Overlapper、图标库、非平凡约束和D=5、pass@3设置。

配置	L1-ASR	L2-ASR	用来辨别的因素
LLM-Bank-Square-UI	18.0%	8.4%	固定描述库与粗到细位置搜索
GPTFuzz-UI	18.3%	8.6%	描述变异及语料库搜索
Random-BBox	27.4%	16.3%	保留策略性描述，随机放置位置
完整方法，Qwen3-VL-Plus编辑器	33.0%	23.7%	任务感知描述、位置与累积搜索

完整方法比Random-BBox高5.6个百分点L1、7.4个百分点L2，支持放置位置的重要性。相对于两个搜索基线，L1差距分别为15.0和14.7个百分点；但这些基线同时改变提案及搜索方式，不能把全部差值单独归因于累积保留。表5采用一位小数，因此33.0%与表1的32.99%是报告精度差异。

关键发现¶

主文表3的首次成功后统计补充了“为什么误点”的证据。下表选择同受害模型优化的结果；分母是首次L1成功之后的尝试，不是885个原始实例。

受害模型	攻击	首次成功后L1	首次成功后L2
UI-TARS-1.5-7B	随机注入	57.94%	0.75%
UI-TARS-1.5-7B	UT-opt.	58.20%	22.73%
GUI-Owl-7B	随机注入	35.42%	0.45%
GUI-Owl-7B	GO-opt.	52.14%	15.95%

UI-TARS两种方法的条件L1几乎相同，条件L2却相差21.98个百分点。这比只比较一般误点率更能支持“策略性图标吸引了点击”，而不是仅仅使画面杂乱。

主文表4还显示，仅更换编辑器，UI-TARS的UT-opt. L1/L2会从Qwen3-VL-Plus的33.0%/23.7%变为Claude-Sonnet-4.6的42.4%/30.7%。攻击强度因此依赖编辑器能力，默认配置的结果并不构成受害模型鲁棒性的绝对上界。

亮点与洞察¶

把内容无害与行为可靠拆开。 普通UI图标也可能改变模型对指令的视觉指代，安全评测需要观察动作是否正确，而不仅是输出是否包含违规内容。
局部、可审计的编辑空间。 真实裁剪、明确位置和非平凡约束让变化更容易追溯；其价值在于减少整图生成引入的无关变化，而非声称完全复现真实应用渲染。
用L2补足L1的解释缺口。 首次成功后的随机注入仍会造成不少误点，但几乎不把点击引向新增图标，说明两个指标确实在测量不同现象。

局限与展望¶

任务信息假设较强。 编辑器知道指令与真实目标框；现实评测若缺少这些信息，成功率不能直接照搬。截图覆盖也不等同于已经在真实应用中部署可交互控件，更未证明完整多步任务必然失败。
样本与预算口径限制比较。 合格样本由干净图能力筛选，各模型及攻击行的分母并不完全相同。尤其Qwen2.5-VL-7B仅约11%的候选合格，不能用它的高ASR直接给所有模型排统一鲁棒性名次。
因果措辞需要克制。 点击落在诱饵上提供较直接的行为证据，但首次成功后的条件筛选与继续编辑，并不替代固定截图下移除诱饵的反事实对照；“持久吸引”也不表示跨会话持续控制。
来源可核验范围有限。 本地缓存到参考文献结束，未包含文中引用的附录B/C；阈值具体值、完整19模型结果及并行宽度消融未在这里补写。作者提出跨模态一致性审计和注意区域核验作为防御方向，但主文没有给出这些防御的实测收益。

评分¶

新颖性: 4/5。以无害真实UI元素定义受约束语义干扰，问题切分清楚；搜索主体仍由已有模型与贪心机制组合而成。
实验充分度: 4/5。主文包含多模型、编辑器替换、查询预算匹配基线及L2分析，但近似预算对照和条件分母影响比较，附录无法由当前缓存核验。
写作质量: 4/5。模块职责与算法流程清楚；部分“近完美迁移”“因果”表述强于严格可推出的结论。
价值: 4/5。为GUI智能体定位鲁棒性提供有解释力的评测框架，尚需真实交互环境和防御实验补足部署证据。