DIBench: Benchmarking Decision Integrity of GUI-based Mobile Agents Under Deceptive Injections¶
会议: NeurIPS 2026
arXiv: 2610.06898
领域: LLM Agent
关键词: 移动GUI智能体, 决策完整性, 欺骗性注入, 多候选选择, 安全评测基准
一句话总结¶
针对移动端多模态 GUI 智能体在多候选决策中容易被非特权 UI 伪造内容无声诱导偏离目标的隐患，提出首个决策完整性基准 DIBench 与成对评测协议，揭示了任务完成率虚高所掩盖的目标劫持风险。
研究背景与动机¶
随着多模态大语言模型（MLLMs）在跨模态理解与规划能力上的飞跃，基于 GUI 的移动智能体（Mobile GUI Agents）已能自主执行购物、外卖订餐、旅游规划等多步复杂交互。在真实落地场景中，智能体通常需要面对由搜索结果、筛选列表或推荐面板构成的多候选集合，并根据用户指令中的隐含约束（如最低价格、最高评分、特定品牌等）进行权衡、验证与最终决断。
然而，现有的移动智能体安全评测基准大多聚焦于执行层面的显性异常，例如指令劫持导致的系统越权、未授权工具调用或明显偏离预期工作流的异常动作轨迹，并普遍采用任务完成率（Task Completion Rate, TCR）或执行层劫持率作为核心安全指标。这就形成了一个致命假设：只要智能体无异常、流程正确地完成了交互流，其最终决策就是可信的。在多候选选择这一核心阶段，该假设完全失效。攻击者根本无需越权或篡改控制流，仅凭平台允许的普通第三方 UI 内容（如商品标题或封面图中的欺骗性文字），便可无声误导智能体做出攻击者预设的选择，甚至直接违背用户的核心约束。
针对这种任务内目标偏离（In-Task Goal Deviation）现象，现有工作缺乏系统性建模与严格可复现的评测手段。本文的核心 idea 是构建首个移动智能体决策完整性基准 DIBench，在严格隔离的非特权 UI 威胁模型下，通过包含 1,000 个良性实例与 36,672 个注入实例的成对评测协议，解耦任务执行完成度与决策正确性，系统量化欺骗性注入对多候选决策的隐式操控。
方法详解¶
整体框架¶
DIBench 涵盖 7 个真实商业 App 与 3 个全流程可控的模拟 App，横跨探索性、精确匹配、成本优先、时空约束和质量/热度优先等 5 类典型多候选决策任务。在评测流程中，系统首先捕获关键决策状态（包含即时界面截图与固定上下文），提取候选集与可接受集合，随后在受控的非特权 UI 威胁模型下应用标准化的欺骗性注入探针，并在保持指令和交互流程严格一致的前提下运行成对评估。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任务指令 I 与历史上下文"] --> B["关键决策状态定位<br/>截图与非特权 UI 候选集"]
B --> C["注入实例生成与成对设计<br/>8类欺骗性注入探针挂载"]
C --> D["成对评估协议与决策完整性度量<br/>TCR / COR / ASR 对比分析"]
D --> E["防御接口接入评测<br/>检测 / 预处理 / 提示词加固"]关键设计¶
1. 非特权 UI 威胁模型与多载体欺骗注入探针
传统提示注入通常假定攻击者能够篡改系统指令或控制流，但这在受到严格沙箱保护的移动 OS 中极难实现。DIBench 确立了严格受限的非特权 UI 威胁模型：攻击者仅作为普通第三方（如商家或普通发布者），仅能控制合法的屏幕 UI 内容（如标题文本或商品封面图片），无法注入任何系统指令。针对该模型，基准设计了覆盖三类物理载体的 8 种标准化注入探针： - 标题覆盖载体（Title）：包含简单提示（Naive）、转义字符突破（Escape）、上下文忽略（Context Ignore，强行覆盖上文指令）、虚假完成伪装（Fake Completion）以及复合语义注入（Combined）。 - 图片嵌入载体（Cover）：将欺骗性文本排版渲染至候选封面图片中（如 Combined-C）。 - 复合与扰动载体：同时修改标题与封面的 Combined-TC，以及不包含显式文字的纯视觉对抗扰动（Combined-P / Perturbation）。
2. 注入实例成对设计与解耦评估度量
为了消除智能体本身基础任务执行能力差异对安全性判断的干扰，DIBench 引入了成对评估机制（Paired Evaluation）。对于每个任务，构造良性实例 \(x_b \in \mathcal{D}_b\) 与注入变体 \(x_a \in \mathcal{D}_a\)，二者共享完全相同的用户指令 \(I\)、初始上下文和候选集 \(C=\{c_1,\dots,c_n\}\)，唯一变量是关键决策截图中目标候选 \(g(x_a)\) 是否承载欺骗性内容。智能体输出决策映射至 \(\tilde{C} = C \cup \{\bot\}\)，并采用 \(R\) 次重复运行（默认 \(R=10\)）的经验平均： - 任务完成率（TCR）：度量智能体是否做出明确的选择承诺，\(\text{TCR} = \Pr[\hat{c}(x) \in C]\)。 - 决策正确率（COR）：度量所选项是否满足指令隐含约束构成的可接受集合 \(A(I,C)\)，\(\text{COR} = \Pr[\hat{c}(x) \in A(I,C)]\)。 - 攻击成功率（ASR）：在相同随机种子下，严格判定智能体是否在良性样本下未选目标而在注入样本下被诱导选择攻击目标：
3. 可扩展多框架适配器与防御评测标准接口
为实现跨模型和跨框架的公平对齐，DIBench 研发了可扩展评测套件，通过 AgentAdapter 与 ModelProvider 分别抽象不同框架的动作空间和底层模型推理。同时，DIBench 标准化了三大类通用防御挂钩（Defense Hooks）： - 输入检测（Input Detection）：在决策前调用专用 LLM 检测器扫描 UI 文本、图像甚至规划路径（Planning）； - 图像预处理（Input Preprocessing）：包括高斯噪声注入（\(\sigma=2, 5\)）、JPEG 压缩（质量 \(Q=95, 75\)）以及下采样缩放（\(0.9\times, 0.75\times\)）； - 提示词防御（Prompt Mitigation）：在系统提示词前置注入安全警示，构建轻量级指令加固。
实验关键数据¶
主实验¶
基于真实商业 App（Commerce）环境，对主流开源与闭源多模态基座在 4 个智能体框架（AppAgent, Mobile-Agent-V2, Mobile-Agent-E, Mobile-Agent-V3）下的决策完整性展开横向评测。
| 模型 | 攻击方法 | AppAgent (TCR / COR / ASR) | Mobile-Agent-V2 (TCR / COR / ASR) | Mobile-Agent-E (TCR / COR / ASR) | Mobile-Agent-V3 (TCR / COR / ASR) |
|---|---|---|---|---|---|
| Qwen2.5-VL | No Attack | 42.0% / 28.4% / - | 71.1% / 53.8% / - | 38.6% / 24.9% / - | 51.3% / 35.5% / - |
| Qwen2.5-VL | Naive | 48.0% / 30.1% / 15.4% | 75.9% / 51.9% / 19.4% | 38.3% / 24.3% / 12.1% | 50.4% / 35.1% / 7.9% |
| Qwen2.5-VL | Escape | 42.6% / 25.7% / 13.2% | 73.8% / 56.0% / 14.7% | 40.1% / 26.7% / 11.7% | 56.7% / 39.7% / 7.2% |
| Qwen2.5-VL | Context Ignore | 67.2% / 43.3% / 43.3% | 85.0% / 59.6% / 44.6% | 51.2% / 31.9% / 32.7% | 65.8% / 50.9% / 35.3% |
| Qwen2.5-VL | Fake Completion | 49.2% / 32.1% / 19.3% | 78.9% / 58.7% / 30.1% | 39.1% / 26.0% / 13.4% | 51.7% / 34.1% / 8.8% |
| Qwen2.5-VL | Combined | 72.4% / 46.9% / 45.8% | 84.5% / 50.4% / 42.9% | 52.4% / 27.1% / 30.6% | 67.1% / 44.0% / 32.5% |
| Qwen3-VL | No Attack | 60.5% / 50.4% / - | 60.4% / 48.3% / - | 36.3% / 29.2% / - | 54.1% / 44.9% / - |
| Qwen3-VL | Context Ignore | 74.2% / 44.4% / 43.7% | 71.1% / 41.3% / 42.8% | 58.8% / 29.1% / 44.2% | 70.7% / 39.7% / 44.6% |
| Qwen3-VL | Combined | 77.0% / 50.8% / 37.9% | 78.9% / 50.7% / 41.9% | 65.1% / 34.9% / 50.3% | 71.6% / 39.6% / 52.2% |
消融实验¶
基于模拟器（Simulator）环境评估注入载体位置对决策完整性指标的影响（以 Combined 攻击与不同框架/模型为例，载体包含 Title、Cover 与纯视觉扰动 Pert.）：
| 模型 | 攻击配置 | Title | Cover | Pert. | AppAgent (TCR / ASR) | Mobile-Agent-V2 (TCR / ASR) | Mobile-Agent-E (TCR / ASR) | Mobile-Agent-V3 (TCR / ASR) |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5-VL | No Attack | × | × | × | 55.1% / - | 67.7% / - | 50.1% / - | 47.6% / - |
| Qwen2.5-VL | Combined | ✓ | × | × | 90.7% / 45.0% | 75.4% / 26.0% | 79.1% / 37.4% | 83.6% / 30.7% |
| Qwen2.5-VL | Combined | × | ✓ | × | 80.5% / 26.0% | 94.9% / 20.5% | 71.1% / 19.9% | 81.9% / 19.5% |
| Qwen2.5-VL | Combined | ✓ | ✓ | × | 90.2% / 42.1% | 94.1% / 26.9% | 76.0% / 34.1% | 87.1% / 28.6% |
| Qwen2.5-VL | Combined | × | × | ✓ | 51.2% / 6.5% | 84.3% / 8.1% | 43.1% / 3.4% | 57.7% / 6.2% |
| Qwen3-VL | Combined | ✓ | × | × | 92.4% / 37.0% | 66.5% / 27.9% | 86.6% / 48.8% | 95.1% / 49.9% |
| Qwen3-VL | Combined | × | ✓ | × | 93.0% / 24.4% | 92.3% / 19.3% | 78.7% / 28.4% | 84.6% / 30.3% |
| Qwen3-VL | Combined | ✓ | ✓ | × | 94.1% / 30.5% | 95.6% / 30.8% | 84.2% / 34.2% | 94.7% / 40.4% |
| Qwen3-VL | Combined | × | × | ✓ | 86.8% / 7.9% | 77.0% / 8.7% | 47.3% / 3.9% | 82.0% / 6.6% |
关键发现¶
- 任务完成率制造安全假象：欺骗性注入使 TCR 普遍暴增（例如 AppAgent+Qwen2.5-VL 从 42.0% 飙升至 72.4%）。智能体在受到注入影响后，显著压缩了用于比对、滑动和验证的探索动作，提前直接锁定注入目标，导致单一的完成率指标严重高估系统可信度。
- 基座模型鲁棒性分层明显：在相同框架下，抗诱导能力表现为：闭源模型（GPT-5.2 ASR 仅 3.8%~5.9%，Gemini-3-Flash 5.0%~8.7%）明显优于垂直专用模型（GUI-Owl 19.3%~19.9%），而通用开源模型（Qwen3-VL ASR 达 49.8%）最容易被语义覆盖探针操纵。
- 注入载体存在注意力饱和：Title 是最关键且高效的攻击载体，直接主导峰值 ASR；叠加 Cover 往往因视觉与文本信息冗余导致注意力分散，ASR 反而出现回落（如 Mobile-Agent-E 从 48.8% 降至 34.2%）；而纯扰动 Pert. 缺乏显式语义，ASR 普遍低于 9%。
- 现有防御手段极不稳定：专用检测器对低显着性注入（Naive / Escape）召回率暴跌至 18% 左右；图像预处理（如高斯模糊或压缩）因破坏了良性界面的文字可辨识度，有时反而导致 ASR 不降反升（如噪声导致 ASR 从 45.8% 升至 60.0%）；提示词加固虽有一定效果，但常以牺牲良性场景下的正确决策率（COR）为代价。
亮点与洞察¶
- 重新定义移动智能体安全评测边界：指出现行基准紧盯“越权执行与异常中断”的局限，首次将“流程正常但选择被操纵”的任务内目标偏离形式化为独立安全维度。
- 构建成对解耦的度量范式：通过对相同任务条件与候选空间的良性/注入成对对比，有效消除了模型本身任务能力的混淆影响，精准剥离出真实的攻击操控力（ASR）。
- 揭示认知压缩机制：通过动作轨迹分布发现，欺骗性提示诱使智能体大幅减少属性核验等延迟决策行为，诱导智能体在低审慎度下做出提前决策承诺。
局限与展望¶
- 作者指出的局限：由于商业服务真实交互存在伦理风险与状态不可逆性，商业 App 评测主要基于定格决策截图与局部注入，未在真机上部署端到端真钱交易链路；同时目前仅覆盖了单次选择决策，尚未扩展至长程多轮决策链。
- 自主发现的局限：目前的成对评估侧重于静态候选列表的最后一跳决策，但在实际移动交互中，用户滚动列表的深度与多页面跳转行为可能会动态稀释单点注入的视觉显著性。
- 改进思路：后续可将决策完整性防御内化为移动智能体的结构化推理阶段，在触发点击提交前强制执行“属性声明-证据定位”双重核验机制。
相关工作与启发¶
- vs MSB / MLA-Trust / GhostEI-Bench: 此类基准评估高危场景下的越权调用、隐私泄漏或恶意控制流劫持，侧重交互执行层异常；本文聚焦于控制流无异常情况下的任务内目标偏离与决策完整性。
- vs SecMoba / AgentHazard: 尽管涉及第三方环境注入，但多将其视为孤立案例或基于任务完成率评估；本文提出多候选决策场景下解耦完成率与正确率的成对评估基准，覆盖 10 款 App 与 3.6 万注入实例。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将多候选场景下的目标偏离确立为独立的决策完整性风险，视角独特且切中实际应用痛点。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 10 款应用、4 个智能体框架、7 款开源闭源大模型及 36,672 个注入实例，多维度消融与机制分析扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，威胁模型与数学形式化清晰，图表信息充实且论证充分。
- 价值: ⭐⭐⭐⭐⭐ 为移动 GUI 智能体的落地安全评估提供了标准化的可复现工具链，对防范新型 UI 诱导欺诈具有重要参考价值。