DualTAP: A Dual-Task Adversarial Protector for Mobile MLLM Agents¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/fyzhang1/DualTAP
领域: 安全
关键词: 移动智能体、个人可识别信息、对比注意力、对抗扰动、隐私与效用

一句话总结¶

DualTAP 在手机截图上传前施加面向任务的对抗扰动，用对比注意力定位隐私敏感区域、用双任务目标保留正常操作能力，在 PrivScreen 上将 GPT-5 的泄露率从 97.14% 降至 23.33%，同时将任务准确率维持在 91.00%。

研究背景与动机¶

移动 GUI 智能体把屏幕当作主要观察接口：截取当前页面，将截图和用户指令交给远端多模态大语言模型（MLLM），再根据返回结果点击、输入或滑动。这种机制不要求应用暴露专门接口，但截图往往同时带出姓名、邮箱、电话号码和账户资料。尤其当请求先经过第三方 API 路由器时，路由器即使忠实转发正常任务，也能另外调用模型读取截图里的个人可识别信息（PII）。因此，风险不只是模型是否输出了危险动作，而是完成一次正常操作的同时，旁路服务是否获得了与任务无关的私人内容。对连续截图的累积观察还可能把分散字段关联成用户画像，这是作者提出威胁场景的出发点，而不是本文已经完整量化的多帧攻击实验。

直接模糊或遮盖截图能减少可读信息，却可能连按钮位置、导航标签和界面语义一起损坏。通用视觉对抗方法也有类似问题：只要让模型看不懂图像，就可能既阻断隐私提取，也阻断智能体完成任务。区域化方法 VIP 更接近所需保护范围，但“只改敏感区域”仍不等于“只影响敏感任务”，因为模型会联合编码整张图片。真正需要区分的是，同一视觉输入对“下一步该点什么”和“用户邮箱是什么”这两类问题产生的不同作用。表 2 提供了这一矛盾的直接证据：只优化隐私的配置准确率为 64.00%，只优化正常任务则泄露率达到 94.19%。

DualTAP 不要求路由器配合，也不修改目标模型权重，而是在设备侧改变发出的图像。它利用可访问梯度的代理模型学习扰动，再测试这种作用能否迁移到不同的黑盒模型。这里的“保护”是模型条件下的经验性提取抑制，并不是删除原始个人信息，更不是加密或形式化隐私保证。核心 idea：用隐私任务相对于正常任务的梯度显著性来分配扰动，再同时压低隐私答案的可恢复性、维持正常答案的可信度，使同一截图对两种用途产生不同效果。

方法详解¶

整体框架¶

输入是手机截图、正常任务问答与隐私提取问答；输出是经过扰动的截图，正常智能体和路由器侧提取模型都会看到这张图。训练阶段依次使用对比注意力、注意力调制生成器和双任务目标，代理 MLLM 提供梯度但保持冻结。部署阶段按作者设想只在设备侧运行训练好的保护器，将输出上传到路由器，不需要访问目标模型的参数。下图把训练监督画成虚线，把推理图像传递画成实线；它描述的是论文提出的路径，不代表端侧全部依赖都已交代清楚。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        QA["成对问答与<br/>冻结代理模型"] -.-> A["对比注意力"]
        X["手机截图"] --> G["注意力调制生成器"]
        A -.->|训练时引导| G
        G -.->|代理模型评估| L["双任务目标"]
        QA -.-> L
        L -.->|更新生成器| G
        G --> Y["扰动截图"]
        Y --> N["正常任务模型<br/>预测下一步动作"]
        Y --> P["隐私提取模型<br/>尝试恢复个人信息"]

训练数据 PrivScreen 来自 10 个常用移动应用，包含超过 500 张截图和超过 1000 项合成 PII。作者在真实界面中注入语义合理但虚构的字段，记录类型与精确值，而不是把真实用户隐私直接作为公开训练目标。每张图配一组隐私问题和一组正常功能问题，让两种任务共享完全相同的视觉分布。这对训练尤其重要：若正常任务来自另一批干净页面，生成器可能只学到页面分布差异，而不是同一画面中的用途差异。主实验采用应用内 80% 训练、20% 评估划分；跨应用实验另外使用 7 个训练应用和 3 个未见应用。

关键设计¶

1. 对比注意力：找出隐私依赖强于正常任务依赖的位置

这里的注意力不是直接读取 Transformer 的注意力权重，而是由答案负对数似然对输入像素的梯度得到显著性。在冻结代理模型上，分别对隐私问答集合与正常任务问答集合计算这种响应，得到隐私显著图和正常任务显著图。直观地说，某处像素变化若更容易影响隐私答案、却较少影响正常答案，就更适合承载隐私干扰。方法用两张图的差值保留这种相对重要性，而不是单独把隐私图上所有高响应位置都当作可破坏区域。原文式 (2) 的核心关系为：

\[ \mathcal{A}(x)=\operatorname{ReLU}\bigl(\mathcal{S}_{\mathrm{p}}(x)-\mathcal{S}_{\mathrm{n}}(x)\bigr). \]

ReLU 将负差值置零，因而正常任务更依赖的位置不会获得正的对比响应。这不是语义上的硬分割：同一个文字区域可以同时服务两种任务，其梯度也可能受上下文与代理模型偏差影响。对比图只能提供连续的空间偏好，不能证明图外区域没有隐私，也不能保证图内扰动绝不损害正常功能。因此，后续训练还需要显式检查任务答案，而不能只凭这张图宣布完成隐私与效用的分离。原文式 (1) 的范数及维度部分抽取受损，此处只保留正文明确支持的梯度显著性解释，不猜补精确实现。

2. 注意力调制生成器：把空间偏好注入多个解码分辨率

生成器采用 U-Net 风格编码器与解码器，将截图转换为与输入对应的像素扰动。在每个解码尺度，先把对比注意力图下采样到当前特征分辨率，再用轻量卷积网络预测缩放与偏移系数。这些系数对解码特征进行仿射调制，使隐私相关的空间偏好能够进入多尺度生成过程，而不是仅在最终噪声上乘一张掩码。从结构上看，低分辨率特征有助于考虑布局，高分辨率特征有助于处理文字附近的局部变化；这是对架构作用的解释，不是独立消融结论。原文还引入固定强度参数控制调制，但缓存中的式 (3) 至式 (5) 有符号缺失，不将其重写成声称逐项准确的作者公式。

正文明确说明生成器输出经 tanh 限幅，按扰动预算缩放，再与截图相加并裁剪到合法像素范围。其中预算约束及图像合成可以可靠地记为：

\[ \|\delta\|_{\infty}\leq\varepsilon,\qquad x_{\mathrm{adv}}=\operatorname{clip}_{[0,1]}(x+\delta). \]

实验使用 \(\varepsilon=128/255\)，这是较大的允许扰动上界，不能据此把方法描述成肉眼不可察觉的保护。真正要求保留的是 UI 语义与操作所需结构，而不是每个像素都接近原图。推理阶段将扰动加到即将上传的截图上，本地应用界面本身无需因此被永久改写。不过，训练时的对比图依赖问答和代理梯度，而正文没有充分说明未见截图在端侧如何取得等价引导。笔记因此区分“作者提出只部署生成器”与“对比图计算的端侧依赖已经完整验证”这两个不同主张。

3. 双任务目标：用答案行为约束扰动，而不只约束扰动位置

同一张扰动图再次送入冻结代理模型，分别评估正常问题和隐私问题的答案。正常任务分支希望参考答案仍有高概率，因此最小化正常答案的负对数似然。隐私分支则希望真实 PII 答案不再容易恢复，训练方向是降低这些答案的条件概率。两项监督都只覆盖答案 token，不把问题文本和视觉占位 token 当作生成器需要拟合的目标。这样，生成器不能仅通过改变问题对应的无关语言位置来获得表面上的训练收益。

该目标不要求正常模型与提取模型是两种特定架构；它们的区别首先来自所执行的问题。训练时由同一个白盒代理承载两种任务，测试时再考察对未知目标模型的迁移。作者以 \(\alpha\) 和 \(\beta\) 分别调节效用与隐私权重，默认二者都是 \(1.0\)。缓存中的式 (6)、式 (7) 丢失对数及运算符，正文也交替使用“最小化隐私损失”和“最大化隐私损失”的表述。这里不猜补总损失的精确正负号，只记录其清楚的行为目标：提高正常答案概率、降低真实隐私答案概率。表 2 的单损失消融支持这两个目标需要共同存在，但不能替代核对原始公式与代码。

一个完整示例¶

原文图 2 和图 7 使用编辑个人主页、添加外部链接一类任务来说明流程。当前截图上既有可点击的 Links 入口，也可能显示姓名和邮箱；正常任务需要定位入口，并不需要把姓名邮箱重新读出。训练时，正常问答对应“下一步点击 Links”，隐私问答对应“读取个人信息”，两者共同确定对比显著图。生成器在这种空间引导下修改截图，再由双任务监督检查按钮操作答案是否保留、私人字段是否仍可提取。上线时，正常模型根据扰动截图继续导航，路由器侧模型则尝试从同一张图恢复 PII，保护是否成功由实际输出评估。若正常任务本身要求读出同一个私人字段，两项需求就可能真正冲突，本文没有证明这种情况下也能同时满足两者。

损失函数 / 训练策略¶

代理模型为 InternVL3-5-2B，仅提供梯度，训练中不更新其参数。生成器使用 Adam，学习率为 \(1\times10^{-4}\)，batch size 为 4，训练 20 个 epoch，设备为单张 NVIDIA L20。图 5 比较 \(64/255\)、\(128/255\) 和 \(192/255\) 三种扰动上界，作者选择中间值作为默认配置。表 3 在 InternVL 对应设置下报告：权重 \((1.75,0.25)\) 时 Acc/LR 为 84.00/45.71，\((1,1)\) 时为 83.00/24.29，\((0.25,1.75)\) 时为 70.00/18.01。这说明增大隐私侧权重可以继续降低泄露，但会付出明显效用代价，而不是存在一个无成本的通用最优解。

实验关键数据¶

主实验¶

下表摘自原文表 1（第 8 页），评估对象为 PrivScreen 应用内划分；Acc 与 LR 均以百分数报告。 Acc 是正常截图任务的准确率，不应直接当作长时序真实手机任务的端到端完成率。 LR 是匹配分数 MS 大于 0.6 的样本比例，越低越好；因此 LR 低不等于不存在部分字段泄露。 MS 衡量提取文本匹配程度，论文还用 BERTScore、余弦相似度、BLEU 和 ROUGE-L 检查语义及文字重合。

目标模型	方法	Acc，越高越好	LR，越低越好
InternVL3-5-8B	Original	83.00	96.19
InternVL3-5-8B	DualTAP	83.00	24.29
Qwen2.5-VL-7B	Original	89.00	97.14
Qwen2.5-VL-7B	AnyAttack	70.00	95.24
Qwen2.5-VL-7B	FOA-Attack	73.00	83.81
Qwen2.5-VL-7B	VIP	81.00	94.76
Qwen2.5-VL-7B	AVIH	83.00	93.57
Qwen2.5-VL-7B	DualTAP	88.00	32.86
GPT-5	Original	93.00	97.14
GPT-5	DualTAP	91.00	23.33
Gemini-2.0 flash	Original	87.00	96.67
Gemini-2.0 flash	DualTAP	87.00	57.62
Holo1.5-7B	Original	70.00	94.76
Holo1.5-7B	DualTAP	69.00	17.14
UI-TARS-7B	Original	80.00	93.81
UI-TARS-7B	AnyAttack	76.00	81.43
UI-TARS-7B	DualTAP	67.00	34.76

消融实验¶

下表摘自原文表 2（第 11 页）；DualTAP 列与表 1 的 Qwen2.5-VL-7B 结果对应，但表 2 表题未再次注明目标模型。 Acc、LR、MS 沿用原表百分数尺度；余弦相似度 CS 和 BLEU 保留原始小数。

配置	Acc	LR	MS	CS	BLEU
Privacy_only	64.00	23.80	20.48	0.1706	0.0570
Normal_only	89.00	94.19	92.52	0.8558	0.5340
DualTAP	88.00	32.86	38.82	0.4202	0.0908

关键发现¶

GPT-5 的 LR 从 97.14% 降至 23.33%，下降 73.81 个百分点，而 Acc 只下降 2.00 个百分点，展示了明显的用途选择性。
相比 Privacy_only，双任务训练把 Acc 从 64.00% 提高到 88.00%，代价是 LR 从 23.80% 上升到 32.86%；它改善的是折中，而非所有指标同时最优。
UI-TARS-7B 的 Acc 从 80.00% 降至 67.00%，且低于 AnyAttack 的 76.00%，所以正文“所有模型效用最佳”的概括并不符合表 1。
第 13 页表 6 中，重采样后的 LR 为 35.24%，JPEG Q=75 时为 24.29%；这些是特定攻击设置的证据，不是对任意净化操作的保证。
第 13 页图 6 的跨应用结果将 LR 从 88.0% 降至 12.0%，Acc 从 76.7% 变为 73.3%；其划分不同，不与表 1 混为同一测试集。

原文摘要与引言把 31.7 同时表述为保护后的平均 LR 和下降的百分点；按表 1 六项 DualTAP LR 的算术平均，它约为 31.7%，不能解读成下降 31.7 个百分点。原文第 12 页称去除任务保持损失造成“37.5% drop”，但表 2 的 88.00 到 64.00 实际是下降 24.00 个百分点；笔记保留表值，不沿用该表述。

亮点与洞察¶

对比显著性问的是“哪里更服务于隐私提取”，而不是“哪里像私人字段”。这让正常任务依赖直接进入保护区域的选择过程。
位置引导与行为监督互补：前者减少无关区域的扰动，后者发现仍然损害正常任务的修改，仅做其中一项不足以解释主要收益。
同图双问答是值得借鉴的数据设计。它为选择性信息保护提供可比较的任务对，而非分别测两套视觉分布上的分数。

局限与展望¶

黑盒迁移不是安全证明，Gemini 的残余 LR 仍为 57.62%。路由器保存截图后使用未来模型或其他提取器，可能改变保护效果。
\(128/255\) 的扰动预算较大，论文主要验证模型任务效用，没有建立对人类可读性或视觉质量的严格保证。
数据主要是有限应用中的合成 PII；跨应用实验有所补充，但不足以覆盖真实多语言界面、长期跨截图关联和所有隐私类型。
第 12 页表 4 报告每图耗时小于 0.3 秒，第 14 页称生成器约 300 MB；训练、注意力计算、手机实测延迟和能耗的完整成本边界仍需澄清。
论文一方面明确训练 20 个 epoch，另一方面在效率讨论中称无需额外预训练；后者不应被改写为完全免训练。
后续应重点测试任务确实需要敏感字段的场景，并明确端侧对比图的生成方式；这两点分别决定可保护边界和部署是否完整可行。

评分¶

新颖性: 4/5。对比梯度显著性与双任务监督面向具体移动隐私场景形成了清晰组合。
实验充分度: 4/5。覆盖六个目标模型、单损失消融、跨应用和适应性攻击，但缺少更完整的设备成本与长期泄露评估。
写作质量: 3/5。问题和框架直观，部分统计概括不准确，公式抽取损坏进一步限制了细节核验。
价值: 4/5。提供实用的隐私与效用联合评估思路，但部署时必须承认残余泄露和任务依赖边界。