Why Act Without Asking? Evaluating Mobile GUI Agents under Ambiguous Instructions¶
会议: EMNLP 2026
论文: ACL Anthology
领域: LLM Agent
关键词: 移动端GUI Agent / 指令歧义 / 主动澄清 / 评估基准 / 级联门控
一句话总结¶
针对移动端 GUI Agent 在面对歧义指令时几乎从不主动提问(平均仅 0.1% 澄清率)而盲目试错的“盲目执行”(Act-without-Asking)顽疾,本文构建了首个步级歧义评测基准 MID-Bench 与严格单轮用户仿真协议,并提出了极轻量的免训练澄清门控级联机制,使开源模型在保持确定任务精度的同时将歧义任务成功率从 0% 提升至 40%~56%。
研究背景与动机¶
随着紧凑型多模态大模型在端侧设备上的落地,移动端图形用户界面(GUI)智能体展现出根据屏幕视觉状态与用户自然语言直接预测 UI 点击、输入和滑动手势的强大自动化能力。现有的移动智能体评测基准(如 AndroidControl、AndroidWorld 和 GUI-Odyssey)通常默认用户的初始指令是完备、确切且无歧义的,评测重点主要落在单步动作匹配率或端到端任务完成率上。然而在真实的移动交互场景中,用户输入的指令普遍充斥着信息缺失、代词指代不明、主观偏好模糊或缺乏必要上下文等歧义现象。如果智能体在目标不明确的情况下强行推测用户意图并直接执行操作,极易引发向错误联系人发送私信、误改关键系统配置或误购非预期商品等具有不可逆风险的灾难性后果。因此,一个可靠且安全的 GUI 智能体必须具备在关键信息缺失时敏锐感知不确定性、主动中断执行并向用户发起澄清提问(Ask for Clarification)的核心交互能力。
令人深思的是,当前主流开源端侧 GUI 智能体在面对歧义指令时表现出了极其严重的“盲目执行”病态偏置(Act-without-Asking)。深入剖析发现,这一缺陷源于两重深层症结:其一是训练与行为层面的“感知-动作割裂”(Recognition-Action Gap)与“弱指令条件依赖”。实验表明,现有主流开源多模态智能体(如 Qwen3-VL-4B、GUI-Owl-1.5-4B、UI-TARS-1.5-7B 与 UI-Venus-Navi-7B)即使在分类模式下能准确将多达 43.8% 的样本识别为歧义状态,一旦切换到动作生成模式,主动调用澄清动作 call_user 的比例却暴跌至微不足道的 0.1%(4/3600 次),即使将指令完全置空,智能体依然有高达 30%~60% 的概率盲目依据屏幕显著控件猜中执行动作,表明智能体极度过度拟合于界面的视觉诱导(Affordance)而非指令语义约束。其二是评测基准维度的“幸存者偏差”,既有评测体系只要动作匹配真实轨迹便给予满分,大量盲猜侥幸命中被错误计为模型能力,缺乏在步级(Step-Level)严密惩罚盲目试错、只奖励“先问再做”的评测闭环。
面对上述认知盲区与评测缺失,本文的研究切入点在于将歧义处理从宏观的多轮对话或轨迹级宽泛评估,收敛至决定任务成败的微观“关键阻断步”(Pivot Step),并建立步级因果可验证的问答评测闭环。核心 idea:构建首个步级移动端指令歧义基准 MID-Bench,引入仅回答具象提问的严格用户仿真器与“先问再准”(Ask+Match)判定规则;同时设计无需重训的免训练置信度与语义门控级联(Cascade Gating),在执行前低成本拦截盲动并触发主动澄清。
方法详解¶
整体框架¶
本文构建了从基准评测到免训练推理防御的完整闭环。在评测侧,MID-Bench 提取真实移动操作轨迹中的关键转折步,将完备指令改写为四类典型歧义,配合严格单轮用户仿真器形成“歧义输入 \(\to\) 智能体提问 \(\to\) 最小信息答复 \(\to\) 正确执行动作”的标准交互闭环;在防御侧,针对冻结的端侧基础智能体,引入无须改动主干权重的轻量级澄清门控(Cascade Wrapper),在动作执行前对模型内部的置信度信号或分歧度进行评估,仅在判定指令充分清晰时直接放行底层动作,否则拦截动作并强制调用澄清提问接口。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入:移动端屏幕截图 + 用户歧义指令"] --> B["预测置信度与语义分歧门控<br/>计算动作对数概率或动作熵"]
B -->|高置信度 / 确定意图| C["直接执行:基线 GUI 动作输出"]
B -->|低置信度 / 检测到歧义| D["严格单轮信息答复仿真交互<br/>发起具象提问与严格条件答复"]
D --> E["指令-提问-再执行三元联合适配<br/>结合答复信息重执行最终动作"]
E --> F["输出:最终 GUI 动作执行与状态更新"]
关键设计¶
1. 预测置信度与语义分歧门控:针对盲目执行惯性设计无须重训的零成本拦截机制
传统开源端侧智能体在预训练和微调阶段几乎全由“观察-动作”正向轨迹驱动,导致解码器形成了极强的动作自回归发射偏置,即便提示词中明确提供了 call_user 动作定义与使用规范,模型依然惯性地选择直接操作界面。为从根本上打破这一惯性,本文设计了外置的免训练级联门控(Train-Free Clarification Cascade)。具体探索了三种互补的门控信号实现:首先是对数概率门控(Logit-Gated Cascade, LGC),该机制复用基础智能体生成动作时的前向传播计算,直接提取动作 token 序列的平均对数概率作为预测置信度指标:
$\(S_{\text{LGC}} = \frac{1}{|a|} \sum_{t=1}^{|a|} \log P(y_t \mid y_{<t}, I, S)\)$
当该置信度均值低于基于验证集优化的阈值 \(\tau_{\text{LGC}}\) 时,门控强制截断动作发射并触发提问。LGC 的核心机制优势在于完全无需额外的模型前向计算,推理耗时开销为零。其次是采样分歧门控(Sampling-Gate Cascade, SGC),通过以温度 \(T=0.7\) 随机抽取 \(k=5\) 条动作解码路径,并引入粗粒度动作等价签名(如将点击坐标离散化为 50 像素网格、文本输入去空格截断、系统键保留类别),将采样动作聚合为经验分布并计算动作香农熵 \(H = -\sum_i p_i \log p_i\);当熵值大于阈值(如 \(\tau=0\),即 5 次采样出现至少一次语义分歧)时即刻拦截动作。最后是提示词门控(Prompted-Gate Cascade, PGC),利用专用口头化提示显式询问模型当前屏幕下信息是否充足。实验表明,LGC 与 SGC 能在完全冻结权重的情况下,将歧义识别召回率提升至 78%~99%,且对正常无歧义指令(Clear Split)的动作准确率保持 98% 以上的零回退。
2. 严格单轮信息答复仿真交互:针对宽松评测漏洞构建最小信息闭环验证
既有的交互式评测基准普遍采用宽泛的 LLM 模拟器,只要智能体提出任何与任务相关的宽泛问题(例如“接下来我该怎么做?”),仿真器便会将完整的任务目标一股脑倾倒给智能体,严重夸大了智能体在真实环境下的协作表现;同时多轮次对话往往将“是否懂得在阻断时刻主动提问”与“多轮提问修复纠错”混为一谈。本文确立了严格受限的单轮澄清交互协议(Single-Round Protocol),将交互严格约束为单次往返(Single Round-Trip):当且仅当智能体在当前阻断步发出具象提问 call_user(q) 时,严格仿真器(Strict Simulator)介入。仿真器执行严苛的条件触发规则:仅当提问 \(q\) 能够且仅能唯一映射到原始隐藏目标中的某一个具体缺失信息槽位时(例如“请问要打开哪本书?”),仿真器才返回极其精炼的 2~5 词具体内容(“《后翼弃兵》”);若智能体提出的问题含糊不清(如“能告诉我更多细节吗?”),仿真器将反问“你具体需要了解什么?”,此时若智能体无法直接基于该无效答复完成正确动作,该步骤即被判定失败。这种设计确保了评测具有极高的抗欺骗性与因果可解释性。
3. 指令-提问-再执行三元联合适配:针对内生澄清感知与动作恢复能力的数据高效微调
尽管免训练门控在推理期提供了极强的拦截能力,但在面对严格遮蔽关键字段的极端歧义场景时,冻结的基础模型在收到用户答复后依然可能出现重执行失败(Execute-fail)。为此,本文提出了三元数据配对的轻量化 LoRA 微调范式。基于 AndroidControl 训练集中的 1,496 个核心界面步,针对每个样本系统化构造三种同图对照数据构成 4,488 条训练元组:第一路为原始清晰指令到标准真实动作的常规映射;第二路为改写后的歧义指令到主动发起 call_user 具象提问的发射映射;第三路为歧义指令拼接严格仿真器极简答复后重新执行标准真实动作的恢复映射。通过仅训练 \(r=16, \alpha=32\) 的低秩适配器(在 2 张 RTX 3090 上仅耗时约 2 小时),使多模态模型原生掌握了在视觉感知层感知输入语义不完备性的能力,在 Qwen3-VL-4B 上达成了 0.853 的主动提问 F1 值与 99.1% 的极高提问精确率。更为关键的是,该微调模型与免训练 LGC 门控展现出极佳的正交增益特性,在最具挑战性的 Hard 歧义子集上将最终成功率推至 0.573 的全表最高水准。
评估基准与实验设计¶
为了彻底暴露并科学评估“盲目执行”缺陷,本文构建了 MID-Bench(Mobile Instruction Disambiguation Benchmark),其核心设计包括:
- 数据源与切分:基于移动端主流真实基准 AndroidControl(AC)与跨应用基准 GUI-Odyssey(Ody)的人工操作轨迹,构建了两组歧义评估集与一组对照集:包含 600 个步骤的 Base 歧义集(400 AC + 200 Ody)、包含 300 个步骤的 Hard 严格遮蔽集(150 AC + 150 Ody),以及包含 300 个常规无歧义步骤的 Clear 对照集。
- 四类典型指令歧义:涵盖指代模糊(Referential,使用模糊代词替代专有名词)、参数欠指定(Underspecified,抽离关键输入数值或操作目标,进一步细分为数值缺失 value、目标缺失 target 和混合 mixed)、偏好依赖(Preference-dependent,引入主观评判标准)以及上下文预设(Contextual,假定不存在的前置历史状态),基准构造中四类比例均衡分布。
- 关键阻断步(Pivot-Step)与防泄露过滤机制:使用前向动作序列分析,定位歧义使得下一步动作无法唯一确定的最先阻断步(Pivot-Step);同时施加三道硬性过滤规则(剔除长按、滑动、等待等通用非信息依赖动作,严格筛除改写后指令仍包含被输入文字或应用名的泄露样本)。
- Hard 严格掩码子集:专门针对 type 输入动作,要求原始指令中的具体输入文本被逐字剥离,并算法自动验证改写指令中绝对不存在任何长度 \(\ge 4\) 的输入词子串,彻底杜绝模型凭借界面语义或局部词根“猜出”输入内容的侥幸可能。
- 双重打分规则:
- Match-Only(宽松动作匹配):沿用既有单步基准逻辑,无论模型是否提问,只要最终给出的 GUI 动作与 Ground-Truth 一致即算正确。
- Ask+Match(严格先问再做):本文提出的金标准指标。要求智能体必须在当前步显式触发 call_user 提问,并在获得仿真器答复后输出正确的最终动作;若未提问直接输出正确动作,严格记为 0 分。两者的差值(\(\text{Match-Only} - \text{Ask+Match}\))即定量刻画了智能体“盲动冒进”的虚假性能水分。
实验关键数据¶
主实验¶
主实验在四款主流开源移动端多模态 GUI 智能体(Qwen3-VL-4B、GUI-Owl-1.5-4B、UI-TARS-1.5-7B、UI-Venus-Navi-7B)上全面评估了冻结基线、三种免训练级联门控(+PGC、+SGC、+LGC)以及 LoRA 微调模型的表现。
| 模型 | 方法 | Clear 准确率 | Base Match-Only | Base Ask+Match | Hard Match-Only | Hard Ask+Match |
|---|---|---|---|---|---|---|
| Qwen3-VL-4B | Baseline (Frozen) | 0.468 | 0.406 | 0.000 | 0.107 | 0.000 |
| + PGC (Prompted) | 0.461 | 0.430 | 0.134 | 0.223 | 0.150 | |
| + SGC (Sampling) | 0.480 | 0.470 | 0.171 | 0.367 | 0.273 | |
| + LGC (Logit) | 0.489 | 0.476 | 0.407 | 0.447 | 0.423 | |
| GUI-Owl-1.5-4B | Baseline (Frozen) | 0.518 | 0.415 | 0.000 | 0.100 | 0.000 |
| + PGC (Prompted) | 0.529 | 0.447 | 0.150 | 0.267 | 0.203 | |
| + SGC (Sampling) | 0.522 | 0.541 | 0.408 | 0.513 | 0.460 | |
| + LGC (Logit) | 0.508 | 0.537 | 0.478 | 0.467 | 0.397 | |
| UI-TARS-1.5-7B | Baseline (Frozen) | 0.419 | 0.297 | 0.000 | 0.077 | 0.000 |
| + PGC (Prompted) | 0.402 | 0.418 | 0.384 | 0.437 | 0.430 | |
| + SGC (Sampling) | 0.393 | 0.433 | 0.397 | 0.443 | 0.433 | |
| + LGC (Logit) | 0.403 | 0.432 | 0.357 | 0.440 | 0.440 | |
| UI-Venus-Navi-7B | Baseline (Frozen) | 0.466 | 0.370 | 0.000 | 0.097 | 0.000 |
| + PGC (Prompted) | 0.539 | 0.510 | 0.435 | 0.513 | 0.507 | |
| + SGC (Sampling) | 0.466 | 0.389 | 0.051 | 0.127 | 0.037 | |
| + LGC (Logit) | 0.542 | 0.536 | 0.536 | 0.563 | 0.563 | |
| Qwen3-VL-4B (LoRA) | Baseline (Native) | 0.493 | 0.361 | 0.333 | 0.323 | 0.230 |
| + PGC (Prompted) | 0.479 | 0.416 | 0.391 | 0.333 | 0.247 | |
| + SGC (Sampling) | 0.472 | 0.423 | 0.413 | 0.543 | 0.490 | |
| + LGC (Logit) | 0.471 | 0.424 | 0.424 | 0.577 | 0.573 |
消融实验与分析¶
为了深入评估各门控机制在决策质量与计算开销上的权衡,下表列出了歧义判定 F1 值分解(Ambig 为正类,Clear 为负类)以及单步推理延迟与门控开销测算(基于单个 RTX 3090 GPU)。
| 模型与配置 | 提问精度 (Prec.) | 提问召回率 (Recall) | 应该提问 \(F_1\) | 额外门控前向开销 | 测算单步总耗时 (\(\phi=0.5\)) | 测算单步总耗时 (\(\phi=1.0\)) |
|---|---|---|---|---|---|---|
| Qwen3-VL-4B Baseline | 1.000 | 0.001 | 0.002 | 0 次(无门控) | 1.9 ~ 3.0 s | 1.9 ~ 3.0 s |
| Qwen3-VL-4B + PGC | 0.671 | 0.290 | 0.405 | +1 次前向 (+0.45~0.95s) | 4.7 ~ 6.4 s | 6.7 ~ 9.0 s |
| Qwen3-VL-4B + SGC (\(k=5\)) | 0.828 | 0.390 | 0.530 | +5 次采样 (+5.4~11.0s) | 9.2 ~ 16.6 s | 11.2 ~ 19.2 s |
| Qwen3-VL-4B + LGC | 0.767 | 0.781 | 0.774 | 0 次(复用 logits) | 3.8 ~ 5.6 s | 5.7 ~ 8.2 s |
| GUI-Owl-1.5-4B + LGC | 0.793 | 0.793 | 0.793 | 0 次(复用 logits) | 3.8 ~ 5.6 s | 5.7 ~ 8.2 s |
| UI-TARS-1.5-7B + LGC | 0.775 | 0.884 | 0.826 | 0 次(复用 logits) | 4.1 ~ 5.9 s | 6.1 ~ 8.5 s |
| UI-Venus-Navi-7B + LGC | 0.758 | 0.999 | 0.862 | 0 次(复用 logits) | 4.0 ~ 5.8 s | 6.0 ~ 8.4 s |
| Qwen3-VL-4B (LoRA) | 0.991 | 0.749 | 0.853 | 0 次(原生内生提问) | 1.9 ~ 3.0 s | 5.8 ~ 8.3 s |
同时,在四类不同歧义类型的细分表现(Ask+Match 指标)上: - 指代歧义(Referential):LoRA 微调在 Base 集上取得极高的 0.570,说明浅层微调非常擅长捕捉指代不明确;但在 Hard 集上骤降至 0.167; - 偏好依赖(Preference):LGC 在 Hard 集合上展现出最高鲁棒性,得分高达 0.586; - 参数欠指定(Underspecified):普遍成为所有模型和策略的最难硬骨头(LoRA Base 仅 0.227,LGC Hard 仅 0.383)。当文本内容被完全移除时,模型极度依赖从用户处获取全新事实知识。
关键发现¶
- 既有基准严重粉饰了盲猜现象:在既有的 Match-Only 规则下,所有开源基线在 Base Ambig 上均能拿到 0.30~0.42 的表面得分,给人以“模型表现尚可”的假象;但实际上它们的
call_user调用总计仅 4 次,在严苛的 Ask+Match 规则下,所有冻结基线直接全军覆没降为 0.000。在文本严格掩码的 Hard 集上,Match-Only 亦断崖式跌落至 0.08~0.11。 - 免训练置信度门控(LGC)达到最优效费比:LGC 无须增加任何额外的模型推理前向计算(成本为 \(1 + 2\phi\) 次前向,其中 \(\phi\) 为提问触发率),相比 SGC 动辄增加 5~11 秒的多路径采样开销,LGC 在四款模型上几乎全部取得了最高的 \(F_1\) 值(最高达 0.862)与最高的 Ask+Match 分数(UI-Venus 达到 0.563)。
- LoRA 微调与免训练级联具有高度互补性:微调赋予了模型极高的提问精准度(Precision 0.991),而推理期外挂 LGC 门控则弥补了跨数据集泛化(AC 转移至 Ody)时的召回率盲区,两者融合达到了全表最高的 0.573 Hard Ask+Match,逼近理论 Oracle-Gate(全提问天花板 0.577)的 99% 恢复水平。
- 商业闭源大模型同样受益于门控:对 GPT-5.4 的评测表明,虽然其具备一定的原生澄清意识(Hard Ask+Match 达到 0.360,接近 Match-Only 的 0.370),但在 Base 歧义上仍有大量的盲动现象(Match-Only 0.385 vs Ask+Match 0.145),外挂 PGC 门控依然能带来明显的双指标提升。
亮点与洞察¶
- 尖锐揭示并命名了 Act-without-Asking 顽疾:论文首次通过严格实验量化了多模态 GUI Agent 普遍存在的“明明识别出歧义却宁可盲猜绝不发问”的病态行为,精准指出了既有评测基准奖励盲猜的系统性缺陷。
- 构建了高可靠性、因果解耦的步级基准 MID-Bench:通过精细的 Pivot-Step 阻断步定位与 Hard 级别字符串严格剔除验证,配合只回答具象提问的受限用户仿真器,为 GUI 领域的交互式评测确立了标准范本。
- 验证了置信度指标(Token Logits)作为交互决策信号的普适有效性:无需训练即可直接利用模型自带的动作生成对数概率构建 LGC 门控,打破了“必须大规模收集人类反问对话才能做澄清交互”的固有认知,具备极高的工程落地价值。
局限与展望¶
- 单轮交互设定的覆盖边界:为清晰解耦提问决策与多轮修复,本文协议严格限定为单轮 ask \(\to\) answer 交互;但在真实人机协作中,复杂任务可能存在多重连续信息依赖,扩展至长程多轮对话及用户拒绝回答等长尾场景仍待进一步探索。
- 平台与模态范围局限:实验主要集中在 Android 移动端应用界面,对于桌面端 Web 浏览器以及操作系统级长时跨应用交互智能体(如多窗口、多屏幕协同),视觉不确定性的形态可能更加复杂。
- 对数概率阈值的模型依赖性:LGC 的最优切分阈值 \(\tau_{\text{LGC}}\) 受不同基础模型的概率校准(Calibration)特性影响较大(例如 Qwen3 为 -0.035,而 UI-TARS 为 -0.375),尽管跨数据集转移鲁棒,但针对全新模型仍需少量标注数据进行阈值搜索。
相关工作与启发¶
- vs. AmbiBench / Mobile-World / Fairy: 既有研究虽然引入了
ask_user动作或模糊场景,但主要局限于轨迹级或宏观对话维度的整任务成功率评估,模型即便在关键步盲猜过关也能拿分;MID-Bench 深入到底层具体的“操作阻断步”,首创“未问先做一律判零”的严密评测准则。 - vs. CLAM / CLAMBER: 既有的 NLP 问答模糊澄清工作多聚焦于纯文本开放域 QA 场景,缺乏对图形用户界面(GUI)中复杂视觉 Affordance 与控件交互上下文的考量;本文证实了 GUI 智能体对屏幕控件的“过度拟合”是导致盲动的主导心理机制。
- vs. Navi-Plus / MAI-UI: 既有工作倾向于通过全量参数后训练(Post-Training)教会智能体发问,成本高昂且可能牺牲通用任务性能;本文证明免训练的轻量对数概率级联门控在兼顾清晰指令精度的同时,能大幅超越复杂的重训基线。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐(首次系统性指出并形式化定义了 Act-without-Asking 缺陷,提出了评测与免训练防御方案)
- 实验充分度: ⭐⭐⭐⭐⭐(横跨4款开源模型、闭源GPT-5.4、900个歧义步及严格Hard子集,提供端到端耗时与全维度指标)
- 写作质量: ⭐⭐⭐⭐⭐(实验逻辑层层推进,从现象揭示、机理解构到基准与算法验证极其严谨自然)
- 价值: ⭐⭐⭐⭐⭐(直击移动 GUI Agent 真实落地中的安全性与可靠性痛点,即插即用的 LGC 具备立即可用的工业实用性)