MIRAGE: Mobile Agents with Implicit Reasoning and Generative World Models¶
会议: NeurIPS 2026
arXiv: 2606.04627
OpenReview: https://openreview.net/forum?id=0M1aZJgLap
代码: https://github.com/yzc0912/MIRAGE
领域: LLM Agent
关键词: 移动端智能体、隐式推理、世界模型、Jacobi并行细化、Q-Former特征对齐
一句话总结¶
本文提出将移动端 GUI 智能体的显式思维链内化为连续潜空间槽位，借助近似并行潜变量细化（APLR）与预测下一帧视觉特征的轻量 Q-Former 生成式世界模型，在推理时不解码任何长推理文本即可达到与显式 CoT 相当的任务成功率，并将生成 token 量与交互延迟降低 75% 以上。
研究背景与动机¶
随着视觉语言模型（VLM）在界面定位与操作控制上的快速演进，基于截图与自然语言指令自主操作智能手机的移动端智能体（Mobile GUI Agents）已成为人机交互的重要方向。然而，构建高可靠的移动端智能体面临着严苛的推理瓶颈：模型必须在多步操作中持续追踪任务进展、在复杂界面树中规划下一步页面跳转，并提前推断当前动作对屏幕状态带来的动态影响。为弥补决策能力的不足，当前大多数移动智能体系统依赖显式思维链（Explicit CoT）或 ReAct 风格范式，在生成每个动作前输出冗长详尽的文字思考过程（涵盖屏幕观察、动作理由及未来状态预测）。
这种显式文本推理虽然显著提升了多步决策成功率，却在移动端真实交互场景中带来了不可忽视的落地代价。长文本推理不仅急剧膨胀了上下文窗口、增加了模型首字到尾字的解码时延，而且在强交互的动态环境中，密集的中间 token 输出严重延缓了系统对用户与系统反馈的响应速度。更关键的是，单纯依赖离散词表监督下的动作交叉熵损失，仅能约束与当前动作相关的特征维度，难以有效引导智能体对环境动态迁移建立全局且前瞻性的因果建模。
本文的切入角度是：移动端智能体真正需要的是前瞻性的物理环境认知能力，而这种“预先思考”完全可以内化在模型的高维隐藏状态中，无需以离散文字形式外化吐出。核心 idea：将多步 GUI 推理过程压缩为连续潜空间槽位，利用严格因果下三角特性的 Jacobi 并行细化机制（APLR）近似串行展开，并引入轻量级 Q-Former 世界模型将潜变量与下一帧截图的视觉表征直接对齐，让隐藏状态同时兼备动作判别力与环境演化预测力。
方法详解¶
整体框架¶
MIRAGE 采用两阶段渐进式训练方案，将显式文字推理能力无损蒸馏迁移至连续隐藏空间中。在第一阶段（显式热身），智能体通过全量文本监督学习结构化的推理模式与动作格式化；在第二阶段（潜变量细化与世界模型训练），模型将原本包含观察、理由与预测的三段式文本块替换为一组可学习的连续潜变量槽位（Latent Slots），通过并行更新近似串行思维展开，并在训练期引入辅助的 Q-Former 模块将潜变量表征对齐至下一帧真实界面的冻结视觉特征。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["当前输入<br/>截图 xt + 指令 u + 历史 ht"] --> S1["阶段1：结构化显式思维热身<br/>全监督学习观察/理由/预测文本与动作"]
S1 --> S2["阶段2：连续潜变量槽位插入<br/>以可学习向量 elat 初始化 N 个连续潜变量槽位"]
S2 --> APLR["关键设计1：APLR 并行 Jacobi 细化<br/>K 轮同步前向近似串行三角展开，前 K 槽位精准等价"]
APLR --> Actions["动作解码输出<br/>仅生成紧凑动作 token（点击/滑动/输入）"]
APLR --> WM["关键设计2：Q-Former 视觉世界模型对齐<br/>查询 cross-attend 潜状态，对齐冻结视觉特征 vt+1"]
WM -.->|测试期丢弃世界模型头| Actions在推理部署阶段，模型无需解码任何中间思维文本，仅需将输入的潜变量槽位经过数轮前向计算后，直接以贪婪解码方式生成动作序列，辅助的世界模型对齐头则完全丢弃，从而以极精简的计算开销实现端到端的高效决策。
关键设计¶
1. 结构化思维格式与潜变量槽位注入：打破离散文本依赖的高密度表征设计
传统显式移动端智能体通常生成冗长非结构化的自由文本，导致关键信息分布松散且难以精确对齐。本文首先构建了包含三重明确维度的结构化文本格式 <THOUGHT> [observation] [rationale] [predict] <ACTION_DESC> ... <ACTION> ...，其中 observation 总结当前屏幕组件与视觉要素，rationale 阐述操作该步骤的原因，predict 则提前构想界面在动作触发后的潜在变动。在显式热身完成后，MIRAGE 直接将整个 <THOUGHT> 区间抹去，并在对应上下文序列位置替换为 \(N\) 个连续的潜变量槽位 \(\mathbf{z}_t = (z_{t,1}, \dots, z_{t,N}) \in \mathbb{R}^{N \times d}\)，所有槽位共享同一个可学习的初始化嵌入向量 \(e_{\mathrm{lat}}\)。该设计彻底摆脱了语言词表的离散约束，使模型能在高维欧氏空间中连续表征混合多维推理信息，同时避免了离散 token 占满上下文窗口。
2. 近似并行潜变量细化（APLR）：破解串行思维链高昂训练成本的理论与机制突破
原本连续潜变量推理（如 Coconut）由于因果自注意力的时序依赖，计算 \(z_i\) 时必须等待 \(z_{<i}\) 逐个前向计算落盘，导致包含 \(N\) 个潜变量槽位时需执行 \(N\) 次串行解码前向传递，训练成本极高。MIRAGE 洞察到因果注意力系统在代数结构上属于严格严格下三角非线性系统（\(z_i = G_i(z_1, \dots, z_{i-1}; c)\)），因此提出了基于 Jacobi 迭代风格的近似并行潜变量细化（APLR）。所有潜变量槽位在每一轮迭代中同步更新：
论文在数学上严格证明了局部收敛性质：经过 \(K\) 轮并行更新后，前 \(K\) 个槽位精确等价于完整的串行前向替换解（即当 \(i \le K\) 时，\(z_i^{(K)} = s_i\)），而剩余的尾部槽位误差 \(\delta^{(K)} \approx A^K \delta^{(0)}\) 则被严格下三角雅可比矩阵 \(A\) 紧紧约束。在工程实现中，默认取 \(K=3\) 轮并行前向即可逼近全量串行推理能力，极大降低了显存开销与训练时长，成功化解了推理深度与计算吞吐之间的核心矛盾。
3. Q-Former 视觉世界模型对齐：以动态界面演化正则消除潜变量表征退化
当细化轮数 \(K \ll N\) 时，尾部槽位（在结构化思考中对应后期的 predict 屏幕预测维度）难以仅从下游动作的离散交叉熵损失中获得足够的监督信号，容易发生表征退化或漂移。为此，MIRAGE 引入了轻量级 Q-Former 结构作为生成式世界模型。在训练时，将智能体执行动作后观察到的真实后续截图 \(x_{t+1}\) 送入冻结的视觉编码器 \(f_{\mathrm{vis}}\)，提取经过空间合并的图像 patch 表征 \(V_{t+1} = \mathrm{sg}(f_{\mathrm{vis}}(x_{t+1})) \in \mathbb{R}^{M \times H_v}\)（其中 \(\mathrm{sg}\) 表示阻断梯度传播，规避表征坍缩与生成漂移）。Q-Former 采用一组具备行列空间可分离先验的网格可学习查询向量 \(q_j = e_{r_j}^{\mathrm{row}} + e_{c_j}^{\mathrm{col}}\)，在自注意力与潜变量状态 \(C_t = \mathrm{Gather}(H_t^{(K)}, p_1, \dots, p_N)\) 的交叉注意力交互后，投影预测出对应位置的视觉特征 \(\hat{V}_{t+1}\)。通过最小化有效区域上的余弦距离损失：
该辅助损失为尾部潜变量槽位提供了密集的未来环境演化梯度监督，强制隐藏状态不仅关注当前动作的直接触发点，更学会对操作诱导的环境状态迁移进行空间动力学建模。
损失函数 / 训练策略¶
MIRAGE 的全流程遵循两阶段渐进策略。Stage 1 进行 1 个 epoch 的显式热身，完全采用标准动作与思维序列的自回归交叉熵损失。Stage 2 训练 3 个 epoch，融合动作自回归交叉熵损失 \(\mathcal{L}_{\mathrm{ce}}\) 与世界模型特征对齐损失 \(\mathcal{L}_{\mathrm{wm}}\)：
默认超参数设置平衡权重 \(\lambda = 0.8\)。前序 APLR 启动迭代可采用无梯度计算，最后一轮更新恢复输入嵌入梯度计算。遇到终止状态或缺失后续截图的数据样本时，动态将世界模型项 \(\mathcal{L}_{\mathrm{wm}}\) 掩码过滤。测试推理时直接剔除 Q-Former 结构，实现零额外开销部署。
实验关键数据¶
主实验¶
论文在离线动作定位基准 AndroidControl（包含 Low-Level 与 High-Level 指令任务）及动态真实系统评测基准 AndroidWorld（覆盖 20 款真实 App、116 个复杂动态任务）上进行了全面测试。
| 数据集 / 评测基准 | 指标 | Qwen3-VL 基线 | MIRAGE (本文 4B) | MIRAGE (本文 8B) | 显著优势对比 |
|---|---|---|---|---|---|
| AndroidControl (Low-Level) | Action Acc. (%) | 75.15 (4B) / 82.54 (8B) | 91.09 | 94.62 | 相比同尺寸基线分别提升 +21.21% 与 +14.64% |
| AndroidControl (Low-Level) | EM (%) | 68.48 (4B) / 77.66 (8B) | 77.59 | 83.75 | 精确匹配率显著跃升 |
| AndroidControl (Low-Level) | Tokens / step | 115.67 (4B) / 79.86 (8B) | 18.92 | 18.01 | 生成 token 数量大幅减少 77% ~ 83% |
| AndroidControl (High-Level) | Action Acc. (%) | 69.39 (4B) / 74.66 (8B) | 75.67 | 82.83 | 复杂高层语义理解提升显著 |
| AndroidControl (High-Level) | Tokens / step | 116.00 (4B) / 80.52 (8B) | 20.61 | 19.89 | 稳定在 20 个 token 左右极速响应 |
| AndroidWorld (动态实机交互) | Task SR (%) | 42.9 (4B) / 47.6 (8B) | 52.6 | 57.8 | 成功率分别提升 +10.2 与 +10.7 个百分点 |
| AndroidWorld (动态实机交互) | Avg. Tokens | 103.0 (4B) / 108.0 (8B) | 31.0 | 27.0 | 平均任务消耗 token 量骤降 70% ~ 75% |
消融实验¶
针对潜变量槽位有效性、APLR 并行细化机制及 Q-Former 世界模型的独立贡献，作者在 AndroidWorld 真实动态环境（基于 Qwen3-VL-4B 模型）上进行了系统消融。
| 配置变体 | 潜变量槽位 (Lat.) | APLR 机制 | 世界模型 (WM) | AndroidWorld SR (%) | 结论与机制分析 |
|---|---|---|---|---|---|
| Base model (零调优基线) | \(\times\) | \(\times\) | \(\times\) | 42.9 | 初始指令微调模型能力上限 |
| Action-only SFT (仅动作微调) | \(\times\) | \(\times\) | \(\times\) | 31.0 | 缺乏中间推理直接崩塌，性能暴跌 11.9% |
| Explicit CoT SFT (全量显式思维链) | \(\times\) | \(\times\) | \(\times\) | 52.6 | 依靠高昂解码显式输出获得顶尖成功率 |
| Latent CoT, serial (全串行潜变量) | \(\checkmark\) | \(\times\) | \(\times\) | 50.9 | 纯潜变量串行计算有效逼近显式 CoT |
| APLR only (仅 APLR 并行细化) | \(\checkmark\) | \(\checkmark\) | \(\times\) | 48.2 | 训练速度极快，但尾部槽位由于缺监督掉点 2.7% |
| MIRAGE-4B (完整模型) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | 52.6 | 世界模型补足监督，完美追平显式 CoT 且速度暴增 |
此外，超参数敏感性实验表明：潜变量槽位数容量至关重要（4B 模型从 9 槽缩至 3 槽，SR 从 52.6% 骤降至 32.8%）；APLR 细化轮数从 2 轮增至 3 轮可让 8B 模型成功率从 46.6% 跃升至 57.8%；将 \(\lambda_{\mathrm{ce}}\) 调低至 0.1 则会导致主任务偏离（SR 降为 48.3%），验证了世界模型辅助正则项的最佳定位。
关键发现¶
- 显式 CoT 能力的完全无损迁移：消融数据表明，仅通过优化隐藏层表征，完全去除显式生成的全潜变量架构即可获得与显式 CoT 100% 相当的任务成功率（52.6% vs 52.6%），打破了过去“必须吐出离散思考过程才能获得逻辑推理增益”的固有认知。
- 世界模型对并行误差的精准代偿：对比 APLR-only 与完整 MIRAGE 可以发现，世界模型特征对齐带来了 4.4% 的成功率绝对提升，成功通过未来截图的视觉嵌入弥补了 Jacobi 并行截断带来的高阶代数近似误差。
- 潜变量语义空间的高度可解释性与分异度：UMAP 及 t-SNE 诊断表明，未去均值前，槽位组 1–2、3–4 与 5–6 天然聚类在不同子空间，分别与预设的“观察、理由、预测”高度吻合；中心化消除位置偏置后，点集则严格按点击、滑动、输入、打开应用等动作类型清晰分界。
亮点与洞察¶
- 用特征对齐代替像素生成构建轻量世界模型：传统世界模型往往深陷于像素扩散或离散 VQ 编码的昂贵生成泥潭，MIRAGE 敏锐地利用冻结视觉主干的 patch 特征作为对比锚点，通过轻量 Q-Former 在特征空间完成动力学预测，兼顾了高效性与语义完备性。
- 下三角因果系统 Jacobi 展开的严谨数理证明：通过严格分析 Transformer 掩码自注意力的数学结构，证明了前 \(K\) 个槽位在 \(K\) 次并行迭代下的绝对等价性，为连续潜空间大模型的并行化训练提供了坚实的理论支撑。
- “训练期赋予想象力，推理期免去冗余输出”的工程哲学：通过仅在训练阶段挂载世界模型对齐模块、推理期仅保留潜变量上下文前向计算，实现了极致的交互低延迟，对高频交互的端侧移动智能体极具参考落地价值。
局限与展望¶
- 依赖两阶段有监督热身：当前架构需要利用人工或高质量合成的显式思维数据作为 Stage 1 热身脚手架，尚未能实现纯粹自驱动的潜空间强化学习自演化。
- 特征级世界模型的长程复合误差：目前世界模型仅聚焦于单步后续帧 \(x_{t+1}\) 的静态 patch 特征对齐，缺乏对多步长远交互后累积误差与复杂界面转场的动态闭环模拟。
- 移动端极端动态渲染的鲁棒性约束：对于包含复杂流体动画、弹窗渐变及音视频播放等高度非确定性界面转移，固定网格的视觉预测可能面临一定程度的表征噪声干扰。
相关工作与启发¶
- vs UI-TARS / ShowUI / OS-ATLAS: 现有移动与 GUI 智能体主要聚焦于增强坐标视觉定位或堆叠显式 ReAct 思考上下文，MIRAGE 转向隐藏空间计算，兼顾了定位精度与前所未有的推理效率。
- vs Coconut: Coconut 采用串行逐步替换方式训练隐式思考，计算开销随思考步数线性激增；MIRAGE 提出 APLR 并行细化机制与世界模型几何正则，以有界误差和更低的训练开销实现了更稳定的多步规划。
- vs VIMO / MobileDreamer: VIMO 等系统尝试生成真实的未来界面像素或草图，耗费巨大算力；MIRAGE 采用纯潜在特征对齐（JEPA 思想），在完全不生成像素的前提下达成了环境因果理解的目标。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将并行潜变量推理（APLR）与连续视觉特征世界模型相结合引入移动智能体，思路十分巧妙。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖离线与实机交互两大 benchmark，详实的消融、数理证明与潜变量表征流形分析相互印证。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、数学推导清晰且对移动端系统落地痛点把握极其敏锐。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了移动端交互式智能体推理迟缓的痛点，为边缘端轻量高效代理指明了重要方向。