PAGER: Bridging the Semantic-Execution Gap in Point-Precise Geometric GUI Control¶

会议: NeurIPS 2026
arXiv: 2605.15963
OpenReview: https://openreview.net/forum?id=rSLZrMaNTp
领域: 其他
关键词: GUI智能体, 几何推理, 强化学习, 视觉语言模型, 连续空间控制

一句话总结¶

针对传统 GUI 智能体在连续画布上因点级精度匮乏和依赖链误差累积导致的“语义-执行鸿沟”，本文提出结合依赖结构化规划与像素锚定执行的几何 GUI 框架 PAGER，通过监督微调与精度对齐强化学习，在全新基准 PAGE Bench 上将任务完成率相对最强通用模型提升 4.1 倍。

研究背景与动机¶

近年来，基于大视觉语言模型（VLM）的图形用户界面（GUI）智能体在网页浏览、移动端操作和桌面自动化等场景中取得了长足进展。然而，现有 GUI 智能体的成功在很大程度上依赖于“区域容忍（region-tolerant）”的交互范式：在网页按钮、超链接、输入框或菜单项内部，目标组件占据一段面积区域，其边界内的任意点击坐标都会触发相同的状态转移。这种容错机制遮蔽了连续视觉空间中对精确控制的基本需求，导致智能体一旦离开离散组件选择、进入需要连续坐标控制的场景便陷入崩溃。

当交互环境转变为几何绘图等严苛场景时，交互的成功条件从“区域隶属”急剧转变为欧式距离在微小像素公差（如 5 像素）以内的“点级精确（point-precise）”。更为严峻的是，几何基元之间具有天然的本体与拓扑依赖关系：点生成线段、圆和多边形，线条相交确定新的交点，切线和角平分线依赖前序基元。在连续画布上，早期步骤产生的微小坐标偏差会沿着依赖雅可比矩阵级联放大，导致下游图元发生严重畸变，最终使整个几何构形完全失效。这催生了鲜明的“语义-执行鸿沟”——最前沿的通用闭源多模态模型虽然能以超过 88% 的准确率选对操作工具（如点、线、圆），但最终几何任务的完成率却普遍低于 6%。

面对这一瓶颈，现有的几何推理方法局限于符号推导与静态图像分析，缺乏物理界面的连续操作能力；而现有的 GUI 专用智能体则过度拟合粗粒度边界框，无法应对级联依赖带来的累积扰动。本文的切入点在于将几何绘图解耦为高层依赖图规划与底层连续空间执行，并借助几何验证机制对强化学习轨迹施加精细的过程反馈。核心 idea：将几何 GUI 操作解耦为拓扑依赖规划与像素级动作执行两阶段，先通过像素投影的监督微调确立可执行动作语法，再利用几何检验器引导的精度对齐强化学习直接优化坐标误差与级联拓扑有效性，从根本上闭合语义理解与连续执行之间的精度鸿沟。

方法详解¶

整体框架¶

PAGER 将连续几何画布上的绘图过程建模为规划与执行相解耦的两阶段交互系统。系统输入为包含几何问题陈述与目标图元要求的多模态上下文 \(Q\)；规划模块首先基于几何本体诱导出有向无环依赖图，并将其拓扑排序为一组逻辑子任务序列；执行模块随后以当前画布状态为条件，将每个子任务逐步下发为具体的低级 GUI 操作序列（包含点击、绘制与键入）。在训练阶段，模型首先接受像素级过程监督的微调，随后引入几何验证器驱动的强化学习，通过状态条件化的参数精度反馈来克服自回归交互中的曝光偏差。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Q["问题上下文 Q<br/>题目文本与目标几何图像"] --> Plan["依赖结构化规划<br/>诱导构造图并生成拓扑子任务序列"]
    Plan --> Exec["像素锚定执行<br/>状态条件化策略生成 click/paint/type 动作"]
    Exec --> Env["GeoGebra 仿真环境<br/>画布状态转移与几何约束渲染"]
    Env --> Rollout["交互轨迹 Rollout<br/>连续坐标扰动与误差传播"]
    Rollout --> RL["精度对齐强化学习<br/>几何检验器引导的过程与终端奖励优化"]
    RL --> Policy["高精度几何 GUI 策略 π_θ"]

关键设计¶

1. 依赖结构化规划：解耦几何本体拓扑与执行次序 针对几何图元因前后依赖强导致动作次序稍有错乱即全盘崩溃的问题，PAGER 显式构建几何构造图 \(\mathcal{G}_Q = (\mathcal{V}_Q, \mathcal{R}_Q)\)。其中顶点集 \(\mathcal{V}_Q\) 包含所有待构建的几何基元（如顶点、边、辅助线）与空间关系，有向边集 \(\mathcal{R}_Q\) 刻画严格的构造前置依赖（例如必须先确定两点方能构造连线，必须先确立两相交线方能确定交点）。规划器通过对依赖关系的有向传递闭包 \(\mathcal{R}_Q^+\) 进行拓扑排序，生成满足 \((u, v) \in \mathcal{R}_Q^+ \Rightarrow \operatorname{rank}_{\mathcal{T}}(u) < \operatorname{rank}_{\mathcal{T}}(v)\) 的有序子任务链 \(\mathcal{T} = (T_1, \ldots, T_N)\)。这种解耦避免了底层执行器在长交互程中迷失全局目标，确保每一步动作所依赖的几何锚点在当前画布状态上均已存在且有效。

2. 像素锚定执行：建立连续画布到离散界面的动作映射 底层执行器需要将抽象几何子任务转化为界面操作。针对屏幕像素与连续几何坐标系的尺度失配问题，PAGER 引入正规化的窗口坐标变换 \(\Pi_\Omega(x,y)\)，将几何视窗 \(\Omega = [x_{\min}, x_{\max}] \times [y_{\min}, y_{\max}]\) 中的解析坐标线性投影为画布像素网格：

\[\mathbf{p} = \operatorname{diag}(W_c, H_c) \left(\frac{x - x_{\min}}{x_{\max} - x_{\min}}, \frac{y_{\max} - y}{y_{\max} - y_{\min}}\right)\]

执行策略 \(\pi_\theta\) 以当前画布截图 \(C_{i,j-1}\)、高层子任务 \(T_i\) 及历史操作 \(\mathcal{H}_{i,j-1}\) 为条件，生成由操作类型 \(\kappa \in \{\text{click}, \text{paint}, \text{type}\}\)、对象标签 \(o\) 和具体数值参数 \(\xi\) 构成的细粒度动作元组。通过显式绑定点、线段、圆弧与标签锚点的像素目标，执行器在监督微调阶段习得了规范的几何工具箱调用语法与连续坐标指代能力。

3. 精度对齐强化学习：抵御轨迹级误差累积与曝光偏差 教师强制的监督微调依赖真实中间截图，在推理阶段智能体会不可避免地面临自身微小误差漂移引发的曝光偏差，从而激活误差传播雅可比关系 \(\Delta C_{\ell+1} \approx \mathbf{J}_\ell \Delta C_\ell + \mathbf{B}_\ell \Delta \xi_\ell\)。为此，PAGER 构建了离线几何检验器支持的强化学习框架。在训练时，几何检验器结合参考构图 \(G^*\) 在当前状态下动态生成容许动作集 \(\mathcal{A}_\ell\)。每一步采样的动作通过指数衰减核衡量参数误差与类型匹配：

\[r_\ell = \max_{\tilde{a} \in \mathcal{A}_\ell} \mathbb{I}[\hat{\kappa}_\ell = \tilde{\kappa}] \left(\lambda_a + \lambda_p \exp\left[-\frac{\delta(\hat{a}_\ell, \tilde{a})}{\sigma_p}\right]\right)\]

其中 \(\delta(\hat{a}_\ell, \tilde{a})\) 综合惩罚文本键入差异、点击框越界以及连续绘制像素偏差（在 \(1280 \times 720\) 画布上以 5 像素为阈值）。整条交互轨迹进一步融入终局渲染构图的几何距离惩罚 \(R(\hat{\tau}) = \frac{1}{\hat{L}} \sum_{\ell=1}^{\hat{L}} r_\ell + \lambda_g \exp[-d_{\mathrm{geo}}(\hat{G}, G^*)/\sigma_g]\)。通过施加针对 SFT 策略的 KL 散度锚定，强化学习使策略在保持可执行语法的同时，大幅强化对坐标微调的鲁棒性。

损失函数 / 训练策略¶

PAGER 的训练分为两个阶段。第一阶段为像素锚定监督微调（SFT），在构建的包含 22.4 万步的几何交互轨迹集 \(\mathcal{D}_{\mathrm{SFT}}\) 上优化动作元组自回归负对数似然：

\[\mathcal{L}_{\mathrm{SFT}} = -\sum_{(Q, \mathcal{T}^*, \tau^*) \in \mathcal{D}_{\mathrm{SFT}}} \sum_{i=1}^{N^*} \sum_{j=1}^{m_i^*} \log \pi_\theta(a_{i,j}^* \mid Q, T_i^*, C_{i,j-1}^*, \mathcal{H}_{i,j-1}^*)\]

采用 Qwen3-VL-8B 作为底座，全参数更新视觉编码器、多模态投影层和语言主干，学习率设为 \(5 \times 10^{-6}\)。第二阶段为精度对齐强化学习（RL），在拒绝采样策略下每个 Prompt 采集 8 条 Rollout 轨迹，筛选出结果方差较大的样本以集中优化高不确定性分布：

\[\max_\theta \mathbb{E}_{Q \sim \mathcal{D}_{\mathrm{RL}}, \tau \sim \pi_\theta}[R(\hat{\tau}) - \beta D_{\mathrm{KL}}(\pi_\theta(\cdot \mid Q, \mathcal{T}) \parallel \pi_{\mathrm{SFT}}(\cdot \mid Q, \mathcal{T}))]\]

实验关键数据¶

主实验¶

评估在包含 4,906 道几何构造问题的全新基准 PAGE Bench 上展开。评估指标涵盖过程维度（Action 准确率、Param 准确率、Step 成功率、Task 成功率、Middle 过程分）与最终渲染维度（O-Comp 客观完成度、S-Comp 结构完成度、S-Vis 视觉相似度、S-Geo 几何逻辑分、Final 终局分）以及加权平衡的 Overall 总分。

模型类别	模型名称	Action(%)	Param(%)	Step(%)	Task(%)	Middle	Final	Overall
开源VLM	Qwen3-VL-8B	52.03	9.48	9.38	0.25	8.18	3.42	5.80
开源VLM	DeepSeek-VL2	26.33	1.75	1.53	0.00	3.11	11.23	7.17
开源VLM	GLM-4.5V	78.91	12.17	11.76	0.00	11.46	7.27	9.37
闭源VLM	Claude-Sonnet-4.6	95.85	36.44	36.38	1.11	21.17	8.65	14.91
闭源VLM	GPT-5.4	88.04	31.71	31.41	0.56	18.59	9.96	14.28
闭源VLM	Qwen3.6-Plus	90.95	51.60	51.07	4.90	27.41	11.72	19.56
闭源VLM	Gemini-3.1-Pro	89.18	66.68	66.66	5.82	32.41	16.31	24.36
GUI专用	UI-TARS	47.08	8.79	8.38	0.00	7.26	5.49	6.38
GUI专用	OS-ATLAS	51.24	9.19	8.80	0.29	7.98	8.50	8.24
GUI专用	InfiGUI-R1-3B	44.81	16.51	16.18	0.00	9.37	11.96	10.66
本文方法	PAGER (Ours)	82.62	62.76	62.20	23.78	41.25	17.79	29.52

消融实验¶

消融实验对比了监督微调基线以及分别剔除参数精度奖励和动作类型奖励的影响，验证了各训练阶段的核心价值：

配置	Action(%)	Param(%)	Step(%)	Task(%)	Middle	Final	Overall	说明
PAGER-SFT	75.14	48.47	47.91	4.48	24.63	16.32	20.47	纯监督微调基线，提供可执行语法先验
PAGER w/o \(\text{RL}_{\text{param}}\)	74.72	52.88	52.40	5.62	26.61	13.53	20.07	移除连续参数精度奖励，终局分严重下滑
PAGER w/o \(\text{RL}_{\text{action}}\)	78.77	59.14	58.70	15.90	35.07	13.97	24.52	移除动作类型匹配奖励，任务稳定性受损
PAGER (Full)	82.62	62.76	62.20	23.78	41.25	17.79	29.52	双重奖励协同，兼顾动作序列与连续精度

关键发现¶

语义-执行鸿沟的确凿证据：主流闭源大模型表现出强烈的动作语义理解与微观控制力脱节。Claude-Sonnet-4.6 拥有高达 95.85% 的 Action 准确率，但 Task 成功率仅有 1.11%；GPT-5.4 的 Action 准确率为 88.04%，Task 成功率仅 0.56%。这些模型能够识别出需要“画一条平行线”，却无法精确指定锚点坐标，导致级联失败。
单步精度不等于整轨成功：Gemini-3.1-Pro 在单步指标上表现优异（Param 66.68%, Step 66.66%），但在最终整任务成功率上仅为 5.82%，而 PAGER 达到了 23.78%（提升 4.1 倍）。这表明 PAGER 的拓扑依赖规划与强化学习训练显著提升了长程轨迹的抗扰动能力与结构稳定性。
参数精度奖励是跨越鸿沟的核心推动力：消融表明，移除参数精度奖励使得 Overall 分数甚至低于纯 SFT 阶段（从 20.47 跌至 20.07），Final 分数从 16.32 跌至 13.53；而单纯移除动作类型奖励仍能维持 24.52 分。这证实了在连续几何控制中，坐标精度的微观优化是解决拓扑崩溃的决定性因素。

亮点与洞察¶

将几何依赖理论形式化引入 GUI 控制：论文将多步几何交互中的扰动传播建模为一阶依赖雅可比系统，从数学上严谨解释了为何传统区域容忍型 GUI 智能体在面对严密拓扑任务时会出现断崖式失败。
几何检验器闭环监督与自适应奖励设计：在训练阶段借助离线符号几何检验器动态生成容许动作空间，既为 RL 提供了密集的过程级连续坐标误差惩罚，又避免了在实际推理时依赖额外特权信息。
评估体系与人工审定高度一致：提出的综合评价协议在自动计算分与人类专家主观评分之间取得了高达 \(r = 0.9397\) 的皮尔逊相关系数，证明基准和指标切实反映了几何有效性而非表面相似度。

局限与展望¶

作者承认的局限：目前验证环境主要集中在 GeoGebra 平面几何交互场景中，所定义的动作空间、工具箱接口与拓扑规则尚未直接外推至工业级 CAD 软件、3D 建模工具或交互式数据可视化平台。
潜在不足与拓展瓶颈：尽管相比基线取得了数倍提升，PAGER 的 Task 成功率目前为 23.78%，在面对高年级复合几何题（涉及多道隐式辅助线构造与非平凡参数解算）时，长程推理依然容易出现累积漂移。
未来改进思路：可引入测试时反思与自愈机制（Test-Time Search & Self-Correction），在每步动作渲染后对比几何约束违反度并支持主动撤销重绘，进一步压低级联错误率。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并形式化 GUI 智能体中的“语义-执行鸿沟”，开拓连续高精度几何控制新范式。
实验充分度: ⭐⭐⭐⭐⭐ 构建包含 4906 道题的 PAGE Bench，涵盖 14 种强基线对比、详尽消融及人类一致性验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构缜密，从数学建模、系统架构到实验分析层层递进，表达清晰优美。
价值: ⭐⭐⭐⭐⭐ 对拓展计算机操作智能体（Computer-Use Agents）至高精度工程设计与严肃科学建模具有重要里程碑意义。