WebNavigator: Global Web Navigation via Interaction Graph Retrieval¶

会议: NeurIPS 2026
arXiv: 2603.20366
OpenReview: https://openreview.net/forum?id=A958ZPHMku
领域: LLM Agent
关键词: Web Agent, 网络导航, 交互图, 拓扑盲目性, 检索增强导航

一句话总结¶

针对自主网络智能体在复杂网页中缺乏全局环境拓扑而盲目试错的瓶颈，WebNavigator 提出离线以零 Token 启发式构建动态交互图，并在线执行“检索-推理-瞬移”（Retrieve-Reason-Teleport）工作流，将概率试错转化为确定性图检索与寻路，在 WebArena 跨站点任务上取得 72.9% 的突破性成功率。

研究背景与动机¶

大语言模型驱动的自主智能体在自动化代码生成与形式化数学定理证明中已展现出超越人类的实力，但在真实网页交互任务中，尤其面对复杂的跨站点场景时，其任务完成表现依然远落后于人类专家。目前主流的网页导航方法主要遵循两类范式：第一类是在线试错搜索范式（如 ReAct、树搜索 MCTS、Branch-and-Browse 以及 WebPilot），这类方法依赖单步局部观察与交互历史进行局部扩展，使得规划视野受限于局部子树；第二类是内部世界模型范式（如 WebDreamer、WMA、SteP 以及 AgentOccam），试图通过模型参数或状态转移预测器内化环境转移规律，却极易产生幻觉，无中生有地编造不存在的页面状态和交互元素。

以往学界常将这些失败归咎于模型的多步复杂推理能力不足。然而本文指出，两类范式面临着更为本质却被系统性忽视的结构性症结——“拓扑盲目性”（Topological Blindness）。智能体在决策时仅能接触局部观察、历史轨迹和内部先验，对网站全局的拓扑可达结构毫无感知，被迫在未知的网页状态空间中进行低效的启发式试错。相比之下，人类专家在操作企业管理系统或电商平台时，之所以能够游刃有余地直达目标页面，是因为他们在预先探索后建立了清晰的环境拓扑心智地图，将导航过程转化为了确定性的记忆检索与路径规划。

基于这一洞见，本文认为在具有结构化特征的网页环境中，跨页面导航不应被视作单步概率生成与试错决策难题，而应被重新表述为确定性的知识检索与图寻路问题。核心 idea：离线利用零 Token 启发式引擎自适应探索网站并构建动态交互图，在线通过多模态检索、视觉推理验证与最短路径执行构成“检索-推理-瞬移”（Retrieve-Reason-Teleport）工作流，将全局导航浓缩为极简的单一动作。

方法详解¶

整体框架¶

WebNavigator 将网页交互任务解耦为“全局探索定位”（跨页面寻找任务相关功能页）与“局部精准执行”（在功能页内填表、点击等操作）两个阶段，并针对全局探索阶段提出两阶段检索导航范式。在离线阶段，启发式自动探索引擎仅需目标网站首页 URL，便在零 LLM Token 成本下遍历动态交互元素，构建有向交互图并建立多模态向量索引；在线阶段，全局导航器接收用户的自然语言意图，执行“检索-推理-瞬移”三步闭环，计算最短交互路径并直达目标状态，最终仅暴露 6 个极简动作给决策模型。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["起始网页 URL"] --> B["启发式自适应探索与交互图构建<br/>DOM 差分 + XPath 结构哈希 + 交替导航"]
    B --> C["多模态图索引构建<br/>页面截图视觉嵌入 + 向量库持久化"]
    C --> D["用户导航意图"]
    D --> E["细粒度迟交互多模态检索<br/>Token 级 Late-Interaction 召回候选集"]
    E --> F["多模态目标验证与零开销瞬移<br/>视觉推理筛选最佳节点 + 最短路径执行"]
    F --> G["目标功能页面 (供局部动作执行)"]

关键设计¶

1. 启发式自适应探索与交互图构建：零 Token 开销捕获动态可达状态 传统网络爬虫仅解析静态超链接，无法触及点击、悬停、下拉菜单等用户交互触发的动态页面状态；若采用 LLM 驱动探索，又会受到上下文窗口和高昂 Token 成本的制约。为此，WebNavigator 提出了基于广度优先搜索（BFS）的启发式自适应探索引擎。为避免重复访问子页面中继承自父页面的大量交互元素，算法在探索步骤中对父子节点的 DOM 树进行结构差分 \(\Delta H_v = H_v \setminus H_{v_{\text{parent}}}\)，仅对新增交互元素生成点击动作。各节点采用全路径 XPath 的 MD5 哈希构建指纹 \(H_v\)，并与 URL 联合生成稳定全局节点标识 \(\text{id}_v = \text{MD5}(H_v \parallel \text{url}_v)\)，彻底摆脱动态浏览器会话中元素 ID（BID）易漂移的缺陷。针对下拉菜单等无独立 URL 的动态状态，引擎采用“交替导航”（Interleaved Navigation）机制：在扩展未探索节点前，先在已建图上执行最短路径重现前序动作序列，再捕获状态快照，实现了纯 CPU 计算、零 Token 消耗的高效交互图构建。

2. 细粒度迟交互多模态检索：从光学压缩截图中精准定位候选页 直接将庞大交互图完整送入 LLM 上下文不仅受限于窗口长度，而且长文本 DOM 树充满冗余代码噪声。WebNavigator 利用视觉语言模型的光学压缩特性，直接使用页面全屏截图作为压缩后的多模态观测。在线检索时，导航器将用户意图转化为查询文本 \(q\)，并通过多向量多模态嵌入模型将其编码为 \(\mathbf{q} \in \mathbb{R}^{n \times d}\)。在向量库中，查询向量与预索引的截图多向量嵌入 \(\{\mathbf{v}_j\}_{j=1}^{|\mathcal{V}|}\) 进行迟交互（Late-Interaction）相似度计算：

\[s_{\text{late}}(\mathbf{q},\mathbf{v}_{j})=\frac{1}{n}\sum_{i=1}^{n}\max_{\ell\in\{1,\dots,m_{j}\}}\mathbf{q}_{i}\cdot\mathbf{v}_{j,\ell}^{\top}\]

相比于将整个页面压缩为单一密集向量的全局表示，迟交互打分保留了查询 Token 与图像区域 Token 之间的细粒度空间语义对齐，使检索器能敏锐捕捉截图中细小的关键按钮、表单或导航标题，快速精准地筛选出前 \(k\) 个候选节点集合 \(\mathcal{C}\)。

3. 多模态目标验证与零开销瞬移：将轨迹生成转化为验证并极简动作空间 基于语义相似度的候选集可能包含视觉相似但功能不符的干扰页面。WebNavigator 引入多模态 LLM 作为零样本推理验证器（Selector），联合分析用户意图与候选页面截图，在候选集合中选出最优目标 \(\hat{v} = \arg\max_{v \in \mathcal{C} \cup \{\emptyset\}} P_\theta(v \mid i, \mathcal{O}_{\mathcal{C}})\)。这种设计将极其困难的开放式动作生成问题降阶为封闭集合上的视觉选择验证，充分利用了“验证难度远低于生成”的不对称优势。一旦确定目标节点，底层通过 Dijkstra/BFS 算法在图 \(\mathcal{G}\) 上计算最短路径 \(\tau = \operatorname{ShortestPath}(v_{\text{current}}, \hat{v}, \mathcal{G})\)，并通过精确 XPath 自动回放动作序列瞬间直达目标页面，全程不消耗任何 LLM 生成步骤。若 Selector 判定无合适候选（\(\hat{v}=\emptyset\)），则平滑降级至局部单步试错执行。整个流程被高度抽象为单个高阶动作 navigate(domain, query)，与底层的 5 个局部交互原语（click, type, go_back, note, stop）组合，形成了全领域仅 6 个动作的紧凑动作空间，大幅降低了模型的决策熵。

一个完整示例：WebArena 760 跨站点任务¶

以 WebArena 760 任务为例：“查询顾客 Amanda Kim 的住址，并在地图上显示从宾夕法尼亚州阿伦敦（Allentown, PA）到其住址的行车路线”。 1. 意图分解与第一轮检索导航：智能体首先生成高阶动作 navigate("CMS", "page to view customer Amanda Kim information")。CMS 站点的交互图检索器召回相关候选，视觉 Selector 命中顾客详情页面，底层算法自动执行 3 步点击最短路径瞬移到客户档案，智能体用 note 记录其城市。 2. 跨域切换与第二轮检索导航：智能体随后调用 navigate("Map", "directions routing search page")。交互图自动切换至地图站点，直接瞬移至导航路线规划输入页。 3. 局部执行：在目标功能页面内，智能体调用 type 和 click 依次填入起止地点并触发查询，最终调用 stop 完成任务。对比传统 ReAct 基线因缺乏跨站点拓扑信息而在 CMS 首页死循环后提前退出，WebNavigator 仅用少数几步确定性导航即成功解题。

实验关键数据¶

主实验¶

在通用基准 WebArena（812 个任务，涵盖 5 大站点）以及包含 136 个真实活跃网站的 Online-Mind2Web（300 个任务）上进行了全面评测，主结果如下表所示：

方法	主干模型	动作数	WebArena 总胜率 (%)	WebArena 跨站点 (Multi-site, %)	Shopping (%)	CMS (%)	Reddit (%)	GitLab (%)	Map (%)	Online-Mind2Web 总胜率 (%)
WebArena*	GPT-4o	12	21.1	8.3	24.6	20.3	22.6	22.2	18.4	—
Tree Search	GPT-4o	12	19.2	—	28.1	16.5	10.5	13.3	25.8	16.6*
Branch-and-Browse	GPT-4o	12	35.8	18.8	34.6	26.4	50.9	36.7	46.8	30.3*
WebPilot	GPT-4o	—	37.2	—	36.9	24.7	65.1	39.4	33.9	—
Plan-and-Act	Llama-70B†	8	45.7	—	—	—	—	—	—	—
AgentOccam*	GPT-4o	8	42.9	25.0	33.7	46.7	60.4	44.4	40.4	19.6*
CUGA (企业级系统)	企业专有	—	61.7	35.4	58.3	62.6	75.5	61.7	64.2	—
WebNavigator (本文)	Qwen3-VL-32B	6	47.8	43.8	44.9	45.1	75.5	50.6	44.0	39.7
WebNavigator (本文)	GPT-4o	6	49.9	50.0	44.4	48.6	73.6	42.2	51.4	41.3
WebNavigator (本文)	Claude-Sonnet-4	6	57.1	50.0	51.9	58.2	85.9	50.0	51.4	38.7
WebNavigator (本文)	Gemini-2.5-Pro	6	63.3	72.9	51.9	66.5	85.9	62.2	53.2	52.7

消融实验¶

针对推理验证器（Selector）在任务级和查询级的效果消融，以及环境知识完备度与检索方式分析如下：

评估维度	实验配置	核心指标 (Top-1 准确率 / 成功率)	对比指标 (Recall@30 / 增益)	说明
任务级 Selector 增益	GPT-4o (直选 Top-1 vs +Selector)	37.5% → 50.0%	+12.5%	跨站点多域名任务成功率提升
任务级 Selector 增益	Claude-Sonnet-4 (直选 Top-1 vs +Selector)	41.7% → 50.0%	+8.3%	强模型下仍带来显著正向增益
任务级 Selector 增益	Gemini-2.5-Pro (直选 Top-1 vs +Selector)	54.2% → 72.9%	+18.7%	准确排除相似但非目标的功能页
查询级检索与验证	Claude-Sonnet-4 流程拆解	Top-1: 51.02%	Recall@30: 95.92% (Selector: 96.72%)	粗排召回充分，Selector 修正大量候选
知识完备度 (探索深度)	Reddit 域探索深度 Depth 1 → 4	63.2% → 75.5%	深度 2 跃升至 70.8% (+7.6%)	浅层覆盖主入口即可解决大部分任务
检索粒度消融	Late-Interaction vs Dense 向量	73.6% vs 66.0%	+7.6% (Jina-v4 对比)	迟交互保留网页局部按钮空间语义

关键发现¶

跨站点场景下性能翻倍：在拓扑盲目性最为严重的 WebArena 跨站点任务上，WebNavigator (GPT-4o) 达成 50.0% 胜率，相比同模型 AgentOccam (25.0%) 翻倍；搭载 Gemini-2.5-Pro 时更突破至 72.9%，比企业级智能体 CUGA (35.4%) 高出一倍以上。
迟交互多模态检索优势明显：传统单向量稠密嵌入压扁了全屏图像的细小控件语义，成功率仅 66-67%；采用 Token 级迟交互检索后成功率升至 73.6%，验证了精细多模态匹配在复杂 GUI 定位中的必要性。
轻量验证器足具竞争力：使用 8B 参数量的开源小模型 Qwen3-VL-8B 作为 Selector 时，任务成功率达到 75.5%，与 GPT-4o 和 Gemini-2.5-Flash 持平。这表明将“路径生成”降阶为“候选验证”后，对模型推理规模的需求大幅降低。
失败归因多在局部执行而非导航：错误分析表明，检索失败仅占总失败的 12.4%（跨站点任务中更是 0 检索失败），剩余 67.8% 的失败集中于进入正确页面后 LLM 局部动作填表、格式错误或步数耗尽等执行层瓶颈。

亮点与洞察¶

将概率试错降阶为确定性寻路：巧妙地将网络导航分解为离线环境拓扑构建与在线检索寻路，摆脱了让大模型在完全未知空间中“蒙着眼走路”的内在困局。
零 Token 成本的差分探索引擎：利用 DOM 树的父子节点集合差分排除冗余探索，并在纯 CPU 上通过动作重放解决无独立 URL 动态状态的发现，兼顾了低成本与高覆盖。
极简动作空间提升规划鲁棒性：将跨域标签切换、页面跳转和路径寻路封装进 navigate(domain, query) 动作，智能体只需决定“去哪”而不用管“怎么去”，仅需 6 个动作即可高效处理各类复杂的长程网络任务。

局限与展望¶

依赖预建图的前提成本：部署到新网站前需要单次离线探索建立交互图（如 GitLab 构建耗时约 5 小时 CPU 时间），难以无缝应对频繁大规模动态改版的网页。
对 Canvas 和无障碍树缺失页面的支持受限：系统强依赖 DOM 树与无障碍树（Accessibility Tree）进行元素哈希与动作定位，对于纯 HTML5 Canvas 渲染的页面或重度混淆的网页无法有效构建拓扑。
探索深度需人工设定：目前各站点的自适应 BFS 深度需根据网站复杂度预先人工指定，未来有待探索根据拓扑发现收益自动终止的动态深度调整策略。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从拓扑盲目性视角重构网络导航问题，将概率探索转为确定性图检索寻路，构思深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 WebArena 5 大领域及 Online-Mind2Web 136 个真实现网，消融实验与失败分析极为完备。
写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰锐利，实验论证环环相扣，结构与图表设计精炼。
价值: ⭐⭐⭐⭐⭐ 为自主网页智能体提供了一种极具工业实用潜力的全新基座架构，大幅压低了长程网络任务的规划难度。