Beyond Domains: Reusing Web Skills via Transferable Interaction Patterns¶

会议: NeurIPS 2026
arXiv: 2606.17645
领域: LLM Agent
关键词: Web Agent, 技能复用, 可迁移交互模式, 布局相似度匹配, 跨域泛化

一句话总结¶

针对现有 Web 智能体技能库仅依赖文本语义导致跨域复用率断崖式下跌的问题，本文提出 SkillMigrator，通过将技能表示为包含结构化草图的可迁移交互模式（TIP），在测试时结合布局树编辑距离与富文本检索，并通过二分图匈牙利匹配将抽象槽位与动态页面元素无缝绑定，在保持 SOTA 任务成功率的前提下将成功轨迹的 LLM 调用步数降低 8–10%。

研究背景与动机¶

基于大语言模型（LLM）的 Web 智能体在处理表单填写、搜索过滤、信息发布等真实网页自动化任务中展现出了巨大潜力。现有系统通常依赖 ReAct 等分步决策范式，在每个交互时间步向 LLM 喂入完整的无障碍快照（Accessibility Snapshot）并生成单个原子级低级操作（如 click、fill、scroll）。这种原子化决策模式导致交互视野极长、推理延迟居高不下，且多轮 API 调用带来了昂贵的计算成本；同时，长程交互极易发生复合执行错误。为此，近期的研究尝试将高频复现的原子动作片段抽象为高阶的可调用宏——即“Web 技能”（Web Skills），如 ASI、SkillWeaver、PolySkill 等，旨在通过单次技能调用替代多次底层操作。

然而，现有技能库的组织与检索机制存在严重的泛化瓶颈。现行方案主要将技能局限在“同网站内部”或“同业务领域内部”（如仅在电商内部不同站点迁移），检索阶段高度依赖自然语言指令相似度、任务意图标签或粗粒度站点元数据。由于真实网页在不同垂直领域（例如 Shopify 电商、GitLab 研发协同、Postmill 在线论坛）之间往往采用完全不同的词表、视觉主题与 DOM 命名规范，纯文本语义表征难以捕捉底层的交互同构性；反之，文本语义相近的任务其页面底层控制流可能大相径庭。这种表层语义与控制流的解耦导致现有系统在面对未见过的全新领域时，技能复用率发生断崖式下跌（在跨领域测试中跌幅超过 50%），智能体不得不频繁退化为耗时的原子动作推理。

不同业务领域的网页虽然表层文案千差万别，但在交互结构上却存在高度一致的通用范式——例如“输入标题、填充正文、点击提交按钮”。核心 idea：将 Web 技能解耦并抽象为可迁移交互模式（Transferable Interaction Pattern, TIP），把归纳期页面无障碍树结构骨架作为检索索引，在测试时通过“文本语义 + 树编辑距离布局相似度”双信号跨域召回技能，再利用二分图匹配完成槽位到实时页面 DOM 控件的免 LLM 鲁棒绑定。

方法详解¶

整体框架¶

SkillMigrator 维持标准无障碍快照与工具调用接口，其运行时执行流划分为三个紧密衔接的阶段： 1. 快照解析与双模态检索：当规划器生成当前子任务后，系统扫描当前网页无障碍树，提取结构摘要与交互节点列表，结合子任务文本及无障碍树骨架与技能库中的 TIP 进行跨域评分。若最优得分低于置信度门槛，则安全降级为普通 LLM 原子动作执行； 2. 两阶段匈牙利匹配绑定（Stage A & Stage B）：若通过门槛，系统首先将子任务输入参数或从指令文本中抽取的候选跨度与技能槽位进行对齐（Stage A），再将已赋值的槽位与当前页面候选控件进行角色与语义匹配（Stage B）； 3. 确定性执行展开与异常回退：匹配完成后，智能体依据操作模板内置的确定性计划执行原子操作序列，若存在未绑定的必要槽位则交由 LLM 兜底补全。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前子任务与页面快照<br/>(si, o~i-1)"] --> B["双模态布局感知检索<br/>文本语义 + 树编辑距离 TED 评分"]
    B --> C{"置信度门槛判定<br/>score(k*, si, o~i-1) ≥ β"}
    C -->|否：未可靠匹配| D["ReAct 兜底模式<br/>单步 LLM 原子动作生成 πθ"]
    C -->|是：激活技能| E["阶段 A：指令参数槽位解析<br/>任务参数/语法跨度 ↔ 槽位 schema 匹配"]
    E --> F["阶段 B：页面控件元素绑定<br/>抽象槽位 ↔ 实时可交互控件 V(o) 匹配"]
    F --> G["确定性计划展开执行<br/>调用底层 primitive 操作序列并动态适配元数"]
    G -->|必要槽位缺失| D

关键设计¶

1. 可迁移交互模式（TIP）：解耦具体引用的结构化技能表征

传统技能库直接记录包含具体元素引用（如 ref=e12）或特定字段名称的操作轨迹，导致任何跨网站标签重命名都会破坏技能回放。SkillMigrator 将每个归纳技能形式化定义为四元组：

\[k = (\iota_k, \sigma_k, \Phi_k, \tau_k)\]

其中 \(\iota_k\) 是自然语言意图描述；\(\sigma_k\) 是离线挖掘聚类的确定性操作模板（如单次搜索框填充后提交、多输入框批量填充后提交）；\(\Phi_k = \{\xi_1, \dots, \xi_m\}\) 是抽象槽位模式（Slot Schema）；\(\tau_k\) 是归纳时页面无障碍树的清洗骨架（仅保留节点角色与通用名称）。每个槽位 \(\xi\) 包含键名、描述语 \(d_\xi\) 以及由多轨迹聚类扩充的同义词集合 \(T_\xi\)（例如 title 关联 {title, headline, subject, name, summary, topic}）。该表征完全抹除了特定网页的瞬态元素编号，将技能转化为跨领域的通用交互骨架。

2. 双模态布局感知检索：联合文本语义与树编辑距离的可靠召回

针对未见域下纯文本表征检索不准的痛点，SkillMigrator 引入双模态打分机制，将子任务的意图需求与网页当前的真实承载结构紧密结合：

\[\mathrm{score}(k, s_i, \tilde{o}_{i-1}) = \alpha \cdot \mathbf{e}(s_i \parallel \rho(\tilde{o}_{i-1}))^\top \mathbf{e}(\delta_k) + (1-\alpha) \cdot \mathcal{L}(k, \tilde{o}_{i-1})\]

式中 \(\mathbf{e}(\cdot)\) 采用冻结的通用句子嵌入模型（all-MiniLM-L6-v2），\(\delta_k\) 是拼接了意图、槽位描述和同义词池的富文本描述符，\(\rho(\tilde{o}_{i-1})\) 为页面主表单及核心按钮的摘要文本。布局信号 \(\mathcal{L}(k, \tilde{o}_{i-1})\) 衡量测试时页面无障碍树骨架 \(\tau(\tilde{o}_{i-1})\) 与技能记忆骨架 \(\tau_k\) 之间的拓扑一致性，利用 APTED 算法高效计算规范化树编辑距离：

\[\mathcal{L}(k, \tilde{o}_{i-1}) = 1 - \frac{\mathrm{TED}(\tau_k, \tau(\tilde{o}_{i-1}))}{\max(|\tau_k|, |\tau(\tilde{o}_{i-1})|)}\]

为防止弱匹配技能对执行轨迹造成不可逆的静默破坏，系统设定置信度门槛 \(\beta\)。只有得分最高的技能满足 \(\mathrm{score}(k^\star, s_i, \tilde{o}_{i-1}) \geq \beta\) 时才触发技能模式，否则平滑退化至基线策略 \(\pi_\theta\) 生成单步原子动作。

3. 两阶段匈牙利匹配绑定：零 LLM 开销的动态变元适配

技能召回后，必须将抽象槽位映射到页面的具体 DOM 控件上，且不能依赖耗时耗 token 的 LLM 二次推理。SkillMigrator 设计了分阶段的二分图匹配算法： - Stage A（参数解析）：若输入带有具象字典 \(D = \{(\eta_j, v_j)\}\)，槽位 \(\xi\) 与输入键 \(\eta_j\) 的亲和力通过语义匹配与显式同义词命中奖励计算：\(\mathbf{e}(d_\xi \parallel T_\xi)^\top \mathbf{e}(\eta_j) + \lambda_{\mathrm{lit}} \cdot \mathbb{1}[\eta_j \in T_\xi]\)，并通过匈牙利算法求解最佳一对一指派；若字典缺失，则通过语法规则抽取上下文候选跨度完成匹配； - Stage B（控件绑定）：将每个已获得取值的槽位 \(\xi\) 与当前页面候选交互控件 \(v \in V(\tilde{o}_{i-1})\) 计算亲和度 \(\mathbf{e}(d_\xi \parallel T_\xi)^\top \mathbf{e}(d(v))\)，限定仅在角色兼容控件（如文本输入框匹配 textbox）之间进行二次匈牙利匹配。未达相似度阈值的槽位标记为未绑定并上报。

该机制天然支持变元交互（Variable-Arity）：同一套表单填充技能，在五字段页面上若只提供三个参数则精准填写对应三项，在两字段页面上则自适应退化为双项填写，无需修改底层技能记录。

一个完整示例¶

以跨领域任务为例：技能库中存有在 Postmill 论坛“创建新帖子”（包含 post_title 和 post_body 两槽位）时诱导的 TIP 技能，测试任务要求在电商后台（Shopify Admin）发布商品评价，指令为：“请在商品页添加评价，概述为'物流极快'，详细反馈为'包装完好，商品质量超出预期'”。 1. 检索阶段：电商后台页面无障碍树呈现一个表单容器，包含两个文本框和一个标有“Submit Review”的主按钮。虽然页面没有任何与论坛发帖相关的词汇，但其无障碍树结构与论坛发帖骨架的 TED 相似度极高，综合打分超过门槛 \(\beta=0.20\)，成功召回发帖 TIP； 2. Stage A 槽位解析：子任务字典提供 summary: "物流极快" 和 review: "包装完好..."。summary 命中 post_title 的同义词池，review 语义对齐 post_body，匈牙利算法确定指派； 3. Stage B 页面绑定：页面控件列表中扫描到 textbox "Summary"（ref=e32）和 textbox "Review"（ref=e35），通过角色与名称对齐成功绑定； 4. 执行：智能体直接发射 fill(e32, "物流极快")、fill(e35, "包装完好...") 及 click(e40)（匹配全局提交词表中的 Submit），全程无需向 LLM 发送单步决策请求，单次子任务节省 3 步原子 LLM 调用。

实验关键数据¶

主实验¶

实验基于主流评测基准 Mind2Web（跨任务、跨网站、跨领域划分）和 WebArena（812 个端到端复杂任务），采用 GPT-4.1 作为基础策略，对比 ReAct 基线、ASI、SkillWeaver 与 PolySkill。主要评估任务成功率（SR, %）及成功轨迹上的平均 LLM 动作数 \(\bar{\mathcal{N}}\)。

表 1：WebArena 跨领域主实验性能对比（SR 单位 %，\(\bar{\mathcal{N}}\) 为成功轨迹上 LLM 调用次数）

方法	Shop (SR / \(\bar{\mathcal{N}}\))	Admin (SR / \(\bar{\mathcal{N}}\))	Reddit (SR / \(\bar{\mathcal{N}}\))	GitLab (SR / \(\bar{\mathcal{N}}\))	Map (SR / \(\bar{\mathcal{N}}\))	Multi (SR / \(\bar{\mathcal{N}}\))	平均 SR (%)	平均 \(\bar{\mathcal{N}}\)
ReAct	37.4 / 6.1	44.0 / 7.0	66.0 / 5.0	38.9 / 7.5	16.4 / 4.5	10.3 / 10.5	38.5	6.5
SkillWeaver	39.3 / 5.7	48.2 / 6.5	71.2 / 4.7	50.3 / 7.0	17.2 / 4.2	16.3 / 9.8	43.6	6.1
ASI	46.3 / 5.8	53.6 / 6.6	73.7 / 4.8	46.8 / 7.1	21.5 / 4.3	15.1 / 10.0	46.5	6.2
PolySkill	51.4 / 5.5	54.8 / 6.3	73.2 / 4.5	54.2 / 6.8	18.9 / 4.0	18.9 / 9.5	49.3	5.9
SkillMigrator (本文)	45.5 / 4.8	52.7 / 5.6	72.6 / 4.5	46.7 / 6.7	19.3 / 3.0	16.7 / 9.4	45.7	5.4

表 2：Mind2Web 三种泛化划分实验（包含静态库与在线更新 +Update 模式）

方法	跨任务 SR / \(\bar{\mathcal{N}}\) / 库容	跨网站 SR / \(\bar{\mathcal{N}}\) / 库容	跨领域 SR / \(\bar{\mathcal{N}}\) / 库容	跨领域复用率 (%)
ReAct	53.8 / 7.0 / –	56.2 / 7.5 / –	62.3 / 8.0 / –	–
ASI (静态)	52.3 / 6.6 / 50	54.9 / 7.1 / 47	57.3 / 7.6 / 33	17.4
PolySkill (静态)	55.4 / 6.3 / 43	57.6 / 6.8 / 44	60.1 / 7.2 / 36	22.7
SkillMigrator (静态)	54.8 / 5.8 / 35	57.1 / 6.2 / 38	59.4 / 6.6 / 31	28.1
ASI (+Update)	59.4 / 6.4 / 66	58.7 / 6.9 / 71	62.1 / 7.4 / 66	23.6
PolySkill (+Update)	63.2 / 6.0 / 47	61.3 / 6.5 / 53	63.4 / 6.9 / 56	31.0
SkillMigrator (+Update)	62.7 / 5.5 / 41	60.5 / 5.9 / 47	63.0 / 6.2 / 49	35.4

消融实验¶

表 3：WebArena 与 Mind2Web 核心组件消融分析

变体配置	WebArena 平均 SR (%)	WebArena \(\bar{\mathcal{N}}\)	Mind2Web 跨域 SR (%)	Mind2Web 跨域 \(\bar{\mathcal{N}}\)	说明
完整 SkillMigrator	45.7	5.4	59.4	6.6	完整系统配置 (\(\alpha=0.6, \beta=0.20\))
纯文本检索 (\(\alpha=1.0\))	39.2	5.7	55.8	7.3	移除布局信号，退化为表层文本召回
无同义词扩展池 (w/o Synonyms)	45.4	5.4	57.0	7.1	槽位无法泛化至未见词汇，跨域绑定受阻
无安全门槛 (\(\beta=0.0\))	45.3	4.7	57.8	6.3	激进触发技能，步数大幅减少但错误累积

关键发现¶

布局信号是跨域泛化的核心基石：消融树结构信号（\(\alpha=1.0\)）导致 WebArena 成功率骤跌 6.5 个百分点（45.7% \(\to\) 39.2%），几乎跌回无技能库的 ReAct 水平（38.5%），证明表层文本描述在跨领域场景下无法区分同义但异构的控制流；
更少动作，相当胜率：在 WebArena 上，SkillMigrator 将 \(\bar{\mathcal{N}}\) 降至 5.4（相比 PolySkill 降低 8.5%，相比 ReAct 降低 16.9%）；在 Mind2Web 跨域测试中，复用率高达 35.4%，技能库规模保持得更为紧凑小巧；
天然的正交组合性：当门槛判定未命中时，底层挂载 PolySkill 可将 \(\bar{\mathcal{N}}\) 进一步压降至 5.3，成功率回升至 47.7%，证明基于布局的结构化检索可以无缝作为既有技能体系的上层路由。

亮点与洞察¶

解耦结构拓扑与字面命名：传统方案将 DOM 元素和页面语义紧密捆绑，本文巧妙利用无障碍树骨架作为跨领域不变量，实现了真正意义上的“同构跨域复用”。
零 LLM 消耗的二分图槽位绑定：通过将模式匹配形式化为带同义词加权的匈牙利算法指派，既避免了调用 LLM 进行槽位抽取的额外延迟与费用，又天然解决了网页表单字段变元（Variable-Arity）的执行冲突。
可复用的检索网关思想：将置信度门槛与二级库回退机制结合，使得该框架不仅适用于 Web 场景，亦可拓展至移动端 GUI（如 Android 无障碍树）跨 App 工作流的技能迁移。

局限与展望¶

纯文本无障碍树的视觉盲区：目前完全依赖无障碍树骨架，在缺乏语义标签的 Canvas/纯图标按钮或控制流完全依赖视觉布局（如悬浮拖拽、滑动滑块）的复杂 Web 应用中无法提取有效骨架；引入轻量视觉 VLM 特征可作为未来重要补充。
操作模板空间受限：目前的操作模板源自离线轨迹聚类挖掘，对于模态弹窗嵌套、动态异步加载等复杂现代交互范式覆盖有限，未覆盖场景仍需退化至原子动作。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将无障碍树拓扑结构与可迁移交互模式引入 Web Agent 跨域技能复用，设计优雅轻量。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Mind2Web 与 WebArena 双主流基准，详细对比了静态与在线更新模式，并提供了严谨的消融与正交组合验证。
写作质量: ⭐⭐⭐⭐⭐ 概念界定清晰，公式推导严谨自洽，动机与设计环环相扣。
价值: ⭐⭐⭐⭐☆ 对降低实际落地中 Web 自动化智能体的部署延迟与 API Token 消耗具有重要工程与学术指导意义。