TimeWarp: Evaluating Web Agents by Revisiting the Past¶

会议: NeurIPS 2026
arXiv: 2603.04949
OpenReview: https://openreview.net/forum?id=hfun6NLTvi
代码: https://timewarp-web.github.io
领域: LLM Agent
关键词: Web Agent, 网页演化评测, 轨迹蒸馏, 行为克隆, 规划泛化

一句话总结¶

针对真实网页界面随时间持续演变导致智能体脆弱失效的难题，论文构建了包含跨越 25 年历史设计规范与 1386 个任务的演化网页基准 TIMEWARP，并提出基于“人在回路高层计划蒸馏 + 全版本教师自动展开”的 TIMETRAJ 收集法与多 Token 行为克隆方法 TIMEWARP-BC，使开源网页智能体成功率提升近一倍。

研究背景与动机¶

随着大语言模型和视觉语言模型在 WebArena、Mind2Web 等主流基准上的得分迅速逼近人类水平，研究者普遍通过对开源模型进行行为克隆（BC）与强化学习（RL）微调来刷新性能。然而，这些显著的性能提升往往建立在静态、确定性的沙盒模拟环境，或变动不可控的在线实网上。真实互联网在本质上是高度动态和持续迭代的，其 UI 设计范式、前端 DOM 架构、交互组件与用户工作流每隔数年就会发生颠覆性重构。目前学术界缺乏在可控、可复现实验条件下量化“面向过去或未来未知网页版本泛化能力”的评测工具，导致今天训练表现出色的网页智能体在面对界面升级时极易崩溃。

这一瓶颈的核心矛盾在于：评估演化适应性需要多版本环境与对应的高质量专家演示，但轨迹在不同版本之间天然不可复用——不同时期的网页布局、搜索框位置、交互触发逻辑差异巨大，导致为每个历史或现代版本重新由人类逐一标注交互轨迹的成本极其高昂。若直接采用全自动环境探索或合成轨迹，又往往因为缺乏长程任务约束而导致任务分布过于简单、偏离真实检索与规划需求，且智能体在不同版本上的探索成功率偏差会导致严重的采样失衡。

本文的切入视角是：虽然底层的点击、输入等底层动作轨迹（Trajectory）对前端版本变动高度敏感，但高层逻辑执行计划（Plan）在语义上是跨版本时间不变的（Version-invariant）。核心 idea：通过构建覆盖 Wiki、News、Shop 三大场景共 6 个跨时代前端版本的受控基准 TIMEWARP，提出人在回路仅精炼一次高层抽象计划、再由教师模型跨多版本自动展开四元组 Token 轨迹的 TIMETRAJ，并联合动作、思考、规划与记忆进行 TIMEWARP-BC 全响应行为克隆微调。

方法详解¶

整体框架¶

TIMEWARP 框架由两大部分构成：轻量解耦的多版本受控网页评测基准，以及基于计划蒸馏的大规模多版本训练轨迹合成管线 TIMETRAJ 与微调算法 TIMEWARP-BC。在环境层面，基准抽象为部分可观测马尔可夫决策过程（POMDP），通过单一 Flask 后端与 6 组独立历史前端（涵盖 1998 年至今的典型 UI 风格与 Minimal 基线）挂载统一的 231 个跨版本任务目标。在训练层面，管线首先由规划器生成草稿并经人类单次注入检查点精炼出版本无关的高层计划，再由教师智能体在各版本环境中执行展开，输出包含动作与非动作标记的完整交互步，经确定性验证器过滤后执行监督微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务目标与期望答案<br/>D_goal = {g, a}"] --> B["跨时代环境构建与多版本控制<br/>Wiki / News / Shop 挂载 v1-v6"]
    A --> C["TIMETRAJ 阶段一：计划蒸馏<br/>规划器生成 + 单版本人机精炼 p*"]
    B --> D["TIMETRAJ 阶段二：教师多版本展开<br/>教师策略在 v1-v6 执行生成四元组响应"]
    C --> D
    D --> E["确定性验证与轨迹过滤<br/>五类函数精确判别 R in {0, 1}"]
    E --> F["TIMEWARP-BC 全响应行为克隆<br/>联合动作/思考/规划/记忆微调学生智能体"]

关键设计¶

1. 跨时代环境构建与多版本控制：六个年代 UI 矩阵与轻量解耦后端

针对以往 Docker 部署单个基准环境动辄占用数十 GB 存储空间（如 WebArena Wikipedia 占 89 GB）、难以扩展多版本历史界面的瓶颈，TIMEWARP 采用统一的轻量级 Python Flask 后端配合多套完全独立可插拔的前端视图。基准涵盖三大代表性应用场景：Wiki（基于 SimpleWiki，侧重严格词条匹配检索与多页面跳转推理）、News（基于 EnWikiNews，侧重 BM25 内容相关度排序与发布时效推理）、Shop（基于 1.18M 商品的 WebShop 数据改造，去除 Oracle 辅助字段并引入哈希订单确认码校验）。每个场景构建了 6 个前端版本（$v_1 \dots v_6$）： - $v_1, v_2$ 代表 2000 年代初的古典互联网时代（HTML 4.01 规范、搜索框常置于页面底部、缺乏目录导航栏，DOM 层次扁平）； - $v_3, v_4$ 代表 2008-2016 年的过渡时代（引入顶部规范导航栏与文章目录，视觉布局规整）； - $v_5$ 代表现代 Web 5.0（富含弹窗广告、下拉自动补全悬浮窗、图表、SVG 图标搜索框及动态 DOM 膨胀）； - $v_6$ 代表极简控制版（Wiki/News 为纯文本极简视图，Shop 采用 WebShop 默认界面）。所有版本共享底层数据存储，任务跨版本保持恒定，从而将智能体的成功率波动严格归因于界面版本变动。

2. TIMETRAJ：人在回路的单版本执行计划蒸馏与多版本轨迹自动展开

针对多版本轨迹人工收集耗时极高、而全自动探索容易因错误累积导致分布偏差与版本不均衡的痛点，TIMETRAJ 提出了“高层计划一次性人机标注，底层执行跨版本自动泛化”的收集范式。对于任务目标 $g$ 与期望结果 $a$，规划器模块 $\Pi_{\text{plan}}$ 首先以自回归方式生成高阶执行草案 $\hat{p}$。人类标注者仅在一个固定的参考版本（如 $v_6$）上交互审查该计划，并在关键转折点注入语义检查点（Checkpoints），形成版本无关的精炼计划 $p^*$。相较于传统全人工录制（平均每条轨迹耗时 1 分 57 秒且需 1.3 次重试），TIMETRAJ 的单任务人工作业时间仅需 27 秒，效率提升数倍。

在第二阶段，高能力教师策略 $\Pi_T$（基于 GPT-5）加载 $(g, a, p^*)$，在 $k=6$ 个不同环境版本中在线与 BrowserGym 交互展开。在每个交互步 $t$，教师模型不仅输出底层浏览器操作 $a_t$，还显式输出包含链式思考（Chain-of-Thought Thinking）$c_t$、计划步骤更新（Planning）$p_t$ 以及上下文状态记忆（Memory）$m_t$ 的四元组联合响应： $$y_t = \langle a_t, c_t, p_t, m_t \rangle$$ 所有完成的交互轨迹送入确定性验证器判决，768 个训练任务中成功收集了 757 条达标轨迹（采集成功率高达 98.57%），构建出分布均衡且富含认知状态的训练集 $\mathcal{D}_\tau$。

3. TIMEWARP-BC：融合非动作思考、规划与记忆 Token 的全响应行为克隆

传统网页智能体行为克隆方法通常只对动作 Token 计算交叉熵损失，丢弃了生成动作前的推理轨迹，导致模型在面对长程跨页任务或界面突变时无法保持稳定的状态跟踪。标准行为克隆损失仅最小化动作的负对数似然： $$\mathcal{L}_{\text{BC}}(\theta) = -\mathbb{E}_{(h, y) \sim \mathcal{D}_\tau} [\log \pi_\theta(\phi(y) \mid h)]$$ 其中 $\phi(y) = a$ 为动作解析函数。而 TIMEWARP-BC 针对复杂长程任务的认知需求，对包含历史观察 $h_t = (o_{1:t}, y_{1:t-1})$ 的整个四元组响应 $y_t$ 计算自回归监督微调损失： $$\mathcal{L}_{\text{TW-BC}}(\theta) = -\mathbb{E}_{(h, y) \sim \mathcal{D}_\tau} [\log \pi_\theta(y \mid h)] = -\mathbb{E}_{(h, y) \sim \mathcal{D}_\tau} \left[ \log \pi_\theta(c_t, p_t, m_t, a_t \mid h_t) \right]$$ 在训练实现中，对话样本以 ShareGPT 格式组织，统一按照 <thinking> $\to$ <plan> $\to$ <memory> $\to$ <action> 的序列构建目标。损失计算屏蔽了 System Prompt 与环境观察上下文，仅对 Assistant 产生的全量响应 Token 进行反向传播。非动作 Token 的联合监督使智能体学会了在长达 30 步的交互范围内主动归纳观察、跟踪计划执行进度并储存跨页面记忆。

一个完整示例¶

以跨页多词条综合检索任务为例： - 任务目标 $g$：“列出生物物理学（Biophysics）与生物化学（Biochemistry）页面‘相关页面（Related Pages）’章节中提及的所有文章。” - 期望结果 $a$：发送给用户的最终字符串列表。 - 规划与人工检查点： 1. 在搜索框键入 "Biophysics" 并回车； 2. 滚动至 "Related Pages" 区域并记住列出的页面； 3. 在搜索框键入 "Biochemistry" 并回车； 4. 滚动至对应区域并记录第二组页面； 5. 合并去重并发送给用户。 - 版本执行分流： - 在 $v_1$ 界面上，教师智能体根据计划感知到搜索框位于页面最底部，生成记忆“当前处于古典布局，需向下滚动寻找输入框”，执行 scroll(down) $\to$ fill('input_5', 'Biophysics')； - 在 $v_5$ 现代界面上，搜索框被封装在动态图标中，智能体在思考中识别到需要先激活搜索浮层，执行 click('search_icon') $\to$ fill('search_bar', 'Biophysics')； - 最终各版本轨迹均输出符合统一标准格式的四元组 Token 序列并获评 1 分。

损失函数 / 训练策略¶

微调基于 Llama-Factory 框架进行，训练输入以无损可访问性树（AXT）为核心表征，使用 64k 训练上下文窗口以容纳长程交互历史，并使用全量参数微调（Full Fine-Tuning）3 个 Epoch。消融证实，参数高效微调（LoRA）在此类网页智能体长程序列任务中虽然减少了动作步数，但极易造成提前终止与严重掉点；而 64k 的长上下文配合全响应微调能最大化发挥规划与记忆 Token 的累积收益。

实验关键数据¶

主实验¶

实验评测了多种开源大语言模型与多模态视觉模型在零样本（ZS）以及不同微调模式下的成功率（SR %），涵盖 Wiki、News、Shop 及跨站复杂任务（Multi）。其中 $\Delta_v$ 表示在 6 个版本间的最高与最低性能极差（极差越小代表跨版本鲁棒性越高）：

模型	训练/设置	观察模态	Wiki	News	Shop	Multi	全局平均	$\Delta_v \downarrow$
Qwen-3 VL 8B	ZS	HTML (文本)	20.8	33.6	20.8	24.4	24.3	7.4
Qwen-3 VL 8B	ZS	AXT (文本)	19.0	32.8	18.1	24.9	23.0	8.1
Qwen-3 VL 8B	ZS	SS (截图)	0.7	1.8	0.2	0.0	0.6	1.0
Qwen-3 VL 8B	ZS	SoM (视觉标记)	6.8	16.4	15.2	10.6	11.9	18.8
Gemma-3 12B	ZS	SoM (视觉标记)	9.9	15.4	11.7	7.2	11.0	7.4
Qwen-3 4B	ZS	AXT	20.3	25.3	18.1	18.6	20.4	4.5
Qwen-3 4B	BCv6 (单版本)	AXT	11.5	38.9	20.2	11.1	19.5	5.5
Qwen-3 4B	BCv1:6 (全版本)	AXT	10.2	34.9	16.5	16.6	18.5	5.5
Qwen-3 4B	BCTv1:6 (+Thinking)	AXT	14.2	36.6	25.5	38.4	27.4	9.7
Qwen-3 4B	TW (TIMEWARP-BC)	AXT	31.0	43.2	30.7	49.8	37.7	5.8
Llama-3.1 8B	ZS	AXT	2.3	0.0	0.0	0.0	0.7	0.6
Llama-3.1 8B	BCv1:6 (全版本)	AXT	0.0	1.3	0.0	0.0	0.3	1.0
Llama-3.1 8B	BCTv1:6 (+Thinking)	AXT	12.2	27.8	29.8	27.8	23.6	9.4
Llama-3.1 8B	TW (TIMEWARP-BC)	AXT	12.7	42.9	24.3	34.0	27.0	6.8
Human	Baseline	Web UI	100.0	95.4	96.3	95.6	97.1	0.0

消融实验¶

在保留底层 Action Token 的前提下，针对 Qwen-3 4B 在 $v_6$ 环境中不同非动作 Token（思考 T、记忆 M、规划 P）组合微调的消融结果如下：

配置 (T / M / P)	Wiki (%)	News (%)	Shop (%)	Multi (%)	全局平均 (%)	说明
仅 Action (无 T/M/P)	16.1	42.4	17.3	21.7	23.3	传统纯动作 BC 基线
+ Thinking (T)	19.4	31.8	16.0	40.6	25.9	仅引入推理思考过程
+ Memory (M)	18.3	40.9	11.1	36.2	25.2	仅引入状态记忆
+ Planning (P)	17.2	45.5	25.9	34.8	29.5	引入显式步骤规划
+ T + M	22.6	47.0	22.2	36.2	30.7	结合思考与记忆
+ T + P	25.8	39.4	18.5	50.7	32.4	跨站复杂任务显著提升
+ M + P	21.5	47.0	33.3	47.8	35.9	规划配合长程状态暂存
完整模型 (T + M + P)	31.2	47.0	30.9	49.3	38.5	各项能力协同最佳，较基线 +15.2%

关键发现¶

视觉智能体对 UI 版本演化极度脆弱：使用视觉标记（SoM）的 Qwen-3 VL 8B 在不同版本间的性能极差高达 18.8%，而相同模型在文本 AXT 输入下的极差仅 8.1%。视觉界面中按钮样式重构、色彩调整或广告弹窗极易打乱视觉定位，而底层文本 DOM/AXT 树保持了相对稳定的语义层级。
纯单版本微调诱发过拟合甚至负迁移：在单个版本（如现代版 $v_6$）上进行纯动作 BC 训练，由于缺乏推理与规划引导，模型仅机械记忆固定 DOM 序号，导致其在其他历史版本上的泛化表现甚至低于未经微调的零样本基线。
性能衰减幅度严格正比于版本年代距离：仅在 $v_1$（古典版）上训练的智能体，在测试时从 $v_1$ 到 $v_5$ 呈现单调递减趋势（成功率分别为 23.0% $\to$ 19.1% $\to$ 16.5% $\to$ 15.2% $\to$ 9.7%），说明版本诱导的泛化损失与界面语义特征分布的偏移距离高度一致。
多版本联合训练大幅压低翻转率（Flip Rate）：在同一任务中“在某些版本成功但在另一些版本失败”的翻转率指标上，TIMEWARP-BC 将 Qwen-3 4B 的总翻转率从 0.753 显著降低至 0.638，证明跨版本蒸馏确实赋予了智能体内在的版本鲁棒性而非单纯靠记忆特定节点。

亮点与洞察¶

“计划版本不变，轨迹版本特异”的范式跃迁：传统智能体训练陷于“一个版本录一套轨迹”的线性标注泥潭。TIMETRAJ 敏锐地抓住了认知高层的版本不变性，实现了“标注一次计划，自动衍生全时代轨迹”，大幅拓宽了演化环境下的数据飞轮。
评测闭环高度确定且自洽：通过设计包含精确匹配、正向包含、反向排除、数值匹配和列表匹配的五类确定性验证器，覆盖了基准中 99.1% 的复杂任务目标，与商业前沿评测模型（GPT-5.1）达到 99.87% 的一致性，彻底摆脱了评测过程对昂贵且存在随机波动的 LLM-as-a-Judge 的依赖。
理论分析与精细形式化：论文在附录给出了多版本训练泛化界的形式化证明（并在 Lean 4 中完成机器验证），严谨阐明了版本间差异（Discrepancy）如何直接制约未知版本的期望风险。

局限与展望¶

作者承认的局限：教师模型展开依然依赖专有前沿大模型（GPT-5），且当前微调仍属于开环行为克隆（BC）范畴，尚未与近端策略优化（PPO）或广义相对策略优化（GRPO）等多轮强化学习技术深度结合。
实验与机制局限：任务环境目前主要覆盖 Wiki、News 和 Shop 三类静态本地镜像，尚未包含动态金融结算、复杂音视频流媒体交互以及强验证码对抗等高度不可预测的极端动态场景。
未来改进方向：可进一步探索开源推理大模型（如 DeepSeek-R1 类架构）直接担任高层计划器与教师策略的可行性，并在演化环境上构建基于终身强化学习（Continual RL）的防灾难性遗忘自适应机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出网页智能体的跨时代演化鲁棒性评测基准，并开创了高层计划蒸馏全版本轨迹的新范式。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 3 种典型场景、6 大历史时代、1386 个长程任务，并开展了跨模态、全微调消融、跨基准迁移及 Lean 4 理论验证。
写作质量: ⭐⭐⭐⭐⭐ 问题定义直击痛点，方法阐述清晰严谨，逻辑论证层层递进，附录材料极其详实。
价值: ⭐⭐⭐⭐⭐ 为网页智能体从实验室基准走向应对真实世界长期演化的实用落地提供了关键测评基石与有效训练方案。