Autonomous Continual Learning for Environment Adaptation of Computer-Use Agents¶

会议: NeurIPS 2026
arXiv: 2602.10356
OpenReview: https://openreview.net/forum?id=FHgXFf6vU1
代码: https://github.com/OSU-NLP-Group/ACuRL
领域: LLM Agent
关键词: 计算机使用智能体, 终身持续学习, 强化学习, 课程学习, 自动评估

一句话总结¶

提出了首个面向计算机使用智能体（CUA）的自主课程强化学习框架 ACuRL，通过环境自主探索与上下文审查生成贴合当前能力进阶的课程任务，结合基于状态差异分析的高精度评估器 CUAJudge，实现零人工标注下的环境持续自适应与抗遗忘。

研究背景与动机¶

随着大语言模型与多模态大模型的快速发展，能够模拟人类在数字世界中进行网页浏览或桌面端软件操作的计算机使用智能体（CUAs）展现出了巨大的应用潜力。以 Claude Computer Use 和 UI-TARS 为代表的通用智能体在 OSWorld、Mind2Web 等离线基准测试上取得了令人瞩目的成绩。然而，离线基准的高分难以直接转化为真实场景下的鲁棒落地能力。现实中的数字环境兼具高度的多样性与强烈的动态性：一方面，软件生态涵盖数以百万计的桌面软件与 Web 应用，任何预训练都无法穷尽所有界面的功能逻辑与交互约定；另一方面，真实环境时刻经历着软件小版本迭代、大版本 UI 重构、操作系统跨平台迁移以及显示分辨率漂移，使基于静态数据假设微调的模型面临严重的分布偏移，导致性能相对骤降最高达 51%。

传统应对方案通常依赖人工收集并标注目标环境的交互轨迹进行微调，这不仅极其耗时耗力且难以规模化扩展，更无法应对环境随时间的持续演变。而数学推理与代码生成领域流行的自博弈或基于规则验证器的零数据自主学习框架，又无法直接套用到 CUA 领域。其根本症结在于：第一，计算机操作任务深度扎根于动态多模态软件上下文中，脱离真实环境状态的生成模型只能凭空编造不可执行的任务；第二，真实 GUI 交互不仅缺乏类似代码单元测试或数学答案判决的确定性验证机制，而且长程交互轨迹还引入了严重的视觉长上下文开销与多模态噪声，使得在线强化学习难以获取可信的奖励信号。

为了攻克无人工数据条件下 CUA 的环境自适应与防遗忘难题，必须让智能体能够在与目标软件的直接交互中自我发现环境特性，并动态生成与自身当前能力边界严丝合缝的进阶挑战。核心 idea：构建自主课程强化学习框架 ACuRL，先通过无约束环境探索与网络上下文审查捕获目标环境经验，在迭代多轮多步 GRPO 优化中基于智能体上一轮胜率自适应合成难易适配的课程任务，并配合显式对比初末态与细粒度证据链的高可靠评估器 CUAJudge 提供密实体素奖励。

方法详解¶

整体框架¶

ACuRL 是一个闭环的端到端自主持续学习系统，包含“环境经验采集”、“基于能力反馈的课程任务生成”、“多轮强化学习策略优化”以及“自动判决与基础设施加速”四大核心支柱。整个过程完全不需要任何人工介入：首先由智能体在目标环境中进行无约束自由交互与多源上下文审查以沉淀环境先验；随后进入多轮迭代强化学习，每一轮利用自动评估器对当前模型进行能力摸底，根据胜率将任务动态划分为易、中、难三个层级，分别执行复杂化变体合成、多样化场景泛化以及分层任务解构；最后在多步 GRPO 框架下驱动智能体持续提升技能。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标软件环境与真实上下文文档"] --> B["环境探索与上下文审查<br/>记录探索轨迹与上下文先验"]
    B --> C["课程任务生成<br/>按三级难度自适应生成新任务集"]
    C --> D["轻量统一环境调度与异步预加载<br/>批量拉起隔离实例与并行采样"]
    D --> E["CUAJudge 轨迹自动化评估<br/>初末态差异分析与细粒度证据校验"]
    E --> F["多步组相对策略优化<br/>多轮迭代更新与能力反馈回传"]
    F -->|上一轮任务胜率反馈| C
    F --> G["自适应进阶智能体<br/>兼顾环境专精与跨域防遗忘"]

关键设计¶

1. 环境探索与上下文审查：扎根真实环境先验的任务生成基石

传统文本或代码任务生成往往完全依赖大模型的先验知识，但在 CUA 领域，模型普遍对小众科学软件或新版办公软件缺乏底层界面的感知与逻辑认知。为此，ACuRL 将经验获取显式拆分为两个独立阶段：首先是无约束的“环境探索”（Environment Exploration），允许智能体在目标环境中自主触发各类控件、下拉菜单和面板，记录状态-动作序列，为生成器构建基础的功能与操作空间索引；其次是“上下文审查”（Context Review），利用网络爬虫收集真实用户生成的实际工件（如特定领域的幻灯片、财务报表、多格式邮件等），令智能体以只读方式深入导航浏览不同视图和子板块，记录其内容布局。生成模型以这些多模态轨迹为条件进行任务合成，从根源上消除了“凭空幻觉出不存在的按钮或数据”的问题，使得抽样生成的任务有效率高达 94%。

2. 自适应课程任务生成机制：基于能力反馈的动态难度动态伸缩

固定任务池容易导致模型在简单任务上过拟合、在极难任务上因无稀疏奖励而停滞不前。ACuRL 在每个训练轮次 \(n\) 结束时，评估智能体在当前任务集上的平均成功率 \(s_k^{(n)}\)：

\[s_k^{(n)}=\frac{1}{m}\sum_{j=1}^{m}\mathbb{I}\!\left(y_{k,j}^{(n)}=1\right)\]

以 \(\delta_{\text{low}}=30\%\) 和 \(\delta_{\text{high}}=70\%\) 为阈值将任务划分为三档并执行定制化课程变轨： - 高熟练度任务（\(s_k^{(n)} > 70\%\)）：表明智能体已完全掌握核心交互技能，生成器通过叠加复合技能约束、引入干扰项或拉长操作步数来增加任务复杂度； - 中等难度任务（\(30\% \le s_k^{(n)} \le 70\%\)）：此时智能体处于最佳学习区间（GRPO 在 50% 成功率时组内优势区分度最大），生成器保持核心技能不变，变换上下文文档、数据内容与用户角色以强化泛化韧性； - 极难未解任务（\(s_k^{(n)} < 30\%\)）：表明当前任务跨度过大，生成器对其进行分层解构，提取底层子目标并生成聚焦单一关键操作的轻量任务，为模型搭建向上攀登的阶梯。

3. CUAJudge 自动化评估器：初末态显式差分与强证据链判决

针对通用操作系统任务长程多模态轨迹中判定准确率低的问题，CUAJudge 对以往的 WebJudge 进行了两大根本性重塑。首先引入显式的“环境初末态差异分析”（State Difference Analysis），对于文档格式调整、表格计算、幻灯片排版等任务，直接对初始截图和最终产物截图进行差异比对，快速剥离未产生任何实际修改的无效轨迹；其次建立“强证据链关键点验证”（Evidence-grounded Key Point Verification），要求裁判大模型从任务指令中拆解出不可分割的验收要点，并强制要求每一个验收结论必须绑定对应的具体动作步以及支撑截图证据。在中间步骤筛选时引入轻量级开源视觉模型 Qwen3-VL-8B 替代 GPT-5-mini，不仅将单次评估成本降低 5 倍，还在 1,444 条基准轨迹和 288 条训练轨迹中分别取得了 87.5% 和 93.7% 的人类判定一致性，有效遏制了强化学习过程中的“奖励黑客”（Reward Hacking）现象。

4. 多步 GRPO 扩展与高吞吐异步环境管理架构

在底层优化上，ACuRL 将单轮组相对策略优化（GRPO）拓展为多轮长程交互模式。对于任务 \(I\) 采样一组 \(G\) 条轨迹，通过对步骤与 token 级别的梯度展开，最小化多步截断代理目标函数：

\[\mathcal{L}(\theta)=-\frac{1}{G}\sum_{i=1}^{G}\frac{1}{T^{(i)}}\sum_{t=1}^{T^{(i)}}\frac{1}{|a_{t}^{(i)}|}\sum_{k=1}^{|a_{t}^{(i)}|}\Big[\min\big(r_{t,k}^{(i)}(\theta)\hat{A}^{(i)},\mathrm{clip}(r_{t,k}^{(i)}(\theta),1-\epsilon,1+\epsilon)\hat{A}^{(i)}\big)-\beta D_{\mathrm{KL}}(\theta)\Big]\]

为了消除多沙箱虚拟机启动与判定带来的显著延迟瓶颈，设计了基于轻量统一 API 的环境管理协议，支持通过 IP 请求批量创建与销毁隔离沙盒；引入“环境异步预加载机制”，在 GPU 执行模型反向传播优化的同时，由后台工作线程提前预热下一批任务所需的虚拟机快照；同时让 CUAJudge 异步挂载流水线，对完成的轨迹即时打分，将整体强化学习训练吞吐提升了 3 至 5 倍。

损失函数 / 训练策略¶

训练采用严格的 on-policy 强化学习，使用 8 块 NVIDIA H100 GPU 搭配 96 核 CPU、384GB 内存的高性能服务器承载 128 个并发虚拟机。每个环境进行 3 轮迭代，每轮执行 75 次优化步骤（全局批大小 16，组大小 \(G=8\)），学习率设为 \(1\times 10^{-6}\)。遵循大模型强化学习实践，去除了显式 KL 散度约束，采用稍大的重要性权重截断比率 \(\epsilon=0.28\)。由于操作步骤与任务难度在课程推进中逐步提升，训练动态拉长交互与上下文截断窗口：第 1 轮最大步数 15 步（13k tokens），第 2 轮 20 步（15k tokens），第 3 轮 25 步（17k tokens）。为缓解长图显存开销，历史交互仅保留最近两帧最新截图。

实验关键数据¶

主实验¶

在涵盖主流办公软件（Impress, Calc, Writer）、邮件客户端（Thunderbird）以及专业科研可视化/符号计算软件（Celestia, KAlgebra）的六大代表性环境中，评估了智能体在跨环境多任务上的持续学习表现。

骨干模型	训练设定 / 智能体路线	Impress	Calc	Writer	Thunderbird	KAlgebra	Celestia	Overall (均分)
UI-TARS-1.5-7B	Base Agent (零样本基线)	31.1	6.5	15.7	35.5	10.8	17.2	19.5
	Impress 单环境专精 (Iter 3)	40.7	5.9	20.9	40.0	12.9	23.2	23.9
	KAlgebra 单环境专精 (Iter 3)	30.8	5.3	16.9	48.9	28.0	14.2	24.0
	Impress → Calc → KAlgebra (多环境串行)	33.9	6.6	23.3	51.1	16.1	24.2	25.9
Qwen3-VL-8B	Base Agent (零样本基线)	27.0	15.3	18.9	51.1	9.7	10.1	22.0
	Impress 单环境专精 (Iter 3)	39.2	14.0	24.9	64.5	17.2	11.1	28.5
	Calc 单环境专精 (Iter 3)	33.0	24.2	26.5	62.2	10.8	11.1	28.0
	Impress → Calc	35.9	15.5	22.9	70.0	17.8	13.7	29.3
	Impress → KAlgebra → Calc → Celestia	33.9	19.3	22.5	71.1	25.8	16.2	31.5
	Impress → KAlg → Calc → Celestia → Writer	37.3	18.7	25.7	66.7	24.7	17.2	31.7

同时，在应对真实环境变动（软件升级、平台迁移、分辨率变化）的专项实验中，ACuRL 展现了极强的泛化校正能力：在 Calc 软件从 Ubuntu 跨平台迁移至 Windows 时，经过 3 轮自适应微调后性能提升了 145%；在应对 LibreOffice 主版本界面剧变与低分辨率缩放漂移时，分别取得了最高 145% 和 77% 的相对提升。

消融实验¶

以 LibreOffice Impress 办公环境为基准，检验多轮迭代强化学习与能力自适应课程生成机制的关键有效性。

配置	Iter 1 成功率 (%)	Iter 2 成功率 (%)	Iter 3 成功率 (%)	变动说明
ACuRL 完整框架	34.2	38.8	40.7	保持课程迭代与难度自适应
w/o 迭代训练 (固定首轮任务池)	34.2	34.0 (-4.8)	32.6 (-8.1)	持续在单一固定任务池上更新导致严重过拟合
w/o 课程学习 (随机合成任务)	29.8 (-4.4)	33.6 (-5.2)	36.4 (-4.3)	脱离智能体胜率反馈，合成任务难度与能力脱节
CUAJudge 判决器消融	87.5% 评估一致率	-	-	完整版 CUAJudge 在公开轨迹上的一致率
└ w/o 状态差异分析 (去初末态对比)	86.0% 评估一致率	-	-	召回率在 Claude 轨迹上由 86.4% 骤降至 76.1%

关键发现¶

迭代自适应课程是抗过拟合的核心杠杆：消融数据鲜明指出，如果仅在首轮任务上做更长时间的强化学习更新（w/o Iterative Training），模型性能在 75 步后即见顶，随后在 150 步与 225 步时迅速跌至 32.6%，出现了典型的泛化退化；而 ACuRL 动态引入新场景，推动指标稳步上升至 40.7%。
跨环境正向迁移显著且未发生灾难性遗忘：在单一环境（如 Impress）上训练的模型，在未曾受训的 Writer 甚至 Thunderbird 上的表现也同步提升（UI-TARS 在 Thunderbird 从 35.5% 提升至 40.0%），多环境顺次学习更是令 Qwen3-VL 综合评分从 22.0% 持续提升至 31.7%。
模型内部更新表现出强烈的“稀疏更新”特性：在 \(\varepsilon=10^{-5}\) 的阈值下，视觉编码器与 LLM 主干仅有约 20% 的参数发生实质性权值变化。尤其值得注意的是其层级非对称性：视觉编码器的更新集中在底层感知层（低层更新剧烈以适应新 UI 纹理，高层保持稳定），而语言模型主干的前 2 层几乎完全冻结，更新集中在深层推理层，这从机理上解释了模型为什么能在吸收新环境特性的同时完美保留历史通识技能。

亮点与洞察¶

闭环零人工标注机制：将“环境交互探索”、“无监督上下文审查”、“基于历史胜率的阶梯式生成”与“多步多模态强化学习”无缝粘合，为数字世界中的智能体自主进化开辟了可行路径。
解耦视觉与逻辑的稀疏自适应机理：首次揭示了多模态 CUA 在环境自适应强化学习中的参数微调规律，即早期视觉层的强重塑与深层语言推理的针对性调整，证实了稀疏更新是模型天然抵御灾难性遗忘的内在机制。
兼具经济性与强判别力的 CUAJudge：利用初末态截图差分结合关键证据链绑定，并开创性地使用开源轻量级视觉模型接管高频的截图初筛步骤，在保持 93%+ 高精度的同时将评估成本削减 80%，极大摊薄了在线强化学习的试错门槛。

局限与展望¶

生成与评估依赖外部专有闭源大模型：尽管消融实验证明 Qwen3-VL-8B 亦可驱动任务生成且表现稳健，但系统初始任务规划依然借力了 GPT-5 等强通用大模型，纯单智能体闭环自进化仍受限于弱模型的指令遵循短板。
任务失败根因仍受制于长程规划与自我校验：在最终失败案例的归因统计中，“环境知识匮乏与规划失败”（占比 37%）和“未经验证的过早终止”（占比 30.4%）是绝对主因，说明模型在面对极其复杂的复合任务时，长程子目标管理与结果自审能力依然有待加强。
环境安全边界与沙箱控制：由于智能体具有自主执行系统级破坏动作的潜在可能，当前方案高度依赖于隔离虚拟机的快照回滚机制，未来向开放式非受控操作系统推广时需要集成更严格的安全性约束机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次完整确立了计算机使用智能体的无监督环境持续自适应框架，提出了基于胜率的三级自适应课程生成机制]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖六大代表性软件环境，包含单域/跨域终身学习、环境漂移对抗、参数更新稀疏性解剖及详细的失败根因统计]
写作质量: ⭐⭐⭐⭐⭐ [问题定义清晰深刻，方法模块层层递进，消融与分析扎实，图表逻辑严整]
价值: ⭐⭐⭐⭐⭐ [为解决计算机使用智能体在真实复杂动态场景中的落地瓶颈提供了极具启发意义与工程可复现性的范式]