EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience¶

会议: NeurIPS 2026
arXiv: 2601.15876
OpenReview: https://openreview.net/forum?id=MpUzZIp5jZ
代码: https://github.com/meituan/EvoCUA
领域: LLM Agent
关键词: 计算机使用智能体, 具身交互, 可验证数据合成, 拒绝采样微调, 步级强化学习

一句话总结¶

EvoCUA 针对计算机使用智能体（CUA）受限于静态数据规模与因果动力学缺失的问题，提出由可验证合成引擎、高并发交互沙箱和经验演进学习构成的闭环系统，在 OSWorld 上取得 56.7% 的开源第一成功率。

研究背景与动机¶

图形用户界面（GUI）原生计算机使用智能体（CUA）是通向通用人工智能的重要方向，要求模型感知复杂视觉上下文并在异构软件间跨长步长执行工作流。当前视觉语言模型（VLM）通常采用端到端架构将感知与动作直接对齐，但其性能突破正面临严重瓶颈：静态离线数据集的缩放边际收益递减。现存范式主要依赖于对静态轨迹的被动模仿，无法捕获真实人机交互中复杂的环境因果反馈与长期动态，导致模型在面临未知界面或长程依赖时频频出错。

克服这一瓶颈的核心矛盾在于：向基于大规模交互 rollout 的“经验缩放”范式转型面临三大技术屏障。首先是任务合成的可验证性——纯文本 Query 极易诱发幻觉，模型生成的行动方案若缺乏确定性的执行环境验证器，将导致奖励作弊与错误监督；其次是交互基建的并发瓶颈——在线 RL 与高通量交互要求毫秒级调度与超万级沙箱隔离会话；最后是策略优化的低效与状态偏离——在庞大的 GUI 状态空间下盲目探索成本高昂，且长程任务中传统轨迹级奖励无法对齐局部执行因果。

为了解决上述挑战，本文将数据合成、沙箱交互与策略优化内化为一个自我维持的闭环演进系统。核心 idea：构建集“生成即验证”任务合成引擎、高并发异构沙箱与经验演进训练（多样性冷启动 + 动态预算 RFT + 步级直接偏好优化 STEPO/DPO）于一体的闭环，把可扩展的交互体验连续转化为模型参数。

方法详解¶

整体框架¶

EvoCUA 将计算机使用任务建模为具有显式推理能力的隐马尔可夫决策过程（POMDP），并通过三阶段渐进式演进管线优化策略：首先构建统一动作与思考空间的规范化冷启动数据集，接着利用动态计算预算的拒绝采样微调（RFT）巩固成功策略，最后通过在关键分叉步识别因果偏离并应用步级直接偏好优化（DPO）纠正失败。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务合成与环境初始化<br/>领域分类分解 + 混合资源注入"] --> B["双流任务架构师<br/>协同生成指令 g 与可验证判定器 Vg"]
    B --> C["高并发交互沙箱<br/>QEMU-KVM与容器编排交互获取轨迹"]
    C --> D["规范化冷启动与统一空间<br/>状态化动作空间 + 五步结构化思考链"]
    D --> E["动态预算拒绝采样微调<br/>按任务难易分配算力并做步级降噪"]
    E --> F["双范式步级偏好优化<br/>因果分叉步定位：动作纠偏与反思恢复"]
    F --> G["演进迭代策略<br/>OSWorld 开源 SOTA (56.7%)"]

关键设计¶

1. 可验证合成引擎：消除奖励歧义与虚假繁荣 针对传统数据合成依赖自然语言相似度导致奖励作弊与状态不可行的问题，本文提出“生成即验证（Generation-as-Validation）”架构。系统基于分层领域分类法将桌面操作解构为原子级能力原语（如电子表格中的公式计算、排序过滤、图表绘制），并注入参数化合成文档与非参数化互联网真实资源（图像、复杂幻灯片）。核心生成由基于 ReAct 范式的双流任务架构师驱动：一方面生成目标明确的自然语言指令 $g$，另一方面同步生成真值文件与确定性的可执行评估脚本 $V_g$。评估脚本直接在真实沙箱中试运行执行验证，形成闭环纠错，最终仅保留经沙箱执行、奖励模型交叉校验与三阶去污染（语义、应用初始配置、评测代码隔离）验证的高质量任务元组 $(g, V_g)$。

2. 规范化冷启动：统一动作空间与结构化思考链 针对异构软件交互中动作碎片化与隐式规划不可解释的问题，本文重构了输入输出规范。动作空间统一封装为物理交互（鼠标坐标事件、按键输入）与流控制元动作（等待渲染 wait、完成信号 terminate）；特别引入“状态化按键机制”，显式将击键解耦为 key_down 与 key_up 事件以支持多选、快捷键组合等复杂交互。在思考空间上建立强制推理模式，规范智能体在执行动作前依次输出：目标澄清 $z_0$、观察一致性摘要 $z_{\text{obs}}$、步级动作逻辑、终局自检 $z_{\text{check}}$ 以及基于视觉证据的终结推理 $z_T$。训练阶段采用后见推理机制（Hindsight Reasoning），在保留最近 5 步完整多模态视觉帧的同时将较早历史压缩为文本语义动作，既保障了多轮上下文高效感知又杜绝了盲目终止。

3. 动态算力预算 RFT：基于能力边界的高效经验巩固 针对在大规模交互空间中均匀分配采样算力导致的资源浪费，本文设计了自适应动态计算预算策略。系统构建阶梯式算力预算谱 $\mathcal{K}=\{k_1, \dots, k_n\}$ 及递减成功率阈值 $\Lambda=\{\tau_1, \dots, \tau_n\}$，针对合成指令 $g$ 自适应寻找满足充分性条件的最小预算： $$K^* = k_{i^*}\quad \text{where} \quad i^* = \min\{i \mid \text{SR}(k_i) \ge \tau_i\}$$ 对于简单高胜率任务快速截断，将主要算力集中于成功率方差大的边界任务。采样获得的成功轨迹进一步经过步级降噪，滤除无效点击与循环重复动作；对于不可行任务，剪除中间冗余探索直接对齐失败终止，构建高质量经验池 $\mathcal{B}$。

4. 步级偏好优化与 STEPO：因果分叉定位与双范式容错 传统轨迹级强化学习难以解决长程任务中的状态偏移和局部信用分配失真。本文提出步级直接偏好优化（Step-Level DPO），通过对比同任务下的失败轨迹 $\tau^-$ 与成功参考 $\tau^+$，以参考引导诊断机制精准定位智能体脱离正确状态流形的首个分叉步 $t^*$，构建双范式偏好对： - 范式 I（动作纠偏，位于步 $t^*$）：将错误输出 $(z_l, a_l)=(z_{t^*}^-, a_{t^*}^-)$ 设为负样本，以参考轨迹或通用大模型重生成的正确动作 $(z_w, a_w)$ 设为正样本； - 范式 II（反思与恢复，位于步 $t^*+1$）：针对偏离后的未知状态，将盲目继续设为负样本，训练模型主动停顿并生成识别意外屏幕状态、制定挽救方案的反思链 $z_{\text{reflect}}$ 作为正样本。针对在线强化学习中的训练-推理历史压缩差异，进一步推导出步级策略优化算法（STEPO），将组优势值按轨迹长度归一化为各步优势 $\hat{A}_{i, t} = \hat{A}_i / T_i$，从而实现中间单步监督与高效的步长控制。

损失函数 / 训练策略¶

步级直接偏好优化通过最小化如下损失函数更新策略参数 $\theta$： $$\mathcal{J}(\theta) = -\mathbb{E}_{(h_t, o_t, (z, a)_w, (z, a)_l) \sim \mathcal{D}}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(z_w, a_w \mid h_t, o_t)}{\pi_{\text{ref}}(z_w, a_w \mid h_t, o_t)} - \beta \log \frac{\pi_\theta(z_l, a_l \mid h_t, o_t)}{\pi_{\text{ref}}(z_l, a_l \mid h_t, o_t)}\right)\right]$$ 其中 $\beta$ 控制与参考策略 $\pi_{\text{ref}}$ 的 KL 散度约束，输入历史 $h_t$ 遵循“最近 5 步视觉截图 + 早期语义动作压缩”的混合上下文结构。全流程采用冷启动 $\to$ RFT $\to$ 离线 DPO $\to$ 迭代闭环的渐进训练。

实验关键数据¶

主实验¶

在代表性长程计算机使用评测基准 OSWorld（Verified 集）上，EvoCUA 取得开源模型最佳表现。

模型	类型	最大步数	成功率 (Pass@1)
OpenCUA-72B	开源专用	100	45.0%
Qwen3-VL-32B-Thinking (基座)	开源通用	100	41.0%
Qwen3-VL-8B-Thinking (基座)	开源通用	100	30.6%
UI-TARS-2-2509	闭源通用	100	53.1%
Claude-4.5-Sonnet	闭源通用	50	58.1%
Claude-4.5-Sonnet	闭源通用	100	62.9%
EvoCUA-8B (本文)	开源通用	50	46.1%
EvoCUA-32B (本文)	开源通用	50	56.7%

消融实验¶

在 Qwen3-VL-32B-Thinking 基座上逐级累加各模块的绝对增益（主客观环境验证结果）：

训练阶段 / 核心组件	相比前一阶段提升 ($\Delta$)	累计效果与说明
+ 统一动作空间 (Unified Action Space)	+4.84%	补齐状态化按键与控制元语
+ 规范化冷启动 (Cold Start)	+2.62%	注入结构化思考链与原子交互先验
+ 拒绝采样微调 (RFT)	+3.13%	动态算力驱动的大规模成功经验巩固
+ 离线步级偏好优化 (Offline DPO)	+3.21%	因果分叉点动作纠正与反思恢复
+ 闭环演进迭代训练 (Iterative Training)	+1.90%	递归式合成-微调-偏好对齐自维持循环

关键发现¶

8B 模型超越 72B 传统基线：EvoCUA-8B 在 50 步限制下取得 46.1% 的成功率，直接超越了使用 100 步的专用前代 SOTA 模型 OpenCUA-72B（45.0%），且较同架构同尺寸的 Step-GUI-8B（40.2%）高出 5.9 个百分点，强力证实经验演进管线优于单纯静态微调。
步长效率显著提升：EvoCUA-32B 在严格的 50 步上限下即可取得 56.7% 胜率，相比绝大多数需要 100 步探索预算的基线表现出更高的操作决策精准度与更低的无效试错。
经验规模效应单调递增：在 OpenCUA-72B 上的纯 RFT 扩展测试中，数据量从 20k（第 1 轮）扩展至 226k（第 2 轮）及 1M（第 3 轮）时，性能增益分别达到 +2.61%、+6.79% 与 +8.12%，证明只要信噪比受控且数据可验证，合成交互经验具备极佳的可扩展性。

亮点与洞察¶

生成即验证的闭环生成器：将任务指令与沙箱执行评估代码同步生成并互相校验，彻底摒弃脆弱的语义模糊打分，从根本上杜绝强化学习中的奖励作弊（Reward Hacking）。
因果偏离驱动的双范式偏好对齐：精准定位长序列决策中脱离正确流形的关键单一分叉点，并将纠偏动作与后续反思补救双向建模，赋予智能体在长程真实交互中关键的自我纠错（Self-Correction）韧性。
状态化动作空间对原生交互的支持：将离散按键拆解为持续按住与松开，解决了多选、拖拽及复合快捷键这类桌面交互中易被忽略但极为致命的原子操作缺失问题。

局限与展望¶

基座通用思维链分布偏移：作者指出由于初期混入的通用数据采用了非思维链（non-thinking）格式，导致 EvoCUA-32B 在 MMMU 和 ScreenSpot-Pro 等部分离线通用多模态评测中出现 token 生成长度压缩和能力微幅回退，后续需对齐纯思维链通用分布。
环境随机性对纯确定性评测的挑战：GUI 系统固有存在渲染延迟、网络抖动等物理随机性，相同动作序列可能引发不同状态跳转，未来需将环境多样性建模与鲁棒性训练纳入核心优化指标。
在线步级强化的算力成本：虽然 STEPO 有效解决了训练与推理截断不一致，但全步更新导致计算开销成倍放大，未来可探索仅在关键分叉步触发在线策略更新的轻量化机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立完整的 GUI 可验证数据合成与因果步级演化闭环。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8B/32B/72B 多个架构及 OSWorld、GUI 定位和多模态通用基准。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰、逻辑链条严密且包含深入的百万卡时实操工程反思。
价值: ⭐⭐⭐⭐⭐ 开源权重刷新 OSWorld 纪录并打通了闭环进化路径，对具身/桌面智能体发展意义重大。