Computer Use at the Edge of the Statistical Precipice¶
会议: NeurIPS 2026
arXiv: 2605.08261
领域: LLM Agent
关键词: 计算机使用智能体, 基准评测, 环境设计原则, 分层自举检验, 动作回放脆弱性
一句话总结¶
揭示了静态 CUA 基准上 1MB 盲回放脚本能超越前沿模型的死穴，提出 PRISM 环境设计原则与 320 万配置的真实沙盒基准 DigiWorld，并建立 Wilson 区间与分层自举统计聚合框架。
研究背景与动机¶
计算机使用智能体（Computer Use Agents, CUAs）通过图形用户界面（GUI）进行自主交互，是通用人工智能走向实际落地的关键形态。近年来学界涌现出 OSWorld、AndroidWorld、VisualWebArena 等一系列评测基准，但对 CUA 评测方法论本身的严谨性审视却长期缺位。现有基准普遍依赖静态单一配置或在线生产服务，评测结果极易受服务漂移影响；而在静态初始状态下，智能体往往仅凭序列记忆而非真正的视觉感知推理即可通关。更严重的是，社区在统计度量上普遍存在滥用与粗糙化倾向：盲目套用源于无状态代码生成的 pass@k 指标，且在聚合成功率时将各个任务草率视为独立同分布的伯努利试验，导致置信区间严重虚窄，模型排名在复现时极易失真。
这种评测失序的核心矛盾在于：交互式智能体评测具有天然的深层嵌套结构（应用、场景、环境多维配置与动作随机性），但现有基准既缺乏防作弊、防记忆的环境设计防护，又缺乏适配深层嵌套方差的统计聚合方法。环境端如果缺乏自动化完整性校验，动态生成的配置便可能不可解或开局即完成；评估端如果将分层交互数据暴力拍平为单一成功率点估计，就会完全掩盖任务难度与环境维度的方差贡献，使得基于微弱分差宣称的 SOTA 结论沦为统计假象。
面对环境构造与统计聚合的双重坍塌，本文从机制根源切入，首先以数学形式证明了静态基准下盲回放策略与 pass@k 的等价性，进而系统化提出 CUA 环境设计的五项核心准则与分层评估统计框架。核心 idea：确立环境设计 PRISM 原则并构建包含 15 款真实沙盒应用与 320 万组合配置的基准 DigiWorld，配套采用叶节点 Wilson 分数区间与套叠式分层自举聚合（Hierarchical Bootstrap），彻底阻断动作回放作弊并实现可信的统计置信度估计。
方法详解¶
整体框架¶
本文构建了一套针对计算机使用智能体的全生命周期评测与统计聚合体系。在环境侧，确立了 PRISM 五大设计原则（特权验证、真实环境、完整性校验配置、沙盒执行、多因素变异），并在自研的移动端基准 DigiWorld 中完整实例化；在评测与数据侧，解耦动作随机性与环境变异性，以三级自动化流水线保证超 320 万种组合配置的逻辑有效性；在统计侧，推导动作回放等价性以指明 pass@k 的理论缺陷，并采用叶节点 Wilson 得分区间结合应用-场景-环境维度的分层自举法（Hierarchical Bootstrap），提供具备名义覆盖率的统计推断。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["环境构建需求<br/>15款 React Native 真实应用"] --> B["PRISM 原则规范<br/>特权验证/真实/沙盒/多维变异"]
B --> C["自动化完整性校验<br/>一致性/可行性/平凡态过滤"]
C --> D["多因素组合配置生成<br/>任务实例 × 数据档案 × 主题 × 初始UI"]
D --> E["智能体交互执行与特权状态捕获<br/>Android ADB 纯视觉交互与参数化 SQL 校验"]
E --> F["叶节点 Wilson 分数区间估计<br/>解决小样本极值坍缩与方差失真"]
F --> G["分层自举统计聚合<br/>场景抽样 + 环境轴重采样 + Rollout 估计"]
G --> H["可信评测结果输出<br/>95% 层次置信区间与轴向敏感度剖析"]关键设计¶
1. 回放等价性与静态基准脆弱性分析：形式化证明静态环境下 pass@k 仅度量记忆容量
针对静态单一初始状态基准易被捷径利用的漏洞，论文提出了极端的“盲回放智能体”实验，并完成了理论证明。在确定性且初始状态固定的基准中，若针对 \(N\) 个任务分别运行随机策略 \(\pi\) 进行 \(k\) 次独立尝试，只需提取其中成功的单条轨迹并存储为大小仅约 1MB 的回放脚本 \(\pi_R\)；在后续评测中，该脚本在完全不观察屏幕像素的前提下盲目发送按键和点击事件。论文证明了回放策略的期望任务成功率在数学上严格恒等于源智能体的 pass@k 指标： $$ \mathbb{E}[\mathrm{SR}(\pi_{R})] = \mathrm{pass@}k(\pi) = \frac{1}{N} \sum_{i=1}^{N} \left[ 1 - (1 - p_i)^k \right] $$ 这一理论结果揭示：静态基准上的 pass@k 本质上并非评估模型在线感知的成功泛化性，而是等价于无记忆盲回放策略的期望表现。只要单任务探索成功率 \(p_i > 0\)，暴力扩展采样次数 \(k \to \infty\) 即可让盲回放成功率逼近 100%。这从理论上判定了纯静态 CUA 基准在方法论上的不可靠。
2. PRISM 环境设计原则与 DigiWorld 组合基准：以多因素独立变异粉碎记忆捷径
为了从根本上消除回放攻击与环境漂移，论文确立了 PRISM 五项核心设计准则：特权验证（Privileged verification，通过读取底层应用真实数据库状态或文件差异进行确定性判定，彻底弃用不稳定的 LLM-as-judge）、真实性（Realistic environments，开发生产级真实复杂交互界面）、完整性校验（Integrity-checked configurations，离线证明所有参数组合均逻辑可达）、沙盒执行（Sandboxed execution，完全本地隔离容器化运行，具备纳秒级确定性快照恢复）、多因素变异（Multifactorial variability，支持多个独立轴向正交组合）。
基于此构建的 DigiWorld 包含 15 个纯原生手写的 React Native Android 应用，覆盖通信、金融、电商、娱乐、即时服务、差旅及智能家居 7 大真实领域。基准设计了 387 个场景（含 304 个单应用任务与 83 个复杂组合任务）和超过 4,300 个具体任务实例。通过正交控制四大环境轴——实例参数（如不同转账金额）、数据档案（~10 种不同 SQLite 数据库状态）、视觉主题（~10 种深浅颜色与排版样式）、初始 UI 界面（~10 个不同初始进入页面），衍生出超 320 万个经验证的独特评测配置，使固定动作脚本彻底失效。
3. 三阶段自动化完整性离线流水线：防范组合爆炸下的不可解与平凡任务
在面对数百万种配置组合时，简单的排列组合会引发任务语义断裂（如给不存在的账户转账）或平凡开局（如待支付订单开局已被标记为已支付）。为此，DigiWorld 引入了评测前运行的严密离线校验流水线：
- 语义一致性校验（Coherence Checking）：在模拟数据注入时，解析具有层级依赖的模板占位符（如 {{current_user_id}}、{{first_room_id}}），通过位置策略服务动态挂载到已有数据分布中，保证关联记录外键严密闭合；
- 基于约束的可行性检查（Feasibility Checking）：通过规则引擎强制核验四类先决条件，包括实体存在性（EntityExists）、数据容量（DataVolume，如至少包含 2 笔历史记录）、数值平衡约束（Balance，如钱包余额严格大于转账金额 \(A\)）、容量上限（MaxCount）。未声明的隐含约束可从占位符自动反向推导补齐；
- 平凡态过滤（Triviality Filtering）：在智能体开始交互前，先对初始状态运行完整的 SQL 特权校验逻辑；若初始状态恰好已满足目标状态，则剔除该配置，杜绝开局白拿分。
4. 叶节点 Wilson 分数区间与分层自举聚合：匹配深层嵌套结构的统计推断框架
针对传统 Wald 渐近置信区间在极值（\(\hat{p}=0\) 或 \(\hat{p}=1\)）及小样本（如通常 \(R=3\)）下退化为零宽度的缺陷，叶节点处引入 Wilson score interval。对配置 \((a,s,c)\) 下进行的 \(R\) 次 rollout，其修正估计中心 \(\hat{p}_W\) 与半宽 \(W\) 计算如下： $$ \hat{p}_W = \frac{\hat{p} + \frac{z^2}{2R}}{1 + \frac{z^2}{R}}, \quad W = \frac{z}{1 + \frac{z^2}{R}} \sqrt{\frac{\hat{p}(1 - \hat{p})}{R} + \frac{z^2}{4R^2}} $$ 在基准整体聚合上，针对测试套件包含应用、场景、环境多轴配置与随机动作的深层嵌套层级，构建了分层自举法（Hierarchical Bootstrap）：在固定各应用权重的两阶段聚合框架下，首先计算单个应用内部的均值 \(\bar{p}_a\)，再汇总套件均值 \(\hat{\theta} = \frac{1}{A} \sum_{a=1}^A \bar{p}_a\)。自举重采样沿层级嵌套自上而下推进：(1) 在应用 \(a\) 内有放回重抽样场景 \(S_a\)；(2) 在选定场景内，沿各启用的环境轴独立有放回重采样配置；(3) 在各配置下有放回重抽样动作 rollouts。通过 \(B=1,000\) 次重采样构建 95% 置信区间，消除了将整套基准当作单一硬币抛掷导致的覆盖率崩溃。
实验关键数据¶
主实验¶
在确定性基准与多因素变异基准（DigiWorld）上对比盲回放脚本（仅约 1MB 大小，不看屏幕）与真实前沿多模态大模型的成功率，以及前沿模型在 DigiWorld 上的全量综合性能。
| 基准环境 | 评测对象 | 成功率 (SR) | 评测机制特征 | 统计稳健性 |
|---|---|---|---|---|
| OSWorld | 前沿模型源策略 (Claude Opus 4.6) | 70.6% | 桌面系统, 静态单配置 | 高度易受轨迹记忆攻击 |
| OSWorld | ~1MB 盲动作回放脚本 | 71.1% | 无视觉输入, 盲目重放动作序列 | 反超前沿模型 (+0.5%) |
| MobileWorld | 前沿模型源策略 (Gemini 3 Pro) | 32.7% | 移动端, 静态快照初始状态 | 易受轨迹记忆攻击 |
| MobileWorld | ~1MB 盲动作回放脚本 | 41.5% | 无视觉输入, 盲目重放动作序列 | 大幅反超源模型 (+8.8%) |
| DigiWorld | 前沿模型 (Claude Opus 4.6) | 45.7% | 多因素多环境组合, 沙盒特权验证 | 真实反映视觉交互能力 |
| DigiWorld | 前沿模型 (Gemini 3 Pro) | 44.9% | 多因素多环境组合, 沙盒特权验证 | 统计区间与 Claude 重叠 |
| DigiWorld | 前沿模型 (GPT-5.4) | 26.2% | 多因素多环境组合, 沙盒特权验证 | 移动 GUI 交互显著落后 |
| DigiWorld | ~1MB 盲动作回放脚本 | 6.90% | 无视觉输入, 盲目重放动作序列 | 彻底失效断崖暴跌 (-38.8%) |
消融实验¶
评估不同统计置信区间与自举重采样策略在模拟与真实条件下的 95% 置信区间名义覆盖率，以及异质场景噪声下各层级自举重采样的必要性。
| 实验条件 | 置信区间 / 重采样聚合策略 | 95% CI 实际覆盖率 | 平均区间宽度 | 统计可靠性与失真说明 |
|---|---|---|---|---|
| 叶节点估计 (\(R=3\), 极值率) | 传统 Wald 渐近区间 (\(\hat{p} \pm z\sqrt{\hat{p}(1-\hat{p})/R}\)) | 25.0% | 0.000 (极值坍缩) | 遭遇 0 或 1 成功率时区间退化为 0，严重低估不确定性 |
| 叶节点估计 (\(R=3\), 极值率) | Wilson Score 分数区间 (本文采用) | 95.0% | 0.428 (非退化) | 极值与极小样本下均保持名义 95% 覆盖率 |
| 套件自举 (\(R=3\), 异质噪声) | 仅 Rollout 层级自举 (Roll only) | 17.0% | 0.013 | 完全忽略场景难度差异与环境轴变异，覆盖率崩溃 |
| 套件自举 (\(R=3\), 异质噪声) | 环境配置 + Rollout 自举 (Config + Roll) | 56.0% | 0.038 | 纳入环境轴变异，但遗漏场景模板间方差 |
| 套件自举 (\(R=3\), 异质噪声) | 完整分层自举 (Scenario + Config + Roll) | 95.0% | 0.065 | 完整捕捉三级方差源，达到理论名义 95% 覆盖率 |
| 决策损失 (Claude vs Gemini) | 传统 Wald 假设检验 | 9.8% 预期遗憾 | 虚报 3 款应用显著差异 | 因虚窄区间导致部署错误模型的概率大幅上升 |
| 决策损失 (Claude vs Gemini) | 完整分层自举检验 (本文) | 6.0% 预期遗憾 | 诚实报告不确定性 | 抑制过分自信，避免 3.8% 的模型错误上线部署损失 |
关键发现¶
- 盲回放彻底粉碎静态基准神话：在 OSWorld 与 MobileWorld 上，不带任何视觉感知的 1MB 盲脚本成功率分别达到 71.1% 与 41.5%，不仅全面通关更反超了提供轨迹的前沿大模型本身；而在具备多因素变异的 DigiWorld 上，回放成功率断崖式跌落至 6.90%（仅存残余在固定点击位置的退出登录、查看联系人等机械简单操作），有力证实了多维度环境变异能有效滤除伪泛化。
- 环境轴敏感度高度异质分散：通过各轴成对控制变量计算的平均绝对偏差（MAD）分析显示，实例参数（MAD=0.186）、数据档案（MAD=0.171）、视觉主题（MAD=0.161）、初始 UI 界面（MAD=0.144）均对模型成功率带来 14%~19% 的巨大扰动，且不存在单一主导轴。证明以往仅改变任务文本 prompt 的单轴基准无法代表真实的界面变化。
- 分层统计检验挽救部署决策：在 Claude Opus 4.6 与 Gemini 3 Pro 的对比中，传统 Wald 区间在 3 个应用上虚报了“具有统计显著差异”，从而使真实环境选型部署带来的预期遗憾高达 9.8%；分层自举准确识别出跨场景方差，将模型差异正确标定为重叠不确定区，挽回了 3.8% 的潜在部署损失。
亮点与洞察¶
- 回放等价性定理的严密揭批：将工程中观察到的“固定动作录制回放”升华为 \(\mathbb{E}[\mathrm{SR}(\pi_R)] = \mathrm{pass@}k(\pi)\) 的精确数学证明，一针见血地指明了在有状态交互 GUI 场景中套用代码评测 pass@k 的荒谬性——它测量的不是智能体的泛化适应力，而是离线脚本库对环境的暴力穷举记忆空间。
- PRISM 全要素移动端基准实现：摆脱了以往利用简陋 Web 玩具界面或完全不受控在线生产环境的妥协做法，全自研 15 款具备真实业务深度与完整 SQL 特权比对的 React Native 移动应用，且通过参数依赖推导与初始态平凡性过滤将 320 万配置的逻辑可用性闭环收拢。
- 分层方差解耦的方法论迁移价值：借鉴强化学习领域对统计断崖的反思，将评测视角从“点估计排位赛”拉回到具备统计严谨性的“多层方差解构”，不仅给出了即插即用的分层置信区间计算范式，更建立了一套通过环境变异轴精确定位智能体脆弱点（视觉样式敏感 vs 初始位置敏感 vs 数据规模敏感）的诊断工具箱。
局限与展望¶
- 跨平台工程迁移成本高昂：PRISM 原则虽然具备通用指导价值，但 DigiWorld 目前仅专注于 Android 移动生态；将此等高保真沙盒构建、参数化 SQL 特权状态探查和离线可行性校验流水线迁移至桌面端（Linux/macOS/Windows）或企业级复杂 Web 平台，需要极高的人工工程实现成本。
- 评测计算开销相对显著：相较于在单一配置上草率跑 1 次的静态评测，为了实现稳定的多轴分层自举统计推断，每个场景需进行组合采样与多次 rollout（主实验达 7,740 轮交互），对调用商业闭源大模型 API 的评测开销和容器并发调度提出了更高要求。
- 环境尚未涵盖长程多 App 串通与人机协同交互：当前任务主要聚焦在单 App 内部及 83 个组合多步任务上，未来需要进一步扩展支持操作系统底层权限弹窗、跨应用多租户联动及动态突发弹窗（如验证码、网络丢包中断）等不可控扰动的建模与验证。
相关工作与启发¶
- vs OSWorld / MobileWorld: 此类工作提供了丰富的真实 OS 或 Android 交互任务，但大多为静态单配置快照，极易被离线轨迹回放以 pass@k 的形式暴力破解；DigiWorld 引入独立解耦的四维环境变异与自动化完整性过滤，使盲回放彻底失效。
- vs WebVoyager / DigiData-Bench: 依赖在线真实服务或未经沙盒化的环境，评测结果受外部网络、UI 更新及 A/B 测试漂移影响严重，且依赖极易受攻击和幻觉困扰的 LLM-as-judge；本文坚持沙盒容器化环境与数据库级特权参数化 SQL 判定，杜绝了漂移和打分偏差。
- vs Deep RL at the Edge of the Statistical Precipice (Agarwal et al., 2021): 本文向其致敬，将 Atari 游戏环境中的统计稳健性反思深化推进至多模态 GUI 智能体领域，不仅将扁平的 stratified bootstrap 推广为适配 CUA 四层深层嵌套的层次自举法，还针对布尔型任务结果引入了 Wilson score 变换。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从理论与实证双重层面形式化击穿静态 CUA 评测与 pass@k 的回放作弊死穴，提出的 PRISM 准则体系与分层统计架构极具开创性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 15 款自研真实沙盒 App、387 个场景、超 320 万验证配置、3 款前沿顶级大模型与盲回放对比、严谨的数学证明与自举模拟标定，实验扎实完备。
- 写作质量: ⭐⭐⭐⭐⭐ 论证脉络极度清晰锐利，数学推导精准自洽，问题剖析深入本质，兼具批判性洞察与建设性方案。
- 价值: ⭐⭐⭐⭐⭐ 为整个计算机使用智能体与多模态交互评测领域确立了兼顾环境健壮性与统计严谨性的黄金基准规范，对阻断评测内卷具有里程碑意义。