SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?¶

会议: NeurIPS 2026
arXiv: 2605.15777
代码: https://github.com/UniPat-AI/SaaS-Bench
领域: LLM Agent
关键词: 计算机使用智能体, SaaS 基准评测, 长程工作流, 跨应用协同, 错误级联

一句话总结¶

提出了基于 23 个真实可部署 SaaS 系统的计算机使用智能体评测基准 SaaS-Bench，设计了覆盖 6 个专业领域的 106 个长程工作流任务，揭示了前沿大模型在真实企业级端到端任务上解决率低于 4% 的脆弱性与级联失败机制。

研究背景与动机¶

计算机使用智能体（Computer-Using Agents, CUAs）正在推动大语言模型从单纯的静态文本生成走向在操作系统、网页浏览器及图形用户界面（GUI）中执行复杂物理动作。然而，现有的 Web 和 GUI 智能体评测基准（如 WebArena、VisualWebArena、OSWorld 及 WorkArena 等）往往依赖合成沙盒、孤立的单一网站环境或仅需数步点击的短程交互。这种设置不仅系统复杂度低，更掩盖了真实数字化业务中不可避免的后端业务逻辑、数据库约束、跨应用上下文流动与动态状态转移，导致学术界对智能体实际能力的系统性高估。

在现代知识工作中，软件即服务（Software-as-a-Service, SaaS）平台承载了绝大多数生产力流程（如 CRM、ERP、财务记账、工单流转等）。这些企业级真实环境具备全套前后端交互约束、持久化数据库状态以及横跨多系统的严密业务依赖，其标准工作流通常包含数十甚至数百步交互。以往评测即便涉及企业平台，也普遍局限于单系统内部，缺乏真正要求在异构 SaaS 之间打通数据链路的长程任务。当智能体面对真实的复杂表单约束、异步状态更新与层级实体关联时，往往在早期发生语义偏差，而这种偏差在长程依赖链条中会被无情放大。

面对真实企业级复杂性与现有基准过度简化之间的鸿沟，评估智能体在具有真实经济价值的高价值场景中的落地能力成为迫切需求。核心 idea：基于真实可本地容器化部署的 23 个开源 SaaS 软件构建跨 6 大领域的 106 个复杂长程任务基准 SaaS-Bench，通过严格的状态与内容加权多检查点（Checkpoints）验证，系统揭示前沿模型在长程规划、状态追踪、跨系统上下文维持与闭环纠错上的深层短板。

方法详解¶

整体框架¶

SaaS-Bench 的核心构建目标是打造真实、可复现、长程且严谨可验证的企业级工作流评测基准。整个系统围绕 23 款涵盖前后端完整逻辑的生产级开源 SaaS 软件展开，将其划分为 6 大专业垂直领域。为了保证任务的高专业度与可验证性，系统设计了端到端的任务合成流水线，并通过标准浏览器交互框架（browser-use）在受控容器集群中驱动智能体执行，最后由多维度验证器执行加权判定。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然语言任务指令<br/>+ 登录凭证与应用入口"] --> B["真实可部署 SaaS 环境矩阵<br/>Docker 容器化 23 款企业软件"]
    B --> C["四阶段任务构建流水线<br/>种子定义→生成循环→静态与执行双重审核"]
    C --> D["统一步骤执行框架<br/>22 项原子动作与浏览器严格交互"]
    D --> E["多粒度检查点加权验证机制<br/>状态检查 + 规则匹配 + LLM-Judge"]
    E --> F["双重评测指标输出<br/>Resolved 严格通过率 & Checkpoint 加权进度分"]

关键设计¶

1. 真实可部署 SaaS 环境矩阵：保障全动态业务逻辑与沙盒可复现性 以往基准多采用静态网页镜像或合成玩具接口，缺失底层数据库完整性约束与复杂外键关联。SaaS-Bench 精选了 23 款生产级真实开源 SaaS 系统，覆盖软件工程与项目管理、业务运营与财务、医疗管理、团队协同与文档流转、手工艺农食供应链以及独立媒体创作 6 大垂直领域。所有应用均采用 Docker 独立容器化封装，对外仅暴露标准浏览器访问入口。为了赋予系统真实的业务语义背景，基准深度解析应用 SQL 数据模式（Schema），结合实体语义与业务逻辑注入由大模型合成或开源数据清洗的高保真业务数据。在每次评测任务执行前后，沙盒自动执行环境还原，严格锁定配置、初始数据库快照和版本，兼顾了生产级软件的动态交互复杂度与科学评测所需的零污染可复现性。

2. 四阶段任务构建流水线：专业角色驱动与专家双重闭环审校 为了避免随机抽取软件功能拼凑出脱离现实的伪任务，SaaS-Bench 建立了严密的四阶段任务生成与过滤机制。首先在种子定义阶段抽象真实业务角色（项目经理、财务专员、医疗管理员等）及其日常职责链路；随后在合成循环中采用 Builder-Challenger-Refiner 架构，由 Claude Opus 4.6 充当生成器产生跨应用依赖模板与具体数据实例，由领域专家担任质疑者与修正者，重点审查歧视性、可执行性与多模态资产的真实依赖度；最后分别经过静态规则审核（扣分制排除孤立 CRM 填表、无意义并行操作、说明过度泄漏等反模式）与人工执行轨迹验证。整个严格流程使任务淘汰率高达 55%，最终沉淀的 106 个任务中 93.4% 跨越 2 个及以上 SaaS 系统，平均交互步数超过 100 步。

3. 统一步骤执行框架：限制特权访问的黑盒浏览器交互 智能体评测完全置于黑盒交互协议之下，统一基于 browser-use 框架运行。智能体无法直接访问数据库连接、内部 RESTful API、底层宿主系统命令或评测断言代码，其输入仅包含任务自然语言说明、系统 URL 入口以及用户凭证。操作空间收敛为 22 项受控原子动作，涵盖页面级交互（点击 click、输入 input、按键 send_keys、滚动 scroll、下拉选择 select_dropdown、文件上传 upload_file、标签页切换等）、本地文件暂存与读取，以及结束信号 done，且严格禁用了任意 JavaScript 注入执行（evaluate）。这迫使智能体必须如同真实人类员工一样，完全依赖视口截图渲染与 DOM 结构感知理解界面，在真实的 UI 响应延迟与异步加载中维持状态追踪。

4. 多粒度检查点加权验证机制：区分严格解决与部分执行进展 长程任务极易因末端琐碎步骤失误导致单一的二元判定失真，掩盖智能体中途取得的实质性成果。SaaS-Bench 将每个任务解构为具有业务权重（Weight）的检查点集合，覆盖三大验证类型：State-Check（穿透底层数据库 DB、后端 API 返回、数字阈值容差以及系统文件/消息发送情况）、Content-Check（正文抽取正则匹配与结构化字段验证）以及针对开放式主观内容的 LLM-Judge。由此输出双重评价指标：

\[ \text{Resolved Score} = \prod_{i=1}^{N} \mathbb{I}(\text{Checkpoint}_i = \text{Pass}) \]

\[ \text{Checkpoint Score} = \frac{\sum_{i=1}^{N} w_i \cdot \mathbb{I}(\text{Checkpoint}_i = \text{Pass})}{\sum_{i=1}^{N} w_i} \]

式中 \(N\) 为任务包含的检查点总数，\(w_i\) 为第 \(i\) 个检查点的业务重要性权重。该设计既保留了全流程零差错的严格通过标准，又量化刻画了复杂多步骤长链中的阶段性完成度。

实验关键数据¶

主实验¶

在统一设定的受控环境下，对业界 14 款代表性前沿大模型与智能体架构进行了全任务评测，统计各模型的平均执行步数、各领域加权进度分（Checkpoint Score）以及全流程严格解决率（Resolved Score）。

模型	平均步数	文本领域得分	多模态领域得分	Resolved 通过率 (%)	全局加权得分 (%)
Claude Opus 4.7	175	42.8	46.3	3.8	43.9
GPT-5.5 High	200	42.1	47.6	1.9	43.8
Claude Opus 4.6	257	40.7	48.7	1.9	43.2
GPT-5.4 High	252	33.0	46.1	3.8	37.0
Kimi K2.6	269	30.1	43.5	0.9	34.1
Qwen 3.6 Plus	249	23.1	45.5	1.9	29.9
Kimi K2.5	270	23.6	37.0	0.0	27.7
Gemini 3.1 Pro	140	20.6	42.4	0.0	27.1
Doubao Seed 2.0 Pro	216	19.8	44.2	1.9	27.1
Gemini 3.5 Flash High	324	17.6	36.5	0.9	23.3
Claude Sonnet 4.6	155	18.7	33.9	0.9	23.3
DeepSeek V4 Pro (纯文本)	236	21.5	—	1.4	—
GLM-5.1 (纯文本)	166	17.4	—	0.0	—
MiniMax M2.7 (纯文本)	256	15.8	—	0.0	—

消融与深入分析实验¶

针对多轮尝试（Pass@k）、任务结构复杂度以及检查点执行阶段衰减对智能体表现的影响进行了系统解构。

分析维度	配置 / 阶段	典型表现 (Opus 4.6 / 代表模型)	规律与机制说明
采样尝试 Pass@k	k=1 (单次基线)	全局得分 ~43.2%	单次运行存在显著随机性与分支死锁
采样尝试 Pass@k	k=2 (二次尝试)	相对 k=1 增益约 +5.2%	重复执行可修正局部非确定性操作失误
采样尝试 Pass@k	k=3 (三次尝试)	累计增益达 +8.0%	依然无法突破长程上下文迷失的系统性上限
涉及应用数复杂度	1 个 SaaS 应用	平均完成分 ~53%	单应用内上下文闭环，无跨系统信息转移磨损
涉及应用数复杂度	≥3 个跨应用	平均完成分骤降至 <20%	跨系统凭证流转、实体键对齐严重衰减
检查点阶段衰减	前期检查点 (Early)	通过率保持高位 (~65%)	任务初期表单导航与常规录入准确率较高
检查点阶段衰减	后期检查点 (Late)	通过率直线滑坡至 <25%	长程上下文累积导致注意力稀释与未纠错漂移

关键发现¶

严格端到端完成率的全面崩塌：即便顶级模型如 Claude Opus 4.7 和 GPT-5.4 High，在 106 个真实长程任务中的端到端完全解决率（Resolved Score）最高仅为 3.8%，多数模型在 0% 到 2% 之间徘徊，说明现有智能体面对企业级真实长程闭环流程几乎无法商用。
长程复合脆弱性（The Fragility Principle）：检查点得分（23%~44%）与严格解决率（<4%）呈现戏剧性的断层。数学上，若 \(N\) 个连续步骤单步通过率为 \(p\)，全链路成功率为 \(p^N\)；当任务平均步骤破百、检查点达 10~20 个时，即使单个检查点胜率达到 95%，12 个检查点的连乘通过率也仅有 \(0.95^{12} \approx 0.54\)。智能体在长程执行中哪怕遗漏一个隐蔽日期，整个任务便宣告失败。
早期实体语义偏离引发致命错误级联：在多应用协同任务中（如 CRM 联通 ERP 和票务），智能体常因 UI 显示项混淆（例如在 BigCapital 中把个人联系人误录为客户主体），导致下游所有挂载的发票、收款与流水账单全部丢失主键关联。这种静默错误无法通过页面浅层报错捕获，直接造成下游 30% 权重连锁清零。
缺乏闭环复核导致虚假自满：轨迹分析表明，智能体在意识到输入错误（如账单日期填错）并尝试修正后，普遍不会再次刷新页面核对结果，而是在终止阶段自信宣称“已成功处理”，展现出严重的开环自我评估假象。

亮点与洞察¶

跳出合成玩具沙盒，直面真实 SaaS 的数据与业务约束：基准不采用简化的网页 demo，而是把真实生产级 CRM、ERP 等 23 个系统拉起在容器中。这迫使智能体直面企业软件严苛的外键绑定、必填字段联动与动态列表翻页，极大提升了评测的工业现实意义。
揭示了“执行效率”与“简单步数”的本质解耦：Gemini 3.5 Flash High 消耗了全场最高的 324 步，整体得分却仅为 23.3%；而 Opus 4.7 仅用 175 步即取得最高分。这表明智能体能力的本质不在于盲目发动作，而在于高价值动作的转化率与精准路径规划。
指明了 Agent 架构从“开环生成”转向“闭环反思验证”的必要演进路径：实验暴露了智能体在长程交互中“知错而不查验”的痼疾，证明未来实用级计算机使用智能体必须内置显式状态回查（State Verification Loop）与一致性断言机制。

局限与展望¶

作者承认的局限：目前基准任务规模受制于高强度的人工专家审核闭环（106 个），虽然质量极高但覆盖的极端长尾业务变体仍有扩充空间；此外，当前评测统一采用 browser-use 框架，尚未全面横向对比不同 GUI 驱动底层（如原生 OS 截屏点击与 DOM 解析引擎）对模型的潜在架构偏差。
独立观察的局限：评测环境中禁用了智能体直接写 JS 的特权操作以确保复现公平，但在企业真实生产力辅助中，混合使用 API/脚本与 GUI 点击往往是人类熟练工与混合 Agent 的常态；全走纯 UI 操作放大了机械性填写疲劳。
改进思路：后续工作可探索构建基于双层 Agent 架构的执行范式（规划审计智能体 + 低级 UI 执行智能体），引入针对关键实体键的外挂式持久记忆与运行时契约校验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次在 23 款真实可部署 SaaS 系统上建立了跨应用、高复杂度、长程的计算机使用智能体评测体系。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 款主流前沿模型、跨领域加权与严格多指标、Pass@k 深入消融以及详实的错误根因案例复盘。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰，实验图表严谨精美，对长程复合脆弱性与级联失败机制的理论与案例分析鞭辟入里。
价值: ⭐⭐⭐⭐⭐ 犹如给当前乐观的 GUI 智能体领域泼了一盆冷静的冷水，为推进 CUA 迈向真正可靠的商业级交付指明了核心技术断点。