跳转至

EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/MAPS-research/EvoGenUI-Bench
领域: LLM 推理
关键词: 生成式UI, 多轮交互演化, 可执行代码评估, 跨轮留存率, 工具调用接地

一句话总结

提出了多轮生成式 UI 演化基准 EvoGenUI-Bench(150 个 5 轮任务共 750 轮),构建了结合视觉截图、DOM、Playwright 交互轨迹、源码 diff 与运行时日志的多模态证据束,揭示了即使最强模型在单轮通过率达 74.9% 的情况下 5 轮完整任务通过率仅有 37.3% 的断崖式退化。

研究背景与动机

大语言模型已经展现出直接生成仪表盘、复杂表单、对比视图以及轻量交互式 Web 应用等任务特定界面的强大能力,使得生成式用户界面(Generative UI)正在成为大模型助手的一种全新直接响应模态。然而,现有的前端生成评测基准主要聚焦于单轮静态页面合成、单次多文件项目构建或由外部预设环境提供界面的网页智能体操作,这些设定人为割裂了“工件构建”与“任务交互”的紧密耦合。在真实的辅助场景中,用户并非每次都推倒重来生成独立页面,而是针对同一个正在运行的可执行工件,提出渐进式的过滤修改、约束变更与功能拓展需求。

这种多轮界面维护的核心矛盾在于:模型必须在满足新一轮增量请求的同时,完整保持前期依然有效的交互契约、派生状态传播以及前后端一致性。但在现有的多轮生成过程中,模型往往在满足局部新功能时,发生对前轮组件的灾难性遗忘、破坏本地状态机流动,或生成未绑定底层事件的“假按钮”(unwired controls)。传统的纯文本审查、静态代码解析或静态截图比对无法穿透可执行工件的运行时逻辑,难以辨别界面是功能完备的动态系统还是徒有其表的静态空壳,更无法评估跨轮修改中状态与契约的漂移。

为彻底解决多轮动态演化界面的评测盲区,本文将生成式界面的评测形式化为多轮可执行工件维护任务,构建了一个兼顾信息展示、状态交互与工具驱动真实运行时的大规模评测体系。核心 idea:将多轮生成式 UI 评测重塑为跨轮可执行工件的动态维护一致性测试,通过真实的浏览器端构建与自动化动作探测抓取多维证据束,并提出相邻轮次留存率(APR)等贯穿演化过程的统计可靠性指标,精准捕获多轮修改中的状态断裂与退化机制。

方法详解

整体框架

EvoGenUI-Bench 整体评测流程将 150 个精心设计的 5 轮累计修改任务(总计 750 轮)按轮次输入给大语言模型。模型在每一轮输入中接收当前用户请求、公开任务上下文、工具模式契约、前轮精简证据以及上一轮生成的完整源码,并被要求输出面向用户的自然语言回复与最新版本的完整 React 应用源码。评测底座在固定的 Vite/React 沙箱中尝试自动构建并将其挂载到 Chromium 浏览器中,由基于视觉大模型的自动化交互执行体(Actor)进行动作探测与操作,最终收集由渲染截图、最终 DOM、交互轨迹、源码变更和工具调用日志构成的多维证据束,由评测裁判依据隐藏的私有契约完成多维度打分与跨轮可靠性分析。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多轮用户请求与上下文<br/>(5轮增量对话 / 前轮源码)"] --> B["多场景任务集与私有验证契约<br/>展示型 · 交互型 · 工具状态接地"]
    B --> C["浏览器执行沙箱与动作探测<br/>Vite/React 构建 + Chromium Actor 交互"]
    C --> D["跨模态多表面证据束采集<br/>截图 · DOM · 交互轨迹 · 源码 · 运行时日志"]
    D --> E["三维证据评测与跨轮留存分析<br/>Presentation / Execution / Alignment + APR / CPT"]

关键设计

1. 多场景任务集与私有验证契约:针对单轮独立页面与静态模板无法覆盖复杂交互与状态流转的问题,构建覆盖信息展示、本地交互与外部工具驱动的三大任务套件,并严格隔离生成者视图与私有验证语义

现有基准多采用标准化单轮模板,缺乏对真实演化过程的动态压力。EvoGenUI-Bench 包含 150 个任务(涵盖 150 个互不重复的具体领域标签),均分为三个各含 50 个任务的子场景集:展示型(Presentation)专注密集信息的视觉层级与自适应排版;交互型(Interaction)测试包含本地复杂状态流转与联动视图的有状态微应用;工具接地型(Tool-grounded)则要求界面作为操作控制台,真实调用外部确定性 Mock 工具并调和运行时状态。为了杜绝数据泄露并防范投机式作弊,评测严格将面向生成者公开的用户指令、公开上下文和工具 Schema,与评测专用的私有验证契约(Private Validation Contract)解耦。私有契约针对每轮次平均制定多达 6.9 条显式可观测规则(展示型 3.0 条/轮、交互型 5.9 条/轮、工具型 11.9 条/轮),只按语义判定功能正确性,允许模型采用多样化但等价的交互路径。

2. 浏览器执行沙箱与动作探测:针对静态代码检查无法识别死按钮、渲染截断与伪造交互的问题,构建端到端无头浏览器执行环境与自动化探测 Agent 机制

以往的代码生成评估往往只验证能否过编译器,而难以发现“页面能跑但所有输入框和按钮都没绑定逻辑”的空壳应用。EvoGenUI-Bench 在每一次生成后,立即在标准化的 Vite + React 浏览器环境中执行真实构建(Build)。构建成功后,调用由视觉语言模型驱动的自动化动作执行体(Actor,默认使用 MiMo-V2.5)在真实无头浏览器中对界面进行主动探测。Actor 根据本轮用户诉求识别界面主操作路径,触发点击、输入、滑块拖动等具体动作,并监听控制台报错和真实的工具调用行为;若前序轮次构建失败,后续轮次直接判定阻断失败,绝不静默跳过或清空状态重来,从而真实反映多轮连续构建中依赖积累的脆弱性。

3. 跨模态多表面证据束采集:针对单模态评测容易出现误判以及无法精确定位故障机理的问题,整合渲染截图、DOM 树、执行轨迹、源码变更与运行时日志构成证据束

单一的视图容易被具有欺骗性的模型输出蒙蔽——例如模型在文字回复中声称已完成保存,甚至 UI 界面弹出了“保存成功”的静态 toast,但后台从未发起持久化网络请求;或者界面 DOM 中存在目标节点,但视觉上完全被截断重叠。该评测管道将收集到的多表面证据统一打包:包含完整页面刷新截图与最终 DOM(用于感知视觉层次与渲染质量)、Actor 交互动作轨迹与观察事件(用于判断组件响应与状态传播)、源码差异(用于确认组件结构变更)、以及真实工具与资源调用日志(用于核验后端状态接地)。评测模型严格基于此客观证据束进行审查,消除了缺乏运行时事实依据导致的幻觉偏见。

4. 三维证据评测与跨轮留存分析:针对孤立单轮评分无法反映多轮退化与历史契约破坏的问题,建立细粒度打分维度与相邻轮次留存率等演化统计指标

在单轮层面上,评测裁判依据客观证据束在三个维度分别给出 1–5 分的打分:展示质量(Presentation,界面排版、视觉层级与无遮挡可读性)、执行逻辑(Execution,当轮功能是否真正可用且历史有效契约未被破坏)、对齐一致(Alignment,模型文字回复、代码实现、UI 可视状态与工具日志之间是否完全吻合)。只有三个维度均达到 4 分及以上才计为该轮成功(Turn Pass, \(p_{T,t}=1\))。在演化序列层面上,论文提出了相邻轮次留存率(Adjacent Pass Retention, APR),定义为在上一轮成功且当轮正常生成的前提下,当轮继续保持成功的条件概率: $$ \text{APR}(S) = \frac{\sum_{T \in S} \sum_{t=2}^{N} e_{T,t} p_{T,t-1} p_{T,t}}{\sum_{T \in S} \sum_{t=2}^{N} e_{T,t} p_{T,t-1}} $$ 其中 \(e_{T,t} \in \{0, 1\}\) 表示第 \(t\) 轮是否成功获取到模型输出而非提供商故障。配合完整通过率 TP@5(整整 5 轮全部成功的任务比例)与连续通过轮数(CPT, Consecutive Passed Turns),形成了兼顾局部功能交付与长期系统演化一致性的统计评价体系。

实验关键数据

主实验

论文评测了涵盖八个主流模型家族的前沿模型(包括 GPT-5.5、Claude-Opus-4.7、Claude-4.5-Haiku、Qwen3.6-Plus、Gemini-3-Flash、Gemini-3.1-Pro、Qwen3-Coder 与 GLM-4.5-Air),每模型在 150 个任务的 750 个请求轮次上展开全面测试。

模型 展示型 TP (%) 交互型 TP (%) 工具型 TP (%) 全局 TP (%) 全局 TP@5 (%) 全局 CPT 全局 APR (%)
Claude-Opus-4.7 82.4 81.2 61.2 74.9 37.3 2.81 83.6
GPT-5.5 44.8 77.6 62.8 61.7 21.3 2.21 71.0
Claude-4.5-Haiku 76.0 56.0 21.2 51.1 13.3 1.61 65.7
Qwen3.6-Plus 60.0 46.8 25.2 44.0 7.3 1.32 61.7
Gemini-3-Flash 62.8 47.6 14.8 41.7 4.7 1.02 57.8
Gemini-3.1-Pro 38.4 25.2 7.2 23.6 6.7 0.69 68.6
Qwen3-Coder 44.0 21.2 4.4 23.2 2.0 0.77 42.2
GLM-4.5-Air 35.2 24.8 3.2 21.1 1.3 0.60 48.5
全模型均值 55.5 47.6 25.0 42.7 11.8 1.38 66.5

消融实验

论文在由人工多数表决标注的 240 个平衡参考案例集(120 例通过,120 例失败)上进行了评测证据源消融实验,验证多表面证据输入的不可替代性。

证据配置 裁判准确率 Acc. (%) \(\Delta \text{Acc.}\) (%) 精准率 Prec. (%) 召回率 Rec. (%) F1 值 (%) 说明
完整多表面证据束 (Full evidence) 87.5 — 86.9 88.3 87.6 包含源码、截图、交互轨迹与私有契约
去除交互动作轨迹 (No actor trace) 55.0 -32.5 54.7 58.3 56.5 无法探测点击响应与本地状态变化,降幅最大
去除私有验证参考 (No private reference) 63.8 -23.7 92.3 30.0 45.3 仅凭公开上下文评判导致召回率暴跌至 30.0%
去除源代码 (No source code) 67.5 -20.0 67.2 68.3 67.8 无法核验底层数据逻辑与属性绑定
去除页面截图 (No screenshot) 78.3 -9.2 78.3 78.3 78.3 无法捕获视觉重叠、截断与排版错乱

关键发现

  • 单轮通过率显著掩盖了全流程脆弱性:即使是综合表现最强的 Claude-Opus-4.7,其单轮通过率达到 74.9%,但当要求连续 5 轮修改完全正确时,其完整任务通过率(TP@5)骤降至 37.3%;全体模型平均的 TP 仅为 42.7%,而 TP@5 更是低至 11.8%,表明孤立的单轮成功极难转化为可持续的多轮可靠演化。
  • 跨轮演化在第二轮后遭遇断崖式下跌:全模型平均通过率在前两轮相对平稳(T1 约 55%,T2 约 50%),但在引入第三轮修改时突降至 39.4%,第四轮降至 35.1%。这种性能跌落尤以工具接地型最为剧烈(从 T2 的 39.5% 暴跌至 T3 的 18.5% 和 T4 的 14.0%),证实累积需求与外部状态维护带来了复合难度。
  • 不同场景呈现截然不同的失效机制:通过对 2,750 次执行失败案例的细粒度诊断分类,展示型任务的失败有 84.5% 集中在信息架构(布局重叠、排版杂乱、图表文字堆叠等);交互型任务的核心瓶颈在于派生状态传播失效(31.8%)与交互部件未绑定逻辑(19.9%);而工具接地型任务则呈现多元复合退化,派生状态失效占 25.0%,可供性绑定失效占 23.2%,外部状态接地不一致占 20.9%,需求遗漏占 18.5%。
  • APR 失败半数归因于历史功能倒退:对 110 个可归因的 APR 失败转移进行人工复核发现,58 个案例(52.7%)直接包含对前序已通过特性的破坏与回归,而非仅仅做不出新功能,这凸显了多轮持续开发中“保持既有契约不退化”的艰巨挑战。

亮点与洞察

  • 将 UI 评测从静态图像合成升维为可执行工件的一致性演化:区别于传统仅看渲染图或静态 HTML 的工作,EvoGenUI-Bench 确立了“行为、派生状态、外部状态与助手断言必须在多轮修改中保持同步”的全新评测基准,极为贴近真实 AI 编程助手的工作流。
  • 多表面证据束与动态 Actor 探测的设计极为巧妙:评测消融证明缺少动态交互轨迹会让评测准确率直接暴跌 32.5 个百分点,这揭示了只做静态页面打分的通用 LLM-as-a-judge 在交互场景中几乎等同于盲猜,必须借助自动化浏览器探针才能撕破伪装。
  • 条件留存率 APR 的提出为演化式开发评估提供了通用度量范式:通过将单轮成功作为前置条件来度量下一轮的留存能力,APR 巧妙解除了整体难度对连续留存测量的干扰,可直接迁移至各类长程智能体工作流、多轮代码重构与动态软件维护评估中。

局限与展望

  • 作者承认的局限性:基准基于固定在 React/Vite 框架下的合成任务,并未涵盖不同前端技术栈(如 Vue/Svelte)、移动端响应式布局、自然真实生产日志以及残障无障碍辅助(Accessibility)标准;APR 是宏观结果级留存指标,尚不能全自动完成每一步微观因果归因;工具环境采用确定性本地 Mock,未涵盖生产环境下的动态网络延迟、速率限制、鉴权丢失等真实故障。
  • 进一步深挖的局限:五轮对话采用单线线性追加,未考察用户中途推翻前序决策、分支回滚或部分撤销的非线性演变;此外评测完全依托大模型裁判打分,即使具备多维证据束,面对极其晦涩的深层领域逻辑时仍可能存在边缘裁决分歧。
  • 具体的改进思路:后续可探索引入更严苛的逆向/回滚任务设计,并将自动化探索探针扩展为能够深度遍历复杂状态机的确定性符号测试生成器,进一步强化工具接地层中对异步流式并发调用与非确定性 API 的容错校验。

相关工作与启发

  • vs FronTalk & MiniAppBench: FronTalk 关注多轮前端代码改写中的遗忘问题,但偏向轻量组件;MiniAppBench 强调单轮复杂交互应用的静态检查与探索。EvoGenUI-Bench 首次在 5 轮持续演化尺度上将交互应用与外部确定性工具调用状态完全打通,实现了端到端执行级验证。
  • vs SWE-bench & WebArena: SWE-bench 评测软件工程 Issue 解决,WebArena 评测智能体在既有网站中的浏览操作(环境给界面,模型做操作)。EvoGenUI-Bench 颠倒了交互关系——模型负责生成与修改界面,外部探针作为用户进行操作检验,形成了全新的评测闭环。
  • vs τ-bench & ToolSandbox: 状态化工具基准只关注工具调用的正确性和后端数据变更。EvoGenUI-Bench 则进一步要求将这些外部状态的操作与数据变更,通过动态、可交互且前后一致的前端界面完整暴露给终端用户。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性确立生成式 UI 多轮持续维护的一致性评估范式,填补了动态交互界面演化的评估空白。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个顶尖模型家族、750 轮执行轨迹、2,750 个失败案例细粒度诊断及证据消融,实验扎实可信。
  • 写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨,问题定义明确,图表可视化深入透彻,术语与指标定义规范。
  • 价值: ⭐⭐⭐⭐⭐ 为推动前端代码生成智能体从“一次性玩具页面生成”迈向“可靠且可持续维护的交互系统开发”奠定了核心基石。