跳转至

WebRISE: Requirement-Induced State Evaluation for MLLM-Generated Web Artifacts

会议: EMNLP 2026
论文: ACL Anthology
领域: 多模态VLM
关键词: MLLM网页生成, 状态契约图, 行为级评测, 交互状态一致性, 浏览器智能体

一句话总结

WebRISE 提出了首个面向多模态大模型生成交互式网页工件的需求诱导状态契约评测基准,将显式功能与隐式约束编译为交互契约图(ICG),通过自适应浏览器智能体与 DOM/视觉双通道断言进行执行诊断,揭示了当前模型在状态逻辑与边界反馈上普遍存在的交互一致性缺陷。

研究背景与动机

多模态大语言模型(MLLMs)正迅速从单纯的视觉界面理解、静态代码合成走向直接生成可执行的富交互网页工件(Web Artifacts)。用户能够通过文本需求、Markdown 结构布局、手绘草图、高保真截图甚至交互示范视频等多样化模态规格要求模型合成包含完整 HTML、CSS 与 JavaScript 的独立单页应用。然而,这一生成范式的跃升对传统评测基准提出了一个根本性挑战:一个由模型生成的网页,究竟在何时才能被判定为真正“可用”,而非仅仅在渲染视觉上“看起来合理”?

在真实的交互使用场景中,一个控制组件即便完整呈现,其背后的行为逻辑也可能彻底失效。例如,点击筛选条件可能并未同步过滤列表条目,修改购物车勾选状态可能未级联更新结算总金额,或者翻页与重置后丢失了历史交互上下文。现有评测协议大多采用模态割裂的局部证据评测机制,主要分为基于静态视觉还原度的视觉判定、预编译固定选择器的脚本断言、无约束开环探索的浏览器智能体或检查点(Checkpoint)式验证。这些方法存在两大系统性硬伤:其一是事件中心化评估,即仅核验单步操作是否有响应,却未显式定义和覆盖需求所衍生的完整状态空间与转移路径;其二是状态一致性鸿沟,即便单步点击产生了局部变化,系统也无法检测跨组件、跨视图、跨时序生命周期的状态违背与数据脏读。

针对现有基准在状态空间可枚举性与归因诊断能力上的缺失,本文认为评测交互式网页工件的核心在于验证其对需求衍生状态契约的遵从性,而非去比对参考实现代码或静态快照。核心 idea:将多模态网页生成任务形式化为需求诱导的交互契约图(ICG),以有限可观测稳定状态为节点、用户意图转换为边、DOM 与视觉双通道谓词为断言,驱动自适应浏览器智能体执行端到端契约遵从性检验,全面解耦显式功能交付与隐式状态一致性约束。

方法详解

整体框架

WebRISE 的评测流水线输入为用户级任务需求集 \(R_\tau\) 及其对应的 5 种输入模态规格(文本、Markdown、草图、图像、视频),待评测模型 \(f_\theta\) 根据输入生成自包含且可直接在无外部后端依赖的浏览器中执行的 HTML 工件 \(H\)。评测系统将任务规格规范化并编译为统一的交互契约图(Interaction Contract Graph, ICG)\(G_\tau = (S_\tau, T_\tau, \Phi_\tau, M_\tau)\)。在执行阶段,ICG 规范“评测什么”,一个基于无固定选择器的自适应浏览器智能体负责规划“如何执行”,随后由 DOM 与视觉双通道断言对过程证据与最终视觉状态进行判定,最终输出任务级、状态级与转移级的细粒度诊断指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态任务输入<br/>文本/MD/草图/图片/视频"] --> B["待测模型生成 HTML 工件"]
    C["任务需求规范化集<br/>显式功能 + 隐式约束"] --> D["交互契约图构建<br/>稳定状态/意图转移/双通道断言"]
    B --> E["自适应智能体契约执行<br/>动态索引 DOM/前置条件/轨迹重放"]
    D --> E
    E --> F["DOM 与视觉双通道判别<br/>过程变更 + 最终稳定视觉状态"]
    F --> G["细粒度诊断指标聚合<br/>S% / T% / Re% / Ri% / R%"]

关键设计

1. 交互契约图构建:将非结构化业务需求编译为解耦瞬态的有限状态转移网络 传统软件测试往往受限于私有选择器或全量 DOM 快照比对,无法跨模型的多样化前端代码泛化。WebRISE 首先对专家构建的任务集进行规范化,拆分为用户明示的显式功能需求(如搜索、过滤、拖拽、导航)以及产品级隐式约束(如跨组件同步、边界反馈、翻页重置、防抖与陈旧数据清理)。系统将需求映射为测试数据契约(Test Data Contract)与测试项,进一步编译为交互契约图 \(G_\tau = (S_\tau, T_\tau, \Phi_\tau, M_\tau)\)。其核心机制在于状态定义与瞬态解耦:状态集 \(S_\tau\) 仅包含需求相关的可观测、可稳定重放的 UI 稳态配置,而将加载指示器、保存提示 Toast、防抖过渡与临时禁用态等瞬态交互解耦出来,降维为附加在转移边 \(T_\tau\) 上的过程级谓词。这一设计使状态空间规模保持紧凑可控(平均每任务约 11.5 个状态与 12.4 个转移),同时通过覆盖映射 \(M_\tau\) 将底层转移判定精确归因到上层需求。

2. 自适应智能体契约执行:基于动态可操作 DOM 索引与轨迹重放隔离测试干扰 针对模型生成页面标签层级任意、类名与 ID 变动极大的特点,固定脚本测试极易误报。WebRISE 引入不依赖预编译脚本的自适应契约执行智能体。在每一步交互中,环境将实时网页页面序列化为精简的带编号可交互 DOM 视图,不仅提取原生控件,还动态识别具交互语义的 ARIA 属性、tabindex、光标样式与带事件监听的非标准组件,并在每次动作后重构局部动态索引。执行转移 \(t_j = (s_{\text{from}}^j, s_{\text{to}}^j, g_j, P_j, A_{\text{dom}}^j, A_{\text{vis}}^j)\) 时,智能体依据自然语言目标 \(g_j\) 自主执行点击、悬停、键入、拖拽甚至富文本连续选区操作。对于多分支状态图,系统通过重放先前已验证通过的稳定操作轨迹序列 \(\Pi\) 来精确恢复源状态 \(s_{\text{from}}^j\)。若源状态恢复失败或前置条件不满足,直接打上 SKIPPED 或 BLOCKED 标记,严格防止上游缺陷对下游独立功能的级联污染。

3. DOM 与视觉双通道判别:分离过程性证据捕获与最终用户可见稳态验证 单一评估通道常面临视觉幻觉或 DOM 虚假响应问题。WebRISE 设计了互补的双通道预言机:DOM 断言依托完整的交互事件日志与 DOM 差异快照,前缀 [CHANGE] 用于检验执行过程中瞬时发生的行为证据(例如异步请求期间是否呈现骨架屏或禁用按钮),前缀 [AFTER] 判定稳定状态下的属性与结构改变(如过滤后不可见项的类名或 ARIA 标记);视觉后置条件则比对交互前后的渲染截图差分,利用视觉大模型校验最终用户视域内的语义变化(如列表重新排序、画布图层隐藏、购物车总价重置为零)。双通道断言均遵循保守判定策略,只有明确匹配成功记为 YES,模糊或不确定证据均记为 UNCERTAIN 并视为未通过,确保聚合判定的严谨性。

4. 细粒度诊断指标聚合:多维正交投影量化状态可达性与隐式逻辑鸿沟 为了超越单一宏观成功率指标,WebRISE 构建了一套相互校验的度量投影体系。评测将各单步转移判定严格限定在 {PASS, FAIL, BLOCKED, SKIPPED} 四分类中,仅有源状态可达、智能体完成意图且双通道断言全过的转移才计入通过集合 \(T_\tau^{\text{pass}}\)。在此基础上衍生出度量状态图覆盖深度的状态可达率 \(S\%\)、度量局部动作交互正确性的转移有效率 \(T\%\),以及通过需求映射函数 \(C(\hat{R})\) 聚合的显式需求覆盖率 \(Re\%\) 与隐式约束覆盖率 \(Ri\%\)。这一解耦指标体系能够清晰揭示“显式界面控件能点通”与“底层隐式数据逻辑正确”之间的显微差异,为分析交互生成模型的失败瓶颈提供量化解剖基准。

一个完整示例

以电商购物车交互场景为例: 1. 源状态恢复与前置检验:系统根据预设历史轨迹重放操作,将页面置于“购物车内有且仅有一件勾选商品(单价 398 元,实付合计 398 元,结算按钮可用)”的稳定源状态 \(S_0\)。 2. 目标驱动交互:ICG 下发转移目标 \(g_j\):“取消勾选该商品的选择框”。自适应智能体解析动态 DOM 索引定位该 Checkbox 并触发反选。 3. 双通道证据检验: - DOM 过程断言判定:[AFTER] 检验结算按钮状态,预期应处于 disabled 状态。 - 视觉稳态断言判定:比对点击前后截图,预期勾选项小计归零,实付总金额更新为 0 元。 4. 失败归因判定:若模型生成的代码仅用 JS 切换了复选框勾选视觉状态,却未绑定商品计算响应逻辑,导致总价依然残留 398 元且结算按钮仍可点击。此时 DOM 断言判定为 NO,视觉判定判定为 NO,该转移判为 FAIL,准确归因为“State & Logic”下的跨组件数据一致性违背,而非“按钮无法点击”。

实验关键数据

主实验

WebRISE 在 442 个任务(涵盖 8 个领域与 35 个真实业务场景)、5 种输入模态上对 14 款代表性闭源与开源前沿大模型进行了系统性评测。下表摘录 14 款模型在各模态下的核心指标表现(转移有效率 \(T\)、总体需求覆盖率 \(R\) 与辅助视觉质量分 \(V\),以及整体宏观评分 Overall):

模型类型 模型名称 Text (T / R / V) MD (T / R / V) Sketch (T / R / V) Image (T / R / V) Video (T / R / V) Overall
闭源前沿 GPT-5.5 60.3 / 62.3 / 85.6 64.4 / 66.1 / 83.3 60.6 / 62.9 / 86.1 61.8 / 63.4 / 74.1 65.6 / 66.3 / 73.9 69.1
闭源前沿 GPT-5.4 59.7 / 61.4 / 78.4 60.5 / 62.2 / 79.8 57.8 / 60.3 / 86.6 60.0 / 62.1 / 71.5 63.1 / 64.8 / 73.7 66.8
闭源前沿 Claude Opus 4.7 48.8 / 50.9 / 68.3 54.5 / 56.5 / 76.2 49.7 / 52.4 / 77.4 57.0 / 58.5 / 70.5 65.0 / 66.1 / 72.7 61.6
闭源前沿 Gemini 3.1 Pro 50.7 / 53.6 / 69.7 58.9 / 61.5 / 79.2 52.2 / 54.9 / 84.8 54.5 / 57.1 / 72.2 52.0 / 54.9 / 71.6 61.9
闭源前沿 Qwen3.6-Plus 49.3 / 51.9 / 68.2 51.7 / 54.6 / 74.5 53.8 / 56.4 / 86.3 57.5 / 59.4 / 73.8 61.7 / 63.4 / 74.8 62.5
闭源前沿 Gemini 3 Flash 44.7 / 48.2 / 71.9 50.0 / 54.1 / 79.3 46.1 / 49.3 / 85.4 54.1 / 57.5 / 72.4 45.6 / 48.5 / 70.8 58.5
闭源前沿 Claude Opus 4.6 43.3 / 45.5 / 56.6 54.3 / 56.3 / 73.9 52.3 / 55.0 / 72.2 57.7 / 59.5 / 70.2 52.6 / 54.9 / 70.7 58.3
开源模型 Kimi-K2.6 44.6 / 47.3 / 83.1 51.7 / 54.9 / 87.1 47.8 / 51.5 / 86.3 58.5 / 60.4 / 73.2 63.7 / 65.4 / 73.5 63.3
开源模型 Qwen3.6-27B 47.9 / 50.9 / 75.3 57.5 / 60.1 / 83.0 50.4 / 53.3 / 87.2 55.2 / 57.8 / 74.1 54.2 / 57.2 / 74.1 62.5
开源模型 Kimi-K2.5 48.5 / 51.9 / 68.9 57.0 / 59.6 / 73.8 47.8 / 50.4 / 79.9 56.9 / 59.1 / 72.6 58.6 / 60.3 / 72.9 61.2
开源模型 Qwen3.5-397B-A17B 45.7 / 49.2 / 64.8 51.1 / 54.5 / 75.7 46.8 / 50.5 / 78.9 48.4 / 51.4 / 72.8 49.3 / 52.8 / 72.1 57.6
开源模型 Qwen3.5-27B 36.3 / 40.0 / 59.9 41.7 / 45.5 / 72.1 38.6 / 42.7 / 76.8 42.6 / 46.7 / 70.6 43.1 / 46.9 / 71.8 51.7
开源模型 Qwen3.5-122B-A10B 38.0 / 41.2 / 56.8 42.5 / 45.9 / 72.0 38.0 / 42.3 / 74.0 40.2 / 43.8 / 70.7 42.8 / 47.1 / 71.3 51.1
开源模型 Qwen3.6-35B-A3B 26.8 / 30.5 / 78.2 15.5 / 19.2 / 80.8 41.2 / 45.4 / 77.0 46.6 / 49.6 / 71.7 49.5 / 52.2 / 72.8 50.5

消融与诊断实验

下表展示了全模型在 5 种模态下的平均表现细分(显式需求覆盖率 \(Re\)、隐式需求覆盖率 \(Ri\) 及其落差 \(\Delta = Re - Ri\)),以及评测方法论的元评测消融数据(基于 25 个真实注入缺陷样本对比 ICG 契约评测与传统检查点式 WebGen 评测):

模态 / 评测方案配置 转移有效率 T 显式需求 Re 隐式需求 Ri 显隐落差 \(\Delta \downarrow\) 需求覆盖 R 辅助视觉 V 缺陷检出率 (DR)
模态均值:Text 46.0 56.4 43.0 13.5 48.9 70.4 -
模态均值:Markdown 50.8 61.1 47.6 13.5 53.7 77.9 -
模态均值:Sketch 48.8 60.1 45.4 14.7 52.0 81.4 -
模态均值:Image 53.6 62.8 50.8 12.0 56.2 72.2 -
模态均值:Video 54.8 61.3 53.6 7.7 57.2 72.6 -
评测灵敏度:ICG (本文) - - - - - - 16/25 (64.0%)
评测灵敏度:WebGen-宽口径 - - - - - - 8/25 (32.0%)
评测灵敏度:WebGen-严口径 - - - - - - 1/25 (4.0%)

关键发现

  • 交互式生成远未成熟:即使综合表现最佳的闭源顶尖模型 GPT-5.5,在其最佳模态(Video)下的转移有效率也仅有 65.6%,需求覆盖率为 66.3%,意味着在复杂多步交互中约三分之一的需求和状态转换完全失效。
  • 视觉质量无法代表可交互性:呈现出明显的“画皮”脱节现象。以 Qwen3.6-35B-A3B 在 Markdown 模态下为例,其辅助视觉质量分高达 80.8,但实际转移有效率仅为 15.5%,需求覆盖率仅为 19.2%。
  • 视频模态蕴含最强交互先验:相比于纯文本输入,交互演示视频输入使平均转移有效率提升 8.8 个百分点,整体需求覆盖提升 8.3 个百分点,更将显式与隐式需求之间的鸿沟从 13.5 压缩至 7.7 个百分点,表明连续时序示范对于模型补齐隐式业务逻辑具有显著作用。
  • 状态与逻辑更新构成绝对瓶颈:在 GPT-5.5 与 Kimi-K2.6 的错误归因分析中,“State & Logic”错误独占近六成(分别为 57.2% 与 59.7%),其次为反馈与边界处理(24.6% 与 23.5%),表明当前大模型并不缺乏放置按钮或监听点击的能力,而是在跨组件状态响应和数据持久化机制上存在严重短板。

亮点与洞察

  • 将交互评测重构为状态契约图(ICG):提出用有向状态转移图对齐多模态需求,巧妙将瞬时交互过程(如加载遮罩)挂载为转移边上的谓词断言,将多模态网页的功能性与一致性转变为数学上可验证的图遍历问题。
  • 动态索引 DOM 与无选择器自适应执行:通过运行时重新分配短期动态索引,彻底摆脱了前端自动化测试长期对特定类名、DOM 路径或脆弱选择器的强绑定,兼顾了多样化代码风格与评估确定性。
  • 状态重放隔离测试副作用:在非线性状态探索中利用历史有效动作轨迹进行前置稳态复原,有效杜绝了传统单测流水线中前置失败引发下游断言大面积误报的“雪崩效应”。

局限与展望

  • 受限于自包含单页工件:目前 WebRISE 评测环境专注运行在无服务端后端的独立 HTML/JS/CSS 页面中,尚未涵盖多用户并发交互、后端分布式微服务、数据库事务持久化及真实身份认证等全栈工业级场景。
  • 有限状态图覆盖范围局限:尽管 ICG 由领域专家梳理并经过严格的 Ground-Truth 代码验证,但其依然是任务需求的一个有限离散投影,无法穷尽用户可能进行的所有极端异常操作分支。
  • 未来方向:可进一步将沙盒化后端 API 契约与虚拟数据库引入交互状态图,扩展支持长周期会话管理与跨应用端到端工作流评估。

相关工作与启发

  • vs WebCoderBench / FrontendBench: 后者主要依赖静态源码分析或固定预编译脚本断言,只要模型生成的 DOM 结构或属性命名稍有变动就会判定失败;WebRISE 采用基于语义意图的智能体驱动与动态索引,实现完全与具体实现细节无关(Implementation-Agnostic)的功能判定。
  • vs WebGen-Bench / VibeCodeBench: 传统检查点(Checkpoint)式智能体评测仅观察最终页面是否展示出了目标文本或元素,无法感知状态泄露、历史记录覆盖或未同步的隐式数据;WebRISE 通过 ICG 的连贯状态链与双通道断言,使状态级缺陷检出率提升了 2 至 16 倍。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将多模态网页生成的黑盒交互验证提升到形式化的需求状态契约图与过程/稳态解耦高度。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 14 款主流大模型、5 种输入模态、442 个任务、过万个断言点,且提供了严谨的人工一致性与缺陷注入元评测。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论建模清晰,形式化表述与图表设计精细紧凑,问题意识与实证分析高度连贯。
  • 价值: ⭐⭐⭐⭐⭐ 彻底扭转了前端代码生成中“以画代跑”、“以脚本测死”的评测弊端,为交互式大模型前端研发指明了关键逻辑短板。