MedSPOT: A Workflow-Aware Sequential Grounding Benchmark for Clinical GUI¶

会议: ECCV 2026
论文: ECCV 原文 / 项目页
代码: https://github.com/Tajamul21/MedSPOT
领域: 医学图像
关键词: 临床 GUI 接地 / 顺序接地基准 / 多模态大模型 / 早停评测协议 / 失败分类体系

一句话总结¶

MedSPOT 是第一个面向临床软件界面的「工作流感知顺序接地」基准：在 10 个真实医学影像软件上录制 216 个交互任务、标注 597 个关键帧，把 GUI 接地重写成 2–3 步状态依赖的点击序列，并用「首次错误即终止」的严格协议与六类失败分类体系评测 16 个 MLLM——最强模型 GUI-Actor 的任务完成率仅 43.5%，而人类标注者达到 82.22%。

研究背景与动机¶

GUI 接地（GUI grounding）要解决的是把一句自然语言指令映射到界面上一个精确可点击的元素。这个方向近几年推进得很快：ScreenSpot 把评测铺到移动端、桌面与网页三平台，ScreenSpot-Pro 进一步推向高分辨率专业软件，暴露了模型在密集小控件上的严重退化；Mind2Web、OmniACT 引入了多步浏览任务，OSWorld-G、AssistGUI 把评测搬到真实桌面环境；模型侧则有 UI-TARS 把感知、统一动作建模与 System-2 推理揉进一个端到端 agent，GUI-Actor 干脆用专门的 <ACTOR> token 做无坐标回归的接地。但这些基准有一个共同的设定前提：它们把接地当成一个孤立的预测问题——给一张截图和一句指令，看模型点得准不准；即便支持多步交互，各步之间也基本相互独立打分，做错了不影响后面的评测。

这个前提在临床软件里会立刻失效。诊断阅片器、放疗计划系统、病历看板这类医学 GUI 的特点是工具栏密集、菜单层级深、图标语义高度专业且彼此相似，而且真实临床流程本身就是一串有因果依赖的操作：先加载 DICOM 序列，才能在序列间导航；先选中检查，才能删除或导出。这意味着一次接地错误不只是「这一步错了」，它会改变界面的下一状态，让后续所有步骤脱离原本的轨迹——在安全攸关的医疗场景里，这种早期错误的传播代价远大于多花几次点击。问题在于，评测侧几乎是空白的：现有 GUI 基准清一色面向通用软件，而医学多模态基准（GMAI-MMBench、OmniMedVQA、MedSG-Bench）以及医学视觉接地工作 VividMed，评的都是静态图像的推理与定位，不涉及软件界面里的交互流程。通用 GUI 基准和医学基准各自成熟，唯独「顺序接地 × 安全攸关的临床界面」这个交叉点没有人碰过。

填补这个空白的时机正好成熟：Orthanc、Weasis、3D Slicer、ITK-SNAP、MITK、RadiAnt 等一批开源医学影像软件已经足够普及，可以在真实产品里录制完整的操作流程，而不必靠合成截图来伪造医学界面；同时 MLLM 输出归一化坐标点也已经是事实上的标准接地范式，模型侧的比较对象是现成的。本文的设计选择因此非常克制：不合成界面、不发明新任务，而是把已经存在的真实临床操作视频切成可判分的关键帧序列，再用一条不宽容的评测规则把「顺序」这件事真正压进分数里。核心 idea：把 GUI 接地从「单帧坐标预测」重新定义为「状态依赖的空间决策序列」，并用首次错误即终止的协议与六类失败分类，把错误传播和对界面结构的系统性误解都显式测出来。

方法详解¶

整体框架¶

MedSPOT 的「方法」不是一个新的网络，而是一套把真实临床操作转成可判分顺序接地任务的构造与评测装置，输入是医学软件的 GUI 交互视频，输出是一套带步级标注的任务基准和一份能刻画错误传播的评分。整条链路可以拆成四段：先给出顺序接地的形式化定义（一个任务是一串互相依赖的帧—指令—动作三元组），再沿标注管线把原始录屏切成关键帧、逐帧标注语义目标与归一化包围框，然后在评测时用「首次错误即终止」的协议统计最长正确前缀，最后把每一步的失败按六类界面结构错误归档做诊断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["临床软件交互视频<br/>10 平台 · CT/MRI/PET/X 光/超声"] --> B["顺序接地的任务形式化<br/>2–3 步状态依赖的点击序列"]
    B --> C["临床 GUI 数据构建与标注管线<br/>抽帧 → 标注 → 任务构造"]
    C --> D["首次错误即终止的顺序评测协议<br/>取最长正确前缀"]
    D -->|全部步骤正确| E["任务完成 TCA"]
    D -->|首次出错即终止| F["六类失败分类体系<br/>记录错误类型"]
    E --> G["SHR / S1A / WPS 汇总"]
    F --> G

关键设计¶

1. 顺序接地的任务形式化：把一次点击预测改写成状态依赖的决策序列

大多数接地数据集把样本定义成「指令 + 截图 → 坐标」的独立配对，MedSPOT 把它换成一个时序结构。数据集按软件平台组织，\(D = \bigcup_{s \in S} D_s\)，每个平台 \(s\) 下有 \(N_s\) 个任务工作流 \(D_s = \{T_i\}_{i=1}^{N_s}\)，而一个任务 \(T\) 是一串有限有序的交互步 \(T = \{(I_t, s_t, A_t)\}_{t=1}^{T}\)：\(I_t\) 是第 \(t\) 步的 GUI 帧，\(s_t\) 是自然语言指令，\(A_t\) 是对应的真值动作。动作进一步拆成三部分 \(A_t = (a_t, y_t, B_t)\)——\(a_t \in \mathcal{A} = \{\text{click}\}\) 是动作类型，\(y_t\) 是目标的语义描述，\(B_t = (x, y, w, h) \in [0, 100]^4\) 是用百分比坐标表示的归一化包围框。之所以要把「语义目标描述」和「包围框」并列标注，是因为它要求模型同时学两件事：从指令和画面定位区域 \(P(\text{region} \mid s_t, I_t)\)，以及认出这个区域是什么控件 \(P(y_t \mid I_t)\)——后者正是把「点到了位置」和「点对了图标」区分开的关键。

真正把 MedSPOT 和以往多步基准分开的是步与步之间的状态依赖：下一步的界面取决于上一步执行的动作，即 \(P(I_{t+1} \mid I_t, a_t)\)，因此第 \(t\) 步接地错误会让后续动作全部失去意义。这条约束不是写作上的修辞——它直接决定了后面的评测规则必须对早期错误敏感，也正是「workflow-aware」在本文里的确切含义：不是简单地允许多步交互，而是承认每一步都改变下一帧的观测条件。

2. 临床 GUI 数据构建与标注管线：从真实交互视频切出可判分的关键帧

数据全部来自真实软件而非合成界面。作者在 10 个开源医学影像平台上录制完整的交互工作流，覆盖 CT、MRI、PET、X 光、超声五种模态，并把平台分成三类界面形态：DICOM/PACS 阅片器（109 个任务）、分割与研究工具（70 个任务）、网页版阅片器（37 个任务）。规模上共 216 个任务视频、597 个标注关键帧，平均每个任务 2–3 个互相依赖的步骤；按功能分，视图/显示类最多（81 个任务），其次是导入/加载（32）、导出/保存（24）、导航/缩放（21）、标注/测量（20）、工具/调整（19）、设置/配置（19）。这个分布本身就说明了临床工作流的重心——阅片器的主要使用时长相较少量操作更偏「看」，所以 VQA 式的静态图像问答完全覆盖不到这些操作。

标注管线分三步走。步骤抽取：录屏序列 \(V_i = \{F_1, \dots, F_n\}\) 中有大量无意义的过渡帧，作者只保留一个最小的有序决策帧子集——每帧必须对应一次有意义的交互决策，且保证相邻帧之间真的发生了可见的界面状态跃迁（\(F_t \neq F_{t+1}\)），从而得到一条因果一致的紧凑序列。帧级标注：在 Label Studio 里对每帧标出 \(A_t = (I_t, s_t, y_t, B_t, a_t)\)，即指令、目标的语义描述（例如「DICOM 检查列表」）、包围框和动作类型；标注者先在界面上框出目标区域，再写指令与语义目标，最后通过「与源视频核对」的质量检查。任务构造：每一步写成 \(\text{step}_t = (\text{id}_t, I_t, s_t, A_t)\)，按时间排序 \(\text{step}_1 < \cdots < \text{step}_T\)，一段录屏对应一个完整任务，任务之间互不重叠（\(T_i \cap T_j = \varnothing\)）。这样就形成了 step → task → software → dataset 的四级层级结构。这种「按状态跃迁切帧」的做法是这条管线里最本质的设计：它保证了相邻两步之间界面确实变了，模型无法靠记住同一张图上某个位置反复得分，也让每一步的难度都来自真实的界面状态，而不是标注者的切分口味。（标注者间一致性见原文补充材料 I。）

3. 首次错误即终止的顺序评测协议：用最长正确前缀度量错误传播

评测规则是这篇论文最锋利的部分。给定帧 \(I_t\)、指令 \(s_t\) 与交互历史 \(H_t\)，模型输出点击坐标 \(\hat{p}_t \sim P(p \mid I_t, s_t, H_t)\)，也可以输出 top-\(K\) 个候选点 \(\hat{P}_t = \{\hat{p}_{t,k}\}_{k=1}^{K}\)。真值框从归一化百分比换算到像素后记为 \(B_t = (x_1, y_1, x_2, y_2)\)，判定规则很朴素：只要有任意一个预测点落在框内（\(x_1 \le \hat{x} \le x_2\) 且 \(y_1 \le \hat{y} \le y_2\)）就算命中；对于按视觉 patch 输出预测的模型，额外允许一个容差区域 \(\hat{B}_p = (\hat{x} \pm \delta, \hat{y} \pm \delta)\)，只要它与真值框有交集就接受。这个容差是必要的工程妥协，否则 patch 粒度的模型会被网格对齐问题系统性判错。

顺序协议则写成一个前缀条件：记每步的对错 \(\delta_t = 1\) 当且仅当 \(\hat{p}_t \in B_t\)，取最长正确前缀 \(k = \max\{t \mid \forall i \le t, \delta_i = 1\}\)，一旦某步出错就立刻停止该任务的评测，只有当 \(k = T\)（所有步骤都正确）时任务才算完成。作者给出这个设计的形式化理由：它等价于最大化联合概率 \(\prod_{t=1}^{T} P(\hat{p}_t \in B_t \mid H_t)\)，若单步准确率是 \(p\)，则整任务完成率大致按 \(p^{T}\) 衰减。这条公式揭示了为什么单步分数会高估真实可靠性——在 \(T\) 步任务上，即使每步 80% 准确，全对概率也只剩约 51%，而两步任务里第一步错了就再也拿不到分。相比之下，常规做法把各步独立平均，等于把「第一步就点飞」和「最后一步点飞」算作同样的损失，掩盖了临床流程里早期错误的破坏性。

配套的四个指标各自承担一个视角：TCA（Task Completion Accuracy）是所有步骤都正确的任务占比，最严格；S1A（Step-1 Accuracy）只看第一步是否点对，用来剥离顺序叠加效应、单独观察初始感知与指令对齐能力；SHR（Step Hit Rate）统计首次失败之前正确完成的步数占全部可评测步数的比例，衡量早停条件下的顺序推进程度；WPS（Weighted Prefix Score）是作者新引入的指标，用指数衰减给靠前的步骤更高权重：

\[\text{WPS} = \sum_{i=1}^{n} \alpha^{i-1} s_i, \quad s_i = 1 \text{ 表示第 } i \text{ 步正确}, \quad \alpha = 0.8\]

它度量的是「正确前缀有多长、以及有多靠前」——同样是两步正确，发生在前两步和发生在后两步得分不同，因此 WPS 对早期错误的惩罚是连续的，而 TCA 是 0/1 的。⚠️ 原文此处把 \(n\) 写作任务中的步数，\(\alpha = 0.8\) 为指数衰减因子；表格中 GUI-Actor 的 1.2 与人类平均的 2.167 均落在两步/三步任务的理论量程内（两步上限 1.8，三步上限 2.44），与公式自洽。

4. 六类失败分类体系：把错误定位到界面结构而非笼统的「预测错了」

仅有 0/1 的对错无法解释模型为什么在医学界面上失效，因此作者定义了一套覆盖空间精度与语义混淆两个维度的六类失败标签：Edge Bias（预测点系统性偏向界面边缘，通常是模型对密集工具栏区域的注意力先验出了问题）、Far Miss（偏离真值框很远，属于完全没有定位到目标）、Near Miss（点得很近但落在框外，暴露 patch 粒度或坐标回归的精度极限）、No Prediction（模型没有给出有效坐标，常见于小模型输出格式失稳）、Small Target（失败发生在面积很小的控件上）、Toolbar Confusion（点到了相邻或相似的工具栏图标——这是医学阅片器最典型的一类错误）。这套标签的价值在于可诊断性：同一个 0% 的 TCA 分数，背后可能是「模型根本不会输出坐标」和「模型点得准但认错了相邻图标」两种完全不同的病理，而它们的改进路径完全不同——前者要修输出格式与训练数据规模，后者需要更细粒度的图标语义区分能力。分类结果也印证了这一点：小型通用 MLLM 的错误高度集中（LLaMA 以 No Prediction 为主，DeepSeek-VL2 以 Far Miss 为主），而界面专用模型（GUI-Actor、UI-TARS、Aguvis、OS-Atlas）的失败分布更分散、更像「难度驱动」的正常退化。

一个完整示例¶

原文 Fig. 8 给出了 DICOMscope 上一个三步任务「Delete the selected study from the browser menu」，可以完整看到早停协议是怎么起作用的。第一步指令是「Select a study from the 'Browser' menu」，真值框为 \([2.7, 15.5, 11.05, 2.38]\)（百分比坐标）；GUI-Actor 输出归一化点 \([0.0736, 0.1765]\)（即 7.36%, 17.65%），落在框内通过；GPT-5 输出绝对像素 \((291, 151)\)，被判为 Near Miss——任务在第一步就终止，后面的删除与确认再也评估不到。第二步指令是「Click on the 'Delete' Icon from the toolbar」，真值框 \([9.38, 5.75, 1.67, 2.98]\)，宽度只有全图 1.67%，属于典型的小目标工具栏图标；UI-TARS 预测 \((135, 80)\)、CogAgent 预测 \([0.119, 0.07]\)，都被判为 Toolbar Confusion——点到了相邻的工具栏控件，同样触发早停。第三步指令是「Confirm the deletion of the selected study」，真值框 \([47.21, 52.38, 2.34, 2.98]\)，只有 GUI-Actor 一路走到这里并命中，成为图中唯一完成整个任务（TCA 得 1）的模型。

这个例子同时暴露了一个工程细节：四个模型的坐标表示并不统一——GUI-Actor、CogAgent 输出 0–1 归一化坐标，UI-TARS、GPT-5 输出绝对像素。评测时必须按各自约定解释输出，否则会把格式差异误判成接地能力差异。它也最直观地解释了本文的论点：GUI-Actor 并非在每一步上都碾压对手，而是它是唯一一个没有在早期犯错的模型，因而在早停协议下被放大成唯一的成功者——这正是 workflow-aware 评测想要奖励的性质。

实验关键数据¶

主实验¶

原文在 MedSPOT 上评测了 16 个 MLLM（2 个闭源 + 14 个开源），全部使用严格顺序协议，结果如下（SHR / S1A 为百分比，WPS / TCA 见表）：

模型	参数量	SHR (%) ↑	S1A (%) ↑	WPS ↑	TCA (%) ↑
GPT-4o mini	–	4.91	5.14	0.051	0.0
GPT-5	–	16.4	16.5	0.185	2.8
Llama 3.2 Vision-Instruct	11B	0.0	0.0	0.0	0.0
Qwen2-VL-Instruct	7B	1.83	1.87	0.02	0.0
DeepSeek-VL2	16B	2.7	2.8	0.03	0.0
Gemma 3	27B	3.7	1.3	0.04	0.0
Mistral-3-Instruct	8B	6.14	6.0	0.064	0.0
UGround-V1	7B	10.17	8.88	0.107	0.93
SeeClick	–	4.3	9.3	0.11	1.4
Qwen2.5-VL-Instruct	7B	19.3	33.17	0.48	12.6
CogAgent	9B	37.8	27.1	0.45	15.4
Aguvis	7B	54.8	44	0.75	26.7
OS-Atlas	7B	55	45	0.8	26.6
UI-TARS 1.5-VL	7B	66	57.5	1.0	30.8
Qwen3-VL-Instruct	8B	46.6	63.0	1.1	35.0
GUI-Actor	7B	49.6	65.0	1.2	43.5

为了判断基准本身是否可解，作者还做了一次小规模人类基线研究：4 位标注者在相同的截图、指令和同一套早停协议下评测 45 个任务。

模型	TCA (%)	S1A (%)	SHR (%)	WPS
人类平均（4 位标注者）	82.22	94.44	94.06	2.167
GUI-Actor（最强模型）	43.50	65.00	49.60	1.200

消融实验¶

（a）顺序评测 vs 单步评测。 作者对比了两种协议：Sequential 要求全部步骤按序成功且早停，Single-Step 则各步独立打分、不强制时序依赖。原文 Fig. 7a 显示，所有模型上顺序协议的分数都低于单步分数，落差从约 2 个百分点到约 35 个百分点不等；越强的模型反而落差越大（GUI-Actor、Qwen3-VL、UI-TARS 这一档的落差最大），因为它们的单步能力已经不错，剩下的差距全部来自顺序叠加。这说明用单步准确率来代表任务可靠性会系统性高估模型能力。⚠️ Fig. 7a 的逐模型落差数值在原文 PDF 中为叠排小字，此处只保留趋势与量级，精确数值以原文为准。

（b）目标尺寸阈值。 作者按归一化包围框面积把步骤分成三档（小目标 \(< 4\times10^{-4}\)、中目标 \(4\times10^{-4}\)–\(3\times10^{-3}\)、大目标 \(\ge 3\times10^{-3}\)），并在 Conservative / Default（本文设定）/ Relaxed 三种阈值配置下重复统计：

阈值配置	被划为小目标的步骤数	说明
Conservative	1	阈值极严，小目标档几乎为空，评测退化成中/大两档
Default（本文）	311	主实验采用的划分（\(< 4\times10^{-4}\) / \(4\times10^{-4}\)–\(3\times10^{-3}\) / \(\ge 3\times10^{-3}\)）
Relaxed	1,421	大量中等面积元素被划入小目标档

三种配置下模型的排序保持稳定，小目标档始终是最难的一档，所有模型在密集 DICOM 阅片器和标注工具里常见的小控件上都明显退化。这说明难度来自界面本身而不是阈值的人为设定。其中 Qwen2-VL 在各个尺寸档上都接近零准确率，反映其对细粒度医学 GUI 的空间精度严重不足。（⚠️ 表中三档阈值下的中/大目标样本数原文仅以柱状图标注，此处不做换算。）

（c）失败分类分布。 对每一次错误步骤记录失败类型后，不同模型家族呈现出截然不同的病理：

模型	参数量	Edge Bias	Far Miss	Toolbar Confusion	Near Miss	No Prediction	Small Target
Llama 3.2 Vision-Instruct	11B	49	7	4	0	134	19
Qwen2-VL-Instruct	7B	129	26	28	0	0	27
DeepSeek-VL2	16B	30	152	0	2	0	30
Gemma 3	27B	34	44	110	0	0	25
Mistral-3-Instruct	8B	109	64	13	2	0	26
UGround-V1	7B	62	66	55	4	0	25
SeeClick	–	103	41	21	11	2	29
Qwen2.5-VL-Instruct	7B	20	40	78	10	10	26
CogAgent	9B	57	43	36	3	16	26
Aguvis	7B	42	84	31	4	0	23
OS-Atlas	7B	48	49	28	5	6	21
UI-TARS 1.5-VL	7B	20	55	30	0	0	22
Qwen3-VL-Instruct	8B	16	35	40	6	21	18
GUI-Actor	7B	26	26	21	1	24	17
GPT-4o mini	8B–10B	62	36	88	2	0	25
GPT-5	–	13	67	97	3	0	27

关键发现¶

通用 MLLM 在临床 GUI 上近乎完全崩塌。 Llama 3.2 Vision-Instruct、Qwen2-VL-Instruct、DeepSeek-VL2、Gemma 3 的 TCA 全为 0%，参数量从 7B 铺到 27B 也无济于事，SHR 均低于 6%。闭源侧同样脆弱：GPT-4o mini 的 TCA 为 0%，GPT-5 虽把 SHR 提到 16.5%、S1A 提到 16.5%，TCA 仍只有 2.8%——它偶尔能点对第一步，但撑不住多步执行。这说明参数量与通用多模态预训练不会自动转化为结构化临床界面里的可靠空间接地：医学 GUI 要求像素级精度、要在视觉上高度相似的工具栏图标之间做区分、还要理解层级化的界面组织，这与自然图像推理的能力曲线不是同一条。
从 S1A 到 TCA 的陡降是普遍规律。 性能层级稳定呈现 TCA ≪ SHR < S1A。Qwen3-VL-Instruct 的 S1A 高达 63.0%，TCA 却掉到 35.0%；GUI-Actor 拿到最高 S1A（65.0%），任务完成率也只有 43.5%；UI-TARS 的 SHR 最高（66%），TCA 仅 30.8%。这正是早停协议 + 状态依赖共同造成的误差复合：单步错误率即使不高，在 \(p^{T}\) 的衰减下也会把整任务完成率压下去。准确的第一步接地不等于可靠的流程执行，这是本文最想传达的结论。
界面专用架构优势明显但仍不够用。 Aguvis 与 OS-Atlas 都在约 55% SHR / 26% TCA 一档；CogAgent 的 SHR 有 37.8%，TCA 却只有 15.4%，说明它在多步约束下退化更严重；最强的 GUI-Actor 也只有 43.5% TCA——即便最先进的模型也完不成一半的任务，工作流感知的临床 GUI 接地仍然是开放问题。
WPS 与 TCA 高度一致，且能刻画「靠前的正确」。 GUI-Actor 同时拿到最高 WPS（1.2）与最高 TCA（43.5%），其后是 Qwen3-VL-Instruct（1.1 / 35.0%）与 UI-TARS（1.0 / 30.8%）；通用 MLLM 的 WPS 接近 0，反映它们几乎在最早几步就失败。WPS 补上了 TCA 的 0/1 粗糙度：它奖励「错得晚」，因此更适合用来观察模型的部分流程能力。
失败模式在模型家族之间高度结构化。 LLaMA 被 No Prediction 主导（134 次，占其失败的大头）、DeepSeek-VL2 被 Far Miss 主导（152 次）、Qwen2-VL 与 Mistral-3 被 Edge Bias 主导（129 / 109 次）；闭源侧 GPT-5 的失败最集中于 Toolbar Confusion（97 次）与 Far Miss（67 次），GPT-4o mini 同样是 Toolbar Confusion（88）+ Edge Bias（62）。相反，界面专用模型的失败分布更分散，更像随难度上升的正常退化。Small Target 失败在所有 16 个模型上都稳定存在（12–18% 量级），说明紧凑工具栏图标是 DICOM 阅片器的固有难点。
软件难度差异显著。 原文 Fig. 6a 按各模型平均 TCA 给十个平台排难度：RadiAnt 与 Orthanc 最难（正文称 RadiAnt 5.8%、Orthanc 低于 10%），ITK-SNAP 最易（正文称 30.4% 平均 TCA），其余多落在 10–25% 区间。⚠️ 原文正文与 Fig. 6a 的柱标数值不一致（图注中 ITKsnap 标 27.2%、RadiAnt 标 5.3%，与正文的 30.4% / 5.8% 对不上），此处按「正文 + 图形两处口径并存」如实记录，不替原文统一。逐模型的平台表现也说明没有模型能在所有软件上均匀泛化：GUI-Actor 在 ITKsnap 上达 70%、MicroDicom 58%、Orthanc 50%，Aguvis 拿到单项最高分（ITKsnap 80%）但在 RadiAnt、GinkgoCADx 这类密集界面上波动很大，Qwen2.5-VL 在 3D Slicer（20%）、BlueLight（25%）上尚可，在 DICOM 密集型工具上则直接崩塌。
人类基线证明基准可解。 4 位标注者的 TCA 达 82.22%、S1A 94.44%、SHR 94.06%、WPS 2.167，几乎在所有指标上大幅领先最强模型（GUI-Actor 的 TCA 43.5%）。这说明 MedSPOT 对人是清晰可解的任务，当前的差距来自模型能力而不是任务定义含混。

亮点与洞察¶

把「顺序」真正压进分数里，而不是当成多步数据的附属属性。 以往多步 GUI 基准允许各步独立打分，MedSPOT 用前缀条件 + 早停把顺序依赖变成评分的硬约束，并给出 \(\prod P(\hat{p}_t \in B_t \mid H_t)\) 与 \(p^{T}\) 的形式化解释。这个设计的可迁移性很强：任何有状态依赖的 agent 评测（软件操作、机器人长程任务、多轮工具调用）都可以直接借用「最长正确前缀 + 早停」的协议，代价只是必须接受更低的绝对分数。
WPS 是一个便宜但有效的补充指标。 指数衰减加权让「错在第几步」变成连续信号，权重的唯一超参（\(\alpha = 0.8\)）可解释为「每往后一步，价值打八折」。相比 TCA 的 0/1，它能在小规模基准上提供更细的模型区分度——这对于只有几百个任务的基准尤其重要。
失败分类体系的诊断价值大于分类本身。 六类标签把「0% TCA」拆成了不同的病理：No Prediction 主导说明输出格式与规模问题，Far Miss 主导说明感知定位完全失败，Toolbar Confusion 主导说明细粒度图标区分能力不足。LLaMA 与 GPT-5 都是低分模型，但前者该去扩数据/稳格式，后者该去加强局部图标语义——这套分类给改进方向提供了依据，是可以直接搬到其他 GUI 评测里的分析工具。
按界面状态跃迁切帧是关键帧标注的通用做法。 「只保留使 \(F_t \neq F_{t+1}\) 的决策帧」这样一个简单约束，同时解决了三件事：任务变紧凑、相邻步不可靠位置记忆作弊、每一步难度都来自真实界面。任何从录屏构造交互基准的工作都值得复用这条规则。
「医学 × GUI」这个交叉口提醒了一件事：医学多模态评测长期停留在静态图像与问答上，而临床软件的操作能力才是落地瓶颈。MedSPOT 把这条缺口显式化，也为后续的临床 GUI agent 训练提供了可直接用作 RL/SFT 信号的步骤级标注。

局限与展望¶

作者承认的局限：基准目前是单语言的；规模有限（216 个任务视频）；只支持点击（click）一种动作，排除了拖拽、滚动、文本输入等常见交互；评测只做空间接地（判断预测坐标是否落在真值框内），抽象掉了更丰富的交互语义；严格早停虽然更贴近真实，但会因为第一次错误就作废后续步骤而低估模型的部分流程能力。
规模与统计效力：216 个任务、597 个关键帧的体量比起 ScreenSpot（1,272）、ScreenSpot-Pro（1,581）、OmniACT（9,802）明显偏小，逐软件的结论建立在个位数到几十个任务上（例如 Ginkgo CADx 只有 12 个任务），跨平台排序的置信区间可能较宽；人类基线也只在 45 个任务上做过。扩大规模或给出置信区间会让「哪个软件最难」这类结论更稳。
每个任务只有 2–3 步，而真实临床流程常常是十几步的长程操作。多步误差复合的结论虽然在 \(p^{T}\) 的框架下可以外推，但基准并未直接测过长程任务，实际曲线（模型会不会中途自我纠错、界面跳错之后能否恢复）仍未被观察。这是最值得扩展的方向。
只做点击判定的评测会漏掉「点对了但意图错」的情形：命中真值框即算对，但同一界面上可能有多个视觉相似、功能不同的图标，框选粒度决定了容错边界；原文对 \(\delta\) 容差的具体取值与它对各模型（尤其是 patch 型模型）的影响没有展开，这部分直接关系到跨模型比较的公平性。
可改进方向：把动作空间扩到拖拽/滚动/输入，加入「错误后自我恢复」的评测分支（类似于允许一次重试的部分得分），并给出多语言版本；同时把失败分类从人工事后归档推向自动判定，才能真正用于大规模训练反馈。

评分¶

新颖性: ⭐⭐⭐⭐ 首个把「工作流感知」与「顺序接地」结合到临床软件界面的基准，任务形式化、早停协议与六类失败分类共同构成了一个此前不存在的评测维度；方法层面无新模型。
实验充分度: ⭐⭐⭐⭐ 16 个 MLLM + 人工基线 + 顺序/单步与目标尺寸两组消融 + 失败分类分布 + 逐软件分析，覆盖面完整；但基准规模仅 216 任务、人类基线仅 45 任务，逐软件结论的统计效力有限。
写作质量: ⭐⭐⭐ 动机与协议定义清楚、指标公式完整，但正文与图 6a 的软件难度数值不一致、部分表格为叠排小字难以核对，图 5/7 的可读性较差。
价值: ⭐⭐⭐⭐ 为临床 GUI agent 提供了可直接使用的步骤级评测与训练信号，早停协议和失败分类可迁移到任何有状态依赖的 agent 评测场景。