Dental-TriageBench: Benchmarking Multimodal Reasoning for Hierarchical Dental Triage¶
会议: EMNLP 2026
论文: ACL Anthology
领域: 医疗 LLM
关键词: 口腔分诊、多模态推理、层次化多标签分类、思维链、遗漏风险
一句话总结¶
提出首个面向门诊分诊决策的专家标注多模态基准 Dental-TriageBench,结合全景曲面断层片(OPG)与患者主诉,构建涵盖 8 个粗粒度专科领域与 22 个细粒度治疗标签的层次化分诊任务,评测 21 个多模态大模型并揭示其相比人类初级牙医普遍存在以遗漏为主的欠分诊瓶颈。
研究背景与动机¶
口腔门诊分诊是临床诊疗入口处的安全关键关卡,临床医生必须在缺乏椅旁确诊测试的情况下,根据就诊时的异构多模态线索决定患者应当进入哪些专科转诊路径。在门诊初诊场景中,患者陈述的主诉(Chief Complaint)反映其主观感知到的症状与就诊诉求,但往往无法精准定位解剖病灶,也容易忽略无症状的潜在并发病变;全景曲面断层片(OPG)则能完整暴露全口牙齿及颌骨周围软硬组织的结构性异常。真实口腔分诊本质上是一个跨模态综合临床决策过程,要求医生同时权衡主诉意图与全景影像证据,识别多处共存病变,并将其精准映射为符合临床规范的完整转诊方案。
然而,现有的口腔 AI 评估基准绝大多数局限于任务特定的单项计算机视觉任务(如牙齿编号检测、充填物识别)或开放式视觉问答(VQA)与影像报告生成,从未触及门诊分诊决策的核心挑战。在临床实际中,分诊错误具有极强的后果不对称性:过度转诊仅会增加后续专科医生的排查负荷,而漏转诊则会直接遗漏临床关键病变并延误必要治疗,引发严重医疗安全风险。现有模型即使能生成看似专业流利的口腔描述文本,也往往无法在复杂的长尾分布与多病因并发场景下提供完整、低遗漏的转诊覆盖。
针对这一临床空白,本文旨在构建一个贴合真实门诊工作流的多模态临床决策基准。核心 idea:以门诊真实主诉与 OPG 全景影像为基础,构建首个经资深牙医双重标注并附带临床推理轨迹的层次化多标签分诊基准 Dental-TriageBench,通过系统评测 21 款前沿多模态大模型与人类牙医基线,系统揭示当前 AI 在多专科复合病例中的遗漏型安全短板。
方法详解¶
整体框架¶
Dental-TriageBench 将口腔多模态分诊严格建模为一个带临床解释生成的层次化多标签预测任务。输入样本由双模态线索组成:患者的文本主诉 \(X_{\text{text}}\) 与对应的全景曲面断层片 \(X_{\text{img}}\)。模型需要联合推断出二元多标签向量 \(\mathbf{y} \in \{0, 1\}^{|L|}\)(其中主评测任务空间包含 \(|L| = 22\) 个细粒度治疗标签,且可上卷至 8 个粗粒度专科领域)以及支撑该转诊决策的自然语言临床推理链 \(R\)。整个基准包含真实病例清洗去标识化、双专家独立双盲标注与争议裁决、层次化分类体系构建以及基于临床根因的评测与大模型裁判流水线:
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态临床输入<br/>主诉文本 + OPG全景放射影像"] --> B["双专家标注与共识仲裁<br/>双盲标注与争议裁决"]
B --> C["层次化分诊标签体系<br/>8个粗粒度专科 ↔ 22个治疗标签"]
C --> D["零样本多模态联合推理<br/>输出结构化JSON决策与推理链"]
D --> E["临床根因裁判分析<br/>跨家族LLM多数投票根因归因"]
关键设计¶
1. 临床真实工作流驱动的病例收集与双专家独立标注:构建高一致性黄金推理链
既有医疗大模型基准常采用合成问答或单医生粗标注,难以保证临床真实性与仲裁严谨度。Dental-TriageBench 从大学附属牙科教学医院门诊病历档案中回顾性筛选了 246 例真实的已去标识化门诊病例,完整保留了门诊就诊时的真实长尾分布与多病变并发特征。两名持有行医执照的资深口腔专科医生独立双盲审查每例主诉与 OPG 配对样本,不仅核验结构化标签,还撰写黄金临床推理链。初轮双盲标注的 Cohen's \(\kappa\) 高达 0.83,仅约 5% 的病例存在标签分歧,最终通过面对面专家研讨形成完全共识的权威标签与推理轨迹。
2. 层次化治疗导向分诊体系:解耦专科宏观路由与细粒度资源配置
临床分诊并非最终的病理诊断,而是在有限辅助检查条件下进行的安全风险分层与医疗资源分配。针对以往研究将分诊与终末诊断混淆的弊端,本文设计了双层标签体系:上层包含 8 个粗粒度专科领域(牙周病科 Perio、牙体牙髓科 Cariology、牙髓病专科 Endo、冠修复科 Crowns、固定桥修复 Bridges、活动义齿修复 Denture、种植科 Implants、口腔颌面外科 OMFS),解决“去哪个科室”的宏观路由;下层细化为 22 个治疗导向标签(例如前牙根管治疗与磨牙复杂根管治疗分离、单颗牙种植与多颗牙种植分离、简单拔牙与复杂阻生齿外科门诊手术分离)。这种划分贴合教学医院将不同复杂度的病例分流至实习医生或高资历专家的资源调度需求。
3. 基于临床根因的层次化五维错误归因分类学:穿透标签表象定位认知瓶颈
针对传统分类指标(F1、EMR)无法解释模型决策机理的局限,研究团队归纳了五项临床医生导向的错误维度,并确立严格的自顶向下互斥归因层级: 1. 幻觉(D5 Hallucination):模型凭空捏造主诉与影像中完全不存在的解剖结构或病理(如臆造下颌阻生齿); 2. 主诉忽视(D1 Chief Complaint Neglect):模型推理完全遗漏患者提出的核心痛点或就诊诉求; 3. OPG 影像发现遗漏(D2 OPG Finding Omission):模型未提及影像中专家标出的明确病灶(如广泛骨吸收、残留牙根); 4. OPG 影像错误解读(D3 OPG Misinterpretation):虽定位到病变位置但严重误判其深度与严重程度(如将深龋误判为浅龋); 5. 分诊协议未对齐(D4 Protocol Misalignment):影像病理识别完全正确,但在转化为临床转诊规则时违背协议规则(如深达牙髓的龋齿未转诊牙髓专科)。
为了规模化评估这五种细粒度错误,作者采用 Gemini-3-Pro、GPT-5.4 与 GLM-5 组成跨模型家族多数投票裁判机制,在 100 例资深医生校验样本上取得了 94.6% 的高判别准确率。
损失函数 / 训练策略¶
本基准主要评估各主流多模态模型在零样本(Zero-Shot)提示下的固有临床推理与分诊能力。提示词统一规范输出为包含 22 个细粒度治疗项的严格 JSON 结构(0/1 二值化)及 200 字以内的临床推导字符串。若模型输出 JSON 格式解析异常,最多允许三次结构自愈重试;重试失败则借助轻量模型(Gemini-2.0-Flash)在不改变任何临床预测语义的前提下进行保形 JSON 结构化抽取。
实验关键数据¶
主实验¶
论文对 9 款商业闭源大模型、8 款开源通用大模型、4 款医疗专用大模型进行了全面基准测试,并邀请 3 名初级住院医师在相同条件下作为人类基线。
| 模型类型 / 名称 | 细粒度 Macro-F1 | 细粒度 Macro-Recall | 细粒度 Micro-F1 | 细粒度 Exact-Match | 粗粒度 Macro-F1 | 粗粒度 Micro-F1 | 粗粒度 Exact-Match |
|---|---|---|---|---|---|---|---|
| 人类医生基线 (Human Avg) | 0.402 | 0.431 | 0.525 | 0.083 | 0.562 | 0.727 | 0.272 |
| 闭源前沿模型 | |||||||
| Gemini-3-Flash | 0.302 | 0.310 | 0.459 | 0.049 | 0.488 | 0.656 | 0.220 |
| Gemini-3-Pro | 0.294 | 0.262 | 0.447 | 0.118 | 0.493 | 0.641 | 0.224 |
| Claude-Opus-4.7 | 0.288 | 0.298 | 0.420 | 0.077 | 0.463 | 0.634 | 0.171 |
| GPT-5.5 | 0.284 | 0.242 | 0.422 | 0.098 | 0.437 | 0.581 | 0.195 |
| Claude-Sonnet-4.5 | 0.269 | 0.275 | 0.350 | 0.024 | 0.442 | 0.565 | 0.130 |
| GPT-5.2 | 0.272 | 0.239 | 0.404 | 0.041 | 0.398 | 0.576 | 0.215 |
| Kimi-K2.5 | 0.249 | 0.204 | 0.348 | 0.053 | 0.393 | 0.537 | 0.187 |
| Grok-4 | 0.232 | 0.187 | 0.329 | 0.094 | 0.392 | 0.529 | 0.187 |
| Qwen-VL-Max-Latest | 0.222 | 0.206 | 0.283 | 0.037 | 0.398 | 0.517 | 0.183 |
| 开源通用模型 | |||||||
| Ministral-3-14B-Instruct-2512 | 0.189 | 0.158 | 0.247 | 0.029 | 0.327 | 0.453 | 0.163 |
| MiMo-VL-7B-RL | 0.125 | 0.093 | 0.175 | 0.020 | 0.266 | 0.386 | 0.146 |
| Qwen2.5-VL-7B-Instruct | 0.101 | 0.077 | 0.148 | 0.024 | 0.191 | 0.301 | 0.102 |
| InternVL3_5-8B | 0.088 | 0.056 | 0.093 | 0.016 | 0.176 | 0.196 | 0.045 |
| GLM-4.1V-9B-Thinking | 0.072 | 0.050 | 0.086 | 0.016 | 0.133 | 0.182 | 0.069 |
| 医疗领域模型 | |||||||
| MedGemma-27b-it | 0.121 | 0.094 | 0.173 | 0.029 | 0.266 | 0.357 | 0.130 |
| Lingshu-7B | 0.076 | 0.056 | 0.115 | 0.012 | 0.172 | 0.277 | 0.094 |
| HuatuoGPT-Vision-7B | 0.074 | 0.058 | 0.101 | 0.004 | 0.121 | 0.188 | 0.061 |
| MedGemma-1.5-4b-it | 0.059 | 0.036 | 0.068 | 0.008 | 0.116 | 0.140 | 0.041 |
消融实验¶
论文通过模态消融实验检验了主诉与放射影像结合的必要性,并量化了单病例层面多模态融合带来的性能增益(\(\Delta \text{F1} = \text{F1}_{\text{Fusion}} - \max(\text{F1}_{\text{Text}}, \text{F1}_{\text{Image}})\))。
| 评测模型 | 仅主诉 (CC-only) F1 | 仅放射片 (OPG-only) F1 | 多模态结合 (CC+OPG) | 病例级 \(\Delta \text{F1} > 0\) 占比 | 病例级 \(\Delta \text{F1} > 0.1\) 占比 | 病例级 \(\Delta \text{F1} > 0.2\) 占比 |
|---|---|---|---|---|---|---|
| Claude-Sonnet-4.5 | 0.282 | 0.305 | 0.350 | 17.1% | 13.0% | 11.0% |
| Gemini-3-Flash | 0.385 | 0.412 | 0.459 | 26.0% | 17.5% | 10.2% |
| GPT-5.2 | 0.298 | 0.327 | 0.404 | 35.4% | 34.1% | 27.6% |
关键发现¶
- 显著的人机性能鸿沟:在最贴近真实分诊需求的 22 个细粒度标签下,表现最佳的模型(Gemini-3-Flash)Macro-F1 仅为 0.302,大幅落后于初级牙医人类均值 0.402(配对自助法 5000 次重抽样置信区间 [0.059, 0.140] 严格排除 0),特别是在衡量全面转诊覆盖的 Macro-Recall 指标上,人类(0.431)相比最前沿大模型保持压倒性优势。
- 开源通用模型与医疗专用模型的局限:开源通用模型中仅 Ministral-3-14B 勉强达到 0.189 Macro-F1;而以 MedGemma-27B(0.121 Macro-F1)为代表的现有医疗专属多模态模型表现同样低迷,表明既有的通用医学图像后训练并不能自然泛化至高精度颌面解剖结构识别与分诊决策。
- 复杂度与遗漏风险急剧恶化:78.9% 的临床真实病例需转入至少两个专科领域。人类医生在 1 个领域到 5+ 复合领域病例中的 Micro-F1 表现极度稳健(0.548 仅微跌至 0.565);而所有 MLLM 均发生剧烈性能滑坡(Gemini-3-Pro 从 0.586 骤降至 0.357,GPT-5.2 从 0.461 降至 0.280)。深入的根因分析表明,OPG 发现遗漏(D2 OPG Finding Omission)在所有模型错误中高居榜首,多模态大模型普遍更倾向于做出过于保守且狭窄的转诊判断,产生了极具临床危害的高遗漏欠转诊现象。
亮点与洞察¶
- 真实临床工作流闭环:摆脱了将口腔 AI 简化为检测或图像问答的传统套路,首次将主诉和放射片融合映射为层次化转诊路径,兼顾了专科宏观路由(8 域)与临床资源分配(22 类)。
- 可复用的分诊错误裁判归因机制:建立了一套自顶向下排他的五维临床错误分类学(D1-D5),结合跨家族三模型多数投票(Majority Vote),实现了 94.6% 接近资深专家的可解释根因审计,为后续构建临床安全对齐奖励模型提供了现成工具。
- 揭示了“狭窄转诊”的安全偏见:论文发现模型在不确定时倾向于牺牲召回率以维持形式上的高精度,然而临床分诊的容错性高度偏向召回(轻度过度转诊优于严重漏诊)。这一洞察指明未来的多模态临床 AI 必须引入覆盖感知(Coverage-Aware)损失函数与自适应弃权/转人工审核机制。
局限与展望¶
- 单中心与样本规模限制:基准包含 246 例病例,全部来自单一大学附属口腔医院,虽保证了标注规范与影像质量的一致性,但尚未涵盖跨中心、跨机型、跨地域分诊协议的异质性分布。
- 缺乏椅旁即时临床检查辅助:当前基准仅依赖初诊时的主诉与 OPG,未能获取牙髓电活力测试、冷热诊、牙周探针深度(BPE)等实际椅旁物理检查数据,对于某些临界病变而言推断具有不可避免的模糊性。
- 长尾治疗标签样本较稀疏:部分细粒度类别(如粘结桥、种植体单双颗细分)正例数少于 10 例,尚无法单独支撑稳健的单类别深入统计结论。
相关工作与启发¶
- vs MMOral / OralGPT / DentVLM: 以往口腔多模态工作主要侧重于 OPG 图像的描述生成、牙齿解剖识别或开放式问答;Dental-TriageBench 则直接切入安全关键的真实门诊分诊决策,要求将多病灶映射为完整的多专科转诊组合。
- vs ClinicBench / CliMedBench / TriageAgent: 传统医疗临床决策基准多为文本形式的急诊急症分级(ESI);本文提出了融合放射学影像与自然语言主诉的高分辨率口腔专科多模态分诊,并建立了面向临床漏诊风险的细粒度裁判归因体系。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次针对口腔门诊真实分诊建立多模态层次化决策与推理链基准
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 21 款顶尖多模态模型与 3 位住院医师,设计了详尽的模态消融、病例难度分层与错误根因分析
- 写作质量: ⭐⭐⭐⭐⭐ 临床逻辑严密,图表信息充实,错误分类学与医学分诊 SOP 定义极具临床深度
- 价值: ⭐⭐⭐⭐⭐ 深刻揭示了多模态大模型在临床复杂决策中高遗漏的重大安全短板,为下一代覆盖感知型医疗 AI 系统奠定了基准