VIPER: An Expert-Curated Benchmark for Vision-Language Models in Veterinary Pathology¶

会议: NeurIPS 2026
arXiv: 2608.26382
OpenReview: https://openreview.net/forum?id=7986DZ9rPe
代码: https://github.com/mahmoodlab/viper
领域: 医学图像
关键词: 兽医病理学、毒理病理学、视觉语言模型、评测基准、对抗性过滤

一句话总结¶

针对临床前药物安全评价中实验动物组织病理多模态评测空白，构建首个由欧洲兽医病理学会（ECVP）认证专家标注与校准的啮齿类毒理病理视觉语言评测基准 VIPER，并提出领域微调模型 ToxScribe，揭示了人源模型在兽医病理中的显著域迁移鸿沟与通用前沿模型的正常组织过度诊断风险。

研究背景与动机¶

近年来计算病理学与多模态大模型的结合取得了突飞猛进的发展，以 PathChat、PathMMU 和 Quilt-LLaVA 为代表的视觉语言模型展现出优秀的图像理解与多轮对话能力。然而，现有病理 VLM 的研究范式几乎完全聚焦于人类临床组织标本，且高度偏向肿瘤学领域（如 TCGA 和 CAMELYON 等主要公开数据源）。在人类临床诊疗之外，显微镜下的组织病理学评估同样扮演着至关重要的角色，尤其在兽医病理与毒理病理学（Toxicologic Pathology）领域，对实验动物组织切片的系统性阅片是临床前药物安全评价与新药能否获批进入人体临床试验的法定法定把关环节（如 FDA 21 CFR Part 58 规范）。

毒理病理评价具有独特的临床特征：单项试验样本量极为庞大（如 2 年致癌性试验可产生多达 2 万张组织切片）、横跨多器官与剂量梯度组、且绝大多数病理改变属于非肿瘤性病变（如退行性变、细胞坏死、炎性细胞浸润、细胞肥大及适应性改变）。更为关键的是，毒理病理学家必须精准判断组织是否处于正常生理范围内（Within Normal Limits, WNL），防止因假阳性病变误判而导致候选药物研发被过早腰斩。尽管这一场景对 AI 辅助筛查和病变初报具有强烈需求，但目前兽医病理多模态评测几乎处于完全空白的状态。人类病理模型能否跨物种泛化到实验动物病理？通用前沿模型在专业病理 VQA 任务中表现如何？缺乏可靠基准使得这些核心问题长期缺乏答案。

这一领域的评估壁垒不仅在于兽医专业数据的匮乏，更在于现有公开病理问答数据普遍缺乏严格的形态学视觉锚定，大量题目可通过文本统计先验或格式捷径进行虚假预测。本文旨在打破这一僵局。核心 idea：联合认证兽医病理学家与人机协同对抗性重构流水线，构建首个严格视觉锚定的啮齿类毒理病理专家级 VLM 评测基准 VIPER，并开发专用的兽医病理视觉语言模型 ToxScribe。

方法详解¶

整体框架¶

VIPER 的构建与评测管线由四大阶段串联组成：基于表征聚类的感兴趣区域（ROI）无偏采样与专家种子问题人工撰写、大模型驱动的多格式重构与对抗性去先验过滤、多中心同行评审与读者一致性研究，以及全场景基准测试与专用模型 ToxScribe 的指令微调。系统整体工作流程如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多器官毒理全切片图像<br/>(TG-GATEs & MMO 数据库)"] --> B["多器官形态多样性采样与种子问题撰写<br/>TRACE特征聚类 + ECVP专家人工标注"]
    B --> C["多格式题目重构与对抗性去先验过滤<br/>MCQ / KPrim / 自由问答 + 无图GPT-5.2对抗测试"]
    C --> D["同行评审与病理专家双盲读者研究<br/>ECVP病理学家一致性检验与Set A/B评估"]
    D --> E["VIPER 多模态评测基准<br/>(1,251 道多题型视觉问答)"]
    E --> F["ToxScribe 兽医病理专用 VLM 微调<br/>(3.98M 指令对 + Qwen/Gemma 冻结视觉骨干)"]

关键设计¶

1. 多器官形态多样性采样与种子问题撰写：解决病变稀疏与视野偏差
临床前毒理学研究中切片病理改变往往呈局灶性或多器官异质性分布，简单的随机裁剪极易捕获无信息量的空白切片或重复背景。为此，研究团队从 TG-GATEs 与 MMO 两个大型啮齿类毒理学数据库中抽取大鼠（Rattus norvegicus）苏木精-伊红（H&E）染色切片，针对 7 大核心器官系统（泌尿系统、肝胆系统、内分泌系统、雄性生殖与附属性腺、消化系统、呼吸系统、心血管系统）提取候选 ROI 池。为了确保所选区域的形态学多样性，研究利用预训练的大鼠病理专用视觉编码器 TRACE 提取切片表征，并在每个器官内部通过 K-means 聚类划分为 20 个形态簇，由欧洲兽医病理学会（ECVP）认证病理学家在各簇内均匀抽样 419 张 \(1024 \times 1024\) 像素的代表性图像（涵盖 20×、5×、2.5× 放大倍率，覆盖 23 个具体解剖亚结构）。病理学家针对每张视野撰写一个严格基于局部组织微观形态的种子问题与标准答案（例如定位局灶性肺不张区域或识别特异性变性管型），确保所有题目必须依赖显微视野方能求解。

2. 多格式题目重构与对抗性去先验过滤：根除文本捷径与虚假视觉理解
公开 VLM 数据集常因选项长度不均、医学常识先验或题干暗示，使模型无需看图即可猜出正确答案（即“幻觉预测”或“海市蜃楼预测”）。为了消除这一伪成就现象，团队以种子问题为基石，通过大语言模型 GPT-5.2 将其扩展为三种标准化题型：单选题（MCQ Type A，5 个等长同质选项）、KPrim 题（4 个独立判断的正误陈述）和开放自由文本题（附带细粒度评分量表）。在生成过程中引入了极为严苛的双重对抗性文本盲测机制：在完全移除图像输入的情况下，使用温度为 0 的纯文本推理器对 MCQ 选项进行 3 次顺序置换盲猜，对 KPrim 进行正误盲审；一旦 MCQ 在任一轮次被蒙对，或 KPrim 盲猜正确率 \(\ge 3/4\)，该题目即判定为“存在语言先验泄漏”，必须将盲猜推理路径与错误题干拼接反馈，重新生成至多 3 次。未能通过过滤的种子题目直接废弃。在全流程中，高达 34.9%（247/708）的候选切片因无法完全剥离文本提示而被淘汰，最终保留 1,251 道题目（419 道 MCQ、414 道 KPrim、418 道 Free-Text），病理学家在此阶段平均为每道题目投入约 4 分钟的审查校准时间。

3. 多维度病理诊断探测设计：兼顾病变识别与正常组织抗虚警能力
传统病理 QA 往往只关注“指出是什么肿瘤”，但在毒理病理实践中，“确认未见异常（WNL）”与“精准空间定位”具有同等乃至更高的权重量。VIPER 将 1,251 道题目细化分类为 7 类功能探针：解剖结构识别（362 题）、防虚警过读探针（Over-Reading Probe，240 题，专门考察模型对正常生理结构的判别，避免对健康组织虚构病变）、空间定位（227 题，考察病灶或结构的象限/边界分布）、病理病变识别（221 题）、形态特征刻画（78 题，评定病变分级与组织功能状态）、制片伪影识别（63 题，如折叠、染色沉淀与刀痕）以及定量估计（60 题，评估受损组织面积比例）。该设计使基准能够全方位剖析多模态模型在专业病理工作流中的鲁棒性与盲区。

4. 兽医专用视觉语言模型 ToxScribe 研发：多物种指令微调跨越域鸿沟
鉴于此前业界缺乏非人源动物病理专用的多模态模型，研究团队构建了包含 345,000 张高分辨率病理 ROI 及 3.98 百万个图文指令对的专业训练集，其数据源来自 PubMed 开放获取文献、监管机构技术报告及兽医教学图谱，涵盖多种实验动物与所有核心脏器。在此基础上，分别基于 Qwen3.5-27B 与 Gemma 4-31B-it 骨干开发了 ToxScribe-Qwen 与 ToxScribe-Gemma。微调时冻结多模态基础模型的视觉编码器，仅在语言模型的所有自注意力与 MLP 投影层施加 LoRA 适配器（秩 rank=64，缩放系数 \(\alpha=128\)，dropout=0.05）。两款模型在 8 张 NVIDIA H200 GPU 上采用 AdamW 优化器、余弦退火调度与有效批量大小 64 完成单轮完整训练（62,201 步，耗时约 120 GPU 小时）。需要强调的是，ToxScribe 训练集与 VIPER 评测切片完全正交隔离，杜绝了任何数据泄漏隐患。

实验关键数据¶

主实验¶

评估在统一协议下测试了 16 款代表性模型，涵盖兽医病理专用模型、人类病理模型以及通用商业/开源前沿模型。MCQ 采用 5 次循环位移消除位置偏置，KPrim 采用瑞士 ETH 半分制计分（4/4 得 1.0，3/4 得 0.5，\(\le\)2/4 得 0.0），Free-Text 采用 GPT-5.4 评分量表评测（准确率权重 70%，完整性权重 30%）。各模型在 VIPER 上的完整表现如下表所示：

模型	领域类型	MCQ (%) [95% CI]	KPrim (%) [95% CI]	Free-Text (%) [95% CI]	Overall (%) [95% CI]
ToxScribe (Qwen3.5)	兽医病理专用	67.1 [63.2, 71.0]	61.8 [58.1, 65.6]	58.3 [54.4, 62.4]	62.4 [60.2, 64.6]
ToxScribe (Gemma 4)	兽医病理专用	65.2 [61.4, 69.0]	64.1 [60.4, 67.9]	54.3 [50.2, 58.3]	61.2 [59.0, 63.5]
GPT-5.4	通用商业闭源	58.5 [54.2, 62.5]	54.3 [50.6, 58.1]	55.1 [50.8, 59.3]	56.0 [53.7, 58.3]
Gemma 4 (31B)	通用开源旗舰	60.7 [56.7, 64.7]	54.1 [50.2, 57.9]	48.3 [44.0, 52.6]	54.4 [52.0, 56.7]
Qwen 3.5-27B	通用开源旗舰	60.0 [56.0, 63.8]	46.6 [42.9, 50.4]	50.6 [46.4, 54.9]	52.4 [50.2, 54.7]
PathChat+	人类病理专用	58.7 [54.7, 62.9]	41.5 [37.8, 45.4]	52.7 [48.7, 56.7]	51.0 [48.7, 53.3]
Claude Sonnet 4.6	通用商业闭源	54.6 [50.6, 58.6]	47.1 [43.4, 50.7]	42.8 [38.8, 46.9]	48.2 [45.9, 50.5]
GPT-5.4-mini	通用商业轻量	48.0 [43.8, 52.1]	45.9 [42.1, 49.8]	50.0 [45.9, 54.2]	48.0 [45.7, 50.4]
Gemini 2.5 Flash	通用商业闭源	52.8 [48.8, 56.8]	45.0 [41.4, 48.8]	25.2 [21.5, 29.0]	41.0 [38.8, 43.2]
Patho-R1-7B	人类病理专用	46.1 [42.2, 49.8]	16.3 [13.6, 19.2]	46.0 [42.0, 50.2]	36.1 [34.0, 38.2]
Patho-R1-3B	人类病理专用	39.5 [36.2, 42.8]	12.9 [10.6, 15.3]	36.1 [32.3, 40.1]	29.5 [27.7, 31.5]
PathGen-LLaVA	人类病理专用	18.7 [16.1, 21.2]	28.4 [25.1, 31.9]	37.9 [33.7, 42.2]	28.3 [26.3, 30.3]
GPT-5.4-nano	通用商业轻量	24.4 [21.6, 27.3]	30.1 [26.9, 33.3]	27.7 [24.2, 31.4]	27.4 [25.5, 29.3]
MedGemma-4B	人类医学专用	29.9 [27.1, 32.9]	18.4 [15.6, 21.3]	26.0 [22.6, 29.6]	24.8 [23.0, 26.6]
Quilt-LLaVA	人类病理专用	27.5 [24.9, 30.4]	2.1 [1.2, 3.0]	28.0 [24.7, 31.6]	19.2 [17.7, 20.8]
LLaVA-Med	人类医学专用	17.0 [15.8, 18.3]	6.6 [5.0, 8.5]	24.8 [21.4, 28.2]	16.2 [14.8, 17.5]

消融实验：视觉输入锚定与无图盲答消融¶

为了严格验证 VIPER 是否真正要求模型理解显微图像，作者在有图（Normal）、纯黑图像（Black）、随机无关病理图（Random）以及彻底无图输入（No Image）四种条件下对核心模型进行了消融验证。下表展示了图像消融对模型得分的惩罚效应（\(\Delta = \text{Normal} - \text{No Image}\)）：

模型	题目类型	有图正常输入 (Normal) (%)	纯黑图像输入 (Black) (%)	随机干扰图像 (Random) (%)	无图盲答输入 (No Image) (%)	性能落差 \(\Delta\) (%)
ToxScribe (Qwen3.5)	MCQ	67.1	45.1	45.8	43.2	-24.0
	KPrim	61.8	19.2	–	13.2	-48.7
	Free-Text	58.3	11.4	–	5.7	-52.6
PathChat+	MCQ	58.7	36.3	34.1	27.5	-31.2
	KPrim	41.5	18.4	–	15.0	-26.6
	Free-Text	52.7	10.2	–	26.5	-26.1
GPT-5.4	MCQ	58.5	34.2	33.1	30.5	-27.9
	KPrim	54.3	31.0	–	25.1	-29.2
	Free-Text	55.1	30.8	–	25.6	-29.5

关键发现¶

人类病理模型难以无缝迁移到兽医病理：人类病理最强基线 PathChat+（51.0%）落后 ToxScribe-Qwen 达 11.4%（\(P < 0.001\)）。病理专家读者测试同样证实了这一鸿沟：人类专科医生（PP1）在 Set B 的 MCQ 准确率仅为 72.4%，显著低于执业兽医病理学家（VP2，93.1%，\(p=0.001\)），证明两物种组织学在形态微结构、自发性退行性变与反应模式上存在本质差异。
通用大模型存在严重的“正常组织虚警与过度诊断”风险：在防过读探针（Over-Reading Probe，240 题）类别中，ToxScribe-Gemma 与 ToxScribe-Qwen 分别取得 80.5% 与 77.2% 的高准确率，而最佳人类模型 PathChat+ 仅为 62.1%，通用前沿标杆 GPT-5.4 更是跌至 55.1%。通用前沿模型因人类偏好对齐（RLHF）中倾向于“积极顺从提问者假设”，在面对完全健康的正常切片时，极易虚构轻微炎症或退行性病理诊断，这在药物安全毒理筛查中将带来毁灭性的假阳性阻断风险。
视觉锚定不可替代：当移除图像后，ToxScribe 在开放回答题上下降 52.6%（从 58.3% 暴跌至 5.7%），KPrim 下降 48.7%；人类病理专家在无图条件下的 MCQ 答题正确率同样骤降逾 30%（VP3 下降 31.6%，PP1 下降 35.7%），充分印证了 VIPER 题目无法通过语言套路破解，具有扎实的微观形态依赖性。
指令遵循与格式偏置陷阱：早期推理模型 Patho-R1 在 KPrim 题型上存在极端的“True 偏置”（87.6%~90.2% 的陈述均回答 True），导致其 KPrim 得分暴跌至 12%~16%；LLaVA-Med 在单选题中则表现出 67.5% 的“选项 A 偏执”。这提示在进行专业医疗指令微调时，必须严防负样本与选项分布不均带来的捷径学习退化。
反向泛化验证：在人类病理公认基准 PathMMU 测试集上，兽医专用模型 ToxScribe-Gemma 取得了 68.1% 的准确率，与通用霸主 GPT-5.4（68.8%）在统计学上无显著差异（\(P=0.20\)），证明专精兽医病理并不会导致通用医学组织理解能力的崩溃。

亮点与洞察¶

将对抗性盲测内化为基准构建的硬约束：利用无图纯文本语言模型作为对抗检查器，连续 3 轮置换选项，凡能靠文字逻辑盲猜成功的题目一律剔除重写，从源头根除了多模态评测中广泛存在的“海市蜃楼预测（Mirage Predictions）”。
单设“防过读探针”切中毒理病理刚需：在传统诊断指标之外，专门设立检验“未见异常组织被强行扣上病变帽子”的测试分类，为临床前安全评价中 AI 辅助决策的特异性与合规性设立了首个标准化量化红线。
开源专属模型并给出跨骨干迁移范本：通过公开由 PubMed 与监管合规文件提炼的 3.98M 指令对微调范式，证实冻结视觉骨干仅对大语言模型施加 LoRA 即可在 Qwen3.5 与 Gemma 4 上实现 +10.0% 和 +6.8% 的领域跨越，为高壁垒特种垂直行业自研 VLM 提供了低算力可复现路径。

局限与展望¶

当前以局部 ROI 为中心，尚未覆盖全视野数字切片（WSI）与纵向剂量梯度：真实临床前毒理学评价需要病理学家对大鼠多个主要器官的全切片、多只动物间以及溶媒对照与高低剂量组进行综合对比分析，未来需进一步扩展至载玻片级别（Slide-level）与多切片推理基准。
物种与脏器谱仍存在扩充空间：受限于高质量公开毒理切片的合规性与可复现性，VIPER 现阶段仅聚焦于大鼠（Rat）的 7 大系统，中枢神经系统（脑、脊髓）尚未包含；后续需要延伸至小鼠、犬、食蟹猴等其他法规必选的临床前伴随动物模型。
自由文本开放问答的主观性裁决：尽管采用了细粒度 Rubric 并在 GPT-5.4 与 Claude Opus 4.7 之间取得了 \(r=0.98\) 的极高评分一致性，但在边缘病理（如极轻微组织改变与正常组织界限）判定上，外部病理学家之间仍存在表述与阈值偏好差异。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对非人源实验动物毒理病理建立高标准视觉语言基准，首创防先验对抗性过滤机制。
实验充分度: ⭐⭐⭐⭐⭐ 横跨 16 款主流基准模型，涵盖 7 大题型分类、消融分析、多中心病理专家读者比对与 PathMMU 反向泛化验证。
写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严密，实验统计分析扎实（Bootstrap 置信区间完整），附录提供了完整的标注流程与提示词模板。
价值: ⭐⭐⭐⭐⭐ 为临床前药物安全评价与特种计算病理垂直领域提供了权威公正的评估支架与强大的基模型指引。