PathView-Bench: Can Multimodal Large Language Models Achieve Fine-Grained Multiscale Pathology Analysis?¶

会议: NeurIPS 2026
arXiv: 2607.28318
OpenReview: https://openreview.net/forum?id=gZJHNK7GHw
代码: https://github.com/pathview-bench/pathview-bench
领域: 多模态 VLM
关键词: 计算病理学, 多模态大模型, 多尺度视觉理解, 视觉定位与接地, 基准评测

一句话总结¶

针对现有病理学 MLLM 评测仅关注文本诊断结果而忽视视觉理解证据的问题，本文提出首个以视觉为锚点的多尺度病理理解基准 PathView-Bench，涵盖双视野（Region-FOV 与 Slide-FOV）、14 种确定性评测任务与 30.8 万样本，揭示了当前模型在视觉接地与跨尺度判断上的严重缺陷。

研究背景与动机¶

多模态大语言模型（MLLMs）在数字病理学与全切片图像（WSI）分析中展现出从单任务分类器向通用交互式病理助手的演进潜力，涵盖报告生成、跨视野探索与交互式导航等复杂任务。然而，现有的病理多模态基准（如 PathVQA、PathMMU、WSI-VQA 等）绝大多数采用文本驱动的问答范式，主要依据最终诊断结论的正确性、图像描述的流畅度或报告的合理性进行打分。这种评测方式留下了关键的盲区：无法衡量模型给出的正确诊断是否真正建立在对多尺度病理视觉证据的细粒度理解之上；更令人担忧的是，近期研究发现诸多模型在缺失图像输入时依然能依靠纯语言先验在医学问答中取得高分，形成了“视觉理解”的表面假象。

这种评估缺失的核心矛盾在于：病理切片分析天生依赖于极度跨尺度的视觉证据链——既包含全片宏观视角的组织架构、病灶分布与肿瘤浸润负荷，又依赖高倍局部视野中的细胞形态、核异型性与微观空间近邻关系。现存基准要么局限于单视野孤立切块，忽视了全局组织学背景；要么在全切片层面直接评估高阶结论，缺少对中间视觉定位、数量估计和空间推理过程的可度量探针。当模型面对当前视野无法判定（例如高倍局部图推断来源器官，或宏观全览图要求细胞计数）的情形时，缺乏对视野充分性的严谨审校机制。

为了打破“以最终文本答案代替视觉感知”的评估局限，必须构建一套能够让病理多模态推理的视觉基础“显式可测”的标准评估体系。核心 idea：将病理学视觉理解显式拆解为微观高倍局部（Region-FOV）与宏观全切片（Slide-FOV）双尺度视野，将 23 个具有人工精细标注的公开病理数据集通过确定性规则转化为 14 项视觉锚定任务，完全摆脱 LLM-as-a-judge 评估，实现基于像素/坐标级客观指标的细粒度病理视觉感知与视野充分性审校评测。

方法详解¶

整体框架¶

PathView-Bench 围绕人类病理医生在真实临床阅片中的“全局扫查-局部细查”双尺度工作流展开，设计了涵盖 Region-FOV（局部微观视野）与 Slide-FOV（宏观全片视野）两大层次的视觉锚定评测任务。整个基准构建摒弃了不可控的 LLM 自动生成或无约束文本打分，采用严格可审计的数据标准化与确定性任务转换协议：从 23 个公开带标注病理数据源中提取人类专家监督的边界框与病理标签，映射至统一术语表并归一化坐标空间，经严格质量控制后生成 14 类 VQA 形式的确定性评测任务。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    A["23 个公开病理数据集<br/>63,452 张图像 / 600万+ 原始标注"] --> B["数据标准化与质量过滤<br/>统一坐标系 / 44 种标准标签映射"]
    B --> C["双视野任务生成与视野陷阱设计"]

    subgraph C["双视野任务生成与视野陷阱设计"]
        direction TB
        C1["Region-FOV 局部微观任务<br/>目标定位 / 区域分类 / 细胞计数 / 空间关系"]
        C2["Slide-FOV 全切片宏观任务<br/>器官分类 / 病灶定位 / 面积占比 / 密度分布"]
        C3["视野充分性陷阱 (FOV Trap)<br/>越界跨尺度提问 → 诱发'证据不足'安全拒答"]
    end

    C --> D["确定性客观评测协议<br/>Dice / 准确率 / MAE / F1 / 安全拒答率 (SRR)"]
    D --> E["18 个主流 MLLM 能力边界诊断<br/>通用 / 医疗领域 / 病理专有 / PathView 微调基线"]

关键设计¶

1. 数据标准化与质量过滤：构建可审计的多尺度统一基准底座

多源病理公开数据集存在标签词汇冲突、坐标定义多样（多边形、点标注、不同倍率边界框）以及非病理背景混杂等问题。为保证评估信号的确定性，基准首先通过病理专家审校，将 23 个数据集分散的 119 个原始标注类别系统映射归纳至 44 个标准病理学标签，并将 26 种异构空间标注格式统一转化为标准化边界框 \([x_{\min}, y_{\min}, x_{\max}, y_{\max}]\)，坐标归一化到统一空间。随后执行严格质控规则：剔除无明确映射关系、纯背景/伪影区域、超出图像边界、重叠度过高或有效面积为 0 的异常标注，最终形成由 61,673 张图像、7,253,526 个有效空间标注组成的标准化底层样本池。

2. 双视野任务生成与视野陷阱设计：覆盖全流程细粒度视觉感知

病理诊断需要兼顾宏观结构与微观特征，PathView-Bench 据此将任务正交划分为两大视野组，共 14 种 VQA 任务： - Region-FOV（局部微观视野）：关注高倍显微镜下的细胞学特征与局部微结构，设计了 8 项任务，包括目标接地（Object Grounding，定位指定细胞/核）、区域分类（Region Classification）、实例分类（Object Classification）、目标计数（Object Counting，如核分裂象/炎性细胞绝对计数）、区域描述（Region Description）、四象限密度定位（Density Localization）、空间邻近关系（Spatial Relation，判断离核心区域最近的病理实体），以及设置局部微观视野陷阱（FOV Trap，向孤立细胞裁剪图询问来源器官，迫使模型识别视野证据不足并输出拒答）。 - Slide-FOV（宏观全切片视野）：关注低倍全切片下的组织架构与大尺度病理表型，设计了 6 项任务，包括器官分类（Organ Classification）、大病灶定位（Lesion Grounding）、宏观病灶分类（Object Classification）、组织面积占比估计（Area Estimation，区间分级 0%-25% 等）、宏观病灶密度象限定位（Density Localization），以及宏观视野陷阱（向全片全览低倍图询问单个细胞级别的计数，测试模型是否会胡乱瞎编）。

3. 确定性客观评测协议：摆脱语言偏置与模型自评不确定性

针对传统病理多模态评测严重依赖 LLM-as-a-judge 带来评分漂移和偏好偏置的弊端，PathView-Bench 全面采用基于真值标签与空间几何坐标的确定性计算指标： - 目标定位与病灶接地（OGD / LGD）采用 Dice 系数度量空间重叠； - 类别判断、器官识别与空间近邻关系采用 Accuracy； - 面积占比区间与四象限密度分布判断采用 Macro F1； - 目标计数（OCN）采用平均绝对误差 MAE； - 区域实体描述采用病理实体召回率（Entity Recall）； - 视野充分性陷阱（FOV Trap）引入安全拒答率（Safe Refusal Rate, SRR），要求模型在视觉证据缺失时必须输出“信息不足”，从而精准量化模型的幻觉程度与证据校准能力。

损失函数 / 训练策略¶

作为基准评测工作，作者同时基于 Qwen3-VL-8B 构建了 PathView-tuned 监督微调基线模型，验证基准提出的细粒度监督信号是否具备可学习性。微调使用阿里开源 ms-swift 框架，在 PathView-Bench 训练集上通过 LoRA 进行视觉指令微调： - 训练集、验证集与测试集严格按 7:1:2 划分，并按数据集组织与切片源进行严苛的分组隔离，杜绝数据泄露； - 优化超参数：LoRA 微调，1 个 epoch，全局批大小为 16，学习率设为 \(5 \times 10^{-5}\)，在 4 块 NVIDIA A100 GPU 上完成训练。

实验关键数据¶

主实验¶

论文对 18 个代表性 MLLM 进行了全方位评测，涵盖通用开源/闭源模型（Gemini-2.5-Flash、GPT-5-mini、InternVL3/3.5、Qwen3-VL 系列、GLM-4.6V-Flash）、医疗通用模型（LLaVA-Med、HuatuoGPT-V、Lingshu 灵枢、MedGemma）以及病理专用模型（Quilt-LLaVA、Patho-R1、SlideChat、WSI-LLaVA）。

模型类别	模型名称	参数量	Region OGD (Dice↑)	Region RCL (Acc↑)	Region OCN (MAE↓)	Slide ORG (Acc↑)	Slide LGD (Dice↑)	Slide ARE (F1↑)	Slide DLO (F1↑)
对照基线	Random Choice	–	0.073	0.189	482.21	0.280	0.151	0.181	0.179
对照基线	Frequent Choice	–	0.000	0.247	22.23	0.340	0.005	0.103	0.105
通用 MLLM	Gemini-2.5-Flash	–	0.170	0.559	83.08	0.940	0.443	0.250	0.449
通用 MLLM	GPT-5-mini	–	0.185	0.598	16.82	0.820	0.437	0.367	0.417
通用 MLLM	InternVL3.5	8B	0.189	0.475	19.44	0.740	0.310	0.215	0.475
通用 MLLM	Qwen3-VL	8B	0.011	0.349	21.47	0.580	0.146	0.201	0.312
通用 MLLM	Qwen3-VL	30B	0.164	0.578	19.41	0.800	0.383	0.241	0.415
通用 MLLM	GLM-4.6V-Flash	10B	0.201	0.348	22.95	0.530	0.552	0.219	0.447
医疗专用	HuatuoGPT-V	34B	0.076	0.549	37.73	0.700	0.196	0.269	0.238
医疗专用	Lingshu (灵枢)	32B	0.095	0.636	18.48	0.910	0.333	0.125	0.301
医疗专用	Med Gemma	27B	0.129	0.520	21.57	0.490	0.305	0.448	0.360
病理专用	Quilt-LLaVA	7B	0.067	0.437	59.59	0.530	0.107	0.118	0.092
病理专用	Patho-R1	7B	0.065	0.556	48.11	0.900	0.015	0.310	0.323
病理专用	SlideChat	~7B	0.080	0.000	24.07	0.310	0.071	0.164	0.160
微调基准	PathView-tuned Qwen3-VL	8B	0.323	0.829	8.32	0.920	0.617	0.693	0.783

消融实验¶

为了严格证明“高层诊断问答的正确并不能代表底层视觉感知的可靠”，作者设计了配对切片一致性消融检验（Matched-Slide Analysis）：从外部 WSI 基准（SlideBench 与 WSI-VQA）中筛选模型成功回答正确的高难度诊断样本，在完全相同的一批 WSI 切片上评估对应模型在 PathView-Bench 中的视觉感知与定位能力（16 个开源模型宏平均）：

评估子集条件	病灶定位 (LGD, Dice↑)	面积占比估计 (ARE, F1↑)	密度象限分布 (DLO, F1↑)	宏观实例分类 (OCL, Acc↑)
全体原始测试切片 (Unconditioned)	0.252	0.228	0.315	0.498
外部基准诊断回答正确切片 (Matched Correct)	0.274	0.360	0.422	0.621
理想可信感知上限 (Ideal Upper Bound)	1.000	1.000	1.000	1.000

关键发现¶

表面高分与视觉感知脱节：即使模型在外部 WSI-VQA 诊断问答中给出了完全正确的病理结论，当在相同切片上要求其标出病灶边界（LGD）或估算浸润面积（ARE）时，性能仅有 0.274 与 0.360，大量出现“结论正确、病灶找错或漏看”的病理级幻觉。
领域专项训练无法弥补基础定位能力的缺失：现有的病理与医疗专用模型（如 Patho-R1、LLaVA-Med、Quilt-LLaVA）在空间定位（OGD < 0.10 Dice）和细胞计数（MAE > 30）上明显落后于通用大模型（如 GPT-5-mini、GLM-4.6V-Flash）。专有模型往往依赖切片特征聚合器，丢弃了底层的精细像素级几何信息。
视野充分性拒答能力严重失衡：在普通可答任务中模型平均误拒率为 12.4%，而在缺乏证据的陷阱任务中，Region 陷阱安全拒答率仅为 30.9%，大量模型在无法判断局部所属器官时强行猜测答案；唯有经过 PathView 针对性微调后，多尺度定位和数量感知才获得大幅跃升。

亮点与洞察¶

从“结论导向”转向“视觉证据链可测”：不仅测病理大模型能不能“说出病名”，而是首度度量其能否“指出位置、数清数量、判断分布、辨明尺度限制”，打破了基于纯语言先验猜对答案的伪理解迷思。
巧妙的 FOV Trap 陷阱设计：利用病理图像跨尺度的物理特性，制造宏观视野数微观细胞、高倍孤立切块猜器官的越界难题，为多模态幻觉评估提供了一种简单而高效的确定性度量。
可复用的多尺度评测范式：该基准的数据标准化管道（清洗不规则多源空间标注为标准 BBox 与统一本体）不仅适用于病理学，也能平移到遥感多源影像、工业质检超大图分析等具有大尺度跨度特征的视觉任务中。

局限与展望¶

缺少真实临床决策轨迹的动态融合：基准目前主要由静态图像与单轮 VQA 构成，未纳入病理医生在显微镜下连续平移、放大、打标的动态交互与时间序列决策数据。
未覆盖多中心长时随访与组学多模态数据：当前测试侧重于常规 H&E 切片的形态与空间几何解析，尚未融合病理报告的长篇鉴别诊断逻辑、基因组变异关联以及纵向预后随访信息。
未来方向：作者计划引入结合病理临床诊疗指南的复杂多跳推理任务，并探索基于主动缩放视角的 Agent 交互式评测体系。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以视觉证据为锚点的病理多尺度评测基准，开创了双视野任务与视野陷阱机制。
实验充分度: ⭐⭐⭐⭐⭐ 评测 18 个主流模型，跨 28 种器官与 30 万样本，且包含严格的跨基准配对切片一致性消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，动机鲜明，任务体系与实验结论环环相扣。
价值: ⭐⭐⭐⭐⭐ 为计算病理多模态大模型的真实感知能力建立了可审计的客观试金石，对推动落地临床级病理 AI 意义重大。