BrainTRACE: Tracing Longitudinal, Multimodal, and Volumetric Evidence in Brain MRI Clinical Reasoning¶

会议: NeurIPS 2026
arXiv: 2610.06571
代码: https://github.com/lanqz7766/BrainTRACE
领域: VLM Reasoning
关键词: 脑部MRI, 纵向临床推理, 多模态VLM, 证据链追踪, 报告对齐评测

一句话总结¶

BrainTRACE 是首个以纵向脑部 MRI 临床复查与循证推理为核心的报告对齐评测基准，包含来自 1,778 名纵向随访患者、7,299 次 MRI 检查的 7,273 个结构化问答实例，揭示了前沿多模态大模型在孤立视觉识别与长程临床证据链综合之间的严重能力断层。

研究背景与动机¶

脑部磁共振成像（MRI）的临床阅片本质上是一个高阶、长程的纵向临床推理过程。神经放射科医师在出具报告时，绝非仅审视单幅静态切片，而是必须综合比对患者历次随访检查、交叉整合多种互补组织对比序列（如 T1w、T2w、FLAIR、SWI 等）、在三维解剖体积中精确判定病灶负荷与占位效应，并最终将所有影像学线索综合提炼为符合临床规范的诊断结论。然而，现有医学视觉问答（Medical VQA）与 3D 影像基准多数退化为孤立 2D 切片判断、单次静态 3D 容积识别或缺乏临床证据支撑的自由文本生成。这种评测范式掩盖了多模态大模型在真实临床证据链条中的根本性脆弱。

近年针对大语言模型与多模态模型的研究进一步表明，模型生成的流畅临床专业术语极易沦为一种“表面幻觉”——模型往往凭借参数记忆中的文本先验输出看似合理的临床诊断，实则并未真正基于输入的时序影像建立可靠的推导事实。如果在纵向脑部 MRI 评测中只看单点识别准确率，就无法诊断模型是否看对了序列、是否比对了正确的随访时间点、是否正确评估了病灶增减趋势，亦无法拦截导致严重误诊的左/右侧别颠倒或假性恶化判断。

为了弥合这一评测鸿沟，本文构建了面向脑部 MRI 纵向推理的系统性评测框架。核心 idea：将脑部 MRI 多模态大模型评测形式化为纵向证据链追踪，通过解耦可见影像输入与非可见放射学报告事实基准，沿临床推理深度与证据需求双正交维度设计结构化诊断项，并基于六步递进分解任务严格审计局部证据向全局临床综合传递的衰减过程。

方法详解¶

整体框架¶

BrainTRACE 基于真实大规模脑部与脊柱 MRI 数据集 MR-RATE 进行构建，筛选出随访周期完整（每位患者至少包含 3 次配准检查）、序列齐备、且具备对应脱敏放射学结构化报告及分割测量指标的高质量纵向队列。系统整体围绕“模型可见证据”与“隐藏临床基准”解耦的设计理念展开，杜绝由于提示词或非影像元数据泄漏导致的作弊。整个基准包含 7,273 个严格评分的 VQA 实例，覆盖三项核心评测轨道：包含 5,653 个多视角渲染实例的广泛兼容轨道（Broad Compatible Track）、1,200 个考察 3D 容积与跨序列属性的 3D 证据轨道（3D-Evidence Track），以及包含 70 个典型纵向病例、共 420 步结构化分解推理的病例推理追踪轨道（Case Reasoning Track）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["MR-RATE 纵向脑部 MRI 原始队列<br/>1,778 名患者 / 7,299 次检查 / 29k 3D 序列"] --> B["输入与基准严格解耦流水线<br/>放射学报告提取 + 容积测量对齐"]
    B --> C["双正交诊断维度标注<br/>五级临床深度 L1-L5 × 四维证据需求"]
    C --> D["三大多模态评测轨道部署<br/>广泛兼容 5,653 项 + 3D 证据 1,200 项 + 病例分解 420 步"]
    D --> E["两阶段事实审计评分机制<br/>客观题归一化精确匹配 + 主观题事实槽位审计"]
    E --> F["纵向证据链综合评估报告<br/>局部感知衰减诊断 + 证据通道消融"]

关键设计¶

1. 输入与基准严格解耦流水线：构建防泄漏的客观临床事实裁判

传统医学 VQA 评测常因直接利用放射学报告正文构造提示而导致文本捷径泄漏。BrainTRACE 在流水线设计中严格将每个评测条目 $i$ 分离为模型可见输入 $X_i$ 与非可见隐藏基准 $R_i$： $$X_i = \{q_i, a_i, m_i, v_i\}, \quad R_i = \{y_i, r_i, e_i, c_i\}$$ 其中模型仅接收渲染的问题文本 $q_i$、指定回答格式选项 $a_i$、去敏且不含诊断暗示的元数据 $m_i$（如受控时间间隔或年龄段）以及渲染好的多时序、多序列影像证据 $v_i$。隐藏基准 $R_i$ 则完整封存规范化真值答案 $y_i$、细粒度临床审计量规 $r_i$、来源于专业放射学报告与自动分割体积测量的临床证据集合 $e_i$，以及严格的排除与校验记录 $c_i$。该设计确保评测完全考验模型从像素中提取证据的能力，同时经受文本专用探针的无图泄漏测试。

2. 双正交诊断维度标注：解耦临床推理操作与底层证据需求

为精确定位模型在推理全生命周期中的故障节点，BrainTRACE 建立了覆盖“任务深度”与“证据属性”的双正交分类体系。在纵向临床推理深度轴上，划分出五层递进任务（L1–L5）： - L1（采集与基础识别）：脉冲序列鉴别、扫描断层平面、局灶性异常存在性及病灶侧别； - L2（单次检查特征刻画）：病灶离散计数、解剖定位分区、体积区间判定及多序列信号/强化模式； - L3（间隔期对比分析）：跨随访时间点的病灶尺寸增减、新发病灶检出、既往病灶吸收、强化程度演变及占位效应变化； - L4（纵向轨迹与量化趋势）：多时间点病灶演进模式分类、新发病变首次出现时间、峰值累及时间节点及类 RANO 治疗响应评估； - L5（病例级综合临床研判）：全篇放射学 Impression 印象生成、随访状态综述、对比诊断小结及结合影像证据的鉴别诊断。

在正交的证据需求维度上，标注系统严格区分纵向对比（Longitudinal）、多序列融合（Multi-sequence）、三维容积测量（Volumetric）与高阶临床推断（Clinical Reasoning）。这种解耦使研究人员能够清晰判定：一个 L3 任务的失败究竟是因为模型无法读取时序对比，还是因为无法整合 FLAIR 与 T1 增强序列的互补对比度。

3. 六步病例分解推理追踪：将隐式端到端推理拆解为可审计证据链

在以往模型评测中，端到端病例生成的失败往往是一个黑盒，无法探究模型在哪个环节发生推理脱轨。BrainTRACE 设计了包含 70 个纵向复杂病例的解耦评测轨道，由美国放射学委员会（ABR）认证的放射肿瘤学专家参与设计，将每个病例重构为 6 个因果相扣的顺序问答步骤： 1. 锚点病灶定位（Anchor Localization）：基线检查中原发异常的解剖分区与信号基准； 2. 早期时间窗变化（Early Interval Change）：首次随访比对中的细微变化识别； 3. 病变特征动态刻画（Interval Characterization）：后续演进中强化与囊变等组织学表征变化； 4. 病灶负荷演变轨迹（Burden Trajectory）：全程连续检查中的体积消长趋势； 5. 最新状态判断（Latest Status）：最近一次扫描中的疾病活跃度与残余评估； 6. 最终临床综合诊断（Final Synthesis）：汇总全流程时空证据出具结构化诊断印象。

该设计使得病例级评估不仅能输出单步合格率，还能直接度量同一病例全程零失误的严苛完整通过率。

4. 事实审计临床评分体系：杜绝文本相似度掩盖致命临床错误

传统采用的 BLEU-4、ROUGE-L、chrF++ 或 BERTScore 等表面语言学匹配指标对事实颠倒极不敏感。BrainTRACE 制定了严谨的临床事实审计评分机制。对于开放式回答与病例分解步骤，评分判官接收模型回答与细粒度临床量规，计算事实合格指示变量 $P_i$： $$P_i = F_i \cdot S_i \cdot E_i \cdot U_i$$ 其中 $F_i \in \{0, 1\}$ 表示必须包含的关键事实覆盖完整性；$S_i \in \{0, 1\}$ 表示关键量规槽位（Critical Slots，如解剖分区、时间节点）是否完全满足；$E_i \in \{0, 1\}$ 为关键临床错误指示器，任何诸如侧别颠倒（左/右颠倒）、演变方向反转（好转误判为进展）、关键病灶假阴性漏诊等致命错误均一票否决；$U_i \in \{0, 1\}$ 为非支持声明指示器，严禁模型无中生有捏造未被临床基准确认的恶化或伴随病变。对于病例追踪轨道，定义单步平均合格率 $\text{StepPass}$ 与病例全胜率 $\text{CaseSuccess}$： $$\text{StepPass} = \frac{100}{6|\mathcal{C}|}\sum_{c\in\mathcal{C}}\sum_{s=1}^{6}P_{c,s}, \qquad \text{CaseSuccess} = \frac{100}{|\mathcal{C}|}\sum_{c\in\mathcal{C}}\prod_{s=1}^{6}P_{c,s}$$ 只有当一个病例的全部 6 个连续推导步骤均完全满足 $P_{c,s}=1$ 时，才计为一次病例成功。

实验关键数据¶

主实验¶

论文对涵盖开源通用 VLM、开源医学专用 VLM、闭源商业前沿大模型以及原生 3D 容积模型的 20 种代表性系统进行了系统评测。

模型类别 / 代表模型	客观题 Broad (%)	客观题 3D (%)	主观题 Broad Pass (%)	Case Step Pass (%)	Case Success (%)
人类专家（ABR 认证放肿医师基准）	—	—	92.9	91.7	80.0
开源通用 VLM
Qwen2.5-VL-7B	33.2	33.2	4.9	9.3	1.4
Qwen3-VL-8B	33.7	33.4	13.8	3.8	0.0
Qwen3-VL-30B	35.1	34.8	14.4	11.7	0.0
Qwen3.5-27B	37.3	12.6	8.1	2.9	0.0
InternVL3-78B	35.5	33.3	7.6	0.0	0.0
开源医学专用 VLM
HuatuoGPT-Vision-7B	36.3	29.1	9.9	0.2	0.0
Lingshu-7B	36.5	35.4	6.8	6.9	0.0
MedGemma-4B-it	24.9	18.9	5.4	7.6	0.0
LLaVA-Med-v1.5	0.6	0.0	3.8	0.2	0.0
闭源前沿商用 VLM
GPT-5.4	40.4	42.2	19.8	24.0	0.0
GPT-5	41.9	38.3	10.5	21.7	1.4
GPT-5-mini	38.2	37.5	10.6	24.5	0.0
Claude Opus 4.6	29.8	1.2	9.6	23.1	0.0
Gemini 2.5 Pro	36.5	32.0	14.2	10.7	0.0
原生 3D 容积医学基线
M3D-LaMed	—	29.9	—	4.8	0.0
RadFM	18.1	15.0	4.3	0.0	0.0

消融实验¶

为检验模型性能究竟来源于对跨时空视觉线索的实质性感知，还是对题干语言偏置与先验选项分布的拟合，论文在平衡受控样本集（$n=120$，以保留完整证据的 50.0% 准确率为对齐基线）上执行了证据通道消融实验：

实验条件配置	保留证据通道（时序/多序列/影像）	Qwen3.5-27B 准确率 (%)	GPT-5.4 准确率 (%)	Qwen 降幅 (pp)	GPT 降幅 (pp)
全证据保留（Full evidence）	时序 $\checkmark$ / 多序列 $\checkmark$ / 图像 $\checkmark$	50.0	50.0	—	—
剥离既往检查（仅留最新单次检查）	时序 — / 多序列 $\checkmark$ / 图像 $\checkmark$	12.5	26.7	-37.5	-23.3
剥离互补序列（仅保留单 T2 序列）	时序 $\checkmark$ / 多序列 — / 图像 $\checkmark$	29.2	38.3	-20.8	-11.7
完全去除影像输入（仅基于纯文本先验）	时序 — / 多序列 — / 图像 —	15.0	9.2	-35.0	-40.8

关键发现¶

局部识别与全局推理严重断裂：当前前沿模型在单项客观选择题上能够达到近 42% 的准确率（如 GPT-5 达 41.9%），但在需要组织完整严谨事实的开放式主观题上通过率暴跌（最高者 GPT-5.4 仅 19.8%）。更为严峻的是，在跨越 6 个逻辑环节的完整病例级推理中，最强模型的单步通过率虽达 24.5%，但全程零失误的病例全胜率仅为 1.4%（绝大多数模型直接挂零），暴露了严重的推理证据衰减（Evidence Attrition）。
专业微调未形成深层推理优势：医学专用 VLM（如 HuatuoGPT-Vision-7B、Lingshu-7B）虽然在 L1 序列鉴别与基础病灶存在性识别上取得较高分数，但在需要结合时序与三维体积的 L3、L4 及 L5 任务上与通用前沿大模型差距显著，表明仅注入单图医疗知识图谱或指令对并不能建立长程因果逻辑推导能力。
纯文本先验假象被打破：证据通道消融实验明确证实，当剥离影像或剥离既往时序数据后，模型的准确率发生断崖式下跌（去图像下 GPT-5.4 暴跌 40.8 个百分点，仅余 9.2%），证明 BrainTRACE 设立的题目具有高度的影像依赖性与反事实抗混淆性。

亮点与洞察¶

解耦式输入-真值架构设计：采用“模型端仅见渲染脱敏像素、评分端独占结构化临床报告与体积金标准”的架构，从源头上切断了提示词泄漏与捷径学习通道，为多模态临床模型提供了严谨的沙盒式黑盒评测规范。
以临床证据链替代纯文本生成评测：摒弃传统 NLP 领域的 BLEU/ROUGE 盲目文字比对，引入以关键临床实体、解剖侧别硬约束、演进方向校验为核心的硬性事实判官，抓住了医学 AI“言语通顺但事实致命”的核心痛点。
长程复合任务分解审计方法论：提出的六步因果分解框架可广泛迁移至其他需要随访随诊的慢性病领域（如肺结节 CT 监测、视网膜病变随访），为复杂多模态推理模型的可解释性归因提供了标准化样板。

局限与展望¶

数据源局限性：当前基准构建完全依托 MR-RATE 脑部 MRI 队列及其英文放射学报告，尚未覆盖其他解剖部位、多中心复杂异构采集设备或非英语临床诊疗环境。
金标准固有噪声：虽然引入了 ABR 认证放肿专家的抽样复核与结构化清洗，但临床放射学报告本身存在放射科医生的术语偏好与细微主观差异，全自动分割模型计算的体积指标亦不可避免地带有轻微配准误差。
未来方向：探索引入交互式工具调用与链式思考（Test-Time Compute / Verification）增强大模型在纵向多帧三维脑体积间的注意力重定向能力，同时将三维神经隐式表征或原生长上下文点云结构更原生化地接入时序推理网络。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化纵向脑部 MRI 证据链追踪评测体系，解耦架构与六步分解设计极具前瞻性。
实验充分度: ⭐⭐⭐⭐⭐ 评测 20 款横跨通用/医疗/原生 3D/闭源前沿的代表性模型，包含专家双盲复核、通道消融与统计置信区间分析。
写作质量: ⭐⭐⭐⭐⭐ 论文概念界定极其严谨，实验分析深刻扎实，术语定义与诊断指标高度规范统一。
价值: ⭐⭐⭐⭐⭐ 深刻揭示了前沿多模态大模型在深层医学临床推理上的能力瓶颈，为下一代医学专有基座模型的训练与评测树立了关键标杆。

实验条件配置	保留证据通道（时序/多序列/影像）	Qwen3.5-27B 准确率 (%)	GPT-5.4 准确率 (%)	Qwen 降幅 (pp)	GPT 降幅 (pp)
全证据保留（Full evidence）	时序 \(\checkmark\) / 多序列 \(\checkmark\) / 图像 \(\checkmark\)	50.0	50.0	—	—
剥离既往检查（仅留最新单次检查）	时序 — / 多序列 \(\checkmark\) / 图像 \(\checkmark\)	12.5	26.7	-37.5	-23.3
剥离互补序列（仅保留单 T2 序列）	时序 \(\checkmark\) / 多序列 — / 图像 \(\checkmark\)	29.2	38.3	-20.8	-11.7
完全去除影像输入（仅基于纯文本先验）	时序 — / 多序列 — / 图像 —	15.0	9.2	-35.0	-40.8