MediRound: Multi-Round Entity-Level Reasoning Segmentation in Medical Images¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/Edisonhimself/MediRound
领域: 医学图像 / 多模态 VLM
关键词: 多轮对话、实体级推理、医学分割、历史掩码、质量修正

一句话总结¶

MediRound 用 MR-MedSeg 数据集训练可引用历史分割实体的医学对话模型，再以判断与修正机制 JCM 改善跨轮传递的掩码，使验证集整体 cIoU 从 55.8 提高到 58.9。

研究背景与动机¶

传统医学分割通常回答“这个器官在哪里”，文本引导方法则允许用户用语言描述目标。 LISA 一类推理分割方法进一步把隐含指令交给多模态大语言模型理解，再将目标语义传递给分割器。但医学教学经常不是一次说清目标，而是先观察某个结构，再问“它把血液送到哪里”或“另一侧对应结构是什么”。这里的“它”不只是对话里的一个名词，还对应先前输出的具体图像区域。若模型只记住文字，便可能知道心房和心室的关系，却不能确定用户实际指的是哪一个实体。

自然图像上的 SegLLM 已探索多轮分割，但医学场景还需要器官层级、病灶依附和生理关系等专门知识。本文提出的 MEMR-Seg 因而把跨轮实体关系与像素级输出绑定起来，而不只是连续提出若干互不相关的分割问题。更棘手的是，训练时可以给模型正确的历史掩码，部署时却只能引用自己预测的结果。前一轮若分错了实体，后一轮的裁剪图和位置线索都会随之偏移，错误会沿引用关系继续传播。这意味着多轮系统不仅要回答当前问题，还要维护后续问题将依赖的视觉上下文。

作者的切入点包含数据和推理过程两部分：先构造医学实体关系对话，再显式输入被引用实体的外观与位置。在此基础上，模型不直接把所有当前输出交给下一轮，而是先判断用于分割的语义特征是否可靠。 核心 idea：把历史掩码转成可引用的实体证据，并在掩码进入后续轮次前，按预测质量选择是否修正其分割语义特征。

方法详解¶

整体框架¶

系统输入包括同一张医学图像、当前问题、已有问答历史，以及用户指定的某个历史轮次掩码。输出为带有 [SEG] 标记的文字回答和当前目标的二值掩码。 “实体关系数据构建”提供训练对话，“历史实体融合”负责跨轮理解，“判断与修正”负责保护即将传给后续轮次的分割结果。底层使用 LLaVA-Med-v1.5-Mistral-7B 理解图文，MedSAM 提供图像编码和掩码解码。同一张原图在两条视觉路径中扮演不同角色：语言模型需要全局语义，MedSAM 需要用于还原边界的稠密特征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Source["已有医学图像与标注"] --> Data["实体关系数据构建"]
        Data -.->|训练监督| Fusion["历史实体融合"]
        Input["原图、当前问题<br/>问答历史与引用掩码"] --> Fusion
        Fusion -->|当前 SEG 特征| JCM["判断与修正"]
        JCM --> Decoder["MedSAM 解码<br/>当前掩码与文字回答"]
        Decoder -->|后续轮次选用掩码| Fusion

图中的数据构建只发生在准备阶段，不是每轮推理时调用的生成服务。训练时历史实体融合接收真实历史掩码，测试时则接收已经预测出来的掩码。判断与修正在基础模型训练结束后单独训练，在自由运行的多轮推理中按条件启用修正分支。文字回答来自 LLaVA-Med；JCM 修改的是掩码解码所用特征，并非重新生成整段对话。

关键设计¶

1. 实体关系数据构建：把“引用先前结果”变成有监督任务

MR-MedSeg 基于 SA-Med2D-20M 已整理的图像、掩码和标签构建，初始候选池含 118K 图像和 569K 掩码。这些是候选池规模，不能直接理解成最终互不重复的训练图像数。作者先人工挑选适合多轮交互的子数据集和医学实体，再构造实体之间的关系。关系覆盖器官与病灶依附、解剖层级、器官或组织属性、空间关系和较强推断关系五类。例如，“病灶位于这个器官上”与“另一侧同类器官”需要不同知识，不能仅靠改写器官名称获得。最终数据覆盖 168 个医学实体和 9 种医学成像模态。

关系生成结合人工标注与 GPT-5，且区分是否需要观看具体图像。对跨图像稳定的解剖或生理属性，可以不加入图像上下文；对左右位置等随图像变化的关系，则显式加入对应图像。每种实体关系由 GPT-5 改写成 50–80 个语义等价模板，再人工填入实体并进一步润色对话。三位有医学专业知识的检查者参与筛选，目的是降低关系错误和语言不自然的问题。训练、验证、测试分别包含 174,934、1,270、1,273 段对话，总计 177,477 段。这些模板扩展提高了语言覆盖，但不等同于同等规模的真实学生交互记录。

2. 历史实体融合：同时告诉模型引用对象“长什么样”和“在哪里”

当前轮并不默认引用紧邻的上一轮，而是由用户选择一个已经存在的轮次作为参考。若第四轮引用第二轮，模型从第二轮掩码对应的原图区域获得裁剪图，并取得其在原图中的边框坐标。裁剪图通过 LLaVA-Med 的视觉编码器与投影层，边框通过独立线性层编码。边框编码器将 4 维坐标映射到 4096 维，使空间信息能够与语言模型的输入表示配合。裁剪提供局部实体外观，边框保留其在全局图像中的位置，两者解决的信息缺口并不相同。模型还同时保留原图、当前问题和完整问答历史，因此不是只在局部裁剪图上重新做分割。

这些信息组成 LLaVA-Med 的联合输入，模型生成文字回答，并在需要输出掩码时产生 [SEG]。作者提取该标记对应的末层隐藏表示，将它作为当前目标的语义表征。 MedSAM 图像编码器另行提取原图的稠密视觉特征，掩码解码器把二者结合，生成全图坐标下的目标掩码。因此，历史裁剪是帮助判断“要分哪个对象”的参考，不是把输出范围锁死在旧掩码内部。这点对“分出另一侧器官”特别重要，因为新目标很可能完全位于参考区域之外。当不引用任何掩码时，算法允许参考轮次为 0，避免把首轮问题强行绑定到虚构历史。

3. 判断与修正：在错误成为后续轮次的参考之前干预

基础模型采用 teacher forcing，即训练时用真实掩码取得参考区域。测试采用自回归自由运行，每一轮只能使用模型此前的预测；这种参考质量差异正是 JCM 针对的问题。 JCM 不直接在像素图上做形态学修补，而是在 [SEG] 特征上加入两个轻量 MLP。质量判断模块预测该特征未经修正时能够产生多好的掩码，修正模块则学习把特征变得更适合解码。预测质量 \(q\) 落在 \([0,1]\) 内；阈值 \(eta\) 越大，越多特征会进入修正分支。下面按第 8 页算法 1 整理推理规则，其中 \(f\) 为 MedSAM 原图特征，\(h_c\) 为当前分割语义特征：

\[ \widehat M = \begin{cases} \operatorname{Dec}(f,h_c), & q>\beta,\\ \operatorname{Dec}(f,\operatorname{MLP}_C(h_c)), & q\leq\beta. \end{cases} \]

选择性修正避免无条件改写本来正确的特征；阈值不是对像素概率做二值化，而是控制是否修改整个分割语义表示。作者通过验证集阈值消融选择 \(\beta=0.6\)。当前轮修正后的掩码会进入可引用历史集合，后续轮次因此可能同时受益于更好的参考和自身修正。这不是回头重跑所有旧轮次，也不是让外部语言模型重新判题。若历史实体已经严重错配，轻量特征修正仍未必能够恢复正确引用，论文没有给出错误必然消除的保证。

一个完整示例¶

论文图 1 和图 4 用心腔关系展示跨轮引用；下面只解释流程，不把示意图当成带定量标注的测试案例。第一轮要求分割右心房血腔，输出实例 [1]，其掩码随对话保存。第二轮问“接收实例 [1] 血液的腔室”，于是使用第一轮的裁剪和位置来推断相连的心室。第三轮又以第一轮为参照，寻找另一个心房，说明历史引用并不构成只能向前一步的线性队列。第四轮要求相对于实例 [2] 找到另一个心室，此时实际使用的是第二轮掩码，而不是第三轮结果。若第二轮特征质量较差，JCM 在第二轮解码前触发修正，第四轮读到的实体证据便可能更准确。这一过程体现的是解剖关系、指代消解和像素定位共同工作，而不是仅把“另一侧”替换成一个固定器官名。

损失函数 / 训练策略¶

基础模型训练时冻结 MedSAM 图像编码器和 LLaVA-Med 视觉编码器，语言模型通过 LoRA 微调。掩码解码器与边框编码器完全可训练，文本回答使用自回归交叉熵监督。掩码监督组合逐像素 BCE 与 Dice 损失，其权重分别为 2.0 和 0.5。完成基础训练后，冻结 MediRound 的全部组件，仅训练 JCM 的质量判断 MLP 和修正 MLP。同一个原始特征分别走未修正解码路径和修正解码路径；前者产生质量监督目标，后者接受掩码监督。质量标签不是人工给出的好坏类别，而是未经修正掩码与真实掩码的重叠度：

\[ Q=\operatorname{IoU}(\widetilde M,M) =\frac{|\widetilde M\cap M|}{|\widetilde M\cup M|}. \]

质量模块用预测 \(q\) 与软标签 \(Q\) 之间的 BCE 训练；修正分支仍使用前述 BCE 与 Dice 掩码损失。这一目标教会判断模块估计原始输出的质量，而不是直接预测“修正后一定提升多少”。基础训练使用 4 张 48 GB RTX A6000，每卡 batch size 为 15，耗时约 1.5 天；JCM 另需约 0.5 天。优化器为 AdamW，学习率 0.0003，WarmupDecayLR 预热 100 次迭代，LoRA rank 为 8。质量判断和修正 MLP 的维度分别为 [256, 512, 512, 1] 与 [256, 512, 512, 256]。正文未充分交代语言模型末层表示如何对接这里的 256 维特征，不能据此猜定完整实现中的中间投影。缓存中的公式 (1)–(6) 多处存在排版损坏；本笔记依据文字和算法解释损失及分支，不把损坏表达式还原为作者精确公式。

实验关键数据¶

主实验¶

下表摘自第 11 页表 1，所有指标沿用原表的百分数尺度，统计 MR-MedSeg 全部对话轮次。验证集列为整体结果，测试集拆为 regular case 和 hard case；正文仅将后者描述为更困难的案例。 SegLLM 在 MR-MedSeg 上微调，Human-Thinking 及外部 MLLM 组合基线为零样本评估，不能视作完全相同的训练预算。

方法	验证 Dice	验证 gIoU	验证 cIoU	测试 regular Dice	测试 hard Dice
Human-Thinking + MediSee	43.0	33.5	35.4	45.6	45.1
Qwen3-VL + MediSee	42.7	34.0	34.5	45.2	37.8
SegLLM-13B	38.9	31.2	39.1	45.3	33.0
MediRound + READ	53.9	45.1	54.6	60.3	47.2
MediRound	55.8	46.5	55.8	61.0	48.1
MediRound + JCM	58.4	49.0	58.9	63.3	50.3

这里最干净的机制比较是同一 MediRound 加不加 JCM：验证 Dice 增加 2.6 点，cIoU 增加 3.1 点。原文未在所读实验正文中展开 gIoU 与 cIoU 的聚合定义，故保留指标名称，不将其擅自解释成目标检测的广义 IoU。

消融实验¶

第 13 页表 5 在 MR-MedSeg 验证集上比较参考掩码的表示方式，属于基础 MediRound 的输入消融。

参考裁剪	参考边框	Dice	gIoU	cIoU
不使用	不使用	41.9	32.5	38.4
使用	不使用	55.4	45.8	56.0
使用	使用	55.8	46.5	55.8

加入裁剪后 cIoU 从 38.4 升到 56.0，说明显式历史视觉实体是关键，而不只是多存几轮文字。再加入边框，Dice 和 gIoU 上升，但 cIoU 从 56.0 变为 55.8；不能把作者“最好”的概括写成逐指标全面最优。第 12 页表 2 则给出验证集各轮 cIoU，适合观察 JCM 是否只改善早期轮次。

方法	Round 2	Round 3	Round 4	Round 5	Round 6	Round 7	Round 8
MediRound	50.2	60.8	55.9	58.8	63.7	64.7	46.1
MediRound + JCM	52.6	63.6	59.7	64.6	69.5	66.3	54.8

关键发现¶

第 8 轮 cIoU 从 46.1 提高到 54.8，增加 8.7 点，支持修正机制对较长对话有帮助。
各轮基线分数并不单调下降，且不同轮次样本组成可能不同，不能把表 2 单独当成误差传播的因果实验。
第 13 页表 3 的单轮测试中，MediRound Dice 为 62.1，MediSee 为 61.2；但 cIoU 分别为 66.3 和 70.8，不支持全面领先的说法。
第 15 页图 9 对 15 位医学生的调查给出实用性 3.80、帮助性 3.93、便利性 4.33、潜力 4.07，量表为 1–5 分；这是主观反馈而非教学效果试验。

亮点与洞察¶

历史掩码不仅是上轮的最终答案，也成为下一轮可指代的视觉实体。把裁剪与位置重新送入模型，提供了比纯文字历史更直接的依据。
JCM 的判断对象是解码前的语义特征，监督信号却来自最终掩码 IoU。这使轻量质量估计能够与下游像素任务相联系。
修正发生在当前输出进入后续历史之前，收益可能沿引用关系延续。此思路可启发其他有状态视觉交互，但本文没有验证跨任务迁移。

局限与展望¶

数据主要由医学关系模板、GPT-5 改写和人工筛选构成，真实用户的歧义、追问和错误表述仍需额外验证。
正文报告对话划分，但未充分说明患者级或原始图像级隔离；不能仅凭对话数量推断不存在相关样本泄漏。
基础模型与 JCM 均使用 teacher forcing 训练，因此修正模块并未从训练协议上彻底消除与自由运行测试的差异。
JCM 能调整特征，不保证识别错误实体、缺失目标或错误医学关系；教学部署仍需要人工确认和拒答机制。
多模态规模、跨域泛化与真实学习收益需要进一步评估，15 人满意度调查不足以证明临床可靠性或知识掌握提升。

评分¶

新颖性: 4/5，医学实体关系任务与选择性特征修正结合明确，但基础多轮接口继承已有路线。
实验充分度: 4/5，包含整体、逐轮、骨干与输入消融，仍缺真实教学效果和更严格泛化验证。
写作质量: 4/5，任务与推理流程清晰，但部分实现接口和指标定义不够充分。
价值: 4/5，为医学交互分割提供可用研究方向，尚不能据此认定可直接用于教学或临床决策。