RAU: Reference-based Anatomical Understanding with Vision-Language Models¶

会议: ECCV2026
论文: ECCV 原文
作者: Yiwei Li, Yikang Liu, Jiaqi Guo, Lin Zhao, Zheyuan Zhang, Xiao Chen, Boris Mailhe, Ankush Mukherjee, Terrence Chen, Shanhui Sun
机构: United Imaging Intelligence；University of Georgia；Northwestern University
领域: 医学图像
关键词: 解剖理解、参考条件分割、空间推理、SAM2、强化学习

身份核验：录用记录 3449 与论文首页的作者名单一致；PDF 标题使用 “Vision Language Models”，会议标题使用 “Vision-Language Models”，仅连字符不同。本笔记沿用会议标题。

一句话总结¶

RAU 先让 Qwen2.5-VL-7B 学会比较参考图与目标图的解剖空间关系，再把分割标记作为软提示接入 SAM2 参考记忆，在仅用 RAOS 和 Arcade 训练的分割设置下，取得 CAMUS 的 Dice 0.7503 与 LERA 的 Dice 0.7010。

研究背景与动机¶

医学图像中的“认出结构”并不总等于说出器官名称。对于冠脉的某一血管段、形态近似的局部组织或跨检查对应区域，目标可能缺少独特纹理，位置和邻接关系反而更可靠。传统图谱配准可以传播标签，但细长血管、运动伪影、不完整视野和形态变化会让配准不稳定；直接训练分割器又依赖昂贵的专家标注。

视觉语言模型（VLM）可以调用医学知识，也可以遵循文本指令，但“知道这个器官通常是什么样”不等于“在这张图中找到与参考标注对应的那一段”。作者因此将已标注参考图显式放入输入，让模型从不同区域之间的相对位置推断对应关系。这里的目标是参考条件的识别、定位与分割，不是通用医学问答，也不是无需任何标注的分割。

输出形式本身也限制能力：离散区域编号只能回答对应类别；矩形框难以表达弯曲、分叉、相互重叠的血管。核心 idea：用参考引导的空间推理确定“该找哪一块”，再让带参考掩码记忆的 SAM2 负责“精确画出边界”，以任务训练和强化学习连接两种能力。

方法详解¶

整体框架¶

输入是未标注目标图、带区域标注的参考图以及指定目标区域的指令，最终输出可以是区域编号、边界框或像素掩码。论文按 VQA、框定位、分割三个任务逐步探索；最终分割模型从 RL-VQA 权重初始化，而不是必须先运行框定位模型。

参考图由 DINOv2 特征检索得到。分割时，参考图的区域标注供 VLM 比较空间关系，参考图及其对应掩码同时进入 SAM2 记忆；VLM 生成的 <Seg> 隐状态经 MLP 投影，作为软空间提示参与记忆读取和掩码解码，不需要目标图的显式点或框提示。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["目标图与指令"] --> Retrieve["参考图检索"]
    Bank["已标注参考库"] --> Retrieve
    Retrieve --> Reason["参考引导推理"]
    Reason -->|框定位变体| Box["标记回归与全局匹配"]
    Box --> Labels["框与区域标签"]
    Reason -->|分割标记| Fuse["软提示与参考记忆融合"]
    Retrieve -->|参考图及掩码| Fuse
    Fuse --> Mask["目标解剖掩码"]

关键设计¶

1. 参考图检索：先提供可比较的解剖布局

对目标图和参考库图像提取 DINOv2 特征，按余弦相似度选择最匹配的已标注参考图。这样，VLM 的输入不是孤立的一张医学图像，而是一对可以进行区域对应比较的图像。检索只是选择参考，不等同于把参考掩码直接配准到目标图，也不保证每个细小目标都一定可见。

参考图还承担双重职责：叠加的区域标注告诉 VLM 指令具体指向什么，而参考图与掩码编码后的记忆给 SAM2 提供细粒度分割条件。这个条件不可省略，因此论文的跨数据集泛化不应解读为“不需要新数据集的参考标注”。参考库构建细节被原文放在补充材料，当前缓存未包含，无法核实库规模、抽样规则或患者级划分。

2. 参考引导推理：学习对应关系而非背诵器官外观

VQA 任务把参考图中的区域标为候选编号，要求模型依据目标区域与周围结构的关系回答匹配编号。提示强调不同图中的颜色不是对应依据，模型应比较区域间的空间关系。SFT 先让 Qwen2.5-VL-7B 熟悉成对图像输入和受约束的回答格式，再以 GRPO 奖励正确编号及合法格式。

这一阶段只使用 RAOS-CT；表 1 标为 RAOS（650k），不能将其直接解释成 650k 位患者。模型从“生成看起来合理的医学描述”转向“对这个成对输入作出可验证的区域判断”。原文的思维链案例被用来支持空间关系推理，但真正更有说服力的是后面的参考布局打乱消融。

VQA 初始化还给最终分割模型提供起点。RL-VQA 并非推理时外接一个独立裁判，而是同一 VLM 经任务训练后得到的权重；后续分割学习保留这个参考条件输入，并改变其输出接口及优化信号。

3. 标记回归与全局匹配：避免把坐标精度交给逐字生成

框定位变体不让模型直接自回归生成数值坐标，而让它输出一个或多个 <Seg> 标记，由其嵌入通过轻量 MLP 回归边界框。模型一次预测全部标签对应的框，再把框与参考派生的标签原型联合匹配，避免各类别独立决策造成的重复分配或空间冲突。

原文将该分配写成最优传输问题：构造预测框与标签原型之间的空间或语义代价矩阵，在均匀边缘分布约束下求总代价最小的传输计划。未匹配或低置信度的区域会触发重新生成候选框的回退步骤。代价矩阵、原型构造和回退阈值被指向补充材料，不能自行补成某个确定的实现。

这一变体的意义是检验“显式几何对应是否足够”。它在 RAOS 的标签准确率超过 RL-VQA，却在 Arcade 血管数据上明显落后；矩形包围区域很难保留细长、分叉结构的身份。另需注意，第 3.2 节方法称预测目标图区域，实验设置却写输出参考图中的对应框，缓存无法消除这一方向表述冲突。

4. 软提示与参考记忆融合：把区域判断传给像素解码器

分割分支仍生成 <Seg>，但 MLP 不再输出四个框参数，而将其隐状态投影到 SAM2 记忆空间。参考图与参考掩码编码为记忆槽；投影后的查询读取这些槽，融合表示交给 SAM2 解码器。VLM 提供“当前该关注哪个对应结构”的条件，SAM2 则利用目标图特征和参考记忆恢复边界。

按正文式（7）的文字含义，注意力可整理为下式；缓存公式排版受损，这里仅恢复其明确描述的点积 softmax 与加权求和，并未增添额外机制：

\[ \alpha_{ij}=\frac{\exp(\mathbf{q}_i^\top\mathbf{m}_j)}{\sum_k\exp(\mathbf{q}_i^\top\mathbf{m}_k)},\qquad \mathbf{z}_i=\sum_j\alpha_{ij}\mathbf{m}_j. \]

其中 \(\mathbf{q}_i\) 是投影后的分割标记查询，\(\mathbf{m}_j\) 是参考记忆槽，\(\mathbf{z}_i\) 是融合结果。这说明参考并非只作为一张额外图片出现：它还进入实际的像素预测路径。与只向 SAM2 提供参考记忆的基线相比，RAU 多了受参考引导推理训练的目标选择条件。

一个完整示例¶

以 Arcade 中某段冠脉为例，参考图上指定目标血管段，目标 X-ray 中则可能同时出现形态相近的相邻分支。DINOv2 先选参考图，VLM 再依据分支之间的相对位置形成区域条件；这里不是靠两图颜色相同来匹配。

框定位变体会把候选区域压成矩形并作全局分配，容易把附近分支一起纳入。最终分割模型则将 <Seg> 隐状态送入参考记忆融合，让 SAM2 直接输出目标血管段掩码。这个示例解释任务流程，不是额外构造的定量实验，也不意味着模型已经保证血管拓扑连通。

损失函数 / 训练策略¶

VQA 先 SFT 后 GRPO，任务级奖励由编号正确性和格式正确性组成。表 1 对比 SFT 的 3、5 个 epoch，以及 GRPO 的 800、1600、2400 步；不能把这些预算直接解释为同算力对照。

框定位先冻结 VLM 训练 MLP，再用 GRPO 微调。正文式（5）以检测 AP 与格式正确性概括奖励，但图 2 还展示思考格式、JSON 格式及框 IoU 是否大于 0.5 的奖励。因此，任务级公式并不是完整实现规格。

分割初始化采用 RL-VQA；SFT 阶段训练分割标记嵌入、MLP 和 SAM2 解码器，冻结其他 VLM 权重。其监督损失按图 2 写为：

\[ \mathcal{L}_{\mathrm{seg}}=\alpha\mathcal{L}_{\mathrm{BCE}}+\beta\mathcal{L}_{\mathrm{Dice}}. \]

随后以 GRPO 优化 VLM，奖励与 Dice、BCE 分割质量相关。正文说解冻 VLM，图 2 则画出 LoRA；精确可训练参数范围、损失如何转换成奖励、权重数值及算力成本均不能从当前正文缓存确定，不能臆造奖励正负号或训练超参。

实验关键数据¶

主实验¶

分割训练集是 RAOS-CT 与 Arcade-X-Ray；CAMUS 心脏超声和 LERA 骨骼 X-ray 是分布外测试集。下表摘自原文表 3，Dice 为无量纲重叠分数，越高越好；“提升”是直接相减的分数差，不是相对百分比。

数据集	设置	MedSAM2-Memory-Ref-SFT Dice	RAU Dice	提升
Arcade	ID，血管 X-ray	0.2435	0.6754	+0.4319
RAOS	ID，CT	0.2965	0.7151	+0.4186
CAMUS	OOD，心脏超声	0.4290	0.7503	+0.3213
LERA	OOD，骨骼 X-ray	0.2603	0.7010	+0.4407

参考记忆加 SFT 的医学专用 SAM2 仍不能稳定选对区域，说明问题不只是轮廓解码能力。表 3 同时报告名为 gIoU 的指标，但当前正文没有清楚定义其聚合或计算方式，本笔记不将其擅自解释为 generalized IoU 或 global IoU。

原文表 2 的指标是最佳标签准确率，不是 Dice；以下按原表保留百分数。

数据集	RL-VQA	RL-Bbox	VLM+SAM2
RAOS	74.68%	78.16%	89.38%
Arcade	64.37%	41.09%	81.62%
LERA	54.57%	55.92%	61.87%
CAMUS	88.33%	55.06%	95.41%

表 1 的 RAOS-only VQA 在 GRPO 2400 步时为 70.68%，与表 2 的 74.68% 不同；两表不能混作同一个检查点。表 1 的 Mixture 是合并 OOD 集，不应再当成一个独立数据集参与简单跨域平均。

消融实验¶

下表摘自原文表 5，所有数值均为无量纲 Dice；打乱参考实验只在 ID 上报告。Vanilla、SFT 变体保留参考条件管线，改变 VLM 权重或训练方案；GT Bbox 是使用真实框提示 SAM2 的定位 oracle 对照。

配置	Arcade	RAOS	CAMUS	LERA
RAU，VLM-Vanilla	0.1072	0.1968	0.2644	0.1231
RAU，VLM-SFT	0.4370	0.5093	0.5506	0.5041
SAM2，GT Bbox	0.2168	0.2972	0.4480	0.3216
参考图上下切分后打乱	0.0966	0.2088	未报告	未报告
RAU，完整模型	0.6754	0.7151	0.7503	0.7010

关键发现¶

相比 VLM-SFT，完整 RAU 在 CAMUS 的 Dice 从 0.5506 提高到 0.7503，差值为 0.1997；训练方案的收益不仅限于 ID。
Arcade 打乱参考布局后 Dice 从 0.6754 降到 0.0966，支持模型依赖空间对应，而非只看参考中有哪些类别；但这种人为扰动也会引入分布偏移，不能单独证明人类式推理。
原文第 4 节开头误指表 2，实际初始化消融在表 4；其中 LERA 的 SFT-VQA 与 RL-VQA 初始化标签准确率分别为 33.95% 和 61.87%。

亮点与洞察¶

参考图既定义查询，又提供分割记忆。这个双重角色把“选对结构”和“画好边界”连接起来，比单纯增加医学预训练数据更直接针对对应任务。
框定位的负结果很重要。它说明更明确的几何输出不一定更适合血管，输出表示必须匹配目标的形状与拓扑。
可迁移的思路是先训练可验证的区域对应，再学习细粒度解码。但是否适用于其他细长结构，仍需要相应的参考标注与跨域实验。

局限与展望¶

作者将结构层级或器官树先验、自适应记忆、时序和 3D 扩展列为后续方向；当前结果不能视为已经验证三维体积或动态临床流程。
当前缓存没有补充材料，参考库、数据划分、奖励权重、回退规则和成本细节未能核验；正文还存在框坐标方向、训练参数范围及跨表检查点的表述差异。
OOD 泛化仍以已标注参考为条件；表中给出最佳标签准确率，未提供这里可核验的置信区间或重复运行方差，不能据此宣称临床可用或统计显著。

评分¶

新颖性: 4/5。参考引导空间推理与记忆分割的组合有明确任务针对性。
实验充分度: 4/5。包含 ID、OOD、初始化、真实框及参考扰动对照，但补充细节缺失限制复现判断。
写作质量: 3/5。任务递进清晰，表号、框方向和训练配置表述仍需澄清。
价值: 4/5。对少标注解剖对应有研究价值，尚不是临床部署证据。