MedVTok: 通用医学视觉分词器 (A General-Purpose Medical Visual Tokenizer)¶

会议: NeurIPS 2026
arXiv: 2610.35842
代码: https://github.com/masaaki-75/medvtok
领域: 医学图像
关键词: 视觉分词器, 多模态医学AI, 切片微分正则化, 多专家表征对齐, 3D体积视觉建模

一句话总结¶

MedVTok 是一个统一 2D 图像与 3D 体积数据的通用医学视觉分词器，通过切片微分正则化显式保持跨切片解剖连续性，并借助多专家表征对齐融合跨模态临床语义，在 24 个下游医学基准上刷新 SOTA。

研究背景与动机¶

多模态医学人工智能系统致力于整合实验室指标、长期电子病历及多源医学影像，以构建全方位的患者健康状况模型。随着医学大模型从孤立的任务专用网络向全能型通用系统（Generalist Multimodal Medical AI）演进，构建一个通用的视觉接入前端成为至关重要的基础设施。医学影像在临床诊断中信息密度最高、维度跨度极大，涵盖眼底彩照（CFP）、皮肤镜、病理切片等 2D 平面图像，以及计算机断层扫描（CT）、磁共振成像（MRI）等 3D 体积序列。不同模态在采集协议、解剖覆盖和诊断关注点上存在高度异质性，导致当前医学视觉分词器往往受限于单一模态或固定维度。下游的多模态模型（如 LLaVA-Med、LaMed）不得不承担极其沉重的跨模态适配与表征对齐负担。

这种分词器割裂的深层矛盾体现在维度连续性与语义覆盖率的双重瓶颈。在空间维度上，3D 断层扫描具有天然的容积连续性，器官、血管与病变结构在相邻轴向切片之间平滑过渡，而现存的 2D/3D 分词方案（如通过权重沿维度池化或单纯复制 2D 切片堆叠）主要依赖逐体素/逐像素的像素级重建误差（\(\ell_1\)、MSE），这类点对点监督无法约束切片间的变化曲率，容易诱发严重的层间伪影与断裂。在模态语义上，不同医学影像的临床侧重差异悬殊，病理呈现细胞形态，而 CT/MRI 表达器官宏观解剖结构。以往的工作（如 MedITok）通常将分词器特征与单一通用生物医学编码器（如 BiomedCLIP）做对齐，这直接将分词器的特征空间限制在单一模型的表征几何分布内，造成超出该编码器分布的模态特异性关键线索被严重压缩甚至丢失。

面对上述两难，本文提出一种面向 2D 图像与 3D 体积全模态统一的视觉分词器架构，从底层补齐切片间解剖几何梯度，并在多模态专家之间搭建兼顾共性流形与个性特异性的表征通道。核心 idea：通过引入一阶与二阶切片微分正则化（SliDR）强制恢复 3D 断层间的结构连续性与曲率平滑度，同时构建多专家表征对齐（MERA）机制，结合共享空间对比学习与模态反向投影重建，在无需文本标注的情况下同时锁定全局高层临床语义与模态互补知识。

方法详解¶

整体框架¶

MedVTok 采用基于 Transformer 的自编码器架构，支持任意分辨率与维度的输入批处理。给定输入张量 \(\boldsymbol{x} \in \mathbb{R}^{C \times T \times H \times W}\)（对于 2D 图像 \(T=1\)，对于 3D 体积 \(T>1\)），模型首先执行无维度偏置的 Patch 化操作，将图像拆分为 \(N\) 个非重叠补丁，并将其拼接成一维序列。Transformer 编码器结合三维旋转位置编码（3D RoPE）生成补丁级嵌入表示，经过高斯重参数化隐空间约束后送入 Transformer 解码器进行高保真重建。在解码重构端，除常规像素级与感知对抗损失外，针对 3D 数据引入切片微分正则化（SliDR）。在编码语义端，通过轻量级全局均值池化头聚合生成图像级表征，并送入多专家表征对齐（MERA）模块，与离线计算的多模态专家特征进行双向对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>2D 图像 / 3D 体积序列"] --> B["无维度偏置 Patch 化与序列拼接<br/>提取坐标元组 (b, z, x, y)"]
    B --> C["Transformer 编码器<br/>3D RoPE 注入 + 块对角自注意力掩码"]
    C --> D["隐空间投影与高斯重参数化<br/>输出 N×48 维隐变量 z"]
    D --> E["切片微分正则化 SliDR<br/>一阶跃迁差分与二阶曲率差分约束"]
    D --> F["多专家表征对齐 MERA<br/>共享对比对齐 + 专家空间互补映射"]
    E --> G["高保真 2D/3D 解码重建<br/>像素级 + 感知 LPIPS + 对抗损失"]
    F --> H["统一多任务下游应用<br/>分类/分割/检索/生成/VQA/报告生成"]

关键设计¶

1. 无维度偏置 Patch 化与变长序列拼接：消除填充开销并支持异构混合训练

传统模型在处理不同尺寸或 2D/3D 混合数据时，通常采用填充或强制插值，这在 3D 体积数据中会带来高达数十倍的显存浪费与计算冗余。MedVTok 统一将所有输入解构为 \(P_t \times P_h \times P_w = 4 \times 16 \times 16\) 大小的体素补丁。对于 2D 图像（\(T=1\)），在时间/深度维度上补零扩展至 \(P_t=4\) 帧，得到 \((H/16) \times (W/16)\) 个补丁；对于 3D 体积，沿三维轴自然切分得到 \((T/4) \times (H/16) \times (W/16)\) 个补丁。批次内的所有补丁被平铺拼接为一个总长度为 \(N\) 的扁平序列，并附带各自的四维坐标 \((b, z, x, y)\)。自注意力计算时采用块对角掩码阻断不同样本之间的跨样本交叉注意力，实现真正 \(\mathcal{O}(N)\) 线性显存开销的动态分辨率与 2D/3D 自由混合批训练。

2. 切片微分正则化 (SliDR)：显式建模 3D 断层间的结构平滑度与穿平面曲率

断层扫描（CT、MRI）的核心物理特性在于相邻切片间的解剖连贯性。纯粹的逐体素重建损失（\(\ell_1\) 或 MSE）仅对独立坐标点进行惩罚，容易忽视沿切片深度轴（Z 轴）的平滑过渡，导致沿纵深切面观察时存在阶梯状边缘甚至断层跳变。SliDR 显式对输入切片与重构切片沿深度轴的一阶与二阶差分施加一致性惩罚。设 \(\boldsymbol{x}_{(k)}\) 与 \(\hat{\boldsymbol{x}}_{(k)}\) 分别表示真实输入和重建体数据的第 \(k\) 张轴位切片，一阶差分 \(\Delta_k(\boldsymbol{x}) = \boldsymbol{x}_{(k+1)} - \boldsymbol{x}_{(k)}\) 捕捉邻近解剖过渡，二阶差分 \(\Delta_k^2(\boldsymbol{x}) = \boldsymbol{x}_{(k+1)} - 2\boldsymbol{x}_{(k)} + \boldsymbol{x}_{(k-1)}\) 捕捉通过平面的曲率变化趋势。SliDR 损失函数定义为：

\[\mathcal{L}_{\text{SliDR}} = \frac{1}{T-1} \sum_{k=1}^{T-1} \left\| \Delta_k(\hat{\boldsymbol{x}}) - \Delta_k(\boldsymbol{x}) \right\|_1 + \frac{1}{T-2} \sum_{k=2}^{T-1} \left\| \Delta_k^2(\hat{\boldsymbol{x}}) - \Delta_k^2(\boldsymbol{x}) \right\|_1\]

通过这一约束，分词器在压缩和重建 3D 容积时，强制保留跨切片的器官边缘形态变化率，彻底消除了层间不连续的结构失真。

3. 多专家表征对齐 (MERA)：融合多模态通用临床语义与模态专有互补表征

针对单一预训练教师模型（如仅使用 BiomedCLIP）无法覆盖多样化专科影像特有细微表征的问题，MERA 构建了一个覆盖 9 大模态的专家编码器阵列（包括病理专用 Conch、皮肤镜专用 DermLIP、眼底专用 RetCLIP、内窥镜专用 PeskaVLP，以及通用放射影像 MedImageInsight，3D CT 专用 Spectre 与 3D MRI 专用 HLIP）。为了避免在多任务专家特征融合中丢失各自的精细判别力，MERA 采用双向约束目标：一是共享空间对比对齐：各专家特征 \(\boldsymbol{e}_i = E_{m(i)}(\boldsymbol{x}_i)\) 经由模态映射层 \(p_{m(i)}\) 投影至公共空间 \(\tilde{\boldsymbol{e}}_i\)，与 MedVTok 经均值池化聚合得到的全局特征 \(\boldsymbol{r}_i\) 算对称对比损失 \(\mathcal{L}_{\text{shared}}\)，将所有模态锚定在同一个统一几何空间中；二是专家空间互补映射：利用模态专用的反向投影器 \(q_{m(i)}\) 将统一表征映射回对应专家的原生特征空间 \(\tilde{\boldsymbol{r}}_i = q_{m(i)}(\boldsymbol{r}_i)\)，并通过余弦距离损失 \(\mathcal{L}_{\text{expert}}\) 约束其还原原生语义，防止投影到统一低维空间时将模态独有的细粒度特征过度压缩或丢弃：

\[\mathcal{L}_{\text{expert}} = \frac{1}{B} \sum_{i=1}^{B} \left( 1 - \frac{\tilde{\boldsymbol{r}}_i \cdot \boldsymbol{e}_i}{\|\tilde{\boldsymbol{r}}_i\| \cdot \|\boldsymbol{e}_i\|} \right)\]

MERA 模块的总损失为 \(\mathcal{L}_{\text{MERA}} = \mathcal{L}_{\text{shared}} + \mathcal{L}_{\text{expert}}\)，赋予了统一分词器兼具全科全局概念和专科细粒度病变的双重判别表征能力。

损失函数 / 训练策略¶

MedVTok 的整体优化目标涵盖重建保真度、高斯先验正则化与多级临床语义监督：

\[\mathcal{L} = \mathcal{L}_{\text{R}} + \lambda_{\text{KL}}\mathcal{L}_{\text{KL}} + \lambda_{\text{SliDR}}\mathcal{L}_{\text{SliDR}} + \lambda_{\text{MERA}}\mathcal{L}_{\text{MERA}}\]

其中 \(\mathcal{L}_{\text{R}} = \ell_1 + \ell_2 + \mathcal{L}_{\text{LPIPS}} + w_{\text{adv}}\mathcal{L}_{\text{adv}}\) 采用自适应权重 \(w_{\text{adv}}\) 动态平衡生成对抗梯度；\(\lambda_{\text{KL}}=10^{-6}\)，\(\lambda_{\text{MERA}}=1.0\)，\(\lambda_{\text{SliDR}}=0.1\)。模型训练分两阶段进行： - 阶段 1（2D 基础训练）：在 2800 万张 2D 图像上进行 100K 步训练，\(\lambda_{\text{SliDR}}=0\)，学习率由 \(10^{-4}\) 余弦衰减至 \(10^{-5}\)，构建坚实的基础空间视觉结构与跨模态语义基底； - 阶段 2（2D/3D 联合训练）：加入 7 万例 3D 容积数据，激活 3D 专家投影器并开启 SliDR 损失，在 2D（有效 Batch Size 600）与 3D（有效 Batch Size 48）批次之间进行奇偶交替迭代训练，学习率由 \(2 \times 10^{-5}\) 衰减至 \(2 \times 10^{-6}\)。

实验关键数据¶

主实验¶

评估在 24 个下游基准上展开，涵盖重构保真度（PSNR/SSIM）、感知下游任务（分类、检索、分割）、以及生成下游任务（图像生成 FID、LLaVA-Med 驱动的 VQA、LaMed 驱动的 3D 放射学报告生成）。

下表为 9 大模态 2D 及 3D-MRI / 3D-CT 自动编码重构保真度（PSNR dB / SSIM %）对比：

方法	类型	2D-Avg PSNR ↑	2D-Avg SSIM ↑	3D-MRI PSNR ↑	3D-MRI SSIM ↑	3D-CT PSNR ↑	3D-CT SSIM ↑
SDVAE	通用 VAE	33.06	82.63	–	–	–	–
TokenFlow	通用统一	25.56	67.84	–	–	–	–
MingTok	通用统一	29.43	73.61	–	–	–	–
UniTok	通用统一	30.21	81.72	–	–	–	–
AToken	通用多模态	38.22	91.72	31.46	85.19	35.68	95.50
PUMIT	医学通用	27.78	82.16	29.96	85.20	31.87	90.55
MedVAE	医学专用	27.95	82.64	25.89	75.14	31.30	90.44
MedITok	医学 2D	32.91	87.20	–	–	–	–
MedVTok (本文)	医学 2D/3D 统一	40.18	94.16	31.77	87.79	36.50	95.65

下表展示了多任务下游在冻结分词器特征下的表现对比（分类 Accuracy、检索 Recall@1、线性探针分割 Dice、扩散生成 FID、VQA 准确率）：

方法	分类 Acc (%) ↑	检索 R@1 (%) ↑	分割 Dice (%) ↑	生成 FID ↓	VQA Acc (%) ↑
SDVAE	53.66	53.47	44.56	–	–
TokenFlow	57.03	58.76	53.28	–	–
PUMIT	52.41	52.53	53.63	227.51	41.94
MedVAE	51.32	51.30	38.86	172.08	39.93
BiomedCLIP (语义编码器)	69.45	70.52	64.63	–	–
MedImageInsight (语义编码器)	76.21	77.34	64.38	–	–
MedITok	73.55	74.43	71.99	109.76	45.39
MedVTok (本文)	80.23	79.18	76.07	101.73	46.48

消融实验¶

消融实验在第一阶段 3M 子集上系统剖析了 MERA 组成部分、池化聚合方式、数据规模及 SliDR 机制的关键影响：

实验编号	配置说明	2D 分类 Acc (%) ↑	2D 分割 Dice (%) ↑	3D-CT PSNR (dB) ↑	3D-CT SSIM (%) ↑
E1	无语义对齐 baseline (仅纯自编码重建)	62.40	66.85	–	–
E2	+ 单专家共享空间对比对齐 (\(\mathcal{L}_{\text{shared}}\) w/ MedImageInsight)	68.21	68.90	–	–
E3	+ 多专家共享空间对比对齐 (\(\mathcal{L}_{\text{shared}}\) w/ 多专家)	70.17	70.45	–	–
E4	+ 专家空间互补反向投影对齐 (\(\mathcal{L}_{\text{expert}}\))	71.70	70.92	–	–
E5	替换 Attention Pooling 为 Simple Mean Pooling	71.55	73.21	–	–
E6	训练集扩展至全量 28M 规模	80.23	76.07	–	–
E7	第二阶段联合训练 baseline (w/o \(\mathcal{L}_{\text{SliDR}}\))	–	–	35.82	94.88
E8	完整模型 (+ \(\mathcal{L}_{\text{SliDR}}\))	80.23	76.07	36.50	95.65

关键发现¶

多专家互补对齐显著超越单一强基座：从 E2 到 E3 再到 E4，分类准确率从 68.21% 连续攀升至 71.70%。单一医学编码器（即使如 MedImageInsight 般覆盖较全）依然缺乏病理、眼底和皮肤专科的极端细粒度知识；而反向投影机制（\(\mathcal{L}_{\text{expert}}\)）确保了高层通用空间映射不至于劣化局域专家空间的细颗粒度特征。
均值池化比注意力池化更适合稠密预测：先前通用视觉分词器（如 AToken、SigLIP 2）习惯使用 Attention Pooling 进行全局表征抽取，但在消融中发现它导致 Token 的局域空间高频信息被过度平滑，严重损害密集分割任务（Dice 从 70.92% 跃升至 73.21%）。采用均值池化保留了补丁级别的空间分布式表征，对下游分割任务具有关键增益。
SliDR 是维持容积解剖结构保真度的核心支柱：在引入 \(\mathcal{L}_{\text{SliDR}}\) 后，3D-CT 重建 PSNR 获得 +0.68 dB 显著提升，有效滤除了相邻断层间的伪影与断裂，生成的 3D 放射学报告（LaMed 框架）在复杂盆腔区域的 RaTEScore 与 GREEN 临床纠错评分取得最明显提升。

亮点与洞察¶

无需文本配对实现更强跨模态泛化：以往如 MedITok 严重依赖数百万甚至上千万高质量图文配对文本数据进行对比学习，而 MedVTok 仅通过蒸馏已有的预训练单模态/多模态视觉专家特征，便在各类下游任务上全面超越依赖文本监督的模型，极大降低了大规模医疗数据治理的门槛。
平铺序列与块对角掩码设计消除尺寸偏见：将不同维度、不同分辨率的补丁展平拼接为一个大序列，并结合四维时空坐标与 3D RoPE，不仅天然打破了 2D/3D 的工程界限，更彻底省去了常规统一模型因尺寸不齐带来的 Padding 显存开销。
未见新模态具备优异的零样本迁移表现：在从未参与预训练的外周血细胞显微镜图像（PBC 数据集）上，冻结的 MedVTok 特征在 k-NN 与线性探针分类上直接取得了 94.78% 与 96.84% 的高精度，证明其学习到的表征具备强健的医学通用表征基础。

局限与展望¶

模态覆盖仍受限于主流大宗临床检查：预训练数据主要集中于 CT、MRI、X-ray、病理等常规影像，对于超声造影、前向光学相干断层扫描（OCT-A）以及医学文献中的示意图/非标临床照片探索尚不充分，未来可进一步拓展非标小众模态。
专家模型离线冻结未做端到端反哺：为降低算力开销，MERA 采用预先离线提取的专家特征。若能在计算预算充裕的条件下对专家编码器进行选择性联合微调，有望形成更具协作性的自适应知识表征流形。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出针对断层连续性的 SliDR 与兼顾全局和互补特征的 MERA，架构设计高度贴合医学物理与临床先验。
实验充分度: ⭐⭐⭐⭐⭐ 跨越 9 大模态、24 个下游基准、6 种任务形态，涵盖感知、密集分割与多模态 LLM 生成，数据对比极度详实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对应清晰，方法推导和实验消融深入且有说服力。
价值: ⭐⭐⭐⭐⭐ 为通用多模态医学大模型（Generalist Medical MLLMs）提供了高性能、统一且开箱即用的底层分词基础设施。