NeurIPS 2026 医疗 LLM 电子健康记录 (EHR) 离散分词器 (Discrete Tokenizer) 向量量化 (VQ) 跨机构迁移概念通用语 (Neural Interlingua)

Discrete Neural Interlingua for Ontology-Agnostic EHR Modeling¶

会议: NeurIPS 2026
arXiv: 2610.27047
领域: 医疗 LLM
关键词: 电子健康记录 (EHR), 离散分词器 (Discrete Tokenizer), 向量量化 (VQ), 跨机构迁移, 概念通用语 (Neural Interlingua)

一句话总结¶

本文提出面向电子健康记录（EHR）的离散本体无关分词器 Mediator，通过将任意临床概念文本映射到统一的向量量化（VQ）码本构建神经通用语，彻底打破闭表词表瓶颈并实现零样本跨机构泛化。

研究背景与动机¶

电子健康记录（EHR）基座模型通过学习诊断、手术、用药、检验等多模态纵向序列，为临床预测与真实世界证据生成提供了强大的支撑。然而，现有 EHR 序列模型普遍受制于符号化分词的严重瓶颈：传统做法将每个医学代码视为相互独立的孤立离散 token 并学习独立的 embedding。这种封闭词表机制不仅对长尾医学代码严重缺乏统计强度共享，而且完全切断了代码背后的自然语言定义、本体层次结构与同义关系。当模型在不同医疗机构间部署时，各医院采用的本体系统（如 ICD-9、ICD-10、SNOMED CT）、版本差异乃至未编码的本地自由文本差异极大，导致基于特定医院闭表训练的模型直接丧失对未见代码或非结构化文本的解析能力。例如，在 MIMIC-III 闭表词表上训练的模型迁移至 eICU 时，由于词表失配仅能利用 13% 的临床事件，其余绝大部分数据不得不被丢弃。

现有的跨机构协同与本体标准化方案存在明显不足：人工将代码映射到统一词表（如 UMLS 或 OMOP CDM）代价极高、容易遗漏长尾概念且维护困难；纯连续向量嵌入方法虽然具有语义灵活性，却无法适配目前主流基于自回归或掩码预测的离散序列 Transformer，且极大地增加了可解释性归因与缓存开销；而现存的多中心表征对齐框架往往需要为新接入的医院或私有代码库重新计算对齐映射。这导致临床 EHR 建模长期面临着“要么牺牲文本与异构代码以维系离散模型，要么放弃通用离散接口转向连续表征”的两难境地。

本文切入的角度是：摆脱预定义代码 ID 的符号束缚，将临床概念归一化直接重构为开表文本到离散空间的量化映射。核心 idea：提出离散本体无关分词器 Mediator，利用冻结的大规模文本编码器将任意医学文本表述映射至固定大小的向量量化（VQ）码本空间，并在同义词多视角等价监督与多源医学先验教师指导下组织医学概念几何，为 EHR 序列模型提供统一且可即插即用的离散神经通用语接口。

方法详解¶

整体框架¶

Mediator 的核心目标是构建一个将任意文本描述 $x \in \mathcal{X}$ 离散化映射至固定索引 $k \in \{1, \dots, K\}$ 的分词器 $T(x)$。输入可以包含官方代码标准名称、院内本地描述、口语化表达或非结构化自由文本。整个处理流程分为预训练量化适配与下游推理两阶段。在离散分词器预训练阶段，文本经由冻结的医学文本编码器得到稠密语义嵌入，通过可学习适配器投射到量化空间，再通过余弦相似度分配至 VQ 码本中的最近原型；训练阶段综合引入量化前后的同义等价对比损失、软分配一致性损失、医学先验教师引导损失以及语义重构损失。在下游 EHR 建模阶段，Mediator 作为离散分词前端仅需对全数据集中的唯一实体文本做一次性离线处理并缓存离散 token ID，下游 BEHRT 等序列模型直接复用该码本初始化的嵌入层，完全无需在推理时调用庞大的文本编码器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入临床文本描述<br/>(标准代码名/本地缩写/自由文本)"] --> B["冻结文本编码器<br/>(Qwen3-Embedding-8B 提取密集向量)"]
    B --> C["可训练投影适配器<br/>(映射到 512 维量化连续空间)"]
    C --> D["双层等价对比与一致性约束<br/>(多视角等价损失 + 分配分布 KL 散度)"]
    C --> E["多源医学知识语义教师<br/>(LLM丰富描述 + PPMI共现 + 关系图谱)"]
    D --> F["VQ 码本余弦近邻离散化<br/>(指数移动平均更新 + 旋转技巧梯度回传)"]
    E --> F
    F --> G["统一离散 Token ID 输出<br/>(离线缓存供下游 EHR Transformer 复用)"]

关键设计¶

1. 向量量化码本与旋转技巧梯度更新：保障大规模临床原型的稳定性与活性 针对标准离散分词器在大规模离散码本下容易发生码本崩溃（codebook collapse）与死码问题，Mediator 设计了大小为 $K=100{,}000$、维度 $d=512$ 的余弦距离 VQ 码本 $\mathbf{E} = \{e_k\}_{k=1}^K$。对于适配器输出的连续表征 $z$，离散分词器通过最近邻余弦相似度选择最佳索引 $k^\star(z) = \arg\max_{k \in [K]} \cos(z, e_k)$，输出量化原型 $q(z) = e_{k^\star(z)}$。码本向量采用指数移动平均（EMA）进行动态更新以稳定原型中心，并周期性根据编码器当前经验分布重新激活低频未利用原型。为了解决硬量化不可导问题并克服传统直通估计器（Straight-Through Estimator）的梯度方向偏差，模型引入旋转技巧（Rotation Trick）构建反向传播代理向量 $\hat{z}$，通过正交变换映射梯度： $$ \nabla_z \mathcal{L} \approx \alpha R(z, q(z))^\top \nabla_{\hat{z}} \mathcal{L} $$ 其中 $R(z, q(z))$ 表示将 $z$ 方向旋转至 $q(z)$ 的正交变换矩阵，$\alpha$ 为缩放系数。此外，轻量解码器重构损失 $\mathcal{L}_{\mathrm{rec}} = 1 - \frac{1}{N}\sum_{i=1}^N \cos(g_\phi(\hat{z}_i), h_i)$ 强制量化表征保留底层语义空间的核心信息。

2. 多视角同义等价对比与软分配一致性约束：实现同义临床概念的自适应坍缩 临床上相同概念可能存在几十种拼写变体与代码描述。为了促使同义表达映射到同一离散 token，Mediator 在预训练阶段从 UMLS 聚合多视角同义数据。对于批次内概念相同的正样本集合 $\mathcal{P}(i)$，在量化前表征 $z$ 和量化后表征 $\hat{z}$ 上分别施加多正样本对比损失： $$ \mathcal{L}{\mathrm{eq}}(r) = -\frac{1}{|\mathcal{I}|}\sum $$ 使 }} \log \sum_{j \in \mathcal{P}(i)} \frac{\exp(\cos(r_i, r_j)/\tau)}{\sum_{\ell \neq i}\exp(\cos(r_i, r_\ell)/\tau)$\mathcal{L}_{\mathrm{eq}}^{\mathrm{pre}}$ 规范量化前几何结构，$\mathcal{L}_{\mathrm{eq}}^{\mathrm{post}}$ 直接约束离散接口。在此基础上，针对硬分词边界敏感的问题，设计了分配一致性损失（Assignment-Agreement Loss）：计算同概念所有输入视角的软码分配分布 $p_i(k) = \frac{\exp(\cos(z_i, e_k)/\tau_a)}{\sum_{\ell=1}^K \exp(\cos(z_i, e_\ell)/\tau_a)}$ 及其概念均值分布 $\bar{p}_c$，通过最小化各视角与均值分布的 KL 散度： $$ \mathcal{L}_{\mathrm{agree}} = \frac{1}{|\mathcal{C}B|}\sum}_B} \frac{1}{|\mathcal{Vc|}\sum_c) $$ 强制使同一临床概念的所有表面变体在 VQ 码本各个原型上的分配概率趋于一致，极大地提升了分词器对不同叙述风格的容忍度。}_c} \mathrm{KL}(p_i \,|\, \bar{p

3. 多源医学知识软语义教师：在离散化前规整概念相对几何分布 单纯同义坍缩只能保证“相同概念合一”，无法保证“不同概念之间保留正确的临床拓扑结构”。为此，Mediator 在量化前引入三类医学先验知识作为软教师，将先验亲和度矩阵 $A_m(c_i, c_j)$ 转化为非等价样本间的行归一化目标分布 $\tilde{w}_{ij}^{(m)}$ 并进行交叉熵监督： - LLM 丰富概念描述（$\mathcal{L}_{\mathrm{desc}}$）：利用 MedGemma-1.5-4B 生成概念的详尽临床定义与功能描述，捕获概念本质特征，利用归一化嵌入内积定义亲和度 $A_{\mathrm{desc}}$； - 临床代码共现统计（$\mathcal{L}_{\mathrm{co}}$）：基于真实世界 7.1M 患者队列在 30 天滑动窗口内的概念共现频次构建正点互信息（PPMI）矩阵 $M_{ij} = \max(0, \log_2 \frac{D C_{ij}}{n_i n_j})$，定义阻尼亲和度 $A_{\mathrm{co}}(c_i, c_j) = \log(1 + M_{c_i c_j})/\tau_{\mathrm{co}}$； - 医学关系知识图谱（$\mathcal{L}_{\mathrm{rel}}$）：基于 UMLS 医学关系构建图网络，依据两跳最短路径距离 $d_{\mathrm{rel}}$ 定义拓扑衰减亲和度 $A_{\mathrm{rel}}$。

这三者指导不同概念在量化前连续空间中合理排布，使得在 UMAP 降维后概念自发按 ICD 章节、LOINC 检验分类和 SNOMED 临床组呈现结构化聚集。

一个完整示例¶

以呼吸困难这一临床表现为例： 1. 来源机构 A 记录为非结构化文本短语 "shortness of breath"； 2. 来源机构 B 记录为患者主诉口语 "can't breathe"； 3. 来源机构 C 记录为标准 SNOMED CT 规范术语 "dyspnea"。三者输入 Mediator 后，冻结编码器提取各自密集向量 $h_1, h_2, h_3$ 并通过适配器得到投影 $z_1, z_2, z_3$。在软分配一致性与等价损失约束下，$z_1, z_2, z_3$ 均在码本中精准匹配到同一个离散索引 $k^\star = i$（如呼吸困难原型）；而对于完全不同的临床概念（如糖尿病 "diabetes mellitus"），经由语义教师与负样本对比，被分配到距离较远的另一离散索引 $k^\star = j \neq i$。下游序列模型直接接收离散 token $i$，消除一切跨源表述分歧。

损失函数 / 训练策略¶

Mediator 总优化目标集成了 7 个子项： $$ \mathcal{L} = \lambda_{\mathrm{pre}} \mathcal{L}{\mathrm{eq}}^{\mathrm{pre}} + \lambda}} \mathcal{L{\mathrm{eq}}^{\mathrm{post}} + \lambda}} \mathcal{L{\mathrm{vq}} + \lambda}} \mathcal{L{\mathrm{rec}} + \lambda}} \mathcal{L{\mathrm{agree}} + \lambda}} \mathcal{L{\mathrm{desc}} + \lambda}} \mathcal{L{\mathrm{co}} + \lambda $$ 关键超参设置为：}} \mathcal{L}_{\mathrm{rel}$\lambda_{\mathrm{pre}}=1.0$, $\lambda_{\mathrm{post}}=1.5$, $\lambda_{\mathrm{vq}}=0.25$, $\lambda_{\mathrm{rec}}=0.01$, $\lambda_{\mathrm{agree}}=1000.0$（经 10 个 epoch 预热），$\lambda_{\mathrm{desc}}=\lambda_{\mathrm{co}}=\lambda_{\mathrm{rel}}=0.1$。码本大小 $K=100{,}000$，维度 512，批大小 1536，训练 100 epoch。单卡 NVIDIA A100 仅需约 16GB 显存即可完成训练。

实验关键数据¶

主实验¶

论文在两大数据集上进行了严格评估：MIMIC-III 本地任务（20 项任务：涵盖运行管理、疾病亚群死亡率与癌症生存期）以及直接零样本迁移至 eICU（14 项任务）。下游模型采用 BEHRT 架构并以 5 折交叉验证汇报 AUPRC 均值（标准差）。

数据集 / 任务族	评估指标	本文 (Mediator)	强基线 (MedTok)	闭表代码 (Code Emb)	提升幅度 (vs MedTok)
MIMIC-III 本地 (20项平均)	AUPRC	0.568	0.528	0.488	+4.0% (+7.6% 相对)
├─ 运行管理任务 (LOS/死亡/重返)	AUPRC	0.592 (0.007)	0.583 (0.012)	0.576 (0.018)	+0.9%
├─ 疾病亚群死亡率任务 (12项)	AUPRC	0.533 (0.012)	0.487 (0.021)	0.438 (0.038)	+4.6%
└─ 癌症生存期任务 (5项)	AUPRC	0.639 (0.037)	0.593 (0.130)	0.557 (0.115)	+4.6%
eICU 零样本迁移 (14项平均)	AUPRC	0.384	0.298	0.276	+8.6% (+28.9% 相对)
├─ 运行管理任务 (2项)	AUPRC	0.645 (0.003)	0.608 (0.005)	0.596 (0.010)	+3.7%
└─ 疾病亚群死亡率任务 (12项)	AUPRC	0.340 (0.009)	0.247 (0.028)	0.222 (0.025)	+9.3% (+37.7% 相对)

在关键临床亚群上，MIMIC-III 蛛网膜下腔出血提升 +16.2（0.556 vs 0.394），脑癌提升 +10.0（0.650 vs 0.550）；在 eICU 零样本迁移中，蛛网膜下腔出血提升 +21.2（0.401 vs 0.189），脑血管疾病提升 +18.9（0.294 vs 0.105），严重脓毒症提升 +11.6（0.403 vs 0.287）。

消融实验¶

论文执行了全面的组件留一法（Leave-one-out）消融与数据源鲁棒性分析：

实验配置	MIMIC-III (全任务 AUPRC)	eICU 零样本 (全任务 AUPRC)	说明
Mediator 完整模型	0.568 ± 0.011	0.384 ± 0.007	完整 7 项多任务损失与 100k 码本
移除分配一致性 ($-\mathcal{L}_{\mathrm{agree}}$)	0.554 ± 0.003	0.378 ± 0.008	域内性能受损最大，同义软聚类失效
移除共现指导 ($-\mathcal{L}_{\mathrm{co}}$ PPMI)	0.562 ± 0.008	0.370 ± 0.011	跨域迁移掉点最多 (-1.4%)，缺乏真实共现先验
移除关系图谱 ($-\mathcal{L}_{\mathrm{rel}}$)	0.564 ± 0.010	0.375 ± 0.009	关系先验对特定临床任务结构化有中等增益
移除丰富描述 ($-\mathcal{L}_{\mathrm{desc}}$)	0.561 ± 0.018	0.380 ± 0.006	语义概念细化对长尾和细粒度概念带来增益
开源 PPMI 替代 (COHD + GoM)	0.565	0.384	验证模型完全不依赖私有 7.1M 患者共现数据
同编码器直接聚类 (Qwen3 + k-means)	0.568	0.378	验证在同等强编码器下，Mediator 损失显著增强迁移鲁棒性

关键发现¶

分配一致性与真实共现主导下游性能：消融实验显示，去掉 $\mathcal{L}_{\mathrm{agree}}$ 导致本地 MIMIC-III 下降最剧烈（从 0.568 跌至 0.554），表明强制同一概念的不同表面形式具有相同软码分配是离散通用语的基石；而去掉 $\mathcal{L}_{\mathrm{co}}$ 导致 eICU 迁移掉点最多（从 0.384 跌至 0.370），说明真实世界临床共现为跨机构泛化注入了关键的上下文不变性。
覆盖度与表征质量的双重收益：在输入受限测试（将 eICU 事件强行裁剪为与闭表基线一致的 13% 事件）中，Mediator 在运行管理和亚群死亡率上仍分别超出 MedTok 1.0 和 1.9 个百分点，证实其优异表现不仅来源于 100% 的事件利用率，也源于更合理的离散几何表征。
跨机构可解释性归因高度保真：在肝硬化死亡率任务上使用积分梯度（Integrated Gradients）分析，MIMIC-III 与零样本 eICU 之间的特征归因显著高度相关（Spearman $\rho = 0.92, p = 4 \times 10^{-26}$），休克、呼吸衰竭、急性肾损伤与升压药等前排致命风险因子在两院共享相同的 Token ID，实现了真正通用的临床可解释性。

亮点与洞察¶

开表输入与离散接口的优雅统一：通过将“本体对齐”重构为“带医学约束的开表 VQ-VAE 分词”，既获得了文本编码器处理任意生词与自然语言自由文本的能力，又保留了离散 Token 供标准 Transformer 高效建模、缓存与归因分析的优势。
离线预处理极简架构：分词计算只作用于“去重后的临床概念文本”，整个 MIMIC-III 的 12,533 个概念和 eICU 的 10,779 个概念在单张消费级 GPU 上仅需 70 秒即可完成全库离线离散化。下游序列模型运行时完全与庞大的文本编码器解耦，吞吐量和资源开销与普通代码嵌入完全一致。
跨学科可迁移性：这种“连续文本表征 + 领域先验约束 + 离散码本压缩”的神经通用语思路，可以直接平移至生物信息学（海量别名与异构数据库的基因/蛋白归一化）和金融科技（跨交易所异构资产标的对齐）。

局限与展望¶

上下文无关分词导致的缩写多义性瓶颈：Mediator 目前独立对孤立实体字符串进行分词，未融入临床语境，无法动态消除病历中常见的未展开多义医学缩写（例如 "MS" 可指代多发性硬化 Multiple Sclerosis 或二尖瓣狭窄 Mitral Stenosis）。
本体噪声单点故障：模型强依赖 UMLS 及其 LLM 过滤构建同义关系群，若上游出现系统性同义归类错误，将直接污染对应码本原型的纯度。
未来方向：探索与上下文自适应的端到端轻量分词机制相结合，支持多语言病历以及百亿参数生成式医疗大模型的无缝对接。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 EHR 本体异构与对齐问题成功形式化为开表文本的离散神经通用语分词
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20 项本地任务、14 项跨库迁移、实体链接评测、消融实验、公开共现源对比及积分梯度跨院可解释性分析
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰严密，实验设计逻辑完整，论证层层递进
价值: ⭐⭐⭐⭐⭐ 极大降低了多中心 EHR 基座模型落地部署的工程门槛，实用价值与学术价值突出