SARL-ICD: Structure-aware Contrastive Representation Learning with LLM-augmented Label Descriptions for Automatic ICD Coding¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ZhuLab-Fudan/SARL-ICD
领域: 医疗NLP
关键词: 自动ICD编码, 结构感知对比学习, 捷径学习, 大语言模型标签增强, 混合专家融合
一句话总结¶
针对临床出院小结模版化结构引发的对比学习捷径问题与标签语义利用不足,SARL-ICD 提出叙述性病史截断与 Jaccard 指导的对比预训练 JMoCo、大模型增强的标签-文本交互模块以及跨架构 MoE 自适应融合,在 MIMIC-III 与 MIMIC-IV 上刷新了全指标 SOTA。
研究背景与动机¶
自动国际疾病分类(ICD)编码作为大规模智慧医疗、医院结算及临床科研的基石,旨在将长篇非结构化临床出院小结映射至海量标准化诊断与手术代码空间。近年来,基于预训练语言模型(PLM)与标签注意力机制的方法(如 PLM-ICD、PLM-CA)取得了显著进展,推动了极端多标签文本分类技术在医疗领域的落地。然而,临床出院小结通常具备高度重复的半结构化组织模式,诸如“住院经过(Hospital Course)”、“体格检查”及“出院医嘱”等章节在不同患者之间频繁沿用近乎一致的语言模版与格式套路。当使用常规对比学习或上下文编码器处理全文时,模型极易陷入表面模版化模式的过拟合,致使临床病理完全不同的病例仅因共享相似的文书骨架而在表征空间中被错误拉近。
与此同时,ICD 代码自带极高层级的结构化知识与专业描述语义,但既有方法往往严重低估甚至粗暴简化了标签文本信息的潜能。部分先验工作虽然尝试利用浅层词向量、UMLS 知识图谱或针对特定分类器硬编码的注意力层引入标签定义,却受限于原始官方短语语义简略、同义表述匮乏,且往往紧密耦合于单一特定模型架构中,缺乏通用迁移能力。更深层次的矛盾在于,不同主流 ICD 编码架构展现出鲜明且互补的归纳偏置:采用交叉注意力机制的 PLM-CA 擅长捕捉分散在长文本深处的时序与围手术期诊疗证据,而基于标签注意力与语义表征的 PLM-ICD 则在伴随丰富病理描述的慢性系统性疾病上表现优异,既有管线却从未以原则性方式整合这种互补优势。
本文的切入角度是:解耦临床语义与文书模板,将表征学习严格限定于最具患者特异性的临床叙述段,并借助大语言模型外生扩充标签语义以实现即插即用的跨架构协同。核心 idea:通过构建融入祖先树的 Jaccard 相似度引导正样本挖掘,并强制截断出院小结仅保留富含患者个性化信息的病史叙述段进行对比预训练消除结构捷径;随后引入轻量级大模型标签语义交互模块与 MoE 动态门控,自适应融合交叉注意力与标签注意力模型的互补决策。
方法详解¶
整体框架¶
SARL-ICD 整体管线包含三个协同演进的阶段:首先,在离线对比预训练阶段,框架通过融入 ICD 层次树结构的增强型 Jaccard 相似度度量临床笔记间的病理亲缘关系,并结合基于关键词规则的结构解析算法,剔除高度模版化的住院经过与出院信息,仅提取病史叙述段作为输入,利用动量对比(MoCo)架构与相似度加权 InfoNCE 损失执行表示学习;其次,针对下游微调,利用大语言模型(Qwen-7B-Chat)为稀疏简略的 ICD 代码生成丰富的临床扩充描述并冻结为稠密先验向量,通过轻量级相似度交互层即插即用地增强文本编码器隐状态;最后,引入基于混合专家(MoE)的轻量自适应融合层,根据输入文本隐表征与两套主流模型的输出 Logits 动态分配门控权重,整合异构架构的互补预测。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
subgraph S1["结构感知对比预训练 JMoCo"]
direction TB
A["长篇临床出院小结"] --> B["1. 层次增强 Jaccard 相似度与病史叙述段截断<br/>提取就诊主诉/现病史/既往史 + 层次标签正样本对"]
B --> C["2. 相似度加权动量对比学习 JMoCo<br/>队列动态更新负样本 + 相似度软加权 InfoNCE"]
end
subgraph S2["下游增强微调与自适应融合"]
direction TB
D["全文临床文本 H"] --> E["3. 大模型扩充描述的轻量标签-文本交互<br/>LLM扩充描述先验 + 余弦相似度自适应池化拼接"]
F["ICD 代码集合"] --> E
E --> G["双骨干微调分支<br/>PLM-CA-L 交叉注意力 + PLM-ICD-L 标签注意力"]
G --> H1["4. 跨架构混合专家自适应融合 MoE<br/>动态评估疾病类别归纳偏置 + Top-k 稀疏门控加权"]
end
C -.->|初始化骨干权重| G
H1 --> I["最终多标签 ICD 预测概率"]
关键设计¶
1. 层次增强 Jaccard 相似度与病史叙述段截断:消除字面失配与模版化捷径
常规 ICD 标签集合匹配若直接采用朴素 Jaccard 系数,极易陷入字面失配问题(例如“251.1 特定低血糖”与“251.2 未指明低血糖”在编码字符串上完全没有交集,却具备直接的同类临床亲缘关系)。为此,算法沿 ICD 官方层次结构树将每个标注代码递归向上展开,获取其包含父章节与高阶类别的全套祖先代码集合 \(\tilde{Y}_i = Y_i \cup \bigcup_{y \in Y_i} \text{Ancestors}(y)\)。通过计算扩充集合的 Jaccard 系数 \(s_{ij} = |\tilde{Y}_i \cap \tilde{Y}_j| / |\tilde{Y}_i \cup \tilde{Y}_j|\),精确建立病理级别的正样本对关联阈值 \(\theta\)。
更为关键的是针对半结构化文书捷径学习的物理阻断机制。针对临床出院小结中“住院经过”及“出院总结”等高度格式化、跨患者雷同度极高的模版化文本,该设计通过规则关键词解析将病历切分为“病史叙述(Narrative History)”、“住院经过(Hospital Course)”与“出院信息(Discharge Information)”三大块。预训练阶段主动执行硬性截断,仅保留就诊主诉、现病史、既往史、家族史与入院体格检查等真正刻画患者异质性的个性化叙述,完全剥离后续套路化段落,从根本上防止对比模型将注意力投机取巧地锚定在文档共性模版骨架上。而在下游微调阶段,模型则重新喂入完整全文,利用全量诊疗证据完成细粒度判决。
2. 相似度加权动量对比学习 JMoCo:构建连续语义梯度的表征空间
在确定正样本对与文本截断后,传统二值化 InfoNCE 损失会将所有满足阈值筛选的样本对等同视之,无法反映实际临床病理相似度的深浅梯度。JMoCo 采用动量编码器架构维护大型先进先出(FIFO)负样本记忆队列,并将增强 Jaccard 系数 \(s_{ij}\) 作为连续置信度权重显式注入对比优化目标中。
通过赋予高临床重叠度正样本对更强的梯度主导权,动量编码器与查询编码器得以在无额外标注负担的前提下,自发拉紧临床相近案例并排斥异质案例。表征相关性评测表明,这种设计将文档向量空间余弦相似度与真实 ICD 标签语义相似度之间的 Spearman 相关系数从截断前的负值大幅逆转拉升至 \(+0.2209\),彻底重构了临床嵌入空间的几何结构。
3. 大模型扩充描述的轻量标签-文本交互:解耦且即插即用的语义先验注入
ICD 代码自带的官方文本通常过于精简抽象(例如“00.96 4因子凝血酶原复合物输注”),无法覆盖临床医生在病历中所书写的丰富口语化缩写、病理生理机制及并发症线索。本设计利用大语言模型(Qwen-7B-Chat)作为专业临床专家先验生成器,针对每个代码扩充涵盖技术细节、主要临床指征及解剖部位并发症的 2-3 句专业解析,随后通过预训练 Sentence-BERT 提取为固定的稠密嵌入向量 \(e_i \in \mathbb{R}^d\)。
在特征融合层面,为摆脱传统方法将标签定义紧密绑定在特定网络结构的缺陷,该设计提出了架构无关的轻量并行机制:计算文本隐状态矩阵与标签向量的局部余弦相似度矩阵 \(S_{ij} = (e_i \cdot h_j) / (\|e_i\| \|h_j\|)\),沿时序维度进行自适应平均池化后过线性变换得到固定维度的交互特征 \(F \in \mathbb{R}^{N_c \times d_{\text{interact}}}\)。该特征直接与下游基线模型(如 PLM-CA 或 PLM-ICD)原生的标签感知上下文表征执行通道拼接,既无损继承了大模型的语义先验,又确保了在不同编码基座上的可插拔性。
4. 跨架构混合专家自适应融合 MoE:动态整合异构注意力归纳偏置
深入的病种误差分析揭示,现有两类主流架构存在鲜明的归纳偏置分化:依赖全句交互的交叉注意力模型 PLM-CA 擅长利用全局长程依赖捕捉围生期疾病、妊娠并发症及先天畸形等具有强时序与手术伴随特征的类别(胜率高达 80%~100%);而基于标签原型注意力的 PLM-ICD 则依赖结构化先验,在循环系统、内分泌营养及呼吸道等慢性生理疾病上优势明显(胜率超过 60%)。
为破除单一架构的表达上限,框架构建了一个轻量级 MoE 自适应门控网络。门控函数以两套骨干模型的预测 Logits 拼接向量为条件,通过两层 MLP 与 Top-k 稀疏化激活计算各专家的归一化调度权重,动态裁决不同疾病代码与输入病例应该倾向于信任全局交叉证据还是局部标签注意力,实现了超越简单线性相加的非线性优势互补。
损失函数 / 训练策略¶
SARL-ICD 采取两阶段解耦优化策略:
-
JMoCo 动量对比预训练:查询编码器 \(f_q\) 与动量键编码器 \(f_k\)(动量系数 \(m = 0.999\),队列容量 \(K = 4096\),温度系数 \(\tau = 0.07\))基于叙述性截断病历在 AdamW(学习率 2e-5,权重衰减 0.01)下优化。单样本对损失及其加权目标形式为: $\(\ell_{ij} = \log \left( 1 + \sum_{n \in \mathcal{N}} \exp \left( \frac{q_i^\top (k_n - k_j)}{\tau} \right) \right), \quad \mathcal{L}_{\text{pretrain}} = \frac{1}{|\mathcal{P}|} \sum_{(i,j) \in \mathcal{P}} s_{ij} \cdot \ell_{ij}\)$
-
下游微调与 MoE 门控训练:使用预训练得到的 RoBERTa-PM 权重分别初始化搭载标签交互模块的 PLM-CA-L 与 PLM-ICD-L,在全长出院小结(最大文本长度 4096,分块切片处理)上微调 20 轮,学习率设为 5e-5。最后冻结两套骨干参数,在输出 Logits 上单独微调由多层感知机与稀疏 Top-k(MIMIC-III 取 \(K=4, \text{Top-3}\);MIMIC-IV 取 \(K=6, \text{Top-4}\))组成的 MoE 门控网络,损失函数采用标准多标签二元交叉熵损失(BCE)。
实验关键数据¶
主实验¶
在自动 ICD 编码公认的权威基准 MIMIC-III-full、MIMIC-IV ICD-10 及 MIMIC-IV ICD-9 上,SARL-ICD 与包括经典 CNN(CAML)、层次注意力(LAAT)、预训练基座(PLM-ICD、PLM-CA)以及同义词对比方法(MSMN、PLM-LLM)在内的全套 SOTA 模型进行了系统对比:
| 数据集 | 模型 | Macro-F1 | Micro-F1 | P@8 | P@15 | Macro-AUC | Micro-AUC |
|---|---|---|---|---|---|---|---|
| MIMIC-IV ICD-10 | CAML | 0.210 | 0.584 | 0.668 | 0.522 | 0.910 | 0.982 |
| LAAT | 0.222 | 0.574 | 0.684 | 0.539 | 0.944 | 0.989 | |
| PLM-ICD | 0.211 | 0.585 | 0.699 | 0.550 | 0.966 | 0.992 | |
| PLM-CA | 0.261 | 0.596 | 0.709 | 0.561 | 0.962 | 0.992 | |
| SARL-ICD (本文) | 0.286 | 0.611 | 0.723 | 0.573 | 0.974 | 0.992 | |
| MIMIC-III-full | CAML | 0.087 | 0.534 | 0.709 | 0.560 | 0.895 | 0.986 |
| LAAT | 0.090 | 0.574 | 0.738 | 0.588 | 0.895 | 0.985 | |
| MSMN | 0.103 | 0.584 | 0.751 | 0.598 | 0.948 | 0.992 | |
| PLM-ICD | 0.104 | 0.598 | 0.771 | 0.613 | 0.926 | 0.989 | |
| PLM-CA | 0.119 | 0.600 | 0.766 | 0.614 | 0.913 | 0.987 | |
| PLM-LLM | 0.103 | 0.613 | 0.779 | 0.615 | 0.952 | 0.988 | |
| SARL-ICD (本文) | 0.123 | 0.618 | 0.786 | 0.631 | 0.954 | 0.990 | |
| MIMIC-IV ICD-9 | CAML | 0.191 | 0.584 | 0.661 | 0.502 | 0.907 | 0.988 |
| LAAT | 0.293 | 0.612 | 0.688 | 0.527 | 0.958 | 0.991 | |
| PLM-ICD | 0.298 | 0.626 | 0.700 | 0.535 | 0.972 | 0.994 | |
| PLM-CA | 0.324 | 0.633 | 0.707 | 0.540 | 0.971 | 0.994 | |
| SARL-ICD (本文) | 0.356 | 0.644 | 0.719 | 0.550 | 0.974 | 0.995 |
消融实验¶
在 MIMIC-IV ICD-10 上的模块分步消融实验,清晰揭示了 JMoCo 预训练权重(PT)、大模型扩充描述标签-文本交互(Label-Text)以及 MoE 自适应融合各自的独立与累加增益:
| 配置 | Macro-F1 | Micro-F1 | P@8 | P@15 | 说明 |
|---|---|---|---|---|---|
| PLM-CA Baseline | 0.261 | 0.596 | 0.709 | 0.561 | 未增强基线 |
| + Label-Text (未增强原生描述) | 0.265 | 0.596 | 0.707 | 0.558 | 仅融合官方原始描述文本 |
| + Label-Text (LLM 扩充描述) | 0.270 | 0.597 | 0.709 | 0.561 | 大模型扩充增强描述带来的增益 |
| + JMoCo 预训练权重 (PT) | 0.272 | 0.596 | 0.709 | 0.561 | 仅加载预训练权重 |
| + Label-Text + PT (未增强描述) | 0.273 | 0.598 | 0.711 | 0.561 | 预训练 + 原始描述交互 |
| + Label-Text + PT (LLM 扩充描述) | 0.277 | 0.599 | 0.713 | 0.563 | 预训练 + 大模型增强双剑合璧 |
| PLM-ICD Baseline | 0.211 | 0.585 | 0.699 | 0.550 | 未增强基线 |
| + Label-Text (未增强原生描述) | 0.255 | 0.588 | 0.705 | 0.555 | 原始描述使 Macro-F1 暴涨 4.4% |
| + Label-Text (LLM 扩充描述) | 0.263 | 0.596 | 0.715 | 0.564 | 大模型增强进一步大幅提升 |
| + JMoCo 预训练权重 (PT) | 0.260 | 0.596 | 0.714 | 0.563 | 预训练对 PLM-ICD 带来显著飞跃 |
| + Label-Text + PT (未增强描述) | 0.233 | 0.587 | 0.706 | 0.543 | 原始描述下的联合组合 |
| + Label-Text + PT (LLM 扩充描述) | 0.270 | 0.598 | 0.716 | 0.566 | 双模块集成,Macro-F1 相对基线升 28.0% |
| 线性加权融合 (PLM-CA + PLM-ICD) | 0.283 | 0.609 | 0.715 | 0.570 | 简单固定权重线性集成 |
| SARL-ICD (MoE 动态自适应融合) | 0.286 | 0.611 | 0.723 | 0.573 | 完整模型达到最优水准 |
针对 JMoCo 预训练细节与章节选择在 MIMIC-III-full 上的深度消融进一步验证了设计动机:
| 预训练消融与输入选择策略 | PLM-CA Micro-F1 | PLM-CA Macro-F1 | PLM-ICD Micro-F1 | PLM-ICD Macro-F1 |
|---|---|---|---|---|
| Full JMoCo (完整预训练) | 0.606 | 0.122 | 0.601 | 0.118 |
| 去除层次祖先展开 (w/o Hierarchy) | 0.602 | 0.118 | 0.600 | 0.112 |
| 去除相似度加权 (w/o Weighting) | 0.602 | 0.120 | 0.601 | 0.109 |
| 去除叙述段截断 (w/o Narrative Trunc.) | 0.603 | 0.120 | 0.600 | 0.112 |
| 预训练输入:全篇出院小结 | 0.603 | 0.120 | 0.600 | 0.112 |
| 预训练输入:仅病史叙述段 | 0.606 | 0.122 | 0.601 | 0.118 |
| 预训练输入:仅住院经过段 | 0.603 | 0.117 | 0.596 | 0.103 |
| 预训练输入:仅出院诊断段 | 0.602 | 0.120 | 0.598 | 0.110 |
关键发现¶
- 破解长尾与频次两难困境:在 MIMIC-III-full 上,既往先进模型展现出鲜明的性能倒错——PLM-CA 倾向于罕见长尾疾病(Macro-F1 达 11.9% 但 Micro-F1 仅 60.0%),而 PLM-LLM 侧重高频大类(Micro-F1 达 61.3% 但 Macro-F1 仅 10.3%)。SARL-ICD 成功打破这一妥协,同时取得最高 Macro-F1(12.3%)与 Micro-F1(61.8%),在 MIMIC-IV ICD-10 的 Macro-F1 相对 PLM-CA 与 PLM-ICD 更是分别实现 9.6% 与 35.5% 的相对跃升。
- 章节选择对表征质量的决定性影响:表 4 显示,盲目向预训练输入全篇病历反而损害模型表征,若单纯采用模版化最为严重的“住院经过段”进行预训练,PLM-ICD 的 Macro-F1 会断崖式暴跌至 0.103。零样本检索实验(表 8)进一步印证:未经微调时,叙述段 JMoCo 表征对高频标签检索的 P@5 达 0.070,而全篇病历预训练模型的 P@5 仅为 0.002,证实了模版段落会释放竞争性伪捷径信号阻碍语义对齐。
- 交互特征与文本特征的共生性:附录 H 的单特征探测(表 14)显示,单纯依赖标签-文本交互特征(F-only)做分类时 Macro-F1 仅为 0.089,远低于联合表示,证明该模块的核心作用是作为即插即用的语义先验补充,而非孤立决策器。
亮点与洞察¶
- 结构性感知的文书截断消除对比捷径:洞察到临床文本高度套路化会污染对比学习,巧妙地在预训练期仅截取病史叙述段而在微调期喂入全文。这种审慎的“预训练-微调分布偏移”设计成功阻断了模型对共性模板特征的作弊学习。
- 大模型临床专业扩充的无缝即插即用化:利用大模型将简略的代码文本改写为包含机制、指征和解剖并发症的临床厚描,并通过矩阵余弦相似度与时序池化解耦实现。无需改动下游骨干架构即可普适性地提升跨模型性能。
- 揭示并借助 MoE 驾驭双架构归纳偏置互补性:首次系统量化证明了交叉注意力(擅长时序/围生期手术)与标签注意力(擅长慢性系统生理病理)的宏观专业化分化,通过轻量级 MoE 实现了两套异构架构的高效动态集成。
局限与展望¶
- 依赖预制 ICD 树状拓扑体系:JMoCo 的祖先正样本构建高度依赖 ICD-9 / ICD-10 明确定义的父子层次关系。对于缺乏完备结构图谱的新兴或本地编码标准,祖先树无法直接推导,未来需探索融入 UMLS 或外部异构知识图谱的泛化策略。
- 大模型生成质量依赖与跨语言泛化挑战:扩充描述由 Qwen-7B 离线生成,虽经 DeepSeek 判决在临床准确性上表现良好,但在资源匮乏的小语种临床环境或罕见长尾疾病中,大语言模型生成幻觉或缺乏先验的风险仍未被完全排除。
- 双流骨干带来的推理计算开销:由于完整部署需并行运行 PLM-CA 与 PLM-ICD 提取 Logits 再过 MoE 门控,单样本推理延迟由基准的约 25~28ms 提升至 56.1ms,GPU 显存需求升至约 12.9GB,对实时床旁系统的轻量化部署构成一定硬件压力。
相关工作与启发¶
- vs PLM-ICD / PLM-CA (Huang et al., 2022; Edin et al., 2024):两者均将长文本直接送入专用注意力架构,忽略出院总结模版对编码器的捷径干扰,且标签语义被动学习。SARL-ICD 通过 JMoCo 赋予底层编码器抗模版干扰的纯净表征,并以 MoE 门控动态统合了两者的注意力长板。
- vs PLM-LLM (Wu et al., 2025b):PLM-LLM 仅利用 GPT-4 生成同义词并在标签端做对比对齐,未能触及输入长病历自身的模版化结构冗余问题。SARL-ICD 则将大模型知识扩展为包含技术细节、解剖部位与并发症的结构化描述,并在输入侧实施结构感知截断,Macro-F1 明显占优。
- vs HSAP (Yang et al., 2022):HSAP 依赖外部 UMLS 知识图谱对齐 Longformer,实现复杂度高且强耦合于长文本变换器。SARL-ICD 采用基于本征 ICD 树的 Jaccard 扩展与轻量余弦交互,更敏捷轻盈。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 深入剖析了医疗文书模版引发的对比学习捷径问题,提出的病史叙述截断与双流注意力 MoE 融合思路清晰巧妙。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 MIMIC-III 全集、MIMIC-IV ICD-9/10 三个超大规模基准,消融实验详实,并提供了表征相关性与零样本检索证据。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,对模版捷径与模型偏置互补性的阐释深入浅出,附录案例与算力分析完备。
- 价值: ⭐⭐⭐⭐☆ 刷新了经典临床 NLP 任务性能上限,即插即用的轻量标签交互与防捷径预训练原则对更广阔的半结构化长文档多标签学习极具借鉴意义。