SoftGene: Protein Language Model-Enhanced Soft Prompt Tuning for Genomic Sequence Modeling¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/KU-AI4H/softgene
领域: 医疗NLP
关键词: 基因集注释, 蛋白质语言模型, 软提示微调, 层次注意力池化, 可解释基因组学
一句话总结¶
提出 SoftGene 混合提示框架,利用 ESM-2 蛋白质语言模型与两级层次注意力池化对氨基酸序列信息及可变剪接体进行表征,并将其投影为连续软提示注入冻结本地大语言模型,实现高精度且具备生物可解释性的基因集功能自动注释。
研究背景与动机¶
基因集分析(Gene Set Analysis)作为功能基因组学与系统生物学的基石,能够从高通量测序数据中提炼协同调控的基因簇,并揭示生物学通路与细胞功能的分子机制。然而,传统的基因集注释工作主要依赖昂贵且耗时的人工专家审校,或者局限于过表达分析(ORA)与基因集富集分析(GSEA)等统计学方法。随着现代基因组测序技术通量的爆发式增长,人工注释的更新速度远远滞后于新型基因关联的发现节奏;同时,统计富集方法高度受制于已有数据库的收录偏好,对未充分注释或新发现的基因集合难以给出富含上下文的描述性文本。
近期涌现的大语言模型为生物医学文本生成与自动化基因功能挖掘提供了全新范式,如通过符号化的基因名称直接提示或通过多智能体检索外部知识库。然而,这类现有方法普遍忽略了基因背后的底层生物学多级物理结构——基因编码蛋白质,蛋白质由特定的氨基酸序列折叠而成,其生化活性、亚细胞定位以及相互作用界面完全由蛋白质一级序列及空间构象决定。现有大模型直接将基因符号作为离散文本词元进行硬提示生成,容易产生缺乏生化机制约束的事实性幻觉;更严重的是,基于纯文本对话的大模型虽然能输出流畅的推理解释,却无法给出精确量化的可解释决策路径,科研人员无法追溯具体的剪接异构体(Isoforms)或关键基因在注释形成中所作出的量化贡献。
针对现有方法割裂蛋白质序列表征与自然语言生成、缺乏剪接异构体感知及决策透明度不足的困境,本文提出了软提示调优架构。核心 idea:利用预训练蛋白质语言模型自底向上编码氨基酸序列,通过两级层次注意力池化自适应加权异构体与基因以构建基因集连续表征,并将其映射为可调软提示(Soft Prompt),与辅助生物文本上下文共同条件化冻结大语言模型以生成高可信、可溯源的基因集功能注释。
方法详解¶
整体框架¶
SoftGene 包含两大核心模块:一是层次注意力基因集编码器(Hierarchical Attention-Based Gene Set Encoder),负责将基因集内所有成员基因及其对应的多种蛋白质剪接异构体序列自底向上逐层聚合为固定维度的全局表征;二是混合基因集软提示模块(Hybrid Gene Set Soft Prompting Module),负责将生物表征投影为连续词元向量,并联合任务指令与辅助上下文输入冻结的本地大语言模型,端到端生成自然语言功能注释。
整体数据流如下:输入给定基因集 \(\mathcal{G} = \{g_1, g_2, \dots, g_M\}\),每个基因 \(g_i\) 包含 \(K_i\) 个蛋白质剪接异构体 \(\{p_{i,1}, \dots, p_{i,K_i}\}\),氨基酸序列首先通过冻结的 ESM-2 编码并通过均值池化得到各异构体嵌入;随后,异构体级与基因级两套独立的注意力池化层自适应评估权重,自底向上提炼出基因集连续嵌入 \(\hat{\mathcal{G}}\);接着,多层感知机(MLP)投影器将 \(\hat{\mathcal{G}}\) 映射为 \(n\) 个连续软提示词元 \(S\),与任务指令硬提示 \(H_{\text{inst}}\) 和由商用模型生成的基因背景硬提示 \(H_{\text{cont}}\) 拼接后,送入冻结的本地 Llama 3 解码生成目标注释。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入基因集<br/>G = {g1, g2, ..., gM} 及蛋白质异构体序列"] --> B["ESM-2 氨基酸序列编码与均值池化<br/>提取各异构体固定维度嵌入"]
B --> C["层次注意力基因集编码器<br/>异构体级与基因级两级自适应池化"]
C --> D["混合基因集软提示模块<br/>MLP 投影连续软提示 + 文本上下文联合拼接"]
D --> E["冻结本地大语言模型解码<br/>教师强迫交叉熵监督与生成自由文本注释"]
关键设计¶
1. 层次注意力基因集编码器:解决异构体噪声与跨基因权重均一化问题,构建兼顾多尺度生化结构与可解释决策的连续表征
传统的基因集表示通常仅将基因名称作为离散词元拼接,或忽略不同剪接产物的特异性功能。针对这一缺陷,编码器首先将基因 \(g_i\) 下的每个蛋白质异构体 \(p_{i,j} = (a_1, \dots, a_{L_{i,j}})\) 送入冻结的 ESM-2 提取氨基酸级表征,并做均值池化得到蛋白质向量 \(\hat{p}_{i,j}\):
$$
\hat{p}{i,j} = \frac{1}{L}} \sum_{k=1}^{L_{i,j}} \hat{a{i,j}^k
$$
为了自适应区分功能活跃的主导剪接异构体与非功能性异构体,模型引入异构体级可学习注意力池化层:
$$
\hat{g}i = \text{AttentionPooling}}}\left({\hat{p}{j=1}^{K_i}\right) = \sum}^{K_i} \alpha_{i,j} \hat{p{i,j}, \quad \alpha} = \frac{\exp(\text{MLP{\text{iso}}(\hat{p}}))}{\sum_{\ell=1}^{K_i} \exp(\text{MLP{\text{iso}}(\hat{p}
$$
获得各个基因表征 }))\(\hat{g}_i\) 后,再通过独立的基因集级注意力池化层,计算各基因在通路中的相对重要性并聚合为全局向量 \(\hat{\mathcal{G}} = \text{AttentionPooling}_{\text{set}}\left(\{\hat{g}_i\}_{i=1}^M\right)\)。该两级注意力权重直接提供了无需黑箱反推的特征级可解释性,直观揭示核心基因及特异异构体的贡献度。
2. 混合基因集软提示模块:弥合微观生物序列与宏观自然语言语义鸿沟,实现连续特征与高层事实文本的互补融合
连续生物表征难以直接被离散文本语言模型理解,单纯硬提示又容易丢失序列层面的生化特性。为了实现跨模态条件化,SoftGene 设计了轻量级可训练投影层 \(\text{MLP}_{\text{soft}}\),将全局基因集嵌入 \(\hat{\mathcal{G}}\) 映射为 \(n\) 个连续虚拟词元 \(S \in \mathbb{R}^{n \times d_{\text{LLM}}}\):
$$
S = \text{MLP}_{\text{soft}}(\hat{\mathcal{G}})
$$
此外,为防止较小规模的本地大模型在生僻通路推理时受限于内部参数知识,框架引入了基于外部强模型(如 GPT-4.1 Nano 或 DeepSeek)生成的分析型文本上下文 \(H_{\text{cont}}\),并与显式格式说明 \(H_{\text{inst}}\) 共同构成硬提示前缀。最终本地 LLM 在拼接前缀 \([S; H_{\text{inst}}; H_{\text{cont}}]\) 的联合调控下自回归生成目标注释,既保证了宏观生物术语的连贯性,又利用软提示注入了微观序列层面的细粒度约束。
损失函数 / 训练策略¶
在优化阶段,预训练蛋白质语言模型(ESM-2)与本地生成语言模型(Llama-3.1-8B)的主干参数均被完全冻结(Frozen)。误差反向传播仅流经软提示投影器 \(\text{MLP}_{\text{soft}}\) 以及层次注意力池化层中的多层感知机参数。模型采用标准教师强迫(Teacher Forcing)策略,以真实注释词元序列 \(y = (y_1, y_2, \dots, y_T)\) 为监督目标,最小化逐词元交叉熵损失: $$ \mathcal{L}{\text{LLM}} = -\sum) $$ 在实现超参数上,层次编码器学习率设为 }^T \log P(y_t \mid y_{<t}, S, H_{\text{inst}}, H_{\text{cont}\(\alpha = 1 \times 10^{-3}\),软提示微调模块学习率设为 \(\beta = 5 \times 10^{-4}\),批大小为 4,梯度累积步数为 4,软提示长度 \(n\) 选定为 10 个虚拟词元。GO 数据集训练 1 个 epoch,MSigDB 数据集训练 5 个 epoch,借助 Accelerate 在 NVIDIA A6000 GPU 上实现高吞吐量轻量微调。
实验关键数据¶
主实验¶
评估在两项权威基准上开展:Gene Ontology(GO,包含生物学过程 BP、细胞组分 CC、分子功能 MF 三大命名空间共 18,889 个基因集)与 Molecular Signatures Database(MSigDB C2 规范通路集合,包含 2,461 个基因集)。对比方法涵盖提示工程方法、传统软提示微调(P-Tuning、Prefix Tuning、基因符号均值软提示)以及生物智能体系统(Discovera、TALISMAN、GeneAgent)。
| 数据集 | 模型配置 / 方法 | METEOR | ROUGE-L | BERTScore-F1 |
|---|---|---|---|---|
| Gene Ontology (GO) | Zero-shot (Llama-3.1-8B) | \(0.024 \pm 0.001\) | \(0.133 \pm 0.001\) | \(0.773 \pm 0.000\) |
| Few-shot (Llama-3.1-8B) | \(0.018 \pm 0.001\) | \(0.164 \pm 0.003\) | \(0.740 \pm 0.001\) | |
| One-shot CoT (Llama-3.1-8B) | \(0.065 \pm 0.001\) | \(0.096 \pm 0.002\) | \(0.761 \pm 0.001\) | |
| Gene Symbol Soft Prompting | \(0.113 \pm 0.002\) | \(0.158 \pm 0.004\) | \(0.778 \pm 0.001\) | |
| P-Tuning | \(0.148 \pm 0.130\) | \(0.196 \pm 0.130\) | \(0.783 \pm 0.042\) | |
| Prefix Tuning | \(0.142 \pm 0.082\) | \(0.173 \pm 0.094\) | \(0.766 \pm 0.048\) | |
| Discovera (Agentic) | \(0.107 \pm 0.003\) | \(0.144 \pm 0.005\) | \(0.769 \pm 0.001\) | |
| TALISMAN (Agentic) | \(0.108 \pm 0.006\) | \(0.146 \pm 0.002\) | \(0.766 \pm 0.001\) | |
| GeneAgent (Agentic) | \(0.071 \pm 0.003\) | \(0.116 \pm 0.002\) | \(0.768 \pm 0.001\) | |
| SoftGene (Llama 3.1 8B, 本文) | \(\mathbf{0.220 \pm 0.033}\) | \(\mathbf{0.267 \pm 0.029}\) | \(\mathbf{0.806 \pm 0.006}\) | |
| MSigDB (C2:CP) | Zero-shot (Llama-3.1-8B) | \(0.087 \pm 0.014\) | \(0.127 \pm 0.009\) | \(0.762 \pm 0.002\) |
| Few-shot (Llama-3.1-8B) | \(0.100 \pm 0.025\) | \(0.136 \pm 0.017\) | \(0.771 \pm 0.008\) | |
| One-shot CoT (Llama-3.1-8B) | \(0.086 \pm 0.010\) | \(0.112 \pm 0.003\) | \(0.762 \pm 0.001\) | |
| Gene Symbol Soft Prompting | \(0.105 \pm 0.022\) | \(0.138 \pm 0.021\) | \(0.771 \pm 0.008\) | |
| P-Tuning | \(0.113 \pm 0.058\) | \(0.161 \pm 0.061\) | \(0.716 \pm 0.026\) | |
| Prefix Tuning | \(0.080 \pm 0.006\) | \(0.113 \pm 0.021\) | \(0.756 \pm 0.007\) | |
| Discovera (Agentic) | \(0.092 \pm 0.003\) | \(0.108 \pm 0.003\) | \(0.768 \pm 0.007\) | |
| TALISMAN (Agentic) | \(0.086 \pm 0.005\) | \(0.107 \pm 0.001\) | \(0.760 \pm 0.001\) | |
| GeneAgent (Agentic) | \(0.030 \pm 0.006\) | \(0.117 \pm 0.003\) | \(0.764 \pm 0.002\) | |
| SoftGene (Llama 3.1 8B, 本文) | \(\mathbf{0.157 \pm 0.005}\) | \(\mathbf{0.215 \pm 0.001}\) | \(\mathbf{0.795 \pm 0.003}\) |
消融实验¶
为验证软提示向量、外部上下文信息以及预训练蛋白质序列特征各自的有效性,作者对各模块进行了逐一剥离评估(主干均为 Llama-3.1-8B)。
| 配置 | GO METEOR | GO ROUGE-L | GO BERTScore | MSigDB METEOR | MSigDB ROUGE-L | MSigDB BERTScore | 说明 |
|---|---|---|---|---|---|---|---|
| SoftGene (完整模型) | \(\mathbf{0.220 \pm 0.033}\) | \(\mathbf{0.267 \pm 0.029}\) | \(\mathbf{0.806 \pm 0.006}\) | \(\mathbf{0.157 \pm 0.005}\) | \(\mathbf{0.215 \pm 0.001}\) | \(\mathbf{0.795 \pm 0.003}\) | 包含全部模块 |
| w/o Soft Prompt (\(S\)) | \(0.020 \pm 0.000\) | \(0.065 \pm 0.001\) | \(0.707 \pm 0.001\) | \(0.006 \pm 0.004\) | \(0.045 \pm 0.002\) | \(0.704 \pm 0.001\) | 仅依赖硬提示文本,性能发生断崖式跌落 |
| w/o Context (\(H_{\text{cont}}\)) | \(0.182 \pm 0.024\) | \(0.232 \pm 0.028\) | \(0.795 \pm 0.005\) | \(0.145 \pm 0.007\) | \(0.202 \pm 0.020\) | \(0.790 \pm 0.003\) | 移除强模型辅助上下文,但依然优于所有基线 |
| w/o Protein Embeddings | \(0.199 \pm 0.015\) | \(0.252 \pm 0.017\) | \(0.803 \pm 0.002\) | \(0.097 \pm 0.017\) | \(0.135 \pm 0.025\) | \(0.774 \pm 0.012\) | 用同维度随机噪声替换真实蛋白质嵌入 |
关键发现¶
- 软提示注入是性能跃迁的关键支柱:消融实验显示,一旦去掉软提示 \(S\)(仅保留文本指令与上下文),GO 上的 METEOR 从 0.220 暴跌至 0.020,ROUGE-L 从 0.267 跌至 0.065。这证明微观序列经过层次池化所构成的结构化连续表征,能够直接弥补离散文本提示在生物机制表征上的缺失。
- 蛋白质序列嵌入在异质性数据中增益更显著:在 MSigDB 上,移除真实蛋白质嵌入会导致 METEOR 从 0.157 骤降至 0.097。细粒度结构差异分析表明,GO 是按功能共性先验收敛构建的,符号名称本身的共现规律已具有极强线索;而 MSigDB 收集自多样化的实验表达谱签名,成员异质性极高,因此蛋白质一维序列中蕴含的生化特性提供了至关重要的区分能力。
- 生物领域对序列信号的差异化依赖:在 GO 的分领域消融中,真实 PLM 嵌入相比随机嵌入在细胞组分(CC)上的增益最为剧烈(METEOR 提升 0.062,ROUGE-L 提升 0.061),在分子功能(MF)上次之(METEOR 提升 0.023),而在生物学过程(BP)上差异极小(METEOR 仅相差 0.001)。这与生物学机制高度契合:蛋白质序列直接决定跨膜结构域与亚细胞定位信号(强关联 CC),但复杂的生物学调控网络(BP)更多由更高层级的调控逻辑驱动。
- 基因互斥泛化(Gene-Disjoint Generalization)依然强劲:在测试集基因与训练集完全不重叠的严苛切分下,SoftGene 在 GO 上的 METEOR 达 \(0.205\)、BERTScore 达 \(0.801\)(相较随机切分的 \(0.220\) 和 \(0.806\) 仅轻微下降),证明模型并未死记硬背基因共现,而是切实学习到了通用的蛋白质序列与功能模式。
亮点与洞察¶
- 多级生物实体与分层注意力的自洽建模:巧妙地将“氨基酸 \(\to\) 蛋白质异构体 \(\to\) 基因 \(\to\) 基因集”的生物学层级,与“均值池化 \(\to\) 异构体注意力池化 \(\to\) 基因集注意力池化”的计算图严格对齐,使得模型架构天然符合分子生物学中心法则组织方式。
- 免监督的剪接异构体自适应权重发现:在未提供任何异构体功能标注的情况下,模型自动将最高注意力赋给介导血管舒张的活性异构体 PRKG1\(\alpha\)(ENSP00000363092.5),而非非活性或次要异构体,展现了蛋白质预训练表征在功能变体判别中的强大迁移潜力。
- 计算极其轻量且可线性扩展:离线预先计算并缓存全人类蛋白质组的 ESM-2 向量(单张 A6000 耗时仅 1.83 小时,内存占用 2.25 GB),在端到端微调时仅使用高效的单向 Query-Only 注意力与稀疏散射(Sparse Scatter)运算,复杂度为 \(\mathcal{O}(n)\),对包含上万个基因的超大基因集亦能在几百毫秒内完成推断。
局限与展望¶
- 受限于参考文本的字面匹配评价瓶颈:作者指出部分低分样本属于“语义粒度偏差”(例如模型预测“regulation of circadian rhythm”,而标准答案为“regulation of circadian sleep/wake cycle”),生物学逻辑正确却受到 ROUGE 等词法指标的严厉惩罚。
- 底物特异性分辨存在过平滑风险:案例分析揭示模型存在底物特异性缺失缺陷(例如预测为通用的“sodium:sugar symporter”,而标准答案为具体的“fucose transmembrane transport”),说明全局注意力池化可能会在一定程度上平滑掉活性中心(Active Site)微小的关键氨基酸突变信号。
- 缺乏湿实验金标准验证与不确定性量化:当前评价仅依赖已知数据库的标注文本,未来需要结合下游生物学验证实验与置信度校准机制,为新发现基因集的未知功能预测提供可靠的假说生成保障。
相关工作与启发¶
- vs 离散提示工程与 CoT (Zero-shot / Few-shot / One-shot CoT):离散提示仅将基因符号作为离散文本输入,受限于大模型训练语料中的先验偏差,极易产生生物学幻觉;SoftGene 引入连续氨基酸表征并加以注意力加权,将 METEOR 从 0.065 跃升至 0.220。
- vs 传统软提示调优 (P-Tuning / Prefix-Tuning):传统方法使用可学习的自由虚拟向量或针对基因符号做静态词嵌入查找,无法感知蛋白质序列信息与异构体特异性;SoftGene 依据实际序列动态生成条件化软提示,显著优于 P-Tuning 的 0.148 METEOR。
- vs 外部检索增强智能体 (Discovera / TALISMAN / GeneAgent):智能体虽然能检索外部数据库,但存在 API 依赖严重、推理延时高(且受限于成对基因交互查询截断)以及难以覆盖未注释基因的问题;SoftGene 在离线缓存与本地模型下即全面超越 Agentic 基线(如 GeneAgent 在 MSigDB 上 METEOR 仅 0.030,SoftGene 达 0.157)。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 创新性地构建了基于蛋白质语言模型的两级层次注意力池化机制,并将其作为连续软提示成功条件化语言模型进行基因集注释。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 GO 与 MSigDB 两大基准,进行了完备的跨域消融、基因互斥泛化验证、层级语义相似度评估以及细致的分子生物学案例溯源。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅自然,生物学问题阐述精准,架构图与注意力权重分析极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 成功打通了蛋白质一维生化序列与大语言模型宏观自然语言生成之间的鸿沟,为可解释的计算基因组学与自动化通路挖掘确立了强基线。