RipplePLM: Structural and Property Decoupling for Protein Mutation Effect Generation¶

会议: NeurIPS 2026
arXiv: 2610.01891
OpenReview: https://openreview.net/forum?id=iPpUVJtIqD
代码: https://github.com/Lyu6PosHao/RipplePLM
领域: 计算生物
关键词: 蛋白质突变效应生成, 蛋白质语言模型, 结构与性质解耦, 直接-远端交叉注意力, 潜在性质链

一句话总结¶

针对蛋白质点突变功能效应生成中结构依赖混杂与理化性质脱节的问题，RipplePLM 提出直接-远端交叉注意力与潜在性质链机制，在表征层面实现结构与性质的解耦表征，在 MutaDescribe 评测中显著超越现有突变生成基线。

研究背景与动机¶

理解蛋白质点突变的生物学功能后果是蛋白质工程、致病变异解读与生命科学发现的核心课题。现存多数突变效应预测模型聚焦于标量适应度或分类预测，而在实际湿实验研究中，科学发现通常以自然语言报告呈现，例如突变是否降低了催化活性、破坏了结构热稳定性、削弱了底物结合力或改变了最适 pH 环境。这种现实需求催生了突变效应生成（Mutation Effect Generation）任务，即给定野生型蛋白序列与点突变位点，直接生成描述其功能后果的自然语言文本。

然而，现有蛋白质-语言多模态系统通常直接将全局序列或结构编码压缩映射至大语言模型（LLM）的文本空间中。在处理突变效应生成时，这类接口将复杂的突变诱导扰动压缩为无差异的整体表征，掩盖了关键的生物物理依赖链条。突变位点不仅直接改变局部相互作用微环境，其扰动还会沿接触网络向三维空间远端传递；与此同时，热稳定性与最适 pH 等生化性质的变化往往是介导宏观表观表型变化的关键中介变量。尽管以往方案如 MutaPLM 引入了差分表征与文本推理链，但其潜在特征在结构组织上仍未解耦，且专家理化性质信号若仅作为离散提示词输入，无法对驱动文本生成的隐层表征形成有效正则化。

本文的核心切入点在于：应当严格遵循突变扰动的空间传播与理化规律，在表征层面显式解耦直接接触邻域与多跳远端接触拓扑，并借助专家先验对生化性质表征施加连续潜在正则化。核心 idea：构建残基级突变扰动场（MPF），利用直接-远端交叉注意力（DDCA）分别聚合一阶邻域与多跳远端扩散结构上下文，并结合潜在性质链（PLChain）对热稳定性与最适 pH 潜在 token 施加专家辅助监督，实现结构与性质的双重解耦生成。

方法详解¶

整体框架¶

RipplePLM 的整体流水线包含输入表征构建、结构解耦聚合、性质潜在正则化以及自回归语言生成四个核心环节。给定长度为 $L$ 的野生型序列 $\mathbf{s}^{\text{wt}}$、突变位点 $i$ 的点突变 $m$ 以及野生型功能描述文本上下文 $c$，模型首先通过冻结的 ESM-2 编码器提取野生型与突变体隐状态并相减，构建残基级突变扰动场（Mutation Perturbation Field, MPF）以及预测接触图。随后，直接-远端交叉注意力（DDCA）利用接触图先验，将扰动场分别解耦为直接接触邻域摘要与多跳远端结构上下文摘要；潜在性质链（PLChain）则引入热稳定性与最适 pH 专用 query token。组装后的 6 个条件 token 注入 DeepSeek-R1-Distill-Llama-8B 解码器中，在自回归生成功能描述的同时通过轻量辅助预测头接收理化性质监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 野生型序列 wt + 突变位点 i 与类型 m"] --> B["突变扰动场 (MPF)<br/>提取差分表征 Δ = H^mt - H^wt 及接触图 C"]
    B --> C["直接-远端交叉注意力 (DDCA)<br/>解耦 1 阶接触邻域与多跳远端扩散结构表征"]
    C --> D["Token 组装与自注意力精炼<br/>位点 + 直接 + 远端 + 上下文 + 2个性质 query"]
    D --> E["潜在性质链 (PLChain) 注入 LLM<br/>热稳定性与最适 pH 辅助头联合监督"]
    E --> F["自回归生成突变效应自然语言描述"]

关键设计¶

1. 突变扰动场（MPF）：保留全局上下文下的残基级差分扰动

若仅提取突变位点单残基特征，会丢失全序列变构信号；而若直接对全蛋白做全局均值池化，又会抹平扰动发生的精确空间位置。MPF 采用冻结的预训练 ESM-2 分别前向计算野生型与突变型全序列末层隐状态 $\mathbf{H}^{\text{wt}}, \mathbf{H}^{\text{mt}} \in \mathbb{R}^{L \times d_e}$，并逐残基相减构建空间索引的差分扰动场： $$\boldsymbol{\Delta} = \mathbf{H}^{\text{mt}} - \mathbf{H}^{\text{wt}} \in \mathbb{R}^{L \times d_e}$$ 该差分场经过 LayerNorm 与线性投影后得到 $\hat{\boldsymbol{\Delta}} \in \mathbb{R}^{L \times d}$，并提取突变中心残基特征 $\mathbf{z}_{\text{site}} = \hat{\boldsymbol{\Delta}}_i$ 作为位点基准。在后续聚合前始终保留残基索引维度，为接触导向的结构信息组织提供完整的底层信号。

2. 直接-远端交叉注意力（DDCA）：接触图引导的拓扑尺度解耦

为刻画突变沿空间接触网络的衰减式传导，DDCA 借助 ESM-2 预测的无向接触矩阵 $\mathbf{C} \in [0, 1]^{L \times L}$，将突变证据解耦为一阶接触邻域和多跳远端结构上下文两条平行注意力通路。直接通路提取突变位点 $i$ 的接触行并屏蔽自身位点，经 $\ell_1$ 归一化构造直接权重 $\mathbf{w}^{\text{dir}} = \operatorname{Norm}(\tilde{\mathbf{C}}_{i,:} \odot \mathbf{v}_i)$。远端通路则定义多跳扩散核，设置扩散步数 $K=4$ 及多头可学习衰减系数 $\alpha_h = \sigma(\tilde{\alpha}_h)$，通过扣除一阶项显式保留 $\ge 2$ 跳的拓扑贡献： $$\mathbf{S}_h = \sum_{k=1}^K \alpha_h^k \cdot (\bar{\mathbf{C}}^k)_{i,:}, \quad \mathbf{w}^{\text{dist}}_h = \operatorname{Norm}((\mathbf{S}_h - \alpha_h \cdot \bar{\mathbf{C}}_{i,:}) \odot \mathbf{v}_i)$$ 两条通路分别依据结构权重加权池化初始化 seed 特征 $\mathbf{p}^{\text{dir}}$ 与 $\mathbf{p}^{\text{dist}}$，投影为 query 并对共享的 $\hat{\boldsymbol{\Delta}}$ 执行交叉注意力。结构先验以可学习缩放偏差形式加到注意力 logits 上： $$a_{h,j}^{\text{dir}} = \frac{\mathbf{q}_h^{\text{dir}} \cdot \mathbf{k}_{h,j}}{\sqrt{d/H}} + \sigma(\beta_h^{\text{dir}}) w_j^{\text{dir}}, \quad a_{h,j}^{\text{dist}} = \frac{\mathbf{q}_h^{\text{dist}} \cdot \mathbf{k}_{h,j}}{\sqrt{d/H}} + \sigma(\beta_h^{\text{dist}}) w_{h,j}^{\text{dist}}$$ 该加性偏差允许内容注意力在先验引导下自适应微调，避免了硬掩码截断引起的噪声敏感性，最终生成直接结构向量 $\mathbf{o}^{\text{dir}}$ 与远端结构向量 $\mathbf{o}^{\text{dist}}$。

3. 潜在性质链（PLChain）：专家先验引导的生化表征连续正则化

突变引起的功能改变常以热稳定性与最适 pH 变化为生物物理媒介。传统方案在 Prompt 中拼接离散文本标签，极易沦为粗粒度符号提示而无法干预生成底层表征。PLChain 在词表中新增 <|thermo_token|> 和 <|ph_token|>，并将 MPF 生成的可学习性质 query 向量注入对应位置。在 LLM 前向传播后，轻量 MLP 预测头直接对这两个 token 输出的隐藏状态进行分类： $$\hat{y}^{\text{thermo}} = \text{MLP}^{\text{thermo}}(\mathbf{h}_{\texttt{thermo}}), \quad \hat{y}^{\text{ph}} = \text{MLP}^{\text{ph}}(\mathbf{h}_{\texttt{ph}})$$ 训练目标对齐由专家模型 PPT-Stab 与 EpHod 生成的伪标签，通过辅助交叉熵损失对 LLM 内部隐藏状态形成连续正则化。由于这些隐藏状态同时参与自回归因果注意力和后续 token 生成，专家生化知识被深度绑定至语言生成的潜空间内部。

损失函数 / 训练策略¶

训练采用两阶段递进流程，ESM-2（esm2_t30_150M_UR50D）全程保持冻结： 1. 阶段 1（结构对齐）：仅训练 MPF/DDCA 映射层，语言模型和性质头不开启，使用语言建模损失 $\mathcal{L}_{\text{LM}}$ 并引入通路重叠惩罚损失 $\mathcal{L}_{\text{overlap}} = \frac{1}{H} \sum_h \sum_j w_j^{\text{dir}} w_{h,j}^{\text{dist}}$（权重 $\lambda_{\text{overlap}} = 0.05$），迫使直接与远端通路先验保持正交。 2. 阶段 2（性质与多任务联合适配）：启用 LLM 关键层 LoRA 适配（$r=64, \alpha=128$），联合优化语言建模与性质分类辅助损失： $$\mathcal{L}_{\text{task}}(t) = (1 - w_{\text{prop}}(t)) \mathcal{L}_{\text{LM}} + w_{\text{prop}}(t) \mathcal{L}_{\text{prop}}$$ 其中性质损失权重 $w_{\text{prop}}(t)$ 随训练进程从 0.4 线性退火至 0.2，确保早期充分注入理化约束，后期重心平稳回归文本生成质量。

实验关键数据¶

主实验¶

评估在突变效应生成基准 MutaDescribe 上开展，涵盖按发表时间切分的 Temporal Split 以及按与训练集结构同源性划分的 Structural Split（包含 Easy/Medium/Hard 三层分布外泛化挑战）。对标模型包括通用蛋白语言模型、提示工程 LLM、蛋白条件生成模型以及专用突变模型 MutaPLM（含同底座对齐复现版 MutaPLM*）。

表 1：Temporal Split 突变效应生成主性能对比

模型类别	模型	BLEU-2 ↑	BLEU-4 ↑	METEOR ↑	ROUGE-1 ↑	ROUGE-2 ↑	ROUGE-L ↑
通用模型	ProLLaMA	0.69	0.21	3.33	0.83	0.04	0.80
通用模型	Galactica-6.7B	3.50	1.31	5.61	7.44	0.85	6.17
提示模型	GPT-4 (5-shot, kNN)	9.30	4.25	15.08	13.92	2.29	11.84
条件模型	Fine-tuned ESM-2	6.90	3.83	13.86	14.21	4.63	12.62
突变专用	MutaPLM	10.83	6.15	17.84	18.99	6.92	16.51
突变专用	MutaPLM*（同底座）	9.44	3.93	15.28	21.45	7.93	18.22
本文方法	RipplePLM	13.41	6.68	25.23	31.15	16.00	28.56

表 2：Structural Split 结构泛化性能对比（ROUGE-L / BLEU-2）

模型	Easy R-L	Easy B-2	Medium R-L	Medium B-2	Hard R-L	Hard B-2	Average R-L	Average B-2
GPT-4 (5-shot, kNN)	11.63	9.63	12.98	10.88	12.46	8.63	12.31	9.69
Fine-tuned ESM-2	20.49	9.37	11.87	5.95	11.34	3.32	14.88	6.36
MutaPLM	25.80	18.77	21.07	12.59	16.51	8.69	21.34	13.61
MutaPLM*（同底座）	24.91	11.67	23.71	12.13	18.80	8.17	22.23	10.66
RipplePLM	42.91	22.57	31.56	12.67	31.27	11.91	35.65	15.78

消融实验¶

在 Temporal Split 上对核心解耦模块与理化性质监督进行系统剥离消融。

表 3：核心模块与监督方式消融对比（Temporal Split）

配置方案	BLEU-2 ↑	ROUGE-L ↑	说明
RipplePLM (Full)	13.41	28.56	完整模型
w/o Distal Pathway	12.02	25.38	移除 DDCA 远端扩散通路（仅保留直接邻域）
Discrete Labels	11.70	25.06	将 PLChain 改为在 Prompt 中拼接离散文本标签
w/o PLChain	11.35	24.66	完全移除性质监督与性质 latent token

关键发现¶

多跳远端结构建模必不可少：移除 DDCA 的远端通路后，ROUGE-L 显著下跌 3.18 点，说明突变在三维接触网络中的变构传递对功能描述的生成起到关键支撑作用。
连续潜在正则化显著优于离散文本提示：将 PLChain 替换为 Prompt 离散标签时指标下降 3.50 点，表明在隐状态层面借助专家损失实施连续正则化能让 LLM 真正内化生化约束，而离散文本提示容易被语言模型浅层注意力忽略。
卓越的跨结构泛化韧性：在结构差异最大的 Hard 子集上，RipplePLM 的 ROUGE-L 达 31.27，甚至超越了以往 SOTA MutaPLM 在简单分布 Easy 子集上的表现（25.80），证明接触图先验对未见蛋白拓扑具有极强泛化能力。
生物学真实性大幅提高：博士级生物学专家对 1,248 条生成描述的盲审显示，RipplePLM 的 Accurate+Relevant 比例达到 48.56%（MutaPLM 仅为 40.06%），且相反效应错误（Opposite）降至 6.41%。

亮点与洞察¶

拓扑引导的加性注意力偏差：DDCA 没有粗暴采用硬接触二值掩码，而是通过扩散核生成连续拓扑先验并作为注意力加性偏差注入，兼顾了预测接触图容错性与多跳传导的物理合理性。
双阶段解耦训练范式：先在阶段一冻结 LLM 建立空间扰动结构映射，再在阶段二通过退火权重引入生化性质正则化，有效避免了多任务目标在训练早期的表征竞争与梯度冲突。
表征可迁移性验证：在仅有 192 个标注样本的 ProteinGym 低样本适应度回归（Low-N Fitness Regression）实验中，冻结的 MPF 提取特征在 Spike-ACE2 和 avGFP 上均取得超越 MutaPLM 的平均 Spearman 相关系数。

局限与展望¶

单点突变范围受限：当前框架仅面向单氨基酸替换突变设计，针对上位性效应（Epistasis）显著的多点突变与插入缺失变异，接触网络变化与组合爆炸机制尚待拓展。
接触预测误差依赖：模型依赖 ESM-2 内部注意力接触头预测无向图，在缺乏高质量序列同源信息或具有罕见折叠的靶标蛋白上，先验失真可能制约远端注意力质量。
上下文功能先验依赖：消融实验显示，剥离野生型蛋白的功能描述文本后 ROUGE-L 下降约 19.9%，表明高质量背景上下文仍对细粒度功能生成起着显著辅助作用。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙结合直接-远端拓扑解耦与专家性质链隐层正则化，构思精巧。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖时间/结构外推、消融实验、表征诊断、专家生物学评估及下游低样本适应度回归。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨清晰，方法图示规范，实验对比完备且控制变量扎实。
价值: ⭐⭐⭐⭐⭐ 为突变效应的多模态解释提供了全新范式，对蛋白质工程与致病变异解读具重要应用前景。