ES-Merging: Biological MLLM Merging via Embedding Space Signals¶

会议: NeurIPS 2026
arXiv: 2603.14405
领域: 多模态VLM
关键词: 模型融合、生物多模态大模型、嵌入空间表征、跨模态推理、LoRA 融合

一句话总结¶

针对现有生物多模态大模型（MLLM）局限于单模态且传统模型融合依赖盲目参数空间启发式的问题，本文提出基于嵌入空间信号的模型融合框架 ES-Merging，通过设计多模态探针输入提取层级粗粒度分布位移（SWD）与元素级细粒度梯度敏感度，计算互补的融合权重，在免微调条件下大幅提升跨模态相互作用预测与单模态专业知识保留能力。

研究背景与动机¶

多模态大语言模型（MLLM）正成为生物医药与生命科学基础研究的关键工具，其感知能力已成功延伸至小分子（Molecules）、蛋白质（Proteins）及单细胞转录组（Cells）等多个尺度。然而，绝大多数真实的生物学发现问题本质上属于跨模态交互系统——例如药物小分子与靶点蛋白质的结合相互作用、配体对特定肿瘤细胞系的药效响应或酶代谢动力学等。现有的生物 MLLM 大多独立训练于单一模态，缺乏处理复杂跨模态交互所需的交集知识与联合推理能力，无法直接应对跨领域的联合预测。

为了将异质专家的知识低成本组合，模型融合（Model Merging）成为了极具吸引力的范式。但在多模态专家融合场景中，现有方法普遍采用参数空间的统计启发式规则（如参数更新的幅值剪枝、符号对齐、方向投影或无输入感知的权重缩放）。这些方法最大的缺陷在于对真实输入是盲目的（input-agnostic）：参数更新的大小并不等价于模型对模态 Token 的表征转化强度，无法真实反映专家在特定多模态上下文中诱导的功能特化（Modality Specialization）。盲目的参数空间运算极易导致模态能力互相干扰甚至破坏原有的单模态表征能力。

分析表明，当不同专家模型处理特定模态 Token 时，其隐藏层表征分布与基座 LLM 之间呈现出高度规律且可量化的表征偏移，且特化模态的偏移距离显著大于非特化输入。本文的核心 idea 是将模型融合的决策基底由参数空间彻底转向输入感知的嵌入空间，通过统一的多模态探针输入提取层级（粗粒度表征分布变化）与元素级（细粒度参数局部敏感度）嵌入信号，互补推导参数融合系数，实现精准且保留生物解释性的模型融合。

方法详解¶

整体框架¶

ES-Merging 的核心管线包含三个串联阶段：首先构建包含多模态 Token 的统一诊断探针输入（Probe Input），通过冻结的基座 LLM 与各模态特化 MLLM 前向计算各层隐藏状态；其次分别提取层级粗粒度表征分布差异与元素级细粒度局部敏感度，生成两组融合系数；最后通过元素点积与跨模态归一化得出最终 LoRA 融合权重，加权合并各专家参数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态专家与基座 LLM<br/>Mol-LLaMA / Prot2Text-V2 / Cell-o1"] --> B["阶段 1：多模态探针输入构建<br/>拼接各模态 Token 与文本前缀，统一步伐前向传播"]
    B --> C["阶段 2：层级全局融合系数估计<br/>Token 均值池化 + 逐层切片 Wasserstein 距离 (SWD) 差分"]
    B --> D["阶段 3：元素级局部融合系数估计<br/>Token 级 Frobenius 距离 + 对 LoRA 参数求梯度敏感度"]
    C --> E["阶段 4：双粒度融合系数整合<br/>逐元素乘积与跨模态 Softmax 归一化"]
    D --> E
    E --> F["输出统一生物 MLLM<br/>免下游微调直接用于跨模态推理与单模态任务"]

关键设计¶

1. 多模态探针输入构建：解耦下游任务偏置的纯净表征探测

现有融合方法若依赖具体下游任务 Prompt 评估权重，极易引入任务特定偏置并破坏跨任务泛化性。ES-Merging 构建了一个与具体任务无关的通用多模态探针序列 \(\mathbf{H}_{\text{probe}}^{0}\)，其结构为简短文本提示与各模态 Token 块交错拼接：

\[\mathbf{H}_{\text{probe}}^{0} = [\mathbf{H}_{\text{text}, m_{1}}; \mathbf{H}_{m_{1}}; \mathbf{H}_{\text{text}, m_{2}}; \mathbf{H}_{m_{2}}; \ldots]\]

在生物领域中，包含分子（Mol）、蛋白质（Prot）与细胞（Cell）三种模态数据。将探针输入同时输入基座 LLM 与各特化 MLLM（\(\theta_{m_{j}}\)），提取第 \(l\) 层的隐藏状态 \(\mathbf{H}_{m_{i}\rightarrow\text{base}}^{l}\) 与 \(\mathbf{H}_{m_{i}\rightarrow\theta_{m_{j}}}^{l}\)。这为在同一语义参考系下诊断各专家模型对不同模态 Token 的表征调制程度提供了基准。

2. 层级全局融合系数：基于切片 Wasserstein 距离差分的层级重要度估计

为了在 Transformer 宏观层级上量化各专家对模态表征的重塑程度，避免在重要转换层中被平权稀释，模型首先对各模态 Token 维度进行均值池化（Mean Pooling），然后利用切片 Wasserstein 距离（Sliced Wasserstein Distance, SWD）度量专家模型与基座模型在第 \(l\) 层表征分布间的几何距离。由于浅层累积效应的存在，单层直接距离无法反映当前层的净贡献，因此采用层间差分作为净表征转化信号：

\[\Delta\mathrm{SWD}^{l}_{m_{i}\rightarrow\theta_{m_{j}}} = \mathrm{SWD}^{l}_{m_{i}\rightarrow\theta_{m_{j}}} - \mathrm{SWD}^{l-1}_{m_{i}\rightarrow\theta_{m_{j}}}\]

通过跨输入模态求和得到第 \(l\) 层的专家综合贡献分数 \(s^{l}_{\theta_{m_{j}}} = \sum_{m_{i}\in\mathcal{M}} \widehat{\Delta\mathrm{SWD}}^{l}_{m_{i}\rightarrow\theta_{m_{j}}}\)，并经过带温度系数 \(\tau\) 的 Softmax 归一化计算层级全局融合系数 \(\alpha_{m_{j}}^{l}\)：

\[\alpha_{m_{j}}^{l} = \frac{\exp(s^{l}_{\theta_{m_{j}}}/\tau)}{\sum_{m\in\mathcal{M}}\exp(s^{l}_{\theta_{m}}/\tau)}\]

该机制能够准确识别模型在哪些深度（如前几层特征对齐或深层高阶推理）发生了强模态特化，并赋予主导专家更大的层级发言权。

3. 元素级局部融合系数：基于表征对齐梯度的细粒度参数敏感度挖掘

即便某一层整体特化显著，层内参数的贡献依然存在极大的非均匀性；直接赋予全层参数相同的权重会导致层内弱相关参数的干扰。为实现参数粒度的精准赋值，ES-Merging 引入细粒度嵌入信号：直接计算未池化的 Token 级表征之间的 Frobenius 距离 \(r^{l}_{m_{i}\rightarrow\theta_{m_{j}}} = \|\mathbf{H}_{m_{i}\rightarrow\text{base}}^{l} - \mathbf{H}_{m_{i}\rightarrow\theta_{m_{j}}}^{l}\|_{F}\)。将其视为局部表征对齐目标，通过反向传播计算该距离对 LoRA 参数每个元素 \(\theta_{m_{j}}^{l,n}\) 的梯度绝对值，以此作为参数的重要性得分：

\[s^{l,n}_{\theta_{m_{j}}} = \sum_{m_{i}\in\mathcal{M}} \left| \frac{\partial r^{l}_{m_{i}\rightarrow\theta_{m_{j}}}}{\partial \theta_{m_{j}}^{l,n}} \right|\]

该得分衡量了单个参数微小摄动对基座与专家表征间隙的直接影响。对其进行归一化和 Softmax 变换，得到元素级局部融合系数 \(\beta^{l,n}_{m_{j}}\)：

\[\beta^{l,n}_{m_{j}} = \frac{\exp(\hat{s}^{l,n}_{\theta_{m_{j}}}/\tau)}{\sum_{m\in\mathcal{M}}\exp(\hat{s}^{l,n}_{\theta_{m}}/\tau)}\]

4. 双粒度系数互补整合：多尺度表征感知的统一参数合成

粗粒度层级系数 \(\alpha_{m_{i}}^{l}\) 保持了模型纵向的信息流骨架，防止全局核心层被淹没；细粒度元素系数 \(\beta_{m_{i}}^{l,n}\) 抑制了同层内无关权重的冗余激活。ES-Merging 将两层系数逐元素相乘并重新归一化，构成最终的 LoRA 融合权重 \(\lambda_{m_{i}}^{l,n}\)：

\[\lambda_{m_{i}}^{l,n} = \frac{\alpha_{m_{i}}^{l} \cdot \beta_{m_{i}}^{l,n}}{\sum_{m\in\mathcal{M}} \alpha_{m}^{l} \cdot \beta_{m}^{l,n}}\]

最终的统一模型参数通过线性加权合成：\(\theta_{\mathrm{uni}}^{l,n} = \sum_{m_{i}\in\mathcal{M}} \lambda_{m_{i}}^{l,n} \theta_{m_{i}}^{l,n}\)。该融合方案兼顾了全局功能分工与局部稀疏特化。

损失函数 / 训练策略¶

ES-Merging 为免训练（Training-Free / Zero-Shot Merging）框架，完全不需要在下游任务或额外监督数据上运行反向传播优化。仅需在探针输入上执行单次前向传递（提取激活表征）与单次关于表征对齐距离的后向梯度回传（仅计算梯度绝对值，不更新参数）。探针采样规模仅需每个模态 110 个样本（总计 330 个样本），切片投影维度设为 1,024，Softmax 温度系数统一设定为 \(\tau = 0.5\)。

实验关键数据¶

主实验¶

主实验在分子-蛋白质相互作用（BindingDB、BioSNAP、Human）及分子-细胞相互作用（DrugComb、GDSC2）两组跨模态预测任务上对比各方法性能。基座为 LLaMA-3.1-8B-Instruct，特化专家分别为 Mol-LLaMA、Prot2Text-V2 和 Cell-o1。

数据集 / 任务	评估指标	ES-Merging (本文)	最佳参数融合基线	提升 / 对比说明
Mol-Prot (BindingDB)	Acc. / F1	66.0 / 65.3	65.3 / 64.9 (Avg. Merging)	显著领先主流参数剪枝融合
Mol-Prot (BioSNAP)	Acc. / F1	69.1 / 68.4	67.4 / 66.5 (Avg. Merging)	甚至超越有监督微调模型 (55.8 / 55.8)
Mol-Prot (Human)	Acc. / F1	62.0 / 61.9	60.9 / 60.9 (Avg. Merging)	准确率提升 +1.1%
Mol-Prot (平均)	Acc. / F1	65.7 / 65.2	64.5 / 64.1 (Avg. Merging)	超越全参数微调基线 (57.8 / 57.5)
Mol-Cell (DrugComb)	Acc. / F1	80.7 / 80.2	77.3 / 77.3 (PCB-Merging)	相比各无监督基线大幅提高
Mol-Cell (GDSC2)	Acc. / F1	94.1 / 94.0	93.4 / 93.3 (EMR-Merging)	逼近微调上限 (94.0 / 93.9)
Mol-Cell (平均)	Acc. / F1	87.4 / 87.1	81.7 / 81.6 (PCB-Merging)	综合性能较最佳免训基准领先 +5.7%

在靶点固定的 CYP 酶代谢功能预测任务（CYP 抑制 5 个子任务与 CYP 底物 3 个子任务）中，ES-Merging 同样展现出强劲优势：CYP 抑制平均准确率达 74.5%（次优 TIES 为 69.5%），CYP 底物平均准确率达 61.9%（次优 PCB 为 56.4%），全面超越盲目参数合并方法。

消融实验¶

消融实验深入验证了不同粒度融合系数对跨模态任务（Mol-Prot、Mol-Cell、CYP Inhibition、CYP Substrate）以及不同模态探针输入构造的影响。

配置 (系数消融)	Mol-Prot (Avg.)	Mol-Cell (Avg.)	CYP Inhibit (Avg.)	CYP Subs. (Avg.)	说明
Layer-wise (L)	63.6	85.2	73.9	57.1	仅使用 SWD 粗粒度层级系数
Element-wise (E)	64.9	86.7	72.7	60.5	仅使用表征梯度细粒度元素系数
Full (L × E 联合)	65.7	87.4	74.5	61.9	粗细粒度互补，所有任务达最佳
独立探针 (Separated)	64.9	85.5	73.5	59.5	模态隔离探针（损失跨模态交互）
拼接探针 (Concatenated)	65.7	87.4	74.5	61.9	默认采用的联合交互多模态探针

在计算开销对比中，确定融合参数所需的总计算量（Total FLOPs）方面，任务微调模型（Avg. Merging + FT）为 891,117，测试时优化方法 AdaMerging 为 493,694，而 ES-Merging 仅为 149,807，计算开销分别降低了 5.95× 和 3.30×。

关键发现¶

双粒度融合具备极佳互补性：仅依赖层级系数或元素级系数均已优于多数传统参数融合基线，而两者结合时在所有 4 组下游任务上均实现了最佳效果，证明粗粒度层级筛选能防止重要层级稀释，细粒度元素敏感度能避免同层参数“一刀切”。
单模态专精能力的超额保留：在单模态基准测试（PAMPA 分子通透性、Immuno-Virus 蛋白质免疫原性）中，ES-Merging 准确率分别达到 77.64% 和 86.51%，甚至超越了原本专精单模态的专家自身（75.68% 和 85.25%），表明高质量的多模态嵌入融合在不同生物领域间产生了正向知识迁移。
天然的生物推理可解释性：定性分析表明，在处理药物-靶点或药物-细胞反应时，微调模型仅能机械吐出二元分类标签，而 ES-Merging 能够清晰阐明药物的化学结构子结构、对应的靶点受体或基因表达通路，保留了生物学推理链条。

亮点与洞察¶

范式革新（从参数空间到嵌入空间）：突破了以往仅从 LoRA 权重幅值、符号冲突或正交投影等参数统计量做文章的局限，首次提出以模型在真实多模态输入下的隐藏表征位移作为融合依据，抓住了功能特化的本质。
探针引导与单次前向/反向解析计算：通过精巧设计的无偏拼接探针，仅用 330 个样本的单次诊断即完成参数敏感度计算，避开了 AdaMerging 等耗时费力且容易不稳定的测试时梯度优化循环。
通用多模态扩展性：虽然诞生于生物 MLLM 场景，该原理在音视频图问答（MUSIC-AVQA）上同样超越了所有参数融合 baseline（全模态准确率 53.59% vs EMR 53.58% / AdaMerging 52.18%），证明了其作为基础模型通用融合范式的潜力。

局限与展望¶

探针计算的额外前期开销：相比于直接权重平均（Average Merging）等纯代数操作，ES-Merging 需要额外的一步探针前向和特征梯度提取（耗时约 1.5 小时），尽管这远比下游微调高效，但在海量模型动态集成时仍存在提速空间。
极端异质模态下的不对称知识损失：在单细胞基因表达任务（PBMC）上，因非细胞模型（分子/蛋白质专家）完全不具备转录组先验，融合后模型表现（61.49%）相比单模态专家 Cell-o1（77.84%）存在退化，如何对零迁移能力的极端异质模态设置自适应阻断门控值得探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出纯参数统计局限，开辟了基于嵌入空间表征动力学指导模型融合的新范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖分子、蛋白、细胞三大生物领域，跨越相互作用、靶点功能与单模态基准，并进一步延展至通用音视频模态与可解释性分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层次清晰，动机论证环环相扣，图表直观且细节规范详实。
价值: ⭐⭐⭐⭐⭐ 为免微调构建多领域统一科学基础模型提供了极其实用、低成本且可解释的技术路径。