C3P: Contrastive promoter-protein pretraining yields representations capturing bacterial gene regulation¶
会议: NeurIPS 2026
arXiv: 2605.25242
OpenReview: https://openreview.net/forum?id=0pWBLS7Kzj
代码: https://github.com/dufaultc/contrastive-promoter-protein-pretraining
领域: 计算生物
关键词: 启动子表征学习, 对比学习, 细菌基因调控, 蛋白质语言模型, 零样本共调控基因检索
一句话总结¶
受多模态对比学习启发，C3P 通过将细菌启动子 DNA 与预训练冻结蛋白质语言模型 ESM2 的表征进行跨模态对比对齐，使仅 100M 参数的启动子编码器在基因调控推断与零样本共调控基因检索任务上大幅超越 7B 规模的基因组自回归语言模型。
研究背景与动机¶
深度学习在生物大分子计算领域取得了里程碑式的进展，AlphaFold 等蛋白质结构预测模型可以直接从氨基酸序列解析蛋白质三维空间结构与生化功能。然而，生命的生物学效应不仅取决于基因编码的产物本身，更取决于这些产物在何时、何地以及以何种丰度被表达。直接从非编码 DNA 序列解码基因表达调控机制，始终是计算生物学中悬而未决的长期挑战。尽管在真核生物中有基于实验数据的有监督调控预测模型，但对绝大多数微生物而言，湿实验调控数据极其匮乏；对于数以百万计的细菌物种，其启动子等非编码调控区的功能与转录网络几乎完全是未知的。
现存基于大规模无标注基因组数据的自监督学习主要依赖基因组语言模型（gLM）。这类模型采用类似自然语言处理的掩码语言建模（MLM）或自回归自回归下一标记预测（NTP）进行序列重构。然而，调控 DNA 序列在进化尺度上具有极高噪声和快速发散的特性，即即使调控功能高度保守，其核苷酸序列本身仍会发生剧烈的序列变异。序列重构目标迫使模型将巨额容量浪费在低语义但高方差的核苷酸表面模式重构上，近期多项基准评测表明，主流 gLM 难以学习到真正区分细菌启动子差异调控的深层功能表征。
与此同时，一个经典生物学先验为解决该矛盾提供了关键切入点：功能相似或参与协同代谢通路的蛋白质，其基因表达模式往往高度趋同并受到共同调控；而预训练蛋白质语言模型（pLM）已被广泛证明能够高度提炼蛋白质的结构、功能与同源性。核心 idea：将多模态对比学习范式引入基因组调控序列建模，通过跨模态对齐细菌启动子序列表征与对应蛋白质在冻结蛋白质语言模型中的功能嵌入，以蛋白质语义引导启动子在潜在表征空间中依据调控功能自监督聚集。
方法详解¶
整体框架¶
C3P 借鉴了跨模态图文对齐模型（如 CLIP 与 LiT）的设计哲学，将细菌基因组中的「启动子（非编码 DNA）」与「蛋白质（氨基酸编码序列）」视为成对的双模态输入。方法的输入为从细菌基因组中抽取的启动子-蛋白质正样本对，输出为用于下游调控功能推断的启动子潜在嵌入向量。整个流水线分为高多样性基因组数据挖掘与操纵子感知配对、双塔编码器前向表征、以及对称 InfoNCE 对比优化三大阶段。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["细菌基因组数据挖掘与操纵子感知配对<br/>4万基因组抽样 + 操纵子共启动子关联"] --> B["启动子与蛋白质表征编码<br/>3-mer Transformer 编码器 + 冻结 ESM2 编码"]
B --> C["跨模态投影与表征对齐<br/>双向对称投影映射至 256 维潜空间"]
C --> D["跨模态对称 InfoNCE 优化<br/>可学习温度系数下的成对相似度最大化"]关键设计¶
1. 基因组数据挖掘与操纵子感知配对：兼顾物种多样性与原核生物转录结构 针对现有基因组模型容易在少数高测序冗余模式物种（如大肠杆菌、沙门氏菌）上过拟合且无法利用原核特有操纵子结构的问题，本文设计了分层抽样与操纵子启发式配对机制。首先从 RefSeq 数据库的 47 万余株细菌基因组中，基于科、属、种多级分类学最大多样性原则贪心抽取 40,000 个基因组，并在物种级别划分训练集（35,928 个基因组，覆盖 22,783 个物种）与独立验证集（4,072 个基因组），确保模型具备真正的跨物种泛化能力。在抽取正样本对时，若编码序列（CDS）上游存在不少于 100 bp 的非编码区，则截取该非编码片段（最长 512 bp）作为启动子；针对原核生物特有的操纵子结构，当同链相邻基因间距 \(\le 20\text{ bp}\) 时，判定为操纵子成员，将操纵子内的后续所有下游蛋白质均与操纵子首个基因的共享启动子配对。该策略不仅符合原核生物多顺反子共转录的生物学物理机制，而且将有效训练样本扩增至 8,770 万对高信噪比启动子-蛋白质对。
2. 冻结蛋白质教师引导的双塔编码器架构：消除语义坍塌并最小化训练开销
为了让启动子编码器学习到调控功能而非表面核苷酸统计噪声，C3P 采用冻结高质量预训练蛋白质语言模型的非对称双塔结构。蛋白质塔采用在数千万进化序列上预训练的 ESM2（150M），并在 C3P 预训练期间完全保持冻结参数。为压减计算负担，作者利用 MMSeqs2 在 80% 序列同源性与覆盖度阈值下对训练集全部蛋白质进行聚类，仅预先计算并缓存 2,600 万个代表蛋白质的平均序列池化嵌入，使得原本极其耗时的蛋白质推理在训练期变为常数级张量查表。启动子塔则采用可随机初始化的标准 Transformer 编码器，配备旋转位置编码（RoPE）。启动子序列被切分为重叠 3-mer（基于 A/C/G/T/N 词表），并在首位添加 <CLS> 标记。训练期间动态执行 99~300 bp 随机裁剪作为数据增强。两塔输出经过可学习的线性投影层映射到相同的 \(d_{\text{projection}} = 256\) 维潜空间并进行 \(L_2\) 归一化。冻结 ESM2 避免了多模态联合优化时的表征退化与特征坍塌，使单卡训练成为可能。
3. 对称 InfoNCE 损失驱动的调控语义对齐机制：自监督学习驱动调控表征聚类 针对启动子表征如何自发捕获调控子与转录因子结合特征的数学目标，C3P 引入可学习温度系数的跨模态对比损失。在大小为 \(N\) 的采样批次中，记第 \(i\) 个样本归一化后的启动子与蛋白质表征分别为 \(z_i^{\text{prom}}\) 和 \(z_i^{\text{prot}}\)，模型将批次内的对角线元素视为正样本对，其余 \(N^2 - N\) 个非对角元素视为负样本。对称 InfoNCE 优化目标定义如下： $$ \mathcal{L} = -\frac{1}{2N}\sum_{i=1}^{N}\left(\log\frac{\exp(z_{i}^{\text{prom}}\cdot z_{i}^{\text{prot}}/\tau)}{\sum_{j=1}^{N}\exp(z_{i}^{\text{prom}}\cdot z_{j}^{\text{prot}}/\tau)}+\log\frac{\exp(z_{i}^{\text{prot}}\cdot z_{i}^{\text{prom}}/\tau)}{\sum_{j=1}^{N}\exp(z_{i}^{\text{prot}}\cdot z_{j}^{\text{prom}}/\tau)}\right) $$ 其中 \(\tau\) 为可学习的温度参数。该损失函数强迫启动子表征与对应的蛋白质表征在球面潜空间对齐。由于功能相似或协同表达的蛋白质天然聚集在 ESM2 表征空间的临近区域，这种对比对齐间接地将不同启动子但驱动相似蛋白表达的调控序列拉聚至相近流形，使得启动子表征在从未直接接触湿实验调控标注的情况下，自发学会了区分结合相同转录因子或西格玛因子的启动子家族。
损失函数 / 训练策略¶
模型使用 AdamW 优化器（\(\beta_1=0.9, \beta_2=0.999\)，权重衰减 0.01），基础学习率设为 \(1\times 10^{-4}\)，配合 1000 步线性预热和余弦退火学习率调度。训练批大小设置为 512，针对 8,770 万对训练样本总计训练 10 个轮次（共 8.77 亿训练实例）。作者训练了四种参数规格的启动子编码器（1M、5M、25M 和 100M 参数），隐藏层维度分别为 128、256、512 和 1024。最大规模的 100M 模型仅在单台 H100 GPU 上训练约 4.5 天即可收敛，计算开销远低于数十卡或百卡规模的大型 gLM。
实验关键数据¶
主实验¶
论文在完全未参与预训练的模式生物大肠杆菌（E. coli K-12）金标准实验调控数据库 RegulonDB，以及跨越 17 个不同物种的 25 个微模块数据库（iModulonDB）上全面对比了 C3P 与主流 gLM。评测采用完全无监督的 \(k=1\) 最近邻分类与检索范式，评估表征在无微调条件下的零样本调控信息捕获能力。
在 RegulonDB 的 102 个独立调控子（Regulons）与 6 个西格玛因子调控群（Sigmulons）分类任务中，C3P (100M) 展现出对 7B 参数规模自回归模型（Evo2）的数倍甚至数量级优势：
| 模型 | 参数量 | 调控子 1-nn 查准率 (Prec.) | 调控子 1-nn 马修斯相关 (MCC) | 调控子 mAP@R | 西格玛因子 1-nn Prec. | 西格玛因子 1-nn MCC | 西格玛因子 mAP@R |
|---|---|---|---|---|---|---|---|
| C3P (本文) | 100M | 0.212 ± 0.042 | 0.198 ± 0.039 | 0.073 ± 0.022 | 0.344 ± 0.172 | 0.277 ± 0.179 | 0.076 ± 0.057 |
| ESM2 (教师基线) | 150M | 0.088 ± 0.018 | 0.082 ± 0.020 | 0.021 ± 0.006 | 0.194 ± 0.121 | 0.114 ± 0.077 | 0.036 ± 0.047 |
| gLM2 (多模态) | 650M | 0.050 ± 0.018 | 0.036 ± 0.017 | 0.009 ± 0.004 | 0.144 ± 0.131 | 0.062 ± 0.101 | 0.030 ± 0.040 |
| Evo2 (常规 SOTA) | 7B | 0.037 ± 0.017 | 0.019 ± 0.011 | 0.006 ± 0.002 | 0.158 ± 0.118 | 0.073 ± 0.055 | 0.028 ± 0.038 |
| PromoGen2 | 149M | 0.026 ± 0.016 | 0.009 ± 0.010 | 0.003 ± 0.002 | 0.102 ± 0.109 | 0.021 ± 0.020 | 0.021 ± 0.035 |
| Evo | 7B | 0.011 ± 0.006 | -0.003 ± 0.003 | 0.003 ± 0.001 | 0.075 ± 0.102 | -0.009 ± 0.014 | 0.020 ± 0.035 |
在涵盖枯草芽孢杆菌、结核分枝杆菌、金黄色葡萄球菌等多种致病与工业菌株的 25 个跨物种 iModulon 数据集上，论文提出了无需任何实验数据的零样本共调控基因检索任务（根据启动子嵌入的余弦相似度检索最近邻，判定其调控标签是否重合）：
| 模型 | 参数量 | Top-1 完全匹配准确率 (Full Match) | Top-1 任意匹配准确率 (Any Match) |
|---|---|---|---|
| C3P (本文) | 100M | 0.242 ± 0.007 | 0.402 ± 0.008 |
| ESM2 (教师基线) | 150M | 0.125 ± 0.006 | 0.218 ± 0.007 |
| gLM2 (多模态) | 650M | 0.060 ± 0.005 | 0.116 ± 0.005 |
| Evo2 (前沿 gLM) | 7B | 0.066 ± 0.005 | 0.124 ± 0.006 |
| PromoGen2 | 149M | 0.050 ± 0.004 | 0.102 ± 0.006 |
| Evo | 7B | 0.035 ± 0.003 | 0.077 ± 0.005 |
消融与模型扩展实验¶
论文系统分析了模型参数量和预训练计算量（FLOPS）对表征质量的标度效应（Scaling），并与随机初始化编码器（Random Baseline）进行了严格统计显著性检验：
| 配置 / 模型参数量 | 预训练总 FLOPS | 调控子 mAP@R | 零样本检索 Top-1 Full Match | 显著优于随机初始化数据集比例 (Full / Any) |
|---|---|---|---|---|
| C3P (1M) | \(9.57 \times 10^{18}\) | ~0.032 | ~0.155 | 25/25 (100%) / 25/25 (100%) |
| C3P (5M) | \(1.59 \times 10^{19}\) | ~0.045 | ~0.180 | 25/25 (100%) / 25/25 (100%) |
| C3P (25M) | \(4.76 \times 10^{19}\) | ~0.061 | ~0.218 | 25/25 (100%) / 25/25 (100%) |
| C3P (100M) | \(1.66 \times 10^{20}\) | 0.073 | 0.242 | 25/25 (100%) / 25/25 (100%) |
| Evo2 (7B) | \(9.36 \times 10^{22}\) | 0.006 | 0.066 | 18/25 (72%) / 19/25 (76%) |
| Evo (7B) | \(1.26 \times 10^{22}\) | 0.003 | 0.035 | 0/25 (0%) / 0/25 (0%) |
| PromoGen2 (149M) | \(9.61 \times 10^{17}\) | 0.003 | 0.050 | 15/25 (60%) / 17/25 (68%) |
| gLM2 (650M) | \(1.23 \times 10^{21}\) | 0.009 | 0.060 | 12/25 (48%) / 16/25 (64%) |
关键发现¶
- 超越自回归语言模型量级差距：参数量仅为 100M 的 C3P 模型，在调控子分类 MCC 指标上达到 0.198，而参数量高达 7B 的 Evo2 仅为 0.019，前代 Evo 甚至出现微弱负相关（-0.003）。这表明在大规模基因组预训练中，建模范式（跨模态对比 vs 自回归重构）对捕获调控功能语义具有决定性影响，盲目推高自回归序列生成的算力并未让模型自发理解调控逻辑。
- 超越指导教师模型表征能力：C3P 启动子嵌入的调控子 mAP@R（0.073）显著高于作为指导教师的 ESM2 蛋白质表征（0.021），零样本共调控检索准确率（0.242 vs 0.125）也实现了翻倍。UMAP 流形可视化进一步证明，C3P 启动子嵌入按共调控微模块清晰聚集，而 ESM2 在启动子调控聚类上杂乱无章，证实 C3P 并非简单拟合蛋白质嵌入的降质副本，而是提炼出了非编码 DNA 原生调控特征。
- 稳健优于随机初始化基线：在 25 个独立微模块测试集上，C3P 训练在所有 25 个数据集上均显著战胜随机初始化的自身结构（单侧双比例 z 检验 \(p < 0.05\)）；而现有大部分 gLM 在 25%~50% 的真实生物物种数据集上甚至不及随机未训练参数的表现。
- 高效的算力扩张收益：C3P 的计算量仅需 \(1.66 \times 10^{20}\) FLOPS（仅为 Evo2 训练算力的约 1/500），且性能随参数量与算力扩展呈现出清晰且未见饱和的单调上升曲线。
亮点与洞察¶
- 跨模态生物先验转化：巧妙利用「共调控基因表达产物通常行使协同生化功能」这一经典分子生物学共识，通过 CLIP 范式的跨模态对比学习，将成熟的蛋白质结构表征无缝蒸馏迁移至极难自监督学习的非编码启动子领域，思路极其优雅且具有强解释性。
- 操纵子生物学结构感知：深度契合原核生物转录调控机理，将操纵子内下游基因与首位启动子显式关联，不仅消除了原核多基因转录导致的样本配对偏差，更构建出千万级别的跨物种配对训练集。
- 零样本调控检索全新评估范式：提出的零样本共调控基因检索任务摆脱了对极少数模式生物湿实验转录因子标注的过度依赖，使评估能够无缝扩展至 17 个物种的 25 个数据集，为全基因组自监督模型的生物学验证树立了全新标杆。
局限与展望¶
- 判别式表征缺乏序列生成能力：与 NTP 驱动的自回归 gLM 相比，C3P 属于联合嵌入双塔判别式架构，无法直接进行条件序列采样或人工启动子从头设计（de novo generation），未来需探索多任务或编码器-解码器联合框架。
- 模型可解释性与基序归因待挖掘：虽然表征展现出极强的调控子聚类能力，但论文未进一步通过注意力可视化或诱变扫描（in silico mutagenesis）解析编码器究竟识别了哪些转录因子结合位点（TF motifs）与启动子保守盒（-10/-35 盒）。
- 极普遍管家西格玛因子识别受限：由于对比学习强迫模型拉开不同启动子之间的间距，导致模型倾向于学习差异性调控特征，在区分极为普遍的大肠杆菌管家西格玛因子（\(\sigma^{70}\)，rpoD 调控子）时表现相对较弱。
相关工作与启发¶
- vs Evo / Evo2 / PromoGen2: 基于核苷酸序列级自回归 NTP 预训练，受限于非编码调控区的高变异噪声，生成的潜在表征对调控子分类和共调控聚类能力极其微弱；C3P 采用对比表征学习，以蛋白质功能先验为锚点，以较小算力实现调控性能全面超越。
- vs gLM2: 采用核苷酸与氨基酸混合标记的 MLM 预训练，虽然捕捉到了局部位点边界，但在全基因组尺度的无监督调控检索上仍受限于重构损失对表面特征的关注；C3P 双塔对齐直接优化高阶全局语义。
- vs RHEIPA: 该方法通过真菌直系同源基因的比对构建启动子增强视图，受限于昂贵且极难计算的直系同源簇（orthology mapping）；C3P 仅需单一基因组内的启动子-蛋白质天然位置共存关系即可建模，具备推广至百万未研究细菌基因组的通用扩展性。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将 CLIP 风格的跨模态对比范式应用于启动子-蛋白质系统建模，提出了具有突破性的自监督调控表征学习路径。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 E. coli 金标准 RegulonDB、25 个跨物种 iModulon 数据库、标度律分析、启动子活性回归及全物种随机基线检验，实证异常扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 动机清晰，生物学机理与算法设计严密契合，论证条理清晰且实验图表极具说服力。
- 价值: ⭐⭐⭐⭐⭐ 为破译数百万未知细菌的基因调控网络提供了仅需基因组序列即可运转的高效计算工具，对合成生物学与微生物组学研究意义重大。