PepSpecBench: A Unified Evaluation Benchmark for Peptide Tandem Mass Spectrometry Prediction¶

会议: NeurIPS 2026
arXiv: 2605.01945
OpenReview: https://openreview.net/forum?id=dePVHdM1Gw
代码: https://huggingface.co/datasets/Chris-young-2004/PepSpecBench
领域: 计算生物
关键词: 串联质谱、多肽质谱预测、基准评测、数据泄漏、跨物种泛化

一句话总结¶

针对多肽串联质谱预测中评估标准碎片化、同源数据泄漏严重及物理鲁棒性缺失的长期痛点，PepSpecBench 提出了首个标准化评测基准，通过统一 234 维标准离子空间投影消解异质模型壁垒，以严格去骨架划分阻断同源泄漏，并引入跨物种套件与物理扰动探针系统诊断模型的真实泛化与物理感知能力。

研究背景与动机¶

串联质谱（MS/MS）是现代高通量蛋白质组学中鉴定与定量多肽分子的核心技术支撑。传统谱图解析高度依赖于经验谱图库数据库检索，但其覆盖率受限于已知文库规模；而基于序列的从头测序（de novo sequencing）在复杂生物样本中的解析精度仍面临巨大挑战。计算机模拟多肽 MS/MS 谱图预测（in silico MS/MS spectrum prediction）在此构成了关键桥梁——利用深度学习模型（如循环神经网络、卷积神经网络和 Transformer）直接从修饰多肽序列预测碎片离子强度谱图，能够低成本构建和扩充大规模合成谱图库、极大改善数据非依赖采集（DIA）的色谱峰提取质量，并显著提升肽谱匹配（PSM）的重新打分精度。

然而，近年来各种深度模型报告的高精度指标掩盖了该领域深层次的评测危机。首先是评估标准的严重碎片化与输出空间不兼容：由于质谱数据源高度异构，各算法自定过滤条件与翻译后修饰（PTM）范围，且模型原生预测空间差异极大（例如 Prosit 输出 174 维规范离子向量，PredFull 输出 20,000 个 m/z 分箱的连续全谱，UniSpec 基于离散字典，FastSpel 采用线性分桶），导致现有模型从未在完全一致的输入输出边界下公平比较。其次是隐蔽的同源数据泄漏：绝大多数文献沿用朴素随机划分甚至仅按带修饰序列划分，导致具有完全相同氨基酸骨架、仅修饰位置略有差异的多肽同时出现在训练集与测试集中，模型仅凭对骨架序列的过度记忆即可获得虚高分数，而非学到了通用的质谱碎裂物理规律。最后，现有评估几乎全部局限于人类单一物种的域内样本，既未检验跨物种泛化能力，也极少探究模型对多肽长度、归一化碰撞能量（NCE）以及前体电荷等关键实验物理参数的真实响应机制。

为了彻底破解上述评测黑盒，作者系统构建了覆盖双源大规模人类谱图库（PROSPECT 与 MassIVE-KB）和 5 个物种外部数据集的统一评估体系，通过严格的骨架互斥划分根除序列同源泄漏，并将异质模型统一投影至规范评估空间。核心 idea：构建统一、去泄漏且具备物理敏感性诊断的多肽串联质谱预测基准 PepSpecBench，通过标准化投影消解异质模型输出壁垒，以严格去骨架划分阻断同源记忆泄漏，并基于零样本跨物种套件与物理参数扰动探针系统揭示模型的泛化瓶颈与物理感知能力。

方法详解¶

整体框架¶

PepSpecBench 旨在为多肽 MS/MS 谱图预测提供受控且具诊断性的评估闭环，整个工作流由四个相互衔接的核心阶段组成：双源数据标准化整合、严格骨架互斥划分、规范化输出空间投影与掩码过滤，以及跨物种外分布与物理参数鲁棒性综合评测。输入为包含修饰多肽序列 $s$、前体电荷状态 $z \in [1, 6]$ 和归一化碰撞能量 $e$（NCE）的三元组 $\mathbf{x} = (s, z, e)$，肽段长度统一限定在 $L \in [6, 40]$ 之间，覆盖生物学中最常见的 3 种核心修饰（乙酰化、氨基甲酰甲基化、氧化）。原始谱图库经过统一质量过滤与 UNIMOD 格式规范化后，构建出每源 500k/50k/50k 的标准化训练/验证/测试集。各深度模型与实验观测谱图均映射至统一的标准离子评估空间，在排除物理非法断裂位点后计算几何与相关性指标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多肽输入元组 (s, z, e)<br/>序列 + 前体电荷 + 碰撞能量"] --> B["双源数据标准化整合<br/>PROSPECT 与 MassIVE-KB 质量与 PTM 过滤"]
    B --> C["严格骨架互斥数据划分<br/>剥离 PTM 的裸序列哈希分桶阻断同源泄漏"]
    C --> D["规范化输出空间投影与有效位点掩码<br/>异质输出映射至 234 维标准离子空间"]
    D --> E["跨物种外分布与物理参数鲁棒性评测<br/>5 物种 OOD 套件 + NCE/电荷扰动探针"]

关键设计¶

1. 严格骨架互斥数据划分：根除多肽同源记忆泄漏 现有模型在划分训练集与测试集时通常采用朴素随机抽样或仅按带修饰序列划分，这允许相同骨架的多肽仅因带有不同 PTM 而跨越划分边界。由于多肽碎裂谱图的大部分骨架离子主要由氨基酸主链决定，模型很容易退化为骨架记忆机，在测试集上报告虚高精度。针对此问题，PepSpecBench 提出骨架互斥划分（Backbone-Disjoint Split），形式化定义多肽骨架 $b(s)$ 为剥离全部 PTM 标注后的纯氨基酸裸序列。划分集合必须满足训练、验证、测试集的骨架集合两两交集为空。对于 PROSPECT 数据集，算法对裸序列实施确定性 MD5 哈希计算 $h = \text{MD5}(b(s)) \pmod{100}$，将区间 0–79 分配给训练集、80–89 分配给验证集、90–99 分配给测试集（8:1:1 比例）；对于 MassIVE-KB 则保留官方互斥划分并严格校验骨架零重叠。该设计从物理机制上阻断了序列复用捷径，强制模型学习可迁移的碎裂规律。

2. 规范化输出空间投影与有效位点掩码：统一异质模型表征 六类代表性基线模型（Prosit、Prosit Transformer、AlphaPeptDeep、PredFull、UniSpec、FastSpel）原生预测格式极度割裂，涵盖固定长度向量、动态张量、连续全谱分箱和离散词表字典，无法直接度量。PepSpecBench 定义了统一的规范离子评估空间 $\mathcal{C}$，枚举所有断裂位点、离子类型（$b/y$ 离子）和碎片电荷（最高 $z_{\text{frag}}^{\max} = 3$）组合，其理论维度为： $$\dim(\mathcal{C}) = (L_{\text{ref}} - 1) \times 2 \times z_{\text{frag}}^{\max}$$ 在基准设定的参考最大肽段长度 $L_{\text{ref}} = 40$ 和最大碎片电荷 $z_{\text{frag}}^{\max} = 3$ 下，空间维度确定为 $\dim(\mathcal{C}) = 234$。作者为各模型设计了输入侧模型定制、输出侧维度统一的投影算子 $\Pi_m$：Prosit 系列扩展至 40 长度；PredFull 在 20,000 个 0.1 Da 连续分箱中按理论 $m/z$ 索引抽取 $b/y$ 离子；UniSpec 重新构建词表并映射至标准坐标；FastSpel 零填充缺失组合；实验真值谱图亦在 0.1 Da 网格上按相同理论 $m/z$ 抽取。随后引入有效位点掩码 $\mathcal{M}(\mathbf{x})$，强制排除物理不可能存在的断裂（如断裂位点 $p > L(s) - 1$ 或碎片电荷 $z_f > z$），所有评估指标均在掩码有效位点上计算。

3. 跨物种 OOD 评测与物理参数敏感性探针：多维鲁棒性诊断 为了突破以往局限于人类宿主评估的狭隘视野，PepSpecBench 从 ProteomeXchange 筛选并构建了涵盖 5 个物种（智人参考系、HeLa 癌细胞、大肠杆菌、秀丽隐杆线虫、拟南芥）的 7 个独立子集（各 20k 谱图），在零样本（Zero-Shot）设置下评测模型跨进化距离的泛化衰退。此外，基准引入了两项扎根仪器物理原理的扰动探针：其一是碰撞能量校准探针（NCE Calibration Probe），在 PROSPECT 上做推断 NCE 连续扫描，检验模型误差极小值是否落在真实仪器 NCE 上，同时在 MassIVE-KB 上执行盲 NCE 偏移测试（25 偏置至 30）；其二是前体电荷扰动探针（Charge-State Perturbation Probe），在推断阶段强制将电荷由 $z=2$ 改写为 $z=3$，计算预测谱图发生模式崩溃（高相似度 SAS > 0.90）的比例，直接诊断模型是否真正将电荷视为物理条件变量，抑或将其忽略并过度依赖高维序列输入。

损失函数 / 训练策略¶

在统一评测实验中，所有深度基线模型均在严格骨架互斥划分的数据集上，使用 NVIDIA A100 (80GB) 集群统一重新训练。优化器选用 AdamW（$\beta_1=0.9, \beta_2=0.999$，权重衰减 $1 \times 10^{-2}$），批大小固定为 1024，采用余弦退火学习率策略与 5% 线性预热步，并保留各模型原论文的最佳损失函数（Prosit 系列采用带掩码谱角损失，PredFull 采用余弦相似度损失，AlphaPeptDeep 采用 L1 损失，UniSpec 采用负余弦相似度）。评估指标严格采用谱角（Spectral Angle, $\text{SA} \in [0, 1]$，越低越好）、谱角相似度（$\text{SAS} = 1 - \text{SA}$，越高越好）以及皮尔逊相关系数（PCC，越高越好），在测试集上采用中位数聚合并给出 Bootstrap 置信区间。

实验关键数据¶

主实验¶

在严格骨架互斥划分下，六大模型在统一 234 维标准离子空间中的域内评测结果如下表所示（聚合方式为测试集中位数）：

模型	架构类型	MassIVE-KB SAS↑	MassIVE-KB SA↓	MassIVE-KB PCC↑	PROSPECT SAS↑	PROSPECT SA↓	PROSPECT PCC↑
Prosit Transformer	Transformer (BERT)	0.902	0.098	0.951	0.858	0.142	0.885
Prosit	GRU 编解码器	0.901	0.100	0.949	0.862	0.138	0.892
AlphaPeptDeep	模块化 Transformer	0.871	0.129	0.915	0.722	0.278	0.593
PredFull	残差 CNN 全谱	0.833	0.167	0.830	0.797	0.204	0.749
UniSpec	字典 Transformer	0.663	0.337	0.048	0.807	0.193	0.794
FastSpel	线性基线	0.524	0.476	0.010	0.621	0.379	0.015

数据划分泄漏消融实验¶

为定量分析不同划分策略对模型精度的虚高影响，以代表性模型 Prosit 在 PROSPECT 数据集上保持完全相同的训练配置，对比三种划分策略的中位数表现：

划分规则	中位数 SA↓	中位数 SAS↑	中位数 PCC↑	相对骨架互斥增益 (ΔSA / ΔSAS / ΔPCC)
骨架互斥划分 (Backbone-Disjoint)	0.1376	0.8624	0.8921	基准 (0.0000 / 0.0000 / 0.0000)
修饰序列划分 (Modified-Sequence)	0.1392	0.8608	0.8895	+0.0016 / -0.0016 / -0.0026
朴素随机划分 (Naive Random)	0.1254	0.8746	0.9099	-0.0122 / +0.0122 / +0.0178

跨物种零样本外分布泛化实验¶

跨物种零样本测试中，模型分别在 MassIVE-KB 和 PROSPECT 训练集上训练，直接在 5 种外部分布数据上评估中位数 SA / SAS：

训练数据源	模型	域内测试 (SA)	大肠杆菌 (E. coli)	秀丽隐杆线虫 (C. elegans)	拟南芥 (A. thaliana)	酵母菌 (Yeast)	HeLa 癌细胞
MassIVE-KB	Prosit	0.100	0.476 / 0.524	0.471 / 0.529	0.484 / 0.516	0.477 / 0.523	0.471 / 0.529
MassIVE-KB	Prosit Transformer	0.098	0.480 / 0.520	0.472 / 0.528	0.485 / 0.515	0.481 / 0.519	0.475 / 0.525
MassIVE-KB	PredFull	0.167	0.238 / 0.762	0.222 / 0.778	0.203 / 0.797	0.281 / 0.719	0.220 / 0.780
MassIVE-KB	AlphaPeptDeep	0.129	0.473 / 0.527	0.470 / 0.530	0.482 / 0.518	0.473 / 0.527	0.468 / 0.532
PROSPECT	Prosit	0.138	0.286 / 0.714	0.160 / 0.840	0.094 / 0.906	0.284 / 0.716	0.244 / 0.756
PROSPECT	Prosit Transformer	0.142	0.298 / 0.702	0.169 / 0.831	0.102 / 0.898	0.288 / 0.712	0.259 / 0.741
PROSPECT	PredFull	0.203	0.236 / 0.764	0.199 / 0.801	0.163 / 0.837	0.236 / 0.764	0.196 / 0.804
PROSPECT	AlphaPeptDeep	0.278	0.312 / 0.688	0.246 / 0.754	0.157 / 0.843	0.319 / 0.681	0.274 / 0.726

关键发现¶

域内最优模型由数据分布主导，不存在绝对 SOTA：在肽段较长、前体电荷更高的 MassIVE-KB 上，Prosit Transformer 凭借全局长程依赖建模能力取得领先（SA 0.098 vs Prosit 0.100）；但在肽段较短、具备多 NCE 覆盖的 PROSPECT 上，结构更紧凑的 GRU 模型 Prosit 反超居首（SA 0.138 vs Transformer 0.142），说明架构优劣强依赖于训练集的物理属性构成。
完全相同的骨架复用是造成性能虚高的核心泄漏途径：消融实验证实，朴素随机划分中相同骨架 cross-split 复用会使中位数 SA 虚假降低 0.0122（降幅达 8.9%），PCC 虚增 0.0178；而修饰序列划分与骨架互斥划分结果基本一致，证明只要氨基酸骨架泄露，模型就会利用记忆机制投机取巧。
域内排行榜完全无法预测跨物种鲁棒性，CNN 全谱展现惊人迁移力：在 MassIVE-KB 上训练时，域内冠亚军 Prosit 和 Prosit Transformer 在所有 5 个跨物种外分布测试中全面崩塌（SA 恶化至 0.47~0.48，酵母菌上 PCC 甚至跌至负值 -0.020）；而域内排名中游的残差 CNN 模型 PredFull 展现出压倒性的跨物种抗噪鲁棒性（各大肠杆菌/线虫/酵母 SA 保持在 0.20~0.28），揭示序列循环模型学到了严重过拟合于人源分布的伪特征。
拟南芥 OOD 优于域内实为协变量偏移引起的辛普森悖论：Prosit 在 PROSPECT 训练后，拟南芥测试 SA（0.094）看似大幅优于域内（0.138）；深入分解发现，PROSPECT 域内有 52% 样本属于高噪声仪器（ITMS/CID，NCE 28/35，中位数 SA 达 0.33），而拟南芥全为高质量 Orbitrap/HCD 且 NCE=25；控制相同协变量（NCE=25 无修饰）后，PROSPECT 域内 SA 实际达到 0.070，优于 OOD 的 0.094，恢复了正常的泛化衰减趋势。
部分 Transformer 架构存在条件变量模式崩溃：前体电荷扰动实验（$z=2 \rightarrow 3$）显示，Prosit 系列和 UniSpec 能合理调整离子分布（崩溃率 < 4%），但 AlphaPeptDeep 出现了惊人的 98.0% 模式崩溃率，表明该模型推断时几乎完全无视电荷输入，仅退化为序列自回归，暴露出严重的架构条件注入缺陷。

亮点与洞察¶

建立首个统一 234 维标准离子空间投影体系：巧妙通过理论断裂位置与碎片电荷枚举构建上层空间，并针对连续全谱、序列张量及离散字典分别设计定制化映射算子，终结了十余年来不同质谱预测模型因输出格式不兼容而无法同台竞技的历史。
揭示了“骨架泄漏”与“单物种过拟合”的双重评测假象：通过严格的骨架互斥消融实验证明序列记忆是性能虚增的主因，并通过多物种零样本测试揭穿了“域内高分等于优秀质谱模型”的幻象，为整个计算蛋白质组学领域的基准设计树立了去泄漏标杆。
设计了极具诊断价值的物理参数干预探针：利用 NCE 极小值对齐度检验仪器能量感知，通过前体电荷强行扰动精准捕获了 AlphaPeptDeep 等模型无视物理控制标量的模式崩溃漏洞，这种结合物理规律设计诊断探针的思路极具可复用性。

局限与展望¶

作者承认的局限：PepSpecBench 当前仅聚焦于最常见的 3 种核心 PTM（乙酰化、氨基甲酰甲基化、氧化），未能覆盖磷酸化、泛素化等更复杂的罕见翻译后修饰；同时主要依赖 Q Exactive 仪器家族，对其他主流质谱仪器架构（如 TOF、timsTOF）的覆盖有待扩充；骨架互斥虽消除了完全相同的裸序列，但未完全阻断高阶序列同源性（如单个氨基酸变异）。
可改进方向：引入更具生物学意义的同源聚类划分（如基于 CD-HIT 或 MMseqs2 的序列聚类互斥划分），进一步阻断进化同源泄漏；将离子淌度（Collisional Cross Section, CCS）与保留时间（RT）预测纳入联合评估，构建多维度多物理量的统一蛋白质组学基准。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多肽串联质谱预测的统一标准空间与严格去骨架泄漏基准，打破了长久以来的评测隔离与盲区。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 种代表性架构、两大数据源、7 个跨物种数据集以及 NCE/电荷双重物理探针，实验极其翔实严密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑极为清晰，问题提炼深刻，且成功识别并剖析了辛普森悖论等深层统计现象。
价值: ⭐⭐⭐⭐⭐ 为计算蛋白质组学和 AI for Science 提供了坚实可靠的评测基石，直接助力下游谱图库扩充与 DIA 蛋白鉴定。