RamanBench: A Large-Scale Benchmark for Machine Learning on Raman Spectroscopy¶
会议: NeurIPS 2026
arXiv: 2605.02003
OpenReview: https://openreview.net/forum?id=7sQ3RroZKg
代码: https://github.com/ml-lab-htw/RamanBench
领域: 其他
关键词: 拉曼光谱, 机器学习基准, 表格基础模型, 时间序列分类, 交叉学科基准
一句话总结¶
本文提出了首个覆盖 77 个数据集、169 个预测任务和超 32.5 万条光谱的大规模可复现拉曼光谱机器学习基准 RamanBench，在标准化评测 28 种模型后揭示出表格基础模型全面超越领域专用模型，同时指出现有方法仍存在显著改进空间。
研究背景与动机¶
拉曼光谱技术凭借其无损、免标记以及能够精确探测分子键振动能级跃迁的物理特性，在生物过程监控、病原体检测、癌症早期筛查、材料分类以及工业流体分析等前沿领域扮演着不可替代的角色。伴随着高通量探测器和自动化采样仪器的普及，拉曼光谱的自动解析日益依赖机器学习与深度学习算法。然而，与计算机视觉、自然语言处理乃至通用表格数据等领域不同，拉曼光谱的机器学习研究长期处于高度分散和“作坊式”状态。现有公开数据集散落在 Kaggle、Zenodo、Figshare 及各机构私有云中，数据格式各异（CSV、MAT、SPC、OPJ 等），绝大多数研究仅在单一私有小样本数据集上验证，并仅与数十年前的偏最小二乘（PLS）或支持向量机（SVM）进行有限对比，使得算法的真实泛化能力与技术演进历史被严重遮蔽。
阻碍拉曼光谱标准化基准建设的认知盲区与技术壁垒，根植于其独特且极端的数据物理分布：拉曼光谱兼具高特征维度（通常为 1,000 至 11,000 个波数通道）与极端小样本量（半数数据集样本量少于 235 个，部分仅十几个样本），呈现出典型的“高维小样本”挑战。更棘手的是，拉曼光谱并非无序离散特征组成的传统表格，亦非任意传感器生成的时间序列——其波数轴具有严格的分子物理意义，邻近通道因峰展宽存在强烈的局部空间相关性，整体光谱具有低秩分子振动模式叠加特征，同时伴随着由光学仪器漂移、探头老化和样品自体荧光所引发的剧烈非线性背景基线偏移。现有通用基准（如 TabArena、UCR/UEA）无法反映这种物理受约束且仪器敏感的特殊结构。
为了打破这种数据孤岛与评测割裂局面，本文依托统一的数据接入层工具生态与严格的 FAIR 原则，系统性整合了跨越四大核心应用领域的 77 个实测拉曼光谱数据集，并首次向开源社区公开发布了其中的 17 个新数据集。核心 idea：构建首个包含 77 个真实数据集、169 个分类与回归目标、32.5 万条实测光谱的标准化拉曼光谱可复现基准 RamanBench，通过统一接口与多维评价体系评测 28 种代表性算法，确立了表格基础模型（TFMs）在光谱高维小样本任务中的领先地位，并建立持续接纳新模型与数据集的动态开源基准生态。
方法详解¶
整体框架¶
RamanBench 构建了一套从多源数据接入、标准化质量准入、多流预处理管道到模型训练和统计评估的端到端可复现评测基础设施。系统的输入为来自 11 个不同平台、多种文件格式的原始实测光谱信号与生化/物理标签，输出为横跨 28 种算法的无偏基准榜单与统计显著性分析（Elo 评分、归一化得分、可改进性差距及临界差异图）。整个流水线由两个核心开源 Python 库驱动：raman-data 负责屏蔽底层格式与平台差异，提供统一的数据结构和本地缓存机制；raman-bench 则统合了基于 AutoGluon 统一接口的模型包装、分层划分、家族自适应预处理与超参数搜索。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多源原始拉曼光谱<br/>11个平台 / 77个数据集 / 325k+光谱"] --> B["数据集准入与可学习性筛查<br/>排除纯模拟/少于9样本类别/无信号目标"]
B --> C["双包驱动评测引擎<br/>raman-data加载 + raman-bench标准化调度"]
C --> D["模型家族自适应预处理流<br/>化学计量学(SG+BC+SNV) / 深度学习(高斯增广) / TFMs(原始输入)"]
D --> E["28种跨范式模型评测矩阵<br/>传统化学计量 / 树模型 / 深度学习 / 专用架构 / TFMs / TSC"]
E --> F["多维鲁棒统计排序聚合<br/>Elo胜率评分 / 归一化得分 / 可改进性分析 / CD显著性图"]关键设计¶
1. 严格的数据集准入标准与可学习性兜底机制：杜绝虚假噪声评估 针对历史文献中数据集良莠不齐、合成光谱脱离实际的问题，RamanBench 确立了四项严格的准入红线：数据必须完全公开且免认证获取；必须为真实实验室仪器采集光谱（彻底剔除模拟光谱）；必须具备明确的监督学习标签；数据集总样本数至少为 10，分类任务中单类别样本数少于 9 的稀有类别被过滤且过滤后需保留至少 2 个有效类别。针对化学测量中常出现的“仪器或杂质完全无物理相关响应”现象，设计了显式的可学习性判定规则：回归任务中所有模型预测最佳 \(R^2 \le 0.05\)、或分类任务中最佳宏平均 F1 未超出多数类 Dummy 基线 0.05 以上的目标被标记为“当前不可学习目标”。此类目标在 Elo 锦标赛中一律判为全部模型平局（Draw），防止算法因拟合随机测量噪声而虚假涨分，同时作为内置开放挑战集留待未来高信噪比算法攻克。
2. 家族差异化的自适应预处理流：保证跨范式公平对比 化学计量学算法与现代深度神经网络对光谱伪影的敏感度截然不同。为避免因单一预处理流水线抑制特定算法潜力，RamanBench 为不同算法家族定制了符合领域公认习惯的处理策略：对偏最小二乘（PLS）施加 Savitzky–Golay（SG）平滑滤波、非对称最小二乘基线校正（BC）与标准正态变量变换（SNV）的三重级联；对线性模型（Linear Model）执行 BC 与 SNV；对近邻算法（kNN）执行 SNV 变换；对 8 种深度学习架构，则保留原始光谱输入，并在训练集样本数 \(n < 2000\) 时引入三倍高斯噪声增强（\(\sigma_{\text{noise}} = 0.01 \cdot \sigma_X\)），用以抑制极小 batch 下的方差并稳定 Batch Normalization 统计量；而对于树模型（GBDT、Random Forest）、时间序列分类器（ROCKET、Arsenal）与表格基础模型（TabPFN、TabICL 等），则完全直接接收原始一维光谱，依靠模型自身强大的特征表示学习抗噪。
3. 多范式跨领域算法大比武：打破光谱领域的模型信息茧房 基准横跨 7 大类别的 28 种模型，首次在拉曼光谱领域展开大规模全谱系对比：(a) 经典化学计量学与传统机器学习（PLS、Ridge/Logistic Regression、kNN）；(b) 经典树模型（Random Forest、Extra Trees）；(c) 通用梯度提升树（CatBoost、LightGBM、XGBoost）；(d) 现代表格与深度神经网络（FastAI、PyTorch MLP、RealMLP、FCResNeXt、CoAtNet）；(e) 最前沿的表格基础模型（TabPFN v2、TabPFN v2.5、TabICL v2、MITRA、TabDPT、TabM）；(f) 近年顶会/顶刊发表的拉曼专用深度架构（Deep CNN、SANet、RamanNet、RamanFormer、RamanTransformer）；(g) 时间序列分类器（ROCKET、Arsenal）。针对 TabPFN 系列原生的类别数上限（\(C \le 10\)）与特征维度推荐限制（500 维），采用纠错输出码（ECOC）进行多类扩展并解除了特征裁剪限制，使其能直接吞吐上万波数通道的光谱输入。
4. 尺度无关的鲁棒排序与多级聚类评估体系：消除多仪器样本偏差 面对 169 个测量物理量纲迥异的任务，RamanBench 拒绝直接平均未对齐的原始物理指标，而是引入双重无量纲聚合指标：将各任务误差归一化到 \([0, 1]\) 后构建基于 Bradley-Terry 模型的 Elo 锦标赛评分体系（以 Random Forest = 1000 作为绝对锚点，进行 200 次随机洗牌与 Bootstrap 采样计算 95% 置信区间），并辅助以中位数基准对齐的归一化得分（Normalized Score）和量化距最优差距的可改进性指标（Improvability，\(\mathcal{I} = \frac{\ell - \ell^*}{\ell} \times 100\%\)）。针对同一生化实验往往在 8 台不同仪器上重复测量导致的数据相关性偏差，基准进一步在数据集级、实验系列级（Collection）、应用领域级（Domain）以及单模型家族限额级进行多尺度分层聚类重算，证实了模型排名的鲁棒性。
损失函数 / 训练策略¶
分类任务以标准交叉熵损失（Cross-Entropy）作为监督目标，回归任务采用均方误差损失（MSE）。除 AutoGluon Ensemble 赋予 4 小时整体堆叠时间预算外，所有深度模型均在固定的 80/20 分层/分组划分上基于 PyTorch 执行，使用 AdamW 优化器配合余弦退火学习率衰减，并在每轮划分前对随机数种子（Python、NumPy、Torch CPU/CUDA）进行全链路一致性锁定，保证多卡多进程评测的高度可复现。
实验关键数据¶
主实验¶
在涵盖 77 个数据集、169 个预测目标的总体评测中，表格基础模型在分类和回归两大榜单中均占据绝对主导地位，TabPFN v2.5 在所有单一模型中取得最高 Elo 评分；时间序列模型在分类中展现极强竞争力；传统化学计量学基准 PLS 尽管综合排名靠后，但在特定任务上依旧维持了可观的胜场数。
| 模型 | 模型类别 | 综合 Elo (↑) | 平均排位 (↓) | 目标胜场数 (Wins) | 可改进性 Improvability (↓) | 归一化 RMSE (↑) | 归一化 F1 (↑) |
|---|---|---|---|---|---|---|---|
| AutoGluon 1.5 (4h) | 集成上界基准 | 1562 ± 371 | 3.9 | — | 14.4% | 0.63 | 0.67 |
| TabPFN v2.5 | 表格基础模型 | 1529 ± 296 | 4.3 | 52 | 19.0% | 0.58 | 0.62 |
| TabICL v2 | 表格基础模型 | 1444 ± 220 | 5.7 | 21 | 26.6% | 0.51 | 0.55 |
| TabPFN v2 | 表格基础模型 | 1404 ± 377 | 6.3 | 25 | 30.5% | 0.52 | 0.36 |
| MITRA | 表格基础模型 | 1312 ± 403 | 8.1 | 5 | 37.2% | 0.38 | 0.33 |
| ROCKET | 时间序列模型 | 1240 ± 268 | 10.5 | 1 | 55.5% | — | 0.37 |
| Arsenal | 时间序列模型 | 1236 ± 358 | 10.5 | 1 | 58.3% | — | 0.40 |
| ReZeroNet | 专用深度架构 | 1133 ± 313 | 11.8 | 5 | 43.1% | 0.17 | 0.48 |
| Deep CNN | 专用深度架构 | 1006 ± 338 | 15.2 | 4 | 48.2% | 0.12 | 0.39 |
| PLS | 传统化学计量 | 1004 ± 373 | 15.3 | 6 | 50.0% | 0.15 | 0.16 |
| Random Forest | 经典树模型 | 1000 ± 262 | 15.6 | 1 | 52.4% | 0.13 | 0.10 |
| CatBoost | 梯度提升树 | 1069 ± 231 | 14.1 | 0 | 51.2% | 0.15 | 0.08 |
| XGBoost | 梯度提升树 | 922 ± 301 | 17.9 | 1 | 55.4% | 0.07 | 0.10 |
| SANet | 专用深度架构 | 798 ± 369 | 20.5 | 0 | 61.7% | 0.05 | 0.24 |
消融实验¶
为了检验模型在拉曼光谱最典型的“样本极度匮乏”场景下的泛化表现，作者将基准拆分为极小样本集（\(N < 50\)，共 16 个数据集、24 个目标）与常规较大样本集（\(N \ge 50\)，共 62 个数据集、126 个目标），考察各模型归一化得分的漂移 \(\Delta = \overline{\text{Score}}_{\text{Small}} - \overline{\text{Score}}_{\text{Larger}}\)：
| 模型 | 全量平均得分 (N=150) | 大样本得分 (N=126) | 小样本得分 (N=24) | 规模敏感度 \(\Delta\) | 说明 |
|---|---|---|---|---|---|
| TabPFN v2.5 | 0.79 | 0.83 | 0.56 | -0.27 ↓ | 小样本依然最高，但大样本下优势更显著 |
| TabICL v2 | 0.67 | 0.70 | 0.51 | -0.19 ↓ | 上下文学习能力随数据增加持续扩展 |
| MITRA | 0.51 | 0.52 | 0.49 | -0.03 | 对数据规模几乎不敏感，稳定性极高 |
| Extra Trees | 0.14 | 0.10 | 0.38 | +0.29 ↑ | 极小样本下经典集成树展现强鲁棒性 |
| TabPFN v2 | 0.67 | 0.73 | 0.36 | -0.37 ↓ | 受限于早期先验分布，极小样本回落明显 |
| Random Forest | 0.11 | 0.06 | 0.32 | +0.26 ↑ | 样本极度稀缺时方差控制优势凸显 |
| kNN | 0.16 | 0.13 | 0.31 | +0.18 ↑ | 惰性学习在小样本下免于参数过拟合 |
| PLS | 0.23 | 0.21 | 0.29 | +0.08 ↑ | 领域经典基线在小样本下相对保位 |
| ReZeroNet | 0.31 | 0.34 | 0.20 | -0.14 ↓ | 深度模型依赖适度数据量方可收敛 |
| SANet | 0.07 | 0.08 | 0.03 | -0.05 | 小样本下多尺度卷积难以提取有效特征 |
此外，针对化学计量学基线的 11 种预处理配方消融显示，即使赋予无视测试集泄露的理论上限 Oracle 预处理搜索，线性模型的最高归一化得分也仅达到 0.56，仍显著落后于未经预处理的 TFMs（0.79），证实 TFMs 的领先并非源于基线预处理不当。
关键发现¶
- 表格基础模型的跨模态统治力：完全基于通用合成先验预训练的 TabPFN v2.5 与 TabICL v2 在没有任何拉曼领域针对性设计的情况下，全面击败了所有拉曼领域专用深度学习架构和精调 GBDT，不仅在大样本上建立巨大优势，在 \(N < 50\) 的严苛小样本下依然稳居前两名。
- 时间序列模型的意外竞争力：基于随机卷积核的 ROCKET 和 Arsenal 在分类任务上取得了 1255 和 1234 的高 Elo 分，击败了所有的 GBDT 模型与大部分拉曼专用 CNN/Transformer，证明一维光谱的有序连续波动特性天然契合时间序列特征提取算子。
- 拉曼专用架构泛化受限：此前在单一数据集上宣称取得 SOTA 的模型（如 SANet 在以往细菌研究中领先）在跨领域综合基准中表现垫底（Elo 仅 798）；唯有引入零初始化残差连接的 ReZeroNet 在深度模型中保持了相对前列的竞争力（Elo 1133，专用模型中居首）。
- 巨大算法提升空间存留：即使综合表现最佳的 TabPFN v2.5，其可改进性差距仍高达 19.0%，远高于通用表格基准 TabArena 上顶尖模型的 5%–9%；在回归任务上最优归一化得分仅约 0.8，表明拉曼光谱复杂的非线性基线、仪器漂移与微弱峰信号仍对机器学习构成严峻的未解挑战。
亮点与洞察¶
- 开源工具链的双层解耦架构：通过将轻量数据访问层
raman-data与标准化评测运行引擎raman-bench物理分离，使纯算法研究者无需接触繁复的仪器专有文件解码即可单行代码调取高质量光谱。 - 零涨分的平局防欺诈评测哲学：引入可学习性（Learnability）客观阈值，将无光谱相关信号的死噪声目标裁定为全员平局，既防止了模型在虚假信号上过拟合刷榜，又将这 22 个低信噪比任务沉淀为开放的“硬核挑战集”。
- 表格先验模型泛化机制的启发：TFMs 在未微调的情况下直接处理上万维拉曼光谱并取得优异成绩，提示合成先验中内生的高维非线性表征对物理振动谱分析具备极强的迁移泛化价值，为构建光谱领域的通用大模型（Spectral Foundation Models）奠定了坚实证据。
局限与展望¶
- 数据维度局限于一维光谱：当前基准仅收录单点采集的 1D 光谱向量，未纳入包含二维空间拓扑的高光谱显微成像立方体（Hyperspectral Cubes）或拉曼面扫图像。
- 高阶模型推理延迟难以满足湿实验需求：表现领先的模型中，MITRA 和 Arsenal 在 A100 GPU 上的千样本推理耗时分别高达约 626 秒和 2,800 秒，极难部署到湿法实验室中要求毫秒级在线反馈的便携式或原位生物反应器探头上。
- 机理层面尚未完全解耦：论文未通过详尽的网络消融完全厘清 TFMs 之所以领先是源于注意力机制的归纳偏置，还是得益于大规模合成数据预训练带来的先验表征。未来工作亟需研发兼具高推理速度与高准确率的拉曼专用轻量级基础模型。
相关工作与启发¶
- vs. 单一数据集研究 (Lange et al. [21] & Sineesh et al. [26]): 前者仅在单一生物发酵回归数据上评估并认为 CNN 最优，后者仅在 3 个分类数据集上评测得出 SANet 最优。本文将其扩充至 77 个数据集和 28 种模型，证伪了以往文献中 CNN 的普适统治地位，确立了 TFMs 的全面领先。
- vs. 通用表格/时间序列基准 (TabArena [9] & UCR/UEA [11, 12]): TabArena 针对无序、离散混合的表格数据，UCR 针对多源异构时间序列；RamanBench 填补了高特征维度、极小样本量、强局部相关且遵循严格分子物理定律的连续光谱基准空白。
- vs. 邻近光谱基准 (MassSpecGym [51] & NMRNet [52]): 质谱（MS）和核磁共振（NMR）此前已有专门基准，本文首次为拉曼光谱学界提供了首个符合 FAIR 原则的大规模可复现标准化基准。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次系统性填补了拉曼光谱领域大规模、跨领域标准化基准的空白，并开源了 17 个全新实测数据集。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 77 个数据集、169 个任务、28 种跨流派模型、11 种预处理消融与多层次聚类敏感性测试，论证严密详实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑链路清晰，物理背景叙述扎实透彻，评测标准与统计指标规范严谨。
- 价值: ⭐⭐⭐⭐⭐ 彻底解决了该交叉领域多年来因数据碎片化和评估割裂导致的“虚假 SOTA”乱象，为光谱 AI 确立了清晰的演进路标。