What DNA Foundation Models Learn Beyond Sequence Composition

会议: NeurIPS 2026
arXiv: 2610.15711
OpenReview: https://openreview.net/forum?id=2xsiapjtot
代码: https://github.com/vincenzocivale/genome-cgr-embedding.git
领域: 自监督/表示学习
关键词: DNA foundation models, k-mer features, genomic representation learning, sequence composition, order sensitivity

一句话总结

系统评测了五种冻结 DNA 基础模型在 57 个基因组分类任务上的表现，发现简单的规范化 \(k\)-mer 频率基线极具竞争力，仅 NTv3 展现出显著超越序列构成的增量预测价值与序列顺序敏感性。

研究背景与动机

近年来，基因组基础模型（如 NTv3、HyenaDNA、DNABERT-2、Caduceus 和 Evo2）在调控元件预测、变异致病性分析和通用序列表示学习中展现出巨大潜力。然而，领域内长期存在一个关键盲区：在对这些基础模型的冻结表示进行下游探测评测时，究竟有多少预测能力是真正超越基本序列构成的？许多基准任务（如启动子识别、增强子分类、表观遗传修饰等）在很大程度上依赖短基序（short motifs）的富集模式以及整体的核苷酸成分偏差（例如 GC 含量偏好），而传统的非深度学习基准往往没有被严格对齐或纳入对比。

传统的局部序列统计特征（如规范化 \(k\)-mer 频率直方图）本身就是极低成本、无须预训练且高度可解释的基线，但现有的基因组基础模型评测常将重点放在不同深度架构间的横向对比，忽略了最基本的组成成分对照。这就引发了核心认知矛盾：下游分类器所获得的优异表现，究竟源自大模型建模的长程上下文与复杂序列语法，还是仅仅因为模型在预训练表征中线性记住了浅层的 \(k\)-mer 频率？如果下游任务只需短基序词频即可解决，动用高昂算力提取数千维的深度表征是否具有增量收益？

为了厘清这一边界，本文通过标准化协议系统研究了冻结 DNA 基础模型表示与经典 \(k\)-mer 构成的实际关系。核心 idea：以严格对齐的规范化 \(k\)-mer 统计为基准，通过特征拼接直接检验基础模型的增量预测价值，并结合岭回归几何分解与严格保持 6-mer 多重集的 de Bruijn 欧拉路径重排，定量诊断模型表征中的序列顺序敏感性与非构成信息。

方法详解

整体框架

本文围绕“冻结 DNA 基础模型表征相比序列构成究竟学到了什么”设计了一套严密的多维度诊断流水线。输入为 DNA 序列，一方面通过滑窗统计提取全序列的局部多聚核苷酸（\(k\)-mer）归一化频率向量，另一方面输入到五个主流冻结 DNA 基础模型提取均值池化（mean-pooled）嵌入；随后通过下游探测对比、增量特征拼接检验、线性回归残差分解以及保频扰动分析四层递进评估。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 DNA 序列"] --> B["双路特征提取<br/>L1 归一化 k-mer 统计 vs 冻结 FM 嵌入"]
    B --> C["增量预测效用检验<br/>比对 K6 独立特征与 K6+FM 拼接表征"]
    C --> D["线性成分与残差几何分解<br/>评估岭回归可还原性与预测相关性"]
    D --> E["保频欧拉路径扰动测试<br/>de Bruijn 重排严格保持 6-mer 检验顺序敏感性"]

关键设计

1. 规范化 k-mer 基准与增量预测效用检验

为了避免过去评测中过度优化基线或低估基线的问题，研究以全局固定的 \(k=6\) 归一化频率直方图 \(\mathbf{K}_6 \in \mathbb{R}^{n \times 4096}\) 作为主要构成基线，并辅以 \(k \in \{4, 5, 6\}\) 的多尺度拼接特征及反向互补对称化特征。在检验基础模型的增量价值时，直接在严格对齐的随机森林（Random Forest, 树数量 200/500，最大深度 20，四折分层交叉验证调优）下游协议下，对比单纯使用 \(\mathbf{K}_6\) 与将两者向量拼接 \([\mathbf{K}_6, \mathbf{X}]\) 训练分类器的性能差异：

\[\Delta_{\mathrm{add}} = \mathrm{MCC}([\mathbf{K}_6, \mathbf{X}]) - \mathrm{MCC}(\mathbf{K}_6)\]

只有当 \(\Delta_{\mathrm{add}} > 0\) 时，才能证明该基础模型在给定分类协议下提供了超出 6-mer 组成统计的增量预测信息。这一设计直接排除了“虽然基础模型表现好，但其实只是把 \(k\)-mer 信号重新编码了一遍”的假象。

2. 线性可预测成分与岭回归残差的几何分解

为量化冻结嵌入中由短基序组成决定的成分比例，论文在训练集上拟合岭回归模型，以 6-mer 频率预测高维嵌入 \(\mathbf{X}\) 的每个维度：

\[\hat{\mathbf{X}} = f_{\mathrm{ridge}}(\mathbf{K}_6), \quad \mathbf{E} = \mathbf{X} - \hat{\mathbf{X}}\]

其中 \(\hat{\mathbf{X}}\) 为线性 \(k\)-mer 可预测分量，\(\mathbf{E}\) 为岭回归残差。研究计算测试集各维度的平均拟合优度 \(d^{-1} \sum_{j=1}^d R_j^2\)，并分别将 \(\hat{\mathbf{X}}\) 与 \(\mathbf{E}\) 作为特征送入分类器进行预测。该设计揭示了一个重要诊断事实：表征的线性可还原度（\(R^2\) 极高）并不等同于下游任务的泛化性能，残差部分虽不完全与构成正交，却包含着非线性和高阶上下文变化。

3. 严格保持序列构成的 de Bruijn 欧拉路径扰动分析

为了探究模型是否真正学到了超越词频的“序列语法”或“顺序信息”，研究利用 de Bruijn 多重图的欧拉路径随机游走（Eulerian-path shuffle），在打乱序列顺序的同时严格精确保留整条序列全局的多重 6-mer 计数。在扰动前后，序列的 \(\mathbf{K}_6\) 特征向量完全不变，而任何依赖核苷酸全局位置、局部相对位距或长程协同的表征则会发生剧烈变化。通过对比原始序列与扰动后序列在下游线性探测器下的性能降幅（分别测试冻结探针与重新拟合探针），定量剥离出模型对序列顺序的内在敏感度。

实验关键数据

主实验

在涵盖启动子、增强子、剪接位点、转录因子结合位点（TFBS）、组蛋白修饰等 12 个类别的 57 个标准基因组分类基准上，以 Matthews 相关系数（MCC）进行全面评测。在固定 \(k=6\) 基准及 T6 增量效用检验（拼接对比）下的汇总结果如下：

模型	参数量 / 架构	优于固定 6-mer 任务数 (胜/负)	拼接增量均值 \(\Delta\mathrm{MCC}\)	拼接增量中位数 \(\Delta\mathrm{MCC}\)	显著提升任务数 (57个)
NTv3-650M	650M (U-Net/Trans.)	44 / 13	+0.072	+0.055	46 / 57
Caduceus-Ph	35M (BiMamba SSM)	31 / 26	+0.022	+0.012	35 / 57
HyenaDNA	1.6M (Long Conv.)	17 / 40	-0.016	-0.017	18 / 57
DNABERT-2	117M (BERT+BPE)	13 / 44	-0.034	-0.042	18 / 57
Evo2-1B	1B (StripedHyena)	5 / 52	-0.075	-0.065	8 / 57

在 500-bp 序列推断计算成本对比中，固定 6-mer 统计特征算力成本仅约为 \(1.9 \times 10^{-5}\) GFLOPs，平均 MCC 达 0.500；NTv3 算力成本为 3.67 GFLOPs，平均 MCC 为 0.562；两者共同构成了性能-算力帕累托前沿（Pareto frontier），而其余三种模型由于性能弱于 6-mer，在帕累托前沿上处于被支配地位。

消融实验

针对序列顺序敏感性，在保持全局 6-mer 计数完全不变的 de Bruijn 欧拉路径扰动测试下，不同模型全表征及残差分量在下游线性探测下的性能衰减（Original - Shuffled \(\Delta\mathrm{MCC}\)）如下表所示：

模型 / 分量	冻结探针降幅 (Frozen Probe)	重新拟合探针降幅 (Retrained Probe)	95% 置信区间 (vs DNABERT-2)	顺序敏感性结论
NTv3 全表征	0.143	0.079	[0.044, 0.090]	极高顺序敏感性且与预测增益正相关 (\(\rho=0.430\))
NTv3 岭残差	0.161	0.083	-	残差部分承载了显著的高阶顺序与结构信息
HyenaDNA 全表征	0.063	0.030	-	具备一定顺序敏感性，但未能转化为有效预测增益
DNABERT-2 全表征	0.024	0.013	[基准]	对局部顺序改变基本钝感，主要依赖局部基序组合
固定 6-mer 基线	0.000	0.000	-	由数学构造保证完全恒等保持

关键发现

• 大模型多数不及简单词频：在 57 个分类数据集中，HyenaDNA、DNABERT-2 和 Evo2 在超过 70% 的任务上落后于仅需毫秒级统计的固定 6-mer 频率基线。
• NTv3 优势高度集中：NTv3 的显著优势主要来自对位置与长程语法敏感的任务，例如在剪接位点（splice acceptors/donors，MCC 达 0.79 vs 6-mer 的 0.45）和启动子任务中带来巨大提升，而在病毒变异和甲基化任务上并无明显优势。
• 可还原性与预测力脱节：HyenaDNA 的嵌入有 75% 的方差可被 6-mer 线性解释，但其下游预测却弱于 6-mer；DNABERT-2 线性拟合度极低（\(R^2=0.19\)），下游表现却并不理想。这证明从表征中“能否线性还原词频”不能作为判断模型优劣的充分依据。
• 顺序敏感不等于预测提升：HyenaDNA 在保频打乱后产生了一定程度的性能跌落，表明其感知到了序列顺序，但这种敏感性在拼接增量测试中表现为负收益（\(\Delta\mathrm{MCC}=-0.016\)），说明编码了顺序信息并不自动等同于学到了对生物学下游有用的有效归纳偏置。

亮点与洞察

• 严密构筑了否定性与控制实验：提出利用 de Bruijn 图欧拉路径洗牌（Eulerian-path shuffle）进行保频扰动，首次严格在数学上将局部词频与序列高阶顺序完全解耦，为基因组表征学习提供了极佳的因果诊断工具。
• 击碎了无条件崇拜大模型的盲目乐观：明确指出在冻结特征提取协议下，许多生物学任务仅由核苷酸统计成分驱动，轻量级 \(k\)-mer 基线必须作为未来所有 DNA 基础模型不可或缺的基准检验项。
• 帕累托视角的算力反思：计算效率分析清晰表明，如果仅为了获取边缘性能提升而盲目上马数十亿参数的复杂模型，在大多数常规序列标注任务中将面临极低的性价比。

局限与展望

• 冻结特征评测的边界限制：本文严格限定于“冻结末层嵌入 + 浅层探针”范式，并未评估端到端微调（Full Fine-Tuning）或 LoRA 等参数高效微调下模型的真实潜力。
• 数据集划分的潜在重叠：继承自现有基准数据集，可能存在染色体间或基因位点间的重叠泄漏，未来需在严格按基因组位点隔离（locus-disjoint）的数据划分下验证。
• 机理解释的非唯一性：欧拉路径打乱证实了模型对顺序敏感，但无法单独解开到底是由于绝对位置编码、相对基序间距还是高级调控折叠结构引起的。

相关工作与启发

• vs BEND & DNA FM Benchmark: 以往基准侧重于比较模型之间的榜单排名，未能提供与经典序列核方法或词频统计的严格等价对比；本文确立了 \(k\)-mer 控制变量在评估模型增量价值时的基石地位。
• vs Çelikkanat et al. (NeurIPS 2024): 前人工作主要探讨了宏基因组聚类（metagenomic binning）中 \(k\)-mer 与大模型的竞争；本文则将其拓展到多达 57 个监督性功能基因组学分类任务，并引入了增量拼接与欧拉扰动诊断机制。

评分

• 新颖性: ⭐⭐⭐⭐☆ 实验设计极具洞察力，保频欧拉图打乱与残差分析为表征诊断提供了全新范式。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 57 个基准任务、5 种主流架构、多尺度 \(k\)-mer 及多种下游探测器，统计论证极为详实。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，对实验范式与边界条件的交代极具学术诚信和克制性。
• 价值: ⭐⭐⭐⭐⭐ 为快速膨胀的基因组基础模型研究注入了关键的冷静剂与标准对照规范。

相关论文

• [NeurIPS 2026] Beyond IID: How General Are Tabular Foundation Models, Really?
• [CVPR 2026] Scaling Parallel Sequence Models to Vision Foundation Models
• [NeurIPS 2026] Can 4D Foundation Models Remember?
• [NeurIPS 2026] Benchmarking Attention for Tabular Foundation Models
• [NeurIPS 2026] CanViT: Toward Active-Vision Foundation Models