How Post-Training Shapes Biological Reasoning Models¶

会议: NeurIPS 2026
arXiv: 2606.16517
代码: https://github.com/mims-harvard/bio-posttrain
领域: 计算生物
关键词: 生物学推理, 后训练动态, 监督微调, 强化学习, 域外泛化

一句话总结¶

本文系统剖析了后训练（CPT、SFT、RL）对生物学多模态推理模型泛化能力的影响，揭示了过量 SFT 导致域外崩塌而适度 RL 能显著恢复 OOD 鲁棒性的非单调动态规律，并提出了非对称容量与阶段预算分配准则。

研究背景与动机¶

生物科学正在成为检验大语言模型复杂科学推理能力的试金石。近期的前沿系统通常将通用文本大模型与面向特定生物模态（DNA、RNA、蛋白质序列与结构）的专用基础模型相级联，要求模型将自然语言任务指令与连续生物分子表示相结合，并在分子相互作用通路、细胞状态摄动及蛋白质功能预测等多步因果链条中维持中间状态推演。然而，学术界在构建这类生物推理模型时，普遍默认后训练阶段的算力与数据扩展具有单调累加收益，对各阶段具体如何重塑模型的泛化边界知之甚少。

生物学场景对模型的分布外（OOD）泛化提出了极为苛刻的挑战。在数学证明或代码生成任务中，分布外问题往往保留了与训练集一致的底层逻辑和符号规则，变化的主要是表层叙述细节；但在生物学领域，未见过的信号通路、未知疾病、未标记物种或新型化学/基因摄动，往往涉及截然不同的物理化学反应路径与分子调控机制。因此，基准测试集上的高得分并不能代表模型具备稳健的生物学机制推演能力。盲目增加监督微调轮数或堆叠训练参数，极易使模型对特定基准分布产生严重过拟合，在跨物种、跨疾病和跨通路转移时出现严重的性能断崖。

面对这一困境，现有研究大多局限于单一模态、单一边界或孤立的训练阶段，缺乏系统性的受控消融实验。本文的核心 idea 是在 DNA、RNA 与蛋白质三大生物核心模态上构建覆盖 100 余个模型的统一定量实验基准，全面解构持续预训练（CPT）、监督微调（SFT）与强化学习（RL）在域内（ID）与域外（OOD）上的非单调动态规律，提出以简短 SFT 建立任务范式、更大预算偏向 RL 以及阶段间非对称适配器容量的最佳配置策略。

方法详解¶

整体框架¶

本文构建了一套端到端多模态生物学推理模型评估与后训练流水线。系统包含三个层次：底层为冻结的生物学基础模型（DNA 对应 Evo2-1B，RNA 对应 TranscriptFormer，蛋白质对应 ESM-3），负责提取生物序列或表达谱的深层物理嵌入；中间层为轻量级可训练线性投影层，将生物模态的连续隐状态投影并前置（prepend）到语言模型的词表嵌入空间；顶层为通用文本主干模型（主要采用 Qwen3-1.7B、Qwen3-4B-Thinking，并在消融中引入 Gemma 4 E2B），并挂载可训练的 LoRA 适配器。

后训练流水线按次序严格分为三个受控阶段：首先在通用生物学自由文本上进行持续预训练（CPT），以自回归语言建模损失对齐模型与生命科学领域词汇及叙述语境；其次在任务特定的逐步推理链上执行监督微调（SFT），使模型快速掌握下游任务的输入输出格式与多模态证据对齐；最后基于验证集选出的最优 SFT 检查点，利用组相对策略优化（GRPO）结合任务机制奖励进行强化学习（RL），激励模型主动探索正向推理轨迹并抑制短路模式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态生物输入<br/>DNA序列 / 单细胞表达谱 / 蛋白质特征"] --> B["冻结生物基础模型与投影<br/>Evo2 / TranscriptFormer / ESM-3"]
    B --> C["领域语言自适应持续预训练<br/>FineFineWeb 生物子集 next-token loss"]
    C --> D["任务范式对齐监督微调<br/>自回归学习推理链 · 高 LoRA 秩"]
    D --> E["生物学任务机制对齐强化学习<br/>GRPO 组相对优势 · 低 LoRA 秩 · 规则/本体奖励"]
    E --> F["域内精准推断与域外机制泛化"]

关键设计¶

1. 跨模态冻结编码器与前置投影映射：在保全物理表示先验的同时解耦跨模态对齐
生物序列（如跨数千碱基对的 DNA 突变侧翼或数千残基的蛋白质三维结构）具有极高的信息密度与物理守恒先验，若在后训练阶段端到端微调大型生物编码器，极易在小规模标注任务上迅速破坏其通用表示空间并导致巨大显存开销。为此，模型将 Evo2-1B、TranscriptFormer 和 ESM-3 的核心编码参数完全冻结。针对 DNA 任务，截取变异位点两侧各 1024 个核苷酸；针对 RNA 任务，抽取候选基因在正常与疾病状态下的单细胞表达谱；针对蛋白质任务，抽取 ESM-3 第 37 层的残基级表征。该表征仅通过一个线性映射层变换维度后，直接作为连续 soft prompt 插入到文本 token 之前，使得后续的 CPT、SFT 和 RL 可以纯粹聚焦于跨模态因果链的语言化推演与假设检验。

2. 领域语言自适应持续预训练（CPT）：为下游后训练构筑生物学符号与语义底座
通用 LLM 主干在预训练阶段对复杂基因符号、蛋白质互作本体及生化反应缩写的先验覆盖有限。若直接在下游任务上进行 SFT，模型必须在有限的微调样本中同时学习生化语言语法、多模态映射以及因果推理逻辑，导致优化难度大幅上升。本文在 FineFineWeb 的生物学子集上抽取 200,000 篇高质量文档进行为期 1 个 epoch 的 CPT，采用标准因果自回归交叉熵损失： $$\mathcal{L}_{\mathrm{CPT}}(\theta) = -\sum_{t=1}^{T} \log \pi_\theta(w_t \mid w_{<t})$$ 实验表明，该阶段不仅直接提升了下游下游适应效率，更显著放大了后续 RL 阶段在 OOD 测试集上的增益，为小参数量模型在陌生生物网络下的迁移提供了至关重要的知识缓冲。

3. 阶段敏感的非对称适配器容量配置：高容量 SFT 吸收结构与低容量 RL 规避漂移
以往的后训练往往在 SFT 和 RL 阶段使用固定的 LoRA 超参数，但本研究通过系统的双阶段秩网格搜索证实，SFT 与 RL 对模型容量的需求呈现显著的不对称性。SFT 需要较高的适配器秩（如 $r_{\mathrm{SFT}} = 64$ 或 $256$）以提供充足的参数容量，去充分吸收跨模态特征映射、生化任务结构以及详细的思维链步骤。相反，RL 阶段若赋予过大的参数容量（如 $r_{\mathrm{RL}} \ge 64$），策略模型在策略梯度驱动下极易在奖励分布空间中发生灾难性漂移和过拟合，损害泛化能力。因此，最佳范式为在 SFT 阶段使用高秩适配器，并在收敛后将其权重永久合并回主干模型，随后在 RL 阶段挂载低秩（如 $r_{\mathrm{RL}} = 16$）的新适配器进行对齐探索，在维持稳定性的同时最大化 OOD 恢复。

4. 结构化机制奖励驱动的组相对策略优化（GRPO）：通过自主探索激活 OOD 鲁棒性
为打破 SFT 仅模仿监督轨迹所导致的表面特征记忆，RL 阶段引入了基于组相对采样的 GRPO 框架。对于每个提示输入 $x_i$，策略模型采样 $g$ 条完整推演序列 $\{y_{i,1}, \dots, y_{i,g}\}$，并根据生物学真值计算针对性奖励。以蛋白质功能预测为例，奖励并不依赖简单的字符串硬匹配，而是基于基因本体（Gene Ontology, GO）的有向无环图进行层次结构传播后计算多标签 F1 奖励 $r_{i,k} = \mathrm{F1}(\mathcal{G}(\hat{y}_{i,k}), \mathcal{G}(y_i^*))$。在计算组内标准化优势后： $$\hat{A}_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_r + \epsilon_{\mathrm{adv}}}, \quad \bar{r}_i = \frac{1}{g}\sum_{k=1}^g r_{i,k}$$ 优化带有 $k_3$ 估计器 KL 惩罚的目标函数： $$\mathcal{L}_{\mathrm{GRPO}}(\theta) = -\mathbb{E}_{i,k,t}\left[\min\left(\rho_{i,k,t}\hat{A}_{i,k}, \operatorname{clip}(\rho_{i,k,t}, 1-\epsilon_{\mathrm{lo}}, 1+\epsilon_{\mathrm{hi}})\hat{A}_{i,k}\right) - \beta \mathrm{KL}_{k_3,t}(\pi_\theta \parallel \pi_{\mathrm{ref}})\right]$$ 其中比率项 $\rho_{i,k,t} = \exp(\log \pi_\theta(y_{i,k,t} \mid x_i, y_{i,k,<t}) - \log \pi_{\theta_{\mathrm{old}}}(y_{i,k,t} \mid x_i, y_{i,k,<t}))$。该机制不强制模型死记特定推理用词，而是惩罚与目标机制不符的错误候选，激励模型在保持格式合规的同时自主搜索多步因果路径，从而从根本上扭转了 SFT 造成的 OOD 泛化下滑。

损失函数 / 训练策略¶

整个管线涵盖三种异构优化配置： 1. CPT 阶段：AdamW 优化器，学习率在 $1\times 10^{-5}$ 至 $3\times 10^{-4}$ 间扫描，配合 3% 线性预热及余弦退火，有效 batch size 达到 64~128，采用 bf16 混合精度与梯度裁剪 1.0。 2. SFT 阶段：DNA 与 RNA 任务采用 DeepSpeed Stage 2，单卡有效 batch size 为 8，学习率 $\eta=5\times 10^{-5}$，5% 线性预热后余弦衰减至 $0.1\eta_{\max}$；蛋白质任务有效 batch size 为 16，学习率 $1\times 10^{-4}$，最大文本序列长度截断为 10,000 token，支持 FlashAttention 与激活值梯度检查点。 3. GRPO 阶段：DNA 与 RNA 任务设置采样 rollout 数 $g=8$，温度 $T=1.0$，top-$p=0.95$，KL 系数 $\beta=10^{-4}$；蛋白质任务设置 $g=2$，恒定学习率 $3\times 10^{-5}$，结合 $\epsilon_{\mathrm{lo}}=0.20$ 与 $\epsilon_{\mathrm{hi}}=0.28$ 的非对称裁剪阈值。使用训练奖励的 50 步滑动平均峰值作为早期停止检查点保存准则，有效规避了后期策略漂移。

实验关键数据¶

主实验¶

主实验在 DNA（通路推断）、RNA（药物靶点发现）及蛋白质（功能预测）三项任务上系统验证了不同后训练配置下的 ID 与 OOD 表现。下表展示了基线模型、纯 SFT 优化模型、SFT+RL 联合模型以及引入 CPT 后的最终表现对比（DNA/RNA 汇报准确率，蛋白质汇报传播后的非加权 $F_{\max}$）：

任务模态	评估划分	基础模型 (Base)	最优 SFT	SFT + RL	CPT + SFT	CPT + SFT + RL
DNA (Qwen3-1.7B)	ID 准确率	0.721	0.905	0.939	0.835	0.965
DNA (Qwen3-1.7B)	OOD 准确率	0.651	0.724	0.893	0.935	0.959
DNA (Qwen3-4B)	ID 准确率	0.798	0.894	0.980	0.917	0.986
DNA (Qwen3-4B)	OOD 准确率	0.668	0.753	0.917	0.924	0.970
RNA (Qwen3-1.7B)	ID 准确率	0.209	0.890	0.773	0.902	0.936
RNA (Qwen3-1.7B)	OOD 准确率	0.181	0.569	0.692	0.718	0.754
RNA (Qwen3-4B)	ID 准确率	0.218	0.912	0.918	0.910	0.939
RNA (Qwen3-4B)	OOD 准确率	0.197	0.588	0.744	0.732	0.765
蛋白质 (Qwen3-4B)	ID $F_{\max}$	0.126	0.382	0.930	—	—
蛋白质 (Qwen3-4B)	OOD $F_{\max}$	0.108	0.364	0.956	—	—

消融实验¶

固定后训练总周期预算为 8 个 epoch（以 SFT 轮数 $s$ 与 RL 轮数 $8-s$ 进行切分），在 DNA 与 RNA 任务上考察阶段算力分配对泛化边界的影响（模型：Qwen3-1.7B）：

训练配置 ($s$ 轮 SFT / $8-s$ 轮 RL)	DNA ID 准确率	DNA OOD 准确率	RNA ID 准确率	RNA OOD 准确率	说明
SFT0 / RL8 (纯 RL)	0.842	0.618	0.722	0.662	缺乏冷启动引导，难以搜索有效解
SFT1 / RL7	0.899	0.746	0.819	0.777	轻微微调结合深度 RL，OOD 表现最优
SFT2 / RL6	0.937	0.752	0.847	0.757	ID 与 OOD 综合均衡
SFT3 / RL5	0.929	0.781	0.819	0.770	DNA 模态下 OOD 达到峰值
SFT4 / RL4	0.920	0.752	0.736	0.669	中等切分，OOD 开始呈现下滑趋势
SFT6 / RL2	0.843	0.701	0.653	0.549	SFT 占比过多，引发过拟合
SFT8 / RL0 (纯 SFT)	0.891	0.713	0.861	0.568	ID 拟合良好，但 OOD 泛化严重崩塌

关键发现¶

SFT 扩展诱发单调的 ID-OOD 权衡：无论是固定数据增加轮次还是固定轮次增加数据，SFT 都能持续提高训练分布内的预测精度；但 OOD 泛化能力在极早阶段（通常仅 2~4 个 epoch）便达到天花板，随后随训练推进发生单调下滑（如 RNA 任务中 OOD 准确率从峰值回落多达 18 个百分点）。
RL 具备强效的域外鲁棒性修复能力：从强 SFT 检查点热启动后，RL 能在轻微变动或略微提升 ID 性能的前提下，大幅拉升 OOD 指标（DNA 上 OOD 准确率平均提升 5% 以上，蛋白质任务 OOD 更是从 0.364 飙升至 0.956）。
CPT 的乘数效应在下游后训练中被显著放大：CPT 在 SFT 阶段带来的 ID 增益较为温和，但经历 RL 后，其与下游任务的协同效应极其剧烈，小模型（Qwen3-1.7B）在 CPT 加持下 OOD 指标甚至追平或超越了未进行 CPT 的更大参数模型。
LoRA 适配器容量应非对称配置：网格搜索表明最佳架构应当是「高秩 SFT ($r=256$) + 低秩 RL ($r=16$)」。SFT 需要宽阔容量以吸收复杂任务知识，而 RL 则依赖低容量约束来规避策略探索中的语义漂移。

亮点与洞察¶

多阶段后训练非均匀累加性假说的实证解构：首次在生物计算领域系统性证明了 SFT 和 RL 绝非等价的算力置换单元，打破了“更多监督即更高智能”的盲目 scaling 迷信。
生物学作为科学推理极致检验场的独特性：深刻揭示了生物领域跨通路、跨物种、跨摄动的机理异质性，相较于代码和数学等具有统一符号形式系统的领域，更能严密暴露后训练中模型记背捷径特征的弊病。
极具实操价值的低预算后训练设计规范：提出在总算力受限时，应将主要预算倾斜给“简短 SFT 冷启动 + 较长周期 RL”组合，并结合高低秩非对称 LoRA 部署，为垂直领域大模型工程提供了清晰的方法论指导。

局限与展望¶

基准测试覆盖度与任务形式局限：实验主要围绕通路分类、靶点筛选及 GO 预测等相对闭环的判别与序列推理任务展开，尚未涵盖更开放的从头大分子设计或多步骤交互式生物实验 Agent 工作流。
中间推理步骤的逻辑保真度未直接验证：评测核心依赖最终答案的精确匹配或集合重合度，无法彻底排除模型在链条中间生成虚假幻觉步骤却偶然命中真值的“捷径解”可能。
算力规约与奖励机制有待进一步理论对齐：当前 SFT 与 RL 的固定总轮次分配尚未严格做到 FLOPs 完全对齐（RL 单步由于多路 rollout 算力消耗更高），未来需在精确浮点运算量统一尺度下建立后训练标度律。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次跨三大生物模态系统剖析后训练阶段对泛化性的影响，结论颠覆常规认知]
实验充分度: ⭐⭐⭐⭐⭐ [训练与评测超过 100 个模型检查点，涵盖多种主干、适配器参数网格与严格的跨生物域划分]
写作质量: ⭐⭐⭐⭐⭐ [逻辑极为缜密清晰，结构自洽，问题导向明确且实验图表论证充分]
价值: ⭐⭐⭐⭐⭐ [为生物计算以及垂直科学大模型的后训练阶段编排与算力分配提供了基石级参考]