跳转至

MiST: Mid-Training LLMs for Cybersecurity

会议: EMNLP 2026
论文: ACL Anthology
领域: 大语言模型
关键词: 网络安全大模型, 中程续训 (Mid-Training), 合成数据生成, 强化学习初始化, 领域自适应

一句话总结

MiST 提出了一种以合成数据为核心的领域中程续训(Mid-Training)范式,摒弃无节制的无结构文本持续预训练,将 22 万条专家精选种子数据扩充为结构化、多任务因果推理语料,使 8B 和 32B 模型在 13 项网络安全基准上全面超越开源同级 SOTA 与同源基线,并为下游可验证强化学习与监督微调提供了显著更优的策略起点。

研究背景与动机

网络安全分析高度依赖对专业术语、动态攻击手法和上下文强相关防御规则的精准解析。随着通用大语言模型(LLM)在常识与代码任务上的突破,工业界迫切希望将其引入威胁情报分析、漏洞溯源与防御工程中。然而,真实网络安全场景具有极高的隐私合规壁垒与保密要求,绝大多数企业和防御机构必须采用本地私有化部署(On-Premises),这使依赖闭源商用 API 的方案在实际工程落地中举步维艰。更严峻的是,开源社区中高质量、结构化的网络安全原生预训练语料极度匮乏,现存公开数据大多充斥着非技术评论、碎片化日志或非英文噪音,通用基础模型在面对严苛的安全推断任务时常显现出事实混淆与理解断层。

针对这一困境,现有领域模型开发通常遵循两条技术路径:其一是持续预训练(CPT),即在数以亿计的未加工网络安全爬虫语料上继续进行无监督预训练(如 PRIMUS 和 Foundation-Sec-8B);其二则是跳过预训练阶段,直接依赖收集的问答对进行指令微调(SFT,如 DeepHat 和 Lily-Cybersecurity)。然而,这两条路径在网络安全这一特殊领域均遭遇瓶颈。网络安全的核心知识往往高度凝结在紧凑的专家结构化工件中(如 CVE 漏洞记录、CWE 缺陷分类、MITRE ATT&CK 攻击模式与 Sigma 检测规则),直接进行无结构的大规模原始 CPT 不仅计算资源耗费巨大,模型也很难从格式松散的静态文本中抽取出攻防因果推理链;而仅依靠浅层 SFT 又受限于参数容量和有限的多样性,无法有效弥合通用预训练分布与专业领域分布之间的鸿沟,极易引发灾难性遗忘或泛化脆弱。

本文的切入视角是重新审视领域模型构建范式,将中程续训(Mid-Training)界定为语料分布设计问题,而非单纯的 Token 规模扩张工程。研究团队发现,网络安全领域的知识密度并非取决于海量原始文本的堆叠,而在于能否将高权威度的异构专家工件转化为多维度的教学解释、因果归纳与严密推理。核心 idea:在通用预训练之后、指令后训练之前引入中程续训阶段,以 22 万条经多重源级去污的高质量安全专家种子工件为锚点,通过多流合成流水线构造覆盖释义、教科书式教学、追问式问答与安全指标剖析的高密度合成语料,配合通用指令回放与严格的 13-gram 防泄露过滤,在极小算力代价下打造出结构化安全认知与高泛化适应能力的领域基模型。

方法详解

整体框架

MiST 的端到端训练与数据构建框架由通用基础模型出发,历经中程续训(Mid-Training)、监督微调(SFT)和直接偏好对齐(DPO)三个阶段。方法的核心支柱在于中程续训阶段合成语料的精心构筑:首先对四类高权威度专家数据源构成的种子库执行严格的源级基准剔除;随后利用轻量高效的激活模型(Qwen-30B-A3B)驱动多流合成流水线,将扁平的技术文档转化为教学解析、语义重写、多轮递进问答以及指标归因样本;接着由 LLM 判别器在连贯性、真实性、相关性等六个维度进行严苛质检,并注入少量通用指令数据形成抗遗忘混合分布;最终在中程续训产物上施加多角色专家对话微调与通用 DPO 偏好对齐,完成全流程模型塑造。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["通用基础模型<br/>Qwen3-8B-Base / 32B"] --> B["紧凑种子库构建与源级去污"]
    B --> C["多流合成数据生成与六维质量校验"]
    C --> D["领域中程续训与回放防遗忘机制"]
    D --> E["多角色对话微调与通用偏好对齐"]
    E --> F["下游安全评估与强化学习适应"]

关键设计

1. 紧凑种子库构建与源级去污:从源头破除网络安全数据噪声与基准泄露风险 针对网络安全文本格式异构、噪音繁杂以及下游基准普遍由公开 CVE/CWE 衍生导致的严重泄露隐患,MiST 摒弃了互联网无序爬取,将信息源系统性聚合为四大高密度专家工件家族:(1) 漏洞与威胁情报(NVD CVE 记录、专家精选 CTI/RSS 深度分析报告);(2) 安全知识库与分类拓扑体系(CWE 软件缺陷模式、CAPEC 攻击模式、MITRE ATT&CK 技战术知识图谱、D3FEND 防御对策网络);(3) 操作级实战防御工件(Sigma 检测规则、Atomic Red Team 对抗模拟测试、Splunk ESCU 运营检测、MISP Galaxy 威胁实体集簇);(4) 防御规范与基础设施文档(OWASP 规范、NIST 出版物、云原生与操作系统安全配置以及 Wikipedia 安全历史词条)。总种子库规模收敛在 219,661 个紧凑条目(约 64.7M Tokens)。在此基础上,团队在生成启动前部署了深度的源级过滤:全量审查剔除了所有出现在 CTI-Bench 根因映射(cti-rcm)和漏洞严重性预测(cti-vsp)测试集中的 CVE 编号,同时剔除了与 PrimeVul 验证集与测试集修复提交哈希(Commit Hash)重合的 GHSA 代码记录,彻底斩断实体与修复上下文在特征层面的偷跑可能。

2. 多流合成数据生成与六维质量校验:将异构专家制品转化为高密度因果推理数据 静态安全工件(如单行规则或元数据字段)天然缺乏连贯的逻辑阐述,无法直接支撑因果语言建模。MiST 选取激活仅 3B 参数但指令遵循极强的 Qwen-30B-A3B 作为转化引擎,严格限制其基于上下文种子进行语义拓展,防止无根据的幻觉编造。针对中程续训设计了四条针对性合成流: - 语义重写流(Paraphrasing):改变句法结构与技术词汇搭配,重构对同一攻防概念的表述,构建多语言视角的鲁棒知识表征; - 教科书式教育转换流(Educational Transformation):将零散的漏洞描述升华为逻辑连贯、架构完整的专业博文或教材章节,深度展开攻击面、利用前置条件与系统架构影响; - 递进式问答流(Iterative QA):生成要求 1-2 句精准回答的短事实问答,并以生成的问答为上下文连续展开两轮追问,覆盖初次生成遗漏的技术盲区; - 安全指标与术语解析流(Cyber Metrics & Terminology Analysis):针对包含 CVSS 评分向量、ATT&CK 编号及 CWE 映射的高危记录,显式要求模型阐释评分推导机制与攻击手法分类的内在归因,而非盲目记忆标号。 为杜绝合成幻觉,所有生成样本需经过 Qwen-30B-A3B 评估器的严苛质检,在指令遵循度、任务完成度、事实保真度、格式对齐度、技术相关性以及逻辑自洽性六个维度(各 1-10 分)进行独立打分,综合总分低于 8 分的样本被全部剔除。此外,为防止评测特征污染,生成阶段全面禁用任何多项选择题(MCQ)及 A/B/C/D 选项目录引导。

3. 领域中程续训与回放防遗忘机制:以数据结构替代 Token 堆叠并稳固通用能力 针对纯领域预训练必然导致的语言漂移与通用推理能力灾难性衰退,MiST 创新性地将中程续训重塑为一个结构化多任务因果语言建模任务。最终的中程续训语料库规模为 1,237,945 个样本(共计 975.7M Tokens),其中教育型解释占比 63.0%,语义重写占比 18.7%,因果解析占比 7.5%,精简问答占比 6.8%。更为关键的是,MiST 引入回放机制(Replay Strategy),将源自 Olmo 3 Dolci SFT 数据集的 50,000 条高质量通用指令样本(占 Token 总量的 4.1%)直接打包混入中程续训语料中。在分词前,MiST 施加了全流程 13-gram 重合过滤,对照由 13 项基准的 27,201 个评估文本片段构成的 467,000 个唯一 13-gram 词表进行滑动窗口比对,一旦命中即短路剔除(过滤率约 3.78%)。模型在此语料上采用标准因果语言建模目标(Next-Token Prediction)进行多任务混合连续训练,使模型在建立起系统化安全因果图谱的同时,完好保存预训练阶段习得的通用常识与指令格式。

4. 多角色对话微调与通用偏好对齐:构筑下沉实战对话能力与通用对齐防线 针对安全从业人员在不同工程岗位上提问语境的迥异差异,后训练阶段(SFT)设计了高度拟真的人格化多轮交互流水线。系统定义了涵盖蓝队防御员(终端安全分析师)、红队渗透操作员、处理特定开发栈(如 JavaScript)的安全开发工程师、CISO 安全官以及安全初学者等多重身份画像,驱动模型模拟真实业务流中的多轮问答(最高 7 轮)。SFT 语料库包含 307,679 条安全领域对话(352.2M Tokens)与 1,924,533 条 Dolci 通用指令数据(1,198.7M Tokens),安全与通用 Token 比例控制在约 1:3.4。最后,引入基于通用偏好语料(Dolci-Instruct-DPO)的直接偏好优化(DPO),设定温度系数 \(\beta=0.1\) 并执行 200 步早停。该阶段完全不使用安全偏好数据,其核心目标是稳固模型的回复风格与礼貌合规底线,确保领域专业知识在后训练阶段零损耗传递。

损失函数 / 训练策略

中程续训阶段采用标准因果语言建模自回归损失,在上下文窗口长度为 16,384 tokens 的配置下启用序列打包(Sequence Packing): $$ \mathcal{L}{\text{mid}}(\theta) = -\sum; \theta) $$ 全流程在单个配备 8×NVIDIA B200 GPU 的节点上完成。中程续训训练 2 个 Epoch,优化器采用 AdamW,最大学习率设为 }^{L} \log P(x_i \mid x_{<i\(5 \times 10^{-5}\),最小学习率为 \(1 \times 10^{-6}\),余弦退火调度,预热比例 0.03,权重衰减 0.05,梯度裁剪阈值 0.2。MiST-8B 采用 DeepSpeed ZeRO-2,有效 Batch Size 为 16;MiST-32B 则直接采用 ZeRO-3 突破内存瓶颈。SFT 阶段序列截断为 8,192 tokens,最大学习率收敛至 \(3 \times 10^{-5}\)。DPO 阶段采用标准的隐式奖励目标: $$ \mathcal{L}{\text{DPO}}(\theta; \pi}}) = -\mathbb{E{(x, y_w, y_l)}\left[ \log \sigma \left( \beta \log \frac{\pi\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)} \right) \right] $$ 8B 模型的完整端到端训练总耗时仅需 7.1 小时(56.8 GPU-hours),32B 模型亦仅需 42.7 小时(341.3 GPU-hours),表现出极高的训练性价比。

实验关键数据

主实验

论文对 13 个权威网络安全基准进行了全面评测,覆盖 CTI-Bench (MCQ, RCM)、SECURE (MAET, CWET, KCV)、AthenaBench (CKT, ATE, RMS, TAA)、PrimeVul (成对分类 P-C 与思维链 P-C CoT)、MMLU-Cyber 和 SecEval。所有基准均运行 5 次不同随机种子并汇报均值,评测时严格关闭任何隐式推理/思考模式(Non-reasoning mode)。

模型类别 模型名称 CTI-MCQ CTI-RCM SEC-MAET SEC-CWET SEC-KCV Ath-CKT Ath-ATE Ath-RMS Ath-TAA PV P-C PV CoT MMLU-Cy SecEval Mean
商业/闭源大模型 GPT-5.4-mini 73.9 73.1 91.3 92.0 88.9 85.2 53.2 29.2 29.8 8.4 10.1 86.0 74.7 61.2
GPT-5.4-nano 62.1 69.0 81.5 84.0 85.6 79.5 45.3 5.5 20.0 9.0 9.2 75.8 67.3 53.4
Qwen3-235B 71.9 71.4 89.6 91.5 86.2 83.6 43.5 13.1 27.6 4.5 14.6 87.0 71.3 58.1
开源网络安全专用模型 DeepHat-7B 54.7 67.2 82.7 83.1 86.2 69.2 9.8 3.1 14.8 12.0 3.9 79.8 62.4 48.4
Foundation-Sec-8B 58.2 67.9 84.7 83.3 80.1 76.9 37.3 18.7 26.4 0.0 17.8 78.6 65.0 53.5
Lily-Cyber-7B 42.1 42.9 55.8 54.4 43.2 67.0 3.0 2.1 12.4 0.0 7.1 68.8 48.9 34.4
Primus-8B 54.7 67.2 81.9 82.6 82.0 73.7 30.6 7.3 21.4 0.3 13.4 82.2 60.9 50.6
RedSage-8B-DPO 62.0 73.2 89.6 91.2 81.1 78.8 51.6 18.8 22.8 1.6 14.8 82.4 67.4 56.5
Primus-70B 67.7 65.1 91.4 93.7 88.1 82.1 52.7 14.8 2.2 1.0 17.6 87.6 70.5 56.5
CyberPal2.0-20B 73.8 72.8 91.4 92.5 83.6 82.7 57.0 23.3 19.6 0.8 14.1 82.2 67.1 58.5
基础同源基线 Qwen3-8B 58.2 53.5 83.8 87.5 84.5 75.2 9.4 5.5 15.0 2.0 13.0 78.0 66.7 48.6
Qwen3-32B 68.4 65.9 89.5 91.9 88.8 80.2 26.0 6.3 15.2 4.0 16.0 84.8 72.7 54.6
本文方法 MiST-8B-SFT 78.9 74.1 93.7 92.7 85.4 86.0 60.2 29.4 23.8 14.0 18.0 82.8 72.2 62.4
MiST-8B-DPO 79.3 73.9 94.3 93.7 87.3 86.0 57.3 25.7 24.6 10.0 15.0 83.4 71.5 61.7
MiST-32B-SFT 82.2 76.4 95.0 92.9 88.7 89.2 52.8 27.1 27.8 10.0 17.0 82.2 76.2 62.9
MiST-32B-DPO 82.7 76.3 95.4 94.1 89.4 89.4 55.2 28.3 26.4 8.0 15.0 84.8 76.0 63.2

消融实验

1. 中程续训(Mid-Training)独立贡献消融 为排除“性能增益仅来源于 SFT 混合数据”的质疑,实验固定 SFT 阶段与全部超参数,直接在 Qwen3-8B-Base 上执行 SFT,对比经历完整中程续训的 MiST-8B-SFT:

模型配置 CTI-MCQ CTI-RCM SEC-MAET SEC-CWET SEC-KCV Ath-CKT Ath-ATE Ath-RMS Ath-TAA PV P-C PV CoT MMLU-Cy SecEval Mean
仅 SFT(无 Mid-Training) 74.1 67.0 92.7 90.5 76.6 83.0 44.5 27.3 22.0 2.9 14.3 84.3 69.0 57.6
完整 MiST(含 Mid-Training) 78.9 74.1 93.7 92.7 85.4 86.0 60.2 29.4 23.8 14.0 18.0 82.8 72.2 62.4
净增益 \(\Delta\) +4.8 +7.1 +1.0 +2.3 +8.8 +3.0 +15.7 +2.0 +1.8 +11.1 +3.7 -1.5 +3.2 +4.8

2. 四条合成数据流贡献分析(单流保留与留一法) 在中程续训阶段分别探究单一流构建语料(Single-flow)与剔除单一流(Leave-one-out)的效果:

实验配置 语料构成变体 CTI-MCQ CTI-RCM SEC-MAET SEC-KCV Ath-ATE Ath-RMS PV P-C SecEval Mean
完整组合 全流完整配方(Full Recipe) 78.9 74.1 93.7 85.4 60.2 29.4 14.0 72.2 62.4
单流保留 仅精简问答流(QA only) 76.8 66.0 93.0 79.2 52.6 26.2 6.2 68.3 58.7
仅安全指标分析流(Security-analysis only) 74.7 69.5 92.0 83.5 55.9 22.7 7.6 69.1 58.8
仅教育式博文/教材流(Educational only) 76.7 68.2 92.9 79.1 48.7 32.9 3.5 69.5 59.2
仅语义重写流(Paraphrase only) 76.2 65.0 92.6 86.3 52.4 29.3 11.8 70.6 60.3
留一消融 剔除问答流(No QA) 77.8 71.5 93.1 80.6 58.2 27.7 11.6 70.8 60.6
剔除安全分析流(No security-analysis) 78.3 65.8 93.3 80.3 53.9 27.3 5.4 70.2 59.6
剔除教育流(No educational) 77.7 70.4 93.3 86.2 55.3 26.9 6.4 67.9 60.4
剔除语义重写流(No paraphrase) 77.9 72.4 93.5 82.8 60.1 29.0 9.8 67.6 61.0

关键发现

  • 合成中程续训大幅击败大规模原始文本 CPT:在与包含 2.4B tokens 原始网络爬虫与代码安全语料的 CPT 基线对比中,仅消耗约 1B tokens 的 MiST-8B 在全基准平均分上大幅领先(MiST-8B-SFT 达到 80.7% 雷达均分,显著优于 Qwen3-8B-Primus 的 70.9% 和 Qwen3-8B 的 66.3%),证明高信息密度与明确因果结构的合成语料在训练效率上显著碾压单纯的无结构 Token 堆叠。
  • 合成流具备高度互补性与不可替代性:单流实验中没有任一流能单独达到 60.5 分以上,且在留一实验中,去掉安全指标归因流会导致总分下跌最多(-2.8 分),尤其使 CTI-RCM 暴跌 8.3 分;教育转换流则在复杂推理型任务(如 Athena-RMS 达 32.9)中贡献关键,各流各司其职构筑了全面的攻防理解。
  • 下游可验证强化学习(GRPO)与 SFT 的绝佳冷启动基座:在 CVE-to-CWE、CVE-to-CVSS 与 Code-to-CWE 三个确定性奖励任务上应用 GRPO 时,MiST-8B 初始化在全训练周期展现出明显高于 Qwen3-8B 的验证准确率(0.55+ vs 0.45 阶梯),同时策略漂移(KL 散度)降低逾 50%(0.03 vs 0.08+)。在 PrimeVul 成对漏洞挖掘任务中,MiST-8B-DPO 微调后成对准确率从 10.3 飞跃至 16.3(CoT 达 19.2),而 Qwen3-8B-Instruct 仅能从 2.2 微弱提升至 2.8(CoT 13.5),显示出基座领域感知能力的代差。
  • 通用能力不降反升,破除灾难性遗忘咒语:得益于中程续训与 SFT 中精确注入的通用指令数据回放,MiST 在标准通用常识基准(ARC-C, GSM8K, MMLU, IFEval)上均值从 82.5 提升至 85.8(8B)以及从 89.1 提升至 90.7(32B),在大幅强化安全能力的同时稳固了通用推理基座。

亮点与洞察

  • 将领域适配从无脑 Scale Token 纠偏为高质量分布对齐:许多团队在开发行业垂直模型时迷信“几百 GB 领域文本 CPT”,MiST 证明从极小的 22 万条权威种子出发,利用强模型进行多视角、教育化与归因式展开,仅需不到 1B tokens 即可达到顶尖专用效果。
  • 三层全生命周期立体去污机制:网络安全评测大多绑定已知 CVE/CWE 标号,极易形成伪提升。MiST 建立的“源级排除已测 CVE/Commit + 合成阶段物理屏蔽 MCQ 题干结构 + 分词前 13-gram 短路截断”体系,为后续垂直模型研发树立了严格的去污标杆。
  • “模型即转化引擎”的轻量化数据飞轮:选用仅激活 3B 参数但指令遵循卓越的 Qwen-30B-A3B,结合强上下文种子作为“转化器”而非“事实记忆源”,使得整个中程续训数据集在极短时间内完成低成本生成与自校验。

局限与展望

  • 动态运营与长程 Agent 场景覆盖不足:当前评测主要聚焦在静态威胁情报问答、CVE/CWE 分类、指标推断与短代码漏洞识别上,缺乏针对企业内网海量日志聚合分析(Log Analysis)、自动化渗透测试工具链调用(Tool Use)以及多轮攻防 Agent 演练的实战检验。
  • 生成模型与质检模型同源引发的盲区共振:数据生成与六维打分均依赖 Qwen-30B-A3B,虽然引入了六维细粒度判别标准,但同家族模型可能共享系统性偏见、同义反复或对特定技术幻觉缺乏鉴别力。
  • 强化学习探索仅限于确定性规则奖励:目前可验证强化学习(GRPO)仅覆盖了模式匹配型的标号/向量映射,未来有待拓展至动态代码补丁生成、沙箱动态执行反馈(Execution Feedback)等更复杂的长时程探索场景。

相关工作与启发

  • vs PRIMUS / Foundation-Sec-8B: 后两者专注于在爬取的海量非结构化安全文档和论坛上进行大规模原始持续预训练(CPT)。MiST 证明其数据纯度低且因果链弱,通过专家工件的多流结构化合成,MiST 仅用约一半的 Token 量便在各项评测中全面拉开 8-10 个百分点的差距。
  • vs CyberPal 2.0 / RedSage: CyberPal 与 RedSage 主要在 SFT 阶段发力,引入专家指令与 Agent 多轮轨迹,但底座依然缺乏专门的领域因果图谱沉淀。MiST 引入中程续训作为核心预热层,证实了经过中程续训的底座不仅自身性能强劲,更能作为后续 SFT 与 RL 的更优起点。
  • vs 通用大模型(Qwen3-235B / GPT-5.4-mini): 通用超大模型虽然体量庞大,但在面临特定实战攻击提取(Athena-ATE)与成对漏洞精准甄别(PrimeVul P-C)时常因安全事实稀疏而表现欠佳;MiST-8B 与 32B 依靠致密的领域知识注入,在多数安全专业任务上跨级战平甚至反超了数百亿乃至数千亿参数规模的通用模型。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统性将中程续训(Mid-Training)确立为网络安全领域模型的核心构建范式,提出从紧凑种子到结构化因果数据的完整工程闭环。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 13 项安全基准与 4 项通用常识基准,包含详尽的单流/留一消融、可验证 GRPO 跟踪与成对 SFT 实验,数据支撑极其扎实。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述条理清晰,动机逻辑严密,对去污细节和超参数配置坦诚透明。
  • 价值: ⭐⭐⭐⭐⭐ 为数据受限的垂直专业领域(医疗、法律、网络攻防)从通用底座向安全合规本地化模型的迁移提供了极具复现价值的工业级范本。