跳转至

OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/nict-astrec-att/optimer
领域: 模型压缩
关键词: 持续预训练, 分布向量, 模型融合, 贝叶斯优化, 资源受限适配

一句话总结

针对多领域/跨语言持续预训练中数据混合比例预设刚性且搜索成本极其高昂的核心痛点,本文提出 OptiMer 框架,将数据混合选择从训练前决策重构为训练后连续分布向量的事后融合优化,借助 TPE 贝叶斯优化仅需数分钟即可确定最优权重,不仅以 15–35 倍更低的搜索成本全面超越混合预训练与传统模型平均基线,更实现单向量池面向不同目标的高效即时定制。

研究背景与动机

大语言模型面向特定语言与专业垂直领域的适配已成为端侧与受限计算设备部署的核心诉求,持续预训练(Continual Pre-Training, CPT)是赋予基础模型特定领域知识与多语言能力的标准范式。在常规 CPT 流程中,训练语料通常由多个异构数据集(如通用英文、目标语种、数学推理、程序代码等)混合而成。然而,这些数据集之间的数据混合比例(Data Mixture Ratio)是一个极度敏感且难以调节的关键超参数:若某一领域权重过高会引发原有语言能力的灾难性遗忘,反之过低则无法建立起充分的领域认知。

现有的数据配比优化方案(例如利用小规模代理模型推断分布权重的 DoReMi、通过回归拟合最优配比的 RegMix 等)虽然缓解了盲目网格调参的压力,但其根本逻辑依然要求在启动大规模分布式训练之前预先冻结比例。一旦在大模型全量训练数天乃至数周后发现下游综合表现欠佳,整个预训练流程便无法动态修正,只能推翻重来并浪费数万 GPU 时的宝贵算力。此外,传统基于权重算术平均(Weight Averaging)的模型合并策略由于忽略了各数据分布贡献的非均衡性,往往在特定领域(尤其是对语法结构极其敏感的代码生成)上引发严重的性能崩溃。

为了打破“预设刚性配比”与“高昂重训成本”的双重枷锁,本文提出从参数空间的微观扰动着手:由于各单数据集持续预训练产生的参数漂移在几何上近似正交,多数据联合训练的效果在参数流形局部与各单数据分布向量的线性组合高度等价。本文的核心 idea 是:将持续预训练中的数据混合比例选择解耦为“单数据集独立预训练提取分布向量 + 事后(Post-hoc)连续融合权重优化”,利用基于 TPE 的贝叶斯黑盒优化快速搜索多向量最优组合,彻底免除反复重训开销并保持对指令遵循基座校准能力的完整保留。

方法详解

整体框架

OptiMer 的核心流程将原本高耦合的端到端混合预训练分解为三个阶段:分布向量提取、多向量参数空间合成、以及基于贝叶斯优化的黑盒权重搜索。首先,以基础预训练模型(Base Pretrained Model)\(\theta_{pt}\) 为共同锚点,在各个单数据集 \(D_i\) 上独立执行持续预训练,计算参数偏移得到各领域专有的分布向量(Distribution Vector)\(\tau_i\);同时从已对齐的指令微调模型 \(\theta_{it}\) 中提取指令向量 \(\tau_{it}\) 以无损恢复对话遵循能力。随后,通过带有连续权重 \(\alpha\) 的合成函数(如 DARE-Linear)构建融合模型 \(\theta_{merge}(\alpha)\)。最后,利用 Tree-structured Parzen Estimator (TPE) 在验证代理任务上以极小样本快速迭代评估候选权重,在无需梯度反传与反复重训的前提下高效收敛到帕累托最优解。

方法的整体 pipeline 与数据流向如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    PT["预训练基座模型 θ_pt"] -->|单数据集独立 CPT| SingleModels["领域模型池 {θ_CPT,i} (Ja, Zh, Math, Code)"]
    SingleModels --> VectorExtract["分布向量解耦提取<br/>τ_i = θ_CPT,i − θ_pt 且 τ_it = θ_it − θ_pt"]
    VectorExtract --> LinearCompose["多向量参数空间合成<br/>θ_merge(α) = θ_pt + α_it·τ_it + ∑ α_i·τ_i"]
    LinearCompose --> TPE["TPE 贝叶斯黑盒搜索<br/>划分 γ 分位数构建 ℓ(α) 与 g(α),最大化 ℓ/g"]
    TPE -->|几分钟每轮代理评测反馈| LinearCompose
    TPE --> Out["最优融合模型 θ*_merge 部署"]

关键设计

1. 分布向量解耦提取:将全局预训练解构为正交参数偏移

针对传统多领域混合训练中不同任务梯度相互冲撞、破坏原有基础模型校准性的问题,OptiMer 将任务向量(Task Vector)概念拓展至持续预训练场景,形式化定义各异构领域的分布向量: $\(\tau_i = \theta_{CPTi} - \theta_{pt}, \quad \tau_{it} = \theta_{it} - \theta_{pt}\)$ 几何分析证实,不同领域分布向量之间的成对余弦相似度极低(仅为 0.03 至 0.31),在参数空间中占据着高度独立的低维子空间。这一正交性确保了它们通过线性叠加融合时相互干扰最小。同时,通过引入基础模型到指令对齐模型的漂移向量 \(\tau_{it}\),使持续预训练模型无需耗费额外的监督微调(SFT)即可直接复原强大的多轮对话与指令遵循能力,排除了全量微调对基础知识的二次冲刷。

2. 多向量参数空间合成:连续松弛与结构保持算子

在获得各独立的参数偏移后,OptiMer 采用连续权重系数向量 \(\alpha = (\alpha_{it}, \alpha_1, \dots, \alpha_n)\) 构建参数合成流形: $\(\theta_{merge}(\alpha) = \theta_{pt} + \alpha_{it}\tau_{it} + \sum_{i=1}^n \alpha_i \tau_i\)$ 在具体实现算子上,本文采用 DARE-Linear(Drop and REscale)机制并借助 mergekit 框架执行,同时显式冻结并跳过词嵌入层(embed_tokens)、输出层(lm_head)以及旋转位置编码(rotary embedding)的参数更新,以完好保留基座分词表示与基础几何结构。这种连续可调的参数合成在神经流形切空间中近似模拟了多领域连续混合预训练的有效训练时长,使连续步长调控在事后成为可能。

3. TPE 贝叶斯黑盒搜索:以非均匀密度比突破网格搜索维度灾难

确定最优权重 \(\alpha^* = \arg\max_\alpha S(\theta_{merge}(\alpha), D_{dev})\) 面临黑盒无梯度的评估困境;对于包含 \(n\) 个领域的权重组合,若使用离散网格搜索将面临 \(O(G^{n+1})\) 的指数级计算复杂度,在 27B 大模型上完全不可行。OptiMer 引入 Tree-structured Parzen Estimator (TPE) 算法,将观测历史按验证分数分位数 \(\gamma\) 划分为高分集与低分集,分别拟合两个核密度分布: $\(p(\alpha | S) = \begin{cases} \ell(\alpha), & S \ge s^* \\ g(\alpha), & S < s^* \end{cases}\)$ 下一步候选权重通过最大化比值 \(\ell(\alpha)/g(\alpha)\) 选取。由于高表现权重在参数空间中呈现极度狭窄的尖锐分布(例如 \(\alpha_{it}\) 需严格保持在 0.5–0.7 区间),TPE 仅需 \(O(10n)\) 次采样(通常 100 轮以内)即可锁定最优尖峰。在搜索期间,每个候选仅在代理任务的 100 个样本上快速推断(单次试验仅耗时约 5 分钟),最终由前 Top-3 结果在 300 样本的完整验证集上复测确定最终权重,实现搜索效率相对传统重训提升 15–35 倍。

评估基准与实验设计

基座模型选用 Gemma 3 27B PT 与 Gemma 3 27B IT,训练采用 LLM-jp Corpus v4 构建日语、中文、数学与代码四个单领域 1B token 子集,在 8 张 NVIDIA H200 (141GB) 集群上利用 DeepSpeed ZeRO-3 训练 1 个 epoch(2,000 steps)。评测使用 lm-evaluation-harness 并在 vLLM 后端上统一采用严苛的 1-shot 推断:包含英语综合能力(MMLU、ARC-Challenge、HellaSwag、TruthfulQA)、日语评测基准 JA LB(8 项官方排行榜任务均值)、中文综合理解 C-Eval、数学推理 GSM8K,以及代码生成(HumanEval、MBPP)。消融与迁移验证进一步覆盖 Zh+Math、负权重消除干扰、以及非英语主导的东南亚多语言大模型 Gemma-SEA-LION-v4-27B。

实验关键数据

主实验

在不同数据集组合下,OptiMer 与单模型 CPT、统一比例混合预训练 DataMix,以及传统统一权重合并方法(Task Arithmetic、TIES、DARE)的对比表现如下表所示(摘录自论文 Table 1 主实验):

数据组合 方法 英语 (MMLU / TQA) 数学 (GSM8K) 代码 (HE / MBPP) 日语 (JA LB) 中文 (C-Eval) 全局均分 (Avg.)
零样本基线 Gemma 3 27B PT 31.59 / 54.71 0.83 0.00 / 0.60 39.04 27.41 25.54
Gemma 3 27B IT 51.03 / 64.87 15.39 2.44 / 37.80 54.64 37.96 39.44
Ja + Math DataMix (\(\alpha_{it}=0.6\)) 73.17 / 49.57 83.62 50.00 / 68.80 73.34 61.74 67.86
Task Arithmetic 75.44 / 41.49 74.45 60.37 / 1.60 75.11 63.67 60.59
TIES 71.14 / 30.11 69.52 26.22 / 0.00 72.40 58.84 52.66
DARE-Linear 75.02 / 42.96 78.17 58.54 / 65.00 72.37 63.30 67.65
OptiMer (Ours) 73.17 / 55.20 84.46 59.76 / 70.40 72.53 63.45 69.98
Ja + Code DataMix (\(\alpha_{it}=0.6\)) 71.23 / 43.08 78.62 64.02 / 65.00 72.38 60.40 67.23
Task Arithmetic 72.33 / 42.72 78.17 45.12 / 60.20 74.04 61.96 65.26
DARE-Linear 72.33 / 42.84 79.08 46.34 / 60.60 74.07 62.18 65.58
OptiMer (Ours) 71.41 / 54.22 83.47 64.63 / 70.20 73.06 61.81 69.68
Ja + Zh + Math DataMix (\(\alpha_{it}=0.6\)) 73.83 / 37.70 79.61 32.32 / 65.40 72.77 62.18 63.71
Task Arithmetic 75.27 / 38.92 73.54 45.73 / 0.40 73.17 64.41 58.29
DARE-Linear 74.48 / 38.68 76.42 50.00 / 62.00 70.92 63.89 65.48
OptiMer (Ours) 72.94 / 51.77 83.93 67.07 / 70.20 72.65 63.22 70.37

消融实验与分析

下表系统展示了指令向量融合权重 \(\alpha_{it}\) 的敏感性消融(论文 Table 6),以及扩展负权重搜索去除领域交叉干扰的对比结果(论文 Table 4):

配置 / 权重 GSM8K (数学) HE (代码) MBPP (代码) JA LB (日语) C-Eval (中文) Avg. (综合) 机制说明
\(\alpha_{it}\) 敏感性测试 单一 English CPT 向量 (\(\alpha_{En}=1.0\)) 融合不同 \(\alpha_{it}\)
\(\alpha_{it} = 0.0\) 29.42 0.00 16.40 39.02 54.23 42.11 缺失指令向量,代码与数学对齐坍缩
\(\alpha_{it} = 0.3\) 65.20 20.73 54.00 42.13 59.96 56.12 基础指令恢复,复杂推理仍受限
\(\alpha_{it} = 0.6\) (最佳) 80.82 66.46 67.60 42.11 62.11 66.36 最佳平衡点,保留 CPT 知识且指令完好
\(\alpha_{it} = 0.8\) 80.82 28.05 70.00 49.43 58.62 61.31 指令权重过大稀释领域 CPT 表达
\(\alpha_{it} = 1.0\) 14.86 1.83 37.20 54.36 38.11 39.17 完全受 IT 向量主导,退化严重
负权重消除干扰测试 权重搜索范围由 \([0, 1]\) 放宽至 \([-1, 1]\)
日语目标 \([0, 1]\) - - - 73.37 - - \(\alpha_{en}=0.129, \alpha_{math}=0.489, \alpha_{code}=0.033\)
日语目标 \([-1, 1]\) - - - 73.85 - - \(\alpha_{math}=-0.060\),负向剔除无关数学扰动
中文目标 \([0, 1]\) - - - - 63.60 - \(\alpha_{it}=0.450, \alpha_{zh}=0.034, \alpha_{en}=0.001\)
中文目标 \([-1, 1]\) - - - - 65.68 - \(\alpha_{en}=-0.121, \alpha_{code}=-0.057\),显著排除跨语言干扰

关键发现

  • 打破均匀权重的代码崩塌:传统模型平均方法(如 Task Arithmetic、TIES)在代码生成任务(HumanEval 与 MBPP)上出现灾难性骤降(MBPP 从 68+ 跌至 0.00–1.60),输出分析表明其并非出现逻辑幻觉,而是生成了大量语法错乱的缩进残缺代码;OptiMer 通过非均匀精细配比,成功使 MBPP 稳定在 70.20 以上。
  • 基座事实校准能力的完好保留:在对抗性事实幻觉测试 TruthfulQA 上,所有全量混合训练 DataMix(37–49 分)与传统合并模型(26–42 分)均发生事实信念退化;而 OptiMer 始终维持在 51–55 的高分区间,证明其未打乱基座模型的本征校准分布。
  • 搜得权重反哺全量训练(DataMixOptiMer ratio):将 OptiMer 搜得的最优权重折算为数据混合比例重新进行 2B/3B token 的全量混合预训练,所得模型在 Ja+Zh+Math 上由 63.71 大幅跃升至 68.66,证明了传统混合训练之所以疲软确由“次优混合比例”所致,而 OptiMer 能够零成本提供最优数据配比指导。
  • 负权重的主动正则化效益:当搜索空间扩展至 \([-1, 1]\) 时,目标语种与特定推理领域的模型会主动为不相关领域的向量(如英文或代码)赋予负权重(如中文目标下 \(\alpha_{en}=-0.121\)),实质上充当了消除跨分布冗余与负迁移的参数减法算子。

亮点与洞察

  • 训练决策的事后化重构:传统 LLM 预训练将数据配比视为不可逆的“出厂设置”,OptiMer 证明预训练轨迹在参数流形近邻具有近似线性特征,将数据配比重构为训练后在参数切空间中的多向量轻量合成,实现了范式级突破。
  • 单一向量池的按需敏捷派生:通过仅训练一套基座单领域分布向量池,即可针对不同业务侧重(如偏向日语、中文理解或数学极化)分别运行 100 轮仅需数分钟的贝叶斯搜索,无需任何 GPU 训练集群重新介入即可即时派生多款垂直领域专用模型。
  • TPE 在尖锐优化流形上的高效锁定:权重搜索实验揭示出“高表现解集中分布在极窄层”的几何特性,尤其是指令向量权重具有极窄的有效容差窗口;TPE 凭借非均匀密度比估计避免了盲目穷举,使 27B 规模的多向量搜索在单卡数小时内稳定收敛。

局限与展望

  • 大规模 Token 预训练下的参数漂移风险:本文验证主要基于单数据集 1B token 的轻量级持续预训练;当单数据集训练规模拓展至数百亿甚至数千亿 token 时,参数漂移将脱离初始切空间的线性假设,需要探索分阶段迭代式融合(Iterative OptiMer)机制。
  • 模型架构与量化尺度的泛化验证缺失:当前所有密集实验集中于 Gemma 3 27B 与 Gemma-SEA-LION-v4 架构,尚未在 MoE(混合专家架构,如 DeepSeek/Qwen)或极端超低比特量化(如 4-bit/2-bit 权重量化部署)环境下系统验证其兼容性。
  • 与更高级数据配比预测器的融合空间:实验仅对比了均一比例与 OptiMer 派生比例;未来可探索将 DoReMi 或 RegMix 的动态规划能力内嵌至 OptiMer 搜索先验中,以进一步加速收敛过程。

相关工作与启发

  • vs DataMix (Gururangan et al., 2020; Xie et al., 2023):传统混合训练在训练前静态绑定数据混合比例,若配比失调需耗费数周重新训练整个模型;OptiMer 将各数据集解耦为单模型向量提取,在训练后通过黑盒搜索确定最优组合,搜索耗时降低 15–35 倍且性能更优。
  • vs Task Arithmetic & DARE (Ilharco et al., 2023; Yu et al., 2024):以往模型合并工作多局限于监督微调(SFT)任务向量,且通常依赖朴素的等权重平均(Uniform Weighting),在 27B 尺度下导致代码等敏感领域全面崩溃;OptiMer 首次将合并对象拓展至 27B CPT 分布向量,通过连续贝叶斯优化彻底解决了多任务能力冲突。
  • vs DEM (Ram et al., 2024):DEM 采用粗粒度离散网格搜索来决定融合权重,计算开销随向量维度呈现指数级爆炸;OptiMer 采用 TPE 贝叶斯优化,以仅 \(O(10n)\) 的高效样本复杂度实现了端到端高维权重的连续收敛。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [颠覆性地将持续预训练数据配比从训练前决策重塑为事后参数分布向量融合优化]
  • 实验充分度: ⭐⭐⭐⭐⭐ [在 27B 大模型上跨 16 个基准、5 大任务组展开深度实验,涵盖动态分析、正交性分析与端到端案例]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密、叙述流畅,兼顾严谨的数学形式化与深入的实证洞察]
  • 价值: ⭐⭐⭐⭐⭐ [为端侧及计算受限场景下的基础模型低成本跨域适配与即时定制提供了极具落地价值的标准方案]