Mixture-Trained Merging for Unified Multi-Objective Models¶

会议: NeurIPS 2026
arXiv: 2610.01238
领域: 模型压缩
关键词: 模型合并, 多目标模型, 混合训练, 权重空间合并, 贝叶斯优化

一句话总结¶

针对直接合并单目标硬专家导致的多领域精度陡降与思考/非思考模式崩塌问题，提出混合训练合并（MTM），通过在目标偏置的数据混合上训练软专家分支，并结合多目标贝叶斯优化在合并评估与基座提升间迭代演进，实现兼具多领域专家级精度与行为模式分离的统一模型。

研究背景与动机¶

构建能够同时胜任复杂数学推理、代码编写、精确指令遵循以及可控思考行为的统一大语言模型，是当前模型后训练（Post-training）的核心诉求。传统的通用做法是沿着单一优化轨迹执行多目标序列后训练，即通过精心设计的数据配比与学习率调度，让单一参数集合在不同数据域上持续演进。然而，这种单轨迹范式带来了沉重的工程开销：不同领域的微调往往在不同步数和指标水平下达到饱和，最终效果对训练顺序、数据混合比例、退火计划及早停准则高度敏感，极易引发严重的目标间干扰与灾难性遗忘。寻找兼顾所有目标的全局最优超参往往需要反复进行全预算试错，使得统一模型的迭代成本居高不下。

权重空间模型合并（Weight-space Model Merging）提供了一种完全模块化的解耦替代方案。它允许在各个目标或领域上独立并行微调单目标专家模型（Hard Experts），随后在参数空间执行简单的线性加权或去干扰组合。然而，经验表明直接合并这些完全独立训练的硬专家经常遭遇灾难性失败：在多领域模型（如数学与代码）合并中，随着合并系数的连续调整，各领域性能呈现极端的帕累托折衷，任何内点权重都无法同时逼近各单域专家水平；在思考（Think）与直接输出（Non-Think）的混合模式合并中，模型行为更是直接退化并坍缩至权重较大的单一主导模式，完全丧失了依据提示词切换行为格式的受控能力。

这两种合并失败的深层根源在于权重空间几何的不兼容性。单目标独立训练的硬专家在参数空间中漂移到了彼此孤立的遥远区域，模型间的线性插值路径穿透了高损失屏障，未能落在共享的低损失平原内。核心 idea：模型的可合并性必须在分支训练阶段主动构建而非仅依赖合并算法的事后修正，通过在领域偏置的目标数据混合上训练软专家分支（Soft-Experts），并依托多目标贝叶斯优化闭环迭代执行合并评估、基座模型提升与混合配比更新，使各分支在权重空间始终保持相容与收敛。

方法详解¶

整体框架¶

混合训练合并（MTM）的核心在于放弃单目标硬专家假设，将每个分支初始化为面向特定领域倾斜、但融入其他目标交互监督的“软专家”（Soft-Expert）。算法包含单轮基线 MTM-Single 与多轮迭代演进 MTM-Multi 两种变体。MTM-Multi 在固定的总训练预算下，将全流程划分为若干较短的迭代轮次（Round $t = 1, \dots, T$），形成“分支训练 $\to$ 权重空间采样评估 $\to$ 基座模型提升与配比更新”的自洽闭环。

在每一轮中，系统从当前基座参考模型出发，依照各分支专属的目标混合分布并行训练 $K$ 个分支；随后利用基于期望超体积改善的多目标贝叶斯优化（MOBO）高效探索单纯形空间内的候选合并权重，评估合并模型的帕累托前沿；最终利用全局标量化指标将最优合并模型提升为下一轮的新基座，同时借助带有跨目标保留约束的单目标优化准则更新各个分支在下一轮的训练混合配比。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["基座参考模型 M_(t-1) 与分支混合分布 p_k^(t)"] --> B["软专家分支并行训练<br/>在目标偏置数据混合上执行轻量 SFT"]
    B --> C["单纯形多目标贝叶斯优化<br/>基于 qNEHVI 自适应采集候选合并权重 α"]
    C --> D["合并模型多轴代理评估<br/>在数学、代码与指令评测集上获得评分向量"]
    D --> E["基座模型全局合并提升<br/>最大化均值性能更新参考模型 M_t 控制漂移"]
    D --> F["分支数据混合更新<br/>在跨目标约束下求解偏置权重并传播至 p_k^(t+1)"]
    E -->|新基座模型| G["进入轮次 t+1 迭代 或 输出最终统合模型 M_T"]
    F -->|更新混合比例| G

关键设计¶

1. 软专家分支混合训练：以受控交叉交互消除权重空间阻隔 传统单目标专家 $E_k = \text{SFT}(\mathcal{M}_0, \mathcal{D}_k)$ 仅在单一数据域 $\mathcal{D}_k$ 上微调，导致参数迅速向各自分离的局部极小值漂移，产生严重的任务向量碰撞。MTM 引入单纯形 $\Delta^{K-1}$ 上的分支专用数据配比 $p_k \in \Delta^{K-1}$，使分支 $k$ 虽然以目标 $k$ 为主导，但始终按比例融入受控的其他目标样本，即 $E_k = \text{SFT}(\mathcal{M}_{t-1}, \text{Mix}(\mathcal{D}_{1:K}; p_k))$。这一机制让每个分支在保持特定领域特化能力的同时，持续暴露在跨目标的梯度交互中，从几何上拉近了不同分支在参数空间中的欧氏与测地距离，将原本陡峭的分离势垒重塑为平坦且连通的共享低损失平原，从源头上确保了分支间的权重可合并性。

2. 基于合并性能代理的分支混合自适应探索：消除数据配比消融开销 确定最优数据配比通常需要反复进行昂贵的全量多任务训练。MTM 巧妙借鉴了一阶训练动力学下模型线性合并与数据混合训练的局部等价性原理，即 $\text{Merge}(E_{1:K}; \alpha) \approx \text{SFT}(\mathcal{M}_{t-1}, \text{Mix}(\mathcal{D}_{1:K}; \alpha))$。这意味着评估不同的合并系数 $\alpha$，能够以极低的推理评估成本直接作为预测对应数据配比训练效果的代理信号。针对分支 $k$，系统在单纯形候选集 $\mathcal{X}_t$ 中寻找既能极大化本领域特化性能、又能保证其他目标不跌破保留阈值 $\tau_j^{(t)}$ 的合并系数： $$\alpha_k^{(t)} = \arg\max_{\alpha \in \mathcal{X}_t} F_t^{(k)}(\alpha) \quad \text{s.t.} \quad F_t^{(j)}(\alpha) \geq \tau_j^{(t)}, \quad \forall j \neq k$$ 求得的系数直接通过凸组合映射为该分支下一轮的数据混合比例 $p_k^{(t+1)} = \sum_{\ell=1}^K \alpha_{k,\ell}^{(t)} p_\ell^{(t)}$，使得各分支的特化程度与兼容性在训练推进中动态协同演进。

3. 基座模型提升与多目标贝叶斯优化闭环：抑制累积参数漂移并高效逼近前沿 随着微调步数增加，独立分支容易产生累积发散。MTM-Multi 在每轮评估后，选取使所有目标平均归一化得分最大化的全局最优权重 $\alpha_\star^{(t)} = \arg\max_{\alpha \in \mathcal{X}_t} \frac{1}{K}\sum_{j=1}^K F_t^{(j)}(\alpha)$，将合并模型直接提升为下一轮训练的共享基座 $\mathcal{M}_t = \text{Merge}(E_{1:K}^{(t)}; \alpha_\star^{(t)})$。这种周期性对齐重置有效截断了长程漂移，防止模型脱离连通域。此外，为了克服高维单纯形网格搜索在目标数增加时的维数灾难与粗糙离散化缺陷，候选集合 $\mathcal{X}_t$ 采用基于 qNEHVI（Noisy Expected Hypervolume Improvement）的多目标贝叶斯优化进行自适应批次采样，利用高斯过程代理模型精准捕捉各目标间的非线性权衡边界，大幅加速帕累托前沿的收敛。

损失函数 / 训练策略¶

各分支在轻量 SFT 阶段采用标准的自回归交叉熵损失，仅在助手（Assistant）回复 token 上计算损失。在 Qwen3-4B-Base 实验中采用 4 块 H200 GPU 配备 DeepSpeed ZeRO-2 与 BF16/TF32 精度，有效批量大小为 128，序列长度上限设为 10,000，使用 AdamW 优化器（学习率 $2 \times 10^{-5}$，3% 预热步）。为了避免单域过度微调导致的过拟合与饱和失衡，Qwen 模型采用基于验证集指数移动平均（EMA，$\beta=0.9$）准确率的平台期早停机制（Plateau Early Stopping），且在后续 BO 轮次中对步数施加几何衰减约束 $T_c = T_1 r^{c-1}$（衰减率 $r=0.5$）。在 OLMo-7B 实验中则采用 64 批量大小并保持固定轮次预算，保证训练与计算成本可控。

实验关键数据¶

主实验¶

在 Qwen3-4B-Base 和 OLMo-7B 两个不同规模与架构的基础模型上，针对数学（GSM8K、MATH-500）、代码（MBPP+、LiveCodeBench）以及精确指令遵循（IFEval）三大异质任务进行了全方位评估。基线涵盖单目标硬专家、传统线性合并、TIES-Merge、DARE-TIES、SCE 以及 MergeMix 单轨迹混合模型。下表展示了主要合并方法的性能对比（3 次评测 pass@1 均值）：

基础模型与方法	GSM8K (数学)	MATH-500 (数学)	MBPP+ (代码)	LCB (代码)	IFEval (指令遵循)	全任务均值 (Avg.)
Qwen3-4B-Base
- Math Expert (单域硬专家)	92.85	84.40	64.02	20.59	55.95	63.56
- Code Expert (单域硬专家)	79.53	53.85	67.46	22.03	67.99	58.17
- IF Expert (单域硬专家)	90.01	76.40	67.92	18.72	80.57	66.72
- Linear Merge (传统线性合并)	91.91	83.10	67.72	23.40	77.26	68.68
- TIES-Merge (参数符号去干扰)	92.04	83.07	68.08	23.35	78.30	68.97
- DARE-TIES (稀疏重缩放合并)	91.61	81.67	64.20	19.53	76.77	66.76
- SCE (幅度自适应权重矩阵)	91.43	83.67	70.99	22.03	74.29	68.48
- MergeMix (单轨迹全局混合微调)	88.64	80.35	67.46	21.81	80.65	67.78
- MTM-Single (单轮混合微调合并)	90.88	82.45	69.11	22.69	82.87	69.60
- MTM-Multi (本文多轮迭代合并)	92.32	82.40	68.78	21.04	84.16	69.74
OLMo-7B
- Linear Merge (传统线性合并)	83.83	75.00	64.55	14.61	61.62	59.92
- TIES-Merge (参数符号去干扰)	87.87	76.20	63.05	14.90	60.76	60.56
- DARE-TIES (稀疏重缩放合并)	88.40	76.73	59.26	16.45	60.74	60.32
- MergeMix (单轨迹全局混合微调)	89.21	76.93	62.17	12.92	74.81	63.21
- MTM-Multi (本文多轮迭代合并)	90.32	78.27	64.64	13.36	73.89	64.10

在混合模式实验（思考与非思考模式控制）中，OLMo-7B 上的测试表明：Linear Merge 导致两模式完全折叠为同一生成长度，丧失行为区分；而 MTM 在显著拉开思考（长生成）与非思考（短生成）长度差距的同时，将非思考模式的 token 消耗压缩了显著比例，并使思考模式保持了与混合全量训练相当的高准确率。

消融实验¶

针对训练阶段跨架构迁移与不同分支构建策略的有效性，研究团队进行了多维度的受控消融实验。下表反映了在 Qwen3-4B-Base 上通过 MTM 学习到的分支配比与合并系数，零样本迁移至较小规模模型 Qwen2.5-0.5B（固定 3 个 epoch 预算）时的泛化性能表现：

| 迁移配置与基线对比 | MATH-500 (数学) | MBPP+ (代码) | IFEval (指令遵循) | 三项平均 (Avg.) | 说明 | |---|---|---|---|---| | Uniform Merge (均等硬专家合并) | 37.00 | 27.78 | 37.65 | 34.14 | 独立训练硬专家后取中心平均 | | Uniform Mixture (均等全局混合训练) | 32.40 | 24.07 | 43.63 | 33.37 | 1:1:1 固定配比执行单轨迹微调 | | MTM Transfer (本文配比跨模型迁移) | 32.00 | 34.66 | 45.93 | 37.53 | 直接复用 4B 模型搜索到的软专家配比与合并权重 |

此外，在训练计算开销消融分析（Table 2）中，以标准 Expert SFT 和 Merge-only 方法的训练量为 1.0 个相对 Epoch 基准，MergeMix 与单轮 MTM-Single 均需要进行搜索前与搜索后的双重微调，相对训练开销高达 2.0；而 MTM-Multi 通过在每轮迭代中直接复用上一轮的训练成果，在 Qwen3-4B-Base 与 OLMo-7B 上实际耗费的有效优化路径长度仅分别为 0.70 和 0.75，不仅大幅削减了总显存时数，性能反而持续超越高开销基线。

关键发现¶

权重单纯形几何形态重塑：在三目标（数学、代码、指令遵循）的三元热图（Ternary Heatmaps）中，硬专家合并在离开单纯形顶点后精度迅速衰减，内点几乎没有高质量可行解；而软专家分支构筑的权重单纯形呈现平坦且宽阔的高值平原，使多目标约束优化能够在内点稳定收敛。
指令遵循（IFEval）是干扰重灾区：在常规模型合并下，指令遵循能力极易被数学和代码专家的强特定格式改动所污染冲垮（从硬专家的 80.57 暴跌至 DARE-TIES 的 76.77）；MTM-Multi 则凭借分支级自适应配比反向加固，不仅未发生回退，反而攀升至 84.16，展现了强大的抗干扰韧性。
配比规律具有跨模型通用性：在 4B 模型上经贝叶斯优化学习出的分支配比与合并系数，直接施加给 0.5B 小模型依旧能够取得 3.39 分的整体超越，表明多目标交互冲突的几何解法具有脱离具体权重的本质共性。

亮点与洞察¶

“可合并性来自训练而非合并算法”的范式反思：当前模型合并领域过度聚焦于设计愈发繁复的后验矩阵变换（如奇异值截断、符号选举、子空间投影），本文以扎实的损失几何分析指明：独立训练的专家若本身已漂移出连通盆地，任何事后线性代数技巧均无力回天；必须将合并目标内化至分支训练阶段。
合并作为零成本训练动力学代理：巧妙利用线性权重合并与数据混合微调在局部流形上的等价关系，将搜索最优数据比例的高昂重训练开销直接降维至单纯形上的前向评估，颠覆了多目标混合数据搜索的技术路线。
打通跨行为模式的模型统合：成功证明了模型合并不仅适用于不同知识领域（数学/代码）的能力拼装，同样适用于思考（Think）与非思考（Non-Think）等生成行为模式的平滑解耦与无损融合，为混合推理大模型的模块化搭建开辟了新途径。

局限与展望¶

目前局限于有监督微调（SFT）阶段：论文核心验证均在 SFT 阶段展开，尚未将混合训练合并范式拓展至强化学习后训练（RLHF / DPO / PPO）或测试时扩展（Test-time Compute）等包含动态策略梯度的前沿环节。
目标数量扩展性待验：实验主要覆盖了 2 到 3 个核心目标（数学、代码、指令遵循），当扩展至涵盖数十个细分技能、长上下文以及多模态混合场景时，分支并行开销与贝叶斯优化在超高维单纯形上的搜索效率仍面临严峻挑战。
保留阈值依赖先验经验：分支混合更新公式中用于保留非主导领域性能的超参数阈值 $\tau_j^{(t)}$ 目前采用经验设定，未来若能实现基于前沿曲率自适应动态调节阈值，有望进一步强化算法鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次揭示单目标硬专家不可合并的几何根源，提出分支级混合训练与贝叶斯优化协同的全新合并范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖双模型架构、多领域与思考混合双重场景，包含详尽的单纯形几何热图与跨架构配比迁移实验]
写作质量: ⭐⭐⭐⭐⭐ [论述层层递进，从现象揭示、理论洞察到系统化算法构建逻辑极其严密自洽]
价值: ⭐⭐⭐⭐⭐ [为统一大语言模型的低成本模块化构建提供了极具工业落地潜力的系统化方法论]