DivMoE: Fine-Grained MoE Upcycling via Cross-Domain Expert Composition¶

会议: NeurIPS 2026
arXiv: 2610.11317
代码: https://github.com/NUS-HPC-AI-Lab/DivMoE
领域: LLM效率
关键词: 混合专家模型、稀疏复用、细粒度专家、跨领域专家组合、多样性约束路由

一句话总结¶

针对单源细粒度混合专家模型（MoE）稀疏复用时路由坍塌导致性能降至接近随机的病态问题，DivMoE 提出了跨领域专家初始化与硬性多样性约束路由机制，在双基座模型与 15 个评测基准上严格超越稠密基模型并刷新六大复用基线。

研究背景与动机¶

混合专家模型（MoE）已成为扩展大语言模型容量并维持计算效率的核心架构，以 DeepSeek-V2、Mixtral 等为代表的细粒度专家划分（Fine-Grained MoE）更进一步证明了将 FFN 拆分为大量轻量专家能显著提升路由灵活性与表征容量。然而，完全从头预训练大规模 MoE 的算力开销极其昂贵，促使学术界与工业界探索稀疏复用（Sparse Upcycling）技术，即通过复制或变换预训练稠密模型的检查点权重来低成本构建 MoE。

不幸的是，细粒度 MoE 复用存在致命的结构性病态崩溃：当细粒度专家全部源自单一稠密基模型时，路由机制极其脆弱并迅速退化。实验表明，在 Qwen3-1.7B 上直接采用细粒度 Drop-Upcycling，其 15 个基准测试的平均准确率暴跌至 23.2%（与完全从头随机初始化的 22.2% 几无差异），而粗粒度版本却能达到 50.2%。现有的单源复制方案（如 NVIDIA Upcycling）虽然通过保真初始化避免了发散，但同一源模型生成的专家输出高度相似， router 得分均质化，严重压制了路由多样性；而引入随机性的重初始化方案又会破坏预训练已学到的表征。

造成这一困境的核心矛盾在于：现有方法从未同时兼顾「领域专门化初始化」、「细粒度专家划分」以及「防止同源专家共激活的结构约束机制」三大要素。BTX 具备领域专门化但仅支持粗粒度且采用无约束 Top-k 路由；NVIDIA Upcycling 实现了细粒度但缺乏初始表征差异；Drop-Upcycling 依赖随机掩码直接抹除知识。本文的核心 idea 是：先通过持续预训练获取多领域专家模型并纵向切分构建细粒度专家，再在路由层施加硬性多样性结构约束，强制每个 token 必须跨领域组激活专家，彻底阻断路由坍塌并实现互补的多领域专家协同。

方法详解¶

整体框架¶

DivMoE 包含两个核心创新组件：领域专门化细粒度专家初始化（Domain-Specialized Fine-Grained Expert Initialization）和多样性约束路由（Diversity-Constrained Routing）。系统首先从单个稠密基模型出发，在数学、代码、科学与常识四大公开领域语料上分别进行领域自适应持续预训练（CPT），得到 \(n=4\) 个单领域专门化模型；随后将每个专门化模型的 SwiGLU FFN 纵向切分为 \(m=2\) 个分片，从而在保留稠密等价重构特性的同时生成 \(N=n \times m=8\) 个细粒度专家；在推理与路由阶段，双阶段路由算法先在各领域组内挑选最优专家，再在组间选取 Top-\(k\) 个领域组激活，从结构层面杜绝单领域内的专家共激活。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["稠密基模型 M_base"] --> B["领域自适应专门化预训练<br/>四领域 CPT 各 10B Tokens"]
    B --> C["专门化 FFN 纵向切分<br/>每个专门化 FFN 拆为 m 个分片"]
    C --> D["组装细粒度专家池<br/>N = n × m 个专家划为 n 个领域组"]
    D --> E["双阶段多样性约束路由<br/>组内选优 + 跨组 Top-k 聚合"]
    E --> F["输出表征加权求和"]

关键设计¶

1. 领域专门化细粒度专家初始化：多源切分注入初始结构多样性

单源模型复用的致命缺陷在于所有专家起点完全同质，router 无法依据有意义的语义差异做出选择。DivMoE 彻底抛弃单模型简单权重复制或加噪的旧路，首先以基模型 \(\mathcal{M}_{\text{base}}\) 为起点，在数学、代码、科学、通用常识（Dolmino-Mix 对应的四大子集）各持续预训练 10B tokens，得到 4 个具备明确领域特化能力却共享表征底座的专门化模型 \(\{\mathcal{M}_{\text{math}}, \mathcal{M}_{\text{code}}, \mathcal{M}_{\text{science}}, \mathcal{M}_{\text{common}}\}\)。随后对每个专家的 SwiGLU FFN 权重矩阵进行纵向切分（Vertical Slicing）：将门控投影 \(\mathbf{W}_{\text{gate},i}\)、上投影 \(\mathbf{W}_{\text{up},i}\) 切分为维度为 \((d_{\text{ff}}/m)\times d\) 的 \(m\) 个切片，下投影 \(\mathbf{W}_{\text{down},i}\) 切分为 \(d\times (d_{\text{ff}}/m)\) 的切片。对于非专家模块（嵌入层、自注意力投影与归一化层），则通过基模型与所有领域模型的算术平均进行平滑融合：

\[\mathbf{W}_{\text{shared}}=\frac{1}{n+1}\left(\mathbf{W}_{\text{base}}+\sum_{i=1}^{n}\mathbf{W}_{i}\right)\]

为了消除 Softmax 衰减并保持初始化时网络输出量级稳定，切片后的专家权重乘上修正系数 \(\gamma = \sqrt[3]{\frac{E\cdot G^2}{k}}\)，从而保证任意跨领域分片组合在初始阶段都能无缝近似原始稠密模型的输出分布，同时注入了天然互补的领域语义梯度。

2. 多样性约束路由：硬性阻断同源共激活的结构化筛选

标准 MoE 通常使用 Softmax 后的 Top-\(k\) 选择，但当专家池中存在同一领域切分出的细粒度切片时，由于同源切片输入输出映射高度相近，token 极易将全部激活预算倾斜至同一领域的多个切片中（例如两个激活专家全来自数学模型），导致灾难性的组内过拟合与全局路由坍塌。常规的软性辅助负载均衡损失依赖梯度惩罚，其作用力受制于任务损失幅度，无法提供硬性可达性保证。DivMoE 引入硬性结构约束：限制每个 token 在任意领域组 \(\mathcal{D}_i\) 中至多激活一个专家，即：

\[\forall i\in\{1,\ldots,n\}:\quad |\mathcal{S}\cap \mathcal{D}_i|\le 1\]

在算法实现上，多样性约束路由无需增加任何额外参数或超参，分为完全确定性的两步流水线：第一阶段为组内竞争（Intra-group Selection），在每个领域组 \(i\) 内部选出得分最高的代表专家 \(j_i^* = \arg\max_{j\in[m]} s_{i,j}\) 及其代表分数 \(s_i^* = s_{i,j_i^*}\)；第二阶段为组间竞争（Inter-group Selection），在所有领域组的代表分数中选取 Top-\(k\) 个最高分领域组 \(\mathcal{G} = \text{TopK}(\{s_1^*, \dots, s_n^*\}, k)\)。最终激活的专家集合为 \(\mathcal{S}=\{(i, j_i^*): i\in\mathcal{G}\}\)，并通过组间代表分的 Softmax 归一化计算最终权重 \(w_i = \exp(s_i^*)/\sum_{j\in\mathcal{G}}\exp(s_j^*)\)。即使在代码生成任务中，token 在不同位置也承担着自然语言描述、逻辑推理或语法生成的异构功能，该机制强迫 token 吸收互补领域的特化知识，同时允许 Softmax 权重自适应向核心领域倾斜。

3. 三阶段渐进式训练与组内负载均衡协同

为了确保模型平滑从稠密表征过渡至稀疏协同，DivMoE 设计了严格对齐的三阶段流水线。Stage 1 进行 40B tokens 的多领域密集自适应；Stage 2 在统一的高质量预训练语料（Dolmino-Mix 500B tokens）上联合预训练整装后的 MoE 网络；Stage 3 在 Tülu-3-SFT-Mixture 上进行端到端对齐微调。在 Stage 2 联合持续预训练中，尽管多样性约束从外部硬性杜绝了领域间的过载与饥饿，但在单个领域组内部的不同分片之间仍需避免表征分流失衡，因此系统保留了权重为 \(\alpha=0.01\) 的轻量级辅助负载均衡损失：

\[\mathcal{L}_{\text{aux}} = \alpha \cdot N \cdot \sum_{i=1}^N f_i \cdot p_i\]

其中 \(f_i\) 为路由到专家 \(i\) 的 token 真实比例，\(p_i\) 为分配概率均值。该设计将宏观领域平衡交由硬性拓扑保障，微观分片平衡交由梯度平滑调节，实现了极高的训练鲁棒性。

一个完整示例¶

以一个代码生成 prompt 中的条件转移分支代码 token if (score > threshold): 为例，说明双阶段多样性路由的具体流转： 1. 隐藏状态输入：当前 token 的隐藏状态 \(\mathbf{x} \in \mathbb{R}^{2048}\) 输入路由器权重 \(\mathbf{W}_r\)，生成针对 4 个领域组、每组 2 个专家切片的原始打分矩阵 \(\mathbf{s} \in \mathbb{R}^{4 \times 2}\)。 2. 第一阶段（组内选优）： - 数学组（组 1）：专家切片打分分别为 \([2.4, 1.8]\)，挑出代表专家 1，代表分 \(s_1^* = 2.4\)； - 代码组（组 2）：专家切片打分分别为 \([3.5, 4.1]\)，挑出代表专家 2，代表分 \(s_2^* = 4.1\)； - 科学组（组 3）：专家切片打分分别为 \([1.1, 0.9]\)，挑出代表专家 1，代表分 \(s_3^* = 1.1\)； - 常识组（组 4）：专家切片打分分别为 \([1.5, 2.0]\)，挑出代表专家 2，代表分 \(s_4^* = 2.0\)。 3. 第二阶段（组间竞争，设 \(k=2\)）：比较四大领域的代表得分 \(\{2.4, 4.1, 1.1, 2.0\}\)，选出前两名为代码组（\(4.1\)）与数学组（\(2.4\)）。 4. 归一化加权：对 Top-2 得分进行 Softmax 归一化，得到代码专家权重 \(w_{\text{code}} = \frac{e^{4.1}}{e^{4.1}+e^{2.4}} \approx 0.845\)，数学专家权重 \(w_{\text{math}} = \frac{e^{2.4}}{e^{4.1}+e^{2.4}} \approx 0.155\)。 5. 前向聚合：当前 token 的 FFN 输出由代码切片 2 与数学切片 1 加权聚合，既赋予代码专家绝对主导权，又补充了不等式数值判断的数学表征。

实验关键数据¶

主实验¶

论文在 Qwen3-1.7B-Base 与 Llama3.2-1B 上展开了详尽评测，评测覆盖推理、代码、常识等 15 个基准测试（主表展示 11 个代表性基准，完整 15 个基准详见附录）。所有复用方法均严格在相同的 Stage 2 500B tokens 语料与相同优化器设置下公平对比。

方法	细粒度划分	GSM8K	MATH	HumanEval	MBPP	MMLU	ARC-c	BBH	平均分 (11 bm.)
From Scratch	✓	5.5	2.3	6.8	11.2	40.5	12.2	20.5	20.7
Sparse Upcycling	✗	56.5	28.5	38.0	47.5	56.8	38.5	47.5	45.1
Branch-Train-Mix (BTX)	✗	64.0	36.5	44.0	53.0	61.5	43.0	51.5	50.8
NVIDIA Upcycling	✓	62.5	35.5	44.5	53.5	61.5	42.5	51.0	50.5
Drop-Upcycling	✗	60.0	33.5	41.0	50.5	61.0	41.5	50.0	49.1
Drop-Upcycling-f (细粒度)	✓	7.0	3.5	7.8	12.5	42.0	14.5	22.0	21.8
DivMoE (本文)	✓	68.5	40.5	49.0	57.5	64.5	45.0	55.5	54.3

在开源对齐模型对比中（基于 Qwen3-4B-Base 复用为 12B 参数 MoE，激活参数仅 3.6B），DivMoE 在 Tülu-3 SFT 后全面超越受控复用基线并比肩甚至超越从头预训练的 16B 大模型：

模型	总参数 / 激活参数	MMLU	TriviaQA	HumanEval	MBPP	GSM8K	MATH	7项平均分
OLMoE	7B / 1B	51.9	60.4	51.8	61.2	45.5	23.9	49.1
OLMoE + Tülu-3 SFT	7B / 1B	55.8	63.5	53.5	62.8	56.8	31.2	53.7
DeepSeek-V2-Lite	16B / 2.4B	58.3	65.1	29.9	43.2	41.1	17.1	43.8
NVIDIA Upcycling + Tülu-3 SFT	5.4B / 2.4B	64.2	67.5	45.8	54.2	66.5	38.8	56.2
Moonlight-MoE	16B / 2.4B	70.0	66.3	48.1	63.8	77.4	45.3	62.3
DivMoE (本文)	12B / 3.6B	71.5	73.3	51.4	60.0	74.4	47.5	63.0

消融实验¶

为了拆解各个创新维度的协同增益，论文在 Qwen3-1.7B-Base 上针对领域专门化初始化、细粒度划分与多样性约束（DC）进行了系统消融（15 个基准全集平均）：

配置	领域专家初始化	细粒度划分	多样性约束 (DC)	15基准平均准确率 (%)	相对完整版变化
Drop-Upcycling-f	✗	✓	✗	23.2	-32.4
NVIDIA Upcycling	✗	✓	✗	51.1	-4.5
BTX	✓	✗	✗	51.6	-4.0
DivMoE (w/o DC)	✓	✓	✗	52.5	-3.1
DivMoE (完整)	✓	✓	✓	55.6	基准 (0.0)

针对“强制跨领域专家是否会损害单领域特定任务性能”这一潜在疑虑，消融研究专门测试了多样性约束对垂直领域基准的独立影响：

垂直评测基准	DivMoE (w/o DC)	DivMoE (完整版 w/ DC)	绝对提升 (\(\Delta\))
HumanEval (代码)	23.8	25.6	+1.8
MBPP (代码)	31.5	33.8	+2.3
GSM8K (数学)	43.2	45.3	+2.1
MATH (数学)	18.1	19.5	+1.4

关键发现¶

细粒度复用的崩溃根源被锁定：在未引入领域专门化时，直接采用部分重置随机性的细粒度方案（Drop-Upcycling-f）在 Qwen3 和 Llama3.2 上平均分分别暴跌至 23.2% 和 22.2%，与随机初始化的 From Scratch（20.7% / 18.5%）无异；而粗粒度 Drop-Upcycling 保留了 50.2% / 34.7%，证明细粒度划分与缺乏语义多样性的单源初始化组合会诱发致命的路由坍塌。
结构约束普适赋能垂直领域：多样性硬约束不仅没有分散专业任务的算力，反而使 HumanEval (+1.8%)、MBPP (+2.3%)、GSM8K (+2.1%) 与 MATH (+1.4%) 全面提升，证实专业代码/数学 prompt 内各 token 同样高度需要通用常识与跨领域多面表征的联合支撑。
逆转复用性能倒退宿疾：以往基于低质语料的复用工作在 CPT 后往往落后于原始稠密基模型，而 DivMoE 借助 Dolmino-Mix 高质语料与跨领域协同，在所有 15 个评测基准上均严格超越 Qwen3-1.7B 原生稠密模型（全集均分 55.6% vs 53.0%），并比数据量完全对齐的稠密持续预训练 baseline（53.4%）高出 2.2 个百分点，且激活计算量减半。

亮点与洞察¶

硬性拓扑约束替代软性梯度惩罚：将避免专家同源集中激活的诉求从脆弱的损失函数正则项抽离，构筑为无额外超参、零显存开销的双阶段 Top-1/Top-\(k\) 结构算子，在保障数学确定性的同时彻底免疫梯度抵消。
微观分片与宏观领域的双重解耦：将稠密 FFN 纵向切为小分片，一方面继承了保真重构原始模型非线性映射的数学特性，另一方面通过领域分组建立明确的职能边界，实现了表征复用与能力分工的有机统一。
可复用的模块化冷启动范式：不仅适用于 dense-to-MoE 的初始转化，其组内竞选、组间路由的分层调度逻辑可无缝平移至分布式异构专家网络、多 Agent 混合调用或边缘端分片模型推理中。

局限与展望¶

模型规模探索受限：目前验证的最大基座模型为 4B（MoE 达 12B），在 7B、13B 或更大参数规模下的显存开销与扩展规律尚待进一步验证。
静态领域划分假设：预先人为指定了数学、代码、科学与常识四大固定领域切片，尚未探索数据驱动的动态无监督领域划分机制。
初期训练预算开销：DivMoE 在 Stage 1 需要为 4 个领域专门化模型各额外训练 10B tokens（总计 40B dense tokens），虽相比从头训练仅增加约 8% 计算开销且稠密训练成本更低，但对极度敏感的超低算力场景仍构成轻微冷启动负担。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次指出细粒度 MoE 复用坍塌的病态机理，并以极度优雅的双阶段硬性多样性路由解决多源细粒度组合问题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 款基模型、3 种参数规模、15 个评测基准与 6 大基线对比，提供了包含 SFT、消融、各层路由热图的详尽证据链。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，病态现象揭示透彻，架构与算法数学描述极其清晰严谨。
价值: ⭐⭐⭐⭐⭐ 为开源社区从稠密大模型经济高效地构建高性能细粒度 MoE 提供了极具实操价值的标准范式。