Emo: Pretraining Mixture of Experts for Emergent Modularity¶

会议: NeurIPS 2026
arXiv: 2605.06663
OpenReview: https://openreview.net/forum?id=YavQQZ3cUM
代码: https://github.com/allenai/EMO
领域: LLM效率
关键词: 混合专家模型, 模块化架构, 文档级路由约束, 内存受限推理, 自涌现特化

一句话总结¶

Emo 提出一种无须预定义人工领域标签的自监督 MoE 预训练目标，利用文档边界约束各 token 共享专家池，使得模型在全量容量相当的同时自发涌现高阶语义模块化，仅激活 12.5%–25% 专家即可无损部署于特定领域。

研究背景与动机¶

现有大型语言模型（LLM）通常以单体架构（monolithic systems）进行预训练和部署。无论实际下游场景是通用的对话，还是高度狭窄的代码生成、数学推理或生物医疗查询，系统都必须在显存中常驻完整参数，这带来了极大的内存与计算负担，且无法对特定能力模块进行独立升级与调试。稀疏混合专家模型（Mixture-of-Experts, MoE）虽然在推理时每个 token 仅激活少数专家，看似提供了解决思路，但在实际部署中依然要求全部专家常驻显存。这是因为标准 MoE 的专家特化通常落在标点符号、介词或字面词法等极低层次的语法特征上，同一文档甚至同一句子内的 token 会频繁离散地路由到全网络几乎所有专家中，强行截取局部专家子集会导致模型性能断崖式崩溃。

要让 MoE 支持真正独立的专家子集抽取与即插即用组合，此前的工作往往依赖人工先验，例如预先将语料划分为数学、代码等显式领域并分别训练独立专家或分支。然而，人工划分不仅标注昂贵、存在主观偏见与边界模糊问题，更割裂了通用表征的学习空间，显著损害了模型的整体能力上限；而像 ModuleFormer 等基于互信息约束的探索，在子集压缩率低于 40% 时性能同样急剧劣化。核心矛盾在于：如何在不依赖人工标签的前提下，使 MoE 自发涌现出具有独立语义和可执行能力的领域专家模块，同时在全量组合时不损失通用基础性能。

本文的切入视角非常精巧：预训练语料中单个文档内部的 token 天然高度共属于同一语义领域，文档物理边界本身就是一种高质量、无须人工标注的弱监督信号。核心 idea：在预训练中引入文档级共享专家池约束，强制同一文档内的所有 token 只能从动态采样的共享专家子池中选择激活专家，促使专家在自监督下自发按语义主题聚类涌现出高阶模块化结构。

方法详解¶

整体框架¶

Emo 整体沿用包含共享专家与路由专家的 Decoder-only MoE 架构，并在预训练阶段重构了路由分配机制。对于输入的任意训练文档，模型首先根据文档内部所有 token 经过基础路由层输出的概率分布均值，动态选拔出该文档专属的专家候选池 $\mathcal{D}$；随后将文档中每个 token 的路由空间严格截断在池 $\mathcal{D}$ 内部并重新归一化；最后在各 token 局部选择 Top-$k$ 专家进行前向计算。配合全局负载均衡和随机动态专家池容量采样，模型在完全自监督的条件下逼迫各专家群组自发承担高层次语义领域的分工。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入预训练文档序列<br/>包含 T 个连续 token"] --> B["1. 文档级共享专家池选择<br/>聚合整篇 token 路由概率均值"]
    B --> C["2. 掩码局部路由与归一化<br/>强制局限于大小为 d 的子池 D"]
    C --> D["3. 动态容量与全局负载均衡<br/>随机采样 d ~ U(k, nr) 并跨 DP 组聚合"]
    D --> E["4. 下游领域极简子集提取<br/>基于少量样本平均概率抽取部署"]
    E --> F["独立单领域轻量模型 / 全量强组合模型"]

关键设计¶

1. 文档级共享专家池选择：以文档边界为自监督锚点聚集语义 标准 MoE 允许每个 token 自由在全量 $n_r$ 个路由专家中无约束挑选，导致同一篇讨论医学的论文中，各 token 分别被词法触发器派发到不同专家，无法形成概念层面的聚合。针对这一离散发散痛点，Emo 在每个 MoE 层针对序列长度为 $T$ 的文档，先计算所有 token 路由概率的平均向量： $$\bar{p}_{\mathrm{doc}} = \frac{1}{T}\sum_{t=1}^{T} p_t, \quad p_t = \mathrm{softmax}(r(x_t)) \in \mathbb{R}^{n_r}$$ 随后选取平均概率最高的前 $d$ 个专家构成该文档的专家池 $\mathcal{D} = \mathrm{Top}\text{-}K(\bar{p}_{\mathrm{doc}}, d)$。通过将文档边界作为天然的语义弱聚类标签，文档内的高频共现概念被强行绑定在同一群专家中，为高阶语义特化的自发涌现奠定了结构基础。

2. 掩码局部路由与归一化：池内约束与反向传播闭环 确定候选池 $\mathcal{D}$ 后，如何保证 token 路由计算既受到严格约束又不破坏梯度的连贯性是关键。Emo 对原始路由分布 $p_t$ 施加硬掩码，仅保留落入 $\mathcal{D}$ 内的专家分量，并对有效概率进行局部重新归一化： $$\hat{p}_t(i) = \begin{cases} \dfrac{p_t(i)}{\sum_{j \in \mathcal{D}} p_t(j)}, & \text{若 } i \in \mathcal{D} \\ 0, & \text{其他} \end{cases}$$ 最终每个 token 实际激活的专家集合为 $\mathcal{R}_t = \mathrm{Top}\text{-}K(\hat{p}_t, k)$，其 FFN 输出由该 $k$ 个局部专家以及常驻的 $n_s$ 个共享专家共同加权输出： $$\mathrm{FFN}_{\mathrm{out}}(x_t) = \sum_{i \in \mathcal{R}_t} (\hat{p}_t)_i E_i(x_t) + \sum_{j=1}^{n_s} E_j^{(s)}(x_t)$$ 该设计使得非目标专家的权重在当前文档计算中直接置零，切断无关专家在特定文档上的低级语法投机，倒逼池内专家形成紧密协作的完整领域能力。

3. 动态容量采样与全局负载均衡：兼顾任意尺寸推理与多卡稳定性 在训练工程中，若将专家池大小 $d$ 固定为常数（如 32），模型会对特定尺寸严重过拟合，在推理时一旦改变子集规模就会发生性能断崖。为此，Emo 在预训练中将 $d$ 建模为文档级的均匀离散随机变量： $$d \sim \mathcal{U}\{k, \dots, n_r\}$$ 使得模型在前向过程中能够自适应适应从极端紧凑（$d=k=8$）到全量模型（$d=n_r=127$）之间的任意子集尺寸。与此同时，局部 micro-batch 级别的辅助负载均衡损失（Auxiliary Load Balancing Loss）会逼迫单卡在单文档内均匀分配专家，这与“同一文档集中在子池”的目标严重对立，导致训练崩溃。Emo 采用全局负载均衡（Global Load Balancing），通过在数据并行（DP）通信组之间进行 All-Reduce 聚合专家分配频率 $\bar{f}_i = \sum_{j=1}^{n_p} f_i^j$，而在各组本地计算概率矩阵乘积： $$\mathcal{L}_{\mathrm{LB}} = \frac{1}{n_p} \sum_{j=1}^{n_p} \left[ n_r \sum_{i=1}^{n_r} \bar{f}_i \cdot P_i^j \right]$$ 该机制允许不同设备处理的不同文档各自集中在不同专家子池中，而在全集群宏观视角维持全量专家的负载均衡，完美化解了模块化聚集与硬件利用率之间的理论冲突。

4. 下游领域极简子集提取：超高效少样本专家定位 在部署特定下游领域（如数学竞赛、生物医学）时，Emo 彻底摒弃了繁琐且昂贵的任务剪枝搜索算法。由于预训练阶段已经自发形成了语义解耦，仅需在下游领域准备极少量的验证数据（实验表明仅需 1–5 条 Few-shot 样本），将样本输入模型并提取各层路由器的平均激活概率，挑选出均值最高的 Top-$d$ 个专家，即可直接将剩余专家从显存中剥离并独立提供服务。该提取方式无需修改模型权重，对简单的路由器概率平均法与复杂的 Easy-EP 等剪枝搜索均表现出一致的高鲁棒性。

损失函数 / 训练策略¶

模型总损失函数包含标准自回归交叉熵损失、全局负载均衡损失以及路由器 Logit 正则项： $$\mathcal{L} = \mathcal{L}_{\mathrm{CE}} + \alpha \mathcal{L}_{\mathrm{LB}} + \beta \mathcal{L}_{\mathrm{RZ}}$$ 在超参数调优中，Emo 设定学习率 $\mathrm{lr} = 4 \times 10^{-3}$，负载均衡系数 $\alpha = 0.1$。模型总参数为 14B，包含 128 个专家（127 个路由专家 + 1 个共享专家），激活参数仅为 1B（$k=8$），预训练在 1 万亿（1T）tokens 的 OLMoE 语料库上从零进行，最后附带 50B tokens 的线性退火阶段。

实验关键数据¶

主实验¶

在 1T tokens 训练下的全量模型评测中，Emo 展现出与标准 MoE（Reg. MoE）完全匹敌的基础通识与推理能力；且由于采用了 Prenorm、去除了 QK-Norm 并引入了 1 个共享专家，两者在 1T 数据下的表现大幅超越了在 5T tokens 上训练的原始 OLMoE 基准。

模型	预训练 Tokens	激活参数	MC9 (9项选择)	Gen5 (5项生成)	MMLU	MMLU-Pro	GSM8K
OLMoE (64E, k=8)	5T	1B	63.5	57.6	42.8	18.7	13.7
Reg. MoE (128E, k=8)	1T	1B	63.9	59.7	42.4	19.3	13.9
Emo (本文)	1T	1B	63.1	57.9	42.8	18.5	12.0
Dense 基线	130B	1B	54.1	41.5	33.0	12.2	2.7
Reg. MoE	130B	1B	60.1	51.0	37.5	15.8	5.2
Emo (本文)	130B	1B	59.1	49.2	38.1	15.5	4.2

在最具核心价值的专家子集选择性部署（Selective Expert Use）实验中，Emo 在仅保留极小比例专家时表现出惊人的鲁棒性，而标准 MoE 彻底崩盘： - 保留 25% 专家（32/128）：在 MMLU 与 MMLU-Pro 的领域子集评测中，Emo 性能仅下降约 1%（MMLU 达 41.4% vs 全量 42.8%）；而标准 MoE 下降超过 10%（跌落至 32% 以下），甚至劣于从零训练的同等参数 Dense 模型。 - 保留 12.5% 专家（16/128）：Emo 性能仅下降约 3%（MMLU 仍达 39.9%）；而标准 MoE 暴跌超过 15%。 - 微调恢复度：在 GSM8K 等复杂数学任务上，Emo 仅保留 12.5% 专家微调后即可 100% 恢复全量模型的能力（微调达到 28.3% vs 全量 27.8%）。

消融实验¶

消融实验深入验证了共享专家配置与专家池采样策略 $d$ 对模块化推理的影响（在 130B tokens 语料上评估 MMLU，测试不同推理专家子集规模）：

路由专家 $n_r$	共享专家 $n_s$	训练专家池 $d$	推理保留 8 专家 (6.25%)	推理保留 16 专家 (12.5%)	推理保留 32 专家 (25%)	推理保留 64 专家 (50%)	全量 128 专家 (100%)
128	0	固定 32	30.2	35.3	37.2	36.0	31.9
127	1	固定 32	29.6	34.4	36.6	35.6	33.6
127	1	$\mathcal{U}(8, 128)$	33.7	36.4	37.0	37.7	38.1

关键发现¶

动态采样的必要性：固定专家池大小（$d=32$）训练的模型会出现严重过拟合，当推理部署在 8 个专家或全量 128 专家时，其得分反而剧烈衰减至 29.6% 与 33.6%；而动态采样 $\mathcal{U}(8, 128)$ 在各个子集规模上均保持平滑递增并维持最优 Pareto 前沿。
少样本专家选拔极其高效：验证集仅需 1–5 条样本即可精准识别出领域相关专家；即便在没有任务描述且未进行微调的纯零样本设定下，子集衰减同样极小。
语义聚类真实涌现：通过对 12,000 篇文档的前 100 个 token 进行路由向量 Spherical k-means 聚类，标准 MoE 聚出的簇均为“介词”、“代词”、“连系动词”等表层句法；而 Emo 聚出的簇则是“电影书籍评论”、“医疗健康”、“新闻报道”、“政治选举”等高度明确的高阶语义主题，且同一文档内的 token 几乎 100% 聚在同一簇内。
领域相似度契合人类认知：在 WebOrganizer 24 个标注领域的专家激活相似度分析中，Emo 的跨领域相似度差异极其鲜明（不相关领域余弦相似度 $<0.4$），并在深层网络中表现出极强的领域分化；而标准 MoE 各领域的专家激活相似度全线高于 0.6，缺乏语义辨识度。

亮点与洞察¶

将预训练数据物理边界转为自监督信号：无须人工构建多领域数据管道或设定生硬的领域前缀，仅依靠文档自然截断即达成了语义专家的自组织与解耦，设计极其简洁优雅。
打破 MoE“必须全量加载才能用”的部署死锁：打破了过去 MoE 大模型（如 DeepSeek-V3/Mixtral）在端侧或显存受限场景下因专家离散分布必须常驻全部权重的限制，使单一预训练模型可根据需要任意裁剪拆装为各领域专用模型。
超越从零训练的固定预算模型：从 Emo 中剥离出的 32 专家子集在数学、代码等领域的表现甚至超过了耗费大量算力从零单独训练的 32 专家 MoE 或 8 专家 Dense 模型，验证了全量预训练中的知识协同效应可沉淀至子模块中。

局限与展望¶

通用宽泛任务裁剪表现受限：对于 MMLU 中的“Other”综合性杂项分类等缺乏鲜明领域边界的任务，抽取小规模专家子集的效果不如专门训练的通用小模型，这在逻辑上符合模块化特化的权衡代价。
后训练退火改造成本与效果：论文虽然验证了直接对已训练好的标准 MoE 进行退火（Emo-anneal）能够诱导出一定模块化能力，但其表现仍明显逊于从零开始用 Emo 预训练的模型，如何低成本将现有千亿单体 MoE 转化为模块化架构尚待更深度的算法突破。
独立专家持续学习反哺通用模型：虽然初步探索了将微调后的 32 专家模块插回原 128 专家全模型能提升性能，但如何实现完全解耦的领域专家独立并行增量训练与无损合并仍是开放问题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用文档边界自监督实现 MoE 的高阶语义模块化涌现，概念构思极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1T/130B 双尺度预训练、少样本专家提取、表层/语义聚类表征分析及领域激活余弦分析，证据链闭环扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，技术方案直击 MoE 痛点，实验设计层层推进且开源完备。
价值: ⭐⭐⭐⭐⭐ 为超大稀疏模型的端侧受限推理、动态按需组合、模型可解释审计及模块化增量更新指明了极具前景的方向。