跳转至

Routing-Free Mixture of Experts

会议: EMNLP 2026
论文: ACL Anthology
代码: https://liuyilun2000.github.io/RoutingFreeMoE/
领域: 模型压缩
关键词: 混合专家模型, 无路由架构, 自适应负载均衡, 激活稀疏性, 专家并行

一句话总结

彻底移除集中式路由器、Softmax 与 TopK 机制,让每个专家依托内部低秩投影自主决定激活,并结合双轴软插值与动态步长负载均衡,实现更优的语言建模困惑度、自发涌现的层间异构稀疏模式与低延迟专家并行扩展。

研究背景与动机

在大语言模型(LLM)向海量参数扩展的过程中,混合专家系统(MoE)通过条件计算机制,在保证每次前向传播仅激活小部分参数的前提下显著提升模型容量。然而,主流 MoE 架构长期依赖集中式外部路由器(Centralized Router)来统筹各 Token 到各专家的分发。这种结构存在天然的容量瓶颈:路由器仅由极低维度的线性参数构成,其容量比专家自身小几个数量级,却被迫在缺乏专家真实特征表达反馈的情况下,仅凭点积亲和度以试错式间接优化来猜测每个 Token 的专家偏好,极易导致早期训练不稳定及次优的分配决策。

更严重的问题在于集中式路由引入的刚性归纳偏置。传统的固定 TopK 机制强行对每个 Token 施加均一的稀疏度约束,完全忽略了自然语言序列中不同 Token 上下文复杂度的巨大差异,无法实现简单 Token 少算、复杂 Token 多算的自适应计算分配;同时,Softmax 归一化强行构建竞争性概率分布,抹除了专家激活强度的绝对幅度物理意义,使得次优但具备关键补充信息的专家残差贡献被严重压缩。而在负载均衡维度,现有机制通常在 Token-Choice(TC,保障每 Token 计算量但 expert 易失衡)与 Expert-Choice(EC,保障专家利用率但每 Token 计算量波动)之间进行非此即彼的硬性切分,人为割裂了两者在资源分配上的互补潜力。

为了打破这种由中心化路由带来的结构性桎梏,研究者亟需一种完全自底向上的解耦机制,使得专家能够直接根据自身表征能力独立判断是否参与当前 Token 的计算。核心 idea:彻底抛弃集中式路由器、Softmax、TopK 以及层内刚性负载均衡机制,让每个专家完全基于内部低秩投影与可学习偏置自主决定激活,并配合专家与Token双轴插值的动态自适应辅助损失,促成全局计算资源分配在训练中自发涌现。

方法详解

整体框架

Routing-Free MoE(RFMoE)将传统 MoE 层的集中式仲裁流程彻底重构为去中心化的专家自治执行流。当隐藏状态输入至 MoE 层时,不再经过任何共享的外部门控路由矩阵,而是直接广播给所有局部候选专家。各专家首先通过内部已有的低秩投影矩阵提取激活特征,并基于其自身的范数与可学习偏置计算绝对激活分值;接着通过全局超参阈值实现硬截断决策,仅对判定激活的 Token 继续执行完整的 FFN 前向传播,未激活的计算立即提前终止且特征被下游零开销复用。在训练反向传播过程中,联合优化的双轴可微分代理损失动态调节均衡惩罚力度,引导模型在无需中心协调的情况下自发收敛至预定的全局计算预算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入 Token 序列<br/>(x ∈ R^{T × D})"] --> D1["专家自主低秩评分与阈值截断<br/>各专家内部投影 xA_gate 结合偏置 b_i 独立决定激活"]
    D1 --> D2["双轴动态插值自适应负载均衡<br/>联合约束专家分布与Token激活并动态调节系数 λ_t"]
    D2 --> D3["全局跨层稀疏解耦与异步并行执行<br/>解除逐层刚性稀疏约束,全Gather与异步点对点汇聚"]
    D3 --> Out["FFN 专家输出加权汇聚与残差连接<br/>(h = Σ G_i(x) E_i(x) + x)"]

关键设计

1. 专家自主低秩评分与阈值截断:集中式路由容量受限与刚性TopK -> 内部低秩投影结合可学习偏置 -> 去中心化自主激活与计算复用

针对外部路由器因容量匮乏无法捕捉专家特异性、以及 TopK 机制强加均匀稀疏度的痛点,RFMoE 将激活决策完全下放至专家内部。借鉴低秩 FFN 门控结构,每个专家 \(E_i\) 在第一层门控线性投影中引入低秩降维矩阵 \(A_{gate,i} \in \mathbb{R}^{D \times r}\)(其中瓶颈秩 \(r \ll D\))。专家自主对其投影后的表征向量计算 \(L_2\) 范数 \(\|x A_{gate,i}\|_2\),以此作为该专家对输入 Token \(x\) 匹配度的内生评分。由于范数恒非负,为了建立具有判别能力的自适应门槛,模型为每个专家配置可学习的标量偏置 \(b_i\),结合 ReLU 函数计算该专家的连续激活权重:

\[G_i(x) = \text{ReLU}\left(\|x A_{gate,i}\|_2 - b_i\right)\]

当某专家的投影特征范数低于其自身偏置门槛时,\(G_i(x)\) 精确归零,该专家对当前 Token 完全处于休眠状态;同时引入全局后验阈值 \(\theta\) 提供外部可配的推理稀疏度旋钮,生成离散执行掩码 \(f_i(x) = \mathbf{1}\{G_i(x) - \theta \ge 0\}\)。若专家被激活,在后续 FFN 计算中直接复用已算得的 \(x A_{gate,i}\) 与升维矩阵 \(B_{gate,i}\) 做逐元素乘法,使得门控评估与后续网络前向无缝复用,实现零额外边缘计算开销;而休眠专家仅消耗极其轻量的秩 \(r\) 矩阵向量乘法即刻终止,从根源上摆脱了外部路由瓶颈。

2. 双轴动态插值自适应负载均衡:TC与EC互斥割裂及超参调优困难 -> 专家与Token双轴损失插值结合动态步长调度 -> 资源分配模式在训练中自适应涌现

彻底移除 TopK 后,模型必须在无集中协调的前提下自发维持激活稀疏度并防止个别专家退化崩溃。传统的 Token-Choice 与 Expert-Choice 均在某一维度施加硬性等额限制,强行排斥了跨维度的弹性调度。RFMoE 提出了统一的双轴软性辅助负载均衡损失,分别定义经验平均激活密度 \(\rho(E, B)\) 与可微代理连续密度 \(\tilde{\rho}(E, B)\),并将均衡目标解构为两个互补的正交项:

\[L_{EB} = \frac{1}{|E|} \sum_{e_i \in E} \left( \frac{1}{|B|} \sum_{x \in B} f_i(x) \right) \left( \frac{1}{|B|} \sum_{x \in B} G_i(x) \right)\]
\[L_{TB} = \frac{1}{|B|} \sum_{x \in B} \left( \frac{1}{|E|} \sum_{e_i \in E} f_i(x) \right) \left( \frac{1}{|E|} \sum_{e_j \in E} G_j(x) \right)\]

其中 \(L_{EB}\)(专家均衡损失)惩罚在整个 Batch 中获得 Token 过多或过少的专家,推动专家利用率的横向均一化;\(L_{TB}\)(Token 均衡损失)则惩罚激活专家数量偏离均值的 Token,防止计算资源在序列中产生畸形倾斜。两项通过插值参数 \(\mu \in [0, 1]\) 组合为最终负载均衡损失 \(L_{LB} = \mu L_{EB} + (1 - \mu) L_{TB}\)。更为关键的是,为了避免人工微调静态损失权重导致的训练发散或欠稀疏,损失系数 \(\lambda_t\) 采用符号自适应步长反馈控制,在每步依据实测密度与目标稀疏度 \(\rho_\infty\) 的差值动态演进:\(\lambda_{t+1} = \lambda_t (1 + \eta)^{\text{sign}(\rho_t(E, B) - \rho_\infty)}\),在训练初期允许专家充分探索表征空间,随后平滑施加稀疏约束,使最优资源分布自然涌现。

3. 全局跨层稀疏解耦与异步并行执行:层间均一稀疏强假设与All-to-All同步屏障 -> 全局密度约束放权各层自组织并消除全局阻塞 -> 激活模式自然契合特征抽象且并行扩展无损

在网络纵向结构上,传统 MoE 强制每一层维持完全一致的 TopK 稀疏配额,这种均一先验违背了大模型浅层与深层特征表征的异构需求。RFMoE 解除了逐层刚性限制,仅在全模型全局聚合层面施加目标稀疏度 \(\rho_\infty\)。各层专家网络根据上下文抽象需要自发分化:浅层(转换 Token 到概念空间)由于特征多义性而呈现高激活密度与高方差;中间层(稳定概念变换)激活收敛平缓;深层(解构回 Token 词表)再次呈现高密度协同。实验表明,单纯解除逐层约束即可使困惑度显著降低 10.7 点。

在多卡专家并行(Expert Parallelism, EP)工程落地中,标准 MoE 必须等待全量 Softmax 与 TopK 索引算出后,通过阻塞式 All-to-All 算子进行 Token 路由与反向汇聚,硬件间存在严重的同步气泡(Barrier Synchronization)。RFMoE 则从非阻塞的 All-Gather 广播 Token 序列开始,各设备在接收分块的同时异步对本地分配的 \(N/M\) 个专家进行低秩评分;由于各专家激活互不干涉,激活专家的 FFN 运算完成后以非阻塞的点对点异步消息直接返回给源设备进行局部累加,彻底移除了跨设备中心路由屏障,使得分布式推理随卡数增加展现出近乎恒定的高吞吐性能。

损失函数 / 训练策略

模型端到端训练总目标函数为语言建模损失与自适应加权负载均衡损失的线性加和:

\[L = L_{LM} + \lambda_t L_{LB}\]

其中 \(L_{LM}\) 为标准的自回归交叉熵损失,\(\lambda_t\) 初始值设为 \(\lambda_0 = 10^{-10}\),步长反馈超参设为 \(\eta = 0.02\)。在初始化阶段,各专家的独立偏置统一初始化为极小值 \(b_i = 10^{-6}\),这一暖机机制确保所有专家在训练初期的激活门槛极低,能够共同参与前向传播、共享表征空间的初步探索,有效避免了早期特定专家“赢家通吃”导致的专家塌陷(Expert Collapse)。随着训练推进,随着 \(\lambda_t\) 在自适应反馈下阶跃上升,稀疏化正则约束逐步加深,各专家基于自身学得的专有模式完成分化与相变,最终收敛至目标激活密度 \(\rho_\infty = 1/4\)。

实验关键数据

主实验

论文基于 Mixtral 架构(采用 GQA、RoPE、SwiGLU 与 RMSNorm),在 OpenWebText 数据集上针对 S(约 92M)、M(约 290M)、L(约 808M)三个规模进行等计算量(FLOPs 差异 \(\le 1\%\))的从头预训练,并在 9 个通用评测基准(PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c、OBQA、QQP、QNLI、SST-2)上开展零样本评测,语言建模验证集困惑度(PPL)与下游准确率结果如下:

规模 架构 参数量 计算量 (FLOPs) 困惑度 PPL↓ PIQA HellaS WinoG ARCe ARCc OBQA QQP QNLI SST-2 综合均分↑
S Standard MoE 92.44M 90.93M 31.22 57.56 27.19 51.22 33.42 21.33 24.60 36.82 49.46 49.08 38.96
S AoE (Lv et al.) 93.85M 88.57M 30.00 56.09 27.01 50.20 33.84 21.93 25.00 36.82 49.46 49.08 38.82
S ReMoE (Wang et al.) 92.44M 90.93M 29.60 56.58 26.69 51.62 33.38 22.27 26.00 36.83 49.48 49.08 39.10
S RFMoE (Ours) 95.32M 91.08M 27.42 58.49 27.09 50.59 35.77 21.59 24.40 36.98 49.44 53.56 39.77
M Standard MoE 289.9M 248.0M 25.00 58.32 28.26 52.33 36.20 21.42 24.60 36.85 49.46 49.31 39.64
M RFMoE (Ours) 307.3M 249.2M 22.08 58.92 27.85 49.72 35.27 21.50 26.40 37.06 49.51 57.34 40.40
L Standard MoE 808.4M 608.4M 24.58 59.19 29.37 50.83 36.41 23.29 25.00 37.57 49.28 49.08 40.00
L RFMoE (Ours) 870.6M 613.2M 19.97 58.87 28.27 50.51 37.46 21.67 26.60 39.93 49.86 53.67 40.76

消融实验

下表整合了在 S 规模下核心架构变体消融、双轴负载均衡插值系数 \(\mu\) 的影响、以及部署期全局阈值 \(\theta\) 的敏感度表现:

实验切面 配置类别 关键参数 / 设定 参数量 FLOPs 困惑度 PPL↓ 吞吐量 / 准确率 核心机制说明
架构分解 Standard MoE Top3/12 基准 92.44M 90.93M 31.22 38.96% (Avg) 传统集中式路由与 TopK 筛选
(Scale S) 无路由器变体 (AoE) \(r=16\) 93.85M 88.57M 30.00 38.82% (Avg) 专家内部评分但仍回传集中 TopK+Softmax
无路由器变体 (AoE) \(r=32\) 95.32M 91.08M 30.31 38.80% (Avg) 增加低秩维度但仍受制于集中路由
无TopK/Softmax (ReMoE) ReLU 截断门控 92.44M 90.93M 29.60 39.10% (Avg) 移除 TopK/Softmax 但仍保留集中路由器
RFMoE (Ours) \(r=16, \rho_\infty=1/4\) 93.85M 88.57M 28.73 39.42% (Avg) 完全去中心化,内部打分结合自主激活
RFMoE (Ours) \(r=32, \rho_\infty=1/4\) 95.32M 91.08M 28.33 39.77% (Avg) 最优设计,兼顾表达力与计算效率
双轴插值 仅 Token 均衡 \(\mu = 0.0\) 95.32M 91.08M 28.41 645.7 samples/s 缺乏专家级约束,部分专家过度饱和
(Scale S) 偏向 Token 均衡 \(\mu = 0.2\) 95.32M 91.08M 28.35 648.3 samples/s 平滑缓解专家间激活方差
平衡插值 (推荐) \(\mu = 0.5\) 95.32M 91.08M 28.34 662.3 samples/s 困惑度与评估吞吐双重最优
偏向专家均衡 \(\mu = 0.8\) 95.32M 91.08M 28.38 643.9 samples/s 专家分布均匀但输入域适应受限
仅专家均衡 \(\mu = 1.0\) 95.32M 91.08M 28.43 648.8 samples/s 缺乏 Token 级约束,激活对输入领域过敏
推理阈值 极端密集模式 \(\theta = 0.1, \rho_{eff}=100.0\%\) 95.32M 120.46M — 39.41% (Avg) 近乎全专家激活,无梯度爆炸或数值崩溃
\(\theta\) 调节 激进稀疏模式 \(\theta = 1.1, \rho_{eff}=29.3\%\) 95.32M 92.97M — 39.98% (Avg) 维持高准确率同时显著节省推理计算
(Scale S) 极致修剪模式 \(\theta = 1.9, \rho_{eff}=4.3\%\) 95.32M 83.14M — 40.23% (Avg) 计算量降低 31%,性能保持极端稳健

关键发现

  • 语言建模质量随规模扩展增益显著:在 S、M、L 三个规模下,RFMoE 的验证集困惑度相对于标准 MoE 分别降低了 \(12.2\%\)(31.22 → 27.42)、\(11.7\%\)(25.00 → 22.08)和 \(18.8\%\)(24.58 → 19.97),展示出计算效率随参数量增加而持续扩大的优异扩展性(Scaling Advantage)。配对统计检验(27 组匹配样本)显示平均增益达到 \(+0.77\) 个百分点(\(t=1.858, p=0.037 < 0.05\), Cohen's \(d=0.358\)),证实其性能优势具备统计学显著性。
  • 双轴软插值正交互补:当 \(\mu=0.5\) 时,模型同时兼顾了跨任务泛化性与硬件并行吞吐量(662.3 样本/秒)。单纯依赖 Token 均衡(\(\mu=0.0\))会导致少数专家出现过热激活,而单纯依赖专家均衡(\(\mu=1.0\))则使激活分布对输入领域过于敏感,证实了两个目标在特征空间与计算调度上的正交互补性。
  • 全局稀疏解除引发层级自组织分工:将逐层刚性稀疏约束放宽至全局聚合约束后,S 规模的验证困惑度从 39.44 骤降至 28.74(大幅改善 10.7 点)。模型自发形成了“浅层高激活探索、中层低方差处理、深层高密度重构”的计算分配形态,完美契合 Transformer 表征抽象规律。
  • 训练超参鲁棒性极高:在学习率敏感度实验中,当学习率提升至 \(\alpha=2 \times 10^{-3}\) 时,标准 MoE 发生了完全的训练崩溃(PPL 恶化至 214.0),而 RFMoE 仍能稳定收敛至 27.42 的超低困惑度,展示出由于消除离散 TopK 扰动后平滑梯度流带来的卓越优化稳定性。
  • 多卡专家并行吞吐显著占优:在 4 卡专家并行(\(M=4\))部署下,标准 MoE 受阻塞式 All-to-All 拖累,Prefill 和 Decode 吞吐较单卡分别下跌 \(18\%\) 与 \(23\%\);而 RFMoE 凭借全 Gather 结合异步点对点汇聚,吞吐保持率高达 \(97.8\%\)(Prefill)与 \(95.6\%\)(Decode),在 \(M=4\) 时 Prefill 吞吐达到标准 MoE 的 1.19 倍,Decode 达到 1.12 倍。

亮点与洞察

  • 去中心化局部自治取代集中式仲裁:RFMoE 将激活决策逻辑完全封装于各专家内部,利用低秩降维投影直接对输入表征做出自发响应。这种设计消除了传统路由器以极小容量猜测全局专家适配度的信息瓶颈,彻底释放了专家的表征自主性。
  • 激活权重与前向计算无损复用:专家内部门控投影 \(x A_{gate,i}\) 既承担了激活范数打分的判别功能,又在激活后直接作为 SwiGLU 结构的门控矩阵输入。判别与前向无缝复用,完全抹除了评分阶段的冗余计算。
  • 单旋钮推理期计算-性能平滑权衡:训练收敛后各专家的激活分值高度两极化(极高或极低),这使得后验阈值 \(\theta\) 成为一个极其平滑的推理旋钮。将激活密度从 \(100\%\) 大幅压缩至 \(4.3\%\),下游基准均分波动不足 2 个绝对点,使线上服务能够根据实时算力负载动态自适应调节。

局限与展望

  • 预训练规模与语料范畴受限:目前验证实验仅在规模上限为 0.8B、基于 OpenWebText 语料单 Epoch 的从头预训练设置下完成。在更大参数量(百亿或千亿级)以及更复杂的数学推理(GSM8K)、代码生成(HumanEval)等多任务混合配比语料下的泛化行为尚未验证。
  • 现有 MoE 权重的无缝转换机制缺位:论文主要聚焦从头训练(From Scratch),尚未探索如何将现存已预训练完成的集中式标准 MoE(如 Mixtral-8x7B、DeepSeek 等)通过轻量微调或免训方式无损迁移为 RFMoE 结构。
  • 未来方向:探索与共享专家架构(Shared Expert)及无辅助损失动态偏置算法(Auxiliary-Loss-Free)的有机融合,推进超大规模专家并行通信库针对 RFMoE 异步点对点消息模式的底层算子定制优化。

相关工作与启发

  • vs Standard MoE (Fedus et al., 2022 / Shazeer et al., 2017): 依赖集中式线性路由器、TopK 离散硬选择与 Softmax 竞争概率,存在容量瓶颈与刚性稀疏约束;RFMoE 彻底移除集中组件,由专家内部自主评分与阈值截断决定,实现动态自适应稀疏度。
  • vs Autonomy-of-Experts (AoE, Lv et al., 2025): AoE 提出了基于专家内部低秩投影特征范数进行评分,但仍将所有专家的得分回传至中心化的 TopK 和 Softmax 管道;RFMoE 是真正的全去中心化方案,直接在各专家内部通过可学习偏置与全局阈值完成本地判别。
  • vs ReMoE (Wang et al., 2024b): ReMoE 移除了 TopK 和 Softmax 改用 ReLU 门控保留了绝对强度,但仍保留了集中式外部路由器;RFMoE 继承了 ReLU 保留绝对幅度的优势,但进一步根除了外部路由器这一单点瓶颈。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 彻底打破了延续近十年的 MoE 集中式路由架构定势,首次构建完全去中心化、专家自发激活的系统范式。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 个模型尺度、9 项基准、详尽的架构消融、训练动力学分析、分布式 EP 关键路径建模与多卡吞吐实测。
  • 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导层层递进,理论建模与工程通信路径剖析清晰明了,图表呈现信息密集且自洽。
  • 价值: ⭐⭐⭐⭐⭐ 为解决 MoE 路由容量瓶颈、离散优化不稳定及分布式专家并行通信开销提供了全新的基础设施级思路。