跳转至

Complexity-Aware Routing: Detecting and Allocating Dynamic Compute for Efficient Mixture-of-Experts Large Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/Acking646/car
领域: 模型压缩
关键词: 混合专家模型, 动态路由, 计算复杂度感知, 香农惊异度, 预测熵

一句话总结

针对传统 MoE 固定 Top-k 路由造成的计算浪费与欠拟合难题,CAR 提出将离线双信号(香农惊异度与预测熵)感知与动态离散专家分配解耦,在冻结主干下使 Qwen3-30B-A3B 在激活参数降低约 10% 的同时实现 GSM8K 提升 1.57 点。

研究背景与动机

随着大语言模型规模的持续扩展,稀疏混合专家(Mixture-of-Experts, MoE)架构凭借条件激活机制,成功实现了模型总参数容量与单 token 计算成本的有效解耦。以 Mixtral、DeepSeek-MoE 为代表的现代架构,在每一个前馈层中仅激活极少数专家(例如固定选择 Top-2 或 Top-8),以远低于致密模型的浮点运算量达到了顶尖的语言理解与推理性能。然而,现行主流 MoE 普遍采用严格的静态 Top-k 路由策略,即无论当前输入的 token 是缺乏语义负荷的高频功能词(如 "the"、"is")还是蕴含深层推理逻辑的核心概念实体,均机械分配等量的专家计算配额。这种“一刀切”的计算预算机制,直接导致简单 token 面临严峻的算力冗余浪费,而高难度 token 却因专家协同受限而陷入欠拟合困境。

为了破除静态路由的刚性约束,学术界近年来探索了一系列动态计算分配方案。例如,通过门控概率累积阈值(Top-p / MoE-D)进行专家筛选、引入可学习的空专家(AdaMoE)跳过冗余计算,抑或通过注意力权重启发式估算(DA-MoE)与强化学习下游任务奖励驱动(Ada-K)来优化路由决策。然而,这些现有动态机制存在一个本质症结:它们大多依赖启发式阈值、不稳定的端到端门控梯度或任务特定的下游奖励信号,缺乏客观衡量 token 真实认知加工难度的内在依据。模型内部的门控置信度容易受到训练扰动与负载均衡正则项的干扰,注意力权重充斥着表层上下文噪声,而下游 RL 策略则面临严重的训练崩溃风险与泛化脆弱性,无法从根本上建立可解释、可泛化的复杂度评估基准。

面对上述两难困境,本文主张将信息论与认知语言学中的核心度量引入 MoE 动态路由,直接将计算资源的分配建立在无偏的文本内在信息密度之上。通过联合利用香农惊异度(Shannon Surprisal)量化特定 token 在局部上下文中的不可预测性,并以预测熵(Predictive Entropy)建模词表全局分布的不确定性,能够客观勾勒出每个 token 的多维度认知负荷需求。核心 idea:提出计算复杂度感知路由(CAR)框架,将基于香农惊异度与预测熵的双信号复杂度感知与离散动态专家分配完全解耦,利用跨层循环记忆网络在冻结主干下精准拟合教师信号,自适应分配专家预算。

方法详解

整体框架

CAR 整体遵循“感知-决策解耦”(Perception-Decision Decoupling)架构设计,规避了直接对离散路由决策求导导致的梯度优化困难与训练崩溃风险。整个方法流水线包含三个连续阶段:首先,利用高算力教师模型执行离线前向批处理,提取每个 token 位置的香农惊异度与预测熵,并通过全局鲁棒百分位数归一化消除长尾离群值干扰;其次,在完全冻结 MoE 主干参数的前提下,构建带跨层循环复杂度记忆(RCM)的轻量级复杂度感知(CP)模块,通过均方误差损失拟合双复杂度标签;最后,在动态推理阶段,动态专家分配器(DEA)将预测的连续复杂度分数通过概率聚合与幂律缩放映射为离散专家数量 \(k_t \in [k_{\min}, k_{\max}]\),驱动底层路由网精准派发专家。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入序列 Tokens"] --> B["双信号离线复杂度提取<br/>香农惊异度 S + 预测熵 H"]
    B --> C["鲁棒百分位归一化<br/>消除长尾极值至 [0, 1]"]
    C --> D["跨层循环复杂度记忆与感知<br/>RCM 状态递推 + CP 模块回归"]
    D --> E["动态专家分配器 DEA<br/>概率聚合联合分数 + 幂律离散映射"]
    E --> F["动态专家路由执行<br/>按 token 复杂度分配 k_t 个专家"]

关键设计

1. 双信号复杂度提取与鲁棒归一化:消除主观启发式偏差与长尾极值

以往基于门控概率或注意力权重的动态路由方案往往受困于模型内部置信度的不可靠性与高频噪声。为此,CAR 从信息论出发,利用高性能冻结教师模型 \(M_{\text{teacher}}\) 提取两路互补的客观信息论信号:香农惊异度 \(S(t_i)\) 与预测熵 \(H(t_i)\)。其中惊异度衡量观测 token \(t_i\) 在上下文 \(t_{<i}\) 下的局部后验预测难度(即 \(-\log_2 P(t_i | t_{<i})\)),而预测熵则表征模型在词表全空间上的先验不确定度。由于自然语言中的惊异度与熵呈现显著的长尾偏态分布,直接采用全局 Min-Max 缩放会导致绝大多数信息丰富的普通 token 被严重挤压至极其狭窄的数值区间,丧失区分度。设计通过在语料库级别统计 5% 和 95% 百分位数 \([S_{\text{robust}}^{\min}, S_{\text{robust}}^{\max}]\) 进行截断,实施全局鲁棒归一化:

\[C_S(t_i) = \frac{\text{clip}(S(t_i), S_{\text{robust}}^{\min}, S_{\text{robust}}^{\max}) - S_{\text{robust}}^{\min}}{S_{\text{robust}}^{\max} - S_{\text{robust}}^{\min}}\]

同理获得归一化熵序列 \(C_H(t_i)\),将目标严格约束于 \([0, 1]\) 之间,既压制了极端离群词对优化的破坏,又确保了特征尺度的数值稳定。

2. 跨层循环复杂度记忆与感知:突破单层局部局限维持连贯推理

在深度 MoE 网络中,底层通常负责基础词法嵌入编码,中层聚合语义表征,顶层收敛至预测输出,单一网络层的局部隐状态往往难以独立判定当前 token 在多步推理轨迹中的宏观难度。为了捕获跨层深度依赖并保证推理连贯性,CAR 设计了跨层共享的循环复杂度记忆单元(Recurrent Complexity Memory, RCM)。在第 \(l\) 层,当前层的隐藏状态 \(h_t^l\) 经层特定线性投影 \(x_l' = \text{Proj}_l(h_t^l)\) 处理后,连同前一层的循环记忆状态 \(h_{\text{rcm}}^{l-1}\) 共同输入共享的 RCM 单元中更新记忆状态:

\[h_{\text{rcm}}^l = \text{RCM}(x_l', h_{\text{rcm}}^{l-1})\]

随后,层专属的双层轻量 MLP(含 ReLU 激活与 Sigmoid 约束)基于更新后的记忆状态预测当前 token 的双信号估计值 \([\hat{C}_l^S(t), \hat{C}_l^H(t)] \in [0, 1]^2\)。这种递归设计使得浅层网络能够提前感知全局推理轨迹,在中深层动态调整计算投入,避免了孤立层决策引起的局部振荡。

3. 动态专家分配器:连续复杂度到离散预算的非线性动态映射

为了将多维连续复杂度信号转化为离散的专家激活预算 \(k_t\),同时不引入多余的可调超参数,动态专家分配器(DEA)首先借助概率并集(Probabilistic Union)将预测的惊异度与熵聚合为单一有效复杂度指标:

\[C_{\text{eff}}(t) = 1 - (1 - \hat{C}_l^S(t))(1 - \hat{C}_l^H(t))\]

该聚合机制保证了只要 token 在惊异度(突发意外性)或熵(全局模糊性)任一维度展现出较高难度,其有效复杂度均会显著抬升。随后,DEA 采用带有曲率调节因子 \(\gamma\) 的幂律缩放策略计算暂定专家预算,并通过上下界截断完成最终离散分配:

\[\tilde{k}_t = \text{round}\left(k_{\min} + (C_{\text{eff}}(t))^\gamma \cdot (k_{\max} - k_{\min})\right), \quad k_t = \text{clamp}(\tilde{k}_t, k_{\min}, k_{\max})\]

其中 \(k_{\min}\) 设定模型性能保底边界,\(k_{\max}\) 对应主干原生的 Top-k 容量上限。超参数 \(\gamma\) 充当推理性能与效率的“旋钮”:性能优先模式(\(0 < \gamma < 1\))为中等复杂度 token 倾斜更多算力;平衡模式(\(\gamma = 1\))保持线性映射(默认设置);效率优先模式(\(\gamma > 1\))则严控高算力配额,仅为极少数复杂 token 解锁上限。

损失函数 / 训练策略

CAR 采用严格的参数隔离(Parameter Isolation)对齐训练策略。在对齐阶段,冻结包含自注意力、专家前馈网络与原有路由器在内的整个 MoE 主干参数 \(\Theta_{\text{MoE}}\),仅更新共享 RCM 参数 \(\Theta_{\text{RCM}}\) 与各层 CP 预测器参数 \(\Theta_{\text{CP}}\)。训练目标定义为遮罩真实有效 token 上的联合均方误差(MSE):

\[\mathcal{L}_{\text{complexity}} = \frac{1}{N_{\text{valid}}} \sum_{i=1}^{B \times L} M_i \cdot \left(\|\hat{C}_l^S(t_i) - C_S(t_i)\|^2 + \|\hat{C}_l^H(t_i) - C_H(t_i)\|^2\right)\]

训练在由 10K 随机 RedPajama 样本、2K GSM8K 正确推理链以及 200 条 MMLU 数据混编的 12K 紧凑语料上进行,仅需单轮(1 epoch)训练,采用 AdamW 优化器(学习率 1e-3,batch size 为 4,梯度累积 2 步)。在 Qwen3-30B-A3B 上,可训练参数量仅 158.7M(占模型总参数仅 0.52%),在单计算节点上耗时不足 3 小时,彻底杜绝了端到端联合训练易导致的表征崩溃与路由漂移。

实验关键数据

主实验

主实验在 Qwen3-30B-A3B(总参数 30.6B,激活参数 3B,128 个路由专家,默认激活 8 个)上展开,测试零样本准确率与平均激活参数量。

方法 激活参数量 MMLU GSM8K ARC-C ARC-E Wino TruthfulQA CSQA WMT24++ BBH
Top-k (k=7) (基线) 2.66B 85.53 94.54 91.89 94.43 67.29 74.42 81.84 79.62 58.13
Top-k (k=8) (基线) 3.00B 85.53 95.70 91.99 94.24 68.07 74.42 82.03 80.68 59.26
DA-MoE 2.87B 58.33 60.13 72.66 85.94 64.60 14.84 81.81 79.42 42.34
AdaMoE 2.68B 85.51 96.24 91.92 94.23 67.85 74.25 81.90 80.54 58.24
MoE-D (\(p=0.35\)) 2.62B 85.75 94.32 91.70 94.34 68.85 73.93 81.84 80.48 57.21
MoE-D (\(p=0.5\)) 2.84B 85.97 95.13 92.19 94.53 68.64 73.93 82.42 81.22 58.41
Ada-K 2.67B 86.20 95.47 91.97 94.41 67.95 74.41 82.05 81.12 58.32
CAR (\(k_{\min}=6\)) (本文) 2.68B 86.41 97.27 91.89 94.14 68.97 74.71 82.32 81.21 57.41

在 DeepSeek-MoE-16B(总参数 16.4B,基准 Top-6 激活 2.80B 参数)上的泛化验证: - 静态 Top-6 基线:激活 2.80B,MMLU 44.72,ARC-C 52.22,HellaSwag 79.84,GSM8K 16.45。 - CAR:激活降至 2.31B(节省 17.5% 算力),MMLU 提升至 46.20(+1.48),ARC-C 跃升至 58.50(+6.28),HellaSwag 达 81.78,GSM8K 达 16.58。

消融实验

在 Qwen3-30B-A3B 主干上检验各个组件与不同信号源的作用:

配置 MMLU GSM8K ARC-C TruthfulQA 激活参数量 说明
CAR (完整模型) 86.41 97.27 91.89 74.71 2.68B 完整双信号解耦架构
随机信号 (Random Signal) 84.85 93.10 91.24 73.85 2.70B 算力分配脱离难度感知,多项指标剧烈劣化
去除惊异度 (w/o Surprisal) 85.44 94.15 92.19 74.17 2.70B GSM8K 骤降 3.12 点,证实局部惊异度是推理核心
去除预测熵 (w/o Entropy) 85.92 96.12 91.95 74.52 2.69B 验证全局不确定性信号的互补增益
去除循环记忆 (w/o RCM) 86.52 96.35 91.68 74.45 2.68B 孤立层预测致多步推理能力衰退 (GSM8K -0.92)
去除鲁棒归一化 (w/o Norm.) 86.38 96.84 91.97 74.65 2.64B 换用 Min-Max 缩放导致长尾信号表征受损
去除 DEA (w/o DEA) 85.11 94.85 92.28 74.31 2.71B 换用固定硬阈值分桶,离散映射僵化掉点
未对齐 (w/o Align.) 86.18 95.33 92.09 74.61 3.00B 随机初始化权重直接动态推理,容量控制失效
端到端联合微调 (E2E Joint) 85.09 96.48 91.31 73.32 2.70B 主干与路由共同更新诱发内部崩溃 (TruthfulQA -1.39)
门控熵 (Gating Entropy) 85.18 95.20 91.12 74.81 2.55B 内部路由歧义替代外部难度,复杂推理欠拟合
注意力熵 (Attention Entropy) 85.64 96.82 91.47 73.52 2.78B 表层注意力噪声导致算力虚高且准确率受挫

关键发现

  • 信息论双信号具备强互补性:消融显示去除香农惊异度(w/o Surprisal)造成 GSM8K 从 97.27 断崖式下滑至 94.15,表明在密集多步推演中,局部上下文的不确定性突发直接指示了推理转折点;而预测熵的加入则进一步增强了词表级别语义扩散的容错度。
  • 词性与层级算力分层符合语言学认知:对激活深度的词性分析揭示,名词与动词等实词(Content Words)在深层网络持续激活超过 6.7 个专家,承载核心语义转换;而连词、标点等虚词(Syntactic Scaffolding)仅激活低于 6.5 个专家。
  • 解耦隔离训练有效防范路由坍缩:与端到端联合训练(E2E Joint,导致 TruthfulQA 跌落至 73.32)相比,冻结 MoE 主干仅调轻量 RCM 与 CP 模块的策略,不仅将训练成本压缩至 3 小时,还完好保持了专家的平衡激活分布(与基线未微调模型的负载曲线完美拟合,无专家闲置或过载)。

亮点与洞察

  • 客观信息论度量取代内部隐状态启发式:传统动态 MoE 依赖门控输出概率或注意力权重,容易将路由器的自身学习不确定性误判为输入难度;CAR 引入香农惊异度与预测熵,为动态算力分配奠定了无偏的认知计算基石。
  • “感知-决策解耦”实现无崩塌快速对齐:通过将连续复杂度回归与离散动态映射拆分,CAR 避开了强化学习或不可导门控的高方差梯度更新,仅用 12K 条通用样本和 0.52% 的微小参数增量,即完成了稳健的动态路由适配。
  • 零成本动态效率旋钮:DEA 中的幂律曲率调节因子 \(\gamma\) 支持在离线部署或线上运行时自由切换性能模式(\(\gamma < 1\))与超低开销模式(\(\gamma > 1\)),无需对模型进行任何二次训练即可在不同硬件功耗约束下灵活伸缩。

局限与展望

  • 实际生成吞吐量受制于不规则 CUDA 调度:尽管微基准分析显示 CP 预测器带来的计算开销仅占端到端时延的 0.5%(16.63ms),但动态变化的激活专家数破坏了传统静态 Top-k 的固定张量形状与高度优化的底层分发算子,目前端到端吞吐(1.47 samples/s)相较静态 Top-8(2.32 samples/s)仍存在工程执行层面的差距。
  • 验证范围集中于后对齐阶段:目前 CAR 仅在预训练后冻结主干进行轻量级参数隔离微调,尚未探索在大规模全参数预训练阶段自底向上使用该机制的效果与训练动态。
  • 后续优化方向:针对变长非齐次张量开发专用的轻量专家并行调度算子与通信融合 Kernel,并探索利用蒸馏技术将教师复杂度感知能力进一步内化到主干前向计算中。

相关工作与启发

  • vs DA-MoE / MoE-D: DA-MoE 与 MoE-D 试图通过注意力权重聚合或累积门控概率阈值实现变长路由,但在复杂推理任务上性能出现严重跌落甚至崩塌;CAR 通过解耦信息论外部目标,为复杂度感知提供了确定性梯度,实现了“减算力反增准确率”。
  • vs Ada-K Routing: Ada-K 将专家分配建模为强化学习探索过程,依赖下游奖励设计且容易对训练任务过拟合;CAR 采用任务无关的语言复杂度信号进行有监督回归,在跨领域(如知识问答、数学推理、机器翻译)评测中展现出更一致的泛化能力。
  • vs AdaMoE / MoE++: AdaMoE 通过引入空专家(Null Experts)跳过计算,而 CAR 在保留稠密专家专业化表征的前提下连续自适应调整 \(k \in [k_{\min}, k_{\max}]\),对高难度 token 给予更充裕的参数表征容量支持。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次将香农惊异度与预测熵双信号引入 MoE 动态算力分配,解耦架构极具巧思。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 大核心基准、多尺度教师模型消融、层级/词性可视化分析及微基准延迟分解。
  • 写作质量: ⭐⭐⭐⭐⭐ 理论框架清晰,信息论推导扎实,方法与分析论据环环相扣。
  • 价值: ⭐⭐⭐⭐⭐ 为解决 MoE 大模型计算冗余与动态推理开销提供了兼具高数据效率与极强落地性的工程范式。