Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models¶

会议: NeurIPS 2026
arXiv: 2608.07890
代码: https://github.com/ianKa1/MoE_pruning
领域: 模型压缩
关键词: 混合专家模型, 专家剪枝, 路由敏感度, 参数高效微调, 结构化剪枝

一句话总结¶

针对混合专家（MoE）模型庞大显存占用及全量微调剪枝开销巨大的困境，本文提出将轻量级微调（如仅针对 Router 的 LoRA）作为探测仪器，通过测量路由向量模长变化率精准识别并一次性结构化剪除低敏感度专家，在极大压缩显存与推理延迟的同时保持准线性精度衰减。

研究背景与动机¶

混合专家（MoE）架构通过动态稀疏路由机制解耦了模型总参数量与前向计算量，在极大拓展模型容量的同时保持较低的每 token 激活 FLOPs。然而，MoE 的核心物理瓶颈在于显存容量：虽然推理时每个 token 仅激活少数几个专家（例如 Mixtral-8×7B 在 46.7B 总参数中仅激活 13B），但全部专家权重必须全量常驻显存，这一硬件门槛严重制约了 MoE 模型在边缘设备及单卡环境中的实际部署。直接删除整块专家（Expert Pruning）是削减静态显存与显存搬运开销最直接的途径，但核心挑战在于：如何精准判断哪些专家是冗余且可被安全裁剪的？

近期理论工作（如 Chowdhury 等人的研究）证明，在全参数微调过程中路由门控向量（router weights）模长变化最小的专家在裁剪后具备可证明的泛化精度保持性。然而该理论保证建立在对数十亿乃至数百亿参数模型执行端到端全量微调的假设之上。对于一个 46.7B 参数的 MoE 模型而言，为了决定删除哪些专家而先行跑一次全量微调，完全颠倒了模型压缩的计算经济性。另一方面，现存无训练（training-free）剪枝方法往往依赖静态权重范数或前向激活激活统计，无法捕获特定任务分布下的专家动态招募特征，在大幅剪枝（如剪除 50% 专家）时常发生精度断崖式暴跌。

本文提出打破“全量微调”的计算负担壁垒，将轻量级参数高效微调（PEFT）转变为一种灵敏的“测量仪器”：通过极小开销的任务压力施加，迫使路由网络记录专家招募状态的转移，随后丢弃适配器并直接在原始预训练检查点上执行一次性结构化剪枝。核心 idea：将轻量级微调作为探测仪器，仅在路由门控网络上施加极轻量适配（仅占总参数 0.002%）即可逼出专家敏感度信号，以路由向量模长变化量绝对值作为排序指标实现一次性结构化专家剪除，在 50% 压缩率下精度衰减表现出完全可预测的准线性特征。

方法详解¶

整体框架¶

本文提出的路由敏感度剪枝流程将参数高效自适应与模型结构化压缩解耦。整个流水线分为三个串行阶段：轻量化微调探测阶段、路由敏感度评分与专家排序阶段、原模型一次性结构化剪除与部署阶段。输入为原始预训练 MoE 模型检查点与少量目标任务监督微调样本，最终输出一个删除了指定数量专家、显存与延迟大幅降低的原生结构化 MoE 模型，全程无需重训练、蒸馏或路由重校准。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：预训练 MoE 权重与任务样本"] --> B["轻量级自适应探测<br/>仅在路由门控层挂载低秩适配器"]
    B --> C["双模态敏感度评分<br/>权重范数变化 / 冻结路由 logits 偏移"]
    C --> D["逐层独立专家排序<br/>层内独立排序并选出最小得分专家"]
    D --> E["原生检查点结构化剪枝<br/>物理删除冗余专家与路由行并丢弃适配器"]
    E --> F["输出：高吞吐低延迟紧凑 MoE 模型"]

关键设计¶

1. 轻量级自适应探测：以最小参数扰动逼出路由招募信号

传统方法若要获取任务微调下的路由动力学，需对数十亿参数执行全量反向传播，显存与计算开销不可承受。本文将参数高效微调（PEFT）的作用重新定义为“测量仪器”而非最终交付物。针对拥有 $E$ 个专家、隐藏维度为 $d$ 的 MoE 门控层 $W_g \in \mathbb{R}^{E \times d}$，配置仅挂载于 $W_g$ 上的极低秩 LoRA 适配器（秩 $r=8$ 对应可训练参数仅占 Mixtral-8×7B 总量的 0.0022%）。在优化器步数极短（如 500 步 8-bit AdamW）的微调过程中，基座权重完全冻结（结合 4-bit 量化），迫使模型只能通过调整路由策略来适应监督任务分布。更重要的是，研究发现必须将微调严格限制在路由门控层：若将适配器扩散至注意力或专家 MLP 内部，优化器便会倾向于“就地修改专家内部计算表征”而非“调整专家被调度的频次与权重”，进而稀释门控层上的敏感度测量纯度。

2. 双模态敏感度评分：涵盖权重空间形变与表征空间扰动的统一准则

针对不同适配架构，本文建立了覆盖可微门控更新与冻结门控表征扰动的双模态评分体系。对于门控权重直接参与训练的场景（如 Router-LoRA），设专家 $e$ 在微调前后的路由向量分别为 $w_e^{(0)}$ 与 $w_e^{(T)}$，采用模长变化绝对值作为敏感度得分： $$s_e = \left|\,\|w_e^{(T)}\|_2 - \|w_e^{(0)}\|_2\,\right|$$ 该绝对值设计统一了门控向量的扩张与收缩，无论专家被积极招募还是主动抑制，都代表该专家参与了任务响应；反之，$s_e \approx 0$ 明确指示该专家对任务压力处于钝感与冗余状态。当适配策略保持门控权重 $W_g$ 冻结（如前置特征缩放 IA3 或非线性瓶颈 Houlsby）时，门控向量本身不发生位移，本文引入基于留出集 $N$ 个 token 表征的 logits 均方根偏移评分： $$s_e^{\mathrm{logit}} = \frac{1}{\sqrt{N}} \|L_{:,e}^{\mathrm{adapt}} - L_{:,e}^{\mathrm{base}}\|_2$$ 对比发现，受限对角乘法调控（IA3）由于无法随意伪造与任务无关的向量方向，其保留的排序信号与直接更新门控权重的 LoRA 同样高度保真，显著优于无约束加性扰动。

3. 逐层独立专家排序：规避全局敏感度不均的层内离散决策

实测敏感度热力图分析显示，MoE 模型不同深度的敏感度分布呈现显著的局部聚集与发散特性：个别中间层的特定专家变化幅度可高出其他层数倍，但整网并不存在单调支配的专家列或连续退化层。若采用全局阈值统一剪枝，极易导致浅层或中间特定关键层被连根拔起、破坏模型表征流。因此，本文强制在每个 MoE 隐藏层 $\ell$ 内部独立计算各专家的敏感度得分并降序排列，统一删除每层得分最小的 $n$ 个专家（Mixtral 上 $n \in \{1, 2, 3, 4\}$）。随后在原版预训练检查点中物理删除对应专家的权重张量及门控矩阵的对应行向量，剩余 $E-n$ 个专家继续执行标准的 top-$k$ 门控与 Softmax 归一化。剪枝全程完全无需后续蒸馏、微调或路由重校准（Router Calibration）。

损失函数 / 训练策略¶

轻量级探测微调阶段使用通用文本生成指令数据（如经扩增的监督微调数据集，最大序列长度 1024）。采用 8-bit AdamW 优化器，学习率设为 $2 \times 10^{-4}$，权重衰减 0.01，配合 5 步预热与余弦退火调度，总共仅执行 500 个优化步。基座模型权重量化为 4-bit（遵循 QLoRA 范式），仅训练 Router LoRA 参数。针对全量微调对比实验（如 Qwen1.5-MoE 场景），采用 DeepSpeed ZeRO-3 框架将优化器状态与参数卸载至 CPU，进行数学推理领域微调。

实验关键数据¶

主实验¶

在 Mixtral-8×7B-Instruct-v0.1 模型上（未剪枝 Baseline MMLU-Pro 准确率为 44.83%），各剪枝准则在不同剪枝深度（每层剪除 1 至 4 个专家，对应参数量从 41.1B 降至 24.2B）下的 MMLU-Pro 准确率评测对比见下表。在移除 50% 专家（4 experts pruned）的极端压缩场景下，路由敏感度显著拉开与传统基线的差距。

剪枝准则	评估指标/打分源	可训练参数量占比	剪除1个专家 (41.1B)	剪除2个专家 (35.4B)	剪除3个专家 (29.8B)	剪除4个专家 (24.2B)
静态权重幅度 (Magnitude)	静态权重 $L_2$ 范数	0%	43.94%	27.45%	22.27%	15.88%
随机删除 (Random)	无 / 随机	0%	41.94%	34.74%	29.26%	16.31%
全模块 LoRA ($r=8$)	权重改变量绝对值	0.26%	39.87%	34.86%	30.04%	24.42%
路由 LoRA ($r=2$)	权重改变量绝对值	0.0006%	38.91%	33.17%	27.65%	23.42%
路由 LoRA ($r=4$)	权重改变量绝对值	0.0011%	39.58%	34.52%	30.11%	25.87%
路由 LoRA ($r=8$, 本文基准)	权重改变量绝对值	0.0022%	40.18%	35.78%	31.37%	27.54%
路由 LoRA ($r=16$)	权重改变量绝对值	0.0045%	40.64%	36.34%	32.21%	28.76%
门控冻结 IA3	Logit 均方根偏移	~0.01%	40.27%	36.11%	32.48%	28.04%
门控冻结 Houlsby 适配器	Logit 均方根偏移	~0.14%	40.08%	35.52%	30.71%	25.39%

消融实验与部署效率¶

表 2 总结了在固定 LoRA $r=8$ 设定下，适配器挂载模块对最终剪枝保留准确率的影响（探究信号稀释机理），以及在单张 NVIDIA A100 (80GB) 上 4-bit 量化实测的硬件推理性能收益。

模块挂载配置 / 部署指标	剪除 4 专家 MMLU-Pro	显存占用 (4-bit)	单 Token 延迟 (ms)	单流相对吞吐量
未剪枝基线 (Unpruned, 8 专家)	44.83% (未剪枝)	24.2 GB	40.3 ms	100.0%
仅门控路由 (Router only)	27.54%	12.3 GB	25.2 ms	159.9%
门控 + 投影层 (+ q, o)	26.74%	12.3 GB	25.2 ms	159.9%
门控 + 全注意力 (+ q, k, v, o)	25.93%	12.3 GB	25.2 ms	159.9%
门控 + 专家前馈 (+ expert MLP)	24.97%	12.3 GB	25.2 ms	159.9%
门控 + 全线性层 (+ all linear)	24.42%	12.3 GB	25.2 ms	159.9%

关键发现¶

信号集中于路由层：在相同的可训练参数预算下，将 LoRA 严格限制在门控网络（Router-only）效果最佳（27.54%）。一旦向注意力和专家 MLP 分散适配容量，优化器便通过修改专家局部计算来降低损失，削弱了门控权重的位移敏感度，导致准确率单调衰减至 24.42%。
适配器容量单调收益：增大 Router LoRA 的秩（$r=2 \to 16$），在剪除 4 个专家时的准确率从 23.42% 单调递增至 28.76%。由于微调后适配器直接被物理丢弃，该现象表明更大容量的探测器能够捕捉更丰富精细的专家调度差异，而非导致过拟合。
扰动几何形式定胜负：即使不修改门控参数（冻结 $W_g$），使用乘性对角调控的 IA3 达到 28.04%，与 Router LoRA 持平；而加性非线性瓶颈 Houlsby 则跌至 25.39%。这说明在表征空间施加不受约束的残差漂移会破坏固有的专家几何对齐。
准线性预测性与高硬件回报：传统无训练剪枝在剪掉 2 个专家后迅速崩溃，而路由敏感度呈现近乎完美的准线性衰减（44.83% $\to$ 40.18% $\to$ 35.78% $\to$ 31.37% $\to$ 27.54%）。在部署端，剪除 50% 专家使显存直接减半（24.2GB $\to$ 12.3GB），推理延迟下降 37%，单流吞吐量暴增 60%。

亮点与洞察¶

将 PEFT 重新定位为诊断测量仪器：突破了传统 PEFT“追求最优下游任务损失”的固有定势，反其道而行之将其用作测量底层专家调用压力的微观探针，测完即扔，不增加部署负担。
颠覆全网适配的传统微调共识：证明了“全网挂载 LoRA 更有利于任务学习”与“全网挂载 LoRA 会严重稀释专家重要性判别信号”之间的深刻分歧，为模型剪枝与可解释性分析提供了全新的方法论视角。
泛化性与任务可控表面：在 Qwen1.5-MoE（20 专家架构）全量数学微调场景中，该准则在剪掉 10 个专家后平均保留 49.7% 准确率（大幅超越静态幅度的 39.1% 和随机剪枝的 4.4%）。同时，微调语料库天然构成了保护特定核心能力的“控制旋钮”。

局限与展望¶

单步一次性剪枝无自适应修复：本文严格约束在一次性（one-shot）且未重校准的评测体制下，虽然证明了指标本身的纯粹性，但未引入剪枝后的门控重校准或残余专家蒸馏修复。
多任务能力权衡与断崖效应：使用通用指令数据进行轻量微调时，对链式数学推理等高度特化的专家保护不足（GSM8K 在剪除 4 个专家后出现断崖式下跌），需要针对下游目标精准构造探测语料。
符号方向性的理论与经验脱节：现有理论保证建立在有符号模长增量上，而本文采用绝对值处理门控模长收缩，模长收缩究竟代表被任务抑制还是被彻底弃用，仍待进一步从理论层面予以形式化证明。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙将 PEFT 转化为纯粹的专家冗余测量探针，构思极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Mixtral 8 专家与 Qwen 20 专家，横跨多模块、不同秩、不同扰动几何与多硬件部署实测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导严丝合缝，动机清晰且坦率剖析了探测器与生成器的目标差异。
价值: ⭐⭐⭐⭐⭐ 为超大规模 MoE 模型在有限硬件资源下的极速瘦身提供了开箱即用的工程范式。

剪枝准则	评估指标/打分源	可训练参数量占比	剪除1个专家 (41.1B)	剪除2个专家 (35.4B)	剪除3个专家 (29.8B)	剪除4个专家 (24.2B)
静态权重幅度 (Magnitude)	静态权重 \(L_2\) 范数	0%	43.94%	27.45%	22.27%	15.88%
随机删除 (Random)	无 / 随机	0%	41.94%	34.74%	29.26%	16.31%
全模块 LoRA (\(r=8\))	权重改变量绝对值	0.26%	39.87%	34.86%	30.04%	24.42%
路由 LoRA (\(r=2\))	权重改变量绝对值	0.0006%	38.91%	33.17%	27.65%	23.42%
路由 LoRA (\(r=4\))	权重改变量绝对值	0.0011%	39.58%	34.52%	30.11%	25.87%
路由 LoRA (\(r=8\), 本文基准)	权重改变量绝对值	0.0022%	40.18%	35.78%	31.37%	27.54%
路由 LoRA (\(r=16\))	权重改变量绝对值	0.0045%	40.64%	36.34%	32.21%	28.76%
门控冻结 IA3	Logit 均方根偏移	~0.01%	40.27%	36.11%	32.48%	28.04%
门控冻结 Houlsby 适配器	Logit 均方根偏移	~0.14%	40.08%	35.52%	30.71%	25.39%