跳转至

E^3-Pruner: Towards Efficient, Economical, and Effective Layer Pruning for Large Language Models

会议: EMNLP 2026
论文: ACL Anthology
领域: 模型压缩
关键词: 大语言模型, 层级剪枝, Gumbel-TopK, 自适应知识蒸馏, 结构化剪枝

一句话总结

针对大语言模型结构化剪枝中性能受损严重、掩码搜索代价高昂以及端到端加速受限的三重矛盾,本文提出两阶段剪枝框架 E^3-Pruner,通过基于 KL 散度初始化的可微 Gumbel-TopK 采样器与渐进调度实现精准经济的层掩码搜索,结合 Token 预测熵加权的自适应知识蒸馏恢复模型能力,在仅消耗 0.5B token 的极低预算下显著刷新 SOTA 表现。

研究背景与动机

随着大语言模型(LLM)参数量遵循缩放定律扩展至数百亿甚至数万亿,高昂的计算负载与显存开销已成为其实际硬件部署的严重瓶颈。为了在资源受限场景下获得紧凑高效的模型,业界广泛探索了模型剪枝技术。然而现有的非结构化剪枝虽然能够最小化精度损失,但其不规则的稀疏权重在通用硬件上难以转化为实际吞吐加速;而在注意力头或 MLP 维度的通道剪枝虽具硬件友好性,但产生的不规则维度同样在底层算子执行中限制了加速比。相比之下,直接移除完整 Transformer 模块的层级剪枝(Layer Pruning)能够保持标准网络架构规整性,产生与层数减少成正比的确定性推理加速,成为极具硬件潜力的压缩路径。

然而,现存的层级剪枝方法在实际部署中始终面临三个难以调和的关键矛盾:其一,免训练方法(如 ShortGPT)通过激活相似度直接裁减层,在较高剪枝率下会引发不可逆的灾难性精度暴跌;其二,基于神经架构搜索(NAS)或演化算法的方法(如 DarwinLM)需要评估海量候选子网络并反复轻量训练,消耗超过数十亿 token,搜索成本过于高昂;其三,基于可微软掩码与连续稀疏正则化的方法不仅无法精确硬性控制最终目标剪枝率,还会带来数倍的额外训练开销。实际工程部署迫切需要一种兼顾任务有效性(Task Effectiveness)、训练经济性(Training Economy)与推理高效性(Inference Efficiency)的剪枝范式。

本文的切入角度在于将离散的硬层选择转化为可微的连续优化问题,并利用渐进式调度平滑结构突变,同时通过信息敏感的针对性恢复策略最小化微调开销。本文的核心 idea 是:利用连续松弛的 Gumbel-TopK 采样器与直通估计器实现离散层掩码的端到端梯度优化,在搜索阶段以渐进式调度精准定位冗余层,随后在微调阶段引入基于 Token 预测熵加权的自适应知识蒸馏,配合预存 Teacher 关键 Logits 突破显存瓶颈,以极低训练代价高质量恢复推理与通用语言能力。

方法详解

整体框架

E^3-Pruner 包含清晰解耦的两阶段流程:掩码搜索阶段(Searching Stage)与微调恢复阶段(Fine-tuning Stage)。在搜索阶段,方法并不直接优化离散二值掩码,而是为每一层引入一个可学习的连续层重要性得分,并利用 KL 散度进行高质量初始赋值;在前向传播中,采用 Gumbel-TopK 采样器连续逼近硬 Top-K 选择,结合直通估计器(Straight-Through Estimator, STE)实现梯度反向传播,并配合剪枝率渐进增加的课程调度完成模型权重与层掩码的联合优化。在微调阶段,固定搜索出的最佳离散掩码结构,采用基于 Token 熵加权的自适应知识蒸馏策略,通过离线预存 Teacher 模型的 Top-K Logits 消除双模型并发驻留的显存瓶颈,仅对关键推理 Token 施加重点监督。

整个剪枝流水线如下图所示:

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["原始预训练 / 对齐 LLM"] --> Init["KL散度层重要性初始化<br/>评估移除单层对输出分布扰动"]
    Init --> Search["Gumbel-TopK 可微掩码搜索<br/>连续松弛 + 温度退火 + 渐进剪枝调度"]
    Search --> FixedMask["固定离散二值层掩码<br/>物理跳过目标冗余 Transformer 块"]
    FixedMask --> Distill["自适应知识蒸馏恢复<br/>预存 Teacher Top-K Logits + Token 熵动态加权"]
    Distill --> Out["紧凑高效层剪枝模型"]

关键设计

1. 基于 KL 散度的层重要性初始化:为可微搜索提供稳健先验

从零初始化或随机赋予层重要性权重会导致早期搜索空间极其不稳定,大幅增加搜索收敛所需的计算步数。为了节约训练开销并保护基础性能,E^3-Pruner 首先在少量标定样本(如 40 条样本)上评估每一层的重要性。具体地,对于第 \(l\) 层,通过测量移除该层后的模型 \(\Theta_{-l}\) 与原始完整模型 \(\Theta\) 输出预测分布之间的 Kullback-Leibler (KL) 散度作为其初始层重要性得分 \(s_l\):

\[s_l = \mathbb{E}_{x \sim \mathcal{C}} \left[ \mathcal{D}_{\text{KL}}\left( f(x; \Theta_{-l}) \parallel f(x; \Theta) \right) \right]\]

这一初始化步骤计算代价极小,但能在一开始便有效识别出输入层、浅层特征提取层以及深层决策层等核心结构,避免早期梯度盲目探索关键层,显著降低了后续端到端掩码搜索的优化难度与所需的 token 消耗。

2. Gumbel-TopK 采样器与渐进剪枝调度:实现离散掩码的精准可微搜索

传统结构化剪枝通过软掩码加 \(L_0\) 稀疏正则项往往无法保证精确剪枝到预定层数,而离散的 \(\text{TopK}\) 操作又不可求导。E^3-Pruner 采用 Gumbel-TopK 连续松弛技术。在每步前向传播中,首先向层重要性向量 \(S\) 注入标准 Gumbel 噪声得到扰动打分,随后通过迭代更新软多热(soft \(k\)-hot)掩码。在迭代步骤中,通过引入温度参数 \(\tau\) 计算 Softmax 概率分布更新软掩码,并在每一步衰减已选中的概率质量:

\[\tilde{M}_{i+1} = \tilde{M}_i + \sigma(S_i / \tau), \quad S_{i+1} = S_i + \log\left(1 - \sigma(S_i / \tau)\right)\]

当温度 \(\tau \to 0\) 时,软掩码严格弱收敛于离散的 \(\text{TopK}\) 硬选择。在实际训练中,温度 \(\tau\) 采用从初始值线性退火的策略 \(\tau = 1 - \beta \cdot (t / T)\)。为了在前向传播中直接执行层跳过并在反向传播中保留梯度流,算法在前向时对软掩码执行二值化离散取整,反向传播采用直通估计器(STE)直接传递梯度。

此外,为了避免突然移除大量层导致模型特征表征剧烈崩溃,搜索阶段引入渐进剪枝课程机制(Progressive Layer Pruning Schedule),使前向中实际保留的层数 \(k'\) 随着训练步数 \(t\) 从网络总层数 \(L\) 线性衰减至目标层数 \(k\):

\[k' = L - \left\lceil (L - k) \cdot \frac{t}{T} \right\rceil\]

这种平滑衰减策略促使未被剪除的各层逐步适应前序层丢失带来的激活变化,搜索阶段仅占用总训练预算的前 10%(例如 120 步),极大地保证了训练经济性。

3. Token 熵自适应知识蒸馏:突破显存瓶颈的高效能力恢复

完成掩码搜索后,剪枝模型被物理定型,进入微调恢复阶段。标准微调(SFT)容易过拟合且难以保持与原始模型的行为一致性,而标准知识蒸馏(KD)又面临需在单卡显存中同时常驻教师和学生模型的巨大显存瓶颈。针对这一痛点,E^3-Pruner 采用预存教师模型 Top-K 预测 Logits 的离线策略。在输入序列长度达到 32K 时,预存 Top-10 Logits 仅占用 2.6 MB 显存,彻底消除了硬件瓶颈。

在蒸馏目标设计上,作者发现并非所有 token 的信息量均等。高熵 Token 往往对应于多步复杂推理、决策分叉点或不确定性语义边界,具有更高的信息增益。因此,算法利用教师模型预测分布的信息熵 \(H\) 对每个 Token 处的 KL 散度进行动态加权:

\[\mathcal{L} = \frac{1}{N} \sum_{i=1}^N H\left(\sigma(z_t^{(i)})\right) \cdot \sum_{c \in S_K^{(i)}} \sigma(z_t^{(i)})_c \log\left( \frac{\sigma(z_t^{(i)})_c}{\sigma(z_s^{(i)})_c} \right)\]

其中 \(S_K^{(i)}\) 为教师模型第 \(i\) 个 Token 处概率最大的前 \(K\) 个类别集合。该加权机制自动促使网络将学习容量聚焦于复杂难样本与核心推理 Token,使得剪枝模型在仅消耗 0.5B token(仅占常规后训练规模约 0.5%)的严苛预算下,快速恢复数学逻辑与通用推理能力。

实验关键数据

主实验

论文在通用指令模型 Qwen2.5-14B-Instruct、强推理模型 Qwen3-32B、开源千亿 MoE 巨模 DeepSeek-R1(671B)以及 LLaMA-2-7B 和 openPangu-Ultra-MoE-718B 上展开了全面评估。主实验基线涵盖了当前 SOTA 的结构化与层级剪枝方法。

下表给出了 Qwen2.5-14B-Instruct 在 50% 剪枝率(48 层剪除 24 层)下各主流剪枝方案的性能对比:

方法 参数量 SciQ PIQA WG ArcE ArcC(25) HS(10) LogiQA BoolQ MMLU(5) 平均分 ↑ 加速比 ↑ 训练 Token 消耗 ↓
原始模型 (Original) 14.8B 94.0 78.1 69.0 76.3 54.2 78.7 30.4 77.7 45.9 69.8 1.00× -
无微调 (w/o KD)
ShortGPT 8.2B 31.6 56.7 50.3 30.5 27.6 34.0 24.9 53.8 24.6 37.1 1.63× -
Shortened LLaMA 8.2B 59.8 53.9 51.4 34.4 22.6 26.1 25.5 45.5 25.6 38.3 1.63× -
SLEB 8.2B 75.0 64.2 51.5 50.9 24.9 42.1 25.5 58.4 24.6 46.3 1.63× -
E^3-Pruner (阶段 1 搜索后) 8.2B 88.3 72.0 54.5 69.2 40.9 57.0 26.9 62.0 28.4 55.5 1.63× -
微调后 (w/ KD fine-tuning)
LLM-Streamline 8.2B 89.2 73.5 52.6 68.7 36.0 55.9 25.5 59.9 26.9 54.2 1.63× 0.5B
Sheared-LLaMA 8.2B 93.4 74.8 60.4 71.3 44.4 64.1 26.0 65.9 32.1 59.2 1.63× 0.5B
Shortened LLaMA 8.2B 91.0 75.6 59.6 74.7 47.5 64.8 27.3 60.8 31.6 59.2 1.63× 0.5B
DarwinLM 8.4B 84.3 73.8 59.0 75.8 49.1 53.6 28.9 67.2 42.8 59.4 1.43× 1.0B
SLEB 8.2B 93.0 76.8 61.3 75.4 47.8 66.6 28.6 65.1 33.7 60.9 1.63× 0.5B
Minitron 8.2B 91.9 73.5 62.0 72.1 44.9 64.5 28.4 70.4 32.8 60.1 1.63× 0.5B
E^3-Pruner (阶段 2 完整模型) 8.2B 93.7 76.9 63.0 76.0 47.9 67.2 30.0 66.5 36.5 61.9 1.63× 0.5B

在数学与深度推理模型 Qwen3-32B 及 DeepSeek-R1(671B)上的对比实验如下表所示:

模型与配置 参数量 剪枝比例 MATH-500 AIME'24 AIME'25 GPQA-Diam. LiveCode MMLU-Pro ArenaHard 平均分 ↑ 加速比 ↑
Qwen3-32B 原始 32.8B 0% 96.8 79.6 71.3 64.7 66.9 76.5 93.5 78.5 1.00×
Qwen3-32B (Minitron) 28.9B 12.5% (剪1/8) 95.4 72.1 64.2 61.6 62.9 74.8 92.3 74.8 1.13×
Qwen3-32B (E^3-Pruner) 28.9B 12.5% (剪1/8) 96.2 76.3 65.8 61.1 65.1 74.5 91.4 75.8 1.13×
Qwen3-32B (Minitron) 25.0B 25.0% (剪1/4) 95.0 68.3 61.7 59.1 57.7 70.5 85.0 71.0 1.33×
Qwen3-32B (E^3-Pruner) 25.0B 25.0% (剪1/4) 96.0 71.7 64.2 60.1 60.3 70.1 87.3 72.8 1.33×
DeepSeek-R1 原始 671B 0% 97.2 77.9 67.1 73.7 65.4 82.8 96.3 80.1 1.00×
DeepSeek-R1 (Minitron) 601B 8层 (13.1%) 97.0 75.0 62.9 71.2 65.1 81.8 95.0 78.3 1.13×
DeepSeek-R1 (E^3-Pruner) 601B 8层 (13.1%) 97.0 76.3 60.8 73.2 67.3 81.2 96.2 78.9 1.13×
DeepSeek-R1 (Minitron) 509B 16层 (26.2%) 95.6 68.8 55.4 69.2 59.2 80.2 89.8 74.0 1.33×
DeepSeek-R1 (E^3-Pruner) 509B 16层 (26.2%) 95.2 65.8 60.0 69.7 59.9 79.8 90.0 74.3 1.33×

消融实验

组件增益与知识蒸馏方式消融(Qwen2.5-14B-Instruct,剪除 50% 层):

配置 / 阶段 SciQ PIQA WG ArcE ArcC(25) HS(10) LogiQA BoolQ MMLU(5) 平均分 ↑ 说明
原始完整模型 94.0 78.1 69.0 76.3 54.2 78.7 30.4 77.7 45.9 69.8 无剪枝基准
仅离散基线剪枝 (ShortGPT) 31.6 56.7 50.3 30.5 27.6 34.0 24.9 53.8 24.6 37.1 未经搜索且无恢复
+ KL层重要性初始化 72.5 63.8 51.0 58.2 25.1 43.5 25.1 58.0 25.2 47.0 搜索前先验质量提升
+ Gumbel-TopK 搜索 (阶段 1) 88.3 72.0 54.5 69.2 40.9 57.0 26.9 62.0 28.4 55.5 未经微调直接评估提升 18.4%
+ 常规离线知识蒸馏 (Offline KD) 94.0 76.2 62.5 75.2 48.0 65.6 29.0 63.8 32.8 60.8 均等权重 KL 蒸馏
+ 自适应知识蒸馏 (阶段 2 完整) 93.7 76.9 63.0 76.0 47.9 67.2 30.0 66.5 35.8 61.9 引入 Token 熵重加权提升 1.1%

搜索预算比例消融(总预算 0.5B Token):

搜索预算比例 SciQ PIQA WG ArcE ArcC(25) HS(10) LogiQA BoolQ MMLU(5) 平均分 ↑ 说明
5% (60 steps) 92.0 76.6 62.8 75.6 48.6 67.0 28.0 66.5 29.0 60.7 搜索偏短,收敛略微不充分
10% (120 steps) 93.7 76.9 63.0 76.0 47.9 67.2 30.0 66.5 35.8 61.9 默认黄金平衡点
20% (240 steps) 91.9 75.8 59.9 75.9 49.7 67.8 28.6 66.4 37.1 61.5 搜索充足但挤占恢复步数
50% (600 steps) 91.0 75.9 59.7 73.7 48.3 65.3 28.3 67.0 34.3 60.4 恢复预算不足导致最终掉点

关键发现

  • 结构化掩码质量的决定性作用:仅通过阶段 1 的 Gumbel-TopK 搜索,未经任何微调的剪枝模型在 Qwen2.5-14B 上便达到 55.5% 平均分,超越经过完整微调的 LLM-Streamline (54.2%),说明优秀的掩码拓扑是决定剪枝成败的核心前提。
  • 单轮搜索超越多轮迭代 Minitron:在迭代微调消融中,E^3-Pruner 单轮(1-iter)剪枝蒸馏即取得 61.9% 平均分,超越了 Minitron 经历 4 轮迭代剪枝再蒸馏的最终表现(61.4%),大幅削减反复重训练开销。
  • 蒸馏对行为一致性的不可替代性:在 SFT 与 KD 恢复对比中,SFT 微调虽然能带来任务准确率的上升,但在 MMLU/GSM8K/IFeval/HumanEval 采样评测集上的行为一致性(Behavioral Consistency)随步数增加出现停滞甚至显著恶化(1/8 剪枝下一致性从 72 跌破 44);而自适应 KD 保证了学生模型对教师模型分布规律的严格贴合,一致性平稳递增至 70+。
  • 数学推理能力的强韧保留:在 Qwen3-32B 剪除 25% 层数后,E^3-Pruner 在 MATH-500 上取得 96.0% 准确率,相对原始模型的 96.8% 仅回落 0.8%,在保持高精度逻辑严密性的同时带来 1.33× 的稳定物理加速。

亮点与洞察

  • 将离散硬拓扑选择平滑转化为可微连续搜索:利用 Gumbel-TopK 采样并辅以直通估计器,打破了传统演化搜索或反复子网评估的算力泥潭,仅用极少前向噪声注入与退火就能完成对非凸离散层剪枝空间的精准探索。
  • Token 熵敏感的非均匀知识传递:洞察到复杂推理任务中不同 Token 的信息冗余性悬殊,利用输出分布的信息熵加权自适应提升关键推理分支点的蒸馏权重,实现了“极小预算下的高质量能力重塑”。
  • 端到端工程实践性极高:通过离线预存 Top-10 教师 Logits,巧妙地将 32K 长度下的蒸馏显存开销压缩至 2.6 MB,配合 LoRA + Megatron TP/EP,使得 671B 规模的超大规模 MoE 模型(DeepSeek-R1)在 24 小时内完成完整剪枝微调闭环。

局限与展望

  • 剪枝维度的单一性:当前工作主要专注于层级剪枝(Layer-level Pruning)。尽管 Gumbel-TopK 表现出良好鲁棒性,但将其拓展至宽度剪枝(Width Pruning)、注意力头剪枝或 MoE 专家剪枝(Expert Pruning)时的优化稳定度与稀疏模式仍待深入探索。
  • 恢复语料的分布依赖:实验中微调恢复依赖于通用的开源预训练或蒸馏语料(如 Fineweb-Edu、AM-DeepSeek-R1-Distilled),尚未探索使用剪枝模型自身或原模型生成的合成数据进行定向知识修复的潜力。
  • 多语言及低资源任务覆盖有限:评估集中在英语及通用代码、数学基准上,层剪枝对多语言翻译和低资源语言能力边界的影响尚未完全展开评估。

相关工作与启发

  • vs ShortGPT: ShortGPT 属于无需训练的启发式层剪枝,通过隐层特征间的余弦相似度挑选最冗余层;E^3-Pruner 指出免训练剪枝在深层结构丢失时性能急剧崩溃,通过引入可微 Gumbel-TopK 搜索与自适应 KD,在同等剪枝率下性能实现从 37.1% 到 61.9% 的飞跃。
  • vs Sheared-LLaMA: Sheared-LLaMA 采用连续可学习掩码加稀疏性惩罚,最后通过硬性 Top-K 截断;这种方案无法严格预先控制剪枝后的真实物理层数,且正则项导致训练收敛缓慢。E^3-Pruner 采用 Gumbel-TopK 与渐进课程调度,精确控制保留层数,搜索速度提升数倍。
  • vs Minitron & DarwinLM: Minitron 依赖繁琐的多轮“剪枝-微调-再剪枝”循环,DarwinLM 依赖高代价的演化算法搜索子网络(消耗超 1.0B token);E^3-Pruner 单次端到端可微搜索性能即可超越 Minitron 的 4 轮迭代结果,且整体 token 消耗缩减至 0.5B,大幅降低实际算力开销。

评分

  • 新颖性: ⭐⭐⭐⭐☆ [巧妙结合 Gumbel-TopK 与直通估计器解决大模型层级剪枝的不可微难题,配合 Token 熵加权机制,方案优雅精炼]
  • 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 7B 至 671B 多种密集与 MoE 架构,在多项数学、代码、逻辑基准上提供主实验、消融、一致性分析及真实 vLLM 延迟测定]
  • 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密,针对现实痛点逐层展开,公式推导与算法流程清晰透彻]
  • 价值: ⭐⭐⭐⭐⭐ [兼顾任务有效性、训练经济性与推理加速,对工业界低成本压缩与私有化部署大型语言模型具有极高的实用价值]