POP: Online Structural Pruning Enables Efficient Inference of Large Foundation Models¶

会议: NeurIPS 2026
arXiv: 2602.06822
OpenReview: https://openreview.net/forum?id=E5kkSzO2hf
领域: 模型压缩
关键词: 大模型剪枝、在线结构化剪枝、三态划分、自回归解码、上下文稀疏性

一句话总结¶

针对传统结构化剪枝在自回归解码期沿用静态掩码导致长程生成性能严重退化的问题，POP 提出分区引导的在线结构化剪枝框架，通过在预填充阶段粗粒度界定保留区、剪枝区与候选区，并在解码阶段仅对局部候选区进行逐步轻量动态掩码，无需任何离线标定或训练，以低于 4% 的 FFN FLOPs 开销显著恢复生成精度并实现 1.14×–1.38× 端到端端推理加速。

研究背景与动机¶

随着大语言模型（LLMs）、混合专家模型（MoEs）和多模态视觉语言模型（VLMs）参数规模的急剧增长，大基础模型的实际部署面临着极高显存占用与推理延迟瓶颈。在量化、低秩分解与剪枝等一系列模型压缩技术中，结构化剪枝由于直接移除连续的神经结构（如权重通道），无需底层硬件针对不规则稀疏度提供定制算子，具备极高的部署落地价值。早期面向大模型的结构化剪枝方案（如 LLM-Pruner、Wanda-sp、FLAP 和 Týr）多依赖离线校准数据或演化搜索推导固定掩码，并在推理全程中机械复用。然而，这类静态策略无法感知不同提示词与任务背景所诱导的多样化上下文稀疏模式。

即便近年来涌现出少部分上下文自适应剪枝方法，它们绝大多数依然遵循“预填充单次决策、解码全程固定”的设计范式。这种割裂带来了根本性的结构失配：预填充阶段基于输入 Prompt 全序列的聚合激活决定通道重要性，但在自回归解码阶段，有效上下文坍缩为单步生成 Token（$X_t \in \mathbb{R}^{B \times 1 \times C_{\mathrm{in}}}$），通道重要性随着解码语境的演化呈现出显著的动态波动。若在解码期强行锁死预填充掩码，新生成的 Token 将持续承受 Prompt 上下文带来的系统性偏差，导致模型在短文本问答中尚能维持性能，但在多步文本生成任务中发生崩溃（例如 Týr 在 20% 剪枝率下在 ARC-C QA 保持 98% 精度，但在代码生成基准 MBPP 上精度仅存 35%）。然而，若在每一步自回归生成中对全模型所有通道重新评估重要性，又会引入超过 30% 的额外 FFN 计算开销，彻底抵消结构化剪枝带来的硬件加速红利。

本文深入分析了自回归解码过程中通道重要性的演化轨迹，发现通道排名虽存在局部波动，但整体排序高度锚定于预填充基准，Top 核心通道在解码全程保持极高稳定性。核心 idea：将 FFN 通道划分为保留区、剪枝区与候选区的三态结构，利用 Prefill 全序列激活确定粗粒度划分并固定稳定骨干与冗余通道，在 Decoding 阶段仅针对狭窄的候选区通道计算逐步激活重要性并动态掩码，以极低在线计算开销（<4% FFN FLOPs）实现自适应生成的上下文感知结构化剪枝。

方法详解¶

整体框架¶

POP 将结构化剪枝的决策解耦为两阶段协同流程：在预填充（Prefilling）阶段进行全局粗粒度三态划分，在自回归解码（Decoding）阶段进行局部细粒度上下文动态掩码。方法核心聚焦于占模型总参数量大部分的 FFN（前馈网络）模块，整个过程完全即插即用，免去了任何离线校准、外置预测器训练或参数微调。

对于权重矩阵 $W \in \mathbb{R}^{C_{\mathrm{out}} \times C_{\mathrm{in}}}$ 和输入激活 $X$，POP 首先在 Prefill 阶段根据全序列提示激活评估各输出通道重要性，并结合目标全局剪枝率 $r$ 与划分宽度 $\delta$（由划分比例 $\gamma=0.1$ 确定），通过分位数设定上下阈值，将通道离散划分为稳定激活的保留区（Retained Region $\mathcal{R}$）、永久剔除的剪枝区（Pruned Region $\mathcal{P}$）以及动态调度的候选区（Candidate Region $\mathcal{C}$）。进入自回归解码阶段后，单步输入激活 $X_t$ 先与 $\mathcal{R} \cup \mathcal{C}$ 计算得到前向中间激活，系统仅在紧凑的候选集 $\mathcal{C}$ 内部快速评估单步重要性并挑出最优子集，与保留区 $\mathcal{R}$ 拼接后完成该步 FFN 计算。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入 Prompt 激活 X 与权重 W"] --> B["基于全序列激活的粗粒度三态通道划分<br/>计算通道全局重要性并界定分位数阈值"]
    B --> C["通道三态分区构建<br/>保留区 R / 剪枝区 P / 候选区 C"]
    C --> D["解码期中间激活计算<br/>激活 R ∪ C 参与前向传播得到 H_t"]
    D --> E["局部候选区单步动态掩码<br/>仅评估 C 选出补足目标稀疏度通道"]
    E --> F["组合 R 与入选候选通道完成 FFN 最终推理"]

关键设计¶

1. 基于预填充的粗粒度三态通道划分：将全局重要性解耦为稳定骨干、绝对冗余与动态搜索边界

静态剪枝对所有通道施加一刀切的硬剪，而全动态剪枝每步搜索全部通道代价过高。针对这一矛盾，POP 观察到解码期通道重要性具有“全局骨干高度稳定、局部过渡带敏感波动”的上下文稀疏特性。在 Prefilling 阶段，系统处理提示词全序列激活 $X \in \mathbb{R}^{B \times L \times C_{\mathrm{in}}}$，基于元素级权重-激活范数乘积计算输出通道重要性： $$I_i(X) = \|W_{:,i} \odot s\|_2, \quad s_k = \|X_{:,:,k}\|_2$$ 给定全局剪枝率 $r$ 和以 $\gamma$ 界定的划分窗口宽度 $\delta$，计算重要性分位数下界 $\tau_{\mathrm{low}} = q_{r-\delta}$ 与上界 $\tau_{\mathrm{high}} = q_{r+\delta}$，将所有输出通道明确分割为三个互不相交的集合： - 保留区（Retained Region $\mathcal{R}$）：满足 $I_i^{\mathrm{out}} \geq \tau_{\mathrm{high}}$ 的通道，在全任务中均呈现极高重要度，作为基础推理骨干在后续所有解码步骤中强制常驻保留； - 剪枝区（Pruned Region $\mathcal{P}$）：满足 $I_i^{\mathrm{out}} \leq \tau_{\mathrm{low}}$ 的低贡献通道，在整个推理会话中被直接置零剪除，削减常态计算量； - 候选区（Candidate Region $\mathcal{C}$）：处于 $\tau_{\mathrm{low}} < I_i^{\mathrm{out}} < \tau_{\mathrm{high}}$ 边缘地带的敏感通道，其排序随解码上下文演化最为剧烈，构成了后续在线动态选取的狭窄搜索空间。

2. 解码期局部候选区动态掩码：以极低计算开销捕获 Token 级演化上下文

在自回归解码的每一步 $t$，模型仅接收单 Token 激活 $X_t \in \mathbb{R}^{B \times 1 \times C_{\mathrm{in}}}$。为避免全通道重评估带来的计算灾难，POP 仅激活保留区和候选区通道进行初步变换，获取中间激活： $$H_t = f(X_t; \mathcal{R} \cup \mathcal{C})$$ 随后，算法仅针对候选子集 $i \in \mathcal{C}$ 内的通道计算单步局部重要性评分 $I_i^{\mathrm{out}}(t)$。系统按照该评分自高向低对候选通道排序，选取排名前列的若干通道，使得入选候选通道数与固定保留区 $|\mathcal{R}|$ 的总和精准匹配全局剪枝率 $r$ 所要求的存活通道数。这一细粒度掩码完全受控于当前步的局部上下文，既纠正了静态掩码对演化语义的钝感，又将在线掩码计算量限制在候选区微小截面内，相比全动态重算省去超过 90% 的额外 FLOPs。

3. 纯推理即插即用与 FFN 聚焦加速：兼顾泛化部署友好性与硬件执行效率

主流剪枝方案如 Týr 依赖数十小时的离线演化搜索，Probe Pruning 依赖轻量探针模块与历史激活缓冲，对跨架构部署带来较大工程复杂度。POP 坚持完全免训练、免离线校准（Zero Offline Preparation）原则，无缝适用于稠密 LLM、MoE 及多模态 VLM 等异构模型架构。同时，考虑到注意力机制通道数较小且直接剪枝容易损坏长程注意力检索，POP 选择完全保留注意力机制参数，将目标参数削减量全部折算分配到参数体量占优的 FFN 模块中（例如在全局 20% 剪枝率下，对 LLaMA-2-7B 的 FFN 施加 29.9% 剪枝率）。这使得 FFN 层的实际加速比大幅提升，在主流 GPU 上直接兑现可观的实测吞吐提升。

损失函数 / 训练策略¶

POP 属于纯推理时（Inference-time）无需训练与标定的即插即用算法，不存在任何反向传播损失函数或前置微调过程。在超参数配置上，划分比例参数默认设为 $\gamma = 0.1$，对应候选区通道占比约为 FFN 总通道数的 20% 左右。在推导通道重要性时，采用与 Wanda 相同的权重绝对值与输入激活 $L_2$ 范数点积指标。针对不同骨干架构（如 MoE 架构中的动态门控路由、VLM 中的多模态视觉投影），POP 均能在预填充首次前向传播中自动提取激活特征完成初始化分位数划分，自第二步起平滑切换至在线动态掩码流。

实验关键数据¶

主实验¶

论文在 7 个常识问答任务（BoolQ、RTE、HellaSwag、WinoGrande、ARC-E、ARC-C、OBQA）以及 5 个复杂文本生成基准（CoQA、MBPP、NQ-Open、HumanEval、GSM8K）上，对比了 Wanda-sp、FLAP、Probe Pruning（PP）、Týr 以及 POP 在不同剪枝率下的平均表现。

模型与剪枝率	剪枝策略	在线自适应	问答基准平均精度 (%) ↑	生成基准平均精度 (%) ↑	生成相比基线提升
Dense (0% PR)	Dense 基线	-	65.40	45.77	-
20% 剪枝率 (PR=20%)
LLaMA-2-7B	Wanda-sp	×	55.02	12.20	基线
LLaMA-2-7B	FLAP	×	54.24	17.23	+5.03
LLaMA-2-7B	Probe Pruning	✓	57.51	19.91	+7.71
LLaMA-2-7B	Týr	×	58.11	20.75	+8.55
LLaMA-2-7B	Ours (POP)	✓	56.78	24.12	+3.37 ~ +11.92
LLaMA-3.1-8B	Wanda-sp	×	34.01	0.79	崩溃
LLaMA-3.1-8B	FLAP	×	53.02	16.48	基线
LLaMA-3.1-8B	Probe Pruning	✓	54.35	19.66	+3.18
LLaMA-3.1-8B	Týr	×	59.85	21.14	+4.66
LLaMA-3.1-8B	Ours (POP)	✓	59.62	37.37	+16.23 (大幅恢复)
7 模型宏观平均 (20% PR)	Wanda-sp	×	43.42	6.96	基线
7 模型宏观平均 (20% PR)	FLAP	×	49.56	12.90	+5.94
7 模型宏观平均 (20% PR)	Probe Pruning	✓	61.29	32.13	+25.17
7 模型宏观平均 (20% PR)	Týr	×	63.72	29.97	+23.01
7 模型宏观平均 (20% PR)	Ours (POP)	✓	62.34	42.48	+12.51 ~ +35.52
40% 剪枝率 (PR=40%)
7 模型宏观平均 (40% PR)	Wanda-sp	×	36.01	1.91	崩溃
7 模型宏观平均 (40% PR)	FLAP	×	40.17	5.35	极度退化
7 模型宏观平均 (40% PR)	Probe Pruning	✓	53.99	17.22	相对稳健
7 模型宏观平均 (40% PR)	Týr	×	58.92	19.24	搜索优化
7 模型宏观平均 (40% PR)	Ours (POP)	✓	53.35	31.90	+12.66 (生成领先)

消融实验¶

论文在 LLaMA-2-7B 和 LLaMA-3.1-8B 上对比了三种剪枝策略的精度与额外计算开销权衡：变体 (1) 沿用 Prefill 静态掩码；变体 (2) 每步对所有通道重新评估完整动态掩码；以及本文 POP 局部候选掩码。

模型架构	剪枝实现策略	5 项生成任务均值 (%) ↑	FFN FLOPs (TFLOPs)	相对密集 FFN 计算开销增加 (%)	说明
LLaMA-2-7B	Dense 原始模型	-	22.09	-	密集计算基线
	变体 (1): 预填充静态掩码复用	23.40	0.00	0.0%	零额外开销但生成退化明显
	变体 (2): 全通道逐步动态重评	26.56	7.32	33.1%	精度上限高但计算开销巨大
	Ours (POP, $\gamma=0.1$)	24.12	0.63	2.85%	仅 2.85% 开销获得良好生成自适应
LLaMA-3.1-8B	Dense 原始模型	-	28.75	-	密集计算基线
	变体 (1): 预填充静态掩码复用	34.69	0.00	0.0%	上下文漂移造成明显丢点
	变体 (2): 全通道逐步动态重评	38.95	9.56	33.3%	引入超 33% 冗余计算
	Ours (POP, $\gamma=0.1$)	37.37	1.00	3.48%	近乎逼近全动态精度，开销仅 3.48%

关键发现¶

生成任务对动态上下文极度敏感：在 20% 剪枝率下，静态基线（Wanda-sp/FLAP）在 QA 任务上尚能维持 43%–49% 精度，但在生成任务上暴跌至 6.96%–12.90%；而 POP 凭借候选区的动态微调，将生成任务均值拉升至 42.48%，在 LLaMA-3.1-8B 上生成精度高达 37.37%（提升超过 16 个百分点）。
三态划分完美兼顾精度与算力：消融实验证实，全通道动态评估（变体 2）虽然能获取最高精度，但引入了高达 33.1%–33.3% 的额外计算开销，彻底毁掉了剪枝带来的实际加速；POP 仅在候选区内评估，将开销压缩至 2.85%–3.48%，在保持硬件加速的同时夺回绝大部分精度。
跨架构泛化卓越：在混合专家模型（MoE，如 Qwen2-57B-A14B）与视觉语言模型（VLM，如 Qwen2-VL/Qwen2.5-VL）中，POP 展现出惊人的鲁棒性。在 40% 剪枝率下，Wanda-sp 和 FLAP 在 VLM 上的精度几乎归零（0.00%–0.02%），而 POP 依然稳稳保持在 54.33%–54.63% 的 VQA 精度。

亮点与洞察¶

抓住长程自回归生成的“上下文稀疏性”本质：揭示了通道重要性并非一成不变，而是存在“全局大体稳定、局部动态扰动”的双重规律，以此指导三态划分设计。
极小候选窗口撬动巨大生成收益：仅允许 $\gamma=0.1$ 比例的候选通道参与动态竞争，就能以不足 4% 的微量算力成本解决静态剪枝在长文本生成中的崩溃现象。
零离线准备负担的真正通用加速器：对比 Týr 动辄在 70B 模型上耗费 171 小时的离线搜索标定，POP 耗时精确为 0.0 小时，即装即用，极其适合高频更新的基础模型推理服务。

局限与展望¶

作者承认的局限：目前为了保持长程语义一致性与工程可行性，POP 仅对 FFN 模块应用结构化剪枝，未涉及多头注意力机制（Self-Attention）的通道裁剪。
潜在改进方向：可进一步探索注意力头（Attention Heads）或 KV-Cache 维度的自适应三态划分，将在线动态选择扩展至全网络组件；此外，单步掩码在批处理推理（Batch Size > 1）场景下的非均匀稀疏调度有待底层 GPU 自定义算子的深度联合优化。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙抓住自回归解码阶段通道重要性的局部演化特性，提出三态划分在线剪枝机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LLM（7B–70B）、MoE（2.7B–57B）、VLM 以及下游生成/QA/VQA 全维度基准，消融与时延实测扎实。
写作质量: ⭐⭐⭐⭐⭐ 动机严密，逻辑层层递进，实验图表详尽自洽。
价值: ⭐⭐⭐⭐⭐ 兼顾即插即用、零标定与实际加速比，为大模型端侧与云端低成本推理提供了强有力的落地范式。