PACE: Pareto-Adaptive Compression for Efficient Native MLLMs¶

会议: NeurIPS 2026
arXiv: 2610.24005
论文: https://arxiv.org/abs/2610.24005
领域: 模型压缩
关键词: 原生多模态大模型, 视觉Token压缩, Pareto优化, 空间解耦注意力, Native-RoPE

一句话总结¶

针对无外置ViT编码器的原生多模态大模型（Native MLLMs），提出首个利用Native-RoPE多轴解耦特性的非对称空间显著性估计（SDIE）与多目标Pareto自适应调度算法（PACS），在仅保留25%–50%视觉Token下实现近无损甚至超越全量模型的性能，并将FLOPs降低约2倍。

研究背景与动机¶

原生多模态大模型（Native MLLMs，如 Emu3、Chameleon、SOLO、SAIL 及 NEO）摒弃了传统外置视觉编码器（ViT）与对齐投影层的模块化架构，直接将原始图像切片（Patch）与文本Token共同输入单一自回归Transformer骨干网中统一建模。然而，这种ViT-free范式未经视觉编码器的逐层空间降采样与抽象提炼，导致输入序列中充斥着海量的低层像素级视觉Token，带来了严重的计算冗余与极高的推理显存瓶颈。

更为关键的是，传统的视觉Token压缩策略（如 FastV、PyramidDrop、SparseVLM、D2Pruner 等）均预设在模块化 ViT 架构下，针对外置编码器提取的高层语义特征进行剪枝或合并。当将传统压缩手段迁移至 Native MLLM 时，模型往往出现剧烈性能崩塌。通过深入探测分析，作者发现原生模型展现出截然不同的双重特性：其一是初始融合缓冲机制（Initial Fusion Buffer, IFB），在前几层跨模态表征尚未建立稳定判别性结构（有效秩极低），随后判别度随深度呈单调阶梯状累积；其二是空间维度的异质冗余性，视觉特征在高度（Height）与宽度（Width）两个正交轴向上的信息冗余呈独立且非对称分布（例如文档横排文本在高度轴关键而在宽度轴均匀），传统标量注意力评分强行将各维度混叠，造成方向性信息的大量误剪。

面对上述核心矛盾，现存压缩算法既无法适应原生骨干的位置编码结构，也缺乏全局统筹性能、效率与空间覆盖的调度准则。本文的核心 idea 是：深度结合 Native-RoPE 的多轴位置编码解耦先验，提出加性融合空间轴、乘性门控时间轴的方向感知无参显著性估计（SDIE），并通过三目标 Pareto 前沿搜索算法（PACS）自适应确定最佳剪枝层与逐层保留率，在保留关键语义的同时维持全局空间拓扑结构。

方法详解¶

整体框架¶

PACE 作为专门针对原生多模态大模型设计的视觉Token渐进式压缩框架，在模型前向推理过程中完全无需外加训练参数。输入图像经卷积切片与线性下采样转化为视觉Token序列，与文本序列拼接后首先经过 \(L_{\text{buf}}=4\) 层的初始融合缓冲区（IFB）完成多模态对齐与Native-RoPE位置注册。

在越过 IFB 后，模型进入 36 层的 Post-LLM 主干。PACE 在判别度爬升段及高判别度平原处预先选定的3个阶段 \(\mathcal{S}=\{l_1, l_2, l_3\}\)（本模型中为第4、13、20层）执行动态压缩。在每个选定层，首先调用空间解耦重要性估计（SDIE）计算方向感知的Token显著性评分，再由 Pareto 自适应压缩调度（PACS）严格按照 \(r_{l_1} > r_{l_2} > r_{l_3}\) 的递进约束执行 Top-K 筛选，剔除大量无用视觉Token，随后仅将保留的紧凑视觉Token与完整文本Token传递给后续Transformer层。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与文本指令<br/>Raw Image Patches + Text Tokens"] --> B["初始融合缓冲区<br/>Initial Fusion Buffer (L_buf=4)"]
    B --> C["空间解耦重要性估计<br/>SDIE: 分解 H/W 轴加性空间与 T 轴门控"]
    C --> D["Pareto 自适应压缩调度<br/>PACS: 权衡性能/效率/空间覆盖三目标"]
    D --> E["三阶段渐进式剪枝<br/>TopK 过滤: L4(85%) → L13(78%) → L20(75%)"]
    E --> F["深层高效自回归推理与文本生成<br/>Reduced KV Cache & Lower FLOPs"]

关键设计¶

1. 空间解耦重要性估计（SDIE）：利用 Native-RoPE 结构先验消除标量注意力的方向盲区

传统注意力剪枝使用文本到图像所有维度的标量点积作为权重，无法分辨某个Token是在横向重要还是纵向重要。Native-RoPE 本质上在 Head 维度将 Query 和 Key 分解为时间序列维度 \(t\)、空间高度维度 \(h\) 与空间宽度维度 \(w\)，分别赋予独立的旋转位置编码 \(\Theta_T, \Theta_H, \Theta_W\)。这使得点积注意力天然解构为三项之和：

\[\text{attn}(i, j) = \boldsymbol{q}_{i,t} \cdot \boldsymbol{k}_{j,t}^\top + \boldsymbol{q}_{i,h} \cdot \boldsymbol{k}_{j,h}^\top + \boldsymbol{q}_{i,w} \cdot \boldsymbol{k}_{j,w}^\top\]

SDIE 聚合文本序列 \(\mathcal{T}\) 对该视觉Token \(i\) 在各注意力头下的对应分量，得到原始标量 \(s_i^T, s_i^H, s_i^W\)。为满足单向特征保留（横向或纵向显著均应保留）与全局无关信息抑制（与文本指令无关即剔除）准则，SDIE 采用严格经过最优性证明的加性-乘性门控公式：

\[s_i = \left(\text{ReLU}(s_i^H) + \text{ReLU}(s_i^W)\right) \times \text{ReLU}(s_i^T)\]

高度与宽度的加性合并保证了只要视觉Token在任一空间维度具备显著性（例如横向文本或纵向立柱）即不会被丢弃，而时间（序列）分量则作为全局语义乘性门控，将与指令语义完全无关的背景Token直接归零。全部计算均取自已有 QK 点积中间产物，零增加参数与额外显存开销。

2. Pareto 自适应压缩调度（PACS）：联合优化性能、算力与空间覆盖的三目标前沿搜索

单纯依赖经验层数与均匀剪枝（Uniform Pruning）会破坏层深与信息抽象程度的匹配。PACS 构建了同时优化三个标准化目标的多目标规划问题：最小化评测集性能损失 \(\mathcal{O}_{\text{perf}}(\boldsymbol{r})\)、最大化 FLOPs 削减率（即最小化负效率 \(-\mathcal{O}_{\text{eff}}(\boldsymbol{r})\)），以及最小化全图空间覆盖方差 \(\mathcal{O}_{\text{cov}}(\boldsymbol{r})\)，受制于总保留率上界 \(\prod_{l \in \mathcal{S}} r_l \le r_{\text{target}}\)。

为了彻底避免过度剪枝在图像中留下大面积盲区（导致全局场景描述或空间Grounding失效），PACS 将图像网格划分为 \(4 \times 4\) 个空间子区域 \(\{R_{m_h, m_w}\}\)，计算各子区域保留Token比例的方差：

\[\mathcal{O}_{\text{cov}}(\boldsymbol{r}) = \text{Var}_{(m_h, m_w)}\left(\frac{|\{i \in R_{m_h, m_w} : x_i = 1\}|}{|R_{m_h, m_w}|}\right)\]

在离散网格上遍历后，PACS 自动剔除覆盖方差超过阈值 \(\tau_{\text{cov}}\) 的候选，从剩余的非支配解集 \(\mathcal{P}^*\) 中挑选出满足计算预算的最佳操作点。受判别度阶梯递增指导，最优配置严格服从 \(r_1 > r_2 > r_3\) 的渐进式结构（例如在25%目标下配置为75% \(\to\) 66.7% \(\to\) 50%）。

3. 全流程四阶段原生骨干研制：验证全训练周期对压缩鲁棒性的强化机理

针对现有开源原生模型训练管线不透明的缺陷，作者从零完整构建了 2.2B 参数的原生多模态模型 Ours-2B。该模型采用统一且完整的四阶段训练体系：预训练（PT，约518M图像-文本对）、中程对齐训练（Mid-training，约89M混合样本，全参数解冻强化高分辨率与OCR）、指令微调（SFT，约12.8M多源高质量指令数据）以及基于规则奖励与 pass@6 难样本采样的群体相对策略优化（GRPO 强化学习阶段，约12K数据）。

实验表明，随着模型训练阶段由 Mid-training 向 SFT 与 RL 推进，视觉Token表征的内在有效判别度（Discriminability）显著攀升，使得后训练阶段的模型对激进压缩的容忍度大幅增强，甚至在 SFT 和 RL 之后出现因剔除噪声Token而带来的性能反超反弹。

损失函数 / 训练策略¶

骨干模型 Ours-2B 基于 Qwen3-1.7B 底座扩展而来。输入端采用 \(16 \times 16\) 卷积切片层与 Dense Embedding，原生注意力采用双向视觉内部注意力（Bidirectional）与自回归文本单向掩码（Causal Mask）相结合的 Mixed Attention。各训练阶段的优化超参配置如下： - 预训练阶段：学习率 \(5 \times 10^{-4}\)，全局 Batch Size 2560，训练步数 250K，仅更新切片投影层、IFB 及 Post-LLM 中新增的 H/W 方向 QK 线性层； - Mid-training 阶段：学习率 \(2 \times 10^{-4}\)，Batch Size 1920，全参数端到端解冻优化 46K 步； - SFT 阶段：学习率 \(5 \times 10^{-5}\)，Batch Size 640，训练 19K 步； - RL 阶段：基于 GRPO 算法，学习率 \(1 \times 10^{-5}\)，Batch Size 128，优化 2K 步。

实验关键数据¶

主实验¶

在 VLMEvalKit 上跨越8个权威评测基准（MMBench-DEV-EN、AI2D、MME、HallusionBench、RealWorldQA、MMStar、SEEDBench-IMG、MathVista）测试，PACE 与无压缩基线及其他原生、模块化模型在不同视觉Token保留率下的相对性能变动如下表所示：

模型架构	视觉保留率	MMB (EN)	AI2D	MME (总分)	HallBench	RWQA	SEED-IMG	MathVista
Ours-2B (无压缩)	100%	69.7	80.8	2084.0	42.7	61.8	71.8	55.7
Ours-2B + PACE	75%	71.9 (+3.2%)	84.9 (+5.1%)	2120.2 (+1.7%)	44.4 (+3.9%)	62.4 (+1.0%)	73.1 (+1.8%)	56.4 (+1.3%)
Ours-2B + PACE	50%	71.2 (+2.2%)	84.0 (+4.0%)	2098.0 (+0.6%)	42.9 (+0.5%)	62.6 (+1.3%)	72.5 (+1.0%)	54.3 (-2.5%)
Ours-2B + PACE	25%	70.7 (+1.4%)	83.1 (+2.8%)	2092.0 (+0.4%)	41.6 (-2.5%)	61.2 (-1.0%)	71.4 (-0.6%)	50.3 (-9.7%)
SAIL-7B (原生) + PACE	50%	68.5 (-2.3%)	76.7 (0.0%)	1712.0 (-0.4%)	33.5 (+1.0%)	63.8 (-0.2%)	71.7 (-1.7%)	54.0 (-5.3%)
Qwen3-VL (模块化ViT)	50%	75.3 (-4.0%)	71.0 (-7.7%)	1925.0 (-4.4%)	36.3 (-29.3%)	66.1 (-4.9%)	73.9 (-4.3%)	35.9 (-41.4%)
InternVL3 (模块化ViT)	50%	76.0 (-6.3%)	73.9 (-6.1%)	2087.0 (-6.0%)	41.4 (-2.6%)	64.6 (-2.6%)	74.3 (-2.9%)	43.4 (-23.9%)

在同样保留 25% Token 这一激进压缩率下，模块化基线（FastV、PyramidDrop、SparseVLM、D2Pruner）在 Ours-2B 原生模型上的迁移对比表明：FastV 在 MMB 上骤降 27.7%（跌至 50.4），PyramidDrop 下跌 3.2%（至 67.5），SparseVLM 为 68.9，而 PACE 反向提升至 70.7（+1.4%），且在 AI2D 上大幅领先 baseline 达 4%–12%。

消融实验¶

在 Ours-2B 骨干网络上对 SDIE 内部融合项、调度方式及空间覆盖约束的消融结果如下：

消融配置说明	保留率	MMB (EN)	AI2D	MME	RWQA	说明 / 结论
完整 PACE (Setting 1)	25%	70.7 (+1.4%)	83.1 (+2.9%)	2092 (+0.4%)	61.2	空间加性 \((s^H+s^W)\) 与时间门控 \(s^T\) 完备
仅标量空间未解耦 (Setting 2: \(s^T \times s^{H,W}\))	25%	68.0 (-2.4%)	78.8 (-2.5%)	2008 (-3.7%)	-	缺少H/W轴向正交解耦导致方向敏感特征丢失
仅保留高度轴 (Setting 3: \(s^T \times s^H\))	25%	68.0 (-2.4%)	78.0 (-3.5%)	2031 (-2.6%)	-	缺少宽度信息，视觉判别力受损
仅保留宽度轴 (Setting 4: \(s^T \times s^W\))	25%	66.5 (-4.6%)	79.2 (-2.0%)	2029 (-2.7%)	-	缺少高度信息在 MMB 上严重跌落
均匀调度 (Uniform: 逐层相等保留率)	25%	68.2 (-2.2%)	77.0 (-4.7%)	1976 (-5.2%)	56.6	忽视IFB及深浅层判别度阶梯，全面跌点
去除空间覆盖约束 (w/o \(\mathcal{O}_{\text{cov}}\))	25%	69.1	-	-	58.7	Token向局部过度聚集，破坏整体场景感知

推理吞吐与效率对比¶

在单张 H20-96G GPU（输入分辨率 \(1024 \times 1024\)，初始1024个视觉Token）上的推理性能测试：

方法	保留率	Token数	FLOPs (T)	首字延迟 Prefill (ms)	解码单步 (ms/tok)	KV Cache (MB)	显存 (GB)	5项任务均分
全量模型基准	100%	1024	5.43 (1.00×)	127.8 (1.00×)	77.4 (1.00×)	251.7	7.1	65.4
SparseVLM	50%	512	3.56 (1.53×)	98.8 (1.29×)	75.9 (1.02×)	131.7	6.3	66.2
PyramidDrop	50%	512	3.56 (1.53×)	96.9 (1.32×)	73.4 (1.05×)	131.7	6.3	66.2
PACE (Ours)	50%	512	3.61 (1.50×)	102.1 (1.25×)	73.6 (1.05×)	131.7	6.4	66.6
SparseVLM	25%	256	2.74 (1.98×)	98.2 (1.30×)	76.9 (1.01×)	71.7	6.0	64.6
PyramidDrop	25%	256	2.74 (1.98×)	98.2 (1.30×)	76.6 (1.01×)	71.7	6.0	62.7
PACE (Ours)	25%	256	2.74 (1.98×)	99.6 (1.28×)	77.3 (1.00×)	71.7	6.2	65.6

关键发现¶

原生模型的“负冗余增益”现象：在 75% 和 50% 保留率下，PACE 在 MMB、AI2D、MME 等基准上均超越了 100% 未压缩的基线。这是因为未经 ViT 抽象的原生低层视觉输入中夹杂了大量不含有效语义的纯背景像素噪声，自适应剪枝不仅降低了计算量，反而起到了类似注意力正则化和去噪的效果。
训练阶段与判别度的强关联：Mid-training 阶段模型在 25% 压缩下尚有明显降幅（MathVista -11.6%），而经历 SFT 与 RL 后，由于对齐损失和基于结果反馈的策略优化大幅锐化了任务相关注意力，使模型在 25% 极端压缩下依然近乎无损（MathVista 保持在 50.3）。
空间覆盖约束必不可少：在 RealWorldQA 等高度依赖全景空间关系的评测集上，加入 \(\mathcal{O}_{\text{cov}}\) 正则约束相比无约束版本带来了 2.5 个百分点的显著优势，有效遏制了 Token 过度扎堆于单一前景目标的退化趋势。

亮点与洞察¶

将 Native-RoPE 的位置解耦转变为无参显著性估计工具：巧妙发现原生模型为建模2D平面而引入的 3D Native-RoPE 投影，天然将注意力矩阵解构成了横向、纵向和时间序列独立分量，无需额外引入神经网络打分器或复杂聚类，以几乎为零的计算代价值接提炼出方向性空间显著度。
加性空间合并与乘性全局门控的最优解构：从理论上严密证明了在非对称空间显著度下，加性组合 \((s^H + s^W)\) 能唯一保证单向关键特征不被误删，而乘性时间门控 \(s^T\) 则能确保整图无关背景的归零抑制。
对压缩阶段调度形式的理论量化：摒弃单纯靠人工试错调参的陋习，通过有效秩与显著度提升曲线刻画层深判别度演化轨迹，将层位与保留率映射到 Pareto 优化求解，给出严密的压缩误差上界保证。

局限与展望¶

密集符号推理任务的性能敏感性：虽然通用多模态理解表现优异，但在 MathVista、MMStar 等密集数学几何与微小字符图表任务中，25% 的极端保留率仍带来约 9.7% 的可察觉回落，说明密集视觉推理对亚像素级别的几何细节依然存在硬依赖。
动态自适应Token分配未引入逐样本粒度：当前的 Pareto 调度方案是在离散网格上离线搜索出的固定跨层调度方案（Static Schedule），未来可进一步探索结合输入图像复杂度与指令难度的动态（Sample-Adaptive）即时预算分配机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次针对 Native MLLM 独有架构与 Native-RoPE 展开剖析，建立了方向解耦估计与 Pareto 自适应调度的完整理论与算法体系。
实验充分度: ⭐⭐⭐⭐⭐ 从零复现训练 2.2B 完整原生大模型并进行四阶段全生命周期评测，对比多类模块化与原生主流基线，实验极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严密，问题定义清晰，理论证明完备，图表表达专业明了。
价值: ⭐⭐⭐⭐⭐ 对推动去 ViT 化的端到端原生多模态大模型走向低成本工业级推理部署具有重要指导价值。