SIMPLER: Efficient Foundation Model Adaptation via Similarity-Guided Layer Pruning for Earth Observation¶
会议: ECCV 2026
论文: ECCV 2026 Oral/Poster
代码: https://gitlab.citius.gal/hpc4rs/simpler
领域: 多模态VLM
关键词: 表征相似度, 结构化剪枝, 遥感大模型, 参数高效微调, 预微调模型压缩
一句话总结¶
针对遥感基础模型微调与端侧部署计算开销巨大的痛点，SIMPLER 在微调前基于无标注任务数据计算层级表征相似度（CKA），通过自动评分函数无梯度截断冗余深层，在仅保留 21%~30% 参数量的前提下保留高达 94%~97% 的基线性能，同时大幅削减训练与推理开销。
研究背景与动机¶
大规模地球观测（Earth Observation, EO）基础模型（如 300M 参数的 Prithvi-EO-2）在遥感农作物制图、海洋垃圾与溢油检测等下游任务中展现了优异的泛化能力。然而，微调和部署这些超大 Vision Transformer 模型需要巨大的算力与内存支持——例如在 4 张配备 128GB 显存的 H200 GPU 集群上，仅在 BigEarthNetv2 上进行单次微调就需耗费近 2.81 小时；而在推理阶段，计算与内存延迟随 Transformer 层数线性增长，极大地阻碍了基础模型在卫星在轨载荷、无人机和低功耗边缘设备等即时应急响应场景下的实际部署。
面对计算效率瓶颈，现有的解决思路割裂为两个互不兼容的流派：参数高效微调（PEFT，如 LoRA、Adapter）将参数更新限制在低秩子空间，大幅降低了微调时的显存与反向传播开销，但在推理阶段所有 Transformer 层仍全部激活，部署成本毫无减少；与之相对的传统结构化剪枝（Structured Pruning）虽然能裁撤网络层以加速推理，但属于事后微调（Post-hoc）范式——开发者必须先耗费巨额算力完成昂贵的全量模型微调，再分析权重统计量、进行繁琐的迭代剪枝与重新微调（Retraining）。更致命的是，基于权重幅值的剪枝准则往往会错误裁掉权重较小但执行关键表征变换的层。目前学界缺乏一种能够同时在微调阶段和部署阶段实现双重降本的统一框架。
本文的切入视角建立在一个关键观察上：预训练 Vision Transformer 在处理下游特定领域样本时，深层网络表征呈现出高度的同质化与冗余稳定（Representation Stabilization），这种深层表征重叠在任何参数微调发生之前就已经客观存在。本文的核心 idea 是：在微调发生之前，直接利用无标注下游样本在预训练骨干网络中提取层级表征并计算中心核对齐（CKA）相似度矩阵，通过衡量浅层多样性与深层冗余稳定性的自动化评分准则精确判定最佳截断深度 \(c^*\)，从而直接适配一个浅层紧凑骨干进行微调，一举消除训练与推理的双重开销。
方法详解¶
整体框架¶
SIMPLER 的核心理念是将模型压缩决策前置至微调前阶段（Pre–fine-tuning），从架构空间而非纯权重更新空间进行减枝选择。整个处理流程分为预分析（Pre-analysis）与下游微调（Fine-tuning）两个独立阶段：首先从无标注下游任务数据集中抽取少量代表性样本（仅需 500 张影像），将其输入冻结权重的预训练基础模型，提取所有 Transformer 块输出的特征隐状态；随后基于表征相似度度量（默认选用 CKA）构建层间相似度矩阵，通过无超参数搜索的离散变异度评分函数自动寻找最佳层截断点 \(c^*\)；最后将仅包含前 \(c^*\) 层的精简骨干网络接入任务专用头，实施全参数微调或配合 LoRA 进行极轻量微调。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：少量无标注下游任务样本 S<br/>（500 张影像，仅需 CPU/单次前向）"] --> B["1. 层级表征提取<br/>提取预训练 ViT 各层特征隐状态 {h_1, ..., h_L}"]
B --> C["2. 相似度矩阵构建<br/>计算层级 CKA 矩阵 Z（正交变换不变性）"]
C --> D["3. 自动化截断评分<br/>最大化多样性与稳定性差值 score(c)=Δ_TL - Δ_BR"]
D --> E["4. 紧凑骨干截断<br/>裁撤深层冗余层，保留前 c* 层紧凑模型 F_c*"]
E --> F["5. 协同微调适配<br/>全量微调或与 LoRA 复合适配下游任务头 H_D"]关键设计¶
1. 层级表征相似度度量：捕捉固有的表征稳定性 针对传统幅值剪枝容易误伤关键变换层、以及梯度敏感度剪枝需要高昂反向传播开销的问题，SIMPLER 利用特征空间相似度直接探测网络层在下游数据分布下的功能冗余度。对于包含 \(L\) 层的预训练模型 \(\mathcal{F}_{\text{pre}}\)，给定抽取的小规模无标注样本集 \(S \subset \mathcal{D}\)，提取各层特征表示 \(h_\ell\)。SIMPLER 重点评估了三种表征相似度指标：Centered Kernel Alignment (CKA)、SVCCA 和基于近邻图重叠的 Jaccard 相似度。实验证实，CKA 具备对正交变换的不变性，并在网络深度维度上呈现平滑梯度特性，能够最稳健地辨识深层表征块状对角线同质化模式（Block-diagonal Similarity）。当相邻深层表征极其相似时，在下游基于梯度的优化中，损失曲面沿这些表征方向极其平坦，导致多层堆叠并未带来额外的特征判别能力，反而造成无谓的显存与计算浪费。
2. 自动化层选择评分准则：无超参定位截断点 为了避免引入人工设定的阈值或进行代价高昂的超参数网格搜索，SIMPLER 提出了基于相似度矩阵块变异度的自动化打分函数。将计算得到的 \(L \times L\) 相似度矩阵 \(\mathbf{Z}\) 在候选截断位置 \(c \in \{2, \dots, L-2\}\) 处切分为左上块 \(\mathbf{Z}_{TL} = \mathbf{Z}[0:c-1, 0:c-1]\)（保留的浅层/中层部分，尺寸为 \(c \times c\)）和右下块 \(\mathbf{Z}_{BR} = \mathbf{Z}[c:L, c:L]\)（拟剔除的深层部分，尺寸为 \((L-c) \times (L-c)\)）。对于任意 \(k \times k\) 的对称相似度方阵 \(\mathbf{M}\)，其均值绝对相邻行差异度定义为：
据此计算两个区域的变异度指标：
其中 \(\Delta_{TL}\) 反映保留层内部的表征多样性（高变异度意味着层与层之间在提取层级演化丰富的信息），而 \(\Delta_{BR}\) 反映被裁撤层内部的表征平稳冗余度（低变异度代表层间表征已进入近乎停滞的平缓阶段）。最优截断深度 \(c^*\) 通过直接最大化二者差值确定：
该公式完全基于无监督表征矩阵的内生几何结构，无需任何验证集标签或学习率调整，即可确定最佳深度截断点。
3. 与下游优化策略正交解耦的协同适配 通过自动化准则提取出只包含前 \(c^*\) 层的稠密紧凑骨干网络 \(\mathcal{F}_{c^*}\) 后，SIMPLER 不产生非结构化稀疏权重，得到的模型是原生连续的紧凑网络，完全兼容标准 PyTorch 运行时而无需特定稀疏推理引擎。在下游适配阶段，SIMPLER 可以无缝结合两种截然不同的微调范式：一是直接对 \(\mathcal{F}_{c^*}\) 及任务预测头实施全量参数微调（Full Fine-tuning），获得极致的推理与训练吞吐收益；二是将 SIMPLER 与 LoRA 结合（SIMPLER with LoRA），在已降低深度的骨干网络中仅注入低秩更新矩阵。这种结构深度压缩与参数低秩更新的复合，使得可训练参数进一步锐减至原始模型的 0.1%~0.2%，显存占用大幅下压，实现了多维度的复合加速。
一个完整示例¶
以 24 层、300M 参数的遥感大模型 Prithvi-EO-2 在 MADOS（海洋垃圾与溢油弱监督分割）任务上的适配为例： 1. 抽样与提取：从 MADOS 训练集抽取 500 张无标注多光谱遥感影像，单次前向通过未微调的 Prithvi-EO-2 骨干，在 CPU/RAM 中耗时 218 秒提取各层表征并计算 \(24 \times 24\) 的 CKA 相似度矩阵 \(\mathbf{Z}\)。 2. 矩阵分析与评分计算：在 CKA 矩阵中，浅层 0~5 层差异显著，中层 6~15 层平稳过渡，16~24 层呈现明亮的块状高相似区（数值接近 1.0）。遍历 \(c \in \{2, \dots, 22\}\)，评分函数 \(\text{score}(c) = \Delta_{TL} - \Delta_{BR}\) 在 \(c^* = 5\) 处取得全局极大值。 3. 架构剪裁与微调：系统直接截取前 5 个 Transformer 块，丢弃后 19 层，将模型总参数量从 303.90M 骤降至 64.57M（削减 79%）。连接下游分割头后进行全量微调，训练耗时从基线的 15.90 分钟减至 7.46 分钟（2.1× 加速），推理吞吐量从 33.02 img/s 跃升至 88.72 img/s（2.6× 加速），而 mIoU 仍保持在 62.8%（基线为 66.9%）。
损失函数 / 训练策略¶
在预分析阶段，SIMPLER 不产生任何梯度更新，仅在 CPU 上计算 CKA 矩阵。微调阶段的损失函数完全取决于下游任务的配置： - 语义分割任务（MADOS）采用交叉熵损失或弱监督二值交叉熵； - 多标签分类任务（BigEarthNetv2）采用针对 19 类共存地物标签的多标签软间隔交叉熵损失（Multi-label Binary Cross-Entropy）； - 农作物时间序列制图（Sen4Map）采用类别加权的序列交叉熵损失。 微调优化器与全模型微调保持一致（如 AdamW），学习率和 weight decay 继承基线默认设置，验证了 SIMPLER 具有“即插即用”且无需调整超参数的实用特性。
实验关键数据¶
主实验¶
论文在三个代表性遥感下游任务以及跨模态/跨领域基准上对 SIMPLER 进行了充分评测：弱监督海洋垃圾/溢油检测分割（MADOS，表 2）、19 类多标签土地覆被分类（BigEarthNetv2，表 3）、基于时间序列的作物制图（Sen4Map，表 4），以及跨架构的 TerraMind（表 6）与标准图像模型 ViT-MAE（表 7）。
| 任务 / 数据集 | 模型 / 方法 | 总参数 (M) | 可训参数 (M) | 训练时间 (min) | 推理吞吐 (img/s) | 关键性能指标 | 性能保留率 |
|---|---|---|---|---|---|---|---|
| MADOS (分割) | 300M Full Baseline | 303.90 | 303.90 | 15.90±4.80 | 33.02±1.94 | mIoU: 66.9±2.5% | 100% |
| 300M Baseline + LoRA | 306.32 | 2.42 | 11.77±2.17 | 31.62±1.13 | mIoU: 59.6±1.5% | 89.1% | |
| 300M Post-hoc Prune 20% | 240.92 | 240.92 | 24.34±5.09 | 35.33±4.02 | mIoU: 58.4±1.6% | 87.3% | |
| 300M Post-hoc Prune 40% | 177.94 | 177.94 | 22.51±4.83 | 47.03±6.03 | mIoU: 47.9±3.7% | 71.6% | |
| 300M SIMPLER (Ours) | 64.57 | 64.57 | 7.46±1.62 | 88.72±15.04 | mIoU: 62.8±1.2% | 93.9% | |
| 300M SIMPLER + LoRA (Ours) | 65.12 | 0.55 | 4.31±0.28 | 79.51±14.44 | mIoU: 60.4±1.4% | 90.3% | |
| 600M Full Baseline | 631.21 | 631.21 | 29.20±8.11 | 16.28±0.31 | mIoU: 69.6±2.2% | 100% | |
| 600M SIMPLER (Ours) | 80.24 | 80.24 | 7.70±1.90 | 77.26±11.27 | mIoU: 62.2±2.0% | 89.4% | |
| BigEarthNetv2 (分类) | 300M Baseline | 303.91 | 303.91 | 168.87±6.60 | 37.67±0.04 | mAP: 73.4±0.5% | 100% |
| 300M SIMPLER (Ours) | 51.98 | 51.98 | 40.66±1.64 | 110.05±0.36 | mAP: 71.2±0.3% | 97.0% | |
| 300M SIMPLER + LoRA (Ours) | 52.43 | 0.45 | 92.29±16.33 | 105.11±0.42 | mAP: 70.1±0.2% | 95.5% | |
| Sen4Map (时序) | 300M Baseline | 303.90 | 303.90 | 133.81±8.48 | 4.72±0.00 | Macro-F1: 66.6±0.3% | 100% |
| 300M SIMPLER (Ours) | 89.76 | 89.76 | 55.62±3.83 | 15.55±0.03 | Macro-F1: 63.8±0.4% | 95.8% |
消融实验¶
表 5 展示了在 MADOS 数据集（Prithvi-EO-2 300M）上对不同相似度度量准则以及预训练影响的系统消融：
| 实验组别 | 评估配置 | 选定截断层数 | 参数量 (M) | mIoU (%) | Pixel Acc (%) | 说明 |
|---|---|---|---|---|---|---|
| 相似度指标消融 | Baseline (完整 24 层) | 24 blocks | 303.90 | 66.9±2.5 | 95.3±1.2 | 全量基线 |
| SIMPLER (Jaccard / SVCCA) | 2 blocks | 26.78 | 50.7±3.4 | 84.6±0.8 | 激进截断，严重掉点 16.2% | |
| SIMPLER (CKA, 默认) | 5 blocks | 64.57 | 62.8±1.2 | 94.2±1.1 | 平衡层级多样性，保留 94% 性能 | |
| 预训练影响消融 | Baseline (从头随机初始化训练) | 24 blocks | 303.90 | 46.7±2.4 | 83.0±0.8 | 缺乏预训练权重 |
| Baseline (预训练微调) | 24 blocks | 303.90 | 66.9±2.5 | 95.3±1.2 | 预训练增益 +43.2% 相对提升 | |
| SIMPLER (从头随机初始化训练) | 5 blocks | 64.57 | 44.1±1.9 | 81.9±1.3 | 浅层固有容量接近全尺寸从头训练 | |
| SIMPLER (预训练微调) | 5 blocks | 64.57 | 62.8±1.2 | 94.2±1.1 | 预训练增益 +42.4% 相对提升 |
关键发现¶
- 指标鲁棒性决定剪枝下限：基于近邻交集的 Jaccard 与基于奇异值相关的 SVCCA 倾向于过度激进地将模型截断至仅第 2 层，导致性能发生毁灭性跌落（mIoU 仅 50.7%）。相比之下，CKA 具备对正交变换不变性与深度平滑特性，自动判定保留前 5 层，多出的 3 个核心表征层带来了整整 12.1 个百分点的 mIoU 提升，证明 CKA 是表征相似度剪枝的最优度量准则。
- 预训练知识的高保真继承：从头训练消融证明，被剪除的 19 层对于网络本身的表征容量贡献微乎其微（5 层从头训练 mIoU 为 44.1%，而 24 层从头训练仅为 46.7%）；但一旦引入预训练权重，5 层 SIMPLER 实现了 42.4% 的相对飞跃，充分证明 SIMPLER 精准保留了预训练阶段所积累的最核心的多尺度特征提取能力。
- “剪大模型胜过从头训练小模型”现象：在多模态 TerraMind 模型评估中，将 TerraMind-Large 经过 SIMPLER 压缩至 53.23M 时，其分割 mIoU 达到 58.8%，不仅远优于同规模剪枝，而且直接碾压了参数量原本就较小的 TerraMind-Small 官方基线（22.37M，mIoU 53.0%）。这揭示了基础模型落地的重要方法论：投资预训练一个大容量模型并按需自适应剪枝，远比分别从头预训练多套小模型更为划算且性能更强。
亮点与洞察¶
- 将模型压缩时机前移至微调前的范式革新：传统剪枝必须承受昂贵的全量微调沉没成本（Fine-tune → Prune → Retrain），而 SIMPLER 首次实现在微调开始前、且无需标签即可确定紧凑架构，使得训练和推理阶段双双获得数倍加速。
- 完全免超参调优的几何变异度准则：通过精巧地定义分块矩阵的相邻行差绝对值均值 \(\delta(\mathbf{M})\)，将抽象的“浅层特征丰富度”与“深层冗余程度”量化为 \((\Delta_{TL} - \Delta_{BR})\) 的标量优化问题，杜绝了经验性调参。
- 与 PEFT 形成完美正交互补：在减枝后的紧凑结构上叠加 LoRA，创造性地将参数压缩推向极致——在 BigEarthNetv2 上仅需微调 0.45M 参数，同时享受浅层网络带来的 2.9× 推理吞吐与 70% 的显存削减。
局限与展望¶
- 依赖自监督掩码重构（MAE）带来的深层表征平稳特性：论文作者与补充实验坦承，SIMPLER 的有效性建立在 ViT 预训练任务呈现表征逐渐稳定（Stabilization）的现象上。如果基础模型使用具有对比学习（如 SoftCon）或显式防坍缩正则化项（如 DINOv3 配合 KoLeo 正则）训练，深层表征可能呈现振荡或非平稳分布，导致块状对角线模式减弱。
- 连续前截断策略对分支或跳跃保留的探讨有限：SIMPLER 目前主要保留连续的前 \(c^*\) 层并裁撤末尾层，未来可进一步探索非连续层抽取的相似度引导策略。
- 在强时序依赖任务上的精度微损：在 Sen4Map 农作物时间序列分类中，虽然训练加速 2.4×，但全尺寸 LoRA 基线表现出略高的 F1 分数（66.9% vs 63.8%），说明具有极复杂时序关联的任务对网络深度的容忍度略逊于空间特征主导的纯视觉分割与分类。
相关工作与启发¶
- vs. 参数高效微调（LoRA / AdaptFormer）: PEFT 仅在权重空间降低训练期反向传播成本，推理时所有层必须全量激活；SIMPLER 在架构空间做减法，直接削减物理层数，带来推理与训练的双重红利，且两者可完全复合。
- vs. 事后结构化剪枝（DepGraph / L1-Filter Pruning）: 传统结构化剪枝依赖昂贵的全量微调与重训练三阶段循环，且易受权重绝对幅值的伪信号误导；SIMPLER 在无标注特征层面直接利用表征几何不变性完成无梯度剪裁，效率高且理论自洽。
- vs. 动态早退机制（Early Exiting / LayerDrop）: 早退机制需要修改训练流程并附加复杂的各层辅助分类器，在实际批处理推理时容易引入分支发散开销；SIMPLER 产出完全标准的 PyTorch 原生稠密模型，对端侧和云端部署框架具有零适配成本的巨大优势。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ (首次将表征相似度分析从后验可解释性分析工具逆向应用为微调前架构剪枝准则)
- 实验充分度: ⭐⭐⭐⭐⭐ (覆盖分割、多标签、时序三大遥感任务，跨 Prithvi-EO-2、TerraMind、ViT-MAE 三大模型家族及端侧 Jetson 硬件验证)
- 写作质量: ⭐⭐⭐⭐⭐ (问题定义清晰，数学推导简洁优美，图表与动机高度契合)
- 价值: ⭐⭐⭐⭐⭐ (直击遥感基础模型端侧部署与算力开销两大现实痛点，代码开源且易于在实际工程中规模化落地)