SDSA: Shallow-Deep Squeezing Adapter for Vision-Language Models¶

会议: ECCV 2026
论文: ECCV 2026 Official
代码: https://github.com/haowang-ac/SDSA
领域: 多模态VLM
关键词: 视觉语言模型, 参数高效微调, 适配器, 少样本分类, 跨模态对齐

一句话总结¶

针对视觉语言模型适配器中跨模态交互过于密集且对齐容量失控导致新类别泛化退化的问题，SDSA 提出了分层两阶段“浅深压缩”适配器，在浅层通过 Token 级随机掩码引入结构化稀疏性，在深层通过模态共享低秩变换与双向交叉注意力约束对齐容量并选择性交换互补信息，在 11 个基准数据集上显著提升了少样本 Base-to-Novel 泛化能力。

研究背景与动机¶

以 CLIP 为代表的大规模视觉语言模型（VLM）在图文联合对比学习预训练下具备强大的跨模态表征能力与零样本迁移潜力。为将预训练 VLM 高效迁移至下游细粒度视觉识别与少样本场景，学术界探索了一系列基于提示学习（Prompt Learning，如 CoOp、CoCoOp、MaPLe）和轻量适配器（Adapter，如 CLIP-Adapter、MMA）的微调范式。其中，多模态适配器方法（如 MMA）通过在图像和文本分支间引入双向交互，显著提升了下游适配灵活性并缩短了训练耗时。

然而，现有适配器在跨模态对齐的设计上存在关键瓶颈：跨模态 Token 级交互往往是全连接且稠密的，同时缺乏对对齐容量（Alignment Capacity）的显式约束。在监督样本极其稀缺的少样本（Few-shot）设定下，这种密集的交互极易诱导模型将表征对齐过度延伸到微弱、不稳定甚至特定于基类数据集的虚假相关方向上。结果是模型在训练基类（Base Classes）上可能获得良好拟合，但在未见新类别（Novel Classes）以及跨域分布转移下泛化性能大幅下降，产生严重的类别混淆。

解决这一矛盾的核心切入点在于重构跨模态交互的密度与子空间容量：既不能任由全量 Token 自由密集耦合，也不能允许对齐在全维度空间中发散。核心 idea：构建一种分层浅深压缩适配器（SDSA），在浅层通过 Token 级随机掩码建立结构化稀疏瓶颈以抑制高频噪声与不稳定耦合，在深层借助模态共享低秩投影将多模态特征压缩至紧凑的主导对齐子空间，再辅以双向交叉注意力进行精确信息互补。

方法详解¶

整体框架¶

SDSA 采用冻结预训练 CLIP 主干、仅在各 Transformer 层并行挂载可学习分层压缩适配器的架构设计。输入图像经图像编码器切分为图像 Patch Tokens 并拼接类别标记（CLS），文本类别标签则先经过大语言模型进行属性描述增强后输入文本编码器。在各编码器层中，特征首先进入独立的“浅层压缩”（Shallow Squeezing）模块通过 Token 掩码过滤高维冗余；随后统一降维映射至瓶颈空间，输入双模态共享权重的“深层压缩”（Deep Squeezing）模块——先经共享低秩变换将对齐约束在紧凑主导方向，再通过双向交叉注意力模块实现图文精细化交互；最后通过残差分支放大回原特征维度并加权回注到主干网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：图像与类别文本"] --> B["类别描述增强<br/>DeepSeek 扩充细粒度先验"]
    B --> C["主干编码与浅层压缩<br/>Token 级随机 Bernoulli 掩码"]
    C --> D["共享低秩空间压缩<br/>低秩瓶颈抑制虚假相关方向"]
    D --> E["双向跨模态交互细化<br/>选择性互补交叉注意力"]
    E --> F["残差回注与图文余弦预测<br/>双重缩放系数 α、β 聚合输出"]

关键设计¶

1. 类别描述增强：引入细粒度先验缓解图文信息失衡

针对原始 CLIP 文本输入过于简短（如仅包含 "a photo of a [class]"），而图像分支具备密集网格 Tokens 导致图文信息承载量严重失衡的问题，SDSA 引入大语言模型（DeepSeek）进行文本特征的语义扩充。通过针对类别名称生成带有细致外观、属性与背景描述的句式，例如将 "a photo of a [tench]" 扩充为具有橄榄绿皮肤与红眼睛特征的鱼类描述文本。这种文本先验扩充使得输入文本编码器的特征不仅在 Token 数量上与图像更为均衡，而且显式注入了判别性细粒度先验，为后续跨模态精准对齐奠定了坚实的语义基础。

2. 浅层压缩：Token 级随机稀疏化抑制密集噪声耦合

为阻断全量稠密交互所引入的基类特定冗余与噪声耦合，浅层压缩模块被设计为特征进入深度对齐前的轻量级预筛选器。在训练阶段，算法在序列维度上生成服从伯努利分布的随机二值掩码，以设定的保留概率 \(\rho = 1 - \text{mask\_ratio}\) 对图像特征 \(E_i\) 与文本特征 \(T_i\) 进行随机子采样掩码：

\[x_i^j \sim \text{Bernoulli}(\rho), \quad x_i \in E_i, \, j \in d_v\]

\[t_i^j \sim \text{Bernoulli}(\rho), \quad t_i \in T_i, \, j \in d_l\]

这种随机掩码机制迫使模型无法依赖个别显著特征 Token，而必须从残存的信息片段中学习鲁棒重构，有效打破了脆弱的局部特征共现。经过稀疏化处理后的特征再通过全连接层线性投影压缩到统一的瓶颈维度 \(m\)（默认设为 128），将高维密集交互转换为低维紧凑表征。

3. 共享低秩变换：限制对齐容量并锁定主导语义方向

为防止适配器在微调时沿特征空间的次要或不稳定方向过度拟合基类分布，深层压缩模块首先在瓶颈空间中应用模态间共享的低秩参数分解。图像与文本的瓶颈特征分别通过相同的低秩投影矩阵 \(A \in \mathbb{R}^{m \times r}\) 与升维矩阵 \(B \in \mathbb{R}^{r \times m}\)（其中秩 \(r \ll m\)，默认 \(r = 16\)），配合非线性激活函数 ReLU 与 Dropout：

\[x_i = \text{Dropout}(\phi(x_i A) B), \quad t_i = \text{Dropout}(\phi(t_i A) B)\]

模态共享权重强制视觉与语言特征在完全相同的受限子空间中进行语义重构与投影。低秩瓶颈从几何上严格限制了对齐的自由度容量，迫使模型过滤掉特定于数据集的偶然相关性，将跨模态能量严格收敛到最具判别力和迁移性的主导语义轴上。

4. 跨模态注意力与双重残差聚合：选择性细化与受控特征回注

在共享低秩变换锁定主导对齐方向后，模型引入双向交叉注意力（Cross-Attention）以建立显式的细粒度图文依赖。文本特征作为 Query 检索图像特征中的互补细节，同时图像特征也作为 Query 聚合文本语义上下文：

\[\hat{x}_i = \text{CrossAttn}(Q = x_i, K = t_i, V = t_i), \quad \hat{t}_i = \text{CrossAttn}(Q = t_i, K = x_i, V = x_i)\]

为保证预训练 CLIP 原始知识不被灾难性冲刷，SDSA 将低秩变换特征与交叉注意力特征通过两个独立的缩放系数 \(\alpha\) 与 \(\beta\) 残差叠加回原始 Transformer 层的输出：

\[[c_j, E_j] = \mathcal{V}_j([c_{j-1}, E_{j-1}]) + \alpha \Phi([c_{j-1}, E_{j-1}]) + \beta \Phi([c_{j-1}, \hat{E}_{j-1}])\]

\[[T_j] = \mathcal{T}_j([T_j]) + \alpha \Phi([T_{j-1}]) + \beta \Phi([\hat{T}_{j-1}])\]

其中 \(\Phi\) 表示将特征升维恢复至主干维度的线性映射。实验发现低秩分支承载主要对齐能量（\(\alpha = 0.05\)），而交互分支采用更保守的权重（\(\beta = 0.01\)），实现了基础对齐能力与动态交互信息的平稳融合。

损失函数 / 训练策略¶

训练全过程中 CLIP 主干编码器参数完全冻结，仅更新 SDSA 适配器参数。训练损失采用标准对称图文交叉熵对比损失：

\[\mathcal{L} = -\frac{1}{B} \sum_{k=1}^B \log \frac{\exp(\text{sim}(x_k, z_{y_k}) / \tau)}{\sum_{c=1}^C \exp(\text{sim}(x_k, z_c) / \tau)}\]

在 ViT-B/16 主干上，默认超参数设置为 mask_ratio = 0.10、瓶颈维度 \(m = 128\)、低秩数 \(r = 16\)、缩放因子 \(\alpha = 0.05\) 与 \(\beta = 0.01\)。在 16-shot Base-to-Novel 实验中，模型采用 SGD 优化器，学习率设为 0.02（ImageNet 设为 10 个 epoch、batch size 为 32；其余数据集训练 20 个 epoch、batch size 为 16），并在 RTX 5090 GPU 上完成评估。

实验关键数据¶

主实验¶

在 11 个经典图像分类基准（包含 ImageNet、Caltech101、OxfordPets、StanfordCars、Flowers102、Food101、FGVCAircraft、SUN397、DTD、EuroSAT、UCF101）上的 16-shot Base-to-Novel 泛化性能对比中，SDSA 展现出卓越的未见新类（Novel）迁移能力与调和均值（HM）。

方法	适配形式	11类平均 Base	11类平均 Novel	11类平均 HM	EuroSAT (Novel/HM)	FGVCAircraft (Novel/HM)
CLIP (Zero-Shot)	无微调	69.34	74.22	71.70	64.05 / 60.03	36.29 / 31.09
CoOp	提示微调	82.69	63.22	71.66	54.74 / 68.69	22.30 / 28.75
CoCoOp	条件提示	80.47	71.69	75.83	60.04 / 71.21	23.71 / 27.74
MaPLe	多模态提示	82.28	75.14	78.55	73.23 / 82.35	35.61 / 36.50
PromptSRC	自正则提示	84.26	76.10	79.97	73.90 / 82.32	37.87 / 40.15
CoPrompt	一致性提示	84.00	77.23	80.48	78.57 / 85.84	39.33 / 39.76
MMA	多模态适配器	83.20	76.80	79.87	82.34 / 83.87	36.33 / 38.33
2SFS	两阶段微调	85.55	75.48	80.20	67.09 / 79.29	35.51 / 40.63
SDSA (本文)	浅深压缩适配	83.77	78.34	80.96	86.33 / 87.37	45.13 / 44.02

在跨数据集泛化评估（Cross-Dataset Evaluation，在 ImageNet 16-shot 上训练并在其余 10 个数据集零样本评估）中，SDSA 取得了 67.32% 的平均准确率，超越了 MMA（66.61%）与 MaPLe（66.30%），并在 Pets（92.17%）、Aircraft（30.33%）、UCF101（70.43%）等 7 个目标数据集上均达到最优表现。

消融实验¶

论文在 11 个数据集上对 SDSA 各核心组件（低秩模块 \(\alpha\) 与交叉注意力 \(\beta\)）以及关键超参数进行了系统消融。

配置 / 变体	模块设置	Base 准确率	Novel 准确率	HM 调和均值	说明
原始主干基线	\(\alpha = 0, \beta = 0\)	68.85	75.15	71.86	无适配器插入
仅低秩压缩	\(\alpha = 0.05, \beta = 0\)	83.25	77.83	80.45	验证共享低秩主导约束的有效性
仅交叉注意力	\(\alpha = 0, \beta = 0.01\)	72.82	76.31	74.52	缺乏低秩约束时对齐不稳定
完整 SDSA	\(\alpha = 0.05, \beta = 0.01\)	83.77	78.34	80.96	两者结合达到最优泛化平衡
掩码率 ratio = 0.00	无 Token 掩码	83.83	78.18	80.91	交互过于密集导致新类略有下降
掩码率 ratio = 0.10	默认掩码强度	83.77	78.34	80.96	达到结构化稀疏最佳平衡
掩码率 ratio = 0.30	过度稀疏掩码	83.22	78.20	80.63	丢失过多关键判别特征
低秩 \(r = 8\)	极小秩容量	82.94	78.22	80.51	表征能力受限导致基类与新类均偏低
低秩 \(r = 16\)	默认平衡秩	83.77	78.34	80.96	最佳主导语义方向约束
低秩 \(r = 64\)	较高秩容量	84.69	77.68	81.03	基类拟合增强但新类泛化明显回落

关键发现¶

低秩约束主导对齐稳定性：仅保留交叉注意力时（\(\beta = 0.01\)），Base 准确率大幅跌落至 72.82%，HM 仅为 74.52%；而单靠共享低秩变换（\(\alpha = 0.05\)）即可达到 80.45% 的 HM。这表明非受限的跨模态注意力会导致优化目标发散，而低秩子空间约束是确保适配器学到主导对齐语义的决定性基石。
低秩维度的过拟合拐点：随着秩 \(r\) 从 8 增加到 64，Base 准确率单调上升（从 82.94% 升至 84.69%），但 Novel 类别准确率在 \(r = 16\) 达到峰值 78.34% 后开始显著下滑（\(r = 64\) 时降至 77.68%）。这充分证实了过高的子空间容量会导致适配器捕捉到特定于训练数据的细微混淆线索。
适度稀疏化有助于抑制过拟合：引入 10% 的 Token 级随机丢弃相较于完全不使用掩码（ratio = 0.00），Novel 类别从 78.18% 提升至 78.34%，且在更激进的 30% 丢弃下模型依然具备极强的鲁棒性，证明了浅层结构化稀疏性预处理的有效性。

亮点与洞察¶

显式容量调控优于盲目增加交互：现有主流方法多致力于设计更复杂的跨模态融合机制，而 SDSA 指出盲目的高容量密集交互是导致少样本微调过拟合的根源。通过分层降维（浅层掩码稀疏化 + 深层共享低秩投影），将对齐空间强制限制在紧凑子空间，反常识地用更小的参数与容量获得了更强的新类泛化。
共享权重的跨模态约束：在低秩瓶颈中使用完全共享的变换矩阵 \(A\) 和 \(B\) 处理图文两路特征，迫使视觉与语言表征在统一的几何低维流形上对齐，有效规避了单侧独立低秩微调（如标准 LoRA）可能带来的模态间几何不对齐。
可迁移的轻量级即插即用范式：SDSA 模块总可训练参数量仅 4.79M（ViT-B/16 主干），在各层插入时计算开销极低，其“浅层随机丢弃去噪 + 深层低秩受限交互”的思路可直接推广到其他视觉语言多模态大模型（如 LLaVA、BLIP）的高效参数微调中。

局限与展望¶

极端样本条件下的性能波动：作者指出在极度缺乏监督样本（例如 1-shot 或 2-shot）的场景下，模型对超参数（如缩放系数 \(\alpha\)、\(\beta\) 与掩码概率）表现出一定的敏感性，如何自适应确定子空间容量仍有待探索。
掩码策略的随机性与启发性：当前浅层压缩采用均匀的伯努利随机 Token 掩码，未能结合视觉注意力显著图或文本语法结构实现语义感知型自适应剪枝，可能在极端情况下误伤关键判别区域。
扩展至更重型多模态大模型：本文实验集中在以双塔对比学习为主的 CLIP 架构上，未来可进一步验证该分层挤压架构在自回归生成的单塔大语言多模态架构（MLLM）中的有效性。

评分¶

新颖性: ⭐⭐⭐⭐ [针对 VLM 适配器对齐容量过度失控问题，提出了具有洞察力的分层浅深压缩与共享低秩思路]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 11 个跨域基准、Base-to-Novel、跨数据集、域泛化以及详尽消融与可视化]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密，动机具体深入，图表绘制精良清晰]
价值: ⭐⭐⭐⭐ [为小样本多模态适配器提供了清晰的正则化与轻量化范式，具备良好的工程复用价值]