ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder¶
会议: NeurIPS 2026
arXiv: 2510.18795
代码: https://github.com/VisionXLab/ProCLIP
领域: 多模态大模型
关键词: 视觉语言对齐、大语言模型嵌入、知识蒸馏、自蒸馏正则化、零样本泛化
一句话总结¶
ProCLIP 提出了一种受课程学习启发的渐进式视觉-语言对齐框架，通过跨架构双重蒸馏继承 CLIP 文本先验，并在对比微调中引入视觉自蒸馏正则化，在解锁 LLM 长文本与多语言能力的同时克服了灾难性遗忘，将零样本分类准确率相对 LLM2CLIP 大幅提升 6.8%–13.5%。
研究背景与动机¶
CLIP 通过大规模双塔对比学习建立了强大的多模态表征，成为跨模态检索、开放词表检测与多模态大模型视觉基座的核心支柱。然而，原生 CLIP 文本编码器受到严格的 77-token 长度限制，缺乏多语言泛化支持，并且由于文本监督相对粗粒度，难以捕获细粒度语义与复杂关系。为了突破文本瓶颈，近期如 Long-CLIP 尝试插值位置编码，但仍受限于原生架构表达力；而 FLAME 与 LLM2CLIP 等工作则尝试将 CLIP 文本端直接替换为预训练的大语言模型嵌入器（LLM-based embedder），利用大模型在长文本建模、跨语言空间与细粒度语义上的丰富先验。
然而，现有 LLM 增强型 CLIP 面临严重的表征退化困境。以往方法多采用“从零对齐”（from-scratch alignment），直接通过标准对比损失强制预训练图像编码器去贴合尚未校准的 LLM 嵌入空间。由于 LLM 嵌入特征几何分布与 CLIP 视觉表征最初缺乏先验对齐，突兀的跨模态强行拉近引入了剧烈且不稳定的优化梯度，破坏了 CLIP 在大规模预训练中建立的精细跨模态几何拓扑。特别是在微调数据有限的场景下，图像编码器极易发生过拟合与表征漂移，导致下游零样本分类能力严重退化。
面对大语言模型先验引入与预训练视觉结构保留之间的核心矛盾，本文提出不能在视觉端强行“迎合”未对齐的语言空间，而应把预训练权重视为基础先验，让 LLM 嵌入器渐进式地桥接到 CLIP 原生视觉空间。核心 idea：构建两阶段渐进式对齐框架（ProCLIP），先通过跨架构实例与结构双重蒸馏将原生 CLIP 文本先验注入 LLM 适配器，再在跨模态对比微调中配合视觉动量自蒸馏正则化约束切向漂移，实现长文本与多语言扩展同时零样本识别零退化。
方法详解¶
整体框架¶
ProCLIP 的核心理念是课程学习式（curriculum learning）的渐进对齐：先在文本模态内进行空间校准与先验继承，再开展受约束的双模态对比微调。整体系统包含冻结的预训练图像编码器 \(\mathcal{E}_I\)、原始 CLIP 文本编码器 \(\mathcal{E}_T\)、冻结的预训练 LLM 嵌入器 \(\mathcal{G}_T\)（如 LLaMA3-8B-CC，可离线提取文本特征），以及待训练的轻量级 4 层 MLP 适配器 \(\text{Adapter}\)。
在第一阶段（表征继承），LLM 文本表征通过轻量适配器投影到 CLIP 维度，通过原始 CLIP 文本编码器监督进行跨架构蒸馏，学习实例级语义对齐与全局拓扑几何保持；在第二阶段（对比微调），适配器与图像编码器进行联合对比学习以强化跨模态检索性能，同时维护一个 EMA 动量更新的视觉教师编码器 \(\mathcal{E}_I^*\)，通过实例级与结构级自蒸馏正则化惩罚视觉表征的几何形变，彻底阻止灾难性遗忘。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
subgraph S1["第一阶段：表征继承（Representation Inheritance）"]
direction TB
T["输入文本 T"] --> ET["CLIP 文本编码器 E_T<br/>（教师，冻结）"]
T --> GT["LLM 嵌入器 G_T<br/>（离线提取特征）"]
GT --> AD1["MLP 适配器 Adapter<br/>（可训练投影）"]
ET -->|目标 e_i| LDIS["跨架构双重蒸馏<br/>实例对齐 L_ins + 结构对齐 L_struct"]
AD1 -->|输出 t_i*| LDIS
end
subgraph S2["第二阶段：对比微调与自蒸馏（Contrastive Tuning）"]
direction TB
IMG["输入图像 I"] --> EI["图像编码器 E_I<br/>（学生网络，微调）"]
IMG --> EISTAR["动量图像编码器 E_I*<br/>（EMA 教师，稳定历史）"]
EI -->|视觉表征 v_i| LINFO["对称 InfoNCE 对比损失 L_info"]
S1 -.->|提供已校准适配器| AD2["已校准适配器 Adapter"]
AD2 -->|对齐文本 t_i*| LINFO
EI -->|当前表征 v_i| LREG["视觉自蒸馏正则化 L_reg<br/>实例漂移约束 + 几何拓扑保持"]
EISTAR -->|EMA 目标 v_i*| LREG
end
LDIS -->|继承 CLIP 文本几何流形| S2
LINFO --> OPT["联合优化 L_tune = L_info + λ_reg L_reg"]
LREG --> OPT关键设计¶
1. 跨架构双重蒸馏：在单模态内完成几何校准与先验继承
针对 LLM 嵌入特征几何与 CLIP 视觉表征直接对齐易发生剧烈震荡的痛点，ProCLIP 在第一阶段完全冻结图像塔与 LLM 参数，使用原始 CLIP 文本编码器 \(\mathcal{E}_T\) 作为几何结构脚手架，仅训练 4 层 MLP 适配器。该设计将适配器转化为双重映射：既将 LLM 的丰富语义投影到 CLIP 维度，又完整复刻 CLIP 原生文本空间的局部距离与全局几何关系。
该机制由两个互补损失驱动。首先是实例级语义对齐损失 \(\mathcal{L}_{\text{ins}}\)，拉近投影后的 LLM 嵌入 \(t_i^* = \text{Adapter}(t_i')\) 与对应 CLIP 文本嵌入 \(e_i = \mathcal{E}_T(T_i)\) 的欧氏距离： $\(\mathcal{L}_{\text{ins}} = \sum_{i=1}^{\mathcal{B}} \|t_i^* - e_i\|_2\)$ 它提供了点对点语义锚定，使微调初始阶段视觉与文本的期望误差严格满足三角不等式上界 \(\mathbb{E}[d(v_i^{(0)}, t_i^*)] \le \epsilon_C + \epsilon_A\)。其次是全局结构对齐损失 \(\mathcal{L}_{\text{struct}}\)，通过约束批次内成对样本间距离差值的绝对值，强制投影空间形成 CLIP 文本流形的近似等距同构（\(\delta\)-approximate isometry）： $\(\mathcal{L}_{\text{struct}} = \sum_{i < j}^{\mathcal{B}} |d(t_i^*, t_j^*) - d(e_i, e_j)|\)$ 即便训练阶段采用的是短文本监督，由于 LLM 具备良好的局部光滑性与组合泛化性，适配器学会了基础语义单元在 CLIP 坐标系下的方向转换，推理阶段能够直接将长文本组合表征与跨语言近义表征精确投影到 CLIP 视觉邻域中。
2. 动量视觉自蒸馏正则化：约束切向漂移阻止灾难性遗忘
在第二阶段跨模态图文对比微调中，标准 InfoNCE 损失会强行拉扯图像编码器以拟合图文匹配，特别是在小规模数据集上微调极易损坏预训练视觉特征的普适判别力。为了彻底消除灾难性遗忘，ProCLIP 构建了一个参数由学生模型指数移动平均（EMA）更新的动量教师编码器 \(\mathcal{E}_I^*\)，并在视觉塔上引入对称的双重自蒸馏正则化项。
教师编码器按 \(\mathcal{E}_I^* \leftarrow \alpha \mathcal{E}_I^* + (1-\alpha) \mathcal{E}_I\) 稳定更新（动量超参 \(\alpha = 0.999\)）。视觉正则化损失 \(\mathcal{L}_{\text{reg}}\) 同样由实例级偏离惩罚与成对全局拓扑保持构成： $\(\mathcal{L}_{\text{reg}} = \sum_{i=1}^{\mathcal{B}} \|v_i^* - v_i\|_2 + \sum_{i < j}^{\mathcal{B}} |d(v_i^*, v_j^*) - d(v_i, v_j)|\)$ 从理论上看，当视觉特征归一化在单位超球面上时，InfoNCE 梯度的模长存在常数上界 \(G\)。引入正则项后，在超球面切空间约束的驻点处，样本表征相对原始邻域的切向漂移被严格限制在有限区间 \(\|\Pi_{v_i}(v_i - v_i^{(0)})\|_2 \le \frac{G}{2 \lambda_{\text{ins}}}\)。这种机制允许视觉编码器为了适应高质量图文对齐做出局部精细微调，同时锁死宏观表征拓扑结构，确保原本强劲的开放词表零样本分类能力完好无损。
损失函数 / 训练策略¶
整个对齐过程分为两个独立的 4-epoch 阶段，均采用 AdamW 优化器、余弦退火学习率策略（峰值学习率 \(1 \times 10^{-5}\)，权重衰减 0.05）：
- Stage I（表征继承）：总目标为 \(\mathcal{L}_{\text{dis}} = \mathcal{L}_{\text{ins}} + \mathcal{L}_{\text{struct}}\)。批大小设为 1024（8 块 H100 GPU），仅优化 4 层 MLP 适配器。
- Stage II（对比微调）：总目标为 \(\mathcal{L}_{\text{tune}} = \mathcal{L}_{\text{info}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}}\)，其中 \(\mathcal{L}_{\text{info}}\) 为双向对称 InfoNCE 损失，超参数 \(\lambda_{\text{reg}} = 4 \times 10^{-4}\)，EMA 动量系数 \(\alpha = 0.999\)。批大小设为 4096，同时微调视觉编码器 \(\mathcal{E}_I\) 与适配器 \(\text{Adapter}\)。
实验关键数据¶
主实验¶
ProCLIP 在 11 个下游基准数据集上评测了零样本图像分类表现（涵盖通用分类、细粒度物体与纹理识别），并在 6 个权威跨模态检索基准（包含 Flickr30k/COCO 短文本检索，以及 ShareGPT4V、Urban-1k、DOCCI、DCI 等长文本检索）上进行了全方位对比。
表 1：11 个数据集上的零样本图像分类准确率（%）
| 模型架构 | 训练样本数 | 方法 | ImageNet | CIFAR100 | Food101 | Cars | Aircraft | Pets | Flowers | Caltech101 | 11类平均 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| ViT-B/32 | 3M | LLM2CLIP | 41.0 | 61.5 | 49.6 | 11.5 | 8.6 | 38.0 | 22.6 | 79.0 | 46.3 |
| ViT-B/32 | 3M | ProCLIP | 47.9 | 65.8 | 64.5 | 21.2 | 11.6 | 51.7 | 30.8 | 83.3 | 53.1 (+6.8) |
| ViT-B/32 | 15M | LLM2CLIP | 43.3 | 61.4 | 57.2 | 19.6 | 8.4 | 42.3 | 23.5 | 80.7 | 48.8 |
| ViT-B/32 | 15M | ProCLIP | 53.3 | 66.5 | 74.9 | 39.6 | 13.9 | 68.5 | 35.5 | 86.7 | 58.9 (+10.1) |
| ViT-B/32 | 30M | CLIP 原始 | 45.6 | 67.1 | 54.8 | 13.0 | 3.6 | 49.4 | 41.4 | 83.8 | 48.9 |
| ViT-B/32 | 30M | LLM2CLIP | 45.1 | 61.0 | 58.5 | 20.6 | 8.4 | 37.6 | 26.0 | 81.7 | 49.0 |
| ViT-B/32 | 30M | ProCLIP | 54.0 | 66.9 | 74.4 | 38.0 | 16.2 | 64.5 | 40.4 | 86.8 | 59.0 (+10.0) |
| ViT-B/16 | 3M | LLM2CLIP | 45.8 | 64.4 | 56.9 | 15.4 | 11.7 | 46.5 | 23.6 | 82.9 | 50.3 |
| ViT-B/16 | 3M | ProCLIP | 54.8 | 68.9 | 73.1 | 32.3 | 13.5 | 59.8 | 35.8 | 87.0 | 58.2 (+7.9) |
| ViT-B/16 | 30M | LLM2CLIP | 49.7 | 64.6 | 64.4 | 27.0 | 11.2 | 45.9 | 27.1 | 84.0 | 53.0 |
| ViT-B/16 | 30M | ProCLIP | 59.2 | 68.3 | 81.0 | 48.5 | 17.9 | 70.2 | 44.8 | 88.8 | 63.0 (+10.0) |
| ViT-L/14 | 3M | LLM2CLIP | 52.8 | 72.9 | 64.8 | 18.8 | 10.4 | 47.3 | 26.8 | 88.3 | 54.4 |
| ViT-L/14 | 3M | ProCLIP | 62.5 | 78.3 | 83.4 | 45.1 | 16.2 | 65.9 | 41.8 | 92.3 | 64.9 (+10.5) |
| ViT-L/14 | 30M | LLM2CLIP | 56.4 | 70.5 | 71.2 | 32.1 | 11.3 | 54.7 | 28.8 | 89.3 | 57.5 |
| ViT-L/14 | 30M | ProCLIP | 67.8 | 77.7 | 88.9 | 61.1 | 25.2 | 81.5 | 57.2 | 92.9 | 71.0 (+13.5) |
表 2：跨模态图文检索 Recall@1 表现对比（%）
| 模型架构 | 样本量 | 方法 | Flickr30k I2T | Flickr30k T2I | COCO I2T | COCO T2I | ShareGPT4V I2T | Urban-1k I2T | DCI I2T | DCI T2I | 平均 I2T | 平均 T2I |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| ViT-B/32 | 3M | LLM2CLIP | 83.5 | 70.1 | 55.6 | 41.1 | 94.2 | 78.2 | 62.2 | 64.4 | 75.0 | 71.7 |
| ViT-B/32 | 3M | ProCLIP | 86.0 | 73.5 | 57.8 | 43.5 | 94.4 | 80.8 | 65.7 | 68.3 | 77.1 | 73.8 |
| ViT-B/32 | 30M | CLIP 原始 | 85.6 | 69.5 | 59.3 | 42.8 | 76.8 | 62.5 | 48.1 | 46.3 | 64.9 | 54.0 |
| ViT-B/32 | 30M | LLM2CLIP | 87.8 | 72.4 | 61.1 | 44.3 | 96.7 | 86.6 | 67.9 | 69.5 | 80.5 | 75.7 |
| ViT-B/32 | 30M | ProCLIP | 90.2 | 74.6 | 62.4 | 45.9 | 96.8 | 88.5 | 70.6 | 71.9 | 81.9 | 77.0 |
| ViT-B/16 | 30M | LLM2CLIP | 90.2 | 78.1 | 65.4 | 48.5 | 96.8 | 89.7 | 73.1 | 74.8 | 83.6 | 79.3 |
| ViT-B/16 | 30M | ProCLIP | 92.7 | 79.1 | 67.1 | 49.7 | 96.0 | 90.0 | 73.6 | 76.9 | 84.2 | 80.5 |
| ViT-L/14 | 3M | LLM2CLIP | 92.4 | 80.1 | 65.5 | 49.7 | 95.2 | 83.6 | 70.0 | 74.4 | 82.0 | 79.1 |
| ViT-L/14 | 3M | ProCLIP | 92.8 | 81.1 | 66.4 | 51.9 | 95.1 | 86.9 | 71.2 | 76.1 | 83.0 | 80.5 |
| ViT-L/14 | 30M | LLM2CLIP | 93.1 | 81.0 | 68.2 | 52.0 | 97.5 | 92.7 | 74.9 | 78.3 | 85.8 | 82.1 |
| ViT-L/14 | 30M | ProCLIP | 94.5 | 81.6 | 69.3 | 53.2 | 96.8 | 93.0 | 75.9 | 79.5 | 86.2 | 82.6 |
消融实验¶
研究团队对渐进式训练的各关键模块、正则化系数 \(\lambda_{\text{reg}}\) 以及适配器结构进行了详细消融（基于 ViT-L/14，3M 样本）：
表 3：ProCLIP 各组件与训练阶段消融分析
| 实验配置 | Stage 1 \(\mathcal{L}_{\text{ins}}\) | Stage 1 \(\mathcal{L}_{\text{struct}}\) | Stage 2 \(\mathcal{L}_{\text{info}}\) | Stage 2 \(\mathcal{L}_{\text{reg}}\) | ImageNet-1k Acc (%) | I2T 平均检索 R@1 (%) | T2I 平均检索 R@1 (%) |
|---|---|---|---|---|---|---|---|
| Baseline CLIP (原始) | - | - | - | - | 74.5 | 66.9 | 55.5 |
| LLM2CLIP (直接对齐) | - | - | ✓ | - | 52.8 | 82.0 | 79.1 |
| 仅文本实例蒸馏 | ✓ | - | - | - | 58.9 | 69.3 | 59.4 |
| 完整第一阶段蒸馏 | ✓ | ✓ | - | - | 59.5 | 70.3 | 61.2 |
| 两阶段无视觉正则化 | ✓ | ✓ | ✓ | - | 59.2 | 82.9 | 80.2 |
| 完整 ProCLIP 模型 | ✓ | ✓ | ✓ | ✓ | 62.5 | 83.0 | 80.5 |
表 4：自蒸馏正则化权重 \(\lambda_{\text{reg}}\) 敏感度分析
| 正则权重 \(\lambda_{\text{reg}}\) | ImageNet-1k 零样本 Acc (%) | I2T 平均检索 R@1 (%) | T2I 平均检索 R@1 (%) | 结论说明 |
|---|---|---|---|---|
| 0 | 59.2 | 82.9 | 80.2 | 缺乏视觉约束，图像特征发生过拟合与漂移 |
| \(2 \times 10^{-4}\) | 60.3 | 82.8 | 80.3 | 适度恢复分类准确率 |
| \(4 \times 10^{-4}\) (默认配置) | 62.5 | 83.0 | 80.5 | 实现分类泛化与跨模态对齐的最优均衡 |
| \(6 \times 10^{-4}\) | 62.6 | 82.6 | 79.8 | 检索对齐受微弱抑制 |
| \(1 \times 10^{-3}\) | 62.5 | 81.8 | 79.5 | 正则化过强阻碍图文对比空间优化 |
关键发现¶
- 阶段解耦是阻止退化的关键：单阶段直接混合端到端训练使 ImageNet-1k 跌至 58.4%，而两阶段渐进式对齐达到 62.5%（仅增加 0.2 小时训练开销，1.5h vs 1.7h）。这证明先在单模态内学习几何接口，再进行跨模态细化的课程学习策略不可或缺。
- 自蒸馏正则化成功“兜底”零样本能力：在 Stage 2 中引入视觉动量自蒸馏后，ImageNet-1k 从 59.2% 直接跃升至 62.5%，同时图文检索不仅未受损，反而微升至 83.0% / 80.5%。
- 短文本蒸馏能撬动长文本与多语言：Stage 1 仅通过短文本监督学习映射接口，但借由 LLM 本身的跨语言语义连续性与组合性，ProCLIP 在包含 36 种语言的 XM3600 多语言检索以及 DCI/DOCCI 等数千词密集长描述检索上全面超越基线，XM3600 I2T R@1 达到 43.7% vs 42.1%。
亮点与洞察¶
- 解耦“语言能力”与“视觉对齐”：将 LLM 视为具备长文本、多语言与组合推理的纯先验池，而不是要求图文数据具备同等丰富度。通过短文本蒸馏对齐局部几何方向，成功让 LLM 固有的多语言和长文本能力在视觉空间“自然涌现”。
- 等距同构（Isometry）与切向漂移有界约束：理论层面证明了实例蒸馏提供了基于三角不等式的有界误差上界，而全局结构蒸馏构成了 \(\delta\)-近似等距同构；Stage 2 进一步在超球面切空间严格证明了切向漂移的上界，为多模态微调抗遗忘提供了扎实的数学支撑。
- 计算效率极高且支持即插即用：采用离线提取 LLM 嵌入 + 仅微调 4 层 MLP 适配器（约 67M 参数），相比全量或 LoRA 微调 LLM 节约了接近 9 倍的计算时间（1.7h vs ~15h），同时性能完全不逊色。微调后的视觉塔可直接无缝挂载到 LLaVA-1.5 等下游 MLLM 中，在多项 VQA 基准上同步带来全面提升。
局限与展望¶
- 零样本分类绝对值仍受限于微调数据规模：尽管 ProCLIP 相对 LLM2CLIP 取得了超 10% 的惊人反弹，但与在大规模数亿级图文对上训练的原始 CLIP/FG-CLIP 相比，分类准确率仍存在一定差距，受制于微调阶段仅使用 3M–30M 小规模学术数据集。
- 缺乏局部密集细粒度监督：当前渐进式对齐主要在全图与全局文本 token 嵌入层级开展，未显式建模图像 patch 与文本局部短语的显式空间对应，对密集目标定位与复杂指向性指代理解仍有探索空间。未来可探索将渐进式蒸馏拓展至区域级多模态适配与视觉 Token 压缩架构中。