Rethinking Projector Training in Multimodal LLMs¶
会议: NeurIPS 2026
arXiv: 2610.18598
论文: https://arxiv.org/abs/2610.18598 https://openreview.net/forum?id=HObX41utGv
领域: 多模态 VLM
关键词: 多模态大模型、投影层对齐、最优传输、免训练初始化、余弦离散度
一句话总结¶
揭示多模态大模型第一阶段投影层训练本质上只是将视觉特征粗粒度映射到语言模型输入几何空间的充分条件，提出基于高斯最优传输的完全免训练闭式投影器 PORTAL，零配对图文数据且无需梯度优化即可达到 558k 图文对预训练的基线水平。
研究背景与动机¶
现代多模态大语言模型（如 LLaVA、Molmo、InternVL 及 Qwen-VL 系列）普遍遵循标准的两阶段训练范式：第一阶段保持视觉编码器与语言模型冻结，仅利用数十万至数百万的大规模配对图文数据集训练连接两者的投影层（Projector）；第二阶段再解锁模型开展端到端视觉指令微调。长期以来，学术界普遍认为第一阶段预训练的核心功能在于学习精细的跨模态语义对齐，使视觉特征能够被语言模型作为合法词元精确理解。然而，近年来的经验性研究却给出了相互矛盾的证据：Prismatic 发现跳过第一阶段投影层训练甚至能获得更优表现，Cambrian-1 强调将预训练数据扩充至 250 万图文对至关重要，而 MM1 则指出输入分辨率与数据配比的影响远超投影层本身的结构设计。
这种认知割裂揭示出领域对投影层对齐机制缺乏底层理解。如果第一阶段真的在学习高度精细、语义唯一的图文对应关系，那么缩减数据量必然引起性能的剧烈退化，独立训练的投影层权重之间也必然存在陡峭的损失壁垒。然而实验分析表明：在标准的 558k 图文对上仅使用 10% 到 20% 的数据训练投影层，便足以在下游 16 项评测基准中恢复绝大部分增益；更为惊人的是，在相同初始化下分别用完全不同数据集（LCS-558k 与 ShareGPT-1.2M）训练出的两个投影层权重，能够在线性插值路径上保持平滑，且中点混合权重（\(\alpha=0.5\)）的综合性能甚至超越了两端的任一独立训练模型。
这些事实清晰地证明：投影层的预训练并没有落在狭窄而唯一的语义最优解上，它本质上是在执行一种粗粒度的几何条件对齐，将视觉特征搬运到语言模型输入表征所兼容的宽广流形区域中，进而让后续的指令微调能够平稳启动。核心 idea：抛弃高成本的配对图文预训练与梯度优化，仅依靠单模态边缘统计量在共享主子空间上求解 Bures-Wasserstein 高斯最优传输闭式解构建投影矩阵（PORTAL），以零配对数据直接实现跨模态几何对齐。
方法详解¶
整体框架¶
PORTAL 的目标是彻底移除第一阶段利用成对图文样本训练投影层的计算开销与数据依赖，以纯几何与统计学方法构造出能直接无缝承接第二阶段指令微调的投影矩阵。整体流程包含单模态边缘特征统计、主成分分析（PCA）降维、闭式高斯最优传输（Optimal Transport）映射构建三个核心环节。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["单模态输入特征<br/>无标签图像切片池 / 语言模型词表嵌入"] --> B["1. 粗粒度几何对齐与主成分提取<br/>分别提取源与目标前 k 维 PCA 正交基"]
B --> C["2. 基于主子空间的高斯最优传输映射<br/>闭式求解白化、旋转缩放与均值平移矩阵"]
C --> D["3. 余弦离散度匹配与非高斯分布适配<br/>理论保证归一化注意力下继承目标几何离散度"]
D --> E["免训练就绪的投影器<br/>直接加载进入阶段二视觉指令微调"]如流程图所示，PORTAL 首先收集源端（视觉编码器输出的 patch tokens）与目标端（语言模型的输入嵌入矩阵）各自的均值向量与协方差矩阵。随后，方法在两者的前 \(k\) 维主子空间中计算高斯分布之间的 Bures-Wasserstein 最优传输映射，获得仿射变换参数。这一变换首先白化源端特征、消除特征内部相关性，再沿目标端的主轴方向缩放特征方差，最后对齐全局均值中心。构造完毕的权重可直接代入标准的 2 层 MLP 投影层结构中（固定第二层为单位矩阵），整个过程无需任何梯度回传与反向传播，仅需数十秒前向矩阵运算即可完成初始化。
关键设计¶
1. 投影层粗粒度几何对齐假设与解空间分析：阐明数据饱和与权重可插值性 传统观念认为投影层需要通过大量配对样本拟合复杂跨模态函数。本文通过对数据缩放和权重插值两条路径的深入剖析打破了这一假设。在数据利用率方面，当把第一阶段 LCS-558k 训练数据压缩至 10%～20% 时，下游通用视觉与知识基准的表现便已饱和；即使将数据量扩增至 120 万的 ShareGPT4V，平均得分也未见显著提升，说明投影层对齐的有效边界极易被触达。在解空间几何形态方面，作者取相同随机初始化但分别在 LCS-558k 和 ShareGPT-1.2M 上训练的投影层权重 \(\mathbf{W}_{\text{LCS}}\) 与 \(\mathbf{W}_{\text{ShareGPT}}\)，构造线性插值： $\(\mathbf{W}_{\alpha} = (1 - \alpha)\mathbf{W}_{\text{LCS}} + \alpha \mathbf{W}_{\text{ShareGPT}}, \quad \alpha \in [0, 1]\)$ 评估表明，沿插值路径所有内部权重均未发生性能坍塌，甚至在 \(\alpha=0.5\) 处综合得分达到峰值，表明两个数据集优化的解处于同一平坦且宽阔的低损失盆地（Loss Basin）中。相反，固定数据但改变随机初始种子的跨种子插值会导致性能完全归零（CIDEr 从 80 跌至 0.7），证明初始化决定了损失盆地，而训练数据仅在盆地内部选择局部解。因此，投影层的核心功能并非习得不可替代的精细特征映射，而是跨越模态间分布落差的“几何调理”。
2. 基于主子空间高斯最优传输的闭式投影矩阵构建（PORTAL）：实现零配对样本闭式初始化 针对传统 LLaVA 广泛采用的 2 层 MLP 结构 \(f(\mathbf{x}) = \mathbf{W}_2 \phi(\mathbf{W}_1 \mathbf{x} + \mathbf{b}_1) + \mathbf{b}_2\)（其中 \(\phi\) 为 GELU 激活函数），PORTAL 直接固定第二层为单位阵与零偏置（\(\mathbf{W}_2 = \mathbf{I}_{d_t}, \mathbf{b}_2 = \mathbf{0}\)），将全部对齐任务落在第一层仿射变换 \((\mathbf{W}_1, \mathbf{b}_1)\) 的闭式解析解上。设源端视觉特征为 \(\mathbf{x} \in \mathbb{R}^{d_s}\)，目标端语言嵌入为 \(\mathbf{y} \in \mathbb{R}^{d_t}\)，分别拟合高斯分布 \(\mathcal{N}(\boldsymbol{\mu}_s, \boldsymbol{\Sigma}_s)\) 与 \(\mathcal{N}(\boldsymbol{\mu}_t, \boldsymbol{\Sigma}_t)\)。通过截取前 \(k\) 维主成分矩阵 \(\mathbf{V}_s \in \mathbb{R}^{d_s \times k}\) 和 \(\mathbf{V}_t \in \mathbb{R}^{d_t \times k}\)，以及特征值平方根构成的散布向量 \(\boldsymbol{\sigma}_s, \boldsymbol{\sigma}_t \in \mathbb{R}^k\)，解析构造仿射参数： $\(\mathbf{W}_1 = \mathbf{V}_t \operatorname{diag}\left(\frac{\boldsymbol{\sigma}_t}{\boldsymbol{\sigma}_s}\right) \mathbf{V}_s^\top, \quad \mathbf{b}_1 = \boldsymbol{\mu}_t - \mathbf{W}_1 \boldsymbol{\mu}_s\)$ 该映射在物理几何上分三步实现对齐：首先通过 \(\mathbf{V}_s^\top\) 将居中后的源端视觉特征投影至其主成分方向并除以 \(\boldsymbol{\sigma}_s\) 实现主成分白化；随后沿目标端的主成分基底 \(\mathbf{V}_t\) 展开并按 \(\boldsymbol{\sigma}_t\) 缩放方差尺度；最后加上偏置 \(\mathbf{b}_1\) 完成均值中心对齐。该运算仅需对源端（如仅 1024 张无标注自然图像的前向提取特征）与目标端（LLM 的词嵌入查找表）分别执行一次薄奇异值分解（thin SVD），在单卡消费级 GPU 上耗时不足 30 秒即可完成。
3. 余弦离散度与非高斯矩匹配理论保证：证明二阶矩匹配在注意力机制下的有效性 针对真实视觉特征与文本嵌入存在非高斯尾部偏差的客观事实，作者从 Transformer 底层注意力机制出发证明了二阶矩匹配的充分性。由于现代 LLM 在计算自注意力 Logits 前无一例外对词元执行向量归一化（如 RMSNorm），因此注意力权重从根本上仅取决于词元向量的空间方向分布而非范数绝对大小。为刻画词元方向的整体发散程度，定义余弦离散度（Cosine Dispersion）\(\omega\) 为词元两两间余弦相似度的标准差： $\(\omega^2 = \frac{1}{\binom{n}{2}}\sum_{i < j}\left(\cos\angle(\mathbf{z}_i, \mathbf{z}_j) - \overline{\cos}\right)^2\)$ 作者给出了特征谱到余弦离散度的理论边界（Proposition 1）：对于均值为零、协方差为 \(\boldsymbol{\Sigma}\) 的随机向量，若其有效维度定义为 \(d_{\text{eff}}(\boldsymbol{\Sigma}) = (\operatorname{tr}\boldsymbol{\Sigma})^2 / \operatorname{tr}(\boldsymbol{\Sigma}^2)\)，相对范数离散度为 \(\kappa = \operatorname{std}(\|\mathbf{z}\|^2) / \mathbb{E}[\|\mathbf{z}\|^2]\)，则有严格误差界： $\(\left|\operatorname{Var}(\cos\angle(\mathbf{z}, \mathbf{z}')) - \frac{1}{d_{\text{eff}}(\boldsymbol{\Sigma})}\right| \leq 2\kappa + \kappa^2 + \kappa^4\)$ 该定理表明，当词元范数趋于相对集中（\(\kappa \to 0\)）时，词元间余弦离散度完全由协方差矩阵的有效维度 \(d_{\text{eff}}(\boldsymbol{\Sigma})\) 决定。PORTAL 在前 \(k\) 维主子空间精确对齐协方差矩阵，使得转换后的视觉表征能够天然继承语言目标空间的几何发散特性（实测将原始 CLIP patch 的 \(\omega=0.23\) 快速修正至 \(0.09\sim0.10\)，极其逼近语言目标的 \(0.05\sim0.06\)），从而保证语言模型在微调初期便能稳定进行注意力交互。
损失函数 / 训练策略¶
PORTAL 在第一阶段完全不需要损失函数与梯度更新，计算开销可忽略不计。当构建完仿射变换参数 \((\mathbf{W}_1, \mathbf{b}_1)\) 后，模型有两种使用策略： 1. 完全替代预训练：直接跳过 Stage-I，载入 PORTAL 初始化的投影矩阵后，直接进入 Stage-II 视觉指令微调阶段（在标准 LLaVA-665k 或大规模 3.2M 混合数据集上使用 AdamW 优化器，学习率设为 \(2 \times 10^{-5}\)，余弦退火，微调 1 个 epoch）。 2. 作为热启动（Warm Start）加速收敛：若仍保留 Stage-I 配对数据微调，PORTAL 能作为高质量初始点。实验显示，仅需约 4k 条配对图文样本（耗费对齐 FLOPs 降低约 135 倍），便能完全追平甚至超越基于 558k 全量样本从头训练的传统基线；在配对数据达到 10k～100k 时，更能显著拉开性能优势。
实验关键数据¶
主实验¶
论文在覆盖 4 个 LLM 家族（Vicuna 1.5 7B、LLaMA 3.1 8B、LLaMA 3.2 1B、Qwen 2.5 7B、Qwen 2.5 0.5B、OLMo 2 1B）、2 个视觉编码器（CLIP ViT-L/14-336、SigLIP-SO400M）的 7 组典型配置上，系统评测了 16 个跨越知识推理、通用问答、OCR/图表理解以及细粒度视觉感知的基准数据集。所有设置均使用相同的 LLaVA-665k 数据执行第二阶段指令微调。
| 语言模型 (LLM) | 视觉编码器 | 初始化方案 | 知识 (Know.) | 通用 (Gen.) | OCR & Chart | 细粒度视觉 (Vis.) | 综合均分 (Avg) | 相对基线比例 (%BL) |
|---|---|---|---|---|---|---|---|---|
| Vicuna 1.5 7B | CLIP ViT-L | Trained 基线 (558k) | 45.7 | 68.0 | 27.1 | 51.3 | 48.0 | 100.0% |
| Vicuna 1.5 7B | CLIP ViT-L | Random (跳过预训练) | 45.2 | 62.2 | 24.0 | 48.2 | 44.9 | 93.5% |
| Vicuna 1.5 7B | CLIP ViT-L | PORTAL (本文) | 45.9 | 64.9 | 26.2 | 51.6 | 47.4 | 98.8% |
| Vicuna 1.5 7B | SigLIP SO400M | Trained 基线 (558k) | 46.3 | 69.4 | 29.8 | 50.8 | 49.0 | 100.0% |
| Vicuna 1.5 7B | SigLIP SO400M | Random (跳过预训练) | 45.4 | 54.1 | 19.8 | 42.8 | 40.5 | 82.5% |
| Vicuna 1.5 7B | SigLIP SO400M | PORTAL (本文) | 46.5 | 68.1 | 29.1 | 51.3 | 48.7 | 99.3% |
| LLaMA 3.1 8B | CLIP ViT-L | Trained 基线 (558k) | 50.1 | 70.0 | 27.0 | 56.2 | 50.8 | 100.0% |
| LLaMA 3.1 8B | CLIP ViT-L | PORTAL (本文) | 51.9 | 70.5 | 28.0 | 58.4 | 52.2 | 102.7% |
| LLaMA 3.2 1B | CLIP ViT-L | Trained 基线 (558k) | 43.3 | 55.0 | 21.9 | 48.6 | 41.6 | 100.0% |
| LLaMA 3.2 1B | CLIP ViT-L | PORTAL (本文) | 44.4 | 60.4 | 24.2 | 50.1 | 44.2 | 106.2% |
| Qwen 2.5 7B | CLIP ViT-L | Trained 基线 (558k) | 55.6 | 70.5 | 28.7 | 55.5 | 52.6 | 100.0% |
| Qwen 2.5 7B | CLIP ViT-L | PORTAL (本文) | 54.8 | 70.1 | 26.6 | 55.1 | 51.7 | 98.3% |
| Qwen 2.5 0.5B | CLIP ViT-L | Trained 基线 (558k) | 40.2 | 48.2 | 16.5 | 45.5 | 37.6 | 100.0% |
| Qwen 2.5 0.5B | CLIP ViT-L | PORTAL (本文) | 40.5 | 54.5 | 20.0 | 44.5 | 39.9 | 106.1% |
| OLMo 2 1B | CLIP ViT-L | Trained 基线 (558k) | 42.5 | 61.9 | 21.6 | 49.5 | 43.8 | 100.0% |
| OLMo 2 1B | CLIP ViT-L | PORTAL (本文) | 41.8 | 59.0 | 20.0 | 48.2 | 42.2 | 96.3% |
消融实验¶
为验证 PORTAL 对架构简化、不同无配对特征对齐基线以及特征图谱秩的稳健性，论文展开了详尽的对比与消融。
| 对比维度 | 配置 / 变体 | 综合均分 (Avg) | 相对基线比例 (%BL) | 说明 |
|---|---|---|---|---|
| 投影层架构 | MLP (Trained 558k) | 41.6 | 100.0% | LLaMA 3.2 1B 下的标准 2 层 MLP 基线 |
| MLP (Random Init) | 41.5 | 99.9% | 跳过第一阶段预训练 | |
| MLP (PORTAL) | 44.2 | 106.2% | 闭式最优传输初始化，显著超出基线 | |
| Linear (Trained 558k) | 39.9 | 100.0% | 退化为单层线性投影层 | |
| Linear (Random Init) | 37.6 | 94.2% | 线性架构下随机初始化严重掉点 | |
| Linear (PORTAL) | 44.7 | 111.8% | 消除非线性层后 PORTAL 优势进一步扩大 | |
| 无配对对齐算法 | Random 初始化 | 44.90 | 93.5% | Vicuna 7B / CLIP 下跳过预训练 |
| CORAL (二阶统计对齐) | 46.36 | 96.5% | 域适应领域的经典二阶矩对齐 | |
| Gromov-Wasserstein (GW) | 47.06 | 98.0% | 需多轮迭代优化的无配对对齐算法 | |
| PORTAL (高斯最优传输) | 47.43 | 98.8% | 纯闭式解析解，性能优于其余无监督对齐 | |
| 高容量连接器 | C-Abstractor (Trained 558k) | 42.98 | 100.0% | 参数量扩增 19× 且含显式 token 压缩混合 |
| C-Abstractor (PORTAL) | 42.93 | 99.9% | 零样本对齐在高容量复杂模块下完全等价 | |
| 子空间截断秩 \(k\) | \(k = 64\) | 43.3 | 104.1% | 仅保留前 64 维主成分 |
| \(k = 128\) | 43.3 | 104.1% | 表现平稳，主要几何骨干已捕获 | |
| \(k = 512\) (默认设置) | 44.2 | 106.2% | 最佳平衡点，充分保留主要方差并抑制噪声 | |
| \(k = 1024\) | 44.0 | 105.8% | 引入过多尾部噪声音频特征值，略微下挫 |
关键发现¶
- 小模型反超效应显著：在 1B 和 0.5B 参数规模的小型 LLM（如 LLaMA 3.2 1B 和 Qwen 2.5 0.5B）上，PORTAL 的性能显著超越了经过 558k 图文对预训练的基线模型，分别达到基线的 106.2% 与 106.1%。这是因为小模型在有限参数下极易在第一阶段配对文本对齐中过拟合或扭曲特征流形，而纯几何平滑初始化避免了这种负迁移。
- SigLIP 崩溃与恢复：当使用 SigLIP 作为视觉编码器时，完全随机初始化（Random）直接导致模型在通用基准和 OCR 上发生剧烈性能崩溃（相对基线断崖下跌至 82.5%）。然而 PORTAL 能够完全逆转该问题，将表现恢复至 99.3%，表明模态间分布对齐在特定编码器组合中起到了不可或缺的结构锚定作用。
- OCR 性能缺口的本质：在 Qwen 2.5 7B 和 OLMo 2 1B 上，PORTAL 与基线存在微小差距（分别落后约 1.7% 与 3.7%），经逐任务拆解，该掉点主要高度集中在 OCRBench-v2 和 ChartQA 等字符密集型任务中。这印证了论文的核心判断：高阶字符级微观空间布局和细粒度文字关联是配对图文监督能够提供的少数额外信息，高斯二阶统计量无法完全捕获这种高阶统计信息。
- 对无标注图像源极度鲁棒：在源端图像统计估计实验中，仅使用 COCO val2017 的 1024 张普通自然图像计算出的投影矩阵，性能反而以 44.0 对 43.4 略微胜过了来自 9 个数据源、4096 张高度多样化的 Cambrian-737k 图像池，说明主成分方向的收敛并不依赖精心挑选或大体量的图像数据。
亮点与洞察¶
- 解构两阶段训练的神话：打破了过去将第一阶段投影层视为“跨模态语义字典学习”的传统范式，通过严谨的权重空间插值实验与数据收敛分析，确立了第一阶段实际上是“粗粒度几何调理”的物理本质。
- 极致的工程性价比：将耗时数小时、依赖 558k 配对图文对且需集群反向传播的预训练流程，精简为仅需 30 秒、无任何反向传播的单卡 SVD 矩阵运算，为 MLLM 研发节省了海量计算与数据采集开销。
- 理论自洽性与数学美感：并没有停留在经验性技巧层面，而是通过定义余弦离散度，利用概率测度与矩阵论推导出范数集中条件下余弦分布方差仅受协方差有效维度约束的严格数学定理，完美诠释了为什么二阶高斯最优传输足以维持注意力稳定性。
局限与展望¶
- 高阶空间/OCR 细节无法捕获：高斯近似假设仅利用了均值与二阶协方差，忽略了高阶矩信息。对于高度依赖字符级微观拓扑排列的专业 OCR、密集文档问答及图表场景，纯几何对齐仍存在轻微精度损失。
- 架构扩展范围有限：论文的闭式解直接对应于单层或双层 MLP 投影层，对于包含复杂交叉注意力机理（如 Perceiver Resampler、Q-Former）的复杂连接器，无法直接以非迭代闭式解的形式求解，未来需要探索非线性最优传输拓展。
- 输入模态单一：当前实验仅验证了单图输入的视觉语言场景，对于长上下文多图输入、视频时空连续序列以及音频/3D 点云编码器的对齐表现尚未经过大规模实证检验。
相关工作与启发¶
- vs LLaVA / Cambrian-1: 传统主流流程认为扩展第一阶段预训练数据集（从 558k 扩大到 2.5M）能带来关键增益；本文证伪了这一假设，指出在同等第二阶段微调下，零配对数据的 PORTAL 即可获得完全相当的综合评测得分。
- vs Prismatic VLMs: Prismatic 指出跳过第一阶段直接进行第二阶段指令微调在部分模型上可行；本文指出这一现象高度依赖特定编码器与 LLM 组合（在 SigLIP 上跳过会直接崩溃掉点 17.5%），PORTAL 通过高斯最优传输提供了一个稳定、通用且不崩溃的闭式数学保障。
- vs CORAL / Gromov-Wasserstein: 传统无监督域适应与跨语言嵌入对齐方法要么仅匹配二阶相关性、要么依赖复杂的迭代优化；PORTAL 首次将其与多模态 LLM 注意力余弦发散度理论挂钩，且以完全解析的形式求出精确的最优传输映射。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从经验与理论两方面证明投影层对齐的粗粒度几何本质，并给出了零配对图文的高斯最优传输闭式解。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 个大模型组合、16 个主流多模态评测基准，且包含权重插值、数据缩放、高容量连接器及严格 Bootstrap 置信区间检验。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从经验矛盾切入，以优雅的实验剖析解空间，兼具严谨的数学推导与深刻的实验归纳。
- 价值: ⭐⭐⭐⭐⭐ 极具落地与启发价值，不仅直接削减了 MLLM 训练阶段的能耗与数据门槛，也为后续多模态连接器设计提供了崭新的几何视角。