Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders¶
会议: NeurIPS 2026
arXiv: 2606.29888
代码: https://github.com/JiH00nKw0n/cross_modal_feature_heterogeneity
领域: 可解释性
关键词: 稀疏自编码器, 跨模态特征异质性, 模态分割, 机械可解释性, 视觉语言模型
一句话总结¶
本文揭示了视觉语言模型中同一语义概念在图像与文本模态间表征几何方向不一致的“跨模态特征异质性”，证明其为多模态稀疏自编码器发生模态分割的根本诱因，并提出通过训练模态独立自编码器后置对齐潜在坐标，在完美保留模态几何与重构精度的同时大幅提升跨模态检索与概念干预表现。
研究背景与动机¶
视觉语言模型（VLMs，如 CLIP、SigLIP 等）通过对比学习等目标将图像与文本映射到共享表征空间中，构成了图文检索与多模态生成模型的核心基石。然而，预训练联合嵌入空间的几何结构极为复杂，单个嵌入向量往往纠缠了多种语义概念（即多义性），使模型的内部推理机制难以解释与控制。受线性表征假设的启发，近年研究广泛采用稀疏自编码器（Sparse Autoencoders, SAEs）将致密嵌入向量分解为高维单义特征的稀疏线性组合，并在单模态大语言模型中取得了显著的机制可解释性突破。
当研究人员尝试将 SAE 拓展至多模态联合表征空间时，普遍观察到一种称为“模态分割”（Modality Split）的异常病态现象：即使输入图像和配对文本描述的是完全相同的物理概念（如“棒球”或“警察”），共享 SAE 也会将其分配给完全不同的潜变量神经元激活。以往的工作将此视为潜在激活层面的未对齐问题，并试图在训练目标中强行引入组稀疏正则或协同能量损失来强制模态激活重合。然而，这些对齐方案背后隐含着一个未经检验的前提假设——共享概念在跨模态嵌入空间中具有相同的特征方向。
本文的核心洞见在于：当同一概念在图像和文本空间中的真实表征方向本身就存在几何夹角时，强制单隐层神经元共享单个解码器权重列，必然会迫使几何相异的基向量坍缩为中间折中方向，从而不可逆地破坏重构保真度与单义性。本文的核心 idea 是：揭示多模态联合空间中普遍存在的“跨模态特征异质性”及其与模态鸿沟的内在联系，进而提出“模态解耦训练 + 匈牙利算法后置对齐”的两阶段方案，在不改变模态几何特性的前提下实现高保真特征恢复与无损跨模态潜变量对齐。
方法详解¶
整体框架¶
方法整体流水线由特征几何解耦建模与后置坐标置换对齐两部分构成。首先，对于输入的视觉嵌入 \(\mathbf{x} \in \mathbb{R}^d\) 与文本嵌入 \(\mathbf{y} \in \mathbb{R}^d\)，分别通过完全解耦的模态专用 SAE 进行无约束的稀疏重构训练，从而独立保留各模态原生的特征方向；随后，利用训练集配对样本在前向编码下的潜变量激活向量，构建模态间协方差相关性矩阵；最后，采用匈牙利算法求解全局最优二分图匹配置换矩阵，重排文本端潜在坐标，实现跨模态潜空间的零重构损失对齐。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["图文配对嵌入输入<br/>x, y in R^d"] --> B["模态专用稀疏自编码器训练<br/>解耦学习 V, W 保持独立特征几何"]
B --> C["配对潜变量前向编码与共激活统计<br/>计算相关性矩阵 C = Corr(z_I, z_T)"]
C --> D["匈牙利算法最大权二分匹配<br/>求解最优排列矩阵 P* = argmax tr(CP)"]
D --> E["后置坐标置换与跨模态特征对齐<br/>重排文本编码器/解码器列方向"]
E --> F["下游跨模态应用<br/>跨模态检索 / 概念干预 / 单义性分析"]关键设计¶
1. 跨模态特征异质性建模：解构语义一致与方向一致的非等价性
在联合表征空间中，传统观点默认完美对齐的图文编码器会使相同概念沿同一方向投影。本文将语义对应与方向同一性明确解耦，形式化定义了跨模态特征异质性（Cross-Modal Feature Heterogeneity）：若第 \(i\) 个概念的图像特征方向 \(\bm{\phi}_i\) 与文本特征方向 \(\bm{\psi}_i\) 满足 \(\bm{\phi}_i \neq \bm{\psi}_i\)，则该概念表现出特征异质性。理论分析进一步证明，只要图文表征之间存在非零的模态鸿沟（Modality Gap，即 \(\mathbb{E}[\cos(\mathbf{x}, \mathbf{y})] < 1\)），在线性表征假设下就必然存在至少一个概念展现出跨模态特征异质性。在对比学习目标中，特征对对全局相似度的贡献正比于其二阶矩 \(\mathbb{E}[z_i^2 | z_i \neq 0]\)，导致高频特征受到强对齐拉力，而长尾概念自然保留了显著的方向漂移（实测余弦距离甚至集中在 0.4 到 0.5）。
2. 模态专用稀疏自编码器解耦训练：避免共享神经元强制坍缩
针对共享 SAE 在特征异质性下必然面临的重构劣化困境，本文摒弃跨模态参数共享，构建两个参数量对齐的专用模型。对于图像嵌入 \(\mathbf{x}\) 与文本嵌入 \(\mathbf{y}\)，分别采用独立的编码-解码权重矩阵 \(\mathbf{V} \in \mathbb{R}^{d \times m}\) 与 \(\mathbf{W} \in \mathbb{R}^{d \times m}\)，采用 Top-\(K\) 稀疏激活算子 \(\sigma(\cdot)\) 引导稀疏隐变量编码：
各模态各自以最小化重构均方误差为目标独立优化：
理论证明表明，当容量受限（隐变量维度 \(m < 2n\)）或引入训练期显式对齐正则项（如组稀疏惩罚 \(\lambda \sqrt{[\mathbf{u}]_j^2 + [\mathbf{v}]_j^2}\) 或协同能量惩罚 \(-\lambda \mathbf{u}^\top \mathbf{v}\)）时，共享模型会将两个夹角为 \(\rho = \bm{\phi}^\top \bm{\psi}\) 的真实特征强行坍缩至归一化和方向 \((\bm{\phi} + \bm{\psi})/\|\bm{\phi} + \bm{\psi}\|\)，导致最低固有重构损失下界达到 \(\frac{1-\rho}{2} \mathbb{E}[z^2]\)。模态专用解耦训练从根源上消除了特征方向竞争，使重构误差逼近零。
3. 基于最大权二分匹配的后置坐标对齐：零损失统一跨模态潜在空间
独立训练得到的自编码器其隐空间维度排列是随机且非对应的。为了在不扭曲几何结构的前提下建立跨模态语义映射，本文在冻结自编码器参数后，利用验证集配对样本计算潜在坐标的 Pearson 共激活相关性矩阵 \(\mathbf{C} \in \mathbb{R}^{m \times m}\)：
通过排除全零死亡神经元后，将跨模态语义坐标对齐构建为标准的最大权二分图匹配问题，寻找置换矩阵 \(\hat{\mathbf{P}} \in \mathcal{P}_m\) 以最大化对齐通道的总共激活相关度：
利用匈牙利算法（Hungarian Algorithm）以多项式时间求解得到最优排列矩阵 \(\hat{\mathbf{P}}\)。最终只需直接作用于文本端自编码器的权重矩阵，将文本编码器更新为 \(\hat{\mathbf{P}}^\top \mathbf{W}^\top\)、解码器更新为 \(\mathbf{W}\hat{\mathbf{P}}\)。该操作本质上仅是字典原子的重排，数学上完全保持了重构误差 \(\mathcal{L}_{\text{rec}}\) 为严格不变量，实现了真正意义上的无损特征对齐。
损失函数 / 训练策略¶
模态专用 SAE 训练采用纯重构损失驱动。采用 AdamW 优化器，学习率设为 \(5 \times 10^{-4}\)，权重衰减 \(10^{-5}\)，批量大小 1024。学习率调度采用前 5% 线性预热并伴随余弦衰减至 0。对于实数域大规模实验，采用 CC-3M 数据集训练，潜在隐层维度设为 \(m=8192\)，Top-\(K\) 激活选取 \(K=32\)。配对共激活统计在训练集上直接累积前向激活协方差完成，匹配阶段计算耗时极短且完全无需反向传播梯度。
实验关键数据¶
主实验¶
在 MS-COCO 跨模态图文检索与 ImageNet-1K 零样本图像分类主基准上，与共享 SAE（Shared SAE）及两种主流的训练期辅助对齐正则（Iso-Energy 对齐损失、Group-Sparse 组稀疏损失）展开严格对比（均基于 CLIP ViT-B/32，保持可学习参数总量严格一致）：
| 方法 | 重构 MSE (↓) | 图搜文 R@1 (↑) | 图搜文 R@5 (↑) | 图搜文 R@10 (↑) | 文搜图 R@1 (↑) | 文搜图 R@5 (↑) | 文搜图 R@10 (↑) | ImageNet 零样本 Acc (↑) |
|---|---|---|---|---|---|---|---|---|
| Shared SAE | 0.090 | 6.1 (±0.3) | 13.3 (±0.8) | 17.8 (±0.8) | 3.4 (±0.2) | 9.5 (±0.5) | 14.0 (±0.8) | 15.7 (±1.3) |
| + Iso-Energy 对齐损失 | 0.091 | 4.7 (±1.9) | 10.6 (±3.4) | 14.6 (±4.4) | 2.7 (±0.7) | 7.4 (±2.1) | 10.8 (±3.0) | 13.0 (±2.3) |
| + Group-Sparse 损失 | 0.105 | 7.1 (±0.1) | 16.7 (±0.4) | 23.8 (±0.3) | 4.3 (±0.1) | 12.2 (±0.1) | 18.3 (±0.2) | 26.6 (±0.3) |
| Modality-Specific SAEs (未对齐) | 0.089 | 0.0 (±0.0) | 0.1 (±0.1) | 0.2 (±0.1) | 0.0 (±0.0) | 0.1 (±0.0) | 0.1 (±0.1) | 0.1 (±0.0) |
| + Post-hoc Alignment (本文) | 0.089 | 16.0 (±0.5) | 34.1 (±1.4) | 44.5 (±1.6) | 11.4 (±0.4) | 27.2 (±1.2) | 37.0 (±1.3) | 25.1 (±0.3) |
消融与模型规模拓展实验¶
在多规模主干网络（CLIP ViT-L/14, OpenCLIP ViT-B/32, OpenCLIP ViT-L/14）与不同稀疏激活函数下进行敏感性评估：
| 评估配置 | 模型架构 | 最优基线图搜文 R@1 | 本文方法图搜文 R@1 | 最优基线文搜图 R@1 | 本文方法文搜图 R@1 | 本文重构 MSE 表现 |
|---|---|---|---|---|---|---|
| 主干模型扩增 | CLIP ViT-L/14 (\(m=12288\)) | 18.2 (Shared) | 22.6 (±0.7) | 9.9 (Shared) | 15.3 (±0.4) | 0.117（优于基准 0.119~0.137） |
| 主干模型扩增 | OpenCLIP ViT-B/32 (\(m=8192\)) | 10.1 (Group-Sparse) | 21.0 (±0.9) | 6.1 (Group-Sparse) | 11.2 (±0.1) | 0.115（优于基准 0.116~0.141） |
| 主干模型扩增 | OpenCLIP ViT-L/14 (\(m=12288\)) | 27.1 (Iso-Energy) | 27.4 (±2.2) | 16.2 (Iso-Energy) | 18.1 (±2.0) | 0.129（优于基准 0.133~0.162） |
| 激活函数替换 | BatchTop-K (\(K=32\)) | 7.8 (Group-Sparse) | 16.2 (±0.8) | 4.9 (Group-Sparse) | 10.5 (±0.6) | 0.088（优于基准 0.089~0.105） |
| 极度稀疏设置 | Top-K (\(K=16\)) | 5.1 (Group-Sparse) | 13.3 (±0.7) | 3.1 (Iso-Energy) | 9.6 (±0.3) | 0.127（优于基准 0.131~0.134） |
关键发现¶
- 重构与对齐的零和博弈得以打破：在合成数据和真实数据中，常规辅助损失强行加大权重 \(\lambda\) 虽能在一定程度上增加激活重合，但必定引发显著的特征恢复误差升高；当组稀疏正则过大时甚至触发大量神经元永久死亡。而本文方法使重构误差完全锚定在单模态拟合的最优水平（0.089 MSE）。
- 跨模态语义检索质的飞跃：在 MS-COCO 图搜文和文搜图任务中，后置对齐使 Recall@1 较前序最强 baseline 实现了翻倍以上增益（图搜文从 7.1 暴涨至 16.0，文搜图从 4.3 提升至 11.4），证实真实语义神经元在置换后被极度精确地锚定。
- 概念干预与单义性显著提升：在基于潜变量的图像定向编辑实验中，利用对齐坐标进行特征向量加法干预，本文在 MS-COCO 80 类目标导向搜索中取得了显著更高的 mAP 与 MRR；在基于 MetaCLIP 外部空间评估的单义性得分曲线中，本文方法在大部分隐变量坐标上均保持着更高的语义纯度。
亮点与洞察¶
- 厘清了模态分割与特征异质性的因果关系：指出了学术界此前将“模态分割”单纯视为训练时未对齐弊病的认知误区，从线性代数层面揭示出几何方向不一致才是模态分割产生的本质物理原因。
- 解耦“特征提取”与“语义对齐”的工程哲学：不把语义配对约束塞进表征重构的瓶颈层，而是通过事后组合优化（匈牙利匹配）实现无痛对齐，不仅免去了复杂的超参数 \(\lambda\) 调优，更彻底规避了梯度相互干扰。
- 多模态可解释性干预的新范式：由于保留了视觉解码器和文本解码器各自独特的基向量方向，在执行跨模态概念转向时，能够使用视觉模态原生的特征方向作为精准干预向量，避免了模糊混合方向带来的假阳性伪影。
局限与展望¶
- 依赖高质配对数据的统计共激活：后置对齐依赖成对样本的共激活协方差矩阵，当跨模态配对样本稀缺或文本描述噪声极高时，二分图匹配权重可能出现偏差。
- 强线性表征假设边界：分析建立在线性特征加权生成模型之上，对包含深度自注意力跨层高度非线性纠缠的自回归大视觉语言模型（如 LLaVA 等生成架构）尚未做全方位理论验证。
- 未来方向：探索在非严格配对、弱监督甚至非平衡模态数据下的最优传输对齐；以及将后置匈牙利匹配对齐作为热启动初值，配合极小学习率微调的多阶段演进路径。
相关工作与启发¶
- vs Group-Sparse SAE (Kaushik et al., 2026)：其在训练目标中引入 \(\ell_{2,1}\) 组稀疏惩罚，强行将配对图像和文本隐变量聚至相同维度；本文证明当特征方向不平行时，该损失会强行折中基向量，造成重构损失激增且易诱发神经元死锁。
- vs Iso-Energy Alignment (DHIMOÏLA et al., 2026)：其通过最大化激活向量内积来缓解模态分割；本文证明其最优解会在临界阈值后将两模态向量坍缩为中位平均向量，而本文通过后置排列在保全独立基底的同时达成优异对齐。
- vs CLIP Modality Gap (Liang et al., 2022)：以往工作多从分布均值偏移或优化动力学解释模态鸿沟；本文建立了单义特征级别从 Modality Gap 到 Cross-Modal Feature Heterogeneity 的严格推导，为跨模态表示几何研究开辟了微观视角。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从微观特征几何方向视角揭示多模态 SAE 模态分割的成因，概念区分深刻清晰。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖完备的数学定理证明、合成数据闭环验证、跨四大家族规模化 VLM 与下游检索/干预任务。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然丝滑，数学符号严密优雅，实验证据链环环相扣。
- 价值: ⭐⭐⭐⭐⭐ 为多模态基础模型的可解释性分析、安全审计与潜在空间精确操控提供了关键理论支撑与有效工具。