Topology-Aware Representation Alignment for Semi-Supervised Vision-Language Learning¶

会议: NeurIPS 2026
arXiv: 2604.26370
OpenReview: https://openreview.net/forum?id=JgmIV10Z6r
代码: https://github.com/junwon0/ToMA
领域: 多模态 VLM
关键词: 持续同调, 拓扑数据分析, 半监督学习, 跨模态对齐, 视觉语言模型

一句话总结¶

针对专业领域视觉语言模型适应中成对标注稀缺且成对对齐易割裂全局流形结构的问题，本文提出拓扑感知多模态表示对齐框架（ToMA），通过 1-骨架持续同调将样本间关系低成本解构为 $H_0$-death 连通骨干与 $H_1$-birth 闭环关系，并对齐其跨模态方向，在遥感与时尚多项基准上显著提升零样本分类精度与长尾难例检索能力。

研究背景与动机¶

以 CLIP 为代表的视觉语言模型在通用领域的开集识别和跨模态检索中展现出强大的零样本泛化能力，然而当迁移至遥感影像、医学图像或特定时尚单品等专业垂直领域时，由于视觉分布与通用预训练语料存在严重分布偏移，模型的性能往往大幅退化。为了向这些领域适配，依赖大量领域内成对图像-文本数据的全监督微调成本极其高昂，而单纯的无标签图像却唾手可得，这直接催生了半监督视觉语言学习（Semi-Supervised Vision-Language Learning）的兴起。近年来涌现的 S-CLIP 与 SemiCLIP 等工作，尝试借助伪标签挖掘与梯形几何正则化等机制利用无标签样本，但它们的对齐目标在本质上依然停留在局部的成对样本级或单纯两对样本之间的局部约束，未能显式建模和保留多模态表示流形在批次级别的全局拓扑结构。

根据柏拉图表示假说，视觉与语言两个模态的表征虽然由于“模态鸿沟”而在度量空间中产生偏移，但它们在深层几何组织上应该收敛于对客观世界共享的抽象流形结构。拓扑数据分析（TDA）中的持续同调（Persistent Homology, PH）恰好为刻画这种连续几何变换下保持不变的全局流形结构提供了数学工具。然而，现有尝试引入拓扑正则化的方法普遍存在三大瓶颈：其一，主流方法主要通过匹配持续图（Persistence Diagrams, PDs）来对齐拓扑，但持续图是高度非单射的几何摘要，两个几何形状完全迥异的点云可能拥有完全相同的持续图，导致最小化持续图距离无法保证真实的几何对齐；其二，单纯的持续图匹配完全丢弃了视觉语言学习中至关重要的图文成对先验对应关系；其三，绝大多数方法受限于高维单形构造的极高计算复杂度，仅停留在 0 维持续同调（$H_0$），无法捕获高阶闭环组织。

本文的切入角度是：摒弃将非单射的持续图本身作为优化目标的旧范式，转而利用持续同调作为拓扑骨架提取器，利用截断在 1-骨架上的轻量过滤，将表示空间内的所有关系解构为承担局部连通的 $H_0$-death 边与承担闭环组织的 $H_1$-birth 边，并借助图文配对先验直接在余弦几何下对齐其向量方向。核心 idea：利用 1-骨架持续同调将多模态流形关系免 2-单形低成本解构为 $H_0$-death 最小生成树骨干与 $H_1$-birth 闭环拓扑关系，并以子空间方向一致性损失实现跨模态全局几何对齐。

方法详解¶

整体框架¶

ToMA 框架以两阶段半监督视觉语言学习（SemiCLIP）为骨架，在每个训练批次中，分别在图像嵌入空间与文本嵌入空间构建截断至 1-骨架（1-skeleton）的 Vietoris-Rips 过滤。该过滤无需生成高维 2-单形，即可将成对嵌入关系天然解构为两类拓扑显著边：一类是对应连通分支合并的 $H_0$-death 边（数学上严格对应点云的最小生成树 MST），表征局部语义近邻结构；另一类是生成 1 维闭环的 $H_1$-birth 边（对应所有非 MST 的闭环边），表征跨越局部邻域的全局高阶组织。随后，ToMA 借助阶段内可用的图文配对映射（第一阶段为真实图文对，第二阶段为有标签图文对加无标签图像的伪标签概念拼接文本代理），以余弦方向一致性损失对齐两模态间对应拓扑边的方向，在尊重 CLIP 超球面几何特性的同时实现全局流形对齐。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入批次数据<br/>少量成对样本 + 海量无标签图像"] --> S1["两阶段半监督协同机制<br/>阶段1: 概念挖掘 / 阶段2: 伪标签与梯形对齐"]
    S1 --> S2["1-骨架过滤与拓扑解构<br/>H0-death(MST连通骨干) + H1-birth(闭环高阶关系)"]
    S2 --> S3["跨模态方向一致性对齐<br/>双向投影 + 余弦方向匹配 + 绝对值子空间不变性"]
    S3 --> Out["拓扑一致的共享多模态表示空间<br/>用于零样本分类与跨模态图文检索"]

关键设计¶

1. 基于 1-骨架过滤的拓扑关系解构：从全局流形中无额外开销提取连通与闭环结构 传统持续同调计算如果扩展到 1 维同调（$H_1$），通常需要构造包含三角形的 2-单形复形，其计算复杂度随批次样本量急剧膨胀，在端到端深度网络训练中难以承受；因此以往工作多退回至仅计算 0 维连通分支（$H_0$）。ToMA 突破了这一限制：在度量空间定义仅作用于顶点和边的截断函数 $f(\sigma)$，当 $|\sigma|=1$ 时函数值为 0，当 $\sigma=\{x,y\}$ 时函数值为欧氏距离 $d(x,y)$，而当 $|\sigma|>2$ 时定义为 $\infty$。在此 1-骨架过滤序列下，由于有限过滤尺度内永远不会引入 2-单形，所有 $H_1$ 特征类在生成后永远不会死亡。由此产生了一个极为优雅且计算极为轻量的数学性质：$H_0$ 的死亡单形（death simplices）恰好构成了点云的最小生成树（MST），代表保持批次连通性的骨干邻域结构；而所有剩余的非树边，则全部构成了 $H_1$ 的出生单形（birth simplices），每一条边都精确封闭了一个 1 维拓扑环。该机制使得模型无需任何 2-单形计算，即可通过 Kruskal 或 Prim 算法在 $O(N^2 \log N)$ 时间内将批次内的全部配对关系解构为 $H_0$-death 与 $H_1$-birth 两个互补的拓扑集合。

2. 跨模态方向一致性对齐：契合余弦几何与子空间不变性的关系对齐目标 过去利用拓扑信息的方法往往强制拉近点云间持续图的 Wasserstein 距离，或者直接对齐拓扑选定边的欧氏边长绝对差值（如 Topological Autoencoders 的做法）。然而，CLIP 等双塔视觉语言模型提取的特征均经过 $L_2$ 归一化，其度量空间本质上是单位超球面，语义相似度严格由余弦夹角主导；若强行约束欧氏距离，反而破坏了模型固有的角向几何。为此，ToMA 设计了纯方向一致性度量：对于模态 $M_i$ 中由同调类 $\mu$ 选出的拓扑显著边 $\sigma_\mu = \{x_0, x_1\}$，通过跨模态映射 $\pi_{i \to j}$ 映射到模态 $M_j$ 得到对应节点对，计算二者差分向量的余弦相似度： $$T_\mu^*(M_i \to M_j) = \left\langle x_0 - x_1, \; \pi_{i \to j}(x_0) - \pi_{i \to j}(x_1) \right\rangle$$ 其中 $\langle u, v \rangle = \frac{u^\top v}{\|u\|_2 \|v\|_2}$。针对跨模态映射可能出现反向平行的对称情况，ToMA 在损失函数中引入绝对值算子 $|T_\mu^*|$，从而将优化目标从“强制单一绝对朝向”转变为“对齐一维关系子空间（relational subspace）”。由于两模态由自身点云诱导出的拓扑边集合并不完全重合，ToMA 采用对称的双向对齐损失，兼顾两模态各自的流形视角。

3. 两阶段半监督协同机制：利用伪标签代理特征实现无标签样本的拓扑正则化 半监督设定的核心难点在于海量无标签图像缺少直接配对的文本描述，无法直接建立跨模态映射 $\pi_{I \to T}$。ToMA 与 SemiCLIP 的两阶段架构紧密结合：在第一阶段，仅基于有标签图文对进行概念挖掘分类器训练，跨模态对应 $\pi$ 严格由真实配对提供；进入第二阶段后，利用有标签数据训练得到的概念分类器，为每张强增强无标签图像预测置信度最高的前 $k$ 个概念名词，并将其直接拼接为该图像的代理文本描述（surrogate caption $\hat{T}_j$）。这一代理机制不仅支持了 SemiCLIP 原有的梯形几何一致性约束，更使 ToMA 能够将无标签样本与有标签样本汇合于同一批次中，通过代理文本特征建立完备的跨模态节点映射 $\pi$。在梯度反向传播时，拓扑边的选取仅作为非微分的离散索引提取器，而方向损失函数直接对当前编码器输出的嵌入特征求导，使得无标签样本能够与有标签样本共同参与全局流形拓扑的塑形。

损失函数 / 训练策略¶

ToMA 的损失函数针对两阶段训练目标进行统一集成：在训练阶段 $s \in \{1, 2\}$ 中，总损失函数定义为原半监督损失与 ToMA 正则化项的加权和： $$\mathcal{L}^{(s)} = \mathcal{L}_{\text{Semi}}^{(s)} + \frac{c}{2} \left( \mathcal{L}_{\text{ToMA}}^{\text{0-death}} + \mathcal{L}_{\text{ToMA}}^{\text{1-birth}} \right)$$ 其中，双向拓扑损失对于 $* \in \{\text{0-death}, \text{1-birth}\}$ 具体形式为： $$\mathcal{L}_{\text{ToMA}}^*(M_i, M_j) = \frac{1}{|\Gamma_*^{M_i}|} \sum_{\mu \in \Gamma_*^{M_i}} \left( 1 - \left| T_\mu^*(M_i \to M_j) \right| \right) + \frac{1}{|\Gamma_*^{M_j}|} \sum_{\mu \in \Gamma_*^{M_j}} \left( 1 - \left| T_\mu^*(M_j \to M_i) \right| \right)$$ 在第一阶段中，$\mathcal{L}_{\text{Semi}}^{(1)} = \mathcal{L}_{\text{CLIP}} + \mathcal{L}_{\text{SCM}}$；在第二阶段中，$\mathcal{L}_{\text{Semi}}^{(2)} = \mathcal{L}_{\text{SCM}}^u + \mathcal{L}_{\text{Trap}}$。权重超参数 $c$ 在遥感领域统一设为 $0.5$，在时尚领域设为 $0.1$。模型采用 ViT-B/16 为默认视觉主干，阶段一微调 25 个 epoch，阶段二微调 15 个 epoch，在单个 NVIDIA A100 GPU 上批次大小分别为 128（遥感）与 256（时尚）。

实验关键数据¶

主实验¶

论文在遥感数据集（RS-ALL：包含 RSICD、UCM、Sydney）和时尚数据集（Fashion200k、FashionGen、Polyvore Outfits）上进行了充分评测。在遥感领域，10% 数据作为有标签集合 $L$，其余 90% 作为无标签集合 $U$。评测分为同分布无标签（$L=U$）与域外无标签（$L \neq U$，来自 RESISC45）两种设定。下表汇总了遥感领域零样本分类 Top-1 准确率（%）的核心对比：

数据集 / 设定	CLIP (fine-tuned)	S-CLIP	SemiCLIP	ToMA (ours)	ToMA-domain (ours)
$L=U$ 设定
RSICD-CLS	$75.7 \pm 2.2$	$81.4 \pm 1.8$	$81.4 \pm 1.1$	$84.8 \pm 1.3$ (+3.4)	$83.8 \pm 3.2$
UCM-CLS	$80.1 \pm 6.8$	$81.3 \pm 3.4$	$84.3 \pm 3.2$	$86.1 \pm 3.4$	$87.5 \pm 4.4$ (+3.2)
WHU-RS19	$92.2 \pm 1.5$	$95.9 \pm 1.8$	$95.6 \pm 0.3$	$97.9 \pm 0.4$ (+2.3)	$97.8 \pm 0.6$
RSSCN7	$70.7 \pm 5.5$	$75.1 \pm 2.0$	$76.2 \pm 2.7$	$74.2 \pm 1.7$	$73.9 \pm 1.0$
AID	$79.8 \pm 3.8$	$86.4 \pm 1.7$	$84.0 \pm 1.2$	$87.3 \pm 2.2$ (+3.3)	$86.8 \pm 2.8$
$L \neq U$ (OOD) 设定
RSICD-CLS	$75.7 \pm 2.2$	$78.3 \pm 3.2$	$80.1 \pm 1.4$	$83.1 \pm 1.4$ (+3.0)	$82.8 \pm 1.3$
UCM-CLS	$80.1 \pm 6.8$	$79.5 \pm 4.9$	$82.8 \pm 1.0$	$85.7 \pm 2.5$	$87.5 \pm 1.9$ (+4.7)
WHU-RS19	$92.2 \pm 1.5$	$93.8 \pm 1.5$	$95.1 \pm 0.1$	$96.7 \pm 0.5$ (+1.6)	$96.4 \pm 0.3$
RSSCN7	$70.7 \pm 5.5$	$73.9 \pm 5.0$	$75.0 \pm 0.8$	$75.1 \pm 3.0$ (+0.1)	$74.5 \pm 2.0$
AID	$79.8 \pm 3.8$	$84.9 \pm 3.3$	$82.5 \pm 1.9$	$85.6 \pm 3.0$	$86.5 \pm 1.8$ (+4.0)

在时尚领域，ToMA 同样在粗粒度与细粒度零样本分类上显著超越基线：在 FashionGen 超类上达到 48.0%（ToMA-domain 达 49.1%），大幅领先 SemiCLIP 的 43.4%（提升达 5.7 个百分点）；在 FashionGen 子类上 ToMA-domain 达到 46.5%，甚至超越了具备全标注的 CLIP oracle（45.5%）。

消融实验¶

为了严格厘清持续同调各维度信息、目标设计以及拓扑结构图构建相对于无拓扑图控制组的真实贡献，作者在控制基干框架一致的前提下开展了严谨的对比实验。

1. 跨模态骨干重合度与拓扑目标消融

配置 / 对齐目标	零样本分类平均增益 (p.p.)	检索平均增益 (p.p.)	跨模态 MST 重合度 (%)	机制说明
SemiCLIP 基线	-	-	31.74%	传统梯形一致性，无拓扑正则化
$\mathcal{L}_{\text{dist}}$ (距离对齐)	低于 ToMA	负增益/剧烈抖动	-	类似 TopoAE，对齐拓扑边欧氏长度
$\mathcal{L}_{\text{PD}}$ (持续图对齐)	提升微弱	波动不稳定	-	类似 ToMCLIP，匹配 Wasserstein 距离
$\mathcal{L}_{\text{PI}}$ (持续图像对齐)	提升有限	波动不稳定	-	类似 TopKD，匹配离散网格化持续图
$\mathcal{L}_{0\text{dim}}$ ($H_0$ 单独)	+1.1	+0.2	33.10%	类似 HC，仅对齐 MST 骨干连通边
$\mathcal{L}_{1\text{dim}}$ ($H_1$ 单独)	+1.3	+0.4	-	仅对齐非树闭环边，证明高阶信号有效
ToMA Full ($H_0 + H_1$)	+1.8	+0.1	34.26%	同时融合局部连通与高阶闭环方向
ToMA-domain Full	+1.7	+1.9	33.57%	分领域构建拓扑，检索性能大幅提升

2. 拓扑图 vs 无拓扑通用图控制组对比（L=U 设定）

图构建方法	零样本分类增益 (ZS)	跨模态检索增益 (Ret.)	结论与分析
Random (均匀随机边)	+0.7	-0.3	缺乏几何代表性，分类增益较弱且损害检索
$k$-NN (邻近图)	-0.3	+0.8	仅关注极端局部近邻，导致全局分类精度掉点
ToMA (PH 诱导)	+1.8	+0.1	全局连通骨干提供最稳健的分类表示增强
Random-domain	-0.3	+0.6	分领域随机边在分类上发生负迁移
$k$-NN-domain	-0.3	+0.6	局部聚合在分类上持续掉点
ToMA-domain	+1.7	+1.9	在分领域拓扑构建下全面碾压通用图控制组

关键发现¶

高阶拓扑信号（$H_1$-birth）具有独立且显著的增益：传统观点（如 HC [12]）认为高阶同调不仅计算高昂且无法带来增益，因而只保留 $H_0$。ToMA 证明，在 1-骨架过滤下提取的 $H_1$-birth 闭环关系在计算上零额外负担，且单独引入时在分类与检索上均能带来稳定的性能提升，与 $H_0$-death 结合后效果最强。
方向对齐优于距离对齐与持续图匹配：将拓扑目标替换为持续图 Wasserstein 匹配（$\mathcal{L}_{\text{PD}}$）或拓扑边长欧氏对齐（$\mathcal{L}_{\text{dist}}$）时，性能均出现停滞或滑坡。这证明在余弦度量驱动的视觉语言模型中，对齐关系子空间的方向才是拓扑正则化发挥作用的正确数学形式。
长尾难例与结构一致性收益显著：在针对 FashionGen 细粒度检索的受控分析中，对 SemiCLIP 正负样本检索间隔最小的难例（前 1/3 最难查询），ToMA 将图到文 R@5 从 8.14% 飙升至 19.94%，文到图 R@5 从 7.66% 提升至 20.10%，约 61% 的难例排名显著提升；跨模态 MST 重合度系统性提升 2.52 个百分点，表明拓扑正则化切实重塑了深层表征骨干。
极其低廉的额外开销：在 A100 上以 256 批次训练时，ToMA 相对于 SemiCLIP 的端到端训练总时长仅从 799.5 秒增加到 802.0 秒，相对额外开销仅为 0.3%，完全打消了拓扑方法训练缓慢的顾虑。

亮点与洞察¶

1-骨架截断的极简数学技巧：利用 1-骨架 Vietoris-Rips 过滤天然将边分为“使连通分支合并的边”（MST）和“闭合 1 维环的边”（非树边），避开了 2-单形的组合爆炸，以极简形式同时捕获了局部连通与高阶闭环组织。
子空间不变性方向对齐：使用余弦相似度的绝对值 $|T_\mu^*|$，既契合了超球面表征的角向度量本质，又使关系对齐具备平行/反向平行的子空间对称不变性，赋予了跨模态拓扑映射更大的自适应空间。
对半监督表征崩溃的全局约束：在半监督学习中，伪标签噪声往往导致局部表征过拟合和几何畸变；通过全局拓扑关系一致性正则化，模型受到全图连通性骨架的牵引，有效防止了无标签数据的表征坍塌。

局限与展望¶

应用范围局限于小样本与特定垂直领域：实验主要集中在遥感和时尚数据集，虽然补充了科学图表与漫画检索，但尚未在大规模通用多模态对齐（如从头预训练大尺度 VLM）中检验扩展性。
仅探索了跨模态对齐设定：当前框架依赖于可建立的节点配对映射，未能扩展到纯单模态（unimodal）无配对流形对齐场景。
未结合自适应任务权衡机制：实验表明，联合 $H_0$ 与 $H_1$ 对零样本分类提升显著，但在密集通用检索上全局指标提升较为温和（收益主要集中在难例）。未来可研究根据模态特征与下游任务动态调度拓扑约束权重的机制。

评分¶

新颖性: ⭐⭐⭐⭐☆ [以 1-骨架同调实现免 2-单形的高阶拓扑解构，并以绝对值余弦方向对齐关系子空间，设计巧妙且契合 VLM 特征]
实验充分度: ⭐⭐⭐⭐⭐ [跨遥感、时尚、科学图表多领域，涵盖同分布/跨分布半监督、消融、MST 重合度分析、图控制组及难例细粒度剖析]
写作质量: ⭐⭐⭐⭐⭐ [数学表达严谨精炼，机理阐释透彻，图表呈现与定性可视化极具说服力]
价值: ⭐⭐⭐⭐☆ [为多模态表征对齐与自监督/半监督流形正则化提供了极低开销且切实有效的拓扑工具新范式]

数据集 / 设定	CLIP (fine-tuned)	S-CLIP	SemiCLIP	ToMA (ours)	ToMA-domain (ours)
\(L=U\) 设定
RSICD-CLS	\(75.7 \pm 2.2\)	\(81.4 \pm 1.8\)	\(81.4 \pm 1.1\)	\(84.8 \pm 1.3\) (+3.4)	\(83.8 \pm 3.2\)
UCM-CLS	\(80.1 \pm 6.8\)	\(81.3 \pm 3.4\)	\(84.3 \pm 3.2\)	\(86.1 \pm 3.4\)	\(87.5 \pm 4.4\) (+3.2)
WHU-RS19	\(92.2 \pm 1.5\)	\(95.9 \pm 1.8\)	\(95.6 \pm 0.3\)	\(97.9 \pm 0.4\) (+2.3)	\(97.8 \pm 0.6\)
RSSCN7	\(70.7 \pm 5.5\)	\(75.1 \pm 2.0\)	\(76.2 \pm 2.7\)	\(74.2 \pm 1.7\)	\(73.9 \pm 1.0\)
AID	\(79.8 \pm 3.8\)	\(86.4 \pm 1.7\)	\(84.0 \pm 1.2\)	\(87.3 \pm 2.2\) (+3.3)	\(86.8 \pm 2.8\)
\(L \neq U\) (OOD) 设定
RSICD-CLS	\(75.7 \pm 2.2\)	\(78.3 \pm 3.2\)	\(80.1 \pm 1.4\)	\(83.1 \pm 1.4\) (+3.0)	\(82.8 \pm 1.3\)
UCM-CLS	\(80.1 \pm 6.8\)	\(79.5 \pm 4.9\)	\(82.8 \pm 1.0\)	\(85.7 \pm 2.5\)	\(87.5 \pm 1.9\) (+4.7)
WHU-RS19	\(92.2 \pm 1.5\)	\(93.8 \pm 1.5\)	\(95.1 \pm 0.1\)	\(96.7 \pm 0.5\) (+1.6)	\(96.4 \pm 0.3\)
RSSCN7	\(70.7 \pm 5.5\)	\(73.9 \pm 5.0\)	\(75.0 \pm 0.8\)	\(75.1 \pm 3.0\) (+0.1)	\(74.5 \pm 2.0\)
AID	\(79.8 \pm 3.8\)	\(84.9 \pm 3.3\)	\(82.5 \pm 1.9\)	\(85.6 \pm 3.0\)	\(86.5 \pm 1.8\) (+4.0)