Language-Assisted Image Clustering Guided by Discriminative Relational Signals and Adaptive Semantic Centers¶

会议: NeurIPS 2026
arXiv: 2603.24275
领域: 多模态VLM
关键词: 图像聚类, 视觉语言模型, 跨模态关系挖掘, 连续语义中心, 提示学习

一句话总结¶

针对语言辅助图像聚类中候选文本表征区分度弱以及受限于预建对齐空间的问题，本文提出基于岭回归重构的跨模态关系矩阵与连续类别语义中心提示学习框架，在 8 个基准数据集上超越现有 SOTA 平均 2.6%。

研究背景与动机¶

无监督图像聚类旨在不依赖人工标注的前提下将图像自动划分为语义连贯的簇。随着大规模视觉语言模型（如 CLIP）在图像-文本对齐能力上的突破，语言辅助图像聚类（LAIC）应运而生。这类方法试图引入语言先验来辅助聚类，以弥补视觉空间中外观相似但语义相异类别的混淆缺陷。现存的 LAIC 管线通常遵循两阶段范式：首先借助外部词典（如 WordNet）筛选候选名词，通过匹配近邻文本特征构建图像的文本对应表征；随后联合图像与文本模态特征执行 K-means 或训练聚类头。

然而，深入分析表明现有 LAIC 面临两个关键瓶颈。其一，在文本表征构建阶段，用于提示文本编码器的模板通常只捕获粗粒度高层语义，导致词典中的文本嵌入在几何空间上分布过于紧凑；基于近邻名词加权构建的样本级文本特征因此高度趋同，严重削弱了跨模态自监督信号的类间区分度，且完全忽略了非近邻文本所携带的互斥判别信息。其二，在聚类模型训练阶段，现有算法均被约束在预先人工构建的离散图文对齐空间内，无法直接在视觉语言模型的原生连续语义空间中发掘更精准的聚类语义表征。

本文的核心切入点在于：CLIP 的跨模态判别能力本质上源于图文相似度的相对差异，应当从全集重构视角全局建模图文关系，并在原生嵌入空间中通过连续提示学习自适应演化聚类中心。核心 idea：通过有界岭回归构建跨模态关系表征矩阵提取类间强判别信号，并结合邻域伪标签一致性筛选，在冻结 VLM 的原生语义空间中通过连续提示学习端到端自适应优化类别语义中心。

方法详解¶

整体框架¶

本文方法包含两大互补阶段：第一阶段构建特定于数据集的候选文本库，利用闭式岭回归构建图像-文本关系重构矩阵，提取富含非近邻互斥信息的全局关系表征，并通过直接 K-means 提供高判别性的初始伪标签；第二阶段设计邻域一致性准则滤除噪声伪标签，在冻结的 CLIP 空间中利用连续向量参数化可学习语义中心，采用广义交叉熵、双视角预测一致性及全局熵正则化联合优化提示向量，最终直接以图像特征与学习到的连续语义中心做余弦相似度完成聚类划分。

整体算法的数据流与核心模块如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入无标签图像集 X 与 WordNet 词典 W"] --> B["数据集特异性候选文本集构建<br/>图像细粒度中心近邻筛选"]
    B --> C["跨模态关系表征矩阵构建<br/>闭式岭回归求解 C 矩阵"]
    C --> D["高置信度邻域伪标签筛选<br/>在 C 空间计算 k-NN 伪标签一致性"]
    D --> E["类别连续语义中心参数化<br/>冻结文本编码器 + 可学习类向量 v_k"]
    E --> F["半监督鲁棒优化目标<br/>GCE 分类 + 预测一致性 + 全局熵平衡"]
    F --> G["测试阶段直接分配<br/>图像特征对齐最近连续语义中心"]

关键设计¶

1. 跨模态关系表征矩阵：从局部近邻检索走向全局图文重构 现有 LAIC 方法仅检索前几个最相似的文本特征加权作为图像的文本侧表达，导致样本间表征严重趋同。本文指出，样本不仅与相关文本相似，还与所有不相关文本表现出一致的相异性，非近邻文本蕴含大量负向判别信号。为此，方法首先对全量图像特征执行细粒度 K-means 聚类得到 $\tilde{k}$ 个中心 $\mathbf{p}_r$，在词典中为每个中心筛选余弦相似度最高的 $\theta$ 个名词组成包含 $M$ 个文本特征的候选矩阵 $\mathbf{U} \in \mathbb{R}^{M \times d}$。随后，将图像特征矩阵 $\mathbf{X} \in \mathbb{R}^{N \times d}$ 用全量文本候选基 $\mathbf{U}$ 进行全局线性重构，优化带 Frobenius 范数平滑正则项的岭回归目标： $$\min_{\mathbf{C}} \|\mathbf{X} - \mathbf{C}\mathbf{U}\|_{F}^{2} + \gamma \|\mathbf{C}\|_{F}^{2}$$ 该目标具有解析闭式解： $$\mathbf{C}^{\star} = \mathbf{X}\mathbf{U}^{\top}(\mathbf{U}\mathbf{U}^{\top} + \gamma \mathbf{I}_{M})^{-1}$$ 矩阵 $\mathbf{C}^{\star}$ 的每一行 $\mathbf{c}_i \in \mathbb{R}^{M}$ 刻画了图像在全量文本语义空间中的全局投影系数。同类图像在相关文本上具有一致的高激活值，在不相关文本上具有一致的近零/负激活，极大地放大了类间区分度并保证了类内紧凑性。直接在 $\mathbf{C}^{\star}$ 上运行 K-means 即可获得判别力显著强于原始图像特征的高质量初始聚类基线。

2. 邻域一致性伪标签筛选：消除聚类边界噪声 尽管基于 $\mathbf{C}^{\star}$ 的初始聚类提供了强监督基准，但聚类决策边界附近仍然存在标注噪声。由于 $\mathbf{C}^{\star}$ 具有极佳的局部邻域结构，同一类样本在其度量空间中高度凝聚。方法针对每个样本 $x_i$，在 $\mathbf{C}$ 空间中依据余弦相似度检索其最近的 $\hat{k}$ 个近邻集合 $\mathcal{N}_{\hat{k}}(i)$，并计算该局部邻域内的伪标签投票一致性得分： $$\alpha_i = \frac{1}{\hat{k}} \sum_{j \in \mathcal{N}_{\hat{k}}(i)} \mathbb{I}[\hat{y}_j = \hat{y}_i]$$ 通过设定置信阈值 $\tau=1$（即要求近邻必须完全一致），将数据集划分为高置信度带标签伪标注集 $\mathcal{D}_L = \{(x_i, \hat{y}_i) \mid \alpha_i \geq \tau\}$ 与未标注集 $\mathcal{D}_U = \{x_i \mid \alpha_i < \tau\}$，为后续语义中心学习提供了可靠的指导基准。

3. 连续语义中心自适应学习：突破离散图文对齐约束 传统的模型微调通常在固定类名下更新前缀提示词（Prefix Prompt Tuning），而在无监督聚类中类名未知。如果仅依赖离散名词，聚类上限受限于词典覆盖范围。本文反其道而行之：固定通用文本前缀 $\mathbf{E}_{prefix}$（如 "a photo of a"），将每个聚类簇 $k$ 的类别词位置替换为连续可学习词嵌入向量 $\mathbf{v}_k = [V_1^k, \dots, V_B^k]$，组合成类别提示词 $\mathbf{t}_k = [\mathbf{E}_{prefix}, \mathbf{v}_k]$。将 $\mathbf{t}_k$ 输入冻结的 CLIP 文本编码器 $g(\cdot)$ 映射为连续语义中心向量 $\mathbf{s}_k$。图像 $x$ 归属于类别 $k$ 的预测概率由图像特征与各语义中心的高温对齐相似度给出： $$p(k \mid x) = \frac{\exp(\cos(f(x), \mathbf{s}_k) / T)}{\sum_{j=1}^K \exp(\cos(f(x), \mathbf{s}_j) / T)}$$ 该设计使语义中心直接在 CLIP 的原生语言几何空间中连续滑动演化，自适应对齐目标数据集的图像分布，彻底摆脱了离散外部名词池的硬约束。

损失函数 / 训练策略¶

在训练阶段，CLIP 的图像编码器 $f(\cdot)$ 与文本编码器 $g(\cdot)$ 完全冻结，仅更新 $K$ 个类别的连续提示词参数 $\mathcal{V} = \{\mathbf{v}_k\}_{k=1}^K$。整体损失函数包含三项： 1. 抗噪广义交叉熵损失（GCE）：在强数据增强 $\mathcal{A}_s(x)$ 的标注集 $\mathcal{D}_L$ 上，采用参数 $q=0.8$ 的 GCE 损失替代标准交叉熵，兼顾收敛速度与对潜在假阳性标签的鲁棒性： $$\mathcal{L}_{\mathrm{sup}} = \mathbb{E}_{(x, \hat{y}) \sim \mathcal{D}_L} \left[ \frac{1 - \big(p(\hat{y} \mid \mathcal{A}_s(x))\big)^q}{q} \right]$$ 2. 弱-强双视角一致性约束：在未标注集 $\mathcal{D}_U$ 上，约束强增强视角 $\mathcal{A}_s(x)$ 与弱增强视角 $\mathcal{A}_w(x)$ 预测概率分布的均方误差（MSE），稳定未标记样本的流形连续性： $$\mathcal{L}_{\mathrm{con}} = \mathbb{E}_{x \sim \mathcal{D}_U} \left[ \|\mathbf{P}(\mathcal{A}_s(x)) - \mathbf{P}(\mathcal{A}_w(x))\|_2^2 \right]$$ 3. 全局聚类熵最大化正则项：定义全集平均预测概率分布 $q(k) = \mathbb{E}_{x \sim (\mathcal{D}_L \cup \mathcal{D}_U)} [p(k \mid x)]$，最大化其香农熵 $\mathcal{L}_{\mathrm{ent}} = -\sum_{k=1}^K q(k) \log q(k)$，强力防止聚类中心出现模式坍缩。

最终联合优化目标为： $$\mathcal{L} = \mathcal{L}_{\mathrm{sup}} + \lambda_1 \mathcal{L}_{\mathrm{con}} - \lambda_2 \mathcal{L}_{\mathrm{ent}}$$ 超参数在所有数据集上统一固定为 $\lambda_1 = 2, \lambda_2 = 0.1$。优化器采用带动量的 SGD，初始学习率 $2 \times 10^{-3}$ 并随余弦退火衰减，共训练 20 个 epoch。推理时，测试图像特征直接与 $K$ 个收敛的语义中心 $\mathbf{s}_k$ 计算余弦相似度，将样本分配给最大相似度的类别。

实验关键数据¶

主实验¶

在标准 4 个通用图像聚类数据集与 4 个大类别数复杂数据集上，对比 18 种代表性深度聚类方法及 Zero-Shot CLIP。基准指标为聚类准确率（ACC）、标准化互信息（NMI）与调整兰德指数（ARI）。

数据集	指标	本文 (Ours)	之前SOTA (TAC)	ZS-CLIP (真实类名)	提升幅度 (vs TAC)
ImageNet-Dogs (15类)	ACC / NMI / ARI	88.0 / 86.2 / 82.6	83.0 / 80.6 / 72.2	83.0 / 80.6 / 72.2	+5.0% / +5.6% / +10.4%
ImageNet-10 (10类)	ACC / NMI / ARI	99.8 / 99.6 / 99.7	99.2 / 98.5 / 98.3	97.6 / 95.8 / 94.9	+0.6% / +1.1% / +1.4%
STL-10 (10类)	ACC / NMI / ARI	98.5 / 96.1 / 96.7	98.2 / 95.5 / 96.1	97.1 / 93.9 / 93.7	+0.3% / +0.6% / +0.6%
CIFAR-10 (10类)	ACC / NMI / ARI	92.9 / 85.2 / 84.8	91.9 / 83.3 / 83.1	90.0 / 80.7 / 79.3	+1.0% / +1.9% / +1.7%
Flowers-102 (102类)	ACC / NMI / ARI	78.6 / 89.6 / 72.9	71.8 / 87.7 / 64.3	66.7 / 82.3 / 58.1	+6.8% / +1.9% / +8.6%
CIFAR-100 (100类)	ACC / NMI / ARI	58.1 / 68.8 / 43.4	55.4 / 68.1 / 42.4	60.9 / 67.4 / 38.0	+2.7% / +0.7% / +1.0%
DTD (47类)	ACC / NMI / ARI	53.7 / 63.8 / 36.2	50.1 / 62.1 / 34.4	43.1 / 56.5 / 26.9	+3.6% / +1.7% / +1.8%
UCF-101 (101类)	ACC / NMI / ARI	70.2 / 84.4 / 61.9	68.9 / 82.8 / 60.6	63.4 / 79.9 / 50.2	+1.3% / +1.6% / +1.3%

消融实验¶

在细粒度数据集 ImageNet-Dogs 与纹理数据集 DTD 上对损失函数各分项进行系统剥离验证：

配置	ImageNet-Dogs (ACC / NMI / ARI)	DTD (ACC / NMI / ARI)	说明
完整模型 ($\mathcal{L}_{\mathrm{sup}} + \mathcal{L}_{\mathrm{con}} + \mathcal{L}_{\mathrm{ent}}$)	88.0 / 86.2 / 82.6	53.7 / 63.8 / 36.2	最优性能，各损失协同增益
仅保留 $\mathcal{L}_{\mathrm{sup}}$	81.7 / 82.4 / 75.2	51.8 / 60.5 / 34.1	仅依赖高质量子集监督，缺少未标注正则化
仅保留 $\mathcal{L}_{\mathrm{con}}$	14.3 / 8.1 / 3.6	12.4 / 10.2 / 8.6	缺乏锚点引导，出现退化
仅保留 $\mathcal{L}_{\mathrm{ent}}$	14.6 / 9.1 / 5.7	16.2 / 13.5 / 9.7	无法建立跨模态语义对应
$\mathcal{L}_{\mathrm{sup}} + \mathcal{L}_{\mathrm{con}}$ (无熵正则)	87.6 / 86.0 / 81.7	51.9 / 62.6 / 34.3	类别平衡度略受影响，出现微弱类间坍缩
$\mathcal{L}_{\mathrm{sup}} + \mathcal{L}_{\mathrm{ent}}$ (无一致性)	87.4 / 85.9 / 82.1	53.2 / 63.3 / 35.5	未标注数据特征约束不足
$\mathcal{L}_{\mathrm{con}} + \mathcal{L}_{\mathrm{ent}}$ (无监督)	17.6 / 10.6 / 6.8	30.1 / 15.5 / 10.5	缺乏伪标签锚点，中心漂移严重

关键发现¶

复杂与细粒度场景增益极为显著：在细粒度品种数据集 ImageNet-Dogs 上，ACC 提升 5.0%，ARI 大幅提升 10.4%；在类别高达 102 类的 Flowers-102 上，ACC 从 71.8% 跃升至 78.6%（+6.8%），说明连续语义中心能极好地刻画复杂细粒度分布。
无训练基础特征判别力验证：仅在 $\mathbf{C}$ 矩阵上运行 K-means（Ours no-train），其在 DTD 上 ACC 相比基于原始 CLIP 图像特征提升 7.5%，相比拼接图文特征的 TAC (no-train) 提升 4.0%，证实闭式岭回归引入的全局负文本关系大幅增强了初态判别性。
自适应语义中心的自超越性：学习得到的连续语义中心在多数数据集上甚至超越了采用真实类别名称的 Zero-Shot CLIP（平均 ACC 高出 5.8%）。反查语义中心在 WordNet 中最近邻名词表明，学习到的语义中心高度吻合真实类别语义，且在视觉语境下表达更为准确具体（如将抽象的 "Trailer Truck" 精确定位为 "trucking_rig"）。
通用主干兼容性：在 BLIP (ViT-B/16) 主干上的拓展验证显示，Ours (no-train) 在 CIFAR-10、DTD 和 UCF-101 上全面优于 TAC，验证了全局跨模态关系建模在不同视觉语言模型体系下的普遍有效性。

亮点与洞察¶

从离散近邻检索转向全局稠密重构：敏锐指出样本对非相关名词的一致相异性包含丰富判别信息，通过闭式岭回归以极低计算开销同时捕获正向匹配与负向互斥信号，有效破解了文本表征高度趋同的固有痼疾。
反转提示学习范式构建连续聚类锚点：跳出下游适配中“固定类别名优化上下文提示”的思维定势，在无监督聚类中“固定通用前缀优化类别标记嵌入”，让聚类中心在 CLIP 预训练语言几何流形中连续移动，兼具高灵活性与语义可解释性。

局限与展望¶

类别数量预先已知假设：方法严格依赖事先获知精确的聚类类别数 $K$，在开放世界聚类或簇数未知的真实动态场景下难以自适应调整连续中心数量。
超参对类别尺度的敏感度：在百级复杂类别数据集（如 Flowers-102、DTD）上，邻域一致性筛选需将近邻数缩减至 $\hat{k}=1$ 才能平衡样本保留率与准确率，表明邻域拓扑在长尾大类别场景下仍面临一定调参开销。
未来方向：探索与层次化聚类或狄利克雷过程结合，使连续提示中心的数量与粒度可在训练过程中实现动态分裂与合并。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了 LAIC 的离散名词加权范式，提出全局关系重构与连续语义中心提示学习，设计精巧严谨。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个基准、多随机种子、消融、无训练基线对比、词级可解释性反查及跨主干验证。
写作质量: ⭐⭐⭐⭐⭐ 问题剖析深刻，数学推导清晰闭式，动机构造极具说服力。
价值: ⭐⭐⭐⭐⭐ 为无监督视觉表示学习与视觉语言大模型的无标注下游对齐提供了崭新的方法学范式。

配置	ImageNet-Dogs (ACC / NMI / ARI)	DTD (ACC / NMI / ARI)	说明
完整模型 (\(\mathcal{L}_{\mathrm{sup}} + \mathcal{L}_{\mathrm{con}} + \mathcal{L}_{\mathrm{ent}}\))	88.0 / 86.2 / 82.6	53.7 / 63.8 / 36.2	最优性能，各损失协同增益
仅保留 \(\mathcal{L}_{\mathrm{sup}}\)	81.7 / 82.4 / 75.2	51.8 / 60.5 / 34.1	仅依赖高质量子集监督，缺少未标注正则化
仅保留 \(\mathcal{L}_{\mathrm{con}}\)	14.3 / 8.1 / 3.6	12.4 / 10.2 / 8.6	缺乏锚点引导，出现退化
仅保留 \(\mathcal{L}_{\mathrm{ent}}\)	14.6 / 9.1 / 5.7	16.2 / 13.5 / 9.7	无法建立跨模态语义对应
\(\mathcal{L}_{\mathrm{sup}} + \mathcal{L}_{\mathrm{con}}\) (无熵正则)	87.6 / 86.0 / 81.7	51.9 / 62.6 / 34.3	类别平衡度略受影响，出现微弱类间坍缩
\(\mathcal{L}_{\mathrm{sup}} + \mathcal{L}_{\mathrm{ent}}\) (无一致性)	87.4 / 85.9 / 82.1	53.2 / 63.3 / 35.5	未标注数据特征约束不足
\(\mathcal{L}_{\mathrm{con}} + \mathcal{L}_{\mathrm{ent}}\) (无监督)	17.6 / 10.6 / 6.8	30.1 / 15.5 / 10.5	缺乏伪标签锚点，中心漂移严重