Robust Multi-view Clustering against Imperfect Information¶
会议: NeurIPS 2026
arXiv: 2606.04343
OpenReview: https://openreview.net/forum?id=1FPjSicyVu
领域: 其他
关键词: 多视图聚类, 不完全信息, 缺失视图, 噪声对应, 最优传输
一句话总结¶
针对多视图聚类中缺失视图与跨视图错误配对共存的不完全信息问题，提出后验引导的潜在对偶样本推断框架（PLCI），将目标视图对偶表示统一建模为潜在变量，融合实例级可靠度与原型级语义最优传输实现鲁棒聚类。
研究背景与动机¶
多视图聚类旨在整合不同模态或视图间的互补特性与一致性信息，将无标签数据划分到对应的语义簇中。然而在实际场景中，多视图数据往往不可避免地面临“不完全信息”（Imperfect Information）的严重干扰，其主要表现为两类退化现象：某些样本缺失了特定视图的观测值（不完全视图，Incomplete Views, IV），以及不同视图间的样本对应关系存在错误匹配（噪声对应，Noisy Correspondences, NC）。以往针对 IV 的方法通常假定完整样本具有完美对齐的跨视图关系，进而训练生成器重建缺失特征；而针对 NC 的方法则依赖大量完备样本来拟合跨视图对齐拓扑。一旦现实数据同时出现视图缺失与错误匹配，两类方案各自赖以成立的先验假设便同时瓦解。
直觉上将现有的缺失视图补全方法与噪声对应校正方法进行两阶段串联拼接（例如先用补全网络补齐缺失视图再筛选对齐关系，或先过滤噪声对齐再补全特征）似乎是可行的替代方案。但由于两类子问题存在高度纠缠，首阶段产生的补全误差或错误对齐判断会不可逆地向下游累积放大，且在完备对齐样本极为稀缺的环境下两阶段网络均无法得到稳定监督。深层分析表明，缺失视图与噪声对应在本质上均源于跨视图对偶样本（Counterpart）信息的缺陷：前者导致目标视图对偶样本物理不可得，后者导致观测到的对偶样本在语义上不可信。
基于这一根本视角，本文不再将缺失补全与噪声重对齐割裂处理，而是将所有样本在目标视图中理想的对偶表征统一建模为潜在随机变量。核心 idea：将多视图不完全信息统一归结为潜在对偶样本的后验推断问题，结合深度模型记忆效应估计实例级对齐可靠度，并通过原型级语义最优传输越过噪声样本建立稳健的跨视图语义映射，自适应重构兼顾可靠观测与语义先验的潜在对偶表示。
方法详解¶
整体框架¶
PLCI 针对任意给定锚点视图的样本，通过推断其在目标视图中的潜在对偶表征来统一处理缺失与噪声。其整体流水线分为三个紧密耦合的阶段：首先利用深度神经网络优先拟合干净简单样本的记忆效应，在完备样本对的对比损失分布上拟合两组分高斯混合模型，估计各样本对的实例级对齐可靠度；其次在所有可用观测样本上构建各视图聚类原型，将实例可靠度加权融入原型共现矩阵中，借助最优传输算法获得平滑的跨视图原型对齐映射与语义传递；最后基于后验均值形式自适应融合目标视图观测（或生成特征）与传输语义原型，形成最终的潜在对偶特征，分别构建噪声对应对齐损失与缺失视图分布正则化目标。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多视图不完全输入数据<br/>包含缺失视图(IV)与噪声对应(NC)"] --> B["阶段1：实例级可靠度估计<br/>双视图对比损失 + 两组分 GMM 建模"]
B --> C["阶段2：原型级语义传输<br/>视图原型构建 + 可靠度加权最优传输"]
C --> D["阶段3：潜在对偶样本推断<br/>自适应融合观测/生成特征与传输语义"]
D --> E["双重鲁棒聚类目标优化<br/>完整对对比对齐 + 缺失对 KL 分布正则"]关键设计¶
1. 实例级可靠度估计：基于损失分布建模捕捉样本对齐置信度
传统针对噪声对应的清洗策略难以直接套用到稀疏且不完整的观测数据中。PLCI 借鉴深度神经网络先拟合简单规律、后拟合困难模式的“记忆效应”原理：在训练初期，跨视图语义真正对齐的样本对产生的跨视图一致性损失相对较低，而误配对的噪声样本对则会产生显著更高的损失。对于同时拥有锚点视图 \(a\) 与目标视图 \(b\) 观测值的完备样本，模型计算视图编码器输出间的对比损失 \(\ell_{\text{con}}(f^{(a)}(\mathbf{x}_i^{(a)}), f^{(b)}(\mathbf{x}_i^{(b)}))\)。随后引入两组分高斯混合模型（GMM）拟合当前批次或整体完备样本的损失分布：
根据均值大小区分干净对齐组分与噪声组分，并将后验概率归属于小均值组分的大小直接定义为实例对齐可靠度 \(\gamma_i = p(\kappa \mid \ell_{\text{con}})\)。该标量权重能够平滑表征当前对齐关系的可信程度，避免了硬切分引入的阈值敏感问题。
2. 原型级语义传输：可靠度加权的最优传输打破实例孤岛
若直接在实例级别跨视图重构特征，当大量完备样本含有噪声对齐时，跨视图生成映射极易发生结构性偏折。PLCI 的切入点在于转向簇原型级别的语义结构对齐：聚类原型由当前视图内所有可观测到的样本聚合形成，对局部实例噪声天然具备更强的抵抗力。具体而言，每个视图 \(v\) 维护 \(C\) 个可学习聚类原型 \(\{\boldsymbol{\mu}_c^{(v)}\}_{c=1}^C\)，并通过余弦相似度与 Softmax 计算样本在各原型上的语义分配向量 \(\mathbf{q}_i^{(v)}\)。为了越过噪声样本建立双视图原型的语义对应关系，PLCI 利用实例可靠度 \(\gamma_i\) 加权构建跨视图原型共现矩阵：
将该共现矩阵经无穷范数归一化取负后作为代价矩阵 \(\mathbf{D}^{(a,b)} = -\mathbf{U}^{(a,b)} / \|\mathbf{U}^{(a,b)}\|_\infty\)，求解最优传输（Optimal Transport, OT）问题得到原型传输规划矩阵 \(\mathbf{R}^{(a \to b)}\)。从而将锚点视图样本的语义分布准确映射到目标视图原型空间：\(\mathbf{q}_i^{(a \to b)} = \mathbf{q}_i^{(a)} \mathbf{R}^{(a \to b)}\)，并形成加权语义对偶特征 \(\mathbf{s}_i^{(a \to b)} = \sum_{c=1}^C q_{ic}^{(a \to b)} \boldsymbol{\mu}_c^{(b)}\)。
3. 潜在对偶样本后验推断：自适应校准双重信息源
在获得实例可靠度与原型语义传输先验后，PLCI 将理想的目标视图对偶表征作为潜在变量，采用后验均值形式统一近似推断结果：
针对两类退化样本，自适应权重 \(\lambda_i\) 与基础候选表征 \(\tilde{\mathbf{z}}_i^{(b)}\) 采取互补的推断逻辑：对于完备但可能存在配对噪声的样本，目标视图观测特征可用（\(\tilde{\mathbf{z}}_i^{(b)} = \mathbf{z}_i^{(b)}\)），此时设置 \(\lambda_i = \gamma_i \langle \mathbf{q}_i^{(a \to b)}, \mathbf{q}_i^{(b)} \rangle\)，即同时兼顾实例对应可靠度与传输后原型分布的一致性，高度可靠样本以原始观测为主，不可靠噪声对则由语义原型先验进行强力校正；对于目标视图缺失的不完全样本，基础表征由跨视图生成器提供 \(\tilde{\mathbf{z}}_i^{(b)} = g^{(a \to b)}(\mathbf{z}_i^{(a)})\)，此时固定 \(\lambda_i = 1/2\)，促使生成特征与传输原型平权约束，防止跨视图映射网络在缺乏对齐监督时自由漂移。
损失函数 / 训练策略¶
模型联合优化完备样本对比损失与缺失样本语义分布正则项：
其中平衡因子固定为 \(\alpha = 0.2\)。针对完备样本，\(\mathcal{L}_{\text{NC}}\) 利用推断出的潜在对偶特征 \(\hat{\mathbf{z}}_i^{(b)}\) 替代原始噪声目标视图，执行跨视图对比学习 \(\mathcal{L}_{\text{NC}} = \sum \ell_{\text{con}}(f^{(a)}(\mathbf{x}_i^{(a)}), \hat{\mathbf{z}}_i^{(b)})\)；针对缺失视图样本，\(\mathcal{L}_{\text{IV}}\) 通过最小化 KL 散度约束推断特征的原型分布 \(\tilde{\mathbf{q}}_i^{(b)}\) 与传输原型分布 \(\mathbf{q}_i^{(a \to b)}\) 保持一致：
在实践中，KL 正则前对传输原型后验取 top-\(k\) 稀疏截断（\(k_{\text{top}}=3\)），温度系数 \(\tau_p=0.07\)。采用 Adam 优化器在 20 轮预热后共训练 200 个 epoch。
实验关键数据¶
主实验¶
论文在涵盖自然图像、卫星遥感、多语言新闻、网络视频和手写数字的 5 个基准数据集上，系统对比了 10 种前沿多视图聚类方法。表内对比指标包含聚类准确率（ACC）、标准化互信息（NMI）及调整兰德指数（ARI），不完全信息率（Imperfect Information Rate, IIR）从 0.2 递增至 0.8（IIR 为缺失视图比例与噪声对应比例的联合强度）。
| 数据集 | 指标 | IIR=0.2 (Ours / 次优) | IIR=0.5 (Ours / 次优) | IIR=0.8 (Ours / 次优) |
|---|---|---|---|---|
| Scene15 | ACC (%) | 46.17 / 45.52 (ROLL) | 42.17 / 39.85 (ROLL) | 37.78 / 29.24 (DIVIDE) |
| NMI (%) | 45.20 / 44.47 (ROLL) | 41.39 / 38.13 (CorreGen) | 36.71 / 31.41 (CorreGen) | |
| ARI (%) | 28.62 / 27.51 (ROLL) | 25.00 / 21.89 (ROLL) | 22.21 / 14.99 (CorreGen) | |
| LandUse21 | ACC (%) | 32.04 / 30.25 (CorreGen) | 30.09 / 27.27 (CorreGen) | 26.66 / 21.15 (CorreGen) |
| NMI (%) | 36.27 / 35.92 (CorreGen) | 34.58 / 30.02 (CorreGen) | 30.68 / 24.67 (CorreGen) | |
| ARI (%) | 17.58 / 16.70 (CorreGen) | 16.13 / 12.80 (CorreGen) | 11.68 / 8.58 (CorreGen) | |
| Reuters | ACC (%) | 54.58 / 52.47 (CANDY) | 49.80 / 51.45 (DIVIDE) | 40.72 / 43.02 (SURE*) |
| NMI (%) | 32.22 / 33.59 (CANDY) | 26.93 / 27.61 (SURE*) | 18.56 / 23.25 (SURE*) | |
| ARI (%) | 28.51 / 26.77 (CANDY) | 23.56 / 22.72 (DIVIDE) | 15.00 / 18.16 (SURE*) | |
| CCV20 | ACC (%) | 24.29 / 21.28 (CAMERA) | 22.97 / 19.11 (CorreGen) | 16.47 / 15.93 (CAMERA*) |
| NMI (%) | 19.94 / 17.52 (CorreGen) | 18.78 / 15.17 (SURE*) | 12.39 / 11.02 (CAMERA*) | |
| ARI (%) | 8.54 / 6.93 (CorreGen) | 8.06 / 5.52 (SURE*) | 4.35 / 3.82 (CAMERA*) | |
| HandWritten | ACC (%) | 90.97 / 89.56 (CorreGen) | 86.94 / 80.50 (CorreGen) | 72.54 / 52.98 (CANDY) |
| NMI (%) | 81.84 / 80.65 (CorreGen) | 76.08 / 68.49 (CorreGen) | 63.07 / 39.60 (CorreGen) | |
| ARI (%) | 81.24 / 78.66 (CorreGen) | 74.05 / 64.36 (CorreGen) | 57.13 / 29.48 (CANDY) | |
| 5数据集均值 | ACC (%) | 49.61 / 46.61 (DIVIDE) | 46.39 / 42.05 (CorreGen) | 38.83 / 28.91 (CAMERA) |
| NMI (%) | 43.09 / 39.73 (CorreGen) | 39.55 / 35.24 (CorreGen) | 32.28 / 24.40 (CorreGen) | |
| ARI (%) | 32.90 / 29.60 (DIVIDE) | 29.36 / 24.68 (CorreGen) | 22.07 / 12.57 (CorreGen) |
此外，在端到端原始像素与深度图输入的 SUN RGB-D 数据集上（ResNet-18 主干），在极端条件 IIR=0.8 下，PLCI 的 ACC/NMI/ARI 分别达到 28.12% / 24.55% / 12.46%，比次优方法 CorreGen 分别高出 4.19%、3.99% 和 2.07%，证实了算法在原始感知信号上的有效性。
消融实验¶
消融实验在 Scene15、LandUse21 和 CCV20 三个数据集上进行，系统检验针对噪声对应的原型引导对偶校正模块（\(\mathcal{L}_{\text{NC}}\)）与针对缺失视图的原型引导对偶替换与正则模块（\(\mathcal{L}_{\text{IV}}\)）的独立贡献：
| 配置 | Scene15 (IIR=0.5 / 0.8) ACC | LandUse21 (IIR=0.5 / 0.8) ACC | CCV20 (IIR=0.5 / 0.8) ACC | 说明 |
|---|---|---|---|---|
| Full PLCI (\(\mathcal{L}_{\text{NC}} + \mathcal{L}_{\text{IV}}\)) | 42.17 / 37.78 | 30.09 / 26.66 | 22.97 / 16.47 | 完整模型：双重潜在对偶协同推断 |
| w/o \(\mathcal{L}_{\text{IV}}\) (仅保留 \(\mathcal{L}_{\text{NC}}\)) | 32.99 / 28.80 | 24.17 / 20.38 | 19.11 / 14.31 | 去掉缺失端原型正则，直接应用基础推断 |
| w/o \(\mathcal{L}_{\text{NC}}\) (仅保留 \(\mathcal{L}_{\text{IV}}\)) | 31.57 / 24.40 | 23.75 / 20.34 | 15.47 / 12.45 | 去掉噪声对偶校正，完备样本直接对比学习 |
在次要分析中，论文还对比了朴素级联组合方案（先 DIVIDE 补全后 CorreGen 对齐的 D+C，以及反向的 C+D）。在 IIR=0.8 的严重退化下，Scene15 上 C+D 的 ACC 骤降至 30.47%，D+C 仅为 26.71%，而 PLCI 保持在 37.78%；在 HandWritten 上 PLCI 达到 72.54%，远超 C+D 的 49.03% 和 D+C 的 45.55%，证实了单阶段联合推断相比两阶段拼接在规避误差级联上的压倒性优势。
关键发现¶
- 极端噪声与缺失环境下优势急剧扩大：当退化等级从 IIR=0.2 提升至 IIR=0.8 时，已有基准（如 DIVIDE、CorreGen）平均 ACC 从 ~46% 断崖式跌落至 ~28%，而 PLCI 仍维持在 38.83%（平均领先次优达 9.92 个百分点），展现了极强的抗畸变韧性。
- 双模块缺一不可且协同互锁：消融实验显示，单独移除 \(\mathcal{L}_{\text{NC}}\) 或 \(\mathcal{L}_{\text{IV}}\) 都会导致 ACC 暴跌 9~13 个百分点。缺乏 \(\mathcal{L}_{\text{NC}}\) 会使传输原型被错误匹配污染，而缺乏 \(\mathcal{L}_{\text{IV}}\) 则无法为缺失视图提供结构约束。
- 原型级传输天然平滑局部对应错误：可视化与最近邻检索分析表明，直接依赖特征生成器会检索出同类但细节完全偏离甚至错误类别的样本，而通过最优传输对齐的原型后验特征始终能够稳定召回真实类别的对偶样本。
亮点与洞察¶
- 统一视角的理论抽象：跳出了“先补全还是先对齐”的两阶段思维定式，将缺失视图与噪声对应统一归结为潜在对偶样本不可得或不可信的同质推断问题，从根源上消除了两阶段流水线的误差级联。
- 实例可靠度与最优传输原型的有机嫁接：将 DNN 记忆效应产出的连续置信度无缝注入到跨视图原型共现矩阵中，使得最优传输代价矩阵天然具备抗噪先验，实现了小样本甚至带噪样本下宏观语义拓扑的精准传递。
- 通用即插即用的框架赋能性：PLCI 不仅自身性能优异，在以 Completer 为代表的经典多视图框架上叠加 PLCI 机制后，各 NCR 噪声扰动下的聚类精度均获得系统性跃升。
局限与展望¶
- 预设聚类簇数强依赖：原型构建过程依赖预设固定的语义簇数 \(C\) 并假设各视图间语义簇一一对应，在开放世界类别未知或存在视角独有簇（Category Shift）时可能失效。
- 最优传输求解的计算开销：批次级原型分配与 Sinkhorn / 最优传输优化增加了额外的计算步长，在大规模高维多视图流式数据中的轻量化部署仍有待探索。
- 理论扩展空间：当前仅验证于双视图配对与单对多对齐场景，未来可向多模态实体对齐、多源跨模态检索及异构自监督表示预训练等更广泛的任务迁移。
相关工作与启发¶
- vs DIVIDE (AAAI'24) / FreeCSL (CVPR'25)：传统 IV 方法专注于在假定样本对齐良好的前提下利用跨视图对比或生成器补全缺失特征；面对噪声对应时生成器会被严重带偏。PLCI 引入可靠度自适应权重与原型语义先验，杜绝了生成器单点漂移。
- vs CANDY (NeurIPS'24) / CorreGen (ICLR'26)：传统 NC 方法聚焦于剔除或重校正错误匹配，但普遍建立在样本全视图完备的假设上，无法直接利用缺失样本信息。PLCI 通过潜在变量建模同时吸纳并正则化完备与残缺样本。
- vs SURE (TPAMI'23) / CAMERA (TPAMI'26)：此类部分对齐视图方法（PVP）依赖训练集中已知存在部分纯净对齐子集作为锚点；PLCI 面对的是真实未知的不可靠信息，无需任何人工对齐先验即可自主完成可靠度辨识。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙地将缺失与配对错误统合为潜在变量后验推断，理论视角高度统一。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个不同模态基准、4 种 IIR 梯度、单边退化分析、原始数据实验及两阶段对比，论据极为扎实。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑链路严密通畅，问题阐述切中要害，数学推导清晰规范。
- 价值: ⭐⭐⭐⭐⭐ 为真实场景下嘈杂、缺失的多模态聚类分析提供了标准范式与开箱即用的鲁棒底座。