Straight-Path Flow Matching for Incomplete Multi-View Clustering¶
会议: ECCV 2026
论文: ECCV 原文
代码: CVF/ECCV 官方收录
领域: 图像生成
关键词: 不完整多视图聚类, 流匹配, 直线路径, 常微分方程传输, 跨视图补全
一句话总结¶
针对基于扩散模型的不完整多视图聚类因初始无类高斯噪声和随机去噪导致跨簇漂移与长路径冗余的问题，本文提出基于直线路径流匹配（Flow Matching）的确定性 ODE 跨视图补全框架，结合聚类级对比与熵加权单纯形对齐，在单步有限积分下实现了保持聚类可分离性的端到端视图补全与聚类。
研究背景与动机¶
不完整多视图聚类（Incomplete Multi-View Clustering, IMVC）旨在处理现实场景中因传感器故障、遮挡或存储损坏导致的样本模态/视图缺失问题，是多视图学习中兼具理论价值与应用挑战的关键分支。早期工作主要依托自编码器重构、矩阵分解或图协同过滤完成潜在空间对齐与插补；近期研究则迅速转向端到端生成式补全范式。其中，扩散模型因其强大的生成建模能力被引入缺失视图恢复，通过条件反向去噪过程从高斯噪声中恢复未观测视图。在端到端联合训练框架下，生成模块在聚类导向的监督下优化，生成轨迹直接决定了潜在表征的结构演化。
然而，扩散模型的生成机制建立在随机微分方程（SDE）驱动的“随机噪声到数据”轨迹之上，这一特性与聚类目标存在天然的结构性矛盾。首先，扩散过程强制以全局类无关的标准高斯噪声作为起点，生成路径必须完整经历“噪声空间 \(\to\) 表征空间 \(\to\) 簇特定分布”的漫长演化。即便观测视图与缺失视图在潜在空间中已高度对齐，扩散机制也无法利用跨视图先验缩短路径，造成传输冗余。更为致命的是，扩散模型中的聚类可分离性依赖极强的渐进条件，即只有在时间步趋近于零、噪声方差远小于簇间距（\(\sigma_t < \delta/2\)）的低噪区间，簇结构才得以清晰显现；而在有限步推理或中高噪声区间，各簇带噪分布的支集发生严重重叠，极易诱发跨簇漂移（cross-cluster drift）。
本文的切入视角是重新审视生成式 IMVC 中的概率路径设计：跨视图补全的本质不是从无到有的无约束生成，而是成对跨视图潜在表征之间的保结构传输。核心 idea：采用直线路径流匹配（Straight-Path Flow Matching）构建从观测视图到缺失视图的确定性 ODE 传输场，证明其具备自适应缩短的捷径路径与有限步聚类可分离性，并联合聚类对比与熵加权单纯形对齐实现端到端高质量聚类。
方法详解¶
整体框架¶
本文提出的端到端流匹配不完整多视图聚类框架主要由三个有机协同的部分组成：单视图自编码重构网络、直线路径流匹配补全模块、以及跨视图对齐模块（包含聚类级对比对齐与熵加权单纯形对齐）。输入为双视图数据（可能缺失某一视图），首先经由视图专属编码器映射到紧凑潜在空间；当出现视图缺失时，流匹配网络通过求解确定性常微分方程（ODE），沿连接两视图的欧氏直线捷径将观测潜在表征精确传输至缺失视图；随后将真实及补全表征送入聚类头与融合头，联合计算聚类对比损失与概率单纯形熵对齐损失，在单步集成（Step = 1）下实现稳健高效的双向视图补全与一致性聚类。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["双视图输入 X1, X2<br/>(含缺失掩码)"] --> B["视图自编码器<br/>提取潜在表征 Z1, Z2"]
B --> C["直线路径流匹配补全<br/>确定性ODE向量场传输"]
C --> D["双向补全一致性约束<br/>有限步端点积分校准"]
D --> E["特征融合与聚类头<br/>预测概率 Y1, Y2, Yh"]
E --> F["跨视图多重对齐<br/>聚类对比与单纯形熵对齐"]
F --> G["聚类输出与完整表征"]关键设计¶
1. 直线路径流匹配补全：以确定性 ODE 替代随机噪声退化 针对扩散模型盲目从高斯噪声出发、路径冗余且破坏潜在流形先验的缺陷，本文设计了基于流匹配的确定性 ODE 跨视图传输机制。给定两视图潜在表征对 \((z_1, z_2)\)，构造连接二者的线性插值路径 \(x_t = (1-t)z_1 + t z_2\)（时间步 \(t \in [0, 1]\)），其目标速度场直接对应欧氏空间中的最短位移向量： $\(v_{\text{target}}(x_t, t) = \frac{d x_t}{dt} = z_2 - z_1\)$ 神经网络向量场 \(\mathcal{F}(x_t, t)\) 通过最小化均方误差损失拟合该目标： $\(\mathcal{L}_{\text{flow-pred}} = \mathbb{E}_{t \sim \mathcal{U}(0,1), (z_1, z_2)}\left[\|\mathcal{F}(x_t, t) - (z_2 - z_1)\|^2\right]\)$ 该设计带来了两大核心理论红利（推论 1 与推论 2）：一是捷径路径优势，路径长度直接由 \(\|z_2 - z_1\|\) 决定，随着网络训练使得两视图在潜在空间中对齐聚拢，传输路径长度自适应缩短趋近于零；二是任意有限步下的严格聚类可分离性，由于确定性轨迹严格受限于数据流形内部且不引入随机高斯扩散，轨迹间在有限步演化中互不相交，从根本上消除了扩散模型因高斯噪声混叠导致的跨簇漂移。
2. 双向补全一致性约束：利用可逆性约束有限步积分端点 尽管速度场在连续时间下定义了理想的直线路径，但在实际推理时受限于有限数值积分步数，累积离散化误差可能使终点偏离目标流形。利用流匹配 ODE 固有的确定性可逆特性，前向系统（\(t: 0 \to 1\) 从 \(z_1\) 生成 \(\hat{z}_2\)）的反向速度场恰为 \(-v_{\theta}\)。反向演化（\(s = 1 - t\) 从 \(z_2\) 回溯 \(\hat{z}_1\)）满足： $\(\hat{z}_2 = z_1 + \int_0^1 \mathcal{F}(x_t, t)\,dt, \quad \hat{z}_1 = z_2 + \int_0^1 -\mathcal{F}(x_{1-t}, 1-t)\,ds\)$ 本文由此引入双向补全一致性损失，在两端直接施加端点回归惩罚： $\(\mathcal{L}_{\text{flow-comp}} = \mathbb{E}\left[\|\hat{z}_2 - z_2\|^2 + \|\hat{z}_1 - z_1\|^2\right]\)$ 该约束不仅仅需训练单一方向的速度场即可天然实现双向补全（无需像扩散模型那样训练两个独立的反向去噪网络），更在有限积分步数下紧紧针定轨迹终点，确保单步欧拉积分（Step = 1）即可达到高精度补全。
3. 聚类级对比与熵加权单纯形对齐：端到端协同簇内聚合与置信度校准 为了在视图补全的同时强化判别性聚类边界，模型在预测空间部署了互补的双层对齐策略。首先，引入聚类级 InfoNCE 对比损失 \(\mathcal{L}_{\text{cluster}}\)，对由 \(z_1\) 和 \(z_2\) 导出的类别概率向量 \(y_1, y_2 \in \mathbb{R}^K\) 施加样本维度的余弦相似度约束： $\(\mathcal{L}_{\text{cluster}} = -\frac{1}{N}\sum_{i=1}^N \log \frac{\exp(\cos(y_1^{(i)}, y_2^{(i)})/\tau)}{\sum_{j=1}^N \exp(\cos(y_1^{(i)}, y_2^{(j)})/\tau)}\)$ 其次，针对直接在欧氏空间融合概率分布会扭曲单纯形几何结构且平滑高置信度预测的问题，模型采用中心化对数比（Centered Log-Ratio, CLR）变换将概率分布投射至无约束实空间，依据各视图预测分布的信息熵赋予高置信度分支更大权重，融合计算出目标分布 \(y^*\)，并通过 KL 散度约束融合表示预测 \(y_h\)： $\(\mathcal{L}_{\text{entropy}} = \mathrm{KL}(y_h \parallel y^*)\)$ 这一设计抑制了不确定性视图对聚类决策的干扰，稳固了概率单纯形几何流形，反过来为流匹配提供了满足簇分离假设的高质量潜在表征。
损失函数 / 训练策略¶
模型的全框架端到端联合训练目标由自编码重构损失、流匹配损失与跨视图对齐损失加权组合而成： $\(\mathcal{L} = \mathcal{L}_{\text{rec}} + \lambda_1 \mathcal{L}_{\text{flow-pred}} + \lambda_2 \mathcal{L}_{\text{flow-comp}} + \lambda_3 \mathcal{L}_{\text{cluster}} + \lambda_4 \mathcal{L}_{\text{entropy}}\)$ 其中 \(\mathcal{L}_{\text{rec}} = \frac{1}{N}\sum_{i=1}^N \left(\|\mathcal{D}_1(\mathcal{E}_1(x_1^{(i)})) - x_1^{(i)}\|^2 + \|\mathcal{D}_2(\mathcal{E}_2(x_2^{(i)})) - x_2^{(i)}\|^2\right)\) 保留各视图底层结构信息。训练采用 Adam 优化器，学习率初始设为 \(1 \times 10^{-3}\)，训练 200 个 epoch，批次大小设为 128 或 256。尤其值得注意的是，流匹配在训练与推理过程中均采用高效的单步积分设定（Step = 1），在极小计算开销下即可完成 ODE 轨迹求解。
实验关键数据¶
主实验¶
论文在五个标准公开基准上与包括扩散模型 SOTA（DCG）、对比学习（ProImp, DCP）及生成模型在内的多类代表性方法进行了系统比较，覆盖缺失率 \(\tau \in \{0.1, 0.3, 0.5\}\)，核心评价指标为聚类准确率（ACC）、归一化互信息（NMI）及调整兰德指数（ARI）。
| 数据集 | 缺失率 \(\tau\) | 指标 | 本文方法 (Ours) | 次优基准 / 前SOTA (DCG [53]) | 相对/绝对增益 |
|---|---|---|---|---|---|
| Synthetic3D | 0.1 | ACC / NMI / ARI (%) | 94.17 / 78.66 / 83.51 | 91.23 / 71.35 / 76.05 | +2.94 / +7.31 / +7.46 |
| Synthetic3D | 0.3 | ACC / NMI / ARI (%) | 91.17 / 69.56 / 75.56 | 88.00 / 64.11 / 68.48 | +3.17 / +5.45 / +7.08 |
| Synthetic3D | 0.5 | ACC / NMI / ARI (%) | 88.17 / 63.78 / 68.26 | 87.67 / 63.23 / 67.52 | +0.50 / +0.55 / +0.74 |
| CUB | 0.1 | ACC / NMI / ARI (%) | 86.00 / 78.19 / 72.28 | 82.23 / 77.70 / 69.21 | +3.77 / +0.49 / +3.07 |
| CUB | 0.3 | ACC / NMI / ARI (%) | 82.67 / 72.80 / 66.31 | 77.17 / 71.35 / 59.85 | +5.50 / +1.45 / +6.46 |
| CUB | 0.5 | ACC / NMI / ARI (%) | 80.50 / 71.74 / 63.15 | 75.50 / 72.21 / 59.12 | +5.00 / -0.47 / +4.03 |
| HandWritten | 0.1 | ACC / NMI / ARI (%) | 85.30 / 82.78 / 76.72 | 82.75 / 82.63 / 74.88 | +2.55 / +0.15 / +1.84 |
| HandWritten | 0.3 | ACC / NMI / ARI (%) | 86.50 / 82.09 / 77.04 | 82.70 / 80.54 / 73.96 | +3.80 / +1.55 / +3.08 |
| HandWritten | 0.5 | ACC / NMI / ARI (%) | 83.40 / 76.26 / 70.76 | 80.80 / 76.21 / 70.45 | +2.60 / +0.05 / +0.31 |
| LandUse-21 | 0.1 | ACC / NMI / ARI (%) | 29.10 / 31.95 / 15.15 | 27.52 / 31.36 / 14.57 | +1.58 / +0.59 / +0.58 |
| LandUse-21 | 0.3 | ACC / NMI / ARI (%) | 28.19 / 31.71 / 14.55 | 27.33 / 32.09 / 14.47 | +0.86 / -0.38 / +0.08 |
| Fashion | 0.1 | ACC / NMI / ARI (%) | 96.07 / 91.99 / 91.78 | 95.83 / 91.29 / 91.19 | +0.24 / +0.70 / +0.59 |
| Fashion | 0.3 | ACC / NMI / ARI (%) | 93.66 / 87.93 / 87.07 | 93.13 / 86.99 / 86.00 | +0.53 / +0.94 / +1.07 |
| Fashion | 0.5 | ACC / NMI / ARI (%) | 90.09 / 82.83 / 80.58 | 90.04 / 82.25 / 79.99 | +0.05 / +0.58 / +0.59 |
消融实验¶
在 HandWritten 数据集（缺失率 \(\tau = 0.3\)）上对各损失构件进行剥离消融验证（所有变体均保留重构损失 \(\mathcal{L}_{\text{rec}}\)）：
| 变体配置 | \(\mathcal{L}_{\text{flow-pred}}\) | \(\mathcal{L}_{\text{flow-comp}}\) | \(\mathcal{L}_{\text{cluster}}\) | \(\mathcal{L}_{\text{entropy}}\) | ACC (%) | NMI (%) | ARI (%) | 说明与影响 |
|---|---|---|---|---|---|---|---|---|
| (w/o) \(\mathcal{L}_{\text{flow-pred}}\) | ✗ | ✓ | ✓ | ✓ | 73.95 | 70.92 | 61.42 | 移除速度场预测监督，ACC 显著下降 12.55% |
| (w/o) \(\mathcal{L}_{\text{flow-comp}}\) | ✓ | ✗ | ✓ | ✓ | 76.15 | 71.86 | 63.38 | 缺乏端点积分一致性约束，ACC 下降 10.35% |
| (w/o) 流匹配两项 | ✗ | ✗ | ✓ | ✓ | 77.35 | 71.89 | 64.16 | 退化为纯对齐网络，无法有效进行跨视图插补 |
| (w/o) \(\mathcal{L}_{\text{cluster}}\) | ✓ | ✗ (应为✓) | ✗ | ✓ | 27.75 | 37.13 | 20.05 | 缺失聚类级监督导致潜在表征坍缩，ACC 暴跌 58.75% |
| (w/o) \(\mathcal{L}_{\text{entropy}}\) | ✓ | ✓ | ✓ | ✗ | 77.20 | 71.79 | 66.69 | 去除单纯形熵加权对齐，ACC 显著下降 9.30% |
| (w/o) 两项对齐 | ✓ | ✓ | ✗ | ✗ | 28.70 | 17.67 | 7.75 | 失去所有显式聚类对齐约束，模型基本无法收敛 |
| Full model (完整模型) | ✓ | ✓ | ✓ | ✓ | 86.50 | 82.09 | 77.04 | 各模块协同达到最佳聚类性能 |
关键发现¶
- 聚类对齐是表征基石：消融数据显示，\(\mathcal{L}_{\text{cluster}}\) 扮演着决定性角色（移除后 ACC 从 86.50% 骤降至 27.75%）。这直接印证了理论前提：必须先建立跨视图类可分离流形，流匹配才能在其上有效拟合簇内传输；若缺乏类可分离性，生成路径将无所适从。
- 流匹配补全显著优于纯对齐基线：当同时移除流匹配预测与补全损失后，模型退化为纯对齐模型，ACC 为 77.35%；重新引入流匹配直线传输后指标大幅跃升至 86.50%（提升 9.15%），充分证明了利用确定性 ODE 精确填补缺失潜在特征对下游聚类的关键赋能作用。
- 有限积分步数不敏感性验证理论推论：在流步数（Flow Steps）敏感性分析中，步数从 1 增加至 5、10、25 时，聚类精度基本保持恒定水准。这一现象高度呼应了推论 2——直线路径的解析确定性使得单步欧拉更新（Step = 1）即足以保持簇分离性，不仅免除了昂贵的多步数值积分，更消除了推理开销。
亮点与洞察¶
- 确定性传输破除扩散模型随机漂移痼疾：精准指出了现有扩散生成式 IMVC 的理论硬伤——高斯噪声初始化的类不可知性与有限步去噪中的跨簇重叠。改用直线流匹配从观测点直达目标，以极简欧氏直线构造了自适应变短的捷径。
- 单向参数化兼得双向无损可逆传输：巧妙利用常微分方程的反向速度对称性，仅训练一个速度网络即完成了 \(1 \to 2\) 与 \(2 \to 1\) 的成对补全，比需要分别训练两个独立扩散模型的传统方案精简了 50% 的生成网络参数。
- 概率单纯形上的 CLR 熵加权对齐机制：跳出常规欧氏距离计算概率偏差的局限，采用中心化对数比保持单纯形几何结构，并用信息熵作为自然置信度加权，这一策略可直接复用于通用半监督学习、跨模态蒸馏及带噪多模态融合任务。
局限与展望¶
- 理论依赖完全对齐样本构建插值对：流匹配的监督依赖成对完备样本 \((z_1, z_2)\) 来计算目标速度 \(z_2 - z_1\)。在实际极度缺失（如缺失率 \(\tau \ge 0.7\) 或几乎无完全成对样本）的极端场景下，配对训练样本数量急剧缩水，可能影响速度场的泛化精度。
- 双视图扩展至多视图机制待探索：本文主要基于两视图场景展开推导与实验，对于 \(V > 2\) 的任意不完整视图图谱，如何构建中心星型或全连通的多向流匹配传输路径仍需进一步研究。
- 未来方向：探索无配对无监督流匹配（如借助最优传输 OT 耦合或生成式流流耦合），以及将离散时间步扩展至基于神经常微分方程（Neural ODE）的自适应步长多模态融合模型。
相关工作与启发¶
- vs 扩散生成聚类 (DCG [53] / Wen et al. [40]): DCG 等方法以各向同性高斯噪声 \(z_0 \sim \mathcal{N}(0, I)\) 起始，通过多步随机去噪积分恢复特征，计算耗时且在有限步下去噪方差 \(\sigma_t\) 无法满足严格分离约束，极易引起跨簇漂移；本文以观测表征为确定性起点构建直线向量场，单步即可完成保簇传输，计算开销与聚类精度全面占优。
- vs 对比补全模型 (Completer [21] / ProImp [17] / DCP [20]): 对比类方法侧重在表征空间拉近不同视图距离或利用原型插补，缺少显式的连续概率传输流形建模；本文将几何插值与确定性动力学融入生成补全，提供了更坚实的流形几何与收敛性保障。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 深入剖析了扩散模型在不完整聚类任务中的内在理论缺陷，首次将直线路径流匹配引入 IMVC，理论视角新颖严密。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 个标准多模态数据集、3 档缺失率、详尽的各模块消融、超参敏感性及流步数鲁棒性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰（给出了完备的前提假设与推论证明），图表规范精美，逻辑链条闭环。
- 价值: ⭐⭐⭐⭐☆ 为缺失模态表征恢复提供了轻量高效的确定性新范式，摆脱了扩散模型的沉重去噪负担。