Unpaired Canonical Correlation Analysis¶

会议: NeurIPS 2026
arXiv: 2610.09530
论文: https://arxiv.org/abs/2610.09530
代码: https://github.com/shaham-lab/UCCA
领域: 优化/理论
关键词: 典型相关分析, 无配对多视图学习, 二次分配问题, 弱控制论, 流形对齐

一句话总结¶

针对跨视图数据缺乏样本级配对这一统计多视图表征学习瓶颈，本文建立无配对典型相关分析（UCCA）理论，证明白化核二次分配问题（QAP）等价于最大相关性配对松弛，并提出基于聚类锚点与 QAP 求解器的实用无配对线性投影算法，显著逼近配对 CCA 的性能上限。

研究背景与动机¶

典型相关分析（Canonical Correlation Analysis, CCA）是多视图共享表征学习最经典的统计基石之一，广泛应用于多模态表征对齐、多组学数据整合以及神经影像跨模态分析等关键任务。传统 CCA 及其核化、深度非线性扩展的有效性严格建立在样本级严格配对（paired correspondence）的前提上。然而在生物单细胞多组学检测、跨机构非同步临床记录或异构多模态感知场景中，采集精确对应的成对样本代价极其高昂，甚至在物理上不可行，这导致经典多视图统计分析方法无法直接应用于海量独立无配对观测数据。

现有无配对跨模态对齐研究大多依赖辅助对齐信号。例如，弱监督方法需要少量精确配对样本作为引导锚点，语义监督方法依赖跨模态共享类别标签，而领域自适应与无监督域翻译技术（如 Optimal Transport、CycleGAN 等）主要关注边缘分布重叠或特定域图像翻译，缺乏对“最大化底层真实配对潜在相关性”这一核心统计目标的显式刻画；近期尝试提取无配对多模态共享成分的线性基线（如 SCA）在理论上并未直接建模多视图相关性。核心矛盾在于：在训练阶段样本对应置换完全未知的前提下，既要搜索两组模态正交投影矩阵，又要从排列爆炸的离散置换群中恢复最大相关性配对，两者耦合导致严重的非凸组合优化困难；若仅通过单纯坐标旋转或直接相关性匹配，对视图间的任意正交旋转极度敏感，极易陷入局部退化解。

本文另辟蹊径，从谱理论与组合优化交汇处审视该问题。核心 idea：通过将正交投影约束松弛至缩放 Frobenius 球面，证明该松弛下的最大相关性配对在数学上严格等价于核二次分配问题（QAP），并证明在奇异值弱控制（weak majorization）条件下该松弛解与正交群全局最优解完全重合，进而利用 K-Means 几何锚点解耦大规模组合搜索，仅凭无配对数据即可恢复底层真实配对的最大相关投影。

方法详解¶

整体框架¶

UCCA 的核心流程旨在从无配对的两个数据集 $X \in \mathbb{R}^{n_1 \times d_1}$ 和 $Y \in \mathbb{R}^{n_2 \times d_2}$ 中学习两组线性投影矩阵 $U \in \mathbb{R}^{d_1 \times k}$ 与 $V \in \mathbb{R}^{d_2 \times k}$，最大化两模态隐藏真实配对下的总相关性（Total Correlation）。整个流水线包含四个主要阶段：独立降维白化预处理、无监督几何骨架锚点抽取、基于 QAP 近似求解器的结构对齐与置换恢复、以及拼接伪配对锚点上的闭式 CCA 投影求解。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：无配对数据源<br/>模态视图 X 与 Y"] --> S1["独立主成分降维与经验白化<br/>构建白化空间特征矩阵"]
    S1 --> S2["几何骨架锚点抽取<br/>模态内部 K-Means 聚类质心"]
    S2 --> S3["QAP 最大相关配对求解<br/>线性核相似度矩阵匹配与置换估计"]
    S3 --> S4["多轮试验锚点拼接与闭式 CCA<br/>输出投影矩阵 U 与 V"]
    S4 --> Out["跨视图共享低维空间嵌入与下游任务"]

关键设计¶

1. 最大相关配对与正交旋转不变性代理：消除未对齐坐标系偏差

单纯在置换矩阵集合 $\mathcal{P} = \{P \in \{0,1\}^{n \times n} : P^T \mathbf{1} = P \mathbf{1} = \mathbf{1}\}$ 上直接最大化总相关性 $\text{TC}(X, PY) = \text{tr}(X^T PY)$（即标准 MCP）存在致命缺陷：它对模态间的输入坐标系旋转高度敏感，若两视图未预先对齐，极易得到崩溃的错位映射。为此，作者将配对搜索与正交变换族解耦，提出正交群约束下的最大相关配对 $\text{MCP}_{O(d)}$： $$P_O = \arg\max_{P \in \mathcal{P}} \max_{A, B \in O(d)} \text{tr}(A^T X^T P Y B) = \arg\max_{P \in \mathcal{P}} \|X^T P Y\|_* = \arg\max_{P \in \mathcal{P}} \sum_{i=1}^d \sigma_i(X^T P Y)$$ 通过引入 Von Neumann 迹不等式，投影矩阵被隐式吸收到核范数（即奇异值求和）中，从而将联合搜索正交变换与离散置换的问题彻底简化为仅在置换空间 $\mathcal{P}$ 内最大化交互交叉协方差矩阵奇异值总和，具备对输入正交变换的内生不变性。

2. 从正交群到 Frobenius 球面松弛：建立与二次分配问题（QAP）的精确等价

尽管核范数目标摆脱了显式连续正交参数，但在 $n!$ 规模的离散群上直接优化非光滑核范数依旧极难直接求解。作者将正交变换集合 $O(d)$ 松弛为其超集——缩放 Frobenius 球面 $\sqrt{d} S_F$（其中 $S_F = \{S \in \mathbb{R}^{d \times d} : \|S\|_F = 1\}$）。在柯西-施瓦茨不等式作用下，该松弛目标转化为最大化交叉协方差矩阵的 Frobenius 范数平方： $$\text{MCP}_{S_F}(X,Y) = \arg\max_{P \in \mathcal{P}} \|X^T P Y\|_F^2 = \arg\max_{P \in \mathcal{P}} \text{tr}(X X^T P Y Y^T P^T) = \text{QAP}(X X^T, Y Y^T)$$ 这一结论在数学上严格证明了无配对相关性最大化松弛等价于经典的 Koopmans-Beckmann 形式 QAP，其中两模态样本的 Gram 矩阵 $K_X = X X^T$ 和 $K_Y = Y Y^T$ 分别构成拓扑流动与距离交互核。

3. 奇异值弱控制理论桥梁：证明松弛解与正交全局解的严密一致性

松弛后的 QAP 解 $\text{MCP}_{S_F}$ 与原正交最优配对 $\text{MCP}_{O(d)}$ 是否一致是理论能否立足的关键。作者引入控制论（Majorization Theory），提出了弱控制假设（Assumption 1）：最优配对 $P_O$ 下交叉相关矩阵的奇异值向量在所有前 $m$ 个分量累加和上均弱控制任意非最优置换 $P$ 的谱（$\sum_{i=1}^m \sigma_i(M_{P_O}) \geq \sum_{i=1}^m \sigma_i(M_P), \forall m \leq d$）。论文从理论上严格证明了：（1）当 $Y$ 是 $X$ 的等距变换时该假设严格成立；（2）当样本量 $n \to \infty$ 时，对于均匀随机置换，弱控制以概率 $1 - \mathcal{O}(d / \log n) \to 1$ 渐进成立。基于凸函数与 Schur 凸性定理，论文正式确立定理 2：在弱控制条件下，Frobenius 松弛解与正交最优解完全一致，即 $\text{MCP}_{O(d)}(X,Y) = \text{MCP}_{S_F}(X,Y)$，为使用高效 QAP 近似求解器恢复真配对提供了严谨的数学保证。

4. 质心几何锚点化与多轮扰动集成：降解样本规模复杂度的工程实践

虽然 QAP 属于 NP-hard 问题，但本文通过构建流形几何骨架巧妙化解了计算瓶颈。UCCA 不直接在全体 $n$ 个样本上构建 $n \times n$ 核矩阵，而是在各个白化模态内部独立运行 K-Means 聚类，各抽取 $k$ 个聚类质心（通常 $k \approx 20 \ll n$）作为代表性锚点 $A_X, A_Y \in \mathbb{R}^{k \times d}$。随后仅需在低阶核 $A_X A_X^T$ 与 $A_Y A_Y^T$ 之间运行带多轮随机重启的 2-Opt 局部搜索算法解出最优锚点置换 $P'$。为了避免单次聚类初值偏差引入的对齐方差，UCCA 独立重复 $N_{\text{trials}} = 500$ 轮聚类与 QAP 匹配，将获得的所有伪配对锚点在行维度拼接，并在其上执行经典成对 CCA 求解最终线性投影，将全流程时间复杂度降低为关于样本量 $n$ 的线性复杂度 $\mathcal{O}(n d^2 + c t n k d + c I k^3 + c k d^2 + d^3)$。

损失函数 / 训练策略¶

UCCA 采用两阶段非凸/凸组合优化策略： 1. 预处理与锚点抽取：对两视图原始特征进行独立均值中心化并运用 PCA 降维至 $d_{\text{pca}} = 10$，完成样本经验协方差白化；随后在降维特征空间独立执行 $k$ 质心 K-Means 聚类。 2. QAP 离散组合对齐：针对锚点线性 Gram 核 $K_X = A_X A_X^T$ 与 $K_Y = A_Y A_Y^T$，使用 2-Opt 启发式算法搜索排列 $P'$，配合 $N_{\text{restart}} = 50$ 次随机重启选择使得迹目标 $\text{tr}(K_X P K_Y P^T)$ 最大的排列。 3. 闭式投影求解：将 $N_{\text{trials}}$ 轮抽取的伪配对拼接为规模为 $(c \cdot k) \times d$ 的矩阵 $\tilde{A}_X, \tilde{A}_Y$，直接通过奇异值分解（SVD）闭式计算标准 CCA 正交基 $U, V$。

实验关键数据¶

主实验¶

论文在四类跨模态基准（共 6 个配置）上进行了严格评测：单细胞多组学数据 SNARE（染色质可及性与基因表达）、图像-文本基准 Flickr 与 COCO、以及包含三视图特征（剖面相关 PC、KL 系数、像素均值 PA）的手写数字识别数据集。训练阶段将各数据集样本对半划分至两个互斥子集，彻底剔除任何成对监督。

下表给出了各方法在六个配置下提取前两个典型成分所恢复的真实底层配对总相关性（Total Correlation, TC，理论上限为 Paired CCA）：

数据集 / 视图配置	指标 (TC)	UCCA (本文)	强基线 1 (UCA)	强基线 2 (SCOTv1-CCA)	强基线 3 (SCA)	配对上限 (Paired CCA)
Handwritten PC-KL	总体相关性 ↑	1.239 ± 0.442	-0.101 ± 0.383	-0.136 ± 0.000	-0.093 ± 0.126	1.979
Handwritten PC-PA	总体相关性 ↑	1.417 ± 0.029	-0.282 ± 0.296	0.042 ± 0.000	0.024 ± 0.123	1.993
Handwritten KL-PA	总体相关性 ↑	1.957 ± 0.012	0.493 ± 0.741	0.259 ± 0.000	0.045 ± 0.113	1.990
SNARE (单细胞)	总体相关性 ↑	1.755 ± 0.031	0.883 ± 0.795	0.970 ± 0.000	0.144 ± 0.814	1.850
Flickr (图文对齐)	总体相关性 ↑	0.751 ± 0.086	-0.081 ± 0.468	0.026 ± 0.068	-0.018 ± 0.078	1.574
COCO (图文对齐)	总体相关性 ↑	1.371 ± 0.063	0.173 ± 0.460	0.132 ± 0.000	-0.010 ± 0.096	1.768

在下游跨视图分类任务（在一种视图特征上训练 kNN 分类器，在另一无配对视图表征上评测跨模态预测精度）中，UCCA 同样大幅领跑：

评测数据集	指标 (kNN Acc)	UCCA (本文)	次优基线	提升幅度	配对上限 (Paired CCA)
Handwritten PC-KL	跨视图分类准确率 ↑	0.292 ± 0.074	0.148 (SCOTv2-CCA)	+0.144 (+97.3%)	0.562
Handwritten PC-PA	跨视图分类准确率 ↑	0.315 ± 0.025	0.121 (SCOTv1-CCA)	+0.194 (+160.3%)	0.516
Handwritten KL-PA	跨视图分类准确率 ↑	0.564 ± 0.022	0.211 (J-MDS-CCA)	+0.353 (+167.3%)	0.629
SNARE (4类细胞)	跨视图分类准确率 ↑	0.849 ± 0.021	0.650 (SCOTv1-CCA)	+0.199 (+30.6%)	0.887
COCO (类别预测)	跨视图分类准确率 ↑	0.232 ± 0.016	0.237 (J-MDS-CCA)	-0.005 (基本持平)	0.232

消融与理论验证实验¶

论文对优化机制、锚点选择以及直接交替优化开展了详尽消融（以 Handwritten PC-PA 和 COCO 为例）：

实验对比项 / 机制	配置细节	PC-PA 真实相关性 (TC)	COCO 真实相关性 (TC)	结论说明
直接交替优化 (EM/ACCA)	ACCA [12] (CCA与分配交替)	0.035 ± 0.171	0.057 ± 0.109	目标极易陷入不良鞍点
直接交替优化 (EM/ACCA)	UCCA (EM交替Hungarian)	0.826 ± 0.602	0.420 ± 0.357	方差极大，远逊于 QAP 凸凹界
UCCA 本文方案	QAP 2-Opt (K-Means 质心)	1.417 ± 0.029	1.371 ± 0.063	优化曲面平滑，收敛极其稳健
锚点采样策略消融	随机采样 (Random Anchors)	0.781 ± 0.464	0.284 ± 0.321	缺乏流形几何骨架代表性
锚点采样策略消融	高斯混合模型 (GMM 锚点)	1.340 ± 0.074	1.528 ± 0.061	性能与 K-Means 相当，验证通用性
理论验证：松弛解距离	Kendall Tau 距离 ($\text{MCP}_{S_F}$ vs $\text{MCP}_{O(d)}$)	严格集中于 0	严格集中于 0	经验证实定理 2 的精确等价

关键发现¶

相关性捕获唯一有效性：现有无监督流形对齐或基于最优传输的基线（如 SCOT、J-MDS）无法在无配对情形下学习出保相关的线性子空间，相关性多接近于零甚至为负；UCCA 是目前唯一能在完全无成对监督下逼近配对 CCA 上限的方法。
全局几何聚类容忍微观方差：可视化分析（SNARE 等）表明，配对 CCA 强制点对点重叠，而 UCCA 在无配对监督下虽对单个样本存在轻微扰动（略微牺牲 TC），但全局类别流形对齐极其严密，因而在下游分类准确率上几乎完全逼近有监督 Paired CCA（如 SNARE 达到 0.849 vs 0.887）。
数据规模即对齐信号：在不同数据不平衡度与样本规模消融中，UCCA 的对齐质量与无配对样本量呈单调递增，证明足够丰富的无配对几何分布本身即可提供完备的跨模态几何对齐信号。

亮点与洞察¶

跨越领域的数学等价转化：将经典多元统计分析中的正交 CCA 配对问题，通过迹算子循环不变性与 Frobenius 范数松弛，精准转化为运筹学中经典的核二次分配问题（QAP），打通了多视图统计分析与图匹配组合优化之间的理论阻隔。
严谨完备的弱控制理论证明：不仅利用柯西-施瓦茨完成了形式上的范数松弛，更从谱衰减特性出发，引入 Majorization 理论证明了高维随机扰动下弱控制以概率 1 渐进成立，彻底打消了松弛导致虚假对齐解的理论疑虑。
极简且具高扩展性的工业落地设计：避开了繁杂的端到端神经网络对抗对抗训练或极易崩溃的 EM 交替求解，将算法抽象为“K-Means 锚点抽离 + SciPy 2-Opt 启发式匹配 + 闭式 SVD”，几分钟内即可在单 CPU 上完成数万级数据的对齐，具备极强的工程复用价值。

局限与展望¶

与成对上限的理论残余差距：作者指出尽管 UCCA 在无配对设定下取得了断层式领先，但在部分极高维复杂模态（如 Flickr 图像-文本对齐）中，由于特征正交白化带来的谱信息损失，与真实成对 CCA 仍存在可见差距。
局限于双视图线性假定：当前理论框架与 QAP 对应严格建立在双视图线性映射与正交投影下；现实中三模态及以上场景、以及深层非线性神经网络特征抽取器的端到端联合训练仍待拓展。
潜在改进方向：可进一步探索结合 Gromov-Wasserstein 连续松弛优化替代离散 2-Opt 启发式搜索，并将时间序列因果约束或多视图高阶张量匹配融入 UCCA 范式。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立无配对 CCA 与二次分配问题（QAP）的精确理论映射，填补了多视图表征学习几十年的理论空白。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成数据排列暴力枚举、奇异值弱控制理论经验证、6 组真实跨模态评测、直接 EM 消融及运行效率分析。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严谨精炼，背景叙述与动机承接自然，理论与算法流程层层递进。
价值: ⭐⭐⭐⭐⭐ 为无配对单细胞组学、多模态无监督预训练及跨域特征迁移提供了极具实用价值的统计学新工具。