RankAlign: Vision-Language Representation Alignment via Rank Transformation¶

会议: NeurIPS 2026
arXiv: 2610.31145
论文: https://arxiv.org/abs/2610.31145
代码: https://marcofiorucci.github.io/rankalign/
领域: 多模态VLM
关键词: 跨模态无监督对齐、柏拉图表征假说、秩变换、二次分配问题、序数关系表征

一句话总结¶

针对独立训练视觉与语言编码器之间无跨模态监督的类别级未配对匹配难题，RankAlign 提出一种即插即用的秩变换规整化策略，将模态内相似度核转化为单调重参数化不变的序数关系表征，在无需任何锚点与监督的前提下大幅提升置换匹配精度与鲁棒性。

研究背景与动机¶

柏拉图表征假说（Platonic Representation Hypothesis）指出，随着模型规模和数据多样性的提升，独立训练的各种神经网络会自然收敛向反映现实统计规律的兼容潜在几何空间。在多模态领域，独立预训练的纯视觉编码器（如 DINO、DeiT）和语言模型（如 Sentence-BERT）往往能学到高度相似的语义拓扑结构。然而，在完全没有图文配对样本、跨模态锚点或人工对应关系的无监督类别级（class-level unpaired）设定下，如何仅凭模态内的类别关系几何把两个独立的嵌入空间精确对齐，仍是一个极具挑战性的开放问题。

现有的关系盲匹配（Blind Matching）方法通常将跨模态对齐建模为图匹配或二次分配问题（QAP），例如基于 Gromov-Wasserstein（GW）最优传输的方法。这些方法虽然在成对相似度核（similarity kernels）的层次上展开比对，但在本质上仍然直接计算和比较核矩阵中的原始数值大小。由于异构模态各自的数值缩放、方差乃至特定的非线性响应差异，即使视觉与文本编码器对概念之间相似度的相对强弱顺序达成共识，其在核矩阵中分配的具体数值也往往存在不可比的尺度扭曲。这种数值层面的失真严重削弱了目标函数的判别力，导致传统的基于数值的匹配算法在类别规模扩大或面临噪声时迅速失效。

本文的切入角度在于：跨模态语义的一致性主要蕴含于概念关系的相对次序（序数拓扑），而非绝对数值间距。两个模态可能共享相同的序数几何，却具有完全不同的数值参数化形式。核心 idea：将模态内的成对相似度核转化为纯粹由相对排序诱导的序数关系表征，在完全不改变置换匹配空间与求解器的前提下，消减严格递增重参数化带来的数值畸变，实现稳健的零锚点跨模态类别对应恢复。

方法详解¶

整体框架¶

RankAlign 的整体流程由三个递进阶段构成：模态内原型构建与中心化、RankAlign 序数核变换、置换匹配求解。首先，对视觉端和语言端分别独立抽取冻结特征并平均得到类别原型，经过模态内均值中心化与单位归一化后计算成对余弦相似度核；接着，RankAlign 模块将这两个核矩阵映射为兼顾全局排位与局部邻域顺序的序数表征；最后，利用现成的二次分配求解器（如 FAQ、FHG 或熵正则化 GW-OT）求解最佳类别置换矩阵。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：未配对图像群组与文本候选集<br/>分别提取冻结特征并做均值中心化归一化"] --> B["模态内成对相似度核构建<br/>K_x 与 K_y（大小 N×N）"]
    B --> C["1. 全局序数秩变换与非线性重加权<br/>经验累计分布函数与单调对数映射"]
    B --> D["2. 锚点级局部邻域排序与对称化<br/>行内近邻排名与标准化聚合"]
    C --> E["RankAlign 统一序数核表征 T(K)<br/>具备严格单调不变性与置换等变性"]
    D --> E
    E --> F["置换匹配求解（QAP 求解器）<br/>结合迭代局部搜索 ILS 与 FAQ/FHG/OT"]
    F --> G["输出：跨模态类别置换匹配关系 π*"]

关键设计¶

1. 全局序数秩变换与非线性重加权：消除跨模态单调数值形变 传统方法直接使用余弦相似度核 $K(i,j)$，极易受跨模态数值分布不均的影响。RankAlign 首先将对称核矩阵的所有非对角未排序元素索引集合记为 $\mathcal{E} = \{\{i,j\}: 1 \le i < j \le N\}$，总共有 $M = N(N-1)/2$ 个无序类别对。针对所有非对角元素，利用其经验累积分布函数（ECDF）计算全局相对排位： $$ F_K(t) = \frac{1}{M} \sum_{{i,j} \in \mathcal{E}} \mathbf{1}[K(i,j) \le t], \qquad R(K)(i,j) = \begin{cases} F_K(K(i,j)), & i \ne j \ 0, & i = j \end{cases} $$ 若所有成对相似度互不相同，转换后的值严格取 $\{1/M, 2/M, \dots, 1\}$。该秩变换 $R(K)$ 对任何严格单调递增变换 $\phi$ 满足 $R(\phi \circ K) = R(K)$，从而彻底抹平了模态间任意单调的数值缩放差异。为了拉开顶层高相似度关键概念对的区分度，算法采用严格单调的对数重加权函数 $g_m(u) = -\log(1 - u + \frac{1}{2m})$，并将其标准化为零均值单位方差的全局关系矩阵 $G(K) = \mathcal{C}(g_M(R(K)))$。

2. 锚点级局部邻域排序：融合细粒度局部拓扑约束 仅依靠全局排序容易淹没单个类别特有的局部紧邻邻域结构。为此，RankAlign 引入了锚点级（行内）局部邻域排位机制。对于每个锚点类别 $i$，计算其他类别相对于它的行内排位： $$ R_{\mathrm{row}}(K)(i,j) = \frac{1}{N-1} \sum_{l \ne i} \mathbf{1}[R(K)(i,l) \le R(K)(i,j)], \quad i \ne j $$ 接着同样施加对数重加权 $g_{N-1}$，并通过对称化操作 $\operatorname{sym}(A) = \frac{A + A^\top}{2}$ 保证核的对称性质，再标准化得到局部关系矩阵 $L(K) = \mathcal{C}(\operatorname{sym}(g_{N-1}(R_{\mathrm{row}}(K))))$。最终的 RankAlign 核心表征由全局与局部序数矩阵相加后再做一次标准化生成：$T(K) = \mathcal{C}(G(K) + L(K))$。该综合表征严格继承了单调不变性与置换等变性，既保留了全局粗粒度分布，又强化了细粒度最近邻拓扑。

3. 精确恢复与稳定性理论保障：解耦序数分歧与固有可辨识性 在理论层面，论文证明了在严格序数一致性（Strict Ordinal Consistency）假设下，真实置换 $\pi^\star$ 是秩对齐匹配目标函数 $f_{\mathrm{ord}}(\pi) = \sum_{i \ne j} \widetilde{K}_x(i,j) \widetilde{K}_y(\pi(i), \pi(j))$ 在对称群 $S_N$ 上的唯一全局最优解，且与任何非真解之间存在至少 $2/M^2$ 的下界裕度。在实际非完全一致情形下，定义模态间残差 $E_Z = Z_y \circ \pi^\star - Z_x$ 与结构辨识度 $d_Z(\tau) = \|Z_x - Z_x \circ \tau\|_F$，证明了任何最大化解 $\widehat{\pi}$ 诱导的置换误差满足： $$ \operatorname{err}(\widehat{\pi}) \le \frac{8 N(N-1)(1 - \rho^\star)}{\kappa(T_x)} $$ 该上界清晰地将匹配难度分解为两项独立来源：由序数相关系数 $\rho^\star$ 衡量的跨模态序数分歧度，以及由剖面差异界 $\kappa(T_x)$ 刻画的类别结构固有可辨识度。当考虑近似优化算法引入的目标缺损 $\eta$ 时，亦给出了包含优化误差项的连续稳定性界。

损失函数 / 训练策略¶

RankAlign 完全冻结预训练编码器权重，无需端到端反向传播训练。对齐阶段将跨模态对应形式化为二次分配问题（QAP）： $$ \pi^\star \in \arg\max_{\pi \in S_N} \sum_{i \ne j} T_x(i, j) T_y(\pi(i), \pi(j)) $$ 在求解时，RankAlign 可无缝对接任何现成的 QAP 求解器。为克服 QAP 的 NP-hard 难点并避免陷入较差局部极小，算法在调用连续松弛求解器（如 FAQ 快速近似二次规划、基于 Sinkhorn 的最优传输 OT 或分层图匹配 FHG）之前，先执行若干步迭代局部搜索（Iterated Local Search, ILS）获得高质量初始解。整个预处理阶段仅需额外 $O(N^2 \log N)$ 的时间复杂度和 $O(N^2)$ 的空间复杂度，相比原始核构建的 $O(N^2 d)$ 几乎不增加计算负担。

实验关键数据¶

主实验¶

论文在 CIFAR-100、ImageNet-100、LAION-Aesthetic 伪标签子集以及真实临床胸部 X 光数据集 CheXpert 上进行了全面评测，视觉骨干涵盖自监督模型（DINOv2、DeiT）和图文多模态对比模型（CLIP、SigLIP、SigLIP2），文本骨干采用 Sentence-BERT。匹配性能以准确匹配类别比例（Matching Accuracy）衡量。

在 CIFAR-100 上的求解器与规模对比实验中（CLIP + Sentence-T，5次随机种子均值±标准差）：

求解器	方法	N=50 匹配准确率	N=70 匹配准确率	N=100 匹配准确率	N=100 耗时 (s)
FAQ	BlindMatch (基线)	0.26 ± 0.10	0.14 ± 0.09	0.04 ± 0.02	1.44 ± 0.21
FAQ	RankAlign (本文)	0.98 ± 0.02	0.79 ± 0.05	0.66 ± 0.21	2.70 ± 0.31
OT	BlindMatch (基线)	0.04 ± 0.01	0.02 ± 0.02	0.01 ± 0.01	0.82 ± 0.01
OT	RankAlign (本文)	0.98 ± 0.02	0.79 ± 0.05	0.69 ± 0.18	2.80 ± 0.28
FHG	BlindMatch (基线)	0.77 ± 0.02	0.42 ± 0.07	0.15 ± 0.03	300.00* (超时)
FHG	RankAlign (本文)	0.98 ± 0.02	0.91 ± 0.04	0.79 ± 0.02	300.00* (超时)

在跨模态强域偏移的 CheXpert 医学影像数据集（12 类别单标签病理发现匹配）上：

视觉骨干模型	语言编码器	BlindMatch (GW) 准确率	RankAlign (本文) 准确率	绝对提升
DeiT	Sentence-T	0.08 ± 0.01	0.65 ± 0.01	+0.57
DINOv2	Sentence-T	0.06 ± 0.01	0.62 ± 0.30	+0.56
CLIP	Sentence-T	0.08 ± 0.01	0.63 ± 0.26	+0.55
SigLIP	Sentence-T	0.10 ± 0.02	0.45 ± 0.22	+0.35
SigLIP2	Sentence-T	0.08 ± 0.00	0.23 ± 0.04	+0.15

消融实验¶

为了验证收益是否仅仅来源于普通的数值标准化，论文在 CIFAR-100 上固定原型、子集和求解器，严格对比了不同核变换策略：

核变换方法	N=30 准确率	N=50 准确率	N=70 准确率	N=100 准确率	说明
None (原始无变换)	0.03	0.01	0.00	0.00	原始数值直接比对在N≥70时完全崩溃
Z-score 标准化	0.03	0.02	0.01	0.00	仅消除全局仿射变换，不改变内积解
分位数归一化 (Quantile)	0.06	0.07	0.04	0.00	边际分布对齐无法消除局部相对扭曲
行内局部排序 (Row-wise rank)	0.32	0.14	0.09	0.06	局部序数有效但缺乏全局拓扑约束
RankAlign (全局+局部秩变换)	1.00	0.98	0.91	0.79	序数拓扑协同使得全规模均稳健领先

关键发现¶

序数变换是跨模态对齐的本质使能因素：通用数值归一化（如 Z-score 或分位数对齐）在 $N=100$ 时准确率全部跌至 $0.00$。局部行排序能提升至 $0.06$，而 RankAlign 通过结合全局对数秩变换与局部近邻排序一举达到 $0.79$，证明增益并非来自普通的统计平滑，而是来自对关系拓扑的精确提取。
面对标签噪声具有平缓退化鲁棒性：在图像侧人工注入 $10\% \sim 40\%$ 的类别标签错配噪声时，CIFAR-100 准确率仅从 $78.7\%$ 缓慢下降至 $68.9\%$（性能跌幅仅 $12.5\%$），表明基于排名的关系拓扑对个别离群点具有天然容忍度。
显著超越经典结构对齐基线：在与经典正交 Procrustes 分析和标准 Gromov-Wasserstein 最优传输对比时，传统方法的准确率均在 $0.00 \sim 0.07$ 的近乎随机水平，而 RankAlign 在相同特征下达到 $0.68 \sim 0.79$。

亮点与洞察¶

求解器完全无关的即插即用特性：RankAlign 只改变送入优化目标的核矩阵表示，不触碰求解空间和优化算法本身，任何支持 QAP 或图匹配的求解器均可原地升级。
柏拉图表征假说在拓扑层面的有力实证：研究揭示了独立训练的视觉与语言网络在潜在流形上达成共识的真实机制——它们共享的是拓扑序数关系，而非刚性的度量间距。只要脱去绝对数值的外衣，纯相对关系即可无监督对齐。
可复用的通用拓扑归一化 Trick：将全局经验分布排位结合对数非线性展开（$- \log(1 - u + \frac{1}{2m})$）再进行局部行排序对称融合，这一套秩变换方案可直接迁移到无监督跨语言词嵌入对齐、跨物种生物图对齐等任何异构关系匹配场景。

局限与展望¶

依赖类别级原型的质量与稳定性：该方法假设模态内已具备清晰的类别划分以计算均值原型。在缺乏真值标签的无监督聚类场景中，若视觉聚类质量极低，原型漂移会直接污染序数拓扑结构。
QAP 求解在大规模类别数下的计算瓶颈：尽管 RankAlign 自身的预处理仅需 $O(N^2 \log N)$，但下游二次分配问题属于 NP-hard，当类别数 $N$ 扩展至成千上万时，求解器的收敛速度与时间预算（如 FHG 在 $N \ge 50$ 时触碰 300 秒时限）会成为主要扩展阻碍。
舍弃绝对数值幅度对实例级细粒度对齐的限制：方法完全抹去了相似度绝对数值大小，对于开词表或实例级图文检索中依赖细粒度置信度打分的场景，探索序数与度量相融合的混合对齐策略仍是未来值得探索的方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出数值对齐思维定势，从序数几何与秩变换切入未配对多模态对齐，视角极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 种视觉骨干、4 个跨领域数据集、多种求解器消融、标签抗噪测试及完备理论推导。
写作质量: ⭐⭐⭐⭐⭐ 数学论证严谨，定理条件与误差上界分析详实，逻辑层层递进。
价值: ⭐⭐⭐⭐⭐ 为异构表征几何对齐、柏拉图假说验证与无监督跨模态迁移提供了兼具理论与实用的基础工具。