RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities¶

会议: NeurIPS 2026
arXiv: 2606.05109
OpenReview: https://openreview.net/forum?id=CBBmaDH8U5
领域: 自监督/表示学习
关键词: 多模态解耦表示、自监督学习、信息论界、Perceiver架构、分组槽注意力

一句话总结¶

针对多模态解耦在多于两模态时面临的组合爆炸与多编码器计算瓶颈，本文提出基于信息论与 Perceiver 的自监督解耦框架 RePercENT，通过成对分解、语义编码与分组槽注意力（Group Slot Attention）实现单模态单编码器的线性复杂度解耦，并在保证最小必要信息（MNI）最优性理论界的同时显著提升下游任务表现与缺失模态鲁棒性。

研究背景与动机¶

多模态表示学习旨在综合并推理来自图像、文本、语音等多种异构源的信息。近年来以 CLIP、ALIGN 和 Flamingo 为代表的多模态基础模型取得了突破性进展，其核心机制高度依赖跨模态对齐。跨模态对齐隐含了“多视角冗余”（Multi-view Redundancy）假设，即所有与下游任务相关的信息都完全跨模态共享。然而，这一假设在真实应用中极易失效：例如在肿瘤学中，全切片病理图像（WSI）主要反映细胞显微形态，而空间转录组（ST）则揭示组织深层的分子变异，两者互补却不重叠。多模态融合虽然通过联合表征试图同时保留共享与独特信息，但各模态信息因子依然高度缠结，无法显式刻画模态间如何交互。

多模态解耦表示学习（Disentangled Representation Learning）提供了一种理想范式，通过将多模态信息解构为模态间共享的交集因子与各自特有的独有因子，既能辨明各模态的任务贡献与冗余程度，又能在缺失模态时利用共享成分进行无缝补偿。然而，现有解耦方法绝大多数严格局限于双模态（$M=2$）场景，面临不可逾越的扩展性瓶颈：一方面，多模态下的原子信息子空间随模态数量呈指数级膨胀（$2^M-1$ 个原子成分）；另一方面，现有架构普遍为每个成分分配独立的编码器，导致结构复杂度随模态数呈二次方增长（$\mathcal{O}(M^2)$）。此外，现有方法多采用两阶段串行优化（先学共享表征，再从残差中提取独有表征），在多模态下计算极其昂贵，且在真实数据无法满足“最小必要信息”（MNI）条件时极易发生表征崩溃。

为了打破多模态解耦维度的瓶颈，本文选择规避对全模态子集的穷举分解，转而通过成对分解刻画模态交互，并利用重构的 Perceiver 架构将全部分解过程收敛到单模态内部。核心 idea：将多模态解耦约束为成对共享与独有因子的单目标联合优化，重构 Perceiver 潜在注意力并引入组内竞争的分组槽注意力（Group Slot Attention），实现仅需单模态独立推理的线性复杂度解耦与非平凡 MNI 理论最优性保证。

方法详解¶

整体框架¶

RePercENT 是一个即插即用（plug-and-play）的多模态解耦框架，直接建立在各个单模态预训练基础模型提取的序列特征 $Z_i \in \mathbb{R}^{S_i \times E_i}$ 之上，无需进行昂贵的联合端到端预训练。系统架构的核心在于为每个模态 $i \in \mathcal{M} = \{1, \dots, M\}$ 仅配备一个独立的解耦模块 $\mathcal{D}_i$。每个解耦模块 $\mathcal{D}_i$ 仅接收单模态序列特征 $Z_i$，通过包含 $2(M-1)$ 个潜在槽位的潜在数组 $\mathcal{H}_i$ 执行 Perceiver 式交叉注意力，即可一次性推断出与其余所有模态配对的独有表征 $\mathbf{u}_{ij}$ 与共享表征 $\mathbf{s}_{ij}$。这种设计保证了推断过程完全模态解耦，即 $(\mathbf{u}_{ij}, \mathbf{s}_{ij}) \perp X_j \mid X_i$，从而赋予模型天生的缺失模态适应能力。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>X_1, ..., X_M"] --> B["冻结基础模型编码<br/>保留序列特征 Z_i in R^{S_i x E_i}"]
    B --> C["单模态解耦模块 D_i<br/>单模态分配 2(M-1) 个潜在槽位"]
    C --> D["语义编码注入<br/>模态对编码 e^p_ij + 类型编码 e^t_ij"]
    D --> E["分组槽注意力 GSA<br/>组内二元竞争 独有/共享 槽位解耦"]
    E --> F["联合信息论优化<br/>InfoNCE + vMF KL + 互协方差惩罚"]
    F --> G["解耦输出<br/>成对独有表征 u_ij 与共享表征 s_ij"]

关键设计¶

1. 成对解耦与单编码器线性扩展：突破指数级组合瓶颈 针对 $M$ 个模态所产生的 $2^M-1$ 个原子信息子空间随 $M$ 指数膨胀的问题，RePercENT 证明了任意模态 $X_i$ 的全部信息均可由其与其余模态的成对分解完全保留。对于模态集合中任意不等于 $i$ 的模态 $j$，二者之间的信息交互被严格划分为共享表征 $\mathbf{s}_{ij}$ 与特定于模态 $i$ 的独有表征 $\mathbf{u}_{ij}$。由此，原本 $\mathcal{O}(2^M)$ 的组合复杂度被降低至 $\mathcal{O}(M^2)$。更关键的是，以往的多模态解耦方法（如 FactorCL）为每种分解成分设计独立的神经网络编码器，导致网络结构复杂度随模态数呈 $\mathcal{O}(M^2)$ 激增。RePercENT 重构了 Perceiver 的潜在注意力瓶颈，在单模态解耦模块 $\mathcal{D}_i$ 中配置长度为 $N = 2(M-1)$ 的可学习潜在数组 $\mathcal{H}_i \in \mathbb{R}^{N \times D}$，单次前向即可解码全部成对成分，使结构复杂度由 $\mathcal{O}(M^2)$ 降低至严格线性的 $\mathcal{O}(M)$。由于每个槽位纯粹基于单模态输入 $X_i$ 计算，测试阶段即便模态 $X_j$ 完全缺失，属于观测模态的 $(\mathbf{u}_{ij}, \mathbf{s}_{ij})$ 依然能够无损提取，无需任何特征插补或启发式映射。

2. 语义编码与分组槽注意力：结构化信息路由机制 为了防止 Perceiver 潜在槽位发生特征均质化并引导各槽位专门化捕获特定的成对成分，模型引入了显式的结构化路由机制。首先是语义编码（Semantic Encoding）：为每个槽位 $h_{ik}$ 叠加模态对嵌入 $e_{ij}^p \in \mathbb{R}^D$ 和成分类型嵌入 $e_{ij}^t \in \mathbb{R}^D$（其中 $t \in \{\text{unique}, \text{shared}\}$），形成初始查询 $\tilde{h}_{ik} = h_{ik} + e_{ij}^p + e_{ij}^t$，赋予每个槽位清晰的功能语义。其次是分组槽注意力（Group Slot Attention, GSA）：传统 Slot Attention 在所有槽位间展开全局 Softmax 竞争，容易破坏跨模态独立性；而本文将槽位划分为 $M-1$ 个大小为 2 的不相交组 $\mathcal{G}_j = \{u_{ij}, s_{ij}\}$，组内仅包含模态对 $(i,j)$ 的独有与共享槽位。未池化的细粒度输入序列 $Z_i \in \mathbb{R}^{S_i \times E_i}$ 投射为键与值，槽位查询与输入计算注意力权重时，Softmax 归一化仅在同组的两个槽位之间进行： $$\mathbf{A}_{n,m} = \text{softmax}_{n' \in \mathcal{G}_m(n)} \frac{Q_{n'} K_m^\top}{\sqrt{D_h}}$$ 随后再沿输入 Token 维度重新归一化。该机制强制每个输入特征在“模态特有”与“跨模态共享”之间进行二元权衡分配，在槽位与特定模态对解耦之间建立了强烈的归纳偏置。

3. 单目标联合优化与 MNI 理论最优性保证 传统两模态解耦通常依赖串行优化策略，即先最大化共享互信息 $I(s_{ij}; X_j)$ 求解 $s_{ij}^*$，再在第二阶段从输入残差中约束优化独有表征 $u_{ij}^*$。这种串行依赖在多模态（$M>2$）下会导致累积误差且计算极其繁琐。RePercENT 将所有成对表征 $\theta_{ij} = (u_{ij}, u_{ji}, s_{ij}, s_{ji})$ 整合进单阶段联合优化目标： $$\mathcal{L}_{\mathcal{E}} = \frac{1}{|\mathcal{E}|} \sum_{(i,j) \in \mathcal{E}} \left[ \alpha (\mathcal{L}_{s_i} + \mathcal{L}_{s_j}) + \mathcal{L}_{u_i} + \mathcal{L}_{u_j} \right]$$ 其中共享目标 $\mathcal{L}_{s_i} = I(s_{ij}; X_j) - \beta I(s_{ij}; X_i \mid X_j)$ 兼顾跨模态相关性与压缩冗余；独有目标 $\mathcal{L}_{u_i} = I(u_{ij}, s_{ji}; X_i) - \lambda I(u_{ij}; s_{ji})$ 兼顾模态源信息完整性与正交去关联。在理论层面，作者证明了定理 1：当“最小必要信息”（MNI）可达到时，联合优化目标的全局极大值与理想串行优化的最优解完全重合；定理 2 进一步证明：在现实复杂数据中当 MNI 不可达到时，联合目标的最大值相比于理想串行解仅相差一个有界的常数误差，保证了多模态联合单步训练在信息论意义下的近最优性。

损失函数 / 训练策略¶

为将上述信息论目标转化为可微的替代训练损失，RePercENT 采用了精确的几何与对比学习建模： - 共享损失项：将潜在共享表征 $s_{ij} \sim p(\cdot \mid X_i)$ 建模为超球面上的 von-Mises-Fisher (vMF) 分布 $s_{ij} \sim \text{vMF}(\mu(X_i), \kappa)$。互信息项 $I(s_{ij}; X_j)$ 采用对称 InfoNCE 对比损失 $\mathcal{L}_{s_i}^{\text{INCE}}$ 优化；条件互信息项 $I(s_{ij}; X_i \mid X_j)$ 的变分上界则由两个条件分布之间的 KL 散度约束，在 vMF 假设下转化为解析形式 $\mathcal{L}_{\text{KL}} = \mathbb{E}_{X_i, X_j}[\mu(X_i)^\top \mu(X_j)]$。共享损失即为 $\mathcal{L}_{s_i}^{\text{tr}} = -\mathcal{L}_{s_i}^{\text{INCE}} - \beta \mathcal{L}_{\text{KL}}$。 - 独有损失项：通过将独有表征 $u_{ij}$ 与跨模态共享表征 $s_{ji}$ 拼接为 $\tilde{z} = u_{ij} \oplus s_{ji}$，并与样本独立数据增强视角 $\tilde{z}_a^+$ 计算 InfoNCE 对比损失 $\mathcal{L}_{u_i}^{\text{INCE}}$，以此维持源模态全量信息。跨成分互信息 $I(u_{ij}; s_{ji})$ 则通过规范化批次表示之间的互协方差惩罚 $\mathcal{L}_{\text{xcov}}(u_{ij}, s_{ji}) = \frac{1}{D} \|\frac{1}{B} \bar{U}_{ij}^\top \bar{S}_{ji}\|_F$ 强制正交去耦。独有损失即为 $\mathcal{L}_{u_i}^{\text{tr}} = -\mathcal{L}_{u_i}^{\text{INCE}} - \lambda \mathcal{L}_{\text{xcov}}$。

实验关键数据¶

主实验¶

论文在 IRFL 比喻语言理解基准（包含成语 Idioms、明喻 Simile、隐喻 Metaphor-OoD 三个模态，共 3,380 个样本）上评估了解耦对图文抽象推理的提升，基线涵盖零样本 CLIP、投影层微调、端到端微调以及多编码器解耦基线。

模型	语义编码(SE)	分组注意力(GSA)	成语 (Idioms)	明喻 (Simile)	隐喻 (Metaphor-OoD)	整体准确率 (Overall)
CLIP-ViT-B/32 (零样本)	–	–	16.00	45.49	23.42	29.14
CLIP-ViT-B/32 (投影层微调)	–	–	20.40 ± 1.0	68.38 ± 1.1	31.59 ± 1.0	41.41 ± 0.7
CLIP-ViT-B/32 (端到端微调)	–	–	22.50 ± 1.8	70.18 ± 0.6	29.61 ± 1.0	41.73 ± 1.0
gMLP (多编码器解耦)	–	–	33.70 ± 2.4	54.37 ± 2.1	28.23 ± 2.4	38.52 ± 0.7
GRU (多编码器解耦)	–	–	36.10 ± 3.1	48.81 ± 3.0	33.69 ± 1.9	39.46 ± 1.1
RePercENT (本文)	✓	✓	33.60 ± 5.3	61.88 ± 3.1	35.56 ± 3.4	44.07 ± 0.8

在 TCGA 临床肿瘤队列（涵盖临床记录、病理报告、WSI 图像和分子数据 4 个模态，10 类癌症，5,732 名患者）上，线性探测评估各解耦表征在癌症分型上的预测准确率：

表征类型	评估输入	BRCA	COAD	GBM	HNSC	KIRC	LGG	LUAD	LUSC	OV	PRAD
原始基线	WSI (HONeYBEE)	95.4	32.2	41.5	18.3	48.6	22.6	26.0	14.3	36.2	29.0
RePercENT	$U_{\text{wsi},\text{mol}}$ (独有)	79.2	39.3	39.8	28.5	61.3	28.8	24.2	22.7	47.8	37.8
RePercENT	$S_{\text{wsi},\text{mol}}$ (共享)	81.6	37.2	39.8	26.7	61.1	24.3	26.0	20.8	46.9	34.8
RePercENT	$D_{\text{wsi},\text{mol}}$ (完整拼接)	79.3	39.1	40.2	28.7	63.4	31.0	27.8	23.3	51.2	38.8
收益 $\Delta$	WSI 相对增益	-13.8	+7.1	-1.3	+10.4	+14.8	+8.4	+1.8	+9.0	+15.0	+9.8
原始基线	分子 (HONeYBEE)	69.8	21.8	100.0	31.7	2.8	2.9	58.0	51.0	65.5	74.0
RePercENT	$D_{\text{mol},\text{clin}}$ (完整拼接)	70.0	37.5	98.3	67.9	62.2	52.8	55.4	72.0	79.5	92.0
收益 $\Delta$	分子数据相对增益	+0.2	+15.7	-1.7	+36.2	+59.4	+49.9	-2.6	+21.0	+14.8	+18.0

消融实验¶

针对 RePercENT 架构核心组件（语义编码 SE 与分组槽注意力 GSA）在 IRFL 基准上的消融表现如下：

配置	语义编码(SE)	分组注意力(GSA)	整体准确率 (%)	说明
无结构路由	✗	✗	40.30 ± 1.7	槽位无法建立有效分工，退化为普通交叉注意力
仅引入 GSA	✗	✓	41.56 ± 1.34	组内二元竞争显式促进独有与共享分离 (+1.26%)
仅引入 SE	✓	✗	42.35 ± 2.24	显式注入模态对与类型偏置，引导槽位专门化 (+2.05%)
完整模型	✓	✓	44.07 ± 0.8	两者协同达到最佳效果，隐喻 OoD 准确率达 35.56%

关键发现¶

模型参数与计算扩展性：在合成数据扩展实验中，随模态数 $M$ 从 2 增加到 5，多编码器基线（gMLP/GRU/MLP）参数量呈二次方增长，且 MLP 和 GRU 在 $M \ge 3$ 时出现严重的表征崩溃；RePercENT 参数量仅随槽位线性增长，在保证恢复真实潜变量的同时，参数量仅为 gMLP 的 50%，计算量仅为其 1/7。
多视角冗余假设破除：TCGA 癌症分类结果表明，拼接表征 $D = U \oplus S$ 在绝大多数癌症类型上显著优于单独的共享表征 $S$ 或独有表征 $U$。尤其在分子数据上，KIRC（肾透明细胞癌）从基线的 2.8% 跃升至 62.2%（+59.4%），LGG（低级别胶质瘤）从 2.9% 跃升至 52.8%（+49.9%），证明跨模态解耦能有效唤醒单模态原始表征中被掩盖的特异性预测信号。
缺失模态鲁棒性：当逐步削减推理阶段 WSI 图像的可用比例（从 100% 降至 0%）时，所有基于融合的基线（均值插补、晚期融合、Dropout 训练等）Macro-F1 均急剧下降；而 RePercENT 依赖单模态条件推断，完全免除对缺失模态的插补，在各种缺失率下均保持显著领先的性能下界。

亮点与洞察¶

重构 Perceiver 机制用于单模态内局部解耦：将原本用于多模态融合或降低长序列开销的 Perceiver 潜在注意力，创造性地改造为多模态成对解耦路由瓶颈，单编码器线性解决 $2(M-1)$ 个潜在成分的并发提取。
分组槽注意力（GSA）的二元竞争机制：突破了传统 Slot Attention 容易在全局竞争中破坏语义结构的局限，将竞争约束在模态对内部的独有与共享两槽位之间，极为精巧地通过归一化操作契合了信息论中的正交解耦需求。
联合优化的理论闭环：不仅提出了工程上高效的联合优化损失，更给出了在 MNI 可达与不可达两种状态下的理论严格证明，为多模态信息论解耦提供了坚实的数学地基。

局限与展望¶

成对分解对高阶交互的覆盖不足：虽然成对解耦规避了指数复杂度，但当存在严格依赖三个或更多模态协同才能激发的协同高阶信息（Higher-order Interactions）时，二元分解在表征容量上存在理论上限。
对预提取嵌入质量的依赖：作为即插即用框架，解耦效果受限于上游单模态基础模型的表达力与压缩损失，无法在端到端反向传播中协同优化底层感知特征抽取器。
损失权重的手动调优：损失函数涉及平衡共享与独有的超参数 $\alpha, \beta, \lambda$，在模态差异巨大（如高维稀疏基因表达与低维致密文本）时，需要更动态自适应的损失加权机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙重构 Perceiver 与 Slot Attention 解决多模态解耦组合爆炸难题，兼备优雅的单目标信息论证明。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖人工受控合成数据、图文比喻抽象推理以及四模态大规模肿瘤临床数据，指标完备且消融深入。
写作质量: ⭐⭐⭐⭐⭐ 理论推导严谨自洽，方法论逻辑环环相扣，实验图表表达极具说服力。
价值: ⭐⭐⭐⭐⭐ 为任意多模态基础模型特征解耦提供了高效通用的范式，在多模态分析、模型可解释性与缺失模态场景实用价值极高。