Fusion or Confusion? Multimodal Complexity Is Not All You Need¶
会议: NeurIPS 2026
arXiv: 2512.22991
OpenReview: https://openreview.net/forum?id=RtOPHuqmpj
代码: https://github.com/
领域: 多模态VLM
关键词: 多模态学习、晚期融合、简单基线、贝叶斯分层模型、可复现性评估
一句话总结¶
论文在统一标准化实验与贝叶斯分层检验下严格重构并对比了 19 种高影响力多模态学习架构，揭示出复杂的多模态融合、梯度调节与模块设计并未显著超越单模态最优模型或极简的晚期融合基准 SimBaMM。
研究背景与动机¶
多模态深度学习一直被寄予厚望，学者们普遍预设跨模态信息的协同互补能够突破单传感器上限，尤其在医疗、生化等多传感融合场景中能够释放巨大价值。在这种预设的驱动下，该领域近年来陷入了一场明显的“架构军备竞赛”：涌现出大量定制化的模态融合模块、缺失模态补全器、对抗或梯度平衡正则化技巧，以及复杂的跨模态交互头网络。然而，这些新架构所声称的显著提升，往往是在高度分歧的评估环境、不充分的超参数搜索、缺乏受试者隔离的交叉验证甚至隐式测试集泄漏等脆弱条件下取得的。
这种现状暴露出多模态评测范式深层的核心矛盾：学术界在归因性能飞跃时，习惯将其全盘算在“架构创新”的账上，却普遍忽视了单模态骨干网络的容量提升、严格超参调优、以及评估规范性等混杂变量的决定性影响。当排除掉数据泄露与超参数调优不均的噪音后，究竟是多模态融合真正生效，还是架构的过度复杂化带来了模态间的混乱与干扰，始终缺乏大规模且统计严密的实证检验。
本文切入这一严峻的学术盲区，系统性地对现有文献中的高阶多模态方法进行了大规模解构与重新审视。作者重构了 19 个代表性顶会方法，并在跨越 2 到 23 个模态、高达 48 万样本的 9 个多样化真实数据集中建立统一评测基准。核心 idea：通过引入基于贝叶斯分层统计检验的极简晚期融合基准 SimBaMM，在统一无泄漏评估与同等超参搜索预算下实证剖析，证明现有复杂多模态专用架构无法稳健战胜调优良好的单模态基线或极简晚期融合。
方法详解¶
整体框架¶
论文构建了一套严格解耦的评估测试体系，并提出了极简多模态学习基线 SimBaMM（Simple Baseline for Multimodal Learning）。对于任意给定的多模态样本，各可见模态的数据首先由固定的模态特异性编码器提取表征，再经由线性投影层映射至统一维度的隐空间；随后采用可配置 token 数的晚期融合 Transformer 处理注意力交互，并用任务特定的预测头输出目标结果。
整个评测框架覆盖了五个主要演化方向上的 19 种代表性 SOTA 多模态架构：涵盖缺失数据处理、编码器级改进、特征融合机制、交互头模型以及梯度调控机制。论文为所有算法对齐了基础骨干网络（MLP、ResNet、ViT、BERT、Wav2Vec2、ViViT）、统一了初始权重分布并采用免调度器优化的 ScheduleFree 优化器，同时制定了样本级跨折交叉验证规范与贝叶斯分层统计分析流程。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["多模态异质输入数据<br/>2~23 种模态输入"] --> Enc["统一模态特定编码器<br/>ResNet / ViT / BERT / MLP"]
Enc --> Proj["线性维度投影层<br/>映射至共享隐空间维度 d"]
Proj --> Mask["缺失模态掩码感知构建<br/>受试者级独立掩码 Mattn"]
Mask --> SimbaMM["晚期注意力融合头<br/>SimBaMM / SimBaMM-CLS"]
SimbaMM --> TaxComp["五大创新类别的 19 种 SOTA 方法对比<br/>缺失插补 / 编码器 / 融合 / 预测头 / 梯度调控"]
TaxComp --> BayesEval["贝叶斯分层统计与 ROPE 分析<br/>后验概率评估与效率度量"]关键设计¶
1. 极简晚期融合 Transformer 基线（SimBaMM 与 SimBaMM-CLS）：用最小机制实现跨模态交互
针对传统多模态模型热衷于堆叠复杂交叉张量积或深度互注意力模块的问题，论文提出了极简结构 SimBaMM。对于样本 \(i\) 的可用模态集合 \(\mathcal{M}_i \subseteq \{1, \dots, M\}\)，每个模态经独立编码器 \(E_m\) 生成特征向量 \(e_{i,m} = E_m(x_{i,m})\)，并通过可学习线性层 \(P_m\) 映射为统一维度 \(\hat{e}_{i,m} = P_m(e_{i,m}) \in \mathbb{R}^d\)。模型提供两种序列组织形式：SimBaMM 保留各模态多 token 序列，而更轻量的 SimBaMM-CLS 将每个模态浓缩为单一的 [CLS] token。随后直接送入标准 Transformer 编码器 \(\mathcal{T}\) 聚合信息：
$\(H_i = \mathcal{T}(S_i, M_{\text{attn}}(\mathcal{M}_i))\)$
其中 \(M_{\text{attn}}(\mathcal{M}_i)\) 为注意力掩码，严格阻断不存在模态间的交叉计算，最后经过投影头 \(g(\cdot)\) 产生分类输出 \(\hat{y}_i = g(H_i)\)，端到端优化主任务交叉熵损失。
2. 标准化与防泄露的缺失模态测试规程：杜绝全量数据预训练作弊
很多声称对缺失模态具有极佳鲁棒性的复杂算法（如基于扩散模型的生成补全），在实际开源实现中往往隐蔽地依赖于在“完整模态子集”上预训练，然后再在缺失分布上微调。论文纠正了这种不切合实际部署的数据泄露漏洞，制定了数据集拆分级别的缺失掩码生成协议。缺失率以模态缺失阶梯进行确定性预分配（例如在三模态下，15% 缺失率严格对应 15% 样本缺失恰好 1 个模态、另有 15% 样本缺失 2 个模态）。所有算法均不得接触隐式填充的真实特征，迫使模型仅能依靠观测掩码在同等不完备信息下执行推断。
3. 贝叶斯分层统计分析框架：量化实际等价性区域（ROPE）
为了彻底摆脱传统点估计（如单次运行报告最高分、或忽视折间样本重叠方差的传统 t 检验）所带来的误导，论文引入了严格的贝叶斯分层模型。针对 5 折交叉验证中由于训练集重叠引入的相关性，设定折间相关系数 \(\rho = 1/K = 0.2\)。将数据集间性能差异建模为稳健的学生 t 分布 \(\mu_d \sim t(\delta_0, \sigma_0, \nu)\)，并设定 \(\pm 1\%\) 的实际等价性区间（Region of Practical Equivalence, ROPE，记作 \(\epsilon = 0.01\)）。通过后验马尔可夫链蒙特卡洛（MCMC/NUTS）采样，直接输出基线胜出 \(P(\text{base} \gg \text{other})\)、实际等价 \(P(\approx)\) 以及复杂模型胜出 \(P(\text{other} \gg \text{base})\) 的确切后验概率，从而提供统计上严格可信的优劣断言。
4. 统一超参数搜索与受试者独立划分隔离：纠正评估伪增益
针对过往研究中“对新方法精心微调、对基线使用默认参数”以及“打散受试者导致训练集与测试集存在同源样本信息泄漏”的两大沉疴，论文执行了基于贝叶斯优化的受试者级五折交叉验证（Subject-wise 5-fold CV）。首先对 SimBaMM 执行多达 500 次采样的超参数搜索确定最优网络空间，并为所有比对方法提供标准化的等同调优预算；同时全流程采用 ScheduleFree 统一优化器并标准化各层权重初始化（Kaiming 初始化与常量 LayerNorm），完全排除了优化器与学习率衰减策略差异对性能结论的干扰。
实验关键数据¶
主实验¶
论文在 9 个真实且多样化的数据集（覆盖医疗、临床、生理、情感识别等多领域）上展开测试。下表汇总了部分具有代表性的多模态架构与 SimBaMM-CLS 在医疗多模态数据集上的 AUROC 结果（均值 ± 标准差）：
| 方法类别 | 方法名称 | MIMIC-HAIM (AUROC) | MIMIC-Symile (AUROC) | INSPECT (AUROC) | UK Biobank 23模态 (AUROC) |
|---|---|---|---|---|---|
| 单模态基线 | Best Unimodal | 0.7042 ± 0.020 | 0.6453 ± 0.030 | 0.6568 ± 0.003 | 0.7560 ± 0.010 |
| 本文基线 | SimBaMM-CLS | 0.6985 ± 0.025 | 0.6318 ± 0.015 | 0.6556 ± 0.006 | 0.7957 ± 0.008 |
| 本文基线 | SimBaMM (多Token) | 0.6871 ± 0.029 | 0.6429 ± 0.036 | n/a | n/a |
| 缺失数据类 | IMDer (扩散生成) | 0.6900 ± 0.018 | 0.6266 ± 0.016 | 0.6385 ± 0.007 | 0.7969 ± 0.003 |
| 缺失数据类 | MMP | 0.6611 ± 0.016 | 0.5824 ± 0.054 | 0.6289 ± 0.018 | 0.7984 ± 0.004 |
| 缺失数据类 | ShaSpec | 0.6863 ± 0.019 | 0.5823 ± 0.052 | 0.6348 ± 0.006 | 0.7968 ± 0.007 |
| 编码器类 | RegBN | 0.6912 ± 0.054 | 0.6412 ± 0.018 | 0.6379 ± 0.002 | 0.7919 ± 0.001 |
| 编码器类 | AUG (Oral顶会) | 0.7103 ± 0.027 | 0.6101 ± 0.035 | 0.6513 ± 0.016 | 0.7361 ± 0.136 |
| 融合机制类 | MBT | 0.6804 ± 0.029 | 0.6331 ± 0.023 | 0.6391 ± 0.003 | 0.7456 ± 0.106 |
| 融合机制类 | LMF (低秩张量融合) | 0.7181 ± 0.037 | 0.6146 ± 0.023 | 0.6454 ± 0.003 | 0.4999 ± 0.000 (崩溃) |
| 融合机制类 | Coupled Mamba | 0.6631 ± 0.040 | 0.6603 ± 0.027 | 0.6580 ± 0.004 | 0.7974 ± 0.003 |
| 预测头交互 | MulT (交叉Transformer) | 0.6872 ± 0.030 | 0.6374 ± 0.014 | 0.6510 ± 0.004 | OOM (显存溢出) |
| 梯度调控类 | OGM / OGM-GE | 0.7172 ± 0.014 | 0.6138 ± 0.011 | 0.6431 ± 0.005 | 0.7982 ± 0.013 |
| 梯度调控类 | MMPareto | 0.7021 ± 0.029 | 0.6319 ± 0.038 | 0.6559 ± 0.005 | 0.8054 ± 0.009 |
| 梯度调控类 | DGL | 0.6143 ± 0.066 | 0.6032 ± 0.017 | 0.6276 ± 0.043 | 0.5803 ± 0.053 |
贝叶斯分层比较与效率分析¶
下表给出了贝叶斯分层检验下各方法相较于 SimBaMM-CLS 的后验概率分布（ROPE 取 \(\pm 1\%\)），以及在 MIMIC-Symile 上的硬件训练开销：
| 评估对象 / 方法 | \(P(\text{Base} \gg \text{Method})\) | \(P(\approx)\) (实用等价) | \(P(\text{Method} \gg \text{Base})\) | 参数量 (M) | FLOPs (G) | 训练耗时 (秒/Epoch) |
|---|---|---|---|---|---|---|
| SimBaMM-CLS | 基准 (0.00) | 1.00 | 0.00 | 97.3 | 11.10 | 11.74s |
| SimBaMM (多Token) | 0.52 | 0.23 | 0.25 | 97.4 | 12.46 | 14.58s |
| Best Unimodal | 0.53 | 0.06 | 0.41 | - | - | - |
| Coupled Mamba | 0.03 | 0.67 | 0.30 | 94.9 | 10.63 | 253.80s (极慢) |
| MMPareto | 0.13 | 0.67 | 0.19 | 97.4 | 11.10 | 11.78s |
| ARL | 0.30 | 0.47 | 0.23 | 97.4 | 11.10 | 12.52s |
| MulT | 0.33 | 0.41 | 0.26 | 113.0 | 15.32 | 18.20s |
| RegBN | 0.75 | 0.22 | 0.03 | 97.4 | 11.15 | 43.21s |
| LMF | 0.89 | 0.01 | 0.10 | 97.9 | 11.09 | 11.83s |
| 0.94 | 0.05 | 0.01 | 95.9 | 11.08 | 11.94s | |
| OMIB | 0.95 | 0.04 | 0.01 | 98.3 | 11.11 | 12.34s |
| AUG | 0.97 | 0.01 | 0.02 | 97.4 | 11.10 | 12.15s |
| DGL | 0.98 | 0.00 | 0.02 | 97.4 | 11.14 | 13.20s |
| IMDer | (缺失专用) | - | - | 103.0 | 408.23 | 203.50s |
关键发现¶
- 无一复杂方法能确定性超越 SimBaMM：在 \(\pm 1\%\) 的 ROPE 设定下，所有 19 种高阶复杂方法胜出基准的概率最高仅为 30%（Coupled Mamba），且其实用等价概率高达 67%；而对于 AUG、DGL、OMIB 等方法，SimBaMM-CLS 胜出的后验概率均 \(\ge 95\%\)。
- 复杂方法往往难以超越最强单模态基线：在与 Best Unimodal 比较时，超过半数的复杂多模态方法落后概率在 80% 以上（如 PDF 为 95%，OMIB 为 96%，DGL 为 98%）。多模态架构复杂性本身不仅未能提供协同增益，反而加剧了优化震荡与特征退化。
- 多模态扩展性崩溃（\(M \gg 2\)）：当模态扩展至 UK Biobank 的 23 个模态时，需要 \(M(M-1)\) 个交叉变换器的 MulT 直接产生 506 个 Cross-Attention 模块并引发显存溢出（OOM）；低秩张量分解方法 LMF 则发生严重的梯度消失与数值崩塌（AUROC 退化至 0.4999 随机猜测水平）。
- 效率收益严重失衡：表现略微突出的 Coupled Mamba 相比 SimBaMM 耗时增加 17 倍以上（253.8s vs 14.6s/epoch），仅换来微弱且统计不显著的微小增益；扩散生成类缺失补全方法 IMDer 的计算开销高达 408 GFLOPs，实际预测表现却远逊于标准掩码注意力机制。
亮点与洞察¶
- 打破盲目追求架构创新的“神话”：论文以极其详实且无懈可击的大规模实验证实，当前多模态学习的实质进展大多由单模态表征能力（如 ViT 替代 CNN、预训练语言模型提升）与规范的超参数搜索驱动，而非多模态专属架构的繁复设计。
- 揭示前沿顶会论文的评估漏洞（CASE STUDY）：针对获得 NeurIPS Oral 殊荣的著名工作 AUG 展开深入解剖，发现其论文仅在 CREMA-D 上利用未隔离受试者的传统划分取得了虚高收益；一旦施行严格的受试者级独立切分与超参平衡搜索，AUG 的多模态增益瞬间归零，被极简基线反超。
- 实用的贝叶斯分层多任务对比范式：将统计学中处理交叉验证样本相关的贝叶斯分层模型成功引入多模态评估，给出了比单一 p-value 更具科学决策价值的后验概率输出，为机器学习领域树立了高水准的评估标杆。
局限与展望¶
- 研究边界限定于判别式晚期融合范式：本项实证研究主要聚焦于判别式下游任务（分类、多标签预测、情感回归）以及基于编码器-晚期融合的范式，并未覆盖基于超大规模自监督预训练的图文自回归大模型（如当前基于 Decoder-Only 的端到端 VLM）。
- 缺乏微观机理的因果归因：论文主要立足于实证对比与诊断，虽系统性地观察到了复杂方法未能战胜晚期基线的普遍现象，但尚未深入从特征对齐空间动态、隐层几何流形崩塌等数学微观层面完全解释“为什么更复杂的融合结构反而导致混淆（Confusion）”。
- 标准化基准推广前景：作者建议未来的多模态研究必须遵守“统一骨干、同等超参预算、无泄漏交叉验证、必报单模态及 SimBaMM 基线”的标准清单，这对净化该领域评估水质具有深远意义。
相关工作与启发¶
- vs MultiBench [41]: MultiBench 是过往最具影响力的多模态基准，但其长期缺乏标准化统一实现与维护，且未在算法间控制权重初始化与同等超参调优；本文不仅在多达 23 模态的当代真实数据上重新对齐了 19 种方法，还首次提供了可直接复用的 SimBaMM 黄金标准。
- vs OGM-GE [57] & MMPareto [81]: 这类代表性的梯度调控方法假设模态间存在竞争和主导模态抑制，试图通过动态梯度修剪来平衡优化；但实证结果表明，在经过充分超参调优的真实异质数据集中，这种梯度约束引入的偏差往往得不偿失，效果甚至不如单纯的无参数注意力掩码晚期融合。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 虽为评估诊断型工作，但建立的标准化评测体系与揭示的严酷事实颠覆了现有认知。
- 实验充分度: ⭐⭐⭐⭐⭐ 复现 19 种顶会算法，跨越 9 个数据集、48 万样本与 23 个模态，辅以贝叶斯分层分析，扎实至极。
- 写作质量: ⭐⭐⭐⭐⭐ 论证环环相扣，逻辑极为严谨客观，案例剖析与反思直击学术痛点。
- 价值: ⭐⭐⭐⭐⭐ 堪称多模态领域的“冷静剂”与“试金石”，为多模态架构设计提供了极其强健的极简 baseline。