Beyond Modality Fusion: Deep Ensembles for Multimodal Classification¶

会议: NeurIPS 2026
arXiv: 2607.05019
OpenReview: https://openreview.net/forum?id=8Im8HCejDY
领域: 多模态VLM
关键词: 多模态分类, 深度集成, 模态失衡, 晚期融合, 缩放法则

一句话总结¶

本文颠覆了多模态分类必须依赖显式特征融合的既有认知，证明由独立训练的单模态网络构成的异构深度集成（HeDEs）在同等参数量下不仅显著优于 SOTA 防失衡晚期融合与中间融合网络，还提出基于验证损失比率的近最优模型配比启发式准则及渐近损失缩放法则。

研究背景与动机¶

在多模态分类任务中，主流范式通常遵循晚期融合（Late Fusion）或中间融合（Intermediate Fusion）路径，即利用单模态骨干网络提取各模态特征，将其拼接或通过交叉注意力、MMTM 等交互模块映射到统一语义空间中进行分类预测。直觉上，联合训练使得模型能够充分利用不同模态间的互补信息。然而，现实多模态数据普遍存在泛化速率与收敛速度不一致的“模态失衡”（Modality Imbalance）现象：收敛更快的弱模态或占主导的强模态会抑制另一模态的学习，导致传统的联合训练晚期融合网络性能往往劣于仅使用单一强模态训练的单模态分类器。

为了缓解这种联合训练病态，学术界近年演进出了大量复杂的正则化与梯度调制策略，例如梯度幅度抑制（OGM-GE）、基于帕累托优化的多目标调节（MMPareto）、自适应单模态正则化（InfoReg）以及 Boosting 重平衡机制（ReconBoost、AUG）。但这些方法均未跳出“在统一模型内部优化模态间相互作用”的固有思维。联合优化的本质约束使得网络往往在较慢模态尚未提取充分判别性表征时，就已在训练集上达到零损失或收敛瓶颈，从而陷入次优局部解。

本文换了一个极其彻底且反常识的切入角度：如果完全抛弃显式的跨模态特征交互与联合优化，仅将各个模态上独立训练的单模态深度神经网络通过集成（Deep Ensembles）聚合输出，会发生什么？核心 idea：彻底摒弃显式模态融合，采用独立单模态网络构建异构深度集成（HeDEs），通过单模态验证损失的比率自适应分配各模态网络配额，在同等参数量下从根源上消除模态竞争，实现显著超越复杂联合融合模型的分类精度、校准度与可扩展性。

方法详解¶

整体框架¶

本文提出的方法流程极为简洁清晰：整个系统由若干个在各单一模态上独立初始化的单模态分类器组成，在训练阶段各模态网络互不相干、无联合反向传播与梯度干扰；在推理阶段，所有单模态网络直接输出预测 Logits，系统根据基于单模态验证损失计算得到的启发式配比加权平均得到最终预测。整个流程涵盖三项关键技术设计：基于验证损失倒数的无穷举网络配额启发式分配、无显式交互的单模态网络独立并行训练、以及直接在 Logits 空间平均的跨模态决策集成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多模态输入样本 (x¹, x², ..., xᴹ)"] --> Spl["单模态数据独立分发"]
    Spl --> D1["1. 损失引导的模型配额分配<br/>基于单模态验证损失 l_i 计算各模态模型数 n_i"]
    D1 --> D2["2. 单模态独立特征学习<br/>M 个模态并行训练 n_i 个单模态分类器 g_i^(k)"]
    D2 --> D3["3. 未归一化 Logits 集成<br/>直接聚合各网络输出 Logits 避免置信度过拟合偏差"]
    D3 --> Out["最终分类预测结果"]

关键设计¶

1. 损失引导的模型配额分配：消除超参数穷举的高效模型配比

在构建总规模为 \(N_{\text{ens}}\) 的异构深度集成（Heterogeneous Deep Ensemble, HeDE）时，核心问题在于如何在不同模态之间分配子网络数量 \(n_1, n_2, \dots, n_M\)（满足 \(\sum_{i=1}^M n_i = N_{\text{ens}}\)）。若采用网格搜索穷举组合，计算开销将随模态数与集成规模爆炸。本文揭示单模态分类器在验证集上的交叉熵损失 \(l_i\) 本质上反映了条件熵 \(H(Y|X_i)\)，即在已知模态 \(X_i\) 条件下预测标签 \(Y\) 的不确定性与剩余信息量。损失越低，说明该模态的信息增益越大、预测能力越强。

为此，本文设计了一种根据单模态验证损失倒数按比例分配集成容量的解析启发式准则。各模态被分配的模型数量 \(n_i\) 定义为：

\[n_i = \text{round}\left(N_{\text{ens}} \frac{1/l_i}{\sum_{j=1}^M 1/l_j}\right)\]

为了严格保证所有分配数量相加恰好等于 \(N_{\text{ens}}\)，本文采用最大余数法（Largest Remainder Method）处理取整余数，遇平局优先偏向验证损失更小的强模态。这一机制在极端模态失衡下具有优雅的自适应行为：当集成规模很小（如 \(N_{\text{ens}}=2\)）且模态严重失衡时，启发式会自动退化为全部分配给强模态的同构集成（HoDE），避免极弱模态拉低整体表现；而当集成规模增大（如 \(N_{\text{ens}} \ge 4\)）时，弱模态开始被分配到网络名额，异构集成随即发挥互补优势实现反超。

2. 单模态独立特征学习：彻底解耦多模态特征提取以消除优化冲突

传统晚期融合与中间融合网络将所有模态的特征抽取器耦合在同一计算图内，梯度通过联合分类头反向传播至各个分支。当各模态的信息丰富度或收敛速率不同时，易学模态或强模态迅速降低损失，导致较慢或较弱模态的梯度过早消失或陷入病态震荡（即所谓“模态贪婪现象”）。即便使用复杂的动态梯度阻尼或流形惩罚，也仅是对该结构缺陷的后验补丁。

本文彻底斩断分支间的优化耦合，将每个模态的分类器表示为 \(g_i^{(k)} = L_i^{(k)} \circ f_i^{(k)}\)，其中 \(f_i^{(k)}: \mathbb{R}^{d_i} \to \mathbb{R}^{d_i'}\) 为特征提取器，\(L_i^{(k)}: \mathbb{R}^{d_i'} \to \mathbb{R}^C\) 为独立的单模态线性分类头。每个分类器使用不同的随机种子独立初始化并在完整的单一模态数据流上端到端训练。在相同总参数量下（例如 2 个单模态 ResNet 对比一个含 2 个 ResNet 骨干的晚期融合模型），单模态训练不仅显存占用减半且能完全并行化，更确保了每个单模态网络都能在各自的数据几何流形上充分收敛到不同的局部极小点，最大化集成多样性。

3. 未归一化 Logits 集成：保持未饱和置信度以获取优异校准与鲁棒决策

在集成输出的汇聚方式上，常规机器学习方法往往默认对 Softmax 后的预测概率分布进行平均。然而，深层神经网络经过交叉熵训练后普遍存在输出概率过度自信（Overconfident）的现象，且弱模态容易由于较差的泛化性输出分布扭曲的概率极值，直接平均会导致校准偏差被灾难性放大。

本文证明在异构深度集成中，直接对未归一化的原始 Logits 进行等权算术平均具有显著优势：

\[h_{\text{ens}}(x_j^1, \dots, x_j^M) = \frac{1}{N_{\text{ens}}} \sum_{i=1}^M \sum_{k=1}^{n_i} g_i^{(k)}(x_j^i)\]

相较于概率平均，Logit 聚合在数学上等价于未加权几何平均概率，能够有效平抑单一分类器由极端概率导致的误判饱和，保留各模型在不同类别上的相对间距信息。该机制无需进行复杂的后验温度缩放（Temperature Scaling），即可在多种模态失衡与噪声腐蚀场景下天然输出极低的期望校准误差（ECE）。

损失函数 / 训练策略¶

每个单模态网络 \(g_i^{(k)}\) 均使用常规标准多分类交叉熵损失独立优化：

\[\mathcal{L}_{\text{CE}}^{(i, k)} = -\frac{1}{N} \sum_{j=1}^N \log \left( \frac{\exp(g_i^{(k)}(x_j^i)_{y_j})}{\sum_{c=1}^C \exp(g_i^{(k)}(x_j^i)_c)} \right)\]

模型优化过程无需任何辅助对比损失、跨模态正则项或梯度截断超参数。CIFAR-100 上 ResNet-18 采用 SGD（动量 0.9，权重衰减 \(5\times 10^{-4}\)，初始学习率 0.1 经 100 epoch 线性衰减至 \(10^{-3}\)，Batch Size 256）；ImageNet 上 ResNet-50 采用余弦退火策略；CREMA-D 等多模态数据集严格按照无跨身份数据泄漏（Data Leakage）的标准分割独立训练。

实验关键数据¶

主实验¶

在真实多模态基准 CREMA-D（音频+视频情感分类，严格 Actor 隔离无泄漏数据分割）上，将同等参数量的深度集成与一系列专为缓解模态失衡而设计的最新晚期融合方法进行全面评测。此外，在合成双模态 CIFAR-100（50%-50% 平衡分割）及 ImageNet-1K 上对比各融合模型：

数据集	指标	本文 HeDE	强模态 HoDE	传统晚期融合 (Vanilla LF)	之前最强融合基线	本文相对 SOTA 提升
CREMA-D (无数据泄漏)	Top-1 准确率 (%)	71.1 ± 3.1	62.8 ± 1.5	56.7 ± 1.6	65.0 ± 1.6 (AUG)	+6.1%
CREMA-D (无数据泄漏)	Top-1 准确率 (%)	71.1 ± 3.1	62.8 ± 1.5	56.7 ± 1.6	61.7 ± 0.7 (ReconBoost)	+9.4%
CIFAR-100 (0.5–0.5)	Top-1 准确率 (%)	86.9 ± 0.2	71.6 ± 0.2	82.5 ± 0.4	82.5 ± 0.4 (Vanilla LF)	+4.4%
ImageNet-1K (0.5–0.5)	Top-1 准确率 (%)	86.8 ± 0.1	71.8 ± 0.1	84.3 ± 0.1	84.3 ± 0.1 (Vanilla LF)	+2.5%

注：CREMA-D 评估中，所有模型均为同等参数量（单模型晚期融合 vs 双单模态集成 HeDE(2)）。此前顶会方法在有数据泄漏的分割下虚高（如 AUG 达 80.9%），但在消除 Actor 重叠的真实测评中全部大幅暴跌。

消融与扩展实验¶

在不同跨模态融合机制（包括引入 MMTM 模块的中间融合、跨注意力机制、以及融合单模态与多模态输出的混合方法 I2M2）和不同模态失衡度下的系统对比：

数据集与失衡配置	对比模型 / 变体	准确率 (%)	关键发现与机制解释
CIFAR-100 (0.05–0.95 极度失衡)	Vanilla LF MMTM-1 (第4层融合) MMTM-2 (第3-4层融合) HoDE(2) (强模态同构集成) HeDE(2) (异构集成)	34.0 ± 1.5 35.3 ± 0.6 33.6 ± 0.3 78.5 ± 0.2 74.1 ± 0.3	极度失衡且容量较小时，联合训练的融合网络崩塌，强模态集成占优；启发式准确预测此偏向
CIFAR-100 (0.05–0.95 扩展容量)	Vanilla LF (\(N=2\)) HoDE (\(N=4\)) HeDE (\(N=4\))	37.5 ± 1.0 80.2 ± 0.2 82.0 ± 0.2	转折点出现：当集成规模从 2 扩增至 4 时，HeDE 反超 HoDE，证明弱模态信息被充分吸纳
CIFAR-100 (0.05–0.95)	混合模型 I2M2 [37] HeDE(4)	74.9 ± 0.5 82.0 ± 0.2	同参数量下，纯单模态集成显著击败融合了多模态网络的混合范式 (+7.1%)
ImageNet (0.01–0.99 极度失衡)	混合模型 I2M2 [37] HeDE(4)	62.4 ± 0.2 77.7 ± 0.1	规模进一步扩大至 ImageNet 时，HeDE 领先混合多模态方法多达 15.3%
CREMA-D (A-V-1-frame)	概率平均 (未校准) 概率平均 (温度校准) Logit 算术平均 (本文)	67.2 ± 2.5 69.5 ± 2.1 71.1 ± 3.1	Logit 空间平均全面优于概率空间平均，且对极端概率畸变具有极高鲁棒性

关键发现¶

极度失衡下的规模相变效应：在模态强度极不均等的极端情况下（如 5% vs 95% 数据量），当总集成数较小（\(N=2\)）时，全用强模态的 HoDE 表现优于混入弱模态的 HeDE；但一旦集成容量扩展（\(N \ge 4\)），HeDE 便全面超越 HoDE 与所有联合融合网络。本文提出的损失倒数启发式准确预测了这一相变拐点。
融合表征的反向抑制本质：剖析晚期融合模型内部两个独立 Encoder 的精度发现，在极度失衡场景下，联合优化的 Encoder 性能甚至显著低于单独训练的单模态网络（如表 5 中 18.9% 对比 76.3%），印证了端到端联合训练会导致较强模态特征被过早收敛的损失梯度所扼杀。
可预测的渐近缩放法则：固定模态配比角度 \(\theta\)，HeDE 的测试损失严格服从幂律缩放 \(L_N(\theta) = L_\infty(\theta) + A(\theta)/N^{\alpha(\theta)}\)。单模态网络的验证对数损失能以 \(R^2=0.96\) 的极高精度线性拟合最优渐近损失 \(L_\infty(\theta_{\text{opt}})\)，实现零集成训练下的性能预估。

亮点与洞察¶

反潮流的极简主义设计：无需复杂的对抗博弈、流形正则或动态梯度调整，直接训练无交互的单模态网络并平均 Logits，全面击败了近五年几乎所有复杂的模态平衡策略，具有强大的理论颠覆性与工程可复用性。
免穷举的解析配比启发式：将单模态交叉熵损失与条件熵不确定性建立映射，以反比公式一键锁定最优模态模型名额，无需网格搜索，直接解决了多模态集成在组合爆炸下的工程瓶颈。
揭露 CREMA-D 历史评估重大缺陷：作者严格指出此前大量顶会论文在 CREMA-D 上存在 Actor 跨划分泄漏问题，重新建立了纯净 baseline，为后续多模态基准评测提供了严谨范本。

局限与展望¶

实例级细粒度互补性受限：由于方法完全不存在跨模态底层特征交叉，当任务本质依赖极强的高阶细粒度交互（如必须同时看到局部像素与特定音频音调才能判别的实例级对齐任务）时，纯 Logit 集成可能难以捕获复杂的非线性协同特征。
推断计算与显存开销：随着集成规模 \(N\) 增大，虽然训练可以完全多卡并行，但部署时的推理 FLOPs 和内存带宽需求会成倍上升，后续需探索面向异构集成的跨模态知识蒸馏或权重合并（Model Soup）技术。
合成基准的收敛特性耦合：当前合成多模态数据集的收敛速度与模态泛化能力通过样本规模绑定变化，尚无法完全独立解耦调控不同模态的训练动态。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了多模态学习必须依赖显式特征融合的思维惯性，概念清晰且直击本质。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成双模态/三模态 CIFAR/ImageNet、以及真实音频-视频/文本-图像基准，揭露历史数据泄漏并给出严谨统计方差。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进环环相扣，图表详实且对反常识现象剖析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为模态失衡问题确立了全新的强大 Baseline，并为多模态系统的实际工程部署提供了高鲁棒、低耦合的范式。