Are We Making Progress in Multimodal Domain Generalization? A Comprehensive Benchmark Study¶

会议: NeurIPS 2026
arXiv: 2605.06643
代码: https://github.com/lihongzhao99/MMDG_Benchmark
领域: 多模态VLM
关键词: 多模态领域泛化, MMDG-Bench, 鲁棒性评测, 模态缺失, 可信度评测

一句话总结¶

构建了首个涵盖 6 个数据集、3 大任务、6 种模态组合及 9 种代表性方法的统一评测基准 MMDG-Bench，在训练 7,402 个模型后揭示出专用方法相较强 ERM 提升微弱、模态竞争导致三模态收益不稳定、在数据损坏与模态缺失下严重衰退且预测准确率与模型可信度脱节等核心事实。

研究背景与动机¶

多模态学习通过融合视频、音频、光流、文本或振动信号等互补信息，在具身动作识别、故障诊断和情感计算等领域取得了令人瞩目的在域表现。然而，现实部署环境中的跨域分布偏移——如环境光照与视角变化、工业工况变动以及跨语言文化差异——极易导致多模态系统性能断崖式下跌。为此，近年来多模态领域泛化（Multimodal Domain Generalization, MMDG）成为热门研究方向，大量针对表征解耦、梯度调制、相对范数对齐或平坦度优化的专用方法竞相涌现并宣称取得了稳健的经验收益。

然而，这些被报道的性能增益究竟是源于本质的算法突破，还是不一致评测协议所带来的虚假繁荣？在单模态领域泛化领域，DomainBed 基准曾深刻证明，经过充分微调的经验风险最小化（ERM）足以匹敌甚至超越大量精巧设计的专用算法。反观当前的 MMDG 领域，评测实践极度碎片化：研究高度集中于以厨房场景为主的动作识别，数据划分、骨干网络、超参调优和模型选择标准各行其是；更重要的是，现有评测严重脱离真实部署场景，普遍忽视了传感器损坏、推理期模态缺失以及错误分类检测（MisD）和分布外检测（OOD）等模型可信度维度。

为了终结这种无标准可循的虚火评估，建立一个涵盖多任务、多模态组合、多退化维度的严格测试床势在必行。核心 idea：构建多模态领域泛化统一基准 MMDG-Bench，标准化数据流、超参搜索与域内模型选择，从跨域泛化、输入损坏、模态缺失和模型可信度四个正交维度系统重估 9 种代表性方法，揭示现有专用算法的真实效能边界并提炼出可落地的实用工程准则。

方法详解¶

整体框架¶

MMDG-Bench 构建了一套包含任务多维覆盖、严格受控训练、多维退化评测与可信度探针的标准化评测体系。系统首先统一了六大代表性数据集，横跨动作识别（EPIC-Kitchens、HAC）、机械故障诊断（HUST Motor）和情感分析（CMU-MOSI、CMU-MOSEI、CH-SIMS），分别对应环境偏移、风格与外观偏移、工况转速偏移及跨语言文化偏移四类典型分布变化；覆盖单源与多源（留一域）泛化协议，以及双模态与三模态共 6 种输入组合。

在评测执行中，所有算法统一在相同的骨干特征提取器、优化器和批次预算下训练；严禁使用任何目标域样本，模型选择严格遵循源域验证策略（training-domain validation），并在选出最优超参后使用多随机种子独立复现取均值。除标准跨域精度外，基准注入了真实扰动测试（音频风噪、视频散焦模糊、高斯噪声）、推理期模态剔除以及基于不确定性置信度的错误分类/OOD 样本判别。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多源异构输入<br/>视频/音频/光流/文本/振动"] --> B["标准化训练与超参搜索协议<br/>统一骨干 + 10轮随机搜索 + 仅源域验证"]
    B --> C["9 种代表性算法横向对齐<br/>ERM / RNA-Net / SimMMDG / MOOSA / CMRF / NEL / JAT / MBCD / GMP"]
    C --> D["四维鲁棒性与可信度联合探针<br/>干净跨域 / 真实损坏 / 模态缺失 / 误分类与 OOD 检测"]
    D --> E["五大关键发现与实战工程准则<br/>数据多样性优先 / 竞争感知融合 / 文本语义锚定 / 随机模态丢弃"]

关键设计¶

1. 消除评测偏置的标准化实验协议与算法全谱对齐 针对既往文献中因骨干容量差异、超参调优偏心和模型选择作弊（如偷看目标域数据）导致的虚假进展，MMDG-Bench 强制拉平全部外部变量。对于动作识别，视频采用 Kinetics-400 预训练的 SlowFast，音频采用 VGGSound 预训练的 ResNet-18，光流采用 Kinetics 初始化的 SlowFast 纯慢路分支；故障诊断采用统一四层一维卷积；情感分析采用统一 BERT 文本表征、LibROSA 音频特征与 OpenFace 面部特征配合 Transformer 编码器。每个算法-数据集对均评估默认超参并进行 10 轮无偏随机超参搜索，模型完全依据留出源域验证集选择最优超参，再经 3 个随机种子独立复现计算均值与方差。共训练 7,402 个神经网络，在统一坐标系下对齐了经验风险最小化（ERM）、相对范数对齐（RNA-Net）、共享-私有特征解耦（SimMMDG）、自监督预训练平衡（MOOSA）、锐度平坦化蒸馏（CMRF）、非极化嵌入（NEL）、域模态对抗（JAT）、协作蒸馏（MBCD）与梯度调制投影（GMP）。

2. 真实传感器退化：环境损坏与推理期模态缺失评估 真实环境中的传感器往往遭遇噪声污染或完全失灵，而先前工作普遍假设测试期模态完整且干净。MMDG-Bench 引入了两套正交的退化探针：其一是物理环境损坏，针对音频施加风噪，针对视频输入施加散焦模糊，针对一维时序信号注入高斯噪声，直接量化干净环境与损坏环境之间的相对衰减幅度；其二是极端模态缺失测试，在保留全模态训练模型的前提下，在测试阶段硬性屏蔽主模态（如视频、振动）或辅助模态（如音频、文本），以此探查多模态融合网络在面临单路失效时的断裂程度与模态依赖层级。

3. 首度引入的可信度正交探针：误分类检测与分布外样本识别 高准确率不等于模型具备可靠的置信度校准。MMDG-Bench 首次将可信度评估规范化引入 MMDG，包含错误分类检测（MisD）与分布外检测（OOD）。在误分类检测中，基准探查模型是否具备“知其不知”的能力，采用风险-覆盖曲线下面积（AURC）、AUROC 以及真阳性率为 95% 时的假阳性率（FPR95）衡量预测置信度与分类正确性的一致性；在 OOD 检测中，以源域训练数据类别为在域分布，以语义完全相异的任务样本（例如以 HAC 动作域为在域、EPIC-Kitchens 厨房动作为 OOD）测试跨模态表征对离群特征的拒识能力。评测证实 MisD 与 OOD 属于非冗余的评估维度，揭示了算法在精度与可信度之间的隐性妥协。

4. 基于归因诊断提炼的前瞻性实战准则 通过对大规模评测数据的归因，论文提炼出四条可直接落地的实践指南： - 语义锚定替代几何正交：解耦算法（如 SimMMDG）传统上仅靠向量正交性或 \(L_2\) 距离拉开共享与私有特征，缺乏语义约束；MMDG-Bench 提出利用多模态基础模型（如 CLIP）文本空间，构建特定模态提示词与模态无关提示词作为语义锚点对齐特征，使解耦表征兼具语义可解释性与跨域鲁棒性。 - 随机模态丢弃（RMD）抵御测试期缺失：多源训练会诱导模型极度依赖训练期判别力最强的主模态。在训练期对源域数据引入随机模态丢弃，能够在几乎不损失全模态上限的前提下大幅提升辅助模态独立推理时的底线精度。 - 数据多样性收益远压算法调优：单源到多源的域多样性扩充所带来的泛化红利，在各任务上均显著超越了在固定单源上替换专用 MMDG 算法的收益。 - 模态竞争感知融合：三模态融合绝非总能带来性能增益；除非采用 CMRF、MBCD、GMP 等显式处理模态竞争的算法，否则应优先默认采用最强双模态组合。

损失函数 / 训练策略¶

评测涵盖的各算法在其各自核心优化目标下统一运行： - ERM 基线：对多源域数据做经验池化，直接最小化多源交叉熵分类损失 \(\mathcal{L}_{\text{cls}}\)。 - 超参搜索空间：统一在规范化区间进行无偏均匀采样（如 RNA-Net 的 \(\alpha_{\text{RNA}} \in [0, 3]\)；SimMMDG 的对比损失权重 \(\alpha_{\text{contrast}} \in [0, 5]\) 与解耦正交系数；CMRF 的蒸馏系数与平坦化插值系数；JAT 的双对抗梯度反转系数；MBCD 的 EMA 动量 \(\beta \in [0.9, 1.0]\) 等）。 - 模型选取与验证策略：严格遵循留出源域验证策略，即 \(Ns\) 个源域中各切分固定验证子集，以全源域验证集的平均分类精度（或情感分析的 MAE）作为 Early Stopping 及超参挑选的唯一依据，杜绝测试域信息泄露。

实验关键数据¶

主实验¶

在统一评测协议下，跨域动作识别多源 MMDG（多源留一域）结果如下表所示。各专用算法相比经典 ERM 基线仅取得极为有限的微弱优势，且没有任何一种方法能够在所有跨域转移中持续占优。

模态配置	方法	EPIC-Kitchens (Mean Acc %)	HAC (Mean Acc %)	Oracle 参照 (Mean Acc %)	相对 ERM 净提升 (EPIC / HAC)
Video + Audio	ERM	59.78	68.93	71.05 / 92.81	基准 (0.00 / 0.00)
Video + Audio	RNA-Net	59.37	68.75	71.05 / 92.81	-0.41 / -0.18
Video + Audio	SimMMDG	63.44	70.81	71.05 / 92.81	+3.66 / +1.88
Video + Audio	MOOSA	63.76	70.95	71.05 / 92.81	+3.98 / +2.02
Video + Audio	CMRF	63.62	69.35	71.05 / 92.81	+3.84 / +0.42
Video + Audio	NEL	61.31	67.94	71.05 / 92.81	+1.53 / -0.99
Video + Audio	JAT	62.98	69.75	71.05 / 92.81	+3.20 / +0.82
Video + Audio	MBCD	64.87	70.17	71.05 / 92.81	+5.09 / +1.24
Video + Audio	GMP	62.63	68.72	71.05 / 92.81	+2.85 / -0.21
Video + Flow	ERM	62.88	68.11	75.58 / 91.95	基准 (0.00 / 0.00)
Video + Flow	MOOSA	65.31	71.29	75.58 / 91.95	+2.43 / +3.18
Video + Flow	MBCD	67.20	70.71	75.58 / 91.95	+4.32 / +2.60
Audio + Flow	ERM	57.32	55.60	69.17 / 80.26	基准 (0.00 / 0.00)
Audio + Flow	MBCD	62.90	58.79	69.17 / 80.26	+5.58 / +3.19
Video + Audio + Flow	ERM	63.02	67.89	74.54 / 91.67	基准 (0.00 / 0.00)
Video + Audio + Flow	SimMMDG	68.09	69.38	74.54 / 91.67	+5.07 / +1.49
Video + Audio + Flow	MOOSA	67.51	70.17	74.54 / 91.67	+4.49 / +2.28
Video + Audio + Flow	CMRF	67.11	71.41	74.54 / 91.67	+4.09 / +3.52
Video + Audio + Flow	MBCD	67.34	71.30	74.54 / 91.67	+4.32 / +3.41

机械故障诊断（HUST Motor，振动+声音）与多模态情感分析（MOSI/MOSEI/SIMS）主结果： - 故障诊断（四工况留一域）：ERM 均值 69.90%；MOOSA 达到 78.23%，GMP 达到 77.47%，CMRF 为 74.94%，而动作识别上表现强劲的 MBCD 跌落至 69.14%（甚至低于 ERM），Oracle 上限高达 99.87%。 - 情感分析跨语言跨数据集泛化：MOOSA ACC2 均值为 66.60%，仅比简单池化的 ERM（65.63%）高出不到 1 个百分点；而 SimMMDG（64.68%）、MBCD（62.34%）和 GMP（62.35%）在均值 ACC2 上均明显跑输 ERM，暴露出严重的跨任务负迁移。

消融实验¶

基于诊断分析所提出的实战改进策略验证（以 HAC 数据集多源 MMDG 为例）：

验证配置 / 策略	V+A Acc (%)	V+F Acc (%)	A+F Acc (%)	V+A+F Acc (%)	说明
基线 SimMMDG	70.81	69.83	56.75	69.38	纯几何正交解耦
SimMMDG + 文本语义锚定	71.52 (+0.71)	71.97 (+2.14)	59.69 (+2.94)	70.98 (+1.60)	引入模态与类别解耦 Prompt 语义约束
ERM (完整 V+A)	68.93	-	-	-	干净全模态 baseline
ERM 测试期仅保留视频 (缺失音频)	67.10 (-1.83)	-	-	-	缺失弱模态性能轻微扰动
ERM 测试期仅保留音频 (缺失视频)	28.54 (-40.39)	-	-	-	缺失主模态出现断崖式暴跌
RMD-ERM (随机模态丢弃训练)	68.88 (-0.05)	-	-	-	保持全模态上限基本不降
RMD-ERM 测试期仅保留视频	68.17 (+1.07)	-	-	-	相比 ERM 缺失测试提升 1.07%
RMD-ERM 测试期仅保留音频	32.68 (+4.14)	-	-	-	相比 ERM 缺失测试挽回 4.14% 精度

关键发现¶

专用方法优势微弱且方差大：领先方法（如 MOOSA 70.95%、SimMMDG 70.81%、MBCD 70.17%）在多随机种子下的标准差在 0.95%~1.26% 之间，两两优势均在方差噪声区间内；各方法在跨任务间排名急剧震荡，无一方法能够通吃所有模态与任务家族。
三模态并非必然超越双模态：在 HAC 数据集上，V+A+F 相比 V+F 仅在 5 种算法中实现提升；ERM、SimMMDG 和 MOOSA 引入光流后表现停滞甚至下滑（MOOSA 从 71.29% 下降至 70.17%），唯有显式建模模态竞争的算法（CMRF +1.36%、MBCD +0.59%、GMP +0.92%）能持续获得正向增益。
模态等级制度与脆弱性倒挂：推理期剔除辅助模态（音频）仅导致模型微跌 0.32~3.20 个百分点，而在某些域转移中剔除音频甚至反而涨点；一旦剔除主模态（视频），所有模型性能暴跌 36.50~43.93 个百分点。在视频受到散焦模糊损坏时，干净域表现优异的 SimMMDG 排名从第二跌至第七，说明基于干净域统计量的特征对齐严重过拟合。
准确率与模型可信度严重脱节：在 HAC 误分类检测上，SimMMDG 取得最优 AURC（121.35）与 AUROC（82.56%），而分类精度名列前茅的 CMRF 在误分类检测所有指标上垫底（AURC 170.71, AUROC 78.96%）；反之，CMRF 在 OOD 检测上又跃居前列（AUROC 59.45%），揭示了错误识别与分布外拒识机制的正交性。

亮点与洞察¶

将单模态 DomainBed 的评测哲学拓展至复杂多模态环境，指出了当前领域中“刷榜算法跑赢 ERM 实际主要源于超参调优偏心与协议漏洞”的核心弊病。
确立了 MMDG 的模态支配等级定律，通过更换强力音频骨干（AST）对比实验，有力证实了模态主次差异是由跨域可迁移辨识力本质决定的，而非浅层特征抽取器的容量缺陷。
提出了基于文本大模型嵌入作为先验语义锚点的低成本改良方案，无需重构网络即可使解耦特征具备物理语义，为后纯视觉时代的多模态泛化提供了极其易复用的范式。

局限与展望¶

任务覆盖目前集中于判别式分类与连续回归任务，尚未包含多模态检索、开放词表分割以及多模态生成等前沿场景。
传感器损坏评估套件目前仅选取了风噪、散焦模糊和高斯噪声等代表性扰动，未来需进一步扩展至多模态对抗攻击与更细粒度的组合物理损坏。
大模型零样本对比显示，CLIP 在风格域偏移（HAC）上展现出惊人的跨域零样本迁移（ViT-L/14 达到 91.08%），但面对细粒度第一人称动作（EPIC-Kitchens）及非视觉工况信号时依然无能为力，探索基础模型表征微调与 MMDG 算法的结合是关键突破口。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立全面、严谨、多维度的 MMDG 统一评测基准，全面打破此前碎片化评测的局限。
实验充分度: ⭐⭐⭐⭐⭐ 训练逾 7,400 个模型，覆盖 6 大数据集、6 种模态组合、9 种主流算法及单/多源、退化、可信度全套实验。
写作质量: ⭐⭐⭐⭐⭐ 论证结构缜密，逻辑层层递进，归因诊断清晰，图表数据详实。
价值: ⭐⭐⭐⭐⭐ 为多模态鲁棒泛化领域拨云见日，所提出的实用准则与开源基准对学术界和工业界均有重大指导意义。