MSCR: Jointly Balancing Utilization Across Modalities and Discovering Synergistic Information¶

会议: NeurIPS 2026
arXiv: 2610.24395
代码: https://github.com/chenxinyu991-collab/MSCR
领域: 其他
关键词: 多模态融合, 模态不平衡, 协同信息发现, 竞争正则化, 自适应门控

一句话总结¶

针对多模态学习中模态不平衡压制跨模态协同信息生成的问题，本文提出多模态协同竞争正则化器（MSCR），通过抑制单模态过度主导并显式奖励超越单模态独立集成基线的协同预测增益，在五个基准上显著提升了跨模态协同恢复能力与整体性能。

研究背景与动机¶

多模态学习旨在结合视觉、音频、文本等异构信号的互补信息以提升下游任务表现，但联合训练过程中普遍存在模态不平衡现象：模型极易过度依赖某个信息丰富或优化难度较低的主导模态，从而抑制了对其他模态及深层跨模态交互特征的学习。近年来，诸如多模态竞争正则化器（MCR）等基于动态调控或特征扰动的平衡方法，通过将各模态编码器建模为最大化自身重要性的贪婪竞争博弈，有效缓解了模态利用率失衡问题。

然而，现有的动态平衡方法大多仅着眼于在训练阶段调整各模态在全局目标中的梯度贡献或重要性权重，忽略了模态失衡与纯粹竞争机制对跨模态协同信息（Synergistic Information）生成的负面影响。根据部分信息分解（PID）理论，任务相关信息可解构为模态独有、冗余及协同信息三部分；其中协同信息是必须联合观测各模态才能涌现的预测增益（例如仅凭语调或面部表情均难以断定讽刺，只有音视频协同才能判别）。若模型仅通过竞争强化各单模态独有或冗余特征，融合瓶颈仍会被单模态证据填满，导致模型无法习得非单模态证据所能解释的协同表征。

本文的切入点在于将模态平衡与协同信息的主动挖掘解耦并联合优化：不仅要从融合表征中压制任一单模态的过度主导，为跨模态交互预留出表征容量，还必须为联合预测设立一个显式的协作收益约束。核心 idea：提出轻量级多模态协同竞争正则化器（MSCR），通过对特征敏感度施加平滑最大抑制以打破单模态主导，同时引入基于单模态加法集成的对比边界显式奖励协同增益，并辅以样本级能力感知自适应门控聚焦于单模态失效的困难样本。

方法详解¶

整体框架¶

MSCR 作为一个专作用于融合网络（Fusion Network）的轻量级正则化组件，在保持模态编码器各自更新的同时，通过对融合瓶颈实施针对性约束来促进协同特征的涌现。整体训练架构中，编码器提取的单模态特征分别输入单模态辅助预测器和联合融合网络；MSCR 在训练特定区间激活，通过对潜空间特征进行批次内置换来评估各模态敏感度，并构建单模态独立平均决策作为加法参考基线，最后经由能力感知门控按样本难度自适应加权并反向传播至融合模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入多模态数据<br/>(X1, X2)"] --> Enc["模态特定编码器<br/>(f1, f2)"]
    Enc --> Feat["潜空间特征与辅助预测<br/>(z1, z2) 及 (p1, p2)"]
    Feat --> Detach["截断编码器梯度<br/>特征分离 sg(z1), sg(z2)"]
    Detach --> Shuf["批次内特征置换<br/>生成扰动特征 (z~1, z~2)"]
    Detach --> Joint["融合网络联合前向<br/>p_joint = fc(z1, z2)"]
    Shuf --> Perturb["抗主导敏感度评估<br/>计算 JSD 扰动差异 (s1, s2)"]
    Perturb --> SmoothMax["1. 平滑最大抗主导损失：抑制单模态垄断<br/>L_dom = smoothmax(s1, s2)"]
    Feat --> Ref["构建加法独立基准<br/>p_ref = 0.5 * (p1 + p2)"]
    Joint --> SynLoss["2. 边界驱动协同增益损失：促使超越单模态集成<br/>L_syn = max(0, m + l_joint - l_ref)"]
    Ref --> SynLoss
    Feat --> Gate["3. 能力感知自适应门控：聚焦单模态失效样本<br/>g = σ(κ * (l_best - τ))"]
    SmoothMax --> Combine["融合损失加权组合<br/>g * (λ_dom * L_dom + λ_syn * L_syn)"]
    SynLoss --> Combine
    Gate --> Combine
    Combine --> Out["仅更新融合网络 fc 参数<br/>(不干扰模态编码器)"]

关键设计¶

1. 平滑最大抗主导损失：抑制单模态垄断并释放表征容量

在多模态联合优化过程中，融合层往往会迅速过度拟合性能较强或收敛较快的主导模态，导致预测输出对该模态呈现极高的依赖性，挤占了融合网络捕获跨模态协同信号的表征空间。为定量刻画融合网络对各模态的依赖程度，MSCR 在潜空间对特征沿 batch 维度进行独立随机置换，得到打乱模态对齐关系的扰动特征 \(\tilde{\mathbf{z}}_1\) 和 \(\tilde{\mathbf{z}}_2\)。将真实特征与扰动特征组合送入融合层得到置换预测输出 \(p_{\text{shuf}1} = f_c(\tilde{\mathbf{z}}_1, \mathbf{z}_2)\)，并通过 Jensen-Shannon 散度（JSD）度量原始联合预测分布 \(p_{\text{joint}}\) 与扰动预测分布的差异，以此作为模态敏感度指标 \(s_i\)：

\[s_i = \text{JSD}(p_{\text{joint}} \parallel p_{\text{shuf}i}) = \frac{1}{2}\text{KL}(p_{\text{joint}} \parallel \bar{p}_i) + \frac{1}{2}\text{KL}(p_{\text{shuf}i} \parallel \bar{p}_i), \quad i \in \{1, 2\}\]

若某一模态被扰动后联合预测剧烈偏移，则对应 \(s_i\) 显著偏大，表明融合网络存在严重的主导性依赖。为避免硬最大值操作带来的梯度震荡，MSCR 采用可微的 smoothmax 算子聚合所有模态的敏感度，构造抗主导损失 \(\mathcal{L}_{\text{dom}} = \frac{1}{\tau_{\text{dom}}} \log \left(\sum_i \exp(\tau_{\text{dom}} s_i)\right)\)。最小化 \(\mathcal{L}_{\text{dom}}\) 会重点惩罚敏感度最高的单模态，迫使融合层弱化对单一模态的排他性依赖，为跨模态深层交互留出充足的表达冗余度。

2. 边界驱动协同增益损失：促使超越单模态加法集成

单模态主导被削弱并不自然保证融合层能自动发掘有意义的协同交互。如果缺乏协作激励，模型可能仅仅退化为简单的特征叠加或平均，依然无法解决单模态信息盲区下的决策问题。为此，MSCR 定义了一个非协同的显式参考基线——加法单模态参考分布 \(p_{\text{ref}} = \frac{1}{2}(p_1 + p_2)\)，它仅代表各单模态辅助分类器独立预测决策的简单平均。

若融合网络真正挖掘到了协同信息，联合预测损失 \(\ell_{\text{joint}} = \mathcal{L}_{\text{CE}}(p_{\text{joint}}, y)\) 必须显著低于该加法参考基准的交叉熵损失 \(\ell_{\text{ref}} = \mathcal{L}_{\text{CE}}(p_{\text{ref}}, y)\)。基于此，MSCR 引入了基于边界的合页型协同损失目标：

\[\mathcal{L}_{\text{syn}} = \max(0, m + \ell_{\text{joint}} - \ell_{\text{ref}})\]

式中 \(m > 0\) 为预设的安全间隔边界。由于参考基线 \(p_{\text{ref}}\) 在计算协同损失时被截断梯度（stop-gradient），融合网络无法通过人为削弱单模态分支来投机降损，而只能通过提升 \(p_{\text{joint}}\) 对真实标签的判别置信度、挖掘仅在联合输入下成立的协同特征来压低损失。一旦联合损失超出单模态基线达 \(m\) 以上，该样本不再产生协同惩罚，从而避免过度优化。

3. 能力感知自适应门控：聚焦单模态失效样本

并非所有样本都需要同等强度的协同正则化。对于那些至少一个单模态即可高置信度正确分类的简单样本，过度施加协同与抗主导约束可能破坏已学得的单模态有效特征；相反，当两个单模态预测均模糊或出错时，该样本才高度依赖跨模态协同来消除不确定性。MSCR 设计了一个基于样本级单模态能力的自适应平滑门控 \(g \in (0, 1)\)：

\[g = \sigma\left(\kappa \cdot (\ell_{\text{best}} - \tau)\right), \quad \text{其中 } \ell_{\text{best}} = \min(\ell_1, \ell_2)\]

这里 \(\ell_i = \mathcal{L}_{\text{CE}}(p_i, y)\) 代表截断梯度后的辅助单模态分类损失，\(\tau\) 为能力阈值，\(\kappa\) 为门控跃迁锐度。当 \(\ell_{\text{best}} > \tau\)（即哪怕表现最好的单模态也无法准确识别样本，分类概率低于 \(e^{-\tau}\)）时，\(g \to 1\)，门控完全开启，驱动 MSCR 对困难样本施加全力约束；而在单模态充分胜任时（\(\ell_{\text{best}} \ll \tau\)），\(g \to 0\)，正则化关闭，网络主要由标准任务监督损失主导，确保了训练动态的高效与平稳。

损失函数 / 训练策略¶

整个框架端到端训练总目标为：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \mathcal{L}_{\text{MCR}} + \mathcal{L}_{\text{MSCR}}\]

其中 \(\mathcal{L}_{\text{task}}\) 包括联合预测及各单模态辅助分支的交叉熵或 MSE 损失；\(\mathcal{L}_{\text{MCR}}\) 负责模态编码器端的信息竞争与对齐约束；MSCR 正则项定义为：

\[\mathcal{L}_{\text{MSCR}} = \frac{1}{|\mathcal{B}|} \sum_{b \in \mathcal{B}} g^{(b)} \left(\lambda_{\text{dom}} \ell_{\text{dom}}^{(b)} + \lambda_{\text{syn}} \ell_{\text{syn}}^{(b)}\right)\]

在梯度流分配上，计算 MSCR 时输入融合层的特征 \(\mathbf{z}_1, \mathbf{z}_2\)、参考预测 \(p_{\text{ref}}\) 及门控 \(g\) 均执行 stop_gradient，因此 MSCR 的梯度严格限定在更新融合网络 \(f_c\) 参数，与作用于单模态编码器的 MCR 参数更新完全解耦。为保障编码器初步表征成熟，MSCR 在训练中间特定轮次激活（例如 ResNet/Transformer 骨干在第 10 至 30 轮，Conformer 骨干在第 5 至 15 轮）。

实验关键数据¶

主实验¶

在涵盖双模态/三模态分类及回归设定的五个标准基准上，MSCR 与当前前沿的模态平衡与多模态优化方法进行了全面对比（遵循 MCR 评测协议，情感分析任务报告二分类准确率）：

数据集	模态 / 骨干	本文 (MSCR)	之前SOTA (MCR)	提升幅度
CREMA-D	V-A / ResNet	75.7 ± 1.1%	74.5 ± 0.8%	+1.2%
CREMA-D	V-A / Conformer	86.4 ± 0.9%	85.1 ± 0.5%	+1.3%
AVE	V-A / ResNet	74.5 ± 0.2%	73.5 ± 0.0%	+1.0%
AVE	V-A / Conformer	89.3 ± 0.3%	87.4 ± 0.2%	+1.9%
UCF101	V-A / ResNet	54.4 ± 2.4%	52.9 ± 2.4%	+1.5%
CMU-MOSI	V-T / Transformer	76.8 ± 0.8%	75.3 ± 0.7%	+1.5%
CMU-MOSI	V-A-T / Transformer	80.1 ± 0.5%	78.6 ± 0.2%	+1.5%
CMU-MOSEI	V-T / Transformer	81.3 ± 0.5%	80.8 ± 0.4%	+0.5%
CMU-MOSEI	V-A-T / Transformer	81.8 ± 0.6%	81.1 ± 0.4%	+0.7%

消融实验¶

在不同任务与模态配置下针对抗主导目标 \(\mathcal{L}_{\text{dom}}\) 与协同目标 \(\mathcal{L}_{\text{syn}}\) 的组件有效性进行消融分析：

配置	CREMA-D (Conformer)	AVE (Conformer)	UCF101 (ResNet)	MOSI (V-A-T)	MOSEI (V-A-T)	说明
Baseline (仅 MCR)	85.1 ± 0.5%	87.4 ± 0.2%	52.9 ± 2.4%	78.6 ± 0.2%	81.1 ± 0.4%	未引入协同及抗主导机制
仅加入 \(\mathcal{L}_{\text{dom}}\)	85.9 ± 0.6%	88.8 ± 0.4%	53.6 ± 2.2%	79.7 ± 0.5%	81.4 ± 0.4%	抑制单模态垄断释放容量
仅加入 \(\mathcal{L}_{\text{syn}}\)	86.2 ± 0.5%	88.3 ± 0.2%	53.5 ± 2.3%	79.2 ± 0.6%	81.2 ± 0.2%	显式要求超越加法独立基准
Full MSCR (两者结合)	86.4 ± 0.9%	89.3 ± 0.3%	54.4 ± 2.4%	80.1 ± 0.5%	81.8 ± 0.6%	协同抗主导与增益驱动达到最优

关键发现¶

行为层协同恢复率显著跃升：在衡量协同能力的行为学指标条件恢复率（Conditional Recovery，即所有单模态预测均错误的前提下多模态联合预测正确的比率）上，MSCR 相比 MCR 取得断层式领先。例如在 CMU-MOSI (V-T) 设定下从 4.85% 暴涨至 34.35%；在 CREMA-D (Conformer) 下从 5.92% 提升至 9.98%。这直接证明模型性能提升源于攻克了单模态无法单独判别的难样本。
跨模态特征交互归因占比翻倍：通过不依赖标签的模型级 Global InterSHAP 分析，MSCR 在相同网络结构下大幅提升了跨模态交互项在输出行为中的相对贡献。在 CREMA-D (Conformer) 上从 5.22% 提高到 10.31%，AVE 上从 4.74% 提高至 9.16%，表明模型在机制层面更少依赖单一模态的简单捷径。
高阶交互融合模块无法替代该正则化：当融合层替换为表达能力极强的 2 层 Conformer/Transformer 模块时，MCR 在 CREMA-D (Conformer) 上的条件恢复率仅为 11.82%，而 MSCR 仍高达 25.66%。说明网络架构的自注意力交互容量无法自动诱导协同优化动力学，显式协同正则化不可或缺。
即插即用且广泛兼容：独立性实验显示，在剥离全部 MCR 损失仅保留 MSCR 时，模型性能依然超越基础联合训练并媲美 MCR；若将其加载至经典的 OGM 梯度调控算法上，在三项基准上分别提升 1.1%、1.4% 和 1.1%，证明了其作为通用即插即用正则项的泛化价值。

亮点与洞察¶

将模态平衡与协同挖掘解耦：过去的模态平衡工作局限于对单模态梯度的拉扯与抑制，而本文指出“平衡不等于协同”，通过“抗主导清空表征空间 + 加法参考驱动协同涌现”两步式设计，系统性攻克了协同增益受抑的问题。
极具操作性的加法集成参考基准：巧妙利用训练中已有的辅助单模态分类输出均值作为非协同基线 \(p_{\text{ref}}\)，无需额外引入计算沉重的辅助模型或因果中介，以最小开销构造出有效的对比边界。
严格分离梯度路径规避博弈冲突：MSCR 截断了单模态潜特征及基准梯度的反向传播，使其纯粹作为融合层的约束规则存在，从工程架构上规避了与编码器侧竞争平衡算法（如 MCR/OGM）的梯度内耗。

局限与展望¶

参考基准的表征近似局限：作者在总结中坦承，当前协同目标以单模态预测的加法平均作为非协同基线只是一种易于实现的经验近似，在复杂高阶或非线性依赖的多模态交互场景下可能无法完全刻画所有协同形态。
依赖预设时间窗与超参调优：MSCR 必须在训练中期特定 epoch 激活（如第 10~30 轮），若单模态编码器尚未收敛便介入可能导致基准估计失真，如何将其改为全程平滑自适应的调度策略有待深入探索。
理论下界的进一步形式化：未来可结合严谨的信息论部分信息分解（PID）下界推导，构造具备理论收敛保证且计算高效的连续协同度量目标。

评分¶

新颖性: ⭐⭐⭐⭐ [首次明确指出模态平衡算法对协同信息发现的抑制，并提出轻量可微的抗主导与加法协同正则化目标]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 个常用基准、多种骨干网络及双/三模态设置，辅以条件恢复率、InterSHAP 归因和 Transformer 替换实验]
写作质量: ⭐⭐⭐⭐⭐ [动机明确、逻辑链严密连贯、数学表达精确克制且开源实现完整]
价值: ⭐⭐⭐⭐ [对于解决多模态鲁棒感知与融合决策中的模态依赖捷径问题具有极佳的即插即用落地参考价值]