Rethinking Attention Reallocation for Multimodal Emotion Recognition

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/yzl77/ReAR
领域: 多模态 VLM
关键词: 多模态大语言模型、多模态情感识别、注意力重新分配、浅层先验正则化、免训练推理优化

一句话总结

揭示了注意力重新分配在双模态与三模态情感识别中增益方向完全相反的反直觉现象，提出利用结构化浅层注意力作为先验残差来校准深层纠缠注意力的免训练推理方法，在 MER-UniBench 基准上实现 SOTA。

研究背景与动机

随着多模态大语言模型（MLLMs）在开放域推理与生成任务中的长足进展，多模态情感识别（MER）正经历从早期静态分类与视频字幕向具备自然语言解释能力生成式范式的深刻演进。在生成式情感建模中，模型需要综合视频人脸、语音语调与对话文本，自回归地推导并输出角色的细粒度情绪状态与原因。然而，既有多模态研究普遍指出，自回归解码过程存在严重的模态退化与过度自信任倾向：解码器在自回归步中往往为新生成的文本 token 分配过高注意力权重，而系统性忽视了提供核心情感线索的多模态 token（如视频人脸表征、声学特征）。为缓解由此导致的幻觉与遗忘问题，近期主流工作通常引入免训练的注意力重新分配机制，在推理阶段显式将解码器末层的注意力质量从已生成 token 转移到模态 token 上，并证明该操作能带来广泛收益。

然而，现有研究默认该先验在所有多模态交互场景中均普遍有效，忽略了模态数量扩展时注意力动态的质变。本文通过严密对比实验首次揭示了一个反直觉的矛盾现象：将注意力从生成 token 强制重分配到模态 token 的策略，仅在双模态输入（如视频-文本、音频-文本）下能显著提点；一旦迁移到包含视频、音频和文本的三模态及全模态场景，该策略不仅失效，反而导致性能剧烈退化。更令人吃惊的是，在三模态场景中，执行完全相反的分配方向——即把注意力从模态 token 剥离并转移给生成 token——反而能带来性能提升。

深入分析表明，单纯依靠注意力权重的高低并不能真实反映 token 的实际信息贡献。结合注意力权重与值向量 \(L_2\) 范数的贡献度分析表明，在双模态下模态 token 具有足够的信息强度，提升注意力直接放大了真实信息；而在三模态及多模态交互下，复杂的跨模态投影与融合使得深层 Transformer 的注意力分布高度纠缠混叠，深层网络极难将高注意力准确投向真正蕴含丰富信息的关键 token。核心 idea：利用网络浅层保留的清晰结构化跨模态先验，通过 Jensen-Shannon 散度自适应提取最具代表性的初期特征交互层，以残差注入的形式在推理期校准深层高度纠缠的注意力分布。

方法详解

整体框架

本文针对多模态大模型在深层特征融合过程中出现的注意力与信息量脱节、深层注意力高度纠缠的问题，提出了一种即插即用、完全免训练的注意力校准框架（ReAR）。该框架构建在代表性多模态情感大模型（如 AffectGPT，以 Qwen3 为骨干语言模型、结合 CLIP ViT-L 与 HuBERT-L）之上，在完全不修改骨干网络参数、不引入额外可训练结构的前提下，仅于自回归解码推理阶段干预最终层注意力权重。

整体流程包含两个协同核心模块：首先通过浅层注意力提取模块（Shallow Layer Extraction），利用 Jensen-Shannon 散度（JS 散度）计算中间浅层候选集与末层注意力之间的轨迹发散度，动态锁定承载最丰富原始跨模态结构先验的黄金中间层 \(l^*\)；随后通过注意力精炼模块（Attention Refinement），构建浅层与末层之间的注意力残差图 \(\Delta A\)，将其作为梯度修正信号注入末层自注意力矩阵中，并在重归一化后指导后续自回归预测。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>视频/音频/文本/预融合特征"] --> B["浅层 Transformer 块<br/>前向计算中间层注意力分布"]
    B --> C["浅层注意力提取<br/>基于 JS 散度最大化选择最佳先验层 l*"]
    C --> D["深层 Transformer 块<br/>计算高度纠缠的末层注意力 A(L)"]
    D --> E["注意力精炼<br/>构建残差 ΔA = A(l*) - A(L) 并注入校准"]
    E --> F["行归一化与下一 Token 生成<br/>产生准确细粒度情绪判断与解释"]

关键设计

1. 浅层注意力提取：基于注意力轨迹发散度最大化锁定结构化先验层

针对深层跨模态交互导致注意力分布过度纠缠、丧失细粒度原始模态线索的痛点，该设计旨在从自回归解码的初期浅层中自动识别并提取最具结构化表征价值的特征层。作者观察到，随着输入表征在堆叠的 Transformer 层中逐层前传，多模态特征经历从细粒度跨模态对齐到高阶任务语义对齐的演进，在此过程中会产生语义信息瓶颈，导致微弱却关键的情感感知细节被逐步衰减甚至湮灭。为此，设计将浅层中视觉、声学和文本初次发生密集交互的区间定义为多模态形成阶段候选层集合 \(\mathcal{L} = \{l \mid l \in [l_s, l_e)\}\)。为量化各中间层与末层注意力表征之间的语义差异并找出衰减最严重的模态信号，采用对称且平滑的 Jensen-Shannon 散度（\(\mathcal{D}_{JS}\)）度量最终层注意力分布 \(A^{(L)}\) 与候选层注意力分布 \(A^{(l)}\) 之间的分布距离：

\[\mathcal{D}_{JS}(A^{(L)} \parallel A^{(l)}) = \frac{1}{2}\mathrm{KL}(A^{(L)} \parallel M) + \frac{1}{2}\mathrm{KL}(A^{(l)} \parallel M)\]

其中 \(M = \frac{1}{2}(A^{(L)} + A^{(l)})\) 为两个注意力分布的潜在共识分布，\(\mathrm{KL}(\cdot)\) 为 Kullback-Leibler 散度。通过在候选区间内最大化该散度，精准选出与深层语义差异最大、即保留最多深层被抑制原始模态线索的最优先验层 \(l^* = \arg\max_{l \in \mathcal{L}}\mathcal{D}_{JS}(A^{(L)} \parallel A^{(l)})\)。

2. 注意力精炼：以残差先验注入实现深层纠缠注意力的免训练自适应修正

在定位最优先验层 \(l^*\) 后，该设计的核心目标是将浅层中未被污染的结构化注意力模式有效反馈给最终层，消除深层注意力中的混乱纠缠，使注意力重新回归到高信息量的模态 token 上。传统方法直接用浅层替换深层注意力会破坏模型已建立的高级语义推理逻辑，而简单引入均匀先验又缺乏细粒度的模态结构区分度。本文设计定义了注意力残差图 \(\Delta A\) 作为注意力梯度指示信号：

\[\Delta A = A^{(l^*)} - A^{(L)}\]

该残差图直观刻画了模态特异性 token 在深层网络中被过度衰减的权重亏损。通过引入强度缩放超参数 \(g\)，将该差值残差定向补偿回最终层的原始注意力图上：

\[\tilde{A}^{(L)} = A^{(L)} + g \cdot \Delta A\]

为保证注入后的注意力矩阵满足概率分布约束，随后使用归一化算子 \(\Psi(\cdot)\) 对修正后的注意力矩阵逐行进行 Softmax/归一化重映射，确保每行权重和为 1：

\[\tilde{A}^{(L)} \leftarrow \Psi(\tilde{A}^{(L)})\]

通过这种“残差提取-增益注入-概率校正”的轻量化机制，既完整保留了预训练大模型在深层积累的上下文推理能力，又强制唤醒了被掩蔽的关键多模态证据，成功指导输出分类与生成的下一 token 预测。

损失函数 / 训练策略

本方法完全属于免训练（Training-free）推理期算法。基础多模态情感大模型遵循 AffectGPT 的设定：视觉编码器采用 CLIP ViT-L，音频编码器采用 HuBERT-L，骨干语言模型采用 Qwen3。在离线微调阶段，冻结单模态特征提取器参数，仅对 LLM 内部的 LoRA 适配模块、模态投影层以及跨模态预融合分支进行高效微调（AdamW 优化器，学习率 1e-5，批大小 3，最大训练 60 个 epoch）。在实际推理与情绪分析时，直接在最终解码自注意力计算中启用 ReAR 进行即时校准，无需梯度回传或额外参数更新。

实验关键数据

主实验

在统一的多模态情感综合基准 MER-UniBench 上，覆盖基础情感识别（MER2023、MER2024、MELD、IEMOCAP）、情感倾向分析（CMU-MOSI、CMU-MOSEI、CH-SIMS、CH-SIMS v2）及细粒度情感理解（OV-MERD+）共 9 个数据集。以下展示在核心双模态与三模态设定下的代表性主结果对比：

输入模态配置	代表模型	MER2023 (基础)	MELD (基础)	MOSI (情感)	CH-SIMS (情感)	OV-MERD+ (细粒度)	全局平均分 (Avg)
Audio-Text	SALMONN	55.53	45.62	81.00	68.69	45.00	57.89
Audio-Text	AffectGPT	72.94	56.63	83.46	82.99	59.98	72.18
Audio-Text	Ours (ReAR)	75.78	62.74	81.79	87.48	62.33	75.38 (+3.20)
Video-Text	VideoChat2	33.67	36.64	66.84	69.49	39.21	52.67
Video-Text	AffectGPT	74.58	57.63	82.39	87.20	61.65	74.31
Video-Text	Ours (ReAR)	79.48	62.06	82.27	90.72	63.52	76.98 (+2.67)
Video-Audio-Text	PandaGPT	40.21	37.88	61.92	68.38	37.12	52.92
Video-Audio-Text	R1-Omni	64.17	43.20	58.02	71.82	55.24	59.61
Video-Audio-Text	Emotion-LLaMA	59.38	46.76	66.13	78.32	52.97	64.17
Video-Audio-Text	AffectGPT	78.54	55.65	81.30	88.49	62.52	74.77
Video-Audio-Text	Ours (ReAR)	84.49	62.25	83.31	89.77	65.32	78.08 (+3.31)

消融实验

在三模态（Video-Audio-Text）设定下，针对框架各模块贡献及替代精炼策略的消融结果如下表所示：

实验配置 / 策略	细粒度 (Fine-grained)	基础情感 (Basic)	情感倾向 (Sentiment)	MER-UniBench 综合得分	说明
Baseline	64.50	67.07	84.06	74.34	未经任何注意力调整的原生基线
+ 浅层引导 (Shallow Guidance)	65.23	71.19	84.60	76.48	仅使用选定浅层注意力提供先验约束
+ 残差精炼 (Ours Full)	65.32	74.06	85.30	78.08	完整浅层残差注入与自适应正则化
(a) 浅层直接替换	65.26	73.64	84.81	77.68	直接以浅层注意力覆盖末层，损伤深层语义
(b) 均匀先验注入	65.27	72.50	85.04	77.27	注入均匀分布缓解过拟合，缺乏模态结构
(c) 逐层残差加权聚合	65.28	70.05	84.65	76.01	启发式多浅层加权融合，引入额外噪声混叠
约束生成长度实验	63.90	66.03	79.26	71.67	强行拉长文本生成长度并无增益，排除输出长度伪偏差
Logit 层级修正 (DeCo)	64.82	67.07	83.98	74.33	仅在 Logit 层面修正无法触及深层注意力误分配
去除预融合模块 (w/o Fused)	61.94	69.36	83.48	74.81	去除 Hz 后依然稳步优于同条件基线 (73.47)

关键发现

• 矛盾重新分配机理验证：在双模态下，常规的将注意力从生成 token 转给模态 token（\(G \to M\)）提升了性能（MER2023 从 78.17 增至 79.04），而反向操作（\(M \to G\)）导致降点（78.11）；但在三模态下，\(G \to M\) 发生性能崩溃（76.52 降至 76.52/退化），反而是 \(M \to G\) 激增至 80.53。本方法直接深入该机理根源，在双模态与三模态下均达到最优（分别为 79.48 和 84.49）。
• 模态贡献比与信息量相关：计算生成的 token 贡献与模态 token 贡献比值（Ratio = \(C_{\{G\}} / C_{\{M\}}\)）发现，凡是能取得性能提升的有效调整，其最终贡献比均呈现下降（即模态 token 的真实贡献占比相对提升）。ReAR 在双模态（1.3480 vs 基线 1.4015）和三模态（0.2099 vs 基线 0.2128）下均获得了最低的贡献比，证实了注意力分配真正与 token 信息量完成了对齐。
• 浅层深度选择的先验敏感性：浅层选择消融（图 5）表明，过早的极浅层（0-6 层）尚未建立有效的跨模态交互，因此修正效果不佳；而在特征初次交汇的 6-18 层区间，通过 JS 散度选择的层能捕获最显著的模态结构差异，带来高达 80%+ 的 Hitrate 表现。

亮点与洞察

• 颠覆性实证发现：首次指出现有多模态大模型领域普遍采用的“注意力偏向模态 token”法则在模态数增加（\(\ge 3\)）时会失效并出现反向收益的悖论，为多模态自回归解码机制的研究提供了全新的反思视角。
• 免训练即插即用：无需昂贵的二阶段对齐训练或额外的辅助参数，直接在推理自回归生成阶段对注意力矩阵实施残差校正，计算开销极低且完全保留原模型的生成推理逻辑。
• 通用可迁移性：浅层注意力先验残差校准思想不仅适用于多模态情感推理，还可无缝推广至其他因多模态交互加剧导致深层注意力退化的复杂视听推理、多传感器具身交互与图文细粒度跨模态定位任务中。

局限与展望

• 作者承认的局限：方法目前主要在多模态情感大模型框架（AffectGPT/Qwen3）及 MER-UniBench 基准上进行了深度验证，面对模态数目进一步激增（如融合触觉、脑电、时序生理信号等极端多模态系统）时的伸缩性与先验层搜索规则仍待进一步探索。
• 自行发现的局限：最优浅层的选定依赖于基于全候选区间的 JS 散度计算，尽管发生在推理期且计算量较小，但面对极长序列（高帧率长视频或超密集音频 token）输入时，计算注意力矩阵的分布散度依然会引入一定的推理延迟。
• 改进思路：可探索基于注意稀疏化或小样本轻量预测头的动态先验选择网络，或将注意力残差转化为自适应温度门控系数，进一步压降长序列场景下的推理耗时。

相关工作与启发

• vs Attention Reallocation (Tu et al. / Liu et al.)：既有工作仅针对双模态（图像-文本）设计单向的注意力补偿机制以缓解幻觉；本文发现了多模态环境下的方向反转现象，并从“深层注意力纠缠”的本质结构缺陷切入，用浅层残差实现自适应双向兼容校正。
• vs DeCo (Dynamic Correction Decoding)：DeCo 侧重在输出 Logit 层面利用对比解码纠偏，无法纠正特征聚合阶段已经发生的注意力混乱；本文直接作用于 Transformer 注意力计算本体，从信息流动源头还原模态线索。
• vs DoLA (Decoding by Contrasting Layers)：DoLA 通过后验对比不同层的预测 Logit，在多模态情感细粒度任务上仅取得 68.38 分；本文利用浅层结构化先验直接指导深层特征交互，在同任务上达到 78.08 分，鲁棒性与精度显著占优。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次揭示模态数量引发注意力重分配失效的反直觉现象，机制解释扎实，浅层残差方案精巧有效。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 9 个数据集、三大情感任务、三种模态组合，对比了十余种 SOTA 模型与替代策略，消融与机制论证完备。
• 写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨，图表表达清晰，问题剖析透彻，论据与结论紧密闭环。
• 价值: ⭐⭐⭐⭐⭐ 免训练、零额外参数、即插即用，显著提升多模态情感推理质量，对解决多模态大模型注意力纠缠具有通用借鉴意义。

相关论文

• [ICML 2025] MODA: MOdular Duplex Attention for Multimodal Perception, Cognition, and Emotion Understanding
• [CVPR 2026] Beyond Missing Modalities: Hypergraph Guided Diffusion for Uncertainty-Aware Multimodal Emotion Recognition
• [ICLR 2026] Rethinking Causal Mask Attention for Vision-Language Inference
• [ACL 2025] AkaCE: A Multimodal Multi-party Dataset for Emotion Recognition in Movie Dialogues
• [CVPR 2026] Rethinking BCE Loss for Multi-Label Image Recognition with Fine-Tuning