Why Do Vision Language Models Struggle To Recognize Human Emotions?¶

会议: ECCV 2026
论文: ECCV 2026 Poster #5341 · 项目页
领域: 多模态 VLM
关键词: 视觉语言模型、动态表情识别、长尾偏差、时序建模、上下文增强

一句话总结¶

本文把视频动态表情识别（DFER）当作探针任务，用「词频代理相关性 + 帧序乱序 + 帧率密度扫描」三条证据链把当代 VLM 的情绪识别失败归因到预训练数据的长尾头类偏差与固定 token 预算下的时序失效两层，并用平衡数据解耦微调与把帧间运动翻译成文本的 MSCE 推理管线做诊断性验证，在 MAFW / DFEW 的均衡测试集上取得一致的 F1 提升。

研究背景与动机¶

情绪识别要从随时间展开的行为信号（面部表情、声音、姿态）里推断一个人的情感状态，这要求模型同时具备两类能力：对细微面部肌肉运动的细粒度空间敏感度，以及对微表情这类转瞬即逝信号的时间保真度。人类在这件事上几乎是本能——能读出持续仅 0.25–0.5 秒的微表情，用上下文调制自己的解读，并且能从容应对情感类别的天然长尾分布：neutral 之类的高频状态占据了绝大多数样本，而 contempt、helplessness、disappointment 这些罕见却更值得关注的状态只在少数样本里出现。当代 VLM（Gemini 系列、Qwen 系列）在静态物体识别和长描述 grounding 上已经很强，但在视频情绪识别上表现得出乎意料地弱：它们频繁把语义相近的状态混为一谈（sadness 与 disappointment），在这类任务上并不比纯视觉的专用分类器更有优势。

作者假设这个落差不是「情绪本身太难」，而是 DFER 恰好同时踩中了当代 VLM 最脆弱的两处。第一处是长尾分布诱导的头类偏差：VLM 的预训练语料是网页抓取的图文对，视觉特征在对比预训练中与 alt-text 这类文本嵌入对齐，因此一个情绪概念在人类文本里出现的频率，直接决定了它在多模态隐空间里的表示密度；罕见情绪于是被系统性地折叠进高频类别。第二处是固定 token 预算下的时序表示：视频帧被切成 token 后与文本 token 同等对待，而相邻帧高度冗余，稠密采样带来的往往不是信息而是注意力稀释，模型于是退化成顺序无关的「bag-of-frames」。麻烦在于，这两条都还只是假设：预训练数据闭源，无法直接统计情绪类的样本频次；时序失效也缺少在自然高清视频上、只动时间不动空间的可控实验。

本文的切入角度是把 DFER 当作一台探针——它同时考空间细粒度与时间保真度，且天然长尾，正好能把两条假设各自变成可证伪的实证。对长尾，作者不去猜数据，而是用 Google Books Ngram 的历史词频作为预训练分布偏差的可观测代理，把「类别稀缺」与「逐类精度」的相关性量化出来，再用纯视觉模型和均衡数据微调作为对照，把相关性一路推向因果；对时序，作者用帧序乱序和帧率扫描两个扰动实验，把「时序失效」拆成帧序不变性与注意力随 token 密度饱和两种具体症状。核心 idea：这篇论文的目标不是把 DFER 指标刷高，而是用词频代理、乱序/密度扰动、均衡数据微调三条证据链证明 VLM 情绪识别差是「数据长尾的头类先验」与「稠密视觉 token 稀释注意力」两层问题，并用把帧间运动翻译成自然语言的 MSCE 管线验证时序瓶颈确实卡住了关键情感线索。

方法详解¶

整体框架¶

论文由两半构成：前半（第 3 节）是系统性诊断，后半（第 4 节）是针对诊断出的两个病灶各给一个可插拔的干预。诊断部分把 MAFW（11 类情绪）与 DFEW（7 类情绪）切成类别均衡的测试集，让同一批模型做多分类，然后用三种手段去问「错在哪里」：词频代理相关性分析回答「哪些类在错」，帧序乱序探针回答「模型有没有在用时间顺序」，帧率密度扫描回答「给更多视觉信息是帮忙还是帮倒忙」。干预部分则用均衡数据解耦微调去验证长尾的因果性，用多阶段上下文增强（MSCE）在推理时把稀疏采样丢掉的时间间隙补回来。诊断与干预之间是闭环的：干预之所以设计成这个样子，完全由诊断结论决定，而干预的效果反过来又充当诊断结论的验证。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    A["MAFW / DFEW 均衡测试集<br/>多类情绪分类"] --> B["词频代理相关性分析"]
    A --> C["帧序乱序探针"]
    A --> D["帧率密度扫描"]
    B -->|支持长尾假设| G["平衡数据解耦微调"]
    C -->|证实帧序无关| M
    D -->|证实注意力稀释| M
    subgraph M["多阶段上下文增强（MSCE）"]
        direction TB
        M1["阶段 1：运动到文本翻译"] --> M2["阶段 2：交错上下文分类"]
    end
    G --> Z["缓解头类偏差<br/>与帧间信息丢失"]
    M --> Z

需要说明的是，诊断部分用同一套均衡测试协议贯穿所有模型：MAFW 取 495 段（每类 45 段）、DFEW 取 700 段（每类 100 段），剩余视频留作训练。因为测试集被人为拉平，WAR 与 UAR 在数学上相等，报出单一准确率即同时反映总体与逐类表现——这个设计本身就是诊断的一部分，否则 WAR 会把尾类的失败掩盖掉。

关键设计¶

1. 词频代理相关性分析：把闭源的预训练先验换成可观测的语言统计

预训练语料的类别频次无法直接统计，作者转而去量一个可观测的量：如果 VLM 在预训练时把视觉特征与网页文本对齐，那么情绪概念在人类文本中的词频就应当决定它的表示密度。于是取 Google Books Ngram（2024 年 7 月语料）中每个情绪标签的历史词频，中英各一份，与 MAFW 均衡测试集上 Gemini2.5-Flash、Qwen2.5-VL 的零样本逐类 F1 做 Pearson 相关，用双尾 t 检验给显著性。结果是英文词频与两个模型的逐类 F1 相关 0.7927 / 0.8041（p = 0.0036 / 0.0029），中文词频相关 0.6343 / 0.7547（p = 0.0361 / 0.0073），而中英词频之间相关 0.8825，全部显著。作者对代理的缺陷很清醒：VLM 主要吃英文网页数据，英文 Ngram 理应更贴近；中文情感词义更含混，原始频率会虚高。因此支撑长尾解释的不是频率的绝对值，而是两套独立语言统计都给出同方向的相关——这说明耦合的不只是某一份语料的英文词频，而是更深的概念稀缺性。

相关性本身还不够，作者用两个对照把它加固。其一是排除「这是 VLM 特有的预训练或上下文窗口造成的」：MAE-DFER 和 HiCMAE 这两个纯视觉分类器（MAE 架构、在无情绪标签的 Voxceleb2 上预训练，仅作通用视听特征提取器）在 MAFW 不平衡训练集上微调后，在同一均衡测试集上呈现出同样的长尾形状——happiness 的 F1 有 0.69/0.70，而 helplessness、contempt、disappointment 只有 0.04–0.22，说明耦合来自长尾训练分布本身，而非 VLM 架构。其二是检查混淆的方向性：罕见类会系统性塌缩到常见类（Disappointment → Sadness），反向几乎从不发生。纯语义混淆应当是双向的，这种强烈的不对称说明模型是在用高频先验兜底，而不是分不清两个词的意思。作者在补充材料中用 Directional Asymmetry Index 把这一点形式化（⚠️ 该指标的定义未出现在正文，以原文为准）。

2. 帧序乱序探针：打乱帧序不掉点，等于承认模型没用时间

如果模型真在读时间信息，把帧序随机打乱应当造成显著掉点。作者构造了两份视觉内容完全相同的输入——同样的帧、同样的外观与空间信息，唯一的区别是一个保持时间顺序、一个随机打乱——然后比较两者表现。结论对比鲜明：MAE-DFER、HiCMAE 这类专用时序模型掉 15–16% 的 macro-F1（如 HiCMAE 在 MAFW 上 0.3993 → 0.3345，MAE-DFER 在 DFEW 上 0.5645 → 0.4802），而所有 VLM 几乎不动：Qwen2.5-VL 在 MAFW 上甚至从 0.2449 微升到 0.2506，DFEW 上 0.4552 → 0.4534；Qwen3-VL 在 DFEW 上从 0.5511 略升到 0.5538；掉幅最大的 Gemini2.5-Flash 也只有 0.6008 → 0.5778（DFEW）。跨模型规模与视觉融合方式，这个「不动」都非常稳定，唯一合理的解释是 VLM 在做顺序无关的逐帧外观聚合。更尖锐的一点是：因果注意力掩码本应给跨视觉 token 的交互带上隐式的时间偏置，这个探针说明那层偏置也没有生效。作者把该探针与 SpookyBench 对照——后者用噪声序列证明模型依赖空间线索，而这里在自然高清视频上只移除顺序、完全保留空间内容，因此暴露出一个不同的失效模式：冗余导致的注意力稀释。

3. 帧率密度扫描：性能对视觉 token 密度呈准钟形，注意力会被冗余挤爆

上一节问的是「顺序重不重要」，这一节问的是「更多的视觉信息到底是帮忙还是添乱」。作者固定 Qwen2.5-VL 与 EmotionQwen（开源模型才允许细粒度控制帧采样；闭源 Gemini 没有这种 API 控制，因此不参与该实验），把每秒采样帧数从 1 依次提到 5、10、15、20、25 FPS，并要求模型只用给定的帧做推断。结果是准钟形：从 1 FPS 到 5 FPS 性能上升，符合直觉——证据变多；但此后继续加密反而开始下降，最终跌到低于 1 FPS 的水平。作者给出的机制解释是视觉 token 嵌入的向量范数显著大于文本 token，而相邻帧本身高度相关，把上下文塞满等于把任务相关信号淹没在冗余里，这是「lost-in-the-middle」在视频上的表现。这个发现对情绪识别尤其致命：微表情只持续 0.25–0.5 秒，它既需要足够密的采样才有可能被采到，又会被稠密采样引入的冗余 token 稀释掉——稀疏与稠密两头都不对，这正是 MSCE 要处理的死结。

4. 平衡数据解耦微调：把长尾从相关证据升级成因果证据

词频相关性只能说「罕见情绪更差」，说不了「这就是数据不平衡造成的」。作者用解耦训练做直接验证：保留大规模预训练学到的特征提取能力，只在一个被人为拉平的分布上重训分类部分。具体做法是从 MAFW 采样约 1500 段视频、每类等量——相对原训练划分相当于把微调数据砍到约六分之一——分别微调 MAE-DFER、HiCMAE，并以 LoRA 微调 Qwen2.5-VL。即便数据量少了六倍，推理时的预测标签分布明显更均匀，尾类 F1 上升、头类偏差减弱：混淆矩阵从「高频类强对角 + 尾类散乱」变为更均衡的形态。这一步的价值在于它证明罕见情绪识别差不是模型没有这个能力，而是数据先验把输出推向了高频类；干预本身也很轻，不需要额外建模、不需要生成式增广，在预训练分布不透明、重训不可行时仍然可用。对闭源模型作者只报告偏差而不报告缓解：Gemini2.5-Flash 的逐类 F1 为 happiness 0.60、helplessness 0.09、disappointment 0.26，Qwen2.5-VL 对应 0.54、0.0、0.07——这类数字本身就是给下游使用者的「信任校准」参考量。

5. 多阶段上下文增强（MSCE）：把帧间运动翻译成文本的时间桥

MSCE 针对的是前述死结：稀疏采样（1 FPS）必然漏掉微表情，稠密采样（>10 FPS）又稀释注意力，而真正有诊断价值的线索常常正好落在稀疏采样丢弃的那段间隙里。与 TCoT 这类「在候选帧里挑」的方法不同——挑剩下的间隙内容直接被丢弃——MSCE 不丢内容，而是换模态，分两阶段执行。

阶段 1 是运动到文本翻译。给定视频，按 1 FPS 基线取 n 个关键帧 \(K=\{k_1,\dots,k_n\}\)，它们之间形成 \(n-1\) 个时间间隙；对每个间隙再均匀采一小撮「帧间帧」\(G_j=\{g_{j1},\dots,g_{jm}\}\)，实验里 \(m=4\)——刻意取得很小，是为了避免重新引入注意力稀释。这一小撮帧被交给 VLM，让它输出一句描述该时间段内面部运动的自然语言摘要 \(t_j\)。关键在于这不是把更多帧塞进上下文，而是让 VLM 在一小段高冗余视觉输入上做一次模态转换，把体积大、信息密度低的视觉 token 压成体积小、信息密度高的文本 token。阶段 1 结束时得到 \(n-1\) 条摘要 \(T=\{t_1,\dots,t_{n-1}\}\)，每条都描述了关键帧之间被漏掉的那段运动。

阶段 2 是交错上下文分类。作者把关键帧与文本摘要按时间顺序交错成单一的 prompt 序列 \(\{k_1,t_1,k_2,t_2,\dots,k_{n-1},t_{n-1},k_n\}\)，prompt 中明确告知每段运动描述对应哪两个相邻关键帧之间的间隙，并附上候选情绪标签列表，让 VLM 在这个被增强过的上下文上给出最终分类。文本摘要在此充当「时间桥」：它显式提供了跨越 \(k_i\) 与 \(k_{i+1}\) 之间那段视觉空洞的高层语义，使模型能够对表情的演化（比如一个微表情出现又消失）做推理，而不是继续做顺序无关的逐帧聚合。这个设计之所以站得住，是因为它把负担从 VLM 最弱的「长时程时序保持」转移到了它最擅长的「短时程描述」；同时文本摘要只是与原始关键帧并存的辅助信号，而非唯一依赖，因此摘要本身引入的生成噪声不会变成单点故障。

一个完整示例¶

以图 5 那个「转瞬即逝的微笑」为例：一段 3 秒的视频，1 FPS 稀疏采样得到 4 个关键帧 \([email protected]\text{s},\ [email protected]\text{s},\ [email protected]\text{s},\ [email protected]\text{s}\)，形成 3 个间隙。真正的微表情只发生在 0.25–0.75 秒之间，完整落在 \(k_1\) 与 \(k_2\) 的缝隙里——基线 VLM 只看四个关键帧，什么都看不到，预测 Neutral。MSCE 在阶段 1 对间隙 1 均匀采 4 帧，让 VLM 描述这段运动，得到类似「角色的嘴角向上移动，形成一个短暂的微笑」的摘要；对间隙 2、3 同样得到各自摘要。阶段 2 把 \(\{k_1,t_1,k_2,t_2,k_3,t_3,k_4\}\) 交错送入 VLM，模型终于「看见」了这个 0.5 秒的微笑，输出 Happiness。整条链路没有增加训练，只是在推理时多了一次 VLM 调用链。

损失函数 / 训练策略¶

本文没有提出新的训练目标，训练相关设置集中在两处。其一是诊断阶段的模型准备：Gemini2.5-Flash 与 Qwen2.5-VL 等在 MAFW / DFEW 上做零样本推断以测逐类偏差；MAE-DFER、HiCMAE 先在大规模视听数据 Voxceleb2（不含情绪标签）上预训练、再在 MAFW 训练划分上微调，用于检验长尾效应是否独立于 VLM 架构。其二是第 4.1 节的解耦微调：在约 1500 段类别均衡的 MAFW 子集上重训分类部分，Qwen2.5-VL 走 LoRA 低秩适配，目的是在保留预训练表示的同时纠正头类先验。MSCE 则是纯推理时管线，不涉及任何训练，超参只有两个：关键帧密度（基线 1 FPS）与每个间隙的帧间帧数 \(m=4\)。

实验关键数据¶

主实验¶

评测在 MAFW（11 类）与 DFEW（7 类）上进行，使用类别均衡测试切分（MAFW 495 段、DFEW 700 段），因此报出的 macro-F1 即等同于均衡准确率。表 1 给出「帧序乱序」这一核心对照：视觉内容完全相同，只有时间顺序被打乱。

模型	类型	MAFW 原始	MAFW 乱序	DFEW 原始	DFEW 乱序
HiCMAE	纯视觉专用	0.3993	0.3345	0.5725	0.4797
MAE-DFER	纯视觉专用	0.3602	0.3041	0.5645	0.4802
Gemini2.5-Flash	闭源通用 VLM	0.3758	0.3626	0.6008	0.5778
Qwen3-VL	开源通用 VLM	0.2738	0.2615	0.5511	0.5538
Qwen2.5-Omni	开源通用 VLM	0.3060	0.2972	0.4296	0.4226
Qwen2.5-VL	开源通用 VLM	0.2449	0.2506	0.4552	0.4534
EmotionQwen	任务专用 VLM	0.2581	0.2517	0.5010	0.4895
InternVL-3.0	开源通用 VLM	0.2445	0.2326	0.5044	0.4985
LLaVA-NeXT-Video	开源通用 VLM	0.1438	0.1382	0.2969	0.2712
Video-LLaVA	开源通用 VLM	0.0870	0.0814	0.1654	0.1531

表 2 是 MSCE 的效果。与最直接的替代方案 TCoT（帧选择式长视频推理，同样在 Qwen2.5-VL 上匹配设置）对比：TCoT 在 MAFW / DFEW 上分别为 0.241 / 0.450，反而低于稀疏采样基线 0.245 / 0.455，而 MSCE 同时超过两者。

模型	MAFW F1 基线	MAFW +MSCE	DFEW F1 基线	DFEW +MSCE
Qwen2.5-VL	0.2449	0.2731（+0.0282）	0.4552	0.4820（+0.0268）
EmotionQwen	0.2581	0.2683（+0.0102）	0.5010	0.5147（+0.0137）
LLaVA-NeXT-Video	0.1438	0.1715（+0.0277）	0.2969	0.3171（+0.0202）
Qwen2.5-VL + TCoT（帧选择对照）	0.245	0.241	0.455	0.450

消融实验¶

本文没有传统意义上的模块消融，取而代之的是诊断型对照。表 3 是词频代理的相关性矩阵（Pearson 系数，括号内为双尾 t 检验 p 值）：每一对「语言统计 × 模型逐类 F1」都显著正相关。

信号对	Pearson r	p 值
英文 Ngram 词频 — Gemini2.5-Flash 逐类 F1	0.7927	0.0036
英文 Ngram 词频 — Qwen2.5-VL 逐类 F1	0.8041	0.0029
中文 Ngram 词频 — Gemini2.5-Flash 逐类 F1	0.6343	0.0361
中文 Ngram 词频 — Qwen2.5-VL 逐类 F1	0.7547	0.0073
英文 Ngram — 中文 Ngram 词频	0.8825	0.0003
Gemini2.5-Flash — Qwen2.5-VL 逐类 F1	0.8176	0.0021

另有两个分析型对照没有以表格形式呈现：其一，纯视觉模型在 MAFW 不平衡训练集上微调后同样呈现长尾（MAE-DFER 的 happiness 0.70、contempt 0.18、disappointment 0.22；HiCMAE 的 happiness 0.69、helplessness 0.04、disappointment 0.16），把「长尾来自数据」与「长尾来自 VLM 架构」区分开；其二，帧率扫描（仅 Qwen2.5-VL 与 EmotionQwen）给出 1 → 5 FPS 上升、>5 FPS 持续下降、最终低于 1 FPS 的准钟形曲线。

关键发现¶

乱序实验是全文最刺眼的证据：专用模型掉 15–16%，VLM 掉幅只有 0.01–0.02 量级、个别设置（Qwen2.5-VL 的 MAFW、Qwen3-VL 的 DFEW）甚至上升。这说明 VLM 的问题不是「时间建模得不好」，而是根本没有在使用帧序。
帧率扫描说明上下文不是越长越好：少量增加视觉证据有益，越过后冗余 token 会把注意力稀释掉，性能跌破最低采样率的水平。频率相关的两类失败于是互为表里——稀疏采样漏掉微表情，稠密采样淹没微表情。
MSCE 与 TCoT 的对照很干净：帧选择式方法把未选中的间隙内容直接丢掉，导致其表现甚至不如稀疏基线（0.241 < 0.245）；MSCE 保留间隙信息只是换了模态，因此能同时超过两者（0.273 / 0.482）。这直接支持「关键情感线索藏在被丢弃的时间间隙里」这一诊断。
均衡微调说明长尾是可缓解的：在数据量减少约六倍的条件下，预测分布仍明显更均匀，说明尾类失败源于数据先验而非能力缺失。
需要留一个边界：MSCE 的增益是温和的（F1 +0.01 ~ +0.03），作者自己也说这些增益是「诊断上决定性」而非刷榜。另外，表 1 里 Gemini2.5-Flash 在 MAFW（0.3758）确实低于纯视觉 HiCMAE（0.3993），但在 DFEW 上（0.6008）反而高于 HiCMAE（0.5725）——所以「VLM 打不过专用视觉分类器」在 MAFW 上成立，在 DFEW 上并非普遍结论，正文中该说法主要针对帧率扫描下的 Qwen 系列。

亮点与洞察¶

用可观测的语言统计替代不可观测的预训练分布。预训练语料闭源是个死结，作者绕过它去量一个必然被语料影响、却完全公开的量（Google Books Ngram 词频），再用中英双份语言统计的一致方向加固结论。这套「换代理变量 + 跨语言一致性」的做法可以迁移到任何需要推断闭源模型数据先验的场景。
乱序探针是一个成本极低的通用体检。构造两份视觉内容相同、只差时间顺序的输入，就能判断一个模型到底有没有在用时间信息——任何自称具备视频时序理解能力的模型都可以这样被检验，相较之下需要反复调采样率和 prompt。
把帧数预算问题转化成模态问题。面对「稀疏会漏、稠密会稀释」的两难，常规思路是在帧选择策略上做文章；MSCE 换了个方向，用模态转换把高冗余视觉 token 压成高密度文本 token，等于用 VLM 的语言侧能力给它的视觉侧短板兜底。这对于任何「连续信号 + 有限上下文」的任务（长视频问答、教学过程理解）都有借鉴价值。
把闭源模型的偏差估计本身当作交付物。对不能微调、不能重训的闭源模型，逐类 F1 与词频的耦合关系是一份可交付的「信任校准表」——下游使用者据此知道该模型在哪些情绪上不可信。这个视角在 VLM 评测里并不常见。

局限与展望¶

作者承认的三点：MSCE 是策略性干预而非最终解，文本摘要会引入生成噪声（他们论证负担从「弱的长时程时序保持」转移到「强的短时描述能力」，且摘要只是辅助信号）；当前 VLM 注意力在超长视觉上下文下退化，真正的解法应当是分层或稀疏的时序注意力与更好的长序列位置编码；Ngram 只是相关性、非因果的代理，需要在补充更多频率代理后才更稳固。
我观察到的局限：MSCE 的关键超参只有 \(m=4\) 一个设置，既没有报告 \(m\) 的敏感性，也没有报告关键帧密度的消融，因此「m 取小才不稀释注意力」这一论断缺少直接证据；帧率扫描只覆盖 Qwen 系开源模型，闭源模型的行为只能靠间接推断；两个数据集的测试切分被人工均衡，数字不能与文献里 DFEW 的 SOTA 直接比较；逐类相关性只有 11 个 / 7 个数据点，样本量偏小，跨语言一致性解释仍带有推测成分；专用视觉模型在 DFEW 上被 Gemini 反超，说明「VLM 不如下游专用模型」并非普适结论，论文对这一反例没有展开讨论。
可改进的方向：对间隙摘要做自一致性或多摘要投票以降噪；把 MSCE 的文本摘要从推理时技巧变成训练时的辅助监督，让模型自己学会产生「时间桥」；MAFW 本身带多模态标注，可把探针扩展到音频与文本线索，检验失效是否同样存在于语音通道。

评分¶

新颖性: ⭐⭐⭐⭐ 问题诊断的角度新（把「VLM 为什么不会读情绪」拆成数据与架构两层并各自给出可证伪的探针），但方法组件本身多为已有部件的组合与沿用。
实验充分度: ⭐⭐⭐⭐ 两个数据集、十来个模型、三类诊断探针加两类干预，闭环完整；不足在于 MSCE 只报单点超参、增益温和，帧率扫描只覆盖开源模型。
写作质量: ⭐⭐⭐⭐ 论证链条清晰，「诊断—干预—验证」的闭环写得很有说服力，代理变量的缺陷也主动交代；但部分实验细节（如 Directional Asymmetry Index）被推给补充材料。
价值: ⭐⭐⭐⭐ 对想做情感计算或多模态时序理解的研究者给出了一份可复用的诊断清单与两个轻量干预，对闭源模型使用者给出了信任校准的思路。