SpEmoC: A Balanced Speaker-Segment Multimodal Emotion Benchmark¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/xxx
领域: 多模态VLM / 人体理解
关键词: 多模态情感识别、基准数据集、说话人片段、类别不平衡、跨数据集泛化

一句话总结¶

针对现有对话多模态情感识别数据集规模小、严重偏向中性类且划分存在场景角色重叠的问题，SpEmoC 从 3,100 部影视作品中构建了包含 3 万个高质量说话片段、涵盖七类情绪近乎均衡分布并严格按影视作品隔离划分的大规模基准，显著提升了少样本迁移与稀缺情绪识别的泛化鲁棒性。

研究背景与动机¶

口语对话中的人类情感理解是情感计算、共情交互式 AI 与人机对话系统的基石。人类情感本质上是多模态表达的，蕴含于面部表情、语音韵律和文本语义语境之间。然而，现有多模态情感识别（MER）基准长期受限于构建规模、模态时序对齐精度以及严重失衡的情绪类别分布。早期基准如 IEMOCAP、RAVDESS 等多基于受控演播室或表演对话，缺乏自然多样性；而以 MELD（基于美剧《老友记》）和 CAER（基于电视节目剪辑）为代表的对话数据集规模较小（通常在 1.3 万条左右），更严峻的是存在剧烈类别倾斜——中性情绪（Neutral）样本占比高达 35% 至 48%，而恐惧（Fear）与厌恶（Disgust）等负向情绪甚至不足 3% 至 5%。

这种严重的数据倾斜导致主流深度多模态模型在训练时对多数类产生极强先验偏置，在测试阶段对恐惧、厌恶等边缘负向情绪几乎完全丧失判别力（F1 分数常跌至 0% 附近）。更深层的结构性弊端在于划分协议漏洞：MELD 和 CAER 往往按单集或随机帧切分，同一个剧集、角色甚至相近场景跨越训练集与测试集，导致测试集并非真正不可见（unseen），高估了模型在真实复杂环境中的泛化表现。此外，多模态长视频中背景杂乱、多讲话人交叠、非说话人表情干扰等噪声，使得未经精细切分与对齐的视频片段难以提供可靠的监督信号。

为了从根本上破解数据层面的结构性制约，本工作不再单纯在模型架构上修补，而是系统性重构数据集的设计范式。核心 idea：以自然口语发言片段为最小语义单元，构建基于影视级别的严格不可见划分与多模态时序强对齐流程，并通过基于对齐约束与置信度正则的自动化伪标签初筛结合专家级多模态交叉盲审，打造首个七类情绪分布均衡的高质量大规模对话多模态基准 SpEmoC。

方法详解¶

整体框架¶

SpEmoC 的构建流程旨在从海量长视频原始库中抽取出兼具时序强对齐、明确说话人视觉线索和均衡情绪表征的高质量对话片段。整体数据管道包含长视频对话切分与多模态抽取、基于文本/声学模型联合正则的伪标签生成、阈值初筛与人脸完整度质检，以及最后由二十位专业标注员完成的三模态盲审多数表决。最终从 3,100 部影视作品（总计超 40 分钟时长）抽取的 306,544 个原始片段中精选出 30,000 个高质量基准片段。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["长视频影视库<br/>3,100 部长篇电影与剧集"] --> B["基于口语断句与时序对齐的发言切分"]
    B --> C["基于置信度与 KL 正则的多模态伪标签生成"]
    C --> D["双阈值弱情绪过滤与人脸可见性验证"]
    D --> E["三模态专家盲审与影视级严格隔离划分"]
    E --> F["SpEmoC 均衡基准<br/>30,000 片段 · 七类情绪均衡"]

关键设计¶

1. 基于口语断句与时序对齐的发言切分：提取语义完整的自然说话人片段

为了避免传统基于滑动窗口固定时长切割带来的语义截断与表情割裂，研究团队采用 Whisper ASR 模型对时长 $\ge 40$ 分钟的 3,100 部电影及剧集进行带词级时间戳的全篇转录。每个候选视频片段 $v_k^i$ 必须满足双重强约束：(1) 单词数量不少于 12 个词，确保具备充分的句法语境与情绪承载信息；(2) 结尾必须具有句号、叹号或问号等终止标点符号，保证表达意图的完整闭合。每个片段平均时长控制在 3 至 6 秒，天然对应单一主导说话人的发言周期。随后，通过 FFmpeg 将时间窗口 $[t_{\text{start}}, t_{\text{end}}]$ 内的对齐音频波形 $\mathcal{A}_k^i$、视频帧序列 $v_k^i$ 以及对应文本转录 $\mathcal{T}_k^i$ 抽离。通过严格的时序同步检查方程： $$|\text{Duration}(\mathcal{A}_k^i) - (t_{\text{end}}(v_k^i) - t_{\text{start}}(v_k^i))| \le \epsilon$$ 将最大允许偏差 $\epsilon$ 限制在 0.1 秒内，超限片段全部剔除，从源头杜绝音画不同步缺陷。

2. 基于置信度与 KL 正则的多模态伪标签生成：兼顾跨模态一致性与不确定性

在自动化初标阶段，为避免视觉画面背景复杂及微表情噪声造成的干扰，研究采用在 Ekman 七类基本情绪上微调的文本模型 DistilRoBERTa 与语音自监督模型 Wav2Vec 2.0，分别提取转录文本与声学波形的非归一化对数概率（logits）向量 $L_t, L_a \in \mathbb{R}^7$。在假定均匀类先验 $P(e_i) = 1/|E|$ 下，引入基于 Softmax 概率分布 $\tilde{P}_t$ 与 $\tilde{P}_a$ 的联合后验，并创新性地加入 KL 散度惩罚项，以显式抑制跨模态语义分歧： $$S(e_i) = \log \tilde{P}_t(e_i) + \log \tilde{P}_a(e_i) - \lambda D_{\text{KL}}(\tilde{P}_t \parallel \tilde{P}_a)$$ 其中正则化超参数设为 $\lambda = 0.5$。最终伪标签由综合得分最大的类别决定 $e^* = \arg\max_{e_i \in E} S(e_i)$，并经由 Sigmoid 变换计算整体置信度 $F(e^*) = \frac{1}{1 + \exp(-S(e^*))}$。仅保留满足文本与音频最高预测一致（$\arg\max L_t = \arg\max L_a$）且置信度越过严格阈值的样本，通过概率分布层面的几何一致性约束，从 30.6 万条原始数据中有效滤除了模态冲突与歧义表达。

3. 双阈值弱情绪过滤与人脸可见性验证：强力重构均衡类分布

原始 30.6 万片段呈现出极其悬殊的极化特征（中性类高企，恐惧与厌恶严重缺失）。为此设计了三重视听硬约束筛选：(1) 使用 YOLOv8 逐帧检测人体与人脸，要求整段视频中检测到人脸的帧占比 $f_k^i \ge \theta_f = 0.9$（即 90% 以上画面必须清晰呈现说话人面部）；(2) 计算文本中性概率 $w_{t,k}^i = \sigma(L_{t,\text{neutral}})$ 与音频中性概率 $w_{a,k}^i = \sigma(L_{a,\text{neutral}})$，设定极低的中性留存阈值 $w_{t,k}^i < \theta_t = 0.05$ 与 $w_{a,k}^i < \theta_a = 0.05$。通过大幅剔除情绪表达微弱、平淡的中性废片，仅保留约 15% 真正作为参照基准的高质量中性样本，将数据池精确精简压缩至 50,000 条情绪特征鲜明且类别近乎平整的高潜力候选集。

4. 三模态专家盲审与影视级严格隔离划分：杜绝标签主观偏差与场景数据泄漏

在初筛后的 50,000 个片段上，组织了 20 位精通英语并经过专业 Ekman 体系培训的专家开展全面盲审校验。三位标注员独立联合核验视、听、文三模态信息，在完全遮蔽算法伪标签的状态下背对背打分，并采用多数表决确立最终真值，标注者间一致性达到 Fleiss' $\kappa = 0.62$（高度一致性区间），任何争议与歧义片段一律丢弃，形成最终 30,000 条黄金基准。在数据拆分机制上，彻底摒弃随机或会话级划分，严格执行影视作品级（Movie/Franchise-level）全局独立隔离：所有属于同一电影、续集或多集电视剧的全部切片被整体归入且仅归入训练集（70%）、验证集（10%）或测试集（20%）之一。杜绝了同一演员长相、服装、特定打光风格和场景装潢在训练集与测试集间的潜在信息泄漏。

实验关键数据¶

主实验¶

为了公平对比，评估统一采用标准的 70/10/20 比例，在统一的优化超参设置下，对五大代表性多模态情感识别 SOTA 模型（MISA、EmotionCLIP、TCL-MAP、EMOE、MulT）在 MELD、CAER 与 SpEmoC 上进行全量评测。指标涵盖加权 F1（W-F1）、宏平均 F1（Macro-F1）以及类别不平衡差异 $\Delta = \text{W-F1} - \text{Macro-F1}$（$\Delta$ 越小代表对各类别预测越均衡、无大类偏好）。

模型	评测数据集	Surprise	Joy	Fear	Disgust	Anger	Neutral	Sadness	W-F1 (%) ↑	Macro-F1 (%) ↑	$\Delta$ 偏置差 (Gap ↓)
MISA [ACM MM'20]	MELD	13.30	18.93	0.74	0.00	23.52	37.95	14.33	25.09	18.61	6.48
MISA	CAER	18.72	58.08	0.00	15.71	17.80	49.33	21.92	32.82	25.94	6.88
MISA	SpEmoC (本文)	41.30	66.40	36.00	49.80	50.90	32.40	51.70	50.78	47.50	3.28
EmotionCLIP [CVPR'23]	MELD	26.28	39.72	0.00	0.00	28.44	58.63	17.21	34.59	24.33	10.26
EmotionCLIP	CAER	11.94	34.88	0.00	0.00	21.37	46.52	13.76	27.45	18.35	9.10
EmotionCLIP	SpEmoC (本文)	52.63	66.93	50.49	55.82	51.60	31.76	48.47	51.30	49.50	1.80
TCL-MAP [AAAI'24]	MELD	56.04	56.44	17.07	22.22	46.05	77.75	33.93	62.68	45.46	17.22
TCL-MAP	CAER	13.24	28.73	10.85	7.51	23.37	44.79	12.98	28.26	20.99	7.27
TCL-MAP	SpEmoC (本文)	74.36	75.55	71.13	70.84	73.76	75.51	72.25	73.67	73.34	0.33
EMOE [CVPR'25]	MELD	54.59	54.55	6.06	6.38	43.95	73.86	27.92	59.04	38.19	20.85
EMOE	CAER	0.00	28.66	0.00	0.00	24.34	51.95	3.82	36.52	15.54	20.98
EMOE	SpEmoC (本文)	80.94	84.73	66.42	66.78	65.85	61.01	66.05	70.30	70.25	0.05
MulT [ACL'19]	MELD	49.74	55.42	7.27	9.09	42.46	74.08	32.42	58.85	38.64	20.21
MulT	CAER	9.84	22.99	0.00	0.00	4.02	52.16	0.00	36.03	12.72	23.31
MulT	SpEmoC (本文)	47.10	75.26	40.44	60.06	60.05	35.13	60.47	53.37	52.72	0.65

消融与迁移分析实验¶

下表汇总了跨数据集零样本直接泛化测试（以 TCL-MAP 为例）以及 SpEmoC 作为预训练先验在低资源下游任务（EMOE 模型微调）上的表现提升。

表 1：跨数据集直接泛化迁移表现（TCL-MAP 模型）

训练源域 $\rightarrow$ 测试目标域	Surprise	Joy	Fear	Disgust	Anger	Neutral	Sadness	W-F1 (%) ↑	Macro-F1 (%) ↑	$\Delta$ 偏置差 (Gap ↓)
CAER $\rightarrow$ CAER	13.24	28.73	10.85	7.51	23.37	44.79	12.98	28.26	20.21	8.05
CAER $\rightarrow$ MELD	19.46	17.44	5.13	1.14	16.09	50.71	13.56	34.62	17.65	16.97
CAER $\rightarrow$ SpEmoC	21.14	34.79	3.49	5.47	40.94	25.89	17.07	24.64	19.83	4.81
MELD $\rightarrow$ CAER	53.27	57.32	15.58	17.82	44.59	79.91	34.06	64.21	43.22	20.99
MELD $\rightarrow$ MELD	56.04	56.44	17.07	22.22	46.05	77.75	33.93	62.68	45.46	17.22
MELD $\rightarrow$ SpEmoC	44.83	53.47	3.92	18.21	51.28	34.91	30.77	36.00	32.17	3.83
SpEmoC $\rightarrow$ CAER	21.31	17.92	10.78	13.30	20.30	46.69	11.36	30.75	20.82	9.93
SpEmoC $\rightarrow$ MELD	45.19	29.37	3.96	16.72	39.71	69.59	25.24	50.73	32.83	17.90
SpEmoC $\rightarrow$ SpEmoC	75.51	74.36	71.13	72.25	75.55	70.84	73.76	73.67	73.34	0.33

表 2：SpEmoC 预训练在目标数据集（MELD & CAER）全量及稀疏数据下的迁移增益（EMOE 模型）

设置与迁移范式	Surprise	Joy	Fear	Disgust	Anger	Neutral	Sadness	Macro-F1 ↑	W-F1 (%) ↑	增益 $\Delta$
MELD 原始训练基线	54.59	54.55	6.06	6.38	43.95	73.86	27.92	38.19	59.04	基准
MELD 微调 (+SpEmoC 预训练)	58.22	55.20	16.33	17.65	41.68	78.39	21.90	41.34	63.26	+4.22
CAER 原始训练基线	0.00	28.66	0.00	0.00	24.34	51.95	3.82	15.64	36.52	基准
CAER 微调 (+SpEmoC 预训练)	13.92	26.98	0.00	2.30	23.35	52.47	10.70	19.81	38.16	+1.64
10% MELD 数据 (无预训练 / +SpEmoC)	-	-	-	-	-	-	-	-	57.13 / 59.16	+2.03
10% CAER 数据 (无预训练 / +SpEmoC)	-	-	-	-	-	-	-	-	31.40 / 34.70	+3.30

关键发现¶

消除类别偏置鸿沟：在旧数据集（MELD/CAER）上，所有模型由于中性主导，$\Delta$ 偏置差普遍高达 15% 到 23%；而在 SpEmoC 训练下，$\Delta$ 均暴跌至 0.05% 到 3.28% 之间（例如 EMOE 模型的 $\Delta$ 仅为 0.05%）。
边缘情绪识别断崖式逆转：在旧基准上几乎无法被识别的 Fear 与 Disgust 类别，在 SpEmoC 上 F1 值跃升至 36.0% ~ 71.1%（例如 TCL-MAP 在 Fear 达 71.13%，Disgust 达 70.84%）。
极小样本先验迁移极其显著：当仅使用目标域 10% 的训练样本时，引入 SpEmoC 进行特征预训练使 MELD 和 CAER 的 W-F1 分别提升了 2.03% 和 3.30%，证实了均衡说话人片段先验在少样本情境下的通用表征价值。

亮点与洞察¶

带有 KL 散度显式惩罚的文本-音频置信度伪标签融合：巧妙通过跨模态概率分布距离限制模型的分歧度，避免了硬投票机制带来的虚假标注，极大压低了无监督清洗的噪声。
严格影视/剧集级隔离机制：彻底消除了同演员或特定布景带来的表征捷径，为测试多模态模型的真正在野泛化（In-the-wild Generalization）设立了更具说服力的金标。
弱情绪反向削减策略：不同于常规数据集简单堆砌中性样本，该工作将绝大多数弱情绪（微弱中性）样本丢弃，反向倒逼模型学习高判别度的情绪表征空间。

局限与展望¶

依赖预估与单一离散分类体系：当前数据集采用 Ekman 7 类单主导离散标签，尚无法刻画现实对话中复杂的情感混合（Multi-label）、强度递进（Continuous Valence-Arousal）以及深层讽刺等微细情感。
人脸检测阈值可能排除了非正脸情绪：强制要求 90% 以上帧存在人脸，虽然保证了面部画质，但也过滤掉了背身、侧颜或由肢体语言与环境声主导的暗含情绪片段。
语种与文化覆盖仍局限于英语影视：主要素材来自英语电影电视剧，未来亟需拓展至非西方语境与多语言自然无脚本口语对话中。

评分¶

新颖性: ⭐⭐⭐⭐☆ [构建了首个七类情绪强对齐且均衡的大规模影视发言基准，设计了优雅的 KL 散度一致性过滤机制]
实验充分度: ⭐⭐⭐⭐⭐ [跨五个 SOTA 模型、三个数据集开展了严密的域内、跨域、少样本及消融对比验证]
写作质量: ⭐⭐⭐⭐⭐ [结构严整，实验逻辑层层递进，统计数据与图表清晰详实]
价值: ⭐⭐⭐⭐⭐ [攻克了 MER 领域长久以来的中性类主导与少样本过拟合痛点，对共情 AI 具有里程碑基准意义]

训练源域 \(\rightarrow\) 测试目标域	Surprise	Joy	Fear	Disgust	Anger	Neutral	Sadness	W-F1 (%) ↑	Macro-F1 (%) ↑	\(\Delta\) 偏置差 (Gap ↓)
CAER \(\rightarrow\) CAER	13.24	28.73	10.85	7.51	23.37	44.79	12.98	28.26	20.21	8.05
CAER \(\rightarrow\) MELD	19.46	17.44	5.13	1.14	16.09	50.71	13.56	34.62	17.65	16.97
CAER \(\rightarrow\) SpEmoC	21.14	34.79	3.49	5.47	40.94	25.89	17.07	24.64	19.83	4.81
MELD \(\rightarrow\) CAER	53.27	57.32	15.58	17.82	44.59	79.91	34.06	64.21	43.22	20.99
MELD \(\rightarrow\) MELD	56.04	56.44	17.07	22.22	46.05	77.75	33.93	62.68	45.46	17.22
MELD \(\rightarrow\) SpEmoC	44.83	53.47	3.92	18.21	51.28	34.91	30.77	36.00	32.17	3.83
SpEmoC \(\rightarrow\) CAER	21.31	17.92	10.78	13.30	20.30	46.69	11.36	30.75	20.82	9.93
SpEmoC \(\rightarrow\) MELD	45.19	29.37	3.96	16.72	39.71	69.59	25.24	50.73	32.83	17.90
SpEmoC \(\rightarrow\) SpEmoC	75.51	74.36	71.13	72.25	75.55	70.84	73.76	73.67	73.34	0.33