Emotion Experience, Expression, and Perception: Emotion Analysis on Multimodal Social Media Posts¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://www.uni-bamberg.de/en/nlproc/projects/item
领域: 社会计算
关键词: 多模态情感分析, 认知评价理论, 社交媒体, 情感表达与感知, Mult2EMo数据集
一句话总结¶
提出了首个同时建模社交媒体多模态帖子的情感体验、表达与感知的 Mult2EMo 数据集(7,200 篇帖子,涵盖作者与读者双重视角),揭示了引发事件理解对读者与模型重构作者真实情感状态的决定性作用,并证实文本仍是情感重构的主导模态。
研究背景与动机¶
社交媒体上的多模态沟通日益普及,用户习惯将文本与图像交织以传达丰富的情感状态。然而,自然语言处理领域长期以来的情感分析研究往往存在两个关键盲区:一是模态失衡,大量研究集中于单模态纯文本,忽视了图像在社交场景中的补充与调节机制;二是孤立建模帖子表面内容,割裂了激发情感体验的真实世界事件与帖子内容之间的深层映射关系。人类情感是作者内心深处的私有状态,社交媒体文本与配图仅是作者试图向外部共享该私有状态的媒介表达,在此过程中往往伴随信息筛选、隐蔽修辞以及社会接受度过滤。
这种割裂带来的核心矛盾在于:读者或计算模型试图从社交媒体帖子中感知作者的意图,但第三方读者与算法面对的仅仅是事后产物。在撰写阶段,作者往往假定读者具备共享背景或刻意省略部分负面经历;而在阅读感知阶段,读者只能依据残缺线索逆向推导,导致解释分歧频发。过往研究无法判别感知识别误差究竟源自读者自身的认知主观性,还是源于引发事件与帖子表征之间的天然断层。此外,现有体系多局限于简单类别或维度标签,缺乏对心理学中诱发情绪的认知评价(Cognitive Appraisals)维度的系统度量。
为了突破这一瓶颈,本文切入的角度是将情感传递过程解构为紧密耦合的三大环节——经历(Experience)、表达(Expression)与感知(Perception),通过在多模态语境下联合追踪真实引发事件、帖子图文内容及双重视角标注来探究情感重构机制。核心 idea:构建同时包含作者自省与读者逆向推断的双阶段标注多模态数据集 Mult2EMo,通过对比引发事件与帖子表征的一致性,系统量化事件认知评价和图文交互对情感重构的决定性影响。
方法详解¶
整体框架¶
本文构建了覆盖 6 种基本情感(愤怒、厌恶、恐惧、喜悦、悲伤、惊讶)的多模态多情感模型数据集 Mult2EMo,包含 7,200 条多模态社交媒体帖子,并设计了从人类感知到微调模型与多模态大模型的完整情感重构评测基准。流程涵盖:首先由真实发帖作者回忆具体经历事件,标注事件诱发的初始情感、21 个维度的认知评价(Scherer 构件过程模型)以及帖子图文细节;随后组织第三方独立读者阅读帖子,尝试反向重构作者的内心体验、认知评价及事件描述;最后通过多模态特征融合与跨编码器相似度度量,定量探究文本、图像及其图文关联在情感重构中的作用边界。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实诱发事件<br/>现实世界情境"] --> B["作者端双层标注体系<br/>经历事件/21维认知评价/帖子图文表达"]
B --> C["读者端意图重构体系<br/>多模态帖子阅读/逆向推测作者心理状态"]
C --> D["事件对齐与模态交互分析<br/>跨编码器相似度/图文依赖关系/分类与回归"]
D --> E["模型情感与评价重构基准<br/>CLIP图文微调/Qwen3-VL零样本评测"]
关键设计¶
1. 作者端双层标注体系:打通情感经历与公开表达的私有状态壁垒 针对情感分析常以第三方标注代替作者真实意图而忽略私有状态特性的痛点,研究设计了直接面向发帖作者的主动采集流程。作者通过 Prolific 回忆引发目标情感并促使其发布多模态帖子的真实事件。标注分为六个系统步骤:(1) 事件细节:记录事件发生描述、经历的主导情感与强度(1-5 级)、回忆置信度及持续时间;(2) 认知评价维度:基于心理学认知评价理论,对 21 个评价维度(包括愉悦度、目标支持度、自身责任、外部标准、突发性等)进行 1-5 级李克特量化,刻画情感产生的心理评估流;(3) 帖子细节:标注最终帖子中实际表达的情感与强度,并提取文本中的情感刺激词;(4) 图像细节与分类:分类图像类型(个人照片、专业照片、屏幕截图、Meme、绘图图表等)及附图原因;(5) 图文关系:多维度量文本与图像的互相依赖程度以及各自独立承载情感的显式程度;(6) 社交语境:补充发帖动机、目标受众及所需背景知识。该体系直接建立了真实心理状态(经历)到公开多模态符号(表达)的可溯源映射链。
2. 读者端意图重构体系:解耦读者主观偏差与信息缺失 针对无法明确感知误差是由读者主观分歧还是信息缺失导致的难题,研究引入独立的读者感知评测阶段。从总数据集中抽取跨平台(Facebook、Instagram、Twitter/X)平衡的 1,440 条帖子子集作为测试基准,每篇帖子由 3 名独立读者进行盲测标注(共 4,320 份读者标注)。与传统情感标注不同,读者被明确指示扮演“侦探”角色,目标不是表达自身阅读后的感受,而是尝试逆向推导与重构作者在发帖时的原始心理参数。读者需根据帖子图文推测诱发事件的描述文本、作者在事件中的原初情感、对该事件做出的 21 项认知评价,以及作者在帖子中所欲表达的情感。通过计算读者间一致性(RR)与读者对作者的一致性(R),首次量化了读者主观一致推断与作者实际意图之间的系统性漂移。
3. 事件对齐与模态交互分析:量化事件理解度与图文角色失衡 针对社交媒体帖子篇幅精简、事件线索常被省略而加剧重构难度的瓶颈,本设计通过自然语言表征与多模态交互定量拆解信息损耗路径。首先,利用在 STS 基准上微调的跨编码器模型计算读者推断事件与作者真实事件描述之间的语义相似度,并依据相似度四分位数(Q1 至 Q4)将样本分层,建立了事件对齐程度与情感重构质量的直接因果关联;其次,利用视觉问答模型 BLIP 评估图文匹配度及图像对事件描述的贡献;再次,系统分析当作者经历的主导情感与帖子表达的主导情感出现错位(Mismatch)时带来的识别断崖。该机制揭示了社交媒体中负面情感常被作者社交修饰或过滤,而保留的情感线索主要由文本承担的内在规律。
损失函数 / 训练策略¶
计算建模基准基于 CLIP 架构(clip-vit-base-patch32)构建,并利用 Qwen3-VL-8B-Instruct 进行多模态大模型零样本对比。对于 CLIP 模型,分别在纯文本(T)、纯图像(I)以及图文拼接融合(T+I)三种模态配置下进行监督微调。情感分类任务采用交叉熵损失函数进行多分类优化: $\(\mathcal{L}_{\text{emo}} = - \sum_{c=1}^{C} y_c \log \hat{y}_c\)$ 认知评价任务使用包含 21 个回归头(对应 21 个评价维度)的联合预测网络,采用均方误差损失(MSE)进行优化: $\(\mathcal{L}_{\text{appr}} = \frac{1}{21} \sum_{k=1}^{21} (r_k - \hat{r}_k)^2\)$ 训练采用 4 块 NVIDIA L40 GPU,学习率为 \(1\times 10^{-5}\),批大小为 8,训练 5 个 epoch 并配置早停机制。此外,设计随机打乱图像(CLIP Rand.)作为对照实验,以严格检验视觉信号的实际赋能效果。
实验关键数据¶
主实验¶
主实验对比了人类个体读者(R)、读者多数投票(V)、读者间一致性(RR)、微调 CLIP 模型以及零样本 Qwen3-VL 在 Mult2EMo 测试集(1,440 篇帖子)上的六类情感分类 Macro F1 分数。
| 评估对象 / 模态 | 愤怒 (Anger) | 厌恶 (Disgust) | 恐惧 (Fear) | 喜悦 (Joy) | 悲伤 (Sadness) | 惊讶 (Surprise) | Macro Avg. |
|---|---|---|---|---|---|---|---|
| Reader (RR 读者间) | .52 | .44 | .52 | .82 | .67 | .44 | .57 |
| Reader (R 个体) | .44 | .38 | .44 | .58 | .60 | .35 | .47 |
| Reader (V 多数票) | .47 | .40 | .45 | .58 | .63 | .34 | .48 |
| CLIP (Text) | .43 | .39 | .53 | .58 | .60 | .48 | .50 |
| CLIP (Image) | .27 | .23 | .32 | .41 | .31 | .25 | .30 |
| CLIP (Text + Image) | .45 | .36 | .56 | .58 | .60 | .50 | .51 |
| CLIP Rand. (T + I) | .46 | .38 | .53 | .58 | .58 | .49 | .50 |
| Qwen3-VL (Text) | .54 | .29 | .58 | .54 | .57 | .30 | .47 |
| Qwen3-VL (Image) | .36 | .20 | .33 | .42 | .33 | .14 | .30 |
| Qwen3-VL (T + I) | .52 | .35 | .59 | .56 | .61 | .32 | .49 |
消融实验¶
消融实验通过跨编码器计算的读者与作者事件描述语义相似度四分位数(Q1 最低,Q4 最高),检验事件对齐程度对读者情感分类 F1 及关键认知评价维度预测 RMSE(数值越低越优)的影响。
| 相似度分位层 | 平均相似度 | 情感识别 Macro F1 | 愉悦度 RMSE | 不愉悦度 RMSE | 自身责任 RMSE | 目标支持度 RMSE | 评价总均 RMSE |
|---|---|---|---|---|---|---|---|
| Q1 (最低对齐) | .02 | .34 | 1.72 | 1.82 | 1.70 | 1.68 | 1.81 |
| Q2 (较低对齐) | .21 | .44 | 1.38 | 1.53 | 1.53 | 1.51 | 1.70 |
| Q3 (较高对齐) | .39 | .51 | 1.14 | 1.35 | 1.44 | 1.46 | 1.65 |
| Q4 (最高对齐) | .59 | .61 | 0.99 | 1.18 | 1.29 | 1.35 | 1.60 |
| Q4 vs Q1 增益/改善 | +0.57 | +0.27 (+79.4%) | -0.73 | -0.64 | -0.41 | -0.33 | -0.21 |
关键发现¶
- 事件理解是情感重构的核心先决条件:随着读者对引发事件理解精度的提升(从 Q1 到 Q4),情感分类 F1 从 .34 飙升至 .61(提升近 80%),厌恶类别的识别 F1 更是从 .23 跃升至 .51;愉悦度评价 RMSE 从 1.72 改善至 0.99,证实信息损耗是阻碍情感感知的关键瓶颈。
- 图像模态的贡献受限与多模态融合崩塌:CLIP 模型在加入正确图像后的 F1 仅为 .51,而搭配完全随机打乱的图像时 F1 仍达 .50;纯图像输入时 F1 仅有 .30。这表明当前多模态模型和人类读者在很大程度上高度依赖文本,多模态特征融合尚未充分挖掘图像独有的情感表征。
- 情感经历与表达的错位引发性能断崖:在 10% 的帖子中,作者经历的原初情感与公开表达的主导情感不一致(如因社交规范过滤负面情绪),导致读者分类 F1 骤降 .25,模型 F1 下降 .21;喜悦帖子的错位惩罚最为严苛(读者 F1 下降 .46)。
- 读者间趋同但与作者相左:读者间事件描述的平均相似度(.41)显著高于读者与作者事件描述的相似度(.30),说明读者群体往往在帖子文本诱导下形成一致的误读,印证了第三方标注替代真实作者标签的内在系统偏差。
亮点与洞察¶
- 多模态情感分析全生命周期闭环:首次打破了传统只盯“帖子表层情感”的局限,建立了从“现实诱发事件(经历)→ 社交媒体多模态呈现(表达)→ 第三方理解(感知)”的三位一体分析框架,为计算情感学奠定了坚实的数据基石。
- 心理学认知评价理论的多模态落地:将复杂的 21 维认知评价变量引入多模态社交媒体分析,证实计算模型在捕捉抽象评价维度(如愉悦度、目标支持度)上显著优于人类读者(模型 RMSE 1.38 vs 人类个体 1.70)。
- 可复用的多模态诊断方法:采用将配对图像随机置换(CLIP Rand.)与跨编码器事件相似度分层分析的范式,可以推广到多模态谣言检测、虚假信息识别等其他图文交互任务中,用于精准诊断多模态融合是否退化为单模态作弊。
局限与展望¶
- 作者承认的局限:受试样本局限于英国和爱尔兰的英语母语者,由于情感表达与认知评价具有强烈的文化依从性,结论向非英语及多元文化迁移的泛化能力受限;负面情绪(尤其是厌恶)在社交媒体上发帖较少且招募周期漫长,导致不同情绪类别的数据收集背景存在微小差异; baseline 多模态模型仅采用了简单的特征拼接,未能设计动态模态重平衡机制。
- 审读发现的局限:认知评价的自我回忆属于回溯性评价,存在回忆偏差和自我辩白偏误;此外,测试集中读者未从与作者相同的亚文化或社交圈层中招募,可能在一定程度上放大了群体背景缺失带来的误解。
- 具体改进方向:探索基于因果推断的多模态去偏融合架构,缓解模型对文本模态的单边依赖;引入个性化先验与上下文代理机制,使模型能结合用户历史发帖习惯辅助推断未明说的诱发事件。
相关工作与启发¶
- vs GoEmotions / SemEval 经典情感语料: 传统工作(如 Demszky et al., 2020; Strapparava & Mihalcea, 2007)多基于纯文本且完全依赖第三方标注,把读者感知当成作者意图的标准答案。本文通过作者-读者对照证实,第三方标注存在系统性偏差,必须引入诱发事件以校准理解。
- vs 社交多模态与模态不平衡研究: 以往多模态情感工作多聚焦于 Meme 恶搞梗图(Sharma et al., 2020),领域较窄。本文覆盖广阔的真实社交生活(涵盖 5 种图像类型),并证明模态塌陷(Modality Collapse)在日常社交图文中同样严峻,亟需非对称重平衡建模。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次全面贯通多模态社交媒体情感的经历、表达与感知三元组,概念设计极具突破性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7,200 条双层标注数据、统计显著性检验、打乱图像对照、事件分层消融及 MLLM 交叉对比,论证链条非常严密。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进,实验设计紧扣三个关键 RQ,图表信息量极其丰富。
- 价值: ⭐⭐⭐⭐⭐ 为计算情感分析从表层分类迈向基于认知与因果事件的深度推理树立了全新标杆。