跳转至

MMDS-Bench: Benchmarking Multimodal Large Language Models on Dynamic Stance in Social Media Interactions

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/whu-yzding/MMDS-Bench
领域: 多模态VLM
关键词: 多模态动态立场分类, 社交媒体对话, 诊断性基准, 多模态大语言模型, 关系推理瓶颈

一句话总结

MMDS-Bench 针对社交媒体中图文交织的“推文-回复”局部互动场景,构建了首个包含 3,482 个样本的七分类多模态动态立场诊断基准及 800 例结构化推理子集,通过 12 款主流 MLLM 评测与参考扎根裁判协议揭示出:当前模型能够较好地独立理解父帖与回复内容,但瓶颈在于难以从跨模态线索中推断回复相对于父帖的动态立场关系。

研究背景与动机

立场检测是社交媒体舆情挖掘、虚假信息识别与论辩分析的核心基础。长期以来,主流学术界主要将立场检测形式化为静态或以目标为中心(target-oriented)的分类任务,即预测单篇帖子针对某个全局预设话题或实体(如“气候变化”“疫苗接种”)究竟持支持、反对还是中立态度。然而,真实在线交互在本质上是语境化和互动式的,网民往往直接针对前驱发言做出回应,其沟通意图在于赞同、反驳、补充展开、质疑或故意转换话题。这种局部会话关系催生了动态立场分类(Dynamic Stance Classification),其核心研究对象不再是孤立帖子与抽象宏观议题的脱离关联,而是回复消息相对于其直接父帖(parent message)的真实态度取向。

尽管文本模态下的动态立场已有初步探索,现实社交平台(如 X/Twitter)的日常讨论早已高度图文融合。不论是首发父帖还是后续跟帖,都广泛充斥着截屏佐证、网络模因(memes)、表情包图片(reaction images)以及深度图文隐喻。在这种交互下,立场的表达高度依赖于跨模态照应与语用推理——例如,一张反讽模因单看图片本身并无明确倾向,只有置于父帖的特定命题框架下才构成强烈的反对甚至嘲弄;一张新闻图表截屏则可能作为证据用于对父帖论点进行补充论述。此时,模型的挑战绝不仅停留在传统的视觉问答、OCR 文字识别或图像描摹,而必须联合解码图文双模态信息,推断回复如何动态响应父帖。

现有绝大多数多模态立场评测仍然保留了目标驱动架构,仅评估单模态/多模态帖子针对外部目标的倾向,无法捕捉双向消息局部碰撞时的动态语用关系。与此同时,通用多模态大语言模型(MLLMs)在常识与感知基准上高歌猛进,却缺乏一套系统评测其在真实社交图文互动中是否具备细粒度立场关系推理能力的严密基准。核心 idea:构建首个包含 3,482 组真实图文互动样本的多模态动态立场基准 MMDS-Bench,设立七分类任务体系与 800 组细粒度结构化诊断子集(涵盖父帖理解、回复理解、立场关系推理三段式轨迹),并标注五项关键挑战因子与参考扎根 LLM 裁判协议,彻底剖析 MLLM 在局部会话交互中的多模态动态立场推断瓶颈。

方法详解

整体框架

MMDS-Bench 面向社交平台推文与直接回复(Parent–Reply)的多模态交互场景,输入为包含文本与图像的父帖 \(P\) 及回复 \(R\)(两者均包含至少一张图片,覆盖纯图、图文混排共 4 种模态组合),系统评估模型判断回复相对于父帖的动态立场关系。基准设计包含两大评测任务:任务一(Task 1)为全量基准(3,482 个样本)上的“多模态动态立场分类”,模型直接输出 7 分类标签;任务二(Task 2)为 800 个平衡采样样本上的“诊断性多模态动态立场推理”,要求模型以结构化 JSON 显式生成父帖理解、回复理解与立场推理三阶段轨迹,并结合 5 个挑战因子对模型失误展开归因诊断。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态父帖-回复数据采集与过滤<br/>X平台双侧图文交互对 (3,482 样本)"] --> B["七分类多模态动态立场体系<br/>Agree / Disagree / Elaborates / Query / Neutral / Unrelated / NA"]
    B --> C["五项交互挑战因子多标签标注<br/>多模态融合 / 父帖框架 / 非字面表达 / 交互推理 / 边界模糊"]
    C --> D["双轨评估体系与任务设计<br/>Task 1 全量分类 + Task 2 结构化诊断子集 (800 样本)"]
    D --> E["参考扎根 LLM 裁判诊断协议<br/>PUS / RUS / SRS 独立评分与瓶颈度量"]
    E --> F["评测产出与多维瓶颈归因<br/>12 款主流 MLLMs 能力剖析与关系推理诊断"]

关键设计

1. 七分类多模态动态立场体系:摆脱预设目标依赖,锚定局部交互语用 传统立场检测往往将文本分类为简单的支持、反对或中立,无法刻画社交网络动态回复中错综复杂的沟通意图。MMDS-Bench 将文本动态立场体系拓展到跨模态语境,确立包含 7 个互斥类别的标准分类法:Agree(明确支持父帖观点或主张)、Disagree(明确反对父帖主张,包含反讽、挖苦与修辞性质问)、Elaborates(提供额外信息、佐证背景或延伸视角,但不构成直接赞同或反对)、Query(真诚寻求事实澄清、额外证据或原委,不带明确立场偏向)、Neutral(处于相同话题但无立场表达且未增添实质论据)、Unrelated(与父帖论题完全不相关)、NA(存在多重同等合理的歧义解读,或图文信息严重受损导致无法判定)。标注时严格以父帖为参照物,规定模型仅依据回复对父帖的交际意图定性,当出现多重信号时判定最显著的交互关系,有效统一了图文反讽与截屏佐证的评判边界。

2. 五项交互挑战因子多标签标注:细粒度解构多模态理解与会话交互难度 为了超越单一分类准确率、深入剖析 MLLM 在何种交互特征下更容易崩溃,MMDS-Bench 为每个样本独立标注了五类二元挑战因子(Challenge Factors): - 多模态融合(Multimodal Fusion, MF):图像本身极难理解,或图文关系复杂晦涩,使得综合语意难以直接获取; - 父帖框架(Parent Framing, PF):父帖缺乏显式命题主张、具体讨论靶点或情绪色彩,导致回复所针对的具体维度高度模糊; - 非字面回复(Non-Literal Reply, NLR):立场主要依赖反讽、网络模因、夸张修辞、隐喻暗示或类比等非字面形式传递; - 交互推理(Interaction Reasoning, IR):从回复到父帖的立场映射需要复杂的内外部常识衔接或多步逻辑推导; - 类别边界模糊(Label-Boundary Ambiguity, LBA):样本特征介于相邻类别之间(如 Agree 与 Elaborates、Disagree 与反讽 NA),导致单标签判定存在天然模糊性。 通过统计每个样本激活因子的总数(0 至 5),基准实现了对问题复杂度的定量量化,以此分层指导诊断子集的均衡采样。

3. 双轨评估体系与任务设计:解耦消息理解与动态关系推理 针对“模型到底是没读懂图文内容,还是没搞清前后两者之间的立场逻辑”这一黑盒难题,评测机制设立 Task 1 与 Task 2 双轨:Task 1 面向全量 3,482 个样本,约束输出标准 JSON 中的 pred_stance 单一字段,全面考察模型在现实不平衡分布下的泛化判别力;Task 2 则在 800 个横跨不同挑战因子激活数量的均衡子集上运行,严格要求模型在给出预测标签前,先在 50 词内分别输出 parent_understanding(父帖图文核心意图摘要)、reply_understanding(回复图文内涵与修辞意图剖析)以及 stance_reasoning(回复如何映射到父帖立场的推导过程)。这种设计直接拆解了模型的认知轨迹,为精确定位失误阶段提供了可解释凭据。

4. 参考扎根 LLM 裁判诊断协议:量化评判三阶段认知能力与推理瓶颈 对 Task 2 生成式推理轨迹的质量评估,论文引入基于多模型集成的参考扎根 LLM-as-a-judge 方案。系统选用 Gemini 2.5 Flash、Qwen3-VL-32B 和 Gemma-4-31B 三款高性能模型作为独立裁判,向其提供原始图文交互、真实黄金立场、人工撰写的高质量参考解释以及待评测模型的推理文本。裁判基于 1–5 分评分细则独立输出三个维度评分:父帖理解分(Parent Understanding Score, PUS)、回复理解分(Reply Understanding Score, RUS)与立场推理分(Stance Reasoning Score, SRS)。进一步定义综合过程分 \(PS = \frac{PUS + RUS + SRS}{3}\) 以及表征系统最短板的瓶颈分: $\(BS = \min(PUS, RUS, SRS)\)$ 当模型出现无事实根据的臆测、偏离图文线索、退化为宏观话题分析或仅复述内容而不做关系推导时,裁判严格执行阶梯扣分,确保自动评测结果与人类专家评判保持高度一致。

实验关键数据

主实验

评测涵盖 12 款主流 MLLM,包含闭源前沿模型、开源超大规模思考与指令模型以及轻量高效模型。Task 1 采用全量评测,Task 2 采用诊断子集评测并报告三裁判平均分。

模型 Task 1 Acc (%) Task 1 Macro-F1 (%) Task 2 Acc (%) Task 2 Macro-F1 (%) PUS (1-5) RUS (1-5) SRS (1-5) BS (1-5)
Gemini 2.5 Pro 79.93 42.22 72.25 48.38 4.92 4.89 4.33 4.32
Claude Sonnet 4.6 72.46 37.29 70.62 51.99 4.92 4.87 4.32 4.30
GPT-5.1 71.63 41.54 64.62 41.50 4.89 4.80 4.04 4.02
Kimi-K2.5 65.88 37.85 61.00 46.20 4.89 4.81 4.04 4.01
Qwen3-VL-235B-Thinking 62.95 33.46 53.62 33.51 4.75 4.57 3.62 3.58
Qwen3-VL-235B-Instruct 53.39 28.81 50.38 31.59 4.74 4.58 3.49 3.44
GLM-4.6V 52.30 25.93 45.50 24.46 4.64 4.53 3.30 3.24
Llama-4-Maverick-17B 46.41 25.36 48.38 27.39 4.69 4.50 3.50 3.44
Gemma-3-12B-IT 45.55 23.22 45.50 30.42 4.35 4.25 3.13 2.99
Qwen3-VL-8B-Thinking 55.23 27.19 45.75 20.55 4.66 4.43 3.31 3.27
Qwen3-VL-8B-Instruct 50.40 25.51 38.38 16.23 4.55 4.26 2.95 2.87
Ministral3-8B-2512 43.34 19.21 35.12 12.08 4.42 4.12 2.80 2.71

难度因子与推理能力解构消融

下表统计了 Task 2 中不同预测结果下的推理能力打分(全模型汇聚样本),以及不同挑战因子激活数目下的准确率与立场推理得分表现。

评估维度 / 细分切片 样本数 (Cases) PUS (1-5) RUS (1-5) SRS (1-5) 表现指标 (Acc / 趋势)
预测正确样本 (Correct) 5,049 4.87 4.83 4.81 正确率主导,推理质量全面优异
预测错误样本 (Incorrect) 4,551 4.51 4.24 2.20 单篇理解依旧优异,SRS 断崖式暴跌
预测正确但低 SRS (\(\le 3\)) 192 3.91 3.33 2.49 仅占 2.00%,蒙对概率极低
预测错误但高 SRS (\(\ge 4\)) 362 4.96 4.96 4.49 主要源自标签边界模糊或最后映射跳脱
挑战因子数 = 0 144 - - 4.29 Task 1 Acc: 76.35% / Task 2 Acc: 77.31%
挑战因子数 = 1 153 - - 4.01 Task 1 Acc: 65.40% / Task 2 Acc: 69.88%
挑战因子数 = 2 148 - - 3.46 Task 1 Acc: 59.92% / Task 2 Acc: 49.38%
挑战因子数 = 3 149 - - 3.36 Task 1 Acc: 51.31% / Task 2 Acc: 42.67%
挑战因子数 = 4 148 - - 3.01 Task 1 Acc: 38.95% / Task 2 Acc: 33.78%
挑战因子数 = 5 (全激活) 58 - - 2.89 Task 1 Acc: 26.44% / Task 2 Acc: 27.30%

关键发现

  • 动态立场推理是普遍短板:全模型在 Task 2 的 PUS 与 RUS 普遍保持在 4.3–4.9 的高位,但 SRS 平均得分普遍偏低,小模型如 Ministral3-8B 的 SRS 骤降至 2.80。在预测错误的 4,551 个 case 中,PUS(4.51)与 RUS(4.24)依然良好,但 SRS 直接崩落至 2.20,证实了当前模型的瓶颈在于跨双帖的语义逻辑关系对齐,而非单个多模态帖子的感知提取。
  • 思维链推理模型更胜一筹:同架构下,强调长思考轨迹的 Thinking 变体显著优于 Instruct 变体。例如 Qwen3-VL-235B-Thinking 在 Task 1/Task 2 的准确率分别比 Instruct 变体高出 9.56% 和 3.24%;Qwen3-VL-8B-Thinking 的 Task 2 准确率相比 Instruct 高出 7.37%,说明内在认知推理对解构复杂交互大有裨益。
  • 复合挑战因子的非线性雪崩效应:随着激活挑战因子从 0 个增加到 5 个,全模型平均准确率从 76.35% 单调暴跌至 26.44%。在单项误差差值(Error Gap)分析中,交互推理(IR,+14.10%)与标签边界模糊(LBA,+13.65%)在错误样本中过度富集最为严重。
  • 严重的 Disagree 倾向偏见:在混淆矩阵分析中,模型对显式反对(Disagree)的召回率最高(79.3%),但表现出极强的反驳归因偏见,在黄金标签为 Agree、Elaborates 与 NA 的样本中,分别有高达 39.6%、37.5% 和 58.7% 的预测被错误划分进了 Disagree。
  • 纯 OCR 增强效果有限:引入 EasyOCR 提取图像文本输入后,Gemma-3-12B-IT 准确率反而从 45.55% 微降至 44.51%,Qwen3-VL-8B-Instruct 准确率虽有微升(50.40% \(\to\) 52.01%)但 Macro-F1 却下降。说明社交平台模因与表情包的核心价值在于语用联想而非字符识别,生硬拼入 OCR 噪声反而破坏了端到端视觉认知。

亮点与洞察

  • 解耦式评测协议设计:创新性地将立场预测分解为“父帖理解 \(\to\) 回复理解 \(\to\) 关系推理 \(\to\) 最终标签”的标准化轨迹,一举击破了生成式多模态大模型内部“知其然不知其所以然”的评测黑盒。
  • 参考扎根 LLM 裁判的可靠性验证:在多裁判设置下,SRS 维度的模型间一致性达到 0.92(Spearman 相关系数),且人机综合相关系数高达 0.93,证明只要提供人工撰写的事实锚点与清晰的阶梯扣分细则,大模型作为生成式推理评估裁判具有高度的鲁棒性与可复现性。
  • 立足局部交互的范式转变:跳出长久以来受限于全局固定话题(target-oriented)的学术惯性,把社交媒体立场分类拉回到以对话线索为核心的局部动态交互场景,为社交智能体对话理解确立了更契合现实的评测准绳。

局限与展望

  • 数据来源与模态局限:目前数据集主要采集自 X(Twitter)平台,且样本严格筛选为双侧皆含图片的互动对,尚未囊括长视频、音频等多媒体交互形式,也不包含跨多轮(multi-turn)的长线会话树。
  • 缺乏任务自适应微调基线:基准主要作为零样本诊断评估框架,并未开源超大规模带标注的领域训练集,因而未能充分对比经过任务专属微调(Task-specific Fine-tuning)的模型在关系推理上的潜在上限。
  • 裁判模型固有的归纳偏差:尽管 Task 2 裁判机制通过了人工一致性检验,但裁判本身仍依赖商业或开源大模型,对于极度隐蔽的跨文化俚语、即时网络热梗与小众亚文化语境,仍可能存在裁决盲区。

相关工作与启发

  • vs. 静态/目标导向立场检测 (Target-oriented Stance Detection, 如 SemEval-2016, JointCL): 传统方法将帖子与孤立预设靶标进行关联分类,忽略了回帖本身的上下文承接语义。MMDS-Bench 聚焦父帖-回复的相对动态关系,能够处理脱离全局话题、但在局部对话中存在明确赞同或反驳的真实语境。
  • vs. 多模态对话立场基准 (如 MmMtCSD, MT2-CSD): 现有对话立场数据集虽引入多轮交互,但标签大多依旧定义在“某发言对外部核心主张”的取向上。MMDS-Bench 强调每一跳(edge)上的动态语用语义(Agree, Disagree, Elaborates 等),全面对齐语言学动态立场体系。
  • vs. 通用 MLLM 评测 (如 MMBench, MMMU): 通用基准侧重图像 OCR、常识感知与学科知识问答,MMDS-Bench 专门针对弱视觉符号(模因、反应表情包)在特定会话框架下的图文反讽与语用反转,指出了顶尖大模型在“关系推理”维度的深刻短板。

评分

  • 新颖性: ⭐⭐⭐⭐⭐(首次系统性提出多模态动态立场的系统化诊断基准,评测维度完备)
  • 实验充分度: ⭐⭐⭐⭐⭐(覆盖 12 款主流开源/闭源模型,多角度消融、因子拆解与人机校验扎实深入)
  • 写作质量: ⭐⭐⭐⭐⭐(概念界定严谨清晰,问题定义与诊断链条层层递进,数据论证详实)
  • 价值: ⭐⭐⭐⭐⭐(直击当前多模态大模型在社交图文交互理解中的核心瓶颈,极具启发性与诊断参考价值)