跳转至

PIVOTS-Bench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://ciossayin.github.io/pivots-bench/
领域: 多模态视觉推理
关键词: 多模态大模型、细粒度人际关系、双向关系推理、因果视觉线索、社交智能基准

一句话总结

提出了首个面向多模态大模型细粒度人际关系推理的基准 PIVOTS-Bench,基于心理学六维双向李克特量表与关键视觉归因任务,揭示了主流模型在隐式社交语境与视觉因果线索上的关键能力缺陷。

研究背景与动机

人类在日常社交互动中具备与生俱来的细粒度人际关系感知能力,能够根据交谈内容、面部表情、身体姿态与环境线索迅速推断互动双方的权力平衡、情感投入与合作态度。这种对人际关系的理解对于多智能体协同、说服、信任建立与冲突化解等高级社交智能至关重要。然而,传统社交关系识别(Social Relationship Recognition, SRR)通常将人际关系简化为预定义的粗粒度类别(如家庭、朋友、同事或陌生人),无法捕捉相同角色在不同动态场景下截然相反的社会关系张力。

更关键的瓶颈在于,现实世界中的人际认知具有内在的双向不对称性与多模态依赖性。在同一个交互场景中,对话双方往往由于认知不对称、社会角色分工或沟通意图的差异,对同一段关系的认知产生显著分化;同时,单纯依赖语言文本往往因语境缺失或潜台词而产生歧义,必须依托面部微表情、视线注视、空间距离等非言语视觉信号提供互补性证据。尽管现有 MLLM 在通用视觉问答上取得了长足进步,但在整合细粒度多模态线索进行双向社会认知推理方面仍缺乏系统性评测。

为了打破传统粗粒度分类的局限,本文引入心理学经典理论与现代情绪心理学成果,将双向人际关系解构为涵盖权力、投入度、情感效价、目标导向、稳定性与立场态度的六维坐标系。本文的核心 idea 是构建首个面向细粒度双向人际关系推理的多模态评测基准 PIVOTS-Bench,通过六维定向评分、关键帧定位与因果视觉线索归因三层递进任务,系统评测并归因主流 MLLM 在显式与隐式复杂社交场景下的多模态认知边界。

方法详解

整体框架

PIVOTS-Bench 的构建围绕“心理学六维理论框架建立 \(\to\) 双源视频跨模态筛选与人机协同标注 \(\to\) 三层层级化评测任务定义”展开。评测输入包括一段包含多人交互的 30 秒视频剪辑 \(V\)、语音转录文本 \(U\) 以及待评估的角色定向关系三元组,模型需要针对特定维度或全局状态输出结构化判断并提供可解释的视觉因果依据。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入:多模态交互视频 V + 转录文本 U + 角色对 A→B"] --> B["六维双向 PIVOTS 坐标系<br/>P/I/V/O/T/S 五级李克特标度 [-2, +2]"]
    B --> C["双源社交视频数据构建<br/>Social-IQ 2.0 (显式) + YouTube (隐式)"]
    C --> D["Task 1:六维人际关系定向打分<br/>单向独立 / 联合评测 / 双向成对预测"]
    C --> E["Task 2:表征关键帧定位<br/>辨识最能支撑关系维度的决定性帧"]
    C --> F["Task 3:因果视觉线索归因<br/>从表情/姿态/视线/服饰等选项选择因果依据"]

关键设计

1. 六维双向 PIVOTS 心理学关系体系:突破粗粒度标签的连续语义标度

针对传统社交关系分类无法刻画动态情感与权力张力的缺陷,基准继承并拓展了 Wish 等人的心理学经典人际感知理论,融合 Russell 情感环形模型,建立了涵盖六大核心轴线的 PIVOTS 关系系统。每个维度均采用五点双极李克特量表(-2 至 +2)进行离散化标度: - P (Egalitarian vs. Hierarchical Power):权力平等性,从极端不平等(自身主导 +2 / 对方主导 -2)到完全平等对称(0); - I (Superficial vs. Intense Involvement):互动投入深度与情感依恋,从极度投入/深度卷入(+2)到仅为事务性接触(-2); - V (Positive vs. Negative Valence):情感效价与愉悦度,从高度积极治愈(+2)到充满敌意与侵略性(-2); - O (Socioemotional vs. Task-Oriented Objective):交往目标,从纯粹情感与社交纽带(+2)到纯粹事务与功能导向(-2); - T (Temporary vs. Enduring Permanence):关系的预期时间稳定性,从终身长期羁绊(+2)到单次短暂偶遇(-2); - S (Cooperative vs. Competitive Stance):合作与竞争立场,从深度协同共赢(+2)到互斥零和对抗(-2)。

该体系的根本特征在于定向双向性(Directional Asymmetry):对于同一交互事件,主体 A 对主体 B 的认知评分记为 \(D^\alpha_{A \to B}\),与主体 B 对主体 A 的认知评分 \(D^\alpha_{B \to A}\) 相互独立,充分刻画信息不对称与心理感知差异。

2. 互补型双源数据筛选与模型辅助-人工标定流线:平衡显式动作与隐式情境

为了避免评测集过拟合于过度戏剧化或刻板化的肢体行为,PIVOTS-Bench 采用双源协同构造机制: - Social-IQ 2.0 子集:精选 121 个视频片段,聚焦具有明确互动信号的日常交流与辩论场景,排除了新闻访谈和带显式字幕的样本,提供显式、局部的多模态线索。 - YouTube 深度情境子集:补充 70 个精心挑选的复杂长尾互动视频,重点覆盖充满情感纠葛的前任情侣、久别重逢的血亲、以及具有尖锐立场分歧的深层访谈。此类样本的关系张力深植于整体互动氛围与潜台词中,弥补了传统数据缺乏隐式心理博弈的不足。

在标注流程上,设计了“模型初筛 + 专家标定校准”管线:首先整合视频元数据、详细 PIVOTS 量表定义输入 GPT-5 API 生成初始六维评分;随后由研究团队作者依据统一准则逐条审核核验。统计显示有 25.3% 的初始评分在人工阶段被修正;在独立抽样的 35 个视频双盲交叉检验中,人工与辅助标注的一致性达 Cohen's \(\kappa = 0.8399\),全局 Krippendorff's \(\alpha = 0.8125\),展现出极高的数据可靠性。

3. 三层递进评测任务设计:从宏观状态判定到微观视觉感知因果落地

为全面考察多模态模型的社交认知机制,PIVOTS-Bench 构建了由浅入深的三层评估体系: - Task 1: 六维定向关系打分(Six-Dimensional Scoring)。给定视频 \(V\)、语音文本 \(U\) 及指定主体方向 \(D^\alpha_{A \to B}\),预测候选分值 \(r \in \{-2, -1, 0, 1, 2\}\): $\(R^\alpha_{A \to B} = \arg\max_{r \in \{-2, -1, 0, 1, 2\}} p(r \mid V, U, D^\alpha_{A \to B})\)$ 针对打分模式进一步探索单任务独立预测(Separate)、单向六维联合预测(Joint)与双向成对预测(Pairwise)。 - Task 2: 关系决定性关键帧定位(Key Frame Identification)。在候选视频帧序列 \(\{I_1, \dots, I_n\}\) 中,识别出最具视觉支撑力的关键帧 \(T^\alpha_{A \to B}\),要求模型超越文本捕捉视觉高峰线索。 - Task 3: 视觉线索因果归因(Visual Cue Causal Analysis)。在确定关键帧后,要求模型从面部表情、手势动作、身体姿态、空间距离、环境道具等 5 个候选线索中选出 2 个核心因果证据,采用全对(1.0 分)与对单项(0.5 分)的软评分机制: $\(C^\alpha_{A \to B} = \arg\max_{c \in \{o_1, \dots, o_n\}} p(c \mid T^\alpha_{A \to B}, D^\alpha_{A \to B})\)$ 直接检验模型是否真正基于具身感知完成社会推断,还是依赖语言幻觉。

实验关键数据

主实验

在 Social-IQ 2.0 与 YouTube 两个子集上,评测涵盖专有闭源模型(GPT-5、Gemini-2.5-pro)与开源多模态模型(Qwen3-4B/8B/32B-VL)。Task 1 打分指标为五分类准确率(随机猜测期望 20%),Task 2 为五选一关键帧定位(期望 20%),Task 3 为五选二线索选择(期望 40%)。

数据子集 模型 平均分 (Avg) 权力 (P) 投入 (I) 效价 (V) 目标 (O) 稳定 (T) 立场 (S) Task 2 Task 3
Social-IQ 2.0 Gemini-2.5-pro 47.71 61.30 50.77 33.75 51.63 46.98 41.86 46.63 48.00
Social-IQ 2.0 GPT-5 56.91 65.12 60.31 55.73 42.33 56.59 61.40 62.15 60.25
Social-IQ 2.0 Qwen3-4B-vl 24.33 51.05 20.77 23.99 13.73 25.93 10.47 28.59 30.17
Social-IQ 2.0 Qwen3-8B-vl 27.90 59.74 22.22 22.87 18.58 26.89 17.07 34.75 31.00
Social-IQ 2.0 Qwen3-32B-vl 34.54 62.62 23.82 33.82 23.77 30.28 31.50 35.29 33.50
YouTube Gemini-2.5-pro 54.66 69.49 55.08 31.78 61.02 54.24 56.36 - -
YouTube GPT-5 58.88 73.71 50.44 48.28 61.14 60.68 58.85 - -
YouTube Qwen3-4B-vl 30.03 71.98 16.81 33.62 6.90 29.31 21.55 - -
YouTube Qwen3-8B-vl 35.19 66.67 26.85 31.48 18.52 32.41 35.19 - -
YouTube Qwen3-32B-vl 40.81 67.92 32.38 34.91 29.47 35.85 43.14 - -

消融实验

以强开源基座 Qwen3-32B-VL 与多模态音频模型 Qwen3-Omni-30B 为基准,探究输入模态、显式社交角色称谓遮蔽(Redacted Conv.)以及预测架构形式对表现的影响。

实验配置 Social-IQ 2.0 Avg YouTube Avg 核心维度表现差异与说明
仅视频 (Video Only) 33.70 31.18 缺失语言情境时,显式日常交互仍能保持基准推理,但深度情境大幅下滑
仅原始对话 (Original Conv.) 31.44 37.81 YouTube 隐式语境高度依赖全局文本对话,但缺乏视觉动作支撑
遮蔽对话 (Redacted Conv.) 28.97 33.64 移除亲属/职级等角色词导致性能下降 2.47% 与 4.17%,表明模型吸收了称谓线索
完整多模态 (Video + Original) 34.54 40.81 多模态输入带来最优表现,视觉引入在两数据集分别提点 +3.10% 与 +3.00%
多模态+遮蔽对话 35.83 32.22 遮蔽显式标签后视觉模态在 Social-IQ 上增益尤为显著(+6.86%)
Qwen3-Omni-30B (含音频) 40.93 40.10 纳入声学音调与副语言特征能够显著提升社交效价推理
Qwen3-Omni-30B (无音频) 32.61 38.30 去掉音频后 Social-IQ 骤降 8.32%,表明语音语调对显式互动至关重要
联合预测 (Joint) 43.26 38.63 Social-IQ 日常交互中各维度相互促进,但 YouTube 上引发跨维度混淆
成对双向预测 (Pairwise) 42.19 39.67 双向协同在权力维度表现突出(YouTube P 轴达 86.96%),但不及独立建模细致

关键发现

  • 闭源专有模型大幅领先开源模型:GPT-5 在两项子集上分别斩获 56.91% 与 58.88% 的平均打分准确率,而开源最强 Qwen3-32B-VL 仅为 34.54% 和 40.81%,在 Task 3 因果归因上开源模型甚至跌破 40% 的随机选择基准(仅 30%~33%),体现出对微观具身行为极大的感知盲区。
  • 效价 (V) 与目标 (O) 是核心瓶颈:所有模型在正负效价(V 轴最低仅 22%~33%)与目标导向(O 轴最低仅 6.9%)上失误最严重。其根源在于情感效价极度依赖微表情与语音语调等微妙线索,而当严肃任务中伴随强烈情绪表达时,模型极易产生认知偏差。
  • 显式与隐式场景的预测范式反转:在 Social-IQ 显式日常交互中,多维度联合预测(Joint)表现最佳(43.26% vs 34.54%);但在 YouTube 深度隐式语境下,独立打分(Separate)反倒最优(40.81% vs 38.63%)。多阶段启发式 Prompt(Multi-Stage Prompt)在日常场景下带来 +6.69% 提升,在隐式情境下却剧降 -9.33%,表明刻板推理规则反而扰乱了复杂暗涌情境的推断。

亮点与洞察

  • 心理学根基赋能的多模态双向社会关系建模:突破传统图像静态分类的局限,首次将心理学六维双极理论拓展为视频多模态双向非对称任务,有效刻画了信息不对称下的真实人际动态。
  • 微观因果视觉归因任务揭示模型黑盒弱点:创新性地设计了关键帧选取与视觉因果特征归因任务,不仅要求给出最终标签,更强制模型锁定支持决策的面部表情、视线与微手势,精准戳破了 MLLM 仅凭文本语境“猜答案”的幻觉。
  • 可复用的跨模态社交智能评测范式:提出的“提示词身份校准 + 遮蔽角色快捷方式消除 + 双向不对称感知”评测方法,可直接迁移至具身智能体多角色协作评测、社交机器人人机共情以及沉浸式 NPC 行为建模。

局限与展望

  • 作者承认的局限:标注工作由论文作者团队内部完成,尽管达成了较高的内部信度,但可能存在项目目标的先验认知偏差;此外预标注阶段使用 GPT-5 可能引入锚定效应,且基准目前受限于纯英文视频语境。
  • 评测泛化性局限:全量基准未覆盖多语言及多元文化背景下的跨文化礼仪与非言语表达差异;由于标注成本高昂,评测集规模(191 个视频)相对受限,且尚未在此数据基础上进一步探索后训练指令微调或强化学习对齐。
  • 具体改进思路:后续工作可构建自适应双向推理框架,依据场景类型动态选择联合或解耦推理路径;同时研发结合声学副语言(音高、语速、顿挫)与三维具身注视流的多模态交互数据集。

相关工作与启发

  • vs Social Relationship Recognition (SRR): 传统 SRR(如 VISR、Dual-glance)多局限于静态图片或粗粒度单向标签分类(如同事、夫妻);PIVOTS-Bench 则转向细粒度连续坐标系与双向非对称社会心理建模。
  • vs SCRIPTS: SCRIPTS 仅关注基于电影剧本文本的单向弱关系分类;PIVOTS-Bench 是全多模态基准,深入挖掘言语之外不可或缺的视觉微表情与身体姿态因果证据。
  • vs MMToM-QA / Social Genome: 现有心智理论多采用合成环境或通用常识问答;PIVOTS-Bench 聚焦于真实复杂动态人际关系的系统量化,填补了具身多模态社会智能评测的空白。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次建立基于心理学六维标度的双向非对称多模态人际关系评测基准。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖闭源与开源模型对比、多模态音频与视觉消融、称谓遮蔽分析及提示词策略验证。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念清晰,心理学背景扎实,任务形式化严谨,附录分析详尽。
  • 价值: ⭐⭐⭐⭐⭐ 为多模态大模型的社会认知智能、情绪感知及因果视觉落地提供了标准标尺。