跳转至

PIVOTS-Bench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models

会议: EMNLP 2026
论文: ACL Anthology
代码: https://ciossayin.github.io/pivots-bench/
领域: VLM Reasoning
关键词: 细粒度人际关系推理、多模态社会智能、双向非对称感知、视觉因果分析、PIVOTS六维模型

一句话总结

本文提出首个评估多模态大语言模型细粒度人际关系推理的基准 PIVOTS-Bench,通过心理学六维双向李克特量表结合关键帧与因果视觉线索任务,系统揭示了当前 MLLM 在隐式对话与非对称社会感知上的显著瓶颈。

研究背景与动机

人类在日常社交互动中能够近乎本能地推断人际关系动态,这种社会认知能力构成了协作、说服、信任建立与化解冲突的核心基础。然而,真实世界的人际关系具有高度细粒度与动态异质性,根本无法被家庭、朋友、同事或熟人等粗粒度的传统分类范畴所充分刻画。例如同样是亲子互动,一组场景可能是温馨包容的餐桌闲聊,另一组场景则可能充斥着斥责与对抗。传统计算机视觉中的社会关系识别往往将任务窄化为静态离散标签分类,忽略了言语与非言语多模态线索的深度交织。

现有计算语言学与社交基准的研究痛点进一步体现在两个维度:其一,现有文本大模型社交推理基准多聚焦于纯文本对话,而人际互动中大量的权力倾斜、情绪张力与冷漠疏离高度依赖面部微表情、开放式肢体姿态、视线接触以及语调等非言语多模态信号;其二,以往关系建模普遍采用单向无向假定,然而在现实交互中,由于角色视角、认知偏差与交流意图的信息不对称性,交互双方对彼此关系的感知往往存在显著不对称。例如一位资深员工自认为是在倾囊相授的良师,而初入职场的新人感受到的却是窒息微观管理与侵入感。

解决这一问题的核心矛盾在于:粗粒度单向标签与纯文本对话无法捕捉多模态交互中微妙且不对称的心理状态。为了打破这一局限,本文将研究切入点确立为心理学维度的形式化解构与视频跨模态接地的结合。核心 idea:基于经典社会心理学理论构建包含权力(P)、卷入度(I)、效价(V)、目标导向(O)、持久性(T)与立场(S)的六维五级双向度量体系 PIVOTS,并配套关键帧识别与视觉因果归因任务,全面探查多模态大模型对显式与隐式人际动态的深层推理能力。

方法详解

整体框架

PIVOTS-Bench 围绕六维人际关系量表与视频多模态输入,构建了包含三个递进层次的评测体系:任务一是核心的六维双向人际关系评分,要求模型基于视频片段 \(V\)、对话转录文本 \(U\) 以及定向互动对 \(D_{AB}^\alpha\)(表示主体 A 对主体 B 在维度 \(\alpha\) 下的感知),预测从 \(-2\) 到 \(+2\) 的五点离散分值;任务二为支撑该维度判断的关键帧定位,要求模型从视频候选帧中挑出最具决定性视觉证据的单帧;任务三则进一步推进到视觉因果归因,要求模型从候选视觉元素(如面部表情、手势、身高等)中选出支持评分判决的核心视觉线索。

数据构建流水线兼顾显式生活互动与深度内敛交互,联合筛选了 Social-IQ 2.0 与 YouTube 视频,采用模型辅助预标结合严格人工两轮盲审校准的机制,确保高信度与双向非对称性标注。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态交互输入<br/>视频序列 V + 对话转录 U + 定向人际对 A→B"] --> B["PIVOTS 六维双向理论框架<br/>P / I / V / O / T / S 五级非对称量表"]
    B --> C["分层三任务评测设计<br/>任务1: 6D评分 | 任务2: 关键帧定位 | 任务3: 视觉因果归因"]
    C --> D["双源互补数据构建管线<br/>Social-IQ 2.0 显式日常 + YouTube 深度访谈与情感张力"]
    D --> E["模型辅助预标与人类校准机制<br/>GPT-5 初筛 → 专家独立核验与反偏置清洗"]
    E --> F["输出:细粒度社会动态认知基准<br/>765 对双向评分 + 483 对辅助因果定位题"]

关键设计

1. PIVOTS 六维双向人际量表:以连续心理坐标系替代离散角色标签

针对传统分类无法刻画人际张力与信息不对称的问题,本文立足于心理学奠基性理论,确立了六个正交维度的双向度量标准,所有维度均在 \([-2, +2]\) 的五级两极李克特量表上操作化定义: - P (Egalitarian vs. Hierarchical Power,平等 vs. 阶层权力):量化互动中影响力、决策自主权与掌控力分配。\(+2\) 表示绝对主导(对方沦为顺从),\(0\) 为权力和地位对等平衡,\(-2\) 则表示完全受制于人。 - I (Superficial vs. Intense Involvement,表面 vs. 深度卷入):反映情感亲密度、自我暴露程度与心理互依性。\(+2\) 对应灵魂伴侣或终身伴侣的极高脆弱性与深度信任,\(-2\) 对应纯事务性陌生人或单次收银员的非人格化交互。 - V (Positive vs. Negative Valence,积极 vs. 消极效价):评估交互的情感品质。\(+2\) 为高度安全、愉悦与心流状态,\(-2\) 为敌对、被侵犯或触发战斗/逃跑反应的极度痛苦。 - O (Socioemotional vs. Task-Oriented Objective,社会情感 vs. 任务导向目标):区分互动动机。\(+2\) 为完全出于情感维系和陪伴(如家庭聚会),\(-2\) 为高度仪式化、功能化、就事论事的任务执行(如法庭或空管)。 - T (Temporary vs. Enduring Permanence,临时 vs. 持久时间跨度):评估预期关系存续寿命。\(+2\) 为终身伴侣或长久血亲,\(-2\) 为转瞬即逝、毫无未来预期的单次偶遇。 - S (Cooperative vs. Competitive Stance,合作 vs. 竞争立场):衡量利益目标的一致性与资源共享意愿。\(+2\) 为命运与共的极端紧密协作,\(-2\) 对应零和博弈中战略性压制对方的全面对抗。

对于任意定向交互对 \(D_{AB}^\alpha\),模型需要分别对主体 A 感知 B 以及主体 B 感知 A 进行单向判定:

\[R_{AB}^\alpha = \arg\max_{r \in \{-2, -1, 0, 1, 2\}} p\left(r \mid V, U, D_{AB}^\alpha\right)\]

这种双向建模显式容纳了权力压制与情绪错位等不对称现象,让细微社会互动具备了统一比较的量化坐标。

2. 分层多模态评测范式:从宏观状态打分下钻到时间关键帧与视觉因果归因

为了检验 MLLM 究竟是凭借语言捷径蒙对答案,还是真正感知到了非言语线索,基准进一步设计了任务二与任务三作为因果辅助支柱。在任务二关键帧定位中,模型需在视频抽样帧序列 \(\{I_1, I_2, \dots, I_n\}\) 中辨识出对特定维度 \(\alpha\) 的判断起决定性支撑作用的核心瞬间 \(T_{AB}^\alpha = \arg\max_{t} p(t \mid V, D_{AB}^\alpha)\)。在任务三视觉因果归因中,模型需在给定的关键帧中从表情、开闭姿态、手势、身体距离、视线方向、服饰与环境等候选要素中,选出两项最关键的视觉证据 \(C_{AB}^\alpha\)。评测给予完全命中 1.0 分、命中单项 0.5 分的部分得分机制,迫使模型展示从底层感知到高层社会心智推断的因果归纳链条。

3. 双源互补数据管线与反偏置标注:融通显式行为与隐蔽潜台词

数据源由两大部分构成:一方面选用 Social-IQ 2.0 中剪辑的 121 个 30 秒高质量视频切片,重点覆盖场景边界明晰、社交信号显式的日常聚会、讨论与非正式对话;另一方面,为了弥补传统数据集过于偏向外显夸张行为的缺陷,从 YouTube 定向抓取了 70 个富含复杂沟通目标(如深度访谈、说服冲突、破裂亲密关系、多年隔阂重逢)的高张力视频。统计显示 Social-IQ 2.0 以积极氛围为主(正面占比 59.4%),而 YouTube 切片中严肃氛围占绝对主导(严肃占比 61.6%)。

在标注机制上,团队采用“大模型初拟、人类专家严格审校校准”的半自动化框架。先通过 GPT-5 API 结合详尽的定义 rubric 生成初始标注,随后由课题组核心研究人员依据标注界面逐项复核。人工修改比例达到 25.3%,重点纠偏模型在极端分值(\(+2/-2\))上的偏见以及由于安全机制产生的“中庸偏置(neutral bias)”。全体标注样本在序数 Krippendorff's \(\alpha\) 上达到 0.8125,证明了标注体系的高一致性。

损失函数 / 训练策略

PIVOTS-Bench 为纯评估基准,不引入专用模型参数训练。评测采用统一的 OpenAI ChatCompletion 多模态提示格式,默认对视频均匀采样 8 帧图像送入模型。在提示工程与推理机制探索中,论文设计了三类预测设置与两类启发式提示范式: - 独立预测(Separate Prediction):各主体、各维度逐条独立提问。 - 联合预测(Joint Prediction):一次性联合输出某一主体对另一主体的完整 6 维向量 \([-2, 0, 1, 2, 0, 1]\)。 - 配对预测(Pairwise Prediction):一次性要求模型同时输出双向对偶的全部 12 个分值(\(A \to B\) 与 \(B \to A\))。 - 多阶段思维链提示(Multi-Stage Prompting):强制模型模拟社会心理学家的四阶段推演——阶段一情感校准(标定 V 和 I)、阶段二结构维度分析(推导 P、O、T、S)、阶段三盲审独立重评、阶段四矛盾仲裁纠偏,且显式加入禁止无证据滥用中性 0 分的约束。 - 上下文示例提示(In-Context Prompting):通过细粒度非言语线索清单与“不请自来的建议”不对称感知示例,引导模型进行微观线索到宏观分数的因果推理。

实验关键数据

主实验

基准评估了代表性前沿商业模型(GPT-5、Gemini-2.5-pro)与开源多模态模型(Qwen3 系列不同规模变体)。任务一各维度在 \([-2, +2]\) 五分类下的随机猜测基线为 20.00%,任务二单帧五选一随机基线为 20.00%,任务三五选二因果归因期望基线为 40.00%。

在 Social-IQ 2.0 评测子集上的核心表现如下表所示:

模型类型 模型 Task 1 平均准确率(%) 权力 P 卷入 I 效价 V 目标 O 持久 T 立场 S Task 2 关键帧(%) Task 3 视觉因果(%)
商业闭源 GPT-5 56.91 65.12 60.31 55.73 42.33 56.59 61.40 62.15 60.25
商业闭源 Gemini-2.5-pro 47.71 61.30 50.77 33.75 51.63 46.98 41.86 46.63 48.00
开源模型 Qwen3-32B-vl 34.54 62.62 23.82 33.82 23.77 30.28 31.50 35.29 33.50
开源模型 Qwen3-8B-vl 27.90 59.74 22.22 22.87 18.58 26.89 17.07 34.75 31.00
开源模型 Qwen3-4B-vl 24.33 51.05 20.77 23.99 13.73 25.93 10.47 28.59 30.17

在 YouTube 深度互动子集上的表现(任务一各维度得分)如下表:

| 模型类型 | 模型 | Task 1 平均准确率(%) | 权力 P | 卷入 I | 效价 V | 目标 O | 持久 T | 立场 S | |---|---|---|---|---|---|---|---| | 商业闭源 | GPT-5 | 58.88 | 73.71 | 50.44 | 48.28 | 61.14 | 60.68 | 58.85 | | 商业闭源 | Gemini-2.5-pro | 54.66 | 69.49 | 55.08 | 31.78 | 61.02 | 54.24 | 56.36 | | 开源模型 | Qwen3-32B-vl | 40.81 | 67.92 | 32.38 | 34.91 | 29.47 | 35.85 | 43.14 | | 开源模型 | Qwen3-8B-vl | 35.19 | 66.67 | 26.85 | 31.48 | 18.52 | 32.41 | 35.19 | | 开源模型 | Qwen3-4B-vl | 30.03 | 71.98 | 16.81 | 33.62 | 6.90 | 29.31 | 21.55 |

消融实验

以开源强模型 Qwen3-32B-VL 为底座,针对输入模态(视频画面)、对话文本显式社会角色标识(kinship/title 脱敏屏蔽,如将 father/boss 替换为 [PERSON]/[TITLE])以及音频信号的影响进行全面消融:

输入配置 Social-IQ 2.0 平均准确率(%) YouTube 平均准确率(%) 说明
纯视频(Video Only) 33.70 31.18 仅视觉无语音转录
原始对话文本(Original Conv.) 31.44 37.81 仅文本无视频
脱敏对话文本(Redacted Conv.) 28.97 33.64 移除亲属/职务显式词
视频 + 原始对话文本(Full Baseline) 34.54 40.81 完整跨模态基线
视频 + 脱敏对话文本 35.83 32.22 视觉弥补文本去标签
Qwen3-Omni-30B(带音频模态) 40.93 40.10 音视文三模态统一理解
Qwen3-Omni-30B(去除音频模态) 32.61 (-8.32%) 38.30 (-1.80%) 语音语调消融影响显著

预测组织策略(Prediction Settings)在两种数据环境下的行为对比:

预测模式 Social-IQ 2.0 平均(%) YouTube 平均(%) P维度(YouTube) 说明
独立预测(Separate) 34.54 40.81 67.92 逐题独立询问
联合预测(Joint) 43.26 38.63 82.24 一次性输出 6 维评分
配对预测(Pairwise) 42.19 39.67 86.96 一次性推断双向对偶分值

关键发现

  • 闭源模型与开源模型在社会心智推理上存在代差断层:GPT-5 在两大数据集上全面领跑(~57% 与 ~59%),而开源 Qwen3-32B-VL 仅有 34%–41%。在底层任务三(视觉线索因果归因)上,开源模型得分(33.50%)甚至显著跌破随机猜测基准(40%),表明开源模型在将具体微表情、手势动作与宏观社会判断对齐时存在严重机理缺陷。
  • 效价(V)与目标导向(O)是全模型的最难盲区:所有模型在效价 V 与目标 O 上的表现均普遍低迷。效价深度依赖语调及微表情等隐蔽情绪信号,而当前大多数主流模型未能有效建模声学语调;目标维度则常被高情绪表现所干扰(即使是严肃公事,激烈争执也常被误判为私人情感诉求)。
  • 显式与隐式场景呈现惊人的“策略反转”现象:在日常显式互动的 Social-IQ 2.0 中,联合预测(+8.72%)与启发式提示(+6.69%)带来显著增益,多维度共享表征促成了互补推理;然而在 YouTube 这类充斥潜台词、严肃内敛的深度交互中,联合预测与启发式提示反而全面崩塌(多阶段提示下降近 10 个百分点),独立单维度打分反而表现最好。这表明现有的复杂提示策略极易在深层非线性社会场景中诱发认知混乱。
  • 模态依赖度的场景特化:语音模态对 Social-IQ 2.0 增益极大(剥离音频性能暴跌 8.32%),而在 YouTube 数据上仅下降 1.80%;去除显式称谓文本后,在 YouTube 场景下加入视频反而使性能下降 1.42%,证明当缺乏明确身份锚点时,模型难以在复杂的长时程隐式视频中正确绑定视觉主体。

亮点与洞察

  • 将经典社会心理学理论直接工程化为大模型评测基准:跳脱出千篇一律的粗分类任务,以 PIVOTS 六维正交坐标系量化社会感知,构建了具备理论解释力的社会智能评测标尺。
  • 双向非对称关系与因果反向求证的双重约束:强迫模型区分 \(A \to B\) 与 \(B \to A\) 的主观体验差异,并结合时序关键帧定位与视觉归因,严防大模型依靠文本统计捷径刷分。
  • 极具启发的场景自适应推理启示:揭示了单一提示范式无法包打天下;对于简单日常交互可采用联合推理利用维度互补,而在高复杂度、潜台词密集的深度对抗中,必须退回低耦合的解耦独立推理。

局限与展望

  • 作者团队内部标注带来的潜在共享偏置:虽然研究团队为了深入理解六维 rubric 由作者亲自完成标注并达成高一致性(\(\alpha = 0.8125\)),但缺乏大规模外部多元文化背景群体的交叉盲审,无法完全排除共同预设偏差。
  • 预标注模型的锚定效应风险:初期使用 GPT-5 进行初筛标注(人类校正率为 25.3%),尽管一致性检验良好,但可能使评测基准对 GPT-5 自身的先验偏好产生潜在偏向。
  • 语种与文化单一性:数据目前仅局限于英语语境,且标注人员非母语者,未能覆盖跨文化交际中差异巨大的肢体语言、礼貌规范与隐式表达习惯。
  • 缺乏监督微调与对齐探索:论文仅完成了基准评测,未提出能够针对性提升 MLLM 细粒度社会认知能力的后训练或强化学习策略。

相关工作与启发

  • vs SCRIPTS / SocialEval / SocialMaze: SCRIPTS 等文本基准主要在对话文本层面做关系推断,缺乏对视听觉非言语信号的接地;PIVOTS-Bench 则将视听多模态信号作为不可或缺的因果判断依据。
  • vs Social Genome / SIV-Bench: 传统视频社交基准多侧重于离散场景分类、实体行为或粗粒度角色识别;PIVOTS-Bench 首次深入到心理学微观维度和不对称态度知觉,填补了细粒度人际动力学评测的空白。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次系统引入心理学六维双向模型与视觉因果归因评测 MLLM 人际关系推理。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖主流闭源与开源模型,提供了丰富的模态消融、预测架构对比及音频影响分析。
  • 写作质量: ⭐⭐⭐⭐⭐ 概念界定严谨,心理学指标与计算任务定义清晰流畅。
  • 价值: ⭐⭐⭐⭐⭐ 为多模态 Agent 的社会心智理论(Theory of Mind)与真实人机共情交互提供了极具价值的基石评测集。