GRASP: Learning to Ground Social Reasoning in Multi-Person Non-Verbal Interactions¶

会议: NeurIPS 2026
arXiv: 2605.15764
OpenReview: https://openreview.net/forum?id=OCToX2DQjz
论文: https://arxiv.org/abs/2605.15764
领域: 其他
关键词: 社交多模态推理, 视线追踪, 指示手势, 强化学习后训练, 社交定位奖励

一句话总结¶

论文提出了首个将高层社交问答与细粒度注视-手势事件联合建模的大规模视频社交推理数据集 GRASP（29 万问答对、4.6 万视频），并提出社交定位奖励（SGR）引导 MLLM 在强化学习思考链中精确对齐交互参与者，显著超越专有模型并消除无依据的思维幻觉。

研究背景与动机¶

在人类的日常多方社交互动中，言语含义往往由微妙而关键的非言语线索所决定。一个瞬间投向社交伙伴的瞥视、指向目标物体的指示手势、抑或两两之间的短暂眼神接触（mutual gaze），都实时界定了谁在对谁说话、所指何物以及交互参与者之间的社交动力学。然而，现有多模态大语言模型（MLLMs）在面对复杂的多人视频时，普遍缺乏将高层社交理解落地到细粒度物理证据的能力。模型往往过度依赖语言先验或全局场景捷径进行猜测，在生成复杂的长推理链时容易出现“过度思考”（overthinking），编造看似合理却缺乏视觉依据的虚假推理链，无法准确识别交互事件中“谁在看谁、谁在对谁做手势、谁对谁做出了反应”。

这一困境的核心矛盾在于：现有学术资源存在严重的割裂。传统的非言语感知工作聚焦于孤立的低级感知原语（如 GazeFollow、VideoAttentionTarget 的单帧视线目标估计，或 SocialGesture 的孤立手势分类），未能进入语境化的社交语义层；而现有的社交问答基准（如 Social-IQ、SIV-Bench）则偏向抽象的高层社交常识，缺乏跨时间的细粒度注视与手势物理定位标注。人工为海量多人视频标注时序精确且身份一致的交互事件成本极高，导致模型在缺乏证据级监督的情况下，通过通用强化学习（如 GRPO）只能学会拉长思考过程，却无法约束思考内容是否真正聚焦于关键交互者。

本文的切入角度是：通过自底向上的自动化提取流程，从多人视频中提取身份一致的注视轨迹与指示手势并融合成结构化社交事件图谱，在此基础上提出一种简洁而直接的强化学习学习信号——社交定位奖励（SGR），显式检验模型思考过程中是否提及了参与该交互事件的正确交互者。核心 idea：构建首个连接高层社交推理与细粒度注视/手势交互的大规模图谱问答基准 GRASP，并设计基于参与者精度的社交定位奖励（SGR），迫使 MLLM 在强化学习推理链中将高层社交判断锚定在正确的非言语视觉证据上。

方法详解¶

整体框架¶

GRASP 的完整框架包含两个核心阶段：自底向上的多模态社交事件图谱与问答生成管线，以及结合结构化解耦暖机与社交定位奖励的两阶段后训练策略。在数据构建侧，系统先对长视频切片进行场景分割，利用 SAM 3 跟踪多人身份，结合 RetinaFace 与匈牙利匹配关联面部区域，并输入 GazeAnywhere 提取身份一致的注视轨迹；同时利用 Gemini 3.1 Pro 在带有时空身份标注的视频帧上提取指向、展示、给予、触及四类指示手势，二者融合为统一社交图谱并生成 16 类多层级问答。在模型训练侧，先利用带注视与手势解耦标签的 SFT 样本进行暖机，再通过融合答案正确性、格式、结构标签与 SGR 参与者精度的复合奖励开展 GRPO 强化学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多人体多视角视频输入"] --> B["自底向上多模态社交事件图谱构建<br/>跟踪注视与指示手势→5类视线+4类手势→事件图"]
    B --> C["结构化证据解耦暖机<br/>双标签SFT分解视线与手势证据→构建稳定参考策略"]
    C --> D["社交定位奖励 SGR 强化后训练<br/>GRPO组采样 + 参与者加权精确率奖励引导推理"]
    D --> E["证据对齐的社交多模态推理与问答输出"]

关键设计¶

1. 自底向上多模态社交事件图谱构建：从底层感知原语到高阶多模态社交交互图 针对多人体交互中连续视线与手势标注成本高昂且身份易漂移的难题，本文设计了自底向上的自动化图谱构建管线。首先在 2 fps 抽样率下，使用 SAM 3（文本提示为“people”）获得长时一致的人体检测框，使用 RetinaFace 检测人脸并基于人体上半身区域求解匈牙利匹配建立人脸-人体绑定；随后将人脸中心 $c_i^t$ 输入 GazeAnywhere 预测归一化注视点 $g_i^t=(x_i^t, y_i^t) \in [0,1]^2$。为消除镜头平移影响，定义相对于人脸中心的相对注视方向 $d_i^t = g_i^t - c_i^t$，计算相对角速度 $v_i^t = \|\partial_t d_i^t\| = \frac{\|d_i^t - d_i^{t-1}\|}{\Delta t}$，并利用群体注视中位数距离计算群体注意力汇聚度 $s^t = \exp(-3.0 \cdot \text{median}_i \|g_i^t - \bar{g}^t\|)$。系统基于此规则化提取共同注视（mutual gaze）、联合注意力（joint attention）、视线跟随（gaze following）、注意力捕获（attention capture）和突发扫视（sudden gaze shift）5 类社交注视事件。对于手势，提示 Gemini 3.1 Pro 在视频上检测指向（pointing）、展示（showing）、给予（giving）和触及（reaching）4 类指示手势，通过在视频上显式渲染人体框、身份编号 $P_i$ 及每帧时间戳 $t=\text{X.XXs}$，将时序定位转化为 OCR 式读取，并通过 7 分制自校准循环过滤低置信度预测。最终将 3.0 秒内共存的注视与手势事件建立时间跨模态边，构成每段视频上限 25 个事件的统一人际社交图谱。

2. 结构化证据解耦暖机：通过双标签引导克服强化学习冷启动 由于通用多模态基础模型在预训练阶段极少接触细粒度注视与指示手势的时空显式描述，直接采用强化学习探索会导致极端稀疏的奖励空间，模型几乎无法自主在思考链中产生有效的社交证据描述。为此，本文设计了第一阶段结构化格式监督微调（SFT）作为暖机。从 GRASP 中抽取 5.2 万条开问题样本，将模型的输出显式格式化为双标签结构： $$\texttt{<think>}\,\texttt{<gaze>}\,\mathcal{E}_{\text{gaze}}\,\texttt{</gaze>}\;\texttt{<gesture>}\,\mathcal{E}_{\text{ges}}\,\texttt{</gesture>}\,\texttt{</think>}\,\texttt{<answer>}\,a\,\texttt{</answer>}$$ 其中 $\mathcal{E}_{\text{gaze}}$ 和 $\mathcal{E}_{\text{ges}}$ 严格枚举社交事件图谱中被检索到的时空视线与手势事件基底。该暖机过程迫使模型在得出答案前，必须在思考链中将观测解构为可独立验证的非言语证据块，不仅为后续的强化学习提供了生成结构化标签的先验能力，而且产出了性质极其稳定的参考模型 $\pi_{\text{ref}}$，彻底解决了策略崩溃与冷启动无法采到正奖励的问题。

3. 社交定位奖励（SGR）：基于交互参与者精度的强化学习监督 针对通用 RL（如仅奖励答案正确的 GRPO）容易促使模型编造长推理链、甚至列举全场所有人物造成高误报的问题，本文提出了直击核心的社交定位奖励（Social Grounding Reward, SGR）。对于生成的单条推理轨迹 $y_i$，抽取其在 <gaze> 与 <gesture> 思考块中所提及的人物身份集合 $\mathcal{P}_i^{\text{pred}}$，并与该问题对应目标社交事件的真实交互参与者集合 $\mathcal{P}^{\text{gt}}(q)$ 进行比对。SGR 被形式化为加权精确率-召回率函数： $$r_i^{\text{gnd}} = w_i \cdot P(\mathcal{P}_i^{\text{pred}}, \mathcal{P}^{\text{gt}}(q)), \qquad w_i = 1 + R(\mathcal{P}_i^{\text{pred}}, \mathcal{P}^{\text{gt}}(q))$$ 其中 $P(\cdot)$ 与 $R(\cdot)$ 分别计算预测人物集合与真实人物集合之间的精确率（Precision）与召回率（Recall）。这一设计在保证交互关键人覆盖度（权重 $w_i \in [1, 2]$）的同时，对引入无关人员施加了极其严厉的精确率惩罚。模型无法通过“罗列画面中出现的所有人”来骗取奖励，必须精准锁定“究竟是哪几个人在互相看或做手势”，从而引导思考链向真正驱动社交意义的证据聚焦。

损失函数 / 训练策略¶

在第二阶段强化学习中，算法基于 GRPO 框架优化策略网络 $\pi_\theta$。对于输入的视频-问答对 $q$，采样生成 $K=8$ 条推理轨迹 $\{y_1, \dots, y_K\}$，通过组内优势归一化计算每条轨迹的优势值 $\hat{A}_i = \frac{r_i - \text{mean}(\{r_k\})}{\text{std}(\{r_k\})}$，目标函数定义为： $$\max_{\pi_{\theta}} \mathbb{E}_{y \sim \pi_{\theta_{\text{old}}}} \left[ \sum_{i=1}^K \frac{\pi_{\theta}(y_i \mid q)}{\pi_{\theta_{\text{old}}}(y_i \mid q)} \hat{A}_i - \beta D_{\mathrm{KL}}(\pi_{\theta} \,\|\, \pi_{\text{ref}}) \right]$$ 其中 KL 正则系数设为 $\beta = 0.05$，优势值截断为 $\pm 5.0$。标量奖励 $r_i$ 由四个组件加权融合构成： $$r_i = \lambda_{\text{acc}} r_i^{\text{acc}} + \lambda_{\text{fmt}} r_i^{\text{fmt}} + \lambda_{\text{str}} r_i^{\text{str}} + \lambda_{\text{gnd}} r_i^{\text{gnd}}$$ 各分量权重分别设置为 $\lambda_{\text{acc}} = 1.0$（最终答案匹配指示函数）、$\lambda_{\text{fmt}} = 0.1$（合法输出格式检查）、$\lambda_{\text{str}} = 0.05$（思考中包含 <gaze>/<gesture> 结构标签检查）以及 $\lambda_{\text{gnd}} = 0.2$（社交定位奖励分值）。模型在 8 张 NVIDIA H200 GPU 上采用 DeepSpeed ZeRO-2 与 bfloat16 精度训练，SFT 阶段以学习率 $2\times 10^{-6}$ 训练 2 个 epoch，RL 阶段以学习率 $3\times 10^{-6}$ 训练 1 个 epoch，最大生成长度为 1024。

实验关键数据¶

主实验¶

评估在包含 1000 道测试题的 GRASP-Bench 上开展，覆盖视线推理（T1–T6）、手势推理（G1–G6）和联合推理（J1–J4）共 16 个类别，跨越 Easy、Medium、Hard 三个难度等级。模型同时在未经过微调的外部社交基准 MMSI（STI/PCR/MPP 任务）、Online-MMSI 及 TVQA+ 上进行零样本泛化测试。

模型类别 / 方法	注视推理均分 (%)	手势推理均分 (%)	联合推理均分 (%)	GRASP-Bench 总均分 (%)	MMSI 均分 (%)	TVQA+ Acc (%)
专有前沿模型
Claude Sonnet 4.6	30.2	42.1	37.3	37.0	-	-
GPT-5.4	34.9	51.2	39.0	43.9	-	-
Gemini 3.1 Pro	41.8	56.1	44.3	50.5	-	-
开源 SFT 模型
Qwen2.5-VL-7B-Instruct	34.3	34.1	33.8	36.2	57.4	70.4
InternVL3.5-8B-Instruct	31.9	34.1	38.3	36.6	53.0	67.1
LLaVA-OV-1.5-8B-Instruct	30.0	22.0	38.0	37.3	60.2	72.5
Qwen3-VL-8B-Instruct	28.3	41.5	38.0	38.3	59.7	71.9
Qwen3.5-9B (Instruct)	32.8	46.3	40.8	43.0	61.6	70.6
开源标准 RL 推理模型
Video-R1-7B	37.1	26.8	36.6	36.3	55.7	71.2
VideoChat-R1.5-7B	32.6	43.9	33.4	33.7	57.1	69.9
Qwen3-VL-8B-Thinking	28.1	34.1	38.0	36.9	59.0	70.0
Qwen3.5-9B (Thinking)	23.6	29.3	28.2	31.7	60.0	65.6
本文方法 (Ours + SGR)
Qwen3-VL-8B + SGR	46.3	39.0	48.1	50.4	60.1	73.2
Qwen3.5-9B + SGR	48.0	46.3	45.6	52.6	62.1	70.9

消融实验¶

消融实验系统对比了奖励函数各组件对社交推理能力的影响（在 Qwen3-VL-8B 与 Qwen3.5-9B 两大骨干上评测）：

骨干模型与配置	准确率奖励 $r_i^{\text{acc}}$	格式奖励 $r_i^{\text{fmt}}$	结构奖励 $r_i^{\text{str}}$	定位奖励 $r_i^{\text{gnd}}$	注视推理 (%)	手势推理 (%)	联合推理 (%)	Easy (%)	Hard (%)	全局均分 (%)
Qwen3-VL-8B
Instruct (SFT 基线)	–	–	–	–	28.3	52.7	38.0	49.9	36.0	38.3
标准 GRPO (仅正确性+格式)	✓	✓	–	–	34.3	50.8	41.1	56.1	33.9	41.1
SGR 完整后训练 (Ours)	✓	✓	✓	✓	46.3	58.0	48.1	63.1	42.1	50.4
Qwen3.5-9B
Instruct (SFT 基线)	–	–	–	–	32.8	59.0	40.8	56.6	36.8	43.0
标准 GRPO (仅正确性+格式)	✓	✓	–	–	34.1	56.6	48.4	57.7	39.5	44.6
SGR 完整后训练 (Ours)	✓	✓	✓	✓	48.0	64.4	45.6	65.5	41.9	52.6

关键发现¶

通用 RL 无法自发学会社交推理：对比发现，仅依赖答案正确性与格式奖励的标准 GRPO 虽有一定增益（Qwen3-VL 提升 +2.8%，Qwen3.5 提升 +1.6%），但在视线跟随（T4）、联合注意力等复杂任务上严重落后；甚至诸多通用的长思考 RL 模型（如 Qwen3.5-Thinking 仅 31.7%）表现反而大幅劣于普通 SFT（43.0%）。这印证了缺乏交互定位约束的强化学习只会诱导模型编造冗长的无用思考链，增加“过度思考”带来的幻觉风险。
SGR 带来全面跨模态跃升：加入 SGR 后，Qwen3-VL-8B 准确率从 41.1% 飙升至 50.4%（+9.3%），Qwen3.5-9B 从 44.6% 跃升至 52.6%（+8.0%），整体超越拥有更强算力底座的 Gemini 3.1 Pro（50.5%）与 GPT-5.4（43.9%）。
破除文字 ID 抄袭捷径（ID Corruption 检验）：在诊断测试中，若将问题文本中的人物编号（Person ID）在保持视频不变的前提下全局置换混淆，模型的平均准确率急剧暴跌 17.8% 至 20.6%（视线跟随 T4 大跌 29.9%，手势交互 G4 大跌 35.5%）。这决定性地证明了 SGR 训练出的模型真正学会了将文本 ID 绑定到视频帧中的真实人物几何运动上，而非依赖文本复读捷径。
思考长度与准确率脱钩：统计发现模型思考长度与准确率皮尔逊相关系数仅为 $r=+0.039$；SGR 在大幅提高准确率的同时显著精简了思考 token 长度，实现了更短、更准、更高信息密度的推理链。

亮点与洞察¶

将连续时序注视与离散手势统一为社交图谱：巧妙地将底层连续的人脸跟踪几何学（相对注视角速度、群体中位数汇聚度）与高层大模型 OCR 化视频时间戳读取（Gemini 3.1 Pro + 自精炼 7 分循环）相结合，低成本且大规模地构建了包含 24.5 万个交互事件的高精度物理证据底座。
极简而高效的参与者定位奖励机制：没有设计复杂的视觉注意力热图对比或密集特征对齐损失，而是直接将监督锚定在“思考链提取的交互参与者精确率与召回率”上，以纯文本级别的信息瓶颈极低成本地实现了强大的视觉证据对齐。
即插即用的跨任务零样本泛化能力：仅在 GRASP 数据集上进行的注视-手势后训练，直接提升了模型在未见过的真实社交推理基准（MMSI 说话人意图预测 STI、代词消解 PCR、TVQA+ 时空视听问答）上的表现，表明精准的非言语线索感知是人类高级社交常识的通用基石。

局限与展望¶

作者承认的局限：目前 SGR 主要验证了交互参与者集合（人物 ID 级别）的对齐，尚未对视线交互发生的毫秒级时间起止点施加严格的时序对齐损失；此外，全自动注视与手势提取流程在复杂拥挤和严重遮挡场景下依然存在噪声（人工抽样有效率为 74.2%）。
潜在不足：当前手势词表仅覆盖了指向、展示、给予、触及 4 类指示性手势，未包含表意手势（iconic/metaphoric）、象征手势（emblems）或面部微表情等更丰富的社交信号；同时视频主要源自综艺剧集与狼人杀游戏，在文化多样性和真实自然交互场景上仍有拓展空间。
改进思路：后续可探索将端到端注视热图投影与时空锚框纳入奖励函数，并结合多模态语音语调信号，构建声画一体的全息社交理解智能体。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次打通细粒度视线/手势物理事件与高层社交视频推理，提出开创性的参与者定位奖励 SGR]
实验充分度: ⭐⭐⭐⭐⭐ [包含自建 GRASP-Bench 16 个子任务评测、3 个外部基准泛化测试、严密的奖励消融与 ID 混淆捷径诊断]
写作质量: ⭐⭐⭐⭐⭐ [逻辑架构清晰严密，从数据构建到强化学习数学形式化层层递进，附录分析翔实扎实]
价值: ⭐⭐⭐⭐⭐ [为解决多模态大模型在社交交互场景下的“幻觉与过度思考”提供了典范式的大规模数据与对齐方法论]