Behavioral Geometric Supervision Aligns Video Foundation Models with Human Social Perception¶

会议: NeurIPS 2026
arXiv: 2510.01502
代码: https://github.com/garciakathy/bgs-finetuning
领域: 视频理解
关键词: 行为几何监督, 视频基座模型, 社会感知, 表征对齐, 奇数剔除 (OOO)

一句话总结¶

提出了行为几何监督（BGS），通过结合局部三元组奇数剔除约束与全局表征相似度分析（RSA）的混合可微目标，在仅更新不到 2% LoRA 参数的情况下，使视频基座模型在动态社会相似性表征上全面超越文本编码基线，并自发涌现可解释的社会情感维度与跨域抽象交互泛化能力。

研究背景与动机¶

人类在观察动态视觉世界时，能够毫不费力且极其细致地感知人际互动的复杂社会属性——仅凭短暂的眼神交流、身体微动或空间距离，我们就能分辨出两个人是在相互安慰、协同合作还是对抗竞争。随着视频基座模型与多模态智能体不断深入以人类为中心的现实交互环境，使模型的内部视觉表征与人类社会感知对齐变得至关重要。然而，当前的视频基座模型（无论是自监督预测模型如 V-JEPA 2/2.1，还是经过大规模动作分类预训练的 TimeSformer、VideoMAE）主要围绕动作分类类别标签或像素时空掩码重构进行优化，严重缺乏表征动态社会关系结构的能力。

这一表征鸿沟在基准测试中表现得极为显著：在涵盖 14 种预训练视觉编码器的系统测试中，没有一个视觉模型能够像基于视频简短文本描述的句子编码器（如 MPNet）那样准确地预测人类对动态社会视频的相似性判断。尽管近期有部分工作尝试使用昂贵的人类 fMRI 神经影像数据对模型进行“大脑微调”（Brain-tuning），但神经成像的高昂成本极大制约了其可扩展性；而现有的图像级人类行为对齐方法往往局限于静态物体或低阶感知特征，无法捕捉需要时空连续整合的社会交互动态。由此引出两个核心科学问题：我们能否仅借助高性价比、可扩展的人类行为相似性判断，在视频模型中诱导人类般的社会相似性几何结构？这种被诱导出的几何结构究竟是真正具有视觉独特性质的社会感知表征，还是仅仅复现了语言嵌入所编码的高层语义？

针对这一瓶颈，本文指出视频基座模型在预训练阶段其实已经隐式编码了丰富的社会视觉线索，只是缺乏恰当的几何监督信号将其组织为人类可用的一致结构。本文的核心 idea 是：提出行为几何监督（BGS），结合局部三元组约束与全局表征相似度分析（RSA）构建可微混合损失，仅通过低秩自适应（LoRA）微调视频 Transformer 极少参数（<2%），即可将嵌入空间几何结构全面对齐至人类动态社会感知空间。

方法详解¶

整体框架¶

行为几何监督（BGS）的整体流程分为两个核心阶段：首先是构建高质量的人类社会视频相似性基准数据集，通过最小化被试负担的贪心集合覆盖算法采集 49,484 次三元组奇数剔除（Odd-One-Out, OOO）判断；其次是基于该行为相似性目标，通过低秩自适应（LoRA，rank=16，仅更新不到 2% 的参数）对冻结的视频 Transformer 骨干网络施加混合几何监督。

该混合几何目标在机制上由两个互补部分组成：一方面利用局部三元组损失（Triplet Loss）约束每个具体试验中“更相似成对视频”与“相异剔除视频”之间的边际距离；另一方面周期性引入基于全局表征相似度分析（RSA）的可微相关性损失，在采样的视频子集上直接拉齐模型嵌入距离矩阵与人类行为相似度矩阵的宏观拓扑结构。两者的结合既保证了微观相对排序的准确，又赋予了潜在几何空间全局一致的语义拓扑。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["自然交互视频数据集<br/>250段双人动态视频 (Moments in Time)"] --> B["贪心集合覆盖三元组生成<br/>保证每对视频至少出现1次 (10,780组)"]
    B --> C["人类奇数剔除实验<br/>245名被试产生49,484条行为偏好"]
    C --> D["构建行为相似性矩阵 (RSM)<br/>200训练集 / 50 stimulus-disjoint 测试集"]
    D --> E["双尺度混合几何监督 (BGS)"]
    subgraph E["双尺度混合几何监督 (BGS)"]
        direction TB
        E1["局部三元组排序约束<br/>边际距离惩罚 max(0, d(A,P) - d(A,N) + γ)"]
        E2["全局RSA拓扑对齐<br/>可微皮尔逊相关性 -corr(z(d), z(d^H))"]
    end
    E --> F["轻量LoRA参数微调<br/>更新<2%注意力参数 (V-JEPA/TimeSformer等)"]
    F --> G["对齐的人类社会感知表征<br/>超越文本基线 / 涌现社会情感维度 / 零样本迁移"]

关键设计¶

1. 贪心集合覆盖驱动的高效行为相似性基准构建：解决视频成对相似度全覆盖的采样复杂度瓶颈 为了量化人类对动态交互的社会感知，直接评测所有可能的两两配对（对于 250 段视频，共有 $\binom{250}{2} = 31,125$ 对）极其耗费人力。本文采用三元组奇数剔除（Odd-One-Out, OOO）实验范式，向被试展示三段 3 秒钟的双人互动视频，要求其“聚焦于人们在做什么并选出格格不入的一项”，未被剔除的两项即被隐式判定为更相似。由于纯理论最小三元组数为 $\binom{250}{2} / 3 = 10,375$，暴力随机采样会导致大量样本重合而覆盖率不足。为此，本文设计了贪心集合覆盖近似算法：在每一轮迭代中，从候选三元组池中贪心选择能够覆盖最多尚未测试成对视频的三元组，最终仅用 10,780 个三元组（相当于每位被试完成 220 题，仅需 49 位被试即可实现全对完整覆盖）就实现了 100% 的成对覆盖。最终收集了 245 名被试的 49,484 次判断，基于频次统计构建出可靠的人类表征相似性矩阵（RSM），并通过严格的 stimulus-disjoint 划分保留 50 个完全未参与训练的测试视频，其噪声上限（Noise Ceiling）经 Spearman-Brown 校正后确定为 $R^2 = 0.213$。

2. 局部三元组排序约束：显式纠正视频局域距离的相对几何边界 针对每个具体的奇数剔除行为判断，模型必须确保基准锚点视频与被选为正样本的视频之间的距离，显著小于锚点视频与被剔除的负样本视频之间的距离。设视频 $v_i$ 经模型提取并进行 $\ell_2$ 归一化后的特征向量为 $\mathbf{z}_i = f(v_i) / \|f(v_i)\|_2$，成对余弦距离定义为： $$d(i, j) = 1 - \langle \mathbf{z}_i, \mathbf{z}_j \rangle$$ 对于人类判定视频 $i$ 与 $j$ 更相似、而将 $k$ 选为奇数剔除项的三元组 $(i, j, k)$，模型引入边际超参数 $\gamma = 0.2$，施加局部三元组损失函数： $$\mathcal{L}_{\text{triplet}}(i, j, k) = \max\left\{0, \; d(i, j) - d(i, k) + \gamma\right\}$$ 这一设计能够直接对齐微观相对排布，确保在任何局部三元组决策边界上，模型关于“谁与谁属于同类互动”的判断均与人类直觉完全一致。

3. 全局可微表征相似度分析（RSA）对齐：在低内存开销下规范多维语义流形的全局拓扑 仅依靠三元组损失容易使模型陷入局部几何形变，缺乏全局空间维度的结构一致性。本文将计算神经科学中传统用于事后分析的表征相似度分析（RSA）重构为端到端可微的训练损失。为了在有限显存下处理连续视频，训练时每个 epoch 均匀插入 6 次 RSA 优化步。在每次 RSA 步骤中，随机采样包含 $\mathcal{K}=24$ 段视频的批次，但仅指定其中 $\mathcal{M}=6$ 段视频携带反向传播梯度。尽管需计算这 24 段视频之间的全部 $\binom{24}{2} = 276$ 对距离，但仅对涉及这 6 个梯度视频的 123 对成对距离回传梯度，大幅节约显存。设模型成对距离上三角向量经 $z$-score 标准化后为 $z(\operatorname{vec}(d))$，对应的人类行为距离为 $z(\operatorname{vec}(d^{\text{H}}))$，在有效掩码索引集合 $\mathcal{M}$ 上的损失定义为负皮尔逊相关系数： $$\mathcal{L}_{\text{RSA}} = -\,\operatorname{corr}\left(z\big(\operatorname{vec}(d)\big)[\mathcal{M}], \; z\big(\operatorname{vec}(d^{\text{H}})\big)[\mathcal{M}]\right)$$ 通过采用平滑可微的皮尔逊相关系数，梯度能够直接从宏观拓扑相关度反向传播至视觉嵌入，使得模型的高维隐空间在全局几何上与人类心理表征对齐。

4. 动态退火混合调度：平滑解耦微观决策边界构建与宏观拓扑塑形 BGS 并没有静态加权两项损失，而是设计了符合认知学习过程的动态调度策略： $$\mathcal{L}_{\text{hybrid}}^{(t)} = \alpha\,\mathcal{L}_{\text{triplet}}^{(t)} + I_{\text{RSA}}(t)\,\beta^{(t)}\,\mathcal{L}_{\text{RSA}}^{(t)}$$ 其中固定局部三元组权重 $\alpha = 0.7$，指示函数 $I_{\text{RSA}}(t)$ 仅在每个 epoch 指定的 6 个优化步生效，而全局 RSA 权重 $\beta^{(t)}$ 则随着训练轮次从 0.3 线性增加到 0.7。这一策略确保模型在训练初期专注于拟合具体三元组的局部边界分类，建立稳固的低阶相对距离；在训练后期，逐渐放大全局拓扑约束的权重，使潜在空间整体向人类多维心理空间收敛，避免了训练初期强行对齐全局导致局部边界震荡的退化问题。

一个完整示例¶

以三段 3 秒双人互动视频为例：视频 A 为“两人并肩坐在长椅上亲切交谈”，视频 B 为“两人在厨房相互配合烹调料理”，视频 C 为“拳击台上两人激烈搏击打斗”。 1. 人类行为信号输入：人类被试在三元组奇数剔除实验中一致选择视频 C 为“奇数剔除项（odd-one-out）”，判定视频 A 与 B 之间具有更高的社会相近性（均为亲社会/友好互动），形成正样本对 (A, B) 与负样本对 (A, C)。 2. 预训练模型初始表征：未经微调的 V-JEPA 2.1 提取视频特征并计算余弦距离。由于 A 与 B 的场景（户外长椅 vs 室内厨房）和动作低阶运动学差异极大，而预训练模型高度关注背景与肢体表面运动，导致模型错误预测 $d(A, B) = 0.82 > d(A, C) = 0.75$，做出了与人类相反的剔除判断。 3. BGS 混合梯度更新：局部三元组模块检测到边际违背 $d(A, B) - d(A, C) + 0.2 = 0.27 > 0$，对注意力层的 LoRA 权重注入梯度拉近 A 与 B；同时，RSA 批次（包含该场景及其他 21 段互动）计算距离矩阵并发现整体亲社会/对抗维度与人类 RSM 不匹配，产生全局梯度修正。 4. 对齐后表征演化：经过 50 轮混合训练后，$d(A, B)$ 显著下降至 0.41，而 $d(A, C)$ 保持在 0.88，不仅正确翻转了三元组选择，而且在后续无标注的线性探测中，该表征自动在效价（Valence）和唤醒度（Arousal）轴上将 A、B、C 分离在完全符合心理学认知的坐标位置。

损失函数 / 训练策略¶

训练采用 AdamW 优化器，学习率设为 $1 \times 10^{-4}$，批大小为 4，总计训练 50 个 epoch，并使用梯度检查点（Gradient Checkpointing）与混合精度训练控制显存。模型基于在训练集 20% 验证划分上的 RSA 解释方差（$R^2$）进行早停选择（patience=5）。LoRA 适配器仅注入到 ViT 各注意力层的自注意力投影矩阵中（rank=16），整个 backbone 的参数更新比例低于 2%。

实验关键数据¶

主实验¶

在 stimulus-disjoint 的 50 个测试视频集上（评估 637 对已知成对关系），对比各基线与 BGS 微调模型对人类社会相似性判断的解释方差（$R^2$，基于 Spearman RSA）与三元组奇数剔除准确率（OOO Accuracy）。

模型类别 / 模型名称	预训练范式 / 机制	解释方差 ($R^2$)	OOO 准确率 (%)	相比预训练基线提升
人类噪声上限 (Noise Ceiling)	双半信度 (Spearman-Brown 校正)	0.2130	—	—
最强文本基线: MPNet	掩码与排列文本预训练 (Captions)	0.1344	70.38%	—
预训练视频基线: X3D-M	高效卷积视频网络	0.1236	68.48%	—
预训练视频基线: TimeSformer-Base	时空解耦注意力 ViT	0.1024	63.59%	—
预训练视频基线: V-JEPA 2 ViT-L	联合自监督预测网络 (Large)	0.0867	60.05%	—
预训练视频基线: VideoMAE-Base	掩码视频自编码器	0.0867	66.75%	—
预训练视频基线: V-JEPA 2.1 ViT-B	密集预测自监督蒸馏 (Base)	0.0583	63.85%	—
预训练多模态基线: Qwen3-VL-2B	视觉语言大模型 (Video+Text)	0.1281	68.75%	—
BGS 微调: V-JEPA 2 ViT-L	BGS 混合几何微调 (LoRA)	0.1721	71.67%	+0.0854 (+98.5%)
BGS 微调: V-JEPA 2.1 ViT-B	BGS 混合几何微调 (LoRA)	0.1649	70.65%	+0.1066 (+182.8%)
BGS 微调: TimeSformer	BGS 混合几何微调 (LoRA)	0.1620	74.46%	+0.0596 (+58.2%)
BGS 微调: CLIP ViT-B/32	BGS 混合几何微调 (LoRA)	0.1560	67.84%	+0.0295 (+23.3%)
BGS 微调: VideoMAE-Base	BGS 混合几何微调 (LoRA)	0.1235	64.56%	+0.0368 (+42.5%)

消融实验¶

针对微调监督目标、监督预算以及语言蒸馏对照组进行的严格消融实验（以 V-JEPA 2.1 和 TimeSformer 为核心）：

模型配置 / 实验组	监督目标与约束类型	每轮约束数 (Constraints/epoch)	解释方差 ($R^2$)	OOO 准确率 (%)
V-JEPA 2.1 完整混合模型 (BGS)	Triplet ($\alpha=0.7$) + RSA ($\beta: 0.3 \to 0.7$)	12,978	0.1649	70.65%
仅局部三元组微调 (Triplet-Only)	纯三元组损失 ($\mathcal{L}_{\text{triplet}}$)	12,978	0.1583	69.29%
仅全局拓扑微调 (RSA-Only)	纯全局 RSA 损失 ($\mathcal{L}_{\text{RSA}}$)	13,038	0.1311	65.48%
语言蒸馏对照组 (MPNet Distilled)	匹配架构，蒸馏 MPNet 文本相似度	12,978	0.1232	67.21%
预训练原始基线 (Pretrained)	无行为微调	—	0.0583	63.85%
TimeSformer 完整混合模型 (BGS)	Triplet + RSA 混合监督	12,978	0.1620	74.46%
预算匹配三元组 (Triplet-Budget-Match)	增加额外三元组匹配 RSA 约束总量	12,978	0.1569	66.58%
标准三元组微调 (Triplet)	常规三元组损失	12,240	0.1456	70.65%
仅全局拓扑微调 (RSA-Only)	纯全局 RSA 损失	13,038	0.1212	63.86%

泛化与保持性实验（PHASE 跨域迁移与 UCF101 动作识别）¶

评测任务 / 数据集	评测指标	预训练模型 (Pretrained)	BGS 对齐模型 (Fine-tuned)	领域前序基线 / 对照
PHASE 抽象交互迁移 (2D几何物理交互)	3 分类准确率 (%)	55.0% (V-JEPA 2.1)	81.0% (V-JEPA 2.1)	SocialGNN (特权图): 76.0% / 人类一致性: ~83.0%
UCF101 动作识别 (全特征线性探测)	Top-1 准确率 (%)	78.17 ± 0.03% (V-JEPA 2.1)	80.31 ± 0.06% (V-JEPA 2.1)	$\Delta = +2.14\%$ (泛化能力不降反升)
UCF101 动作识别 (全特征线性探测)	Top-1 准确率 (%)	95.75 ± 0.18% (TimeSformer)	95.70 ± 0.14% (TimeSformer)	$\Delta = -0.05\%$ (通用分类完全保持)

关键发现¶

打破文本天花板，解释方差近三倍跃升：在未经行为对齐前，所有 14 个视觉模型的 $R^2$ 均低于最强文本模型 MPNet（0.1344）；BGS 使 V-JEPA 2.1 的解释方差从 0.0583 猛增至 0.1649（达到人类噪声上限 0.213 的 78%），V-JEPA 2 ViT-L 更达到 0.1721，证明少量的紧凑行为信号足以激活基座模型内潜在的社会视觉表征。
混合几何目标不可替代：单纯使用三元组损失（0.1583）或纯 RSA 损失（0.1311）均显著弱于混合 BGS（0.1649）；即使在 TimeSformer 上增加样本以严格对齐监督预算（Triplet-Budget-Match 达到 0.1569），仍明显低于混合模型（0.1620），这确凿地证实了全局 RSA 拓扑约束带来了不可被局部排序替代的高阶几何结构。
排除纯文本蒸馏假说，确立视觉独特方差：将训练目标替换为 MPNet 蒸馏后，模型仅获得 $R^2 = 0.1232$。进一步的方差分解（Variance Partitioning）表明，BGS 不仅将原本仅文本可解释的方差吸收为视觉-语言共享方差（从 0.03 升至 0.11），更将视频模型独有的方差从 0.02 翻倍至 0.04。这表明对齐后的视觉模型捕获了人类在直观视觉感知中存在、却无法被语言简要描述所穷尽的社会信息。
空间注意力的自主社会化重构：注意滚出（Attention Rollout）分析表明，在没有接受任何边界框或眼动标注的情况下，模型的空间注意力从单一显著物体或躯干，广泛重组并分散至两名交互者、面部表情、注视方向以及相互接触的手部等高度社会化区域，全数据集平均注意力偏离度达到 $1 - \bar{r} = 0.18 \pm 0.03$。

亮点与洞察¶

行为几何作为非侵入式的表征诱导器：BGS 仅微调不到 2% 的 LoRA 注意力参数，既没有改动特征骨干的核心权重，也没有破坏预训练学到的运动学能力，却在 UCF101 通用动作识别无损的前提下彻底重塑了流形拓扑。
未监督的社会情感（Social-Affective）属性自然涌现：在线性探测实验中，尽管训练信号从未包含任何情感词汇，模型表征在效价（Valence）、唤醒度（Arousal）和支配度（Dominance）等连续心理学维度上的线性可分性大幅提高，而文本蒸馏模型在 4/5 的维度上完全无法复现此效果。
跨越感知鸿沟的极端 OOD 抽象迁移：在完全脱离真实人体和自然纹理的 PHASE 抽象几何二维图元交互数据集上，冻结的对齐表征取得了 81% 的零样本探测准确率，首次以纯像素输入超越了基于特权仿真图结构的专用图网络 SocialGNN（76%），并逼近人类自身水平（83%）。

局限与展望¶

文化背景偏倚与单一数据源：实验所用的 250 段视频全集源自 Moments in Time 的子集，且 245 名人类被试均来自于美国单一高校平台（64% 女性，75% 亚裔或白人），所编码的社会规范主要偏向西方文化背景。跨文化、多族群背景下的人类社会感知存在差异，后续需进行跨文化验证。
群体聚合抹平个体差异：当前方法构建的 RSM 矩阵反映的是群体聚合平均后的共识相似度，平滑掉了不同性格、性别或认知特征个体的感知差异。未来可探索个性化或亚群组特定的行为几何对齐。
刺激规模仍显紧凑：相较于静态图像领域数十万级的行为对齐基准，250 段视频虽然在成对关系上达到了高密度覆盖，但绝对样本量依然受限，在大规模无约束交互视频集上的跨数据集泛化有待进一步验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出融合局部三元组与全局可微 RSA 的行为几何监督，打通了动态视频模型与人类社会认知对齐。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 类跨越式架构、22 种文本基线、方差分解、PHASE 跨域抽象迁移、空间注意力分析及 UCF101 保持性测试，论证极其严密。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰，数学定义严谨，对认知科学与计算机视觉交叉领域的科学洞察非常深刻。
价值: ⭐⭐⭐⭐⭐ 为具身智能、人机交互与可信视觉 AI 提供了极具可扩展性的低成本行为对齐范式。

模型配置 / 实验组	监督目标与约束类型	每轮约束数 (Constraints/epoch)	解释方差 (\(R^2\))	OOO 准确率 (%)
V-JEPA 2.1 完整混合模型 (BGS)	Triplet (\(\alpha=0.7\)) + RSA (\(\beta: 0.3 \to 0.7\))	12,978	0.1649	70.65%
仅局部三元组微调 (Triplet-Only)	纯三元组损失 (\(\mathcal{L}_{\text{triplet}}\))	12,978	0.1583	69.29%
仅全局拓扑微调 (RSA-Only)	纯全局 RSA 损失 (\(\mathcal{L}_{\text{RSA}}\))	13,038	0.1311	65.48%
语言蒸馏对照组 (MPNet Distilled)	匹配架构，蒸馏 MPNet 文本相似度	12,978	0.1232	67.21%
预训练原始基线 (Pretrained)	无行为微调	—	0.0583	63.85%
TimeSformer 完整混合模型 (BGS)	Triplet + RSA 混合监督	12,978	0.1620	74.46%
预算匹配三元组 (Triplet-Budget-Match)	增加额外三元组匹配 RSA 约束总量	12,978	0.1569	66.58%
标准三元组微调 (Triplet)	常规三元组损失	12,240	0.1456	70.65%
仅全局拓扑微调 (RSA-Only)	纯全局 RSA 损失	13,038	0.1212	63.86%