SocialDirector: Training-Free Social Interaction Control for Multi-Person Video Generation¶

会议: NeurIPS 2026
arXiv: 2605.10079
OpenReview: https://openreview.net/forum?id=9HlJW88mEe
领域: 视频生成
关键词: 多人视频生成、社交互动控制、免训练注意力调制、跨模态注意力泄漏、视觉语言模型评测

一句话总结¶

针对多人视频生成中动作主体错配与交互目标偏离等注意力泄漏难题，提出免训练控制器 SocialDirector，通过时空掩码与方向性重加权调制跨模态注意力图，以不到 3% 的微小计算开销实现高保真社交互动控制。

研究背景与动机¶

基于扩散变换器（Diffusion Transformer, DiT）的视频生成模型近年来取得了跨越式进展，能够从文本或图像提示词中合成极具真实感的人物动态与逼真运镜。电影制作、人机交互与社交机器人等下游应用不仅满足于单人物体的动作生成，更亟需具有丰富社交交互（例如多人对话、手势互动、协作举杯等）的多人视频生成能力。然而，现有视频生成模型普遍缺乏对社交交互行为的精细化显式控制，无法精确约束“谁在什么时间对谁做出何种动作”，导致生成的视频频发动作主体错配（actor-action mismatch）、时序动态混乱以及交互目标指向错误等失真现象。

造成上述失败的根本原因在于标准扩散模型跨模态注意力机制中固有的注意力泄漏（attention leakage）。在 DiT 模块的标准交叉注意力计算中，所有的视觉标记（visual tokens）在全时空范围内自由关注所有的文本提示标记（text tokens），模型缺乏显式的时空与关系先验来将特定动作绑定到对应的执行者、发生时段及受动对象。这导致动作描述经常被无关人物“窃听”，要么导致未参与互动的角色出现多余动作，要么使交互朝向完全相反的方向。

为攻克多人物理与社交交互的错配痛点，本文提出在无需任何微调或引入额外可学习参数的前提下对预训练 DiT 进行推理期注意力引导。核心 idea：通过构建基于人物边界框的时空掩码约束视觉与文本标记的交互范围，并显式放大指示动作朝向的方向性词元注意力权重，以免训练方式在跨模态注意力层面解耦并精确绑定社交互动的主体、时段与目标。

方法详解¶

整体框架¶

SocialDirector 是一种即插即用的免训练控制器，可无缝嵌入任意基于 DiT 的图生视频（I2V）生成骨干网络中。系统的输入包含首帧 RGB 图像、图像中 $N$ 个各人物的首帧边界框、以及包含共享场景描述与 $K$ 个结构化社交事件的时间戳文本提示词。在生成过程中，SocialDirector 不改变模型权重与前向结构，而是直接对每个 DiT 模块中的跨模态交叉注意力分数矩阵施加显式调制，依次经过时空掩码与方向性偏置，实现精准的多人社交行为调度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["首帧图像 + 人物边界框 + 结构化带时间戳文本提示"] --> B["DiT 视觉与文本标记提取<br/>构建视觉查询矩阵 V 与文本键矩阵 L"]
    B --> C["社交角色掩码<br/>根据时空子集构建注意力掩码 M 阻断跨人跨时泄漏"]
    C --> D["方向性重加权<br/>注入方位词元并叠加正偏置 W 引导动作指向目标"]
    D --> E["调制后 Softmax 归一化注意力生成高保真社交互动视频"]

关键设计¶

1. 社交角色掩码：在空间与时间双维度消除跨主体注意力泄漏

标准跨模态交叉注意力计算为 $\text{softmax}(VL^\top / \sqrt{d})$，使每个视觉标记 $v \in \mathcal{V}$ 都会与所有文本标记 $l \in \mathcal{L}$ 进行关联，从而引发身份与时间混淆。社交角色掩码将文本提示分解为全局共享的背景标记 $\mathcal{L}_{\text{bg}}$ 以及针对具体角色 $s$ 在第 $k$ 个事件中的专用文本标记 $\mathcal{L}_{s,k}$。同时利用首帧人物框（外扩 15% 容纳自然肢体移动）与事件有效时间窗口 $[t_1^k, t_2^k]$，定位出该事件对应的时空视觉标记子集 $\mathcal{V}_{s,k} \subset \mathcal{V}$。由此构建时空注意力掩码矩阵 $M$： $$M_{v,l} = \begin{cases} 0, & l \in \mathcal{L}_{\text{bg}}, \\ 0, & l \in \mathcal{L}_{s,k} \text{ 且 } v \in \mathcal{V}_{s,k}, \\ -\infty, & \text{其他.} \end{cases}$$ 该设计使背景信息能够被所有视觉区域感知以维持画面全局协调，而特定动作文本被严格限制在对应人物在指定时间区间的时空管状区域内生效。空间维度的约束杜绝了“张三做李四动作”的主体错配，时间维度的约束则保证了事件交替发生时的时序因果与动态秩序。

2. 方向性重加权：通过自适应注意力偏置引导动作指向目标

仅依赖时空掩码只能解决动作的主体与时间归属，却无法明确动作的受动对象（例如人物虽然在指定时段做出了举杯动作，但可能朝向中央甚至错误方向）。为此，方向性重加权模块依据执行者与目标人物的首帧空间相对几何关系，提取相对方向（如左向、右向）并作为显式方位词元嵌入提示词，构成方位标记集合 $\mathcal{L}_{\text{dir}}$。随后构造正向偏置矩阵 $W$： $$W_{v,l} = \begin{cases} \gamma \cdot \sqrt{d}, & l \in \mathcal{L}_{s,k} \cap \mathcal{L}_{\text{dir}} \text{ 且 } v \in \mathcal{V}_{s,k}, \\ 0, & \text{其他.} \end{cases}$$ 最终调制的注意力计算为 $\widehat{\text{Attn}} = \text{softmax}((VL^\top / \sqrt{d}) + M + W)$。通过将重加权强度超参数 $\gamma$ 乘以缩放因子 $\sqrt{d}$，使注入的偏置幅度与未归一化的原始注意力对数几率天然解耦，增强模型在合成肢体与面部朝向时对空间几何方位的感知敏感度，精准引导动作朝向指定交互对象。

损失函数 / 训练策略¶

SocialDirector 为纯免训练（Training-Free）推理期控制机制，不涉及任何参数更新与反向传播损失函数。在推理超参数设定上，重加权强度取 $\gamma = 0.5$；边界框在首帧标注基础上每边向外扩展 15% 以覆盖人物位移。实验部署于 Wan2.2-I2V-A14B（40 步去噪）与 LTX-2.3-22B（30 步去噪）骨干网络上，调制操作应用于 DiT 全层的所有跨模态交叉注意力层。

实验关键数据¶

主实验¶

针对社交交互缺乏标准化评测体系的问题，作者从 MELD、MMSI 和 SocialGesture 数据集构建包含 149 个多人视频片段的基准库，包含 674 名说话者与 479 个动作事件，并利用多视觉语言模型（Qwen3-VL、InternVL3.5、MiniCPM-V 4.5）多数投票机制评测动作准确率（Action Acc）、目标准确率（Target Acc）与静止准确率（Stillness Acc）。在 Wan2.2 基础模型与主流竞品对比中，SocialDirector 表现出卓越的交互控制精度：

方法	需边界框	动作准确率 ↑ (%)	目标准确率 ↑ (%)	静止准确率 ↑ (%)	FVD ↓	ViCLIP ↑	画面质量 ↑	ID 保持度 ↑ (%)
GT Oracle（真实视频上限）	—	75.9	72.6	90.8	—	15.6	39.0	88.8
EchoMimic v3	否	60.1	65.5	98.0	5.26	14.4	35.9	90.8
AnyTalker	否	64.1	66.3	92.9	5.40	15.2	36.3	91.7
Bind-Your-Avatar	是	63.6	69.5	72.2	20.1	16.4	28.4	66.9
MultiTalk	是	68.1	68.6	94.1	11.2	15.0	41.7	89.9
HunyuanVideoAvatar	否	68.9	68.6	88.5	5.06	16.5	36.2	86.8
LTX-2.3（原始基线）	否	71.6	69.4	87.6	5.77	15.9	31.8	87.0
LTX-2.3 + SocialDirector	是	74.3 (+2.7)	70.8 (+1.4)	88.3 (+0.7)	5.89	16.4	32.4	86.7
Wan2.2（原始基线）	否	72.2	69.2	85.1	4.21	16.1	43.3	84.1
Wan2.2 + SocialDirector	是	76.1 (+3.9)	72.3 (+3.1)	88.2 (+3.1)	4.29	16.8	43.7	85.1

消融实验¶

基于 Wan2.2 评估核心注意力控制模块及重加权强度的消融结果如下表所示：

配置 / 模块组合	动作准确率 ↑ (%)	目标准确率 ↑ (%)	静止准确率 ↑ (%)	说明
无控制（Wan2.2 基线）	72.2	69.2	85.1	存在严重跨人与跨时注意力泄漏
仅掩码 $M$（Social Actor Masking）	75.7	69.7	87.3	动作与静止精度显著提升，但交互目标指向不明确
仅偏置 $W$（Directional Reweighting）	73.0	68.6	84.1	缺乏主体绑定时单纯强化方向词无明显增益
完整模型（$M + W$, $\gamma=0.5$）	76.1	72.3	88.2	联合消除了身份泄漏并精准校准交互受体目标
偏置强度 $\gamma=0.1$	75.8	70.6	86.9	方向性偏置过弱，目标准确度增益受限
偏置强度 $\gamma=0.7$	75.6	69.4	88.5	偏置过强导致生成画面失真，指标反降
偏置强度 $\gamma=1.0$	72.6	67.9	90.9	过强引导破坏原先扩散语义，视频质量劣化（FVD 达 6.55）

关键发现¶

双模块互补机制清晰：单独使用社交角色掩码 $M$ 能大幅提高动作准确度（+3.5%）和静止准确度（+2.2%），证明了阻断注意力泄漏的必要性；但在目标准确率上仅微增 0.5%。必须联合方向性重加权 $W$ 才能将目标准确率拉升至 72.3%，二者结合彻底解决了“谁做动作”与“对谁做动作”。
逼近真实视频上限：在 Wan2.2 骨干网络下，SocialDirector 的动作准确率（76.1%）和目标准确率（72.3%）与使用真实视频 ground-truth 进行评测的 GT Oracle（分别为 75.9% 与 72.6%）几乎一致，表明生成视频的社交交互保真度已极为贴近真实视频水准。
极低的计算开销：在生成 81 帧、832×480 视频的实测中，Wan2.2 引入的推理耗时仅从 604.0s 增至 614.2s（+1.7%），LTX-2.3 仅增加 2.7%，FLOPs 增量完全可以忽略不计。

亮点与洞察¶

物理先验驱动的免训练注意力门控：巧妙利用视频生成的首帧边界框和时间区间构建管状时空掩码，直接在不重新训练大模型的情况下切断跨模态注意力泄漏，轻量高效且具备通用性。
维度解耦的方向性重加权偏置：将方向性引导词元偏置项显式乘以通道维度平方根 $\sqrt{d}$，使得引导强度超参数 $\gamma$ 独立于不同 DiT 骨干模型的通道隐层维度，大幅降低了跨架构迁移的超参调优成本。
首个基于 VLM 多数投票的多人交互自动评测体系：将复杂的社交语义判定分解为正负二值 VQA 提问，并引入三款开源主流多模态大模型进行多数裁决，摆脱了单纯依赖传统画质指标无法衡量交互正确性的局限。

局限与展望¶

缺乏多模态音频联合驱动：目前主要依赖文本与图像提示，未与真实语音波形深入对齐，在唇形同步与实时对话交替打断等精细口型控制上仍有欠缺。
依赖首帧静态框且难抗严重遮挡：时空区域基于首帧静态框进行固定外扩衍生，若角色出现全场奔跑等大范围位移或复杂的肢体前后深度严重遮挡，预设掩码会出现覆盖偏差。
未来方向：作者指出未来可结合流式数字人模型扩展到长视频生成，引入动态位置嵌入替代静态边界框，并结合 LLM 作为智能规划器自主编写多人社交交互剧本。

评分¶

新颖性: ⭐⭐⭐⭐ [针对多人交互注意力泄漏问题设计了时空掩码与方向性重加权的免训练机制，思路清晰优雅]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖两款顶级开源 DiT 骨干网络、多种 baseline 对比以及详尽的消融实验，并构建了基于 VLM 的多维度全自动评测基准]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表清晰，问题定义与动机阐述极为透彻]
价值: ⭐⭐⭐⭐ [为多人可控视频生成与虚拟人社交互动提供了即插即用的轻量化解决方案，极具实用价值]