Towards Flexible, Natural, Efficient Interaction for Conversational Talking Face Generation¶

会议: ECCV 2026
论文: ECCV 原文
领域: 人体理解
关键词: 对话式说话人脸生成、非语言反馈、多方交互、解耦动作精炼、实时渲染

一句话总结¶

提出 InterTalk 框架，通过响应式上下文编码器、解耦动作精炼生成器与多轮迭代生成策略，打破人数限制并支持任意多参与者的双向动作反馈，在单卡 30+ FPS 下实现高质量、高唇同步率与逼真非语言反馈的实时对话人脸合成。

研究背景与动机¶

对话式说话人脸生成旨在生成高度逼真且富有交互感的视频，使虚拟角色在对话场景中能够自然地交替说话、倾听并根据对方的非语言线索给出动态反馈。不同于传统的单人说话人脸生成任务，对话场景极其强调交互的多轮流转与协同：发言者需要保持唇形与语音的高精度对齐，倾听者需要根据对话语境给出适时点头、微笑等非语言反馈，同时角色之间需要实现无缝的身份与话轮切换。然而，在实际落地（如陪伴型数字人、虚拟会议、多方直播互动）中，系统往往需要同时满足高灵活性（支持任意参与者数量的多轮对话）、高度自然感（精准唇音对齐与连贯生动的肢体面部互动）以及高计算效率（单机实时低延迟长程推流）。

现有工作难以同时兼顾这三项核心诉求。一方面，显式建模对话动力学的方法虽然具有较高的推理速度，但早期方案（如 DIM）通常将说话与倾听动作解耦为独立模型，必须依赖人工规则或硬编码切换话轮；后续方法（如 INFP）虽引入双声道音频输入，却局限于单角色孤立场景，缺少对环境与其他对话者动作反馈的建模，且受限于极少的多人对话数据，唇形同步精度存在天花板；基于 3D 几何（如 DualTalk）的方法则仅能输出网格参数，难以直接渲染逼真的高分辨率 2D 视频。另一方面，近期基于大视频扩散模型（如 MultiTalk、Wan 2.1 等）的端到端生成范式虽然视觉生成表现亮眼，但计算开销巨大、推理吞吐极其缓慢，且几乎无法灵活拓展到两人以上的多人自由场景，难以满足需要实时在线互动的数字人业务需求。

本文的切入角度是：将多方音视频上下文显式融合为统一交互表征，并基于高效的隐式关键点运动驱动范式解耦面部不同动态子空间，通过多次轻量迭代逼近全局交互平衡。核心 idea：构建基于轻量运动特征驱动的 InterTalk 框架，引入响应式上下文编码器动态汇聚多方音频与动作反馈，设计解耦的面部动作生成器进行针对性唇形同步与眨眼增强，并配合推理期无延迟开销的迭代生成策略，在 30+ FPS 实时帧率下实现任意多参与者的逼真多轮对话人脸生成。

方法详解¶

整体框架¶

InterTalk 主要由三个紧密协同的模块构成：响应式上下文编码器（Responsive Context Encoder, RCE）、交互动作生成器（Interactive Motion Generator, IMG）以及多人渲染与缝合管线（Rendering Pipeline）。RCE 负责摄取场景中全部参与者的多轨音频与先前动作，通过跨模态对齐与自适应注意力池化聚合全局交互上下文；IMG 接收自身说话音频与全局交互特征，生成粗粒度面部运动并将其解耦为唇部、眼部与头部姿态，分别经由专用轻量模块进行增强；最后，渲染管线提取 3D 隐式关键点形变场，结合外观身份特征通过扭曲解码器渲染各角色面部，并经由缝合模块无缝拼接回原始背景。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多参与者多轨音频与交互动作输入"] --> B["响应式上下文编码器：跨模态动态建模与注意力池化"]
    B --> C["交互动作生成器：因果时序建模与粗动作预测"]
    C --> D["解耦动作精炼：唇音同步与面部微动作特化增强"]
    D --> E["迭代生成策略：多轮相互反馈平滑更新"]
    E --> F["隐式关键点渲染与空间多角色缝合"]
    F --> G["多参与者连贯对话视频输出"]

关键设计¶

1. 响应式上下文编码器：跨模态多参与者交互动态统一建模 传统对话驱动通常仅依赖说话人自己的音频，或者简单的双轨音频拼接，完全忽略了对方实时的面部表情、点头等动作反馈。为了赋予虚拟角色对环境动作的敏感度，RCE 模块同时接收所有参与者的音频流 $A_i$ 与动作输入 $M_i$（其中 $M_i$ 解耦为唇部 $M_i^{\text{lip}}$、眼部 $M_i^{\text{eye}}$ 与头部旋转 $M_i^{\text{pose}}$）。音频首先通过预训练的 Wav2Vec 2.0 提取语音表征 $F_{\text{a}}^i$，解耦动作经由联合编码器映射为动作特征 $F_{\text{m}}^i$。随后，模块通过跨模态交叉注意力（Cross-Attention）完成音视频特征的语义对齐，并送入双向 LSTM 捕获约 3 秒局部上下文窗口内的时序动态，得到单人交互上下文 $F_{\text{RCE}}^i$： $$F_{\text{RCE}}^i = \text{biLSTM}\left(\text{CrossAttn}(F_{\text{a}}^i, F_{\text{m}}^i)\right)$$ 为了自适应支持任意数量 $N$ 的参与者，RCE 计算全员平均特征 $\bar{F} = \frac{1}{N}\sum_{i=1}^N F_{\text{RCE}}^i$ 作为参考锚点，利用缩放点积注意力自适应分配合理权重 $\alpha_i = \text{Softmax}\left(\frac{{F_{\text{RCE}}^i}^\top \bar{F}}{\sqrt{d}}\right)$，聚合得到统一交互全局特征 $F_{\text{RCE}} = \sum_{i=1}^N \alpha_i F_{\text{RCE}}^i$。该设计打破了固定角色数量的束缚，使模型能自适应地感知谁在说话、谁在给反应，形成全局交互语境。

2. 解耦动作精炼：针对性面部子空间控制与单人先验增强 直接用统一网络回归全脸运动极易导致唇形模糊或眨眼失真，特别是多人对话数据规模有限，导致唇音同步指标普遍较弱。InterTalk 将面部动力学解耦到不同生理学子空间。首先，IMG 的生成骨干包含融合 Transformer 编码器、因果掩码时序注意力、Transformer 解码器与前馈投影层，预测出粗粒度动作 $M_{\text{coarse}}$ 并拆解为唇部、眼部与头部姿态分量。针对唇部，本文在通用单人说话数据集上预先独立训练了一个轻量的同步增强模块（SyncEnhancer），仅依赖自身音频 $A_{\text{self}}$ 和粗唇形预测局部残差位移，借助单人数据充沛的唇音强对齐先验极大提升了唇形清晰度；针对眼部，引入 BlinkEnhancer 调节眨眼频率与生理噪声，避免机械僵硬；针对头部，PoseInitializer 根据两角色在画面中的相对空间位置自适应偏转初始朝向，确保对话双方自然的眼神对视： $$M_{\text{refine}}^{\text{eye}} = \text{BlinkEnhancer}(M_{\text{coarse}}^{\text{eye}}, z, f), \quad M_{\text{refine}}^{\text{lip}} = \text{SyncEnhancer}(M_{\text{coarse}}^{\text{lip}}, A_{\text{self}}), \quad M_{\text{refine}}^{\text{pose}} = \text{PoseInitializer}(M_{\text{coarse}}^{\text{pose}}, x_{\text{self}}, y_{\text{self}})$$ 通过解耦分治，既保障了多轮交互的全局协调性，又攻克了多人场景下局部微表情与高精度唇音同步难以兼得的痛点。

3. 迭代生成策略：消除顺序生成依赖与时延的高效闭环交互 在线上多人实时推理时，每个角色的生成无法预知其他角色在当前时刻尚未生成的最新动作，如果仅使用上一帧历史缓存，会不可避免地造成交互反应的滞后与非对称性。为了在保持高效的前提下实现充分的互相感知，本文提出了轻量级的循环迭代生成策略。在单次推理轮次中，首先将其他参与者的初始反馈动作置零，依次通过 IMG 得到各角色的第一版动作输出；在随后的迭代步 $j$（通常迭代 2~3 轮）中，将上一轮全员更新后的动作表征填入共享动作缓存中，各角色重新作为倾听者/说话者调用轻量 IMG 刷新自身动作： $$M_{ij} = \text{IMG}\left(A_i, \text{RCE}\left(M_{(j-1)}^{\neg i}, A_{(j-1)}^{\neg i}\right)\right)$$ 在迭代过程中暂时关闭局部的精炼模块，仅更新交互骨干动力学。由于基于隐式关键点的 IMG 模型参数量极小，2~3 轮迭代的面部运动计算开销在整个渲染管线中占比不足 5%，却能显著消除多角色反应滞后，使得倾听者的点头与微笑能精准对齐对方发言的关键停顿与情绪高潮。

4. 3D 人脸参数迁移数据增强与无缝空间缝合渲染 针对真实多人同框对话视频稀缺且标注困难的问题，作者构建了一个包含 143 个身份、205 段高质量剪辑的多人对话基准，并结合音视频人脸语音分离网络剔除串音。更进一步，针对 3D 几何与 2D 隐式关键点的表征鸿沟，本文设计了基于 3D FLAME 模型的参数迁移增强算法：将 DualTalk 等数据集中的 3D FLAME 头部姿态 $\alpha_{\text{pose}}$、表情 $\alpha_{\text{exp}}$ 和下颌参数 $\alpha_{\text{jaw}}$ 转化为网格顶点偏移，经过眼睛和唇部局部区域掩码提取形变，再通过轻量转换网络映射为 2D 隐式关键点运动，作为强有力的动作监督先验注入训练。在画面渲染端，提取规范关键点 $K_{\text{ori}}$ 并叠加驱动增量 $K_{\text{d}}$，指导外观流场扭曲解码生成单人图像，最后利用空间形变场与羽化掩码缝合模块无缝嵌回多角色同屏全景中。

损失函数 / 训练策略¶

模型训练分为两阶段：第一阶段联合训练 RCE 与 IMG 生成骨干，采用动作 $L_2$ 重建损失 $\mathcal{L}_{\text{rec}}$ 与平滑时序速度损失 $\mathcal{L}_{\text{vel}}$： $$\mathcal{L}_{\text{motion}} = \lambda_{\text{rec}} \mathcal{L}_{\text{rec}} + \lambda_{\text{vel}} \mathcal{L}_{\text{vel}}$$ 第二阶段冻结主体生成网络，在单人高清谈话数据集（HDTF）上利用唇形同步判别器专家损失 $\mathcal{L}_{\text{sync}}$ 专门训练轻量 SyncEnhancer。渲染管线则继承 LivePortrait 的预训练外观先验，并在 8 卡 RTX 4090 上经 3 天训练收敛。

实验关键数据¶

主实验¶

在单人说话场景（HDTF 数据集）与倾听者交互场景（ViCo 数据集）上全面对比主流顶会基准。

在 HDTF 单人基准上，InterTalk 评估视频质量（FID/NIQE）、唇同步对齐（Sync-C/Sync-D）以及时序一致性（FVD）：

数据集	指标	本文	之前SOTA (Sonic/Hallo2)	提升幅度
HDTF	Sync-C ↑	8.30	8.26 (Sonic)	+0.04
HDTF	Sync-D ↓	6.91	6.88 (Sonic)	+0.03 (相当)
HDTF	FID ↓	23.07	28.13 (EchoMimic) / 33.15 (Hallo2)	-5.06 (显著更清晰)
HDTF	NIQE ↓	13.29	13.42 (EchoMimic)	-0.13
HDTF	FVD ↓	178.73	204.55 (Sonic)	-25.82 (时序更平滑)

在 ViCo 倾听者反应生成基准上，评估生成运动的真实分布距离（FD）、多样性（SID）、相关系数（RPCC）与均方误差（MSE）：

数据集	评估项	本文	DIM (ECCV'24)	INFP (CVPR'25)	ARIG (2025)
ViCo	FD (exp / pose) ↓	18.33 / 0.04	23.88 / 0.06	18.63 / 0.07	18.39 / 0.05
ViCo	SID (exp / pose) ↑	4.85 / 4.07	3.71 / 2.35	4.78 / 3.92	4.82 / 3.94
ViCo	RPCC (exp / pose) ↓	0.05 / 0.01	0.06 / 0.03	- / -	0.05 / 0.01
ViCo	MSE (exp / pose) ↓	0.48 / 0.01	0.70 / 0.02	0.51 / 0.01	- / -

在全新自建的多人对话数据集上，对比唯一开源的多人对话视频模型 MultiTalk（Wan 2.1 扩散基座）：

方法	类别	Sync-C ↑	FD ↓	RPCC ↓	SID ↑	FPS ↑
MultiTalk	视频扩散模型 (Wan 2.1)	7.94	41.74	0.24	5.14	0.61
InterTalk (Ours)	显式运动驱动	8.30	22.67	0.09	4.28	31.23

消融实验¶

在多人对话数据集上对核心组件展开消融验证：

配置	Sync-C ↑	FD ↓	RPCC ↓	SID ↑	FPS ↑	说明
完整模型 (Full model)	8.30	22.67	0.09	4.28	31.23	全模块完备，兼顾高保真交互与实时性
w/o RCE 运动反馈	8.13	29.72	0.15	2.71	31.85	移除运动反馈导致交互响应多样性暴跌 (SID 4.28→2.71)
w/o 迭代生成策略	8.25	24.26	0.11	4.12	34.67	交互真实度下降 (FD 升至 24.26)，虽略提速但存在反应延迟
w/o 动作解耦精炼	7.58	25.17	0.11	3.85	31.56	唇同步指标出现断崖式下跌 (Sync-C 8.30→7.58)
w/o 3D 人脸数据增强	7.01	38.67	0.20	1.95	31.23	缺乏 3D 先验监督导致拟合崩溃，FD 暴增至 38.67

关键发现¶

3D 数据增强是小样本对话学习的基石：消融数据显示，去掉 3D FLAME 迁移增强后，FD 从 22.67 恶化到 38.67，多样性指标 SID 缩水超过 50%（4.28 降至 1.95），表明现有 2D 对话视频数据的有限规模难以直接支撑复杂多角色动作空间，3D 先验注入是避免过拟合的决定性因素。
解耦精炼有效挽救唇形精度：去除动作解耦精炼后，Sync-C 分数从 8.30 骤降至 7.58。这证明了在多人交互任务中，单人说话数据集训练的 SyncEnhancer 能在不干扰面部全局交互动作的前提下，大幅弥补多人对话数据在唇形分辨率与对齐质量上的先天不足。
迭代生成实现极低开销下的高动态感知：随着迭代轮数增加，FD 稳步单调下降而 SID 持续上升；仅需 2 轮迭代即可达到性能饱和，推理开销仅从 34.67 FPS 降至 31.23 FPS，依然稳定维持在实时 30 FPS 阈值以上。

亮点与洞察¶

将多模态交互建模与轻量动作驱动深度解耦：不同于依赖大视频扩散模型（如 Wan 2.1）端到端生成导致帧率仅 0.61 FPS 的沉重方案，InterTalk 在潜在运动空间完成音视频上下文对齐与轻量循环迭代，将渲染阶段交给高效隐式关键点解码器，完美平衡了灵活性、交互自然度与实时性。
巧用 3D FLAME 参数迁移填补 2D 对话数据鸿沟：通过构建下颌与表情局部顶点位移到 2D 隐式关键点的跨域投影转换器，将原本无法直接渲染逼真 2D 画面的 3D 对话数据集成功转化为高价值动作监督信号，思路极具工程迁移借鉴价值。
兼顾任意多人与单人多轮对话的统一架构：借助 RCE 的自适应注意力池化与可插拔模块设计，同一套模型既能作为数字人伴侣在单人场景中实现话轮自主流转，又能灵活拓展至 3 人乃至群组会议的复杂同框交互，无需重新训练针对特定人数的模型。

局限与展望¶

作者承认的局限：在极端大角度头部转动（如转头超过 60 度）或严重手部遮挡面部时，基于 2D 隐式关键点的变形场容易出现局部拉伸或伪影；此外，虽然动作多样性较高，但在超长无声倾听段落中偶尔仍会出现节律性微动作轻微重复。
审稿视角发现的局限：目前的缝合管线依赖静态背景假设与相对固定的机位布局，尚未建模多参与者在三维场景中的自由走动、深度遮挡或大幅度躯干姿态交互；音频交互也尚未细化到语调、重音和情绪维度的细粒度控制。
改进方向建议：未来可将隐式关键点渲染管线升级为 3D Gaussian Splatting（3DGS）动态驱动，以完美支持任意大视角的空间漫游；同时可引入大语言模型（LLM）驱动的对话意图与情绪规划器，赋予角色更具个性的非语言反应策略。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出了首个支持任意人数、双向动作反馈且保持实时帧率的解耦对话人脸生成框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖单人谈话、倾听者交互、多人同框等全场景对比，并提供了详实的消融与 23 人双盲用户评测。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰，技术管线分明，图表规整且实验数据翔实。
价值: ⭐⭐⭐⭐⭐ 为实时数字人交互、多角色智能体会议与陪伴系统提供了兼具工业可用性与学术先进性的落地范式。