Conversational Human Audio-visual Talking Dialogue Generation¶

会议: ECCV2026

论文: https://eccv.ecva.net/virtual/2026/poster/4941
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/8120.pdf
项目: CHAT

领域: 人体理解

关键词: 双人对话生成、情绪语音、面部反应生成、视频扩散、合成数据

一句话总结¶

CHAT 把匿名场景提示依次变成对话脚本、带情绪和简短应答的双路语音、彼此响应且衔接平滑的人脸视频，在相关任务基线比较中取得 FID 17.33、LSE-C 6.89，并显示合成对话可改善面部反应模型的预训练。

研究背景与动机¶

真实对话不是两段独白轮流播放：说话者的语气会影响听者的表情，听者也可能点头、眨眼，或者在对方话音未落时给出简短应答。数字人需要学习这些关系，但成对音视频数据的采集同时受到隐私、人口覆盖、标注成本和多模态同步的限制。只增加单人说话视频，并不能直接提供双方相互影响的训练样本。

现有技术已经能完成其中若干环节。Hallo3、SadTalker 等由给定音频生成说话人脸，ReactDiff 等根据对方的音视频生成面部反应，双人头部生成方法则通常预先获得两路音频或脚本。这些输入设定与“只给一个匿名场景，自动生成完整双人对话”不同；把两个单人模型并排运行，也不会自然产生语音内容、情绪和非语言反应之间的联系。

本文因而定义双人交互音视频对话生成任务 DIADG，利用已有语言、语音和人脸模型提供基础能力，把新增建模集中在互动关系上。核心 idea：先建立共享的对话时间线与情绪条件，再补全听者静默阶段，并让双方表情显式受对方音视频驱动，而不是把两路独立视频当成对话。

方法详解¶

整体框架¶

输入是一段不指向真实身份的场景和对话风格描述，输出是多组双人音视频对话，每组包含双方各自的视频与音频轨道。CHAT 的三个上层模块是文本对话生成 TDG、双人音频对话生成 DADG，以及交互面部行为生成 IFBG；核心精修分别落在 DADG 的 IAR 和 IFBG 的 IFBR 中。

执行时，TDG 先确定双方身份描述和脚本；IAR 改写表达、标注情绪与时间，并合成双路声音。IFBG 随后采样合成人脸，用语音和情绪驱动初始说话片段，再通过静默面部补全、响应与时序精修生成完整视频。图中后两项共同覆盖 IFBR：前者负责填上“听的时候”，后者负责“如何回应对方”和“片段如何连接”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["匿名场景提示"] --> B["文本对话生成"]
    B --> C["交互音频精修"]
    C -->|语音与情绪驱动初始说话片段| D["静默面部补全"]
    B -->|身份描述与合成人脸| D
    D --> E["响应与时序精修"]
    C -->|对方语音与情绪| E
    E --> F["成对人脸视频<br/>与双路语音"]
    C --> F

关键设计¶

1. 文本对话生成：先确定一场共享对话，而非分别生成两段独白

TDG 让文本大语言模型根据场景生成多组脚本，并为每组脚本提供两人的身份描述。身份描述不仅约束角色的表达方式，也供后续合成人脸采样使用，因此内容与人物不会完全独立。每场对话限制为 5–10 轮，作者将其作为避免长对话连贯性退化的工程选择；一轮可以包含多句话，不能把轮数直接等同于句数。

脚本之后被整理到双方各自的时间线上：一方讲话时，另一方先保留等长静默段，而不是把自己的所有台词压缩成连续独白。正文用奇偶句交替说明这一安排，但其功能是保持双方共享的时间轴。静默段还不是最终的“什么都不做”，而是留给后续简短应答和听者表情的明确位置。

2. 交互音频精修：把情绪、简短应答和时间安排一起传给语音合成

IAR 先用音频精修提示调用语言模型，让脚本更接近日常交谈，并生成四类控制信息：简短应答词、逐句情绪描述、句子与应答的起止时间，以及声音环境。情绪描述并非只有类别，还包含语速、音高、能量和停顿等连续韵律属性。静默区间可以按预设概率插入“hmm”“okay”等短回应，使两路语音不再只是严格交替的完整句子；正文没有给出该概率的具体取值，不能把它当作已知超参数。

每句台词或应答词分别经过内容 Transformer 编码器和情绪 Transformer 编码器，两个同维度表示逐元素相加，再连同时间戳和声音环境条件送入情绪语音合成器。这样做的关键不是额外堆一个情绪标签，而是让同一组情绪条件继续进入后续人脸生成：语音特征与情绪表示拼接后驱动说话人脸模型，减少“声音兴奋、脸却平淡”的跨模态脱节。它仍是以轮流发言为主的对话组织，不等于已经解决任意打断和持续重叠语音。

3. 静默面部补全：让听者片段与其前后说话状态接得上

初始人脸视频只覆盖实际讲话的片段。身份生成或采样模块依据文字身份描述得到合成人脸，提供全程一致的人物外观；说话人脸模型则根据自己的语音和情绪生成对应片段。若直接在空白时段冻结画面，听者会显得僵硬，转回说话时也容易突变。

SFBG 用视频扩散模型 SilentDiff 补全这些静默区间，条件是当前人物的身份图，以及该区间之前和之后的说话片段。前后文约束使生成的点头、眨眼等行为在人物状态上连续，作用不同于只做帧插值。这个阶段主要解决“这个人如何从前一段过渡到后一段”，还没有充分保证其动作是在回应另一个人；后一要求交由下一设计处理。由于已经使用后续说话片段，这也是离线整段合成，而非严格因果的实时听者生成。

4. 响应与时序精修：先由对方行为指导扩散，再修复片段边界

RFBG 同时精修说话与静默片段。生成某人的当前片段时，它读取对方前一段、当前段和后一段的面部行为、音频与情绪。视觉条件在多个空间尺度上提取，并在每个尺度通过可学习交叉注意力融合目标人物身份。这里需要保留的是对方表情与运动提供的响应线索，而非把对方的脸复制到目标人物上；身份条件用于约束输出仍属于目标人物。

各尺度特征先上采样到统一空间分辨率，再按去噪进度逐渐加入：早期只引入低分辨率的整体运动，后期增加高分辨率表情细节。正文的尺度调度可写为：

\[ l(t)=\max\left(1,\left\lceil L\frac{t}{T}\right\rceil\right),\qquad \text{active scales}=\{l(t),\ldots,L\}. \]

其中 \(L\) 是尺度数，尺度索引越大，分辨率越低；\(t\) 从噪声端 \(T\) 向清晰端递减。因此初始主要使用第 \(L\) 个尺度，随后逐步开放更细尺度。对方的音频与情绪表示在首个去噪步骤通过交叉注意力注入。这一机制把“先决定大致反应，再补面部细节”的扩散过程与条件分辨率匹配起来，而非从头到尾给予全部条件相同角色。

RFBG 逐片段处理后，边界仍可能跳变，所以 TCR 对相邻片段的尾部与头部做对称高斯加权混合。作者的示例设置是每段 100 帧、边界两侧各取 \(W=10\) 帧；混合权重在边界为 0.5，向外衰减，尺度参数为 \(\sigma=W/3\)。双方在相同时间窗口使用相同变换，以免一方被单独平滑后破坏已经建立的对应关系。该操作只处理局部拼接问题，不是重新生成整场对话，也不应被理解成对互动语义保持的形式化保证。

一个完整示例¶

以“两位匿名同事讨论项目进展”为示意输入，TDG 首先生成双方角色和轮流表达的脚本。第一位同事说话时，第二位的时间线上先放置等长静默区间；IAR 可以在其中加入一个符合上下文的简短应答，并分别指定双方表达的情绪和时间。

接下来，语音与情绪驱动各自的初始说话片段，SFBG 根据第二位同事的前后说话状态填入听者动作。RFBG 再读取第一位同事在相邻时间段的声音与表情，让第二位的动作具备响应性；同样的流程也用于另一方。最后 TCR 只混合片段边缘，输出两路对齐的音视频。这是机制示例，不是论文报告的额外实验样本。

损失函数 / 训练策略¶

TDG 和 DADG 使用 Gemini 系列模型，IAR 的预训练 TTS 引用 XTTS。SFBG 和 RFBG 分别在 HDTF、REACT 2024 上用 AdamW 预训练，RFBG 使用 50 个去噪步骤；随后联合训练说话人脸模型、SFBG 和 RFBG，语言模型与 TTS 保持冻结。

这里的“端到端”只针对可训练的人脸相关模块，不能写成整个语言—语音—视频系统都通过同一目标更新。当前全文没有给出完整的联合损失表达式、各项权重、学习率或训练预算，本笔记不补写惯用扩散损失来冒充本文细节。数据规模方面，作者报告 CHAT-AVD-50k 含 50,000 对对话、100,000 段视频、1388.9 小时和 100,000 个合成人脸身份，并保留轮级情绪、场景与身份元数据；结论仍将带来源元数据和偏差审计的数据发布表述为后续计划。

实验关键数据¶

主实验¶

评测取 1000 组、每组 5–10 轮的生成对话，但为适配相关基线的长度限制，定量比较统一截取前 10 秒。Hallo3、SadTalker、EDTalk 接收 CHAT 生成的音频与身份；DIM、ReactDiff 接收 CHAT 生成的说话人视频。它们不是相同任务输入下的完整端到端对手，表格应视为相关能力比较，而非对全部双人生成方法的全面排名。

FID/FVD 衡量图像或视频分布差异，越低越好；LSE-C 是音画同步置信度，越高越好。FRCorr 衡量面部反应适当性，FRDiv 衡量反应多样性，均越高越好，下面沿用原表的 \(\times10^{-2}\) 标度；正文没有展开这两个继承自 REACT 的指标计算式，不能据此把它们称为轮次正确率或语义一致率。

方法	FID ↓	FVD ↓	LSE-C ↑	FRCorr ↑	FRDiv ↑
Hallo3	20.56	362.23	4.61	N/A	N/A
SadTalker	22.53	385.51	6.85	N/A	N/A
DIM	36.52	460.35	6.82	31.02	12.55
EDTalk	18.74	619.92	5.62	N/A	N/A
ReactDiff	21.36	386.22	5.23	48.05	15.31
CHAT	17.33	365.03	6.89	50.02	15.34

CHAT 的 FID 优于表中基线，FVD 则略逊于 Hallo3；FRDiv 相对 ReactDiff 仅增加 0.03 个表格单位，不宜笼统称为大幅提高。60 人、5 分量表的用户研究中，CHAT 互动性得分为 4.8，DIM 为 3.6、ReactDiff 为 3.2；这些是平均主观分数，不是胜率。

消融实验¶

下表节选原表 3，仍为 1000 样本均值。Emo-Acc 是语音情绪分类准确率；无 IFBR 或 RFBG 的变体不改变音频分支，原文将对应音频指标记为不适用，而非零分。

配置	Emo-Acc ↑	FID ↓	FVD ↓	FRCorr ↑	FRDiv ↑
完整模型	78.4%	17.33	365.03	50.02	15.34
去掉 IAR	41.2%	21.34	456.78	32.45	7.89
去掉情绪表示	38.3%	23.45	423.56	28.34	5.67
去掉 IFBR	—	38.67	623.45	28.56	6.78
去掉 RFBG	—	20.34	412.56	25.78	4.56
去掉 TCR	—	18.56	421.34	48.67	14.23

情绪表示去除后，Emo-Acc 下降 40.1 个百分点，说明其不只是可有可无的音色修饰。去掉 RFBG 时，FRCorr 从 50.02 降到 25.78、FRDiv 从 15.34 降到 4.56，较直接支持对方条件精修的作用；去掉 TCR 后 FVD 从 365.03 升到 421.34，则说明边界处理也会影响整段视频质量。

关键发现¶

合成数据的价值另由下游交互头部生成任务检验：先在 CHAT-AVD-50k 预训练，再在 REACT 2024 训练集微调，按官方协议测试。FRDist 是对真实反应的动态时间规整距离，越低越好；FRCorr 仍用 \(\times10^{-2}\) 标度。

模型	预训练数据	FRCorr ↑	FRDist ↓
PerFRDiff	无，仅 REACT 2024	37.21	94.72
PerFRDiff	CHAT-AVD-50k	40.11	89.45
ReactDiff	无，仅 REACT 2024	24.19	86.70
ReactDiff	CHAT-AVD-50k	26.12	83.87

两个模型均受益，但 CHAT 的 IFBR 本身也在 REACT 2024 上预训练。因此证据支持相关分布上的规模与多样性增强，不是严格独立的跨域迁移证明。
下游表与主表虽然出现相同模型名，任务输入、训练配置和测试协议不同，不能直接比较两处 ReactDiff 的 FRCorr 数值。
当前自动指标主要覆盖人脸与音画层面。完整轮次安排、长程语义连贯性和打断时机，尚未获得等价强度的客观验证。

亮点与洞察¶

共享时间线把“静默”变成需要建模的行为区间，而非数据空洞。这让简短语音应答与听者表情可以落在同一交互坐标上。
粗到细的对方视觉条件与扩散进度对齐，比单纯增加一组交叉注意力更有针对性。目标身份同时参与多尺度融合，避免响应建模与人物一致性完全分离。
数据价值不仅依赖生成视频好不好看，还通过两个面部反应模型的预训练进行检验。作者也明确承认相关分布重叠，使结论保持在实验实际支持的范围内。

局限与展望¶

多次语言、语音和视频扩散调用带来高生成成本；作者所说的可扩展主要指人口覆盖，而非低延迟或低单样本成本。全文没有报告可复现的完整运行时间与硬件预算。
当前只生成英语对话，且主要采用轮流发言、辅以短应答的结构。结合对未来片段的依赖，不应将其直接视为实时自由交谈系统。
邻近任务基线依赖 CHAT 提供的中间输入，部分更接近的双人生成方法因代码不可用未纳入比较；前 10 秒评测也不足以证明长对话质量。
全文对联合损失、情绪条件接入预训练 TTS 的具体实现，以及 FRCorr/FRDiv 的评测细节交代有限。来源元数据、偏差审计和独立语料评测仍是作者提出的后续事项，匿名提示与合成人脸本身不等同于完成这些验证。

评分¶

新颖性: 4/5。价值集中在场景到完整双人对话的任务组织，以及显式音频、面部互动精修，而非重新发明基础生成模型。
实验充分度: 3/5。主表、细粒度消融、用户研究和下游验证较齐全，但同任务基线、长对话与独立跨域评测仍不足。
写作质量: 3/5。模块职责清楚，局限表述克制，但训练和部分指标定义不够完整，文本中的轮与句也需仔细区分。
价值: 4/5。对成对交互数据合成与面部反应训练具有参考意义，现阶段更适合作为离线数据生成管线理解。