InteractiveAvatar: Real-Time Streaming Video Generation for Consistent and Intent-Aware Avatars¶

会议: ECCV 2026
论文: ECCV 原文
作者: Quanyue Song, Yishan He, Yanfei Zhang, Shihao Cheng, Zhixiang He, Zhizhi Guo, Chi Zhang, Xuelong Li, Caigui Jiang
机构: Xi’an Jiaotong University; China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.; Wuhan University; Institute of Artificial Intelligence (TeleAI), China Telecom
领域: 视频生成
关键词: 音频驱动数字人、流式视频生成、长短期视觉记忆、意图感知、分布匹配蒸馏

标题及作者名单依据会议 PDF；Quanyue Song 与 Yishan He 为共同第一作者。本文聚焦可交互的人物视频合成，不是 3D 数字人重建。

一句话总结¶

InteractiveAvatar 将长短期视觉记忆与意图驱动的动作控制接入自回归扩散数字人，在 576p 实验设置下达到 26.68 FPS，并改善长视频中的物体保持和文本指令对齐，但完整交互链路首帧仍需约 2.6 秒。

研究背景与动机¶

音频驱动数字人已能生成清晰的人脸和较准确的口型，但“说得像”不等于“会互动”。只由回复语音驱动身体运动时，模型主要复现训练数据中的语音与姿态相关性；用户要求查看手表，系统可能只回答时间，而不会明确执行低头看表的动作。

另一方面，自回归视频生成通常只关注参考图像和最近几个视频块。对话使人物逐渐戴上手表、拿起书本或改变姿势后，当前画面会偏离初始参考；最近上下文又不断被淘汰，于是物体的形状、颜色乃至存在性都会漂移。保存全部历史可以增加条件信息，却不符合持续流式生成的计算预算。

本文把行为管理与视觉历史管理分开：语言模型维护“做什么、做完后保持什么状态”，视频模型维护“最近如何运动、过去出现过什么”。核心 idea：用语义去冗余的长短期视觉记忆保存场景变化，再通过动作态与稳定态循环及条件缓存刷新，让意图变化真正进入持续生成的画面。

方法详解¶

整体框架¶

输入是一张数字人参考图像和用户语音，输出是持续生成、与回复语音同步且执行相应动作的视频。自动语音识别先得到用户文本，推理反应模块（Reasoning-Reaction Module，RRM）结合当前稳定状态生成回复和动作条件；带长短期视觉记忆（Long-Short Visual Memory，LSVM）的生成器按块续写视频。

骨干为 Wan 2.2 5B，采用因果 3D VAE 编解码视频潜变量。文本经 T5 编码后通过交叉注意力注入，架构图还展示了 Wav2vec 音频条件及音频交叉注意力；参考图像、邻接视频块和压缩历史共同支持人物延续。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
INPUT["参考图像与用户语音"] --> ASR["语音转文本"]
ASR --> STATE["意图驱动的状态循环"]
STATE --> CACHE["条件缓存切换"]
CACHE --> MEMORY["长短期视觉记忆"]
MEMORY --> OUTPUT["分块去噪与解码<br/>输出视频"]
OUTPUT -->|新帧更新记忆| MEMORY
STATE -->|稳定态供下一轮使用| STATE

图中的三个设计控制在线推理；生成器的实时能力来自下文的四阶段训练。缓存切换并不把全部历史重新生成，而是在新提示到来时刷新受影响邻接块的条件 KV，使后续去噪不再沿用过时指令。

关键设计¶

1. 意图驱动的状态循环：把动作指令和动作后的保持状态分开

RRM 不只生成一句回复。它将识别后的用户文本与上一轮稳定态描述一起交给大语言模型，得到动作提示、回复音频以及新的稳定态提示。例如“坐到沙发上玩手机”需要一个描述坐下和拿手机过程的动作态，也需要一个描述人物已坐下并持有手机的稳定态。稳定态是下一轮推理的场景上下文，不应被理解成完整视频历史的替代品。

回复音频播放期间，视频生成器同时接收动作提示和音频条件：前者控制身体运动，后者控制口型。音频结束后，将音频条件设为空，并把提示切换到稳定态；模型仍持续生成视频，但不再反复执行“坐下”或“拿起”的动作。下一条指令到来时再进入新的动作态。这一切换依赖回复音频结束，而不是一个经视觉验证的动作完成检测器。

2. 条件缓存切换：让新指令及时影响已经建立的自回归上下文

缓存 KV 能减少重复计算，但邻接视频块的 KV 是在旧提示下算出的。如果只换当前文本条件而保留旧缓存，新动作会受到过时上下文牵制，例如拿起并打开书本的动作迟迟不开始。这里的问题不是缺少语言理解，而是更新后的理解没有充分传入缓存表示。

Cache-Switching 在动作提示变化时重新编码新文本，并用新提示重算先前邻接块中受影响的条件 KV，再替换对应缓存。它保留已生成画面的历史作用，同时刷新其条件化表示。该机制主要改善提示切换后的动作响应，不能仅凭整体 FPS 变化来衡量；论文的消融主要用定性结果说明动作启动延迟，并未给出每种配置的首帧延迟表。

3. 长短期视觉记忆：近期密集保留，远期选择语义不重复的画面

LSVM 先用轻量卷积与注意力压缩模块把视频潜帧变成记忆 token。时间压缩比设为 1，即不额外合并潜帧的时间维度，因此可以逐个潜帧更新缓存；这不表示 VAE 本身没有时序压缩。短期记忆用容量为 \(K\) 的先进先出队列保存最近历史，长期记忆用容量为 \(N\) 的缓冲区保存代表性状态，两者拼接为统一历史条件。训练时短期来源为连续 5 秒历史，更早部分用于构造长期记忆。

推理开始时，两种缓冲区都用首帧表示重复填满。每生成一个潜帧，就将其压缩后加入短期队列；被挤出的旧潜帧才成为长期候选。系统取该潜帧对应的图像帧，经 SigLIP2 提取特征并平均，得到一个语义描述向量，因此比较的不是压缩 token 的逐像素误差，而是画面内容的语义相似性。

长期记忆是否接纳候选，由全局冗余分数决定。以下按原文式 (10) 的文字定义整理等价写法，其中 \(s_i\) 为第 \(i\) 个长期条目的语义向量：

\[ \rho_i=\frac{1}{N-1}\sum_{j\ne i}\cos(s_i,s_j), \qquad R=\frac{1}{N}\sum_{i=1}^{N}\rho_i. \]

如果用候选替换某个槽位能使 \(R'<R\)，就保留候选并按时间顺序插入，否则丢弃。Dynamic Key-Frame Selection（DKFS）由此偏向保存内容新颖的状态，而不是机械地等间隔取帧。比如新增手表可能带来新的语义信息；不过这不是显式物体追踪或手表检测，重要小物体能否留下仍取决于全图语义表示与有限容量。

一个完整示例¶

以论文图 1 的交互为例，用户要求人物戴上手表并报时。RRM 生成“戴表、看表、回答”的动作态，更新提示时刷新相关 KV，视频生成器在回复音频期间生成动作与口型；回答结束后，稳定态变成“平静看向前方，手上戴表”，而不是继续重复看表。

随后用户要求肩上出现一只猫并介绍猫的种类。新的动作与回复开始，前一轮的稳定态让语言侧知道人物仍戴着手表；视觉侧则用近期记忆衔接肩部动作，并让离开短期窗口的画面参与长期记忆筛选。两条记忆通路分别保存场景描述和视觉证据，但都不能保证物体永不消失。

损失函数 / 训练策略¶

训练不是直接把一个双向扩散模型改为在线系统，而是依次建立音频驱动能力、记忆重建能力、因果生成初始化和少步自回归能力。

第一阶段在音视频数据上训练采用双向注意力的图像与音频条件视频模型，共 50K 步。
第二阶段训练记忆压缩模块完成视频重建，共 30K 步。近期连续 5 秒构成短期来源，早期历史随机采样构成长期来源。
第三阶段进行 ODE 初始化，用块因果注意力逼近双向教师的 ODE 轨迹，并优化记忆压缩模块，共 20K 步。
第四阶段采用 Self-Forcing DMD，把带 LSVM 的模型蒸馏为少步自回归生成器，共 20K 步。

记忆预训练会从完整片段中的不同时间位置采样重建目标。短期范围随机保留目标相关子集，其余帧加噪遮蔽；长期范围保留时间上最接近目标的锚帧并遮蔽其余帧。目标使用干净帧副本，模型在压缩历史条件下重建加噪目标，促使记忆既编码近处细节，也保留跨时间一致的场景内容。

DMD 对齐学生生成样本与教师所代表数据在中间噪声时刻的分布。按原文式 (2) 的定义，其目标可写为：

\[ \mathcal{L}_{\mathrm{DMD}}=\mathbb{E}_t\left[D_{\mathrm{KL}}\left(p_{\theta,t}\,\|\,p_{\mathrm{data},t}\right)\right]. \]

训练交替更新 fake-score 分支与生成器，并通过学生 rollout 的随机中间状态进行多步蒸馏。全部训练使用 64 张 NVIDIA H100 和混合分片 FSDP；学生分支学习率为 \(10^{-5}\)，fake-score 分支为 \(2\times10^{-6}\)。正文未明确给出推理去噪步数与长期缓冲容量，不宜自行填补。

实验关键数据¶

主实验¶

训练集经过筛选后约有 300 万音视频片段，包含说话人脸数据、以 OpenHumanVid 为主的影视数据，以及私有长时对话数据。测试选取 500 个视频，涵盖由短到长、由简单到复杂的交互，并在指定时刻切换动作。

训练和推理均为 576p，例如 16:9 的 1024×576；每个流式块生成 3 个潜帧，不是 3 张 RGB 帧。非实时基线通过批次续接构造长视频。表 1 标注使用 H100，但部署还把 DiT 与 VAE 放在不同 GPU 上做流水线并行，因此不能把 FPS 解读成已核实的单卡端到端指标。

下表节选原文表 1。FVD 越低越好，其余所列指标越高越好；OBJ 为 Gemini 评估的物体一致性，ID 为 DINOv3 评估的身份保持，TV 为 VideoCLIP-XLv2 评估的文本视频对齐。三者保留原文分数尺度，不擅自写成百分比。

方法	FVD	OBJ	ID	TV	速度（FPS）
OmniAvatar	831.9	82.8	4.38	24.57	0.17
HYAvatar	632.6	78.9	4.46	25.61	0.09
WanS2V	793.5	82.6	4.49	25.14	0.26
LiveAvatar	672.7	76.9	4.53	25.78	21.94
InteractiveAvatar	701.4	85.2	4.51	25.93	26.68

完整交互链路的首帧延迟约 2.6 秒：DiT 约 450 ms、轻量 VAE 解码约 50 ms、LLM 音频回复约 1600 ms、其他开销约 450 ms。各项均为近似值，相加约 2550 ms；首帧响应与持续生成 FPS 是不同维度。

消融实验¶

下表对应原文表 2，考察视觉记忆、RRM 与蒸馏。去除 DKFS 指把动态筛选换成随机采样；去除 StateCycling 使用固定动作提示；去除 RRM 则退回默认提示。

配置	OBJ	ID	TV	速度（FPS）
w/o LongMem	82.6	4.43	25.91	28.92
w/o DKFS	83.1	4.45	25.85	26.83
w/o LSVM	78.4	4.38	25.87	30.04
w/o StateCycling	84.1	4.46	25.42	26.68
w/o CacheSwitching	84.5	4.47	25.76	26.75
w/o RRM	83.8	4.46	24.89	26.75
w/o DMD	未报告	未报告	未报告	1.27
完整模型	85.2	4.51	25.93	26.68

关键发现¶

相比 LiveAvatar，本文 OBJ 提高 8.3 分，速度提高 4.74 FPS；但 ID 从 4.53 降至 4.51，FVD 从 672.7 升至 701.4，并非全面领先。
去除 LSVM 后 OBJ 降低 6.8 分，而速度增加 3.36 FPS，说明保持视觉历史有真实计算代价。
去除 RRM 后 TV 从 25.93 降到 24.89；去除状态循环还会造成动作重复，符合该模块控制动作语义与交互节奏的作用。
未蒸馏模型只有 1.27 FPS，且不能稳定生成长视频，因此该行其余指标未报告，不能当作零分。

亮点与洞察¶

视觉记忆与语言状态各司其职。文字记住“已戴表”，压缩视觉历史补充表的外观，两者共同支撑持续互动。
缓存不仅是加速设施，也携带旧条件的影响。可交互自回归系统需要把条件切换与缓存刷新一起设计。
DKFS 用固定容量缓冲区追求语义多样性，而非均匀时间覆盖。类似思路可用于其他长视频条件缓存，但需要检验小物体是否被全局特征忽略。

局限与展望¶

作者指出，有限记忆和关键帧筛选会丢失早期潜变量；长视频或偏离参考图的大幅动作仍可能退化，物体可能逐渐消失。
首帧不存在的物体可能因指令而突然出现。提示设计只能部分缓解，这也受基础生成模型能力限制。
从评测角度看，公开正文没有充分展开 OBJ 等打分流程、误差区间或统一的长视频时长分布，不能把“可无限流式运行”视为无限时长质量保证。
从交互角度看，约 2.6 秒首帧延迟中语言音频回复占较大部分；优化视频 FPS 不能单独解决等待感。动作态按音频结束切换，也值得加入视觉完成反馈进一步检验。

评分¶

新颖性: 4/5。视觉记忆、语言状态和条件缓存刷新形成针对流式交互的组合设计。
实验充分度: 3/5。主实验与组件消融较完整，但评测细节、时长分布和延迟消融仍有限。
写作质量: 4/5。方法层次明确，部分实现超参数和指标量表需进一步说明。
价值: 4/5。展示了数字人从口型同步走向持续、具备动作语义交互的可行路径。