Making Avatars Interact: Towards Text-Driven Human-Object Interaction for Controllable Talking Avatars¶

会议: ECCV2026
论文: ECCV 原文
全文: 会议 PDF
领域: 视频生成
关键词: 数字人、人-物交互、场景感知、运动残差、口型同步

一句话总结¶

InteractAvatar 用感知规划与视频合成双流并行生成运动和画面，使数字人能在参考图像的原有场景中遵循文本与物体交互并按音频说话，其文本加音频联合生成模式在 GroundInter 上达到 VLM-QA 29.07、PI 0.850。

研究背景与动机¶

会说话的数字人并不等于能执行动作的数字人。音频驱动模型可以把发音节奏映射成嘴部运动，也能附带一些上半身或全身动作，但音频本身没有交代要拿哪个物体、物体在哪里、手应该怎样靠近。因此，“边说话边拿起桌上的苹果”不只是让原有数字人动得更大，而是要求动作依赖图像中的具体空间关系。本文将这种任务称为场景落地的人-物交互（Grounded Human-Object Interaction，GHOI）。这里的落地同时要求环境感知、首帧场景保持、文本高层控制，以及在指定物体上执行合理交互。

直接给骨架序列可以增强控制，却把规划责任交给了用户：用户需要先找到或制作动作，还要让动作与参考图中的桌面、手和物体对齐。主体一致性视频模型则解决另一类问题，它们可以借用参考人物的外观生成新场景，并不一定延续原图的世界。所以，生成一个“某人在喝水”的漂亮视频，与让原图中的人拿起原图中的杯子喝水，不是同一个任务。作者将问题归结为场景与动作的对应，以及控制能力与画面质量之间的冲突。仅靠文本可能选错目标或没有实质交互，过强的显式姿态约束又可能限制物体变形和接触细节。

本文没有要求一个视频流同时隐式学会所有空间规划，而是给运动结构安排一个独立生成流。但它也不把运动流的最终结果当作不可更改的硬条件，而是让两个流在生成过程中持续传递特征。这样，规划分支学习“动作要去哪里”，画面分支保留“接触过程怎样看起来真实”的生成能力。 核心 idea：通过检测式训练让运动流理解参考场景，再以逐层运动残差引导并行视频生成，避免把控制压缩成一次性的骨架输入。

方法详解¶

整体框架¶

输入是一张包含人物及周围物体的参考图像、一段交互文本，以及可选的语音或外部运动控制。输出是保持该场景的数字人视频；联合生成模式还同时输出结构化运动序列。这里的运动不是三维网格，也不是裸坐标数组，而是把人体骨架和物体边界框画成 RGB 帧后构成的视频。 PIM 场景感知规划负责生成这些结构帧，AIM 音频与运动控制负责生成最终画面，二者由 M2V 逐层残差对齐连接。两个模块采用相似的 Diffusion Transformer（DiT）结构，并使用同一个预训练 VAE 编码视觉输入、T5 编码文本。下图的实线表示条件或层间特征传递，虚线表示训练监督；PIM 并不先完成整段运动再启动 AIM。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        INPUT["参考图像 + 文本"] --> PIM["PIM 场景感知规划"]
        TRAIN["检测 / 续写 / 无首帧运动生成"] -.->|仅训练监督| PIM
        MOTION["运动噪声或外部干净运动"] --> PIM
        PIM -->|对应层的运动特征| ALIGN["M2V 逐层残差对齐"]
        ALIGN -->|每层注入| AIM["AIM 音频与运动控制"]
        COND["参考图像 + 文本 + 视频噪声<br/>可选音频"] --> AIM
        AIM --> VIDEO["场景内交互与说话视频"]
        PIM --> PLAN["联合生成模式的运动序列"]

关键设计¶

1. PIM 场景感知规划：把定位物体和生成交互变成同一种视觉生成任务

普通动作与人-物交互需要不同的结构信息：前者只有人体姿态，后者还要维护物体框的时序轨迹。 PIM 用 ACTION 与 HOI 两类任务嵌入标记这种区别，并将任务嵌入与文本嵌入拼接，送入交叉注意力。人体和物体被放在同一 RGB 运动表示中，使模型能够复用视频基础模型的视觉先验，而不必另建坐标到像素的跨模态接口。运动帧只保留短边 256 像素，因为它承载的是位置和结构，并不负责皮肤、服饰或物体表面的精细纹理。参考图像被放在运动序列前面，但不能简单当作第一个运动时刻，否则真实图像的纹理和位置编码可能干扰结构生成。作者用修改后的旋转位置编码（RoPE）将其时间位置设为 -1，并调整空间索引，让它作为全局环境条件而不是待续写的运动帧。因此，参考图像与首帧运动是两个不同条件：前者说明场景是什么，后者若存在则说明动作从哪里开始。

仅把参考图像送进模型，并不能保证模型真正去辨认目标物体。 PIM 的续写任务提供参考图像、首帧运动和文本，要求生成后续运动；模型可以从已知姿态与物体框继续推进。无首帧运动的生成任务则遮掉首帧运动，要求只根据图像和文本预测整段结构，迫使模型自己确定起点。进一步把目标长度随机截为 1 帧，就得到检测式任务：输出文本指定人物和物体的结构，而不生成后续动作。这一任务仍使用流匹配目标，只在第一帧计算损失，不额外引入独立检测头及一套检测损失。检测数据教会模型“找对物体”，不提供首帧运动的整段生成则把这种定位能力接到动作规划上。原文表 2 把后一种桥接配置称为 Det.+Cont.，其含义是无参考运动的整段生成，不能把它误读成始终提供首帧的普通续写。

2. M2V 逐层残差对齐：让结构引导随着视频生成共同演化

若先冻结 PIM、生成完整骨架，再训练 AIM 根据骨架渲染，结构控制就成了一个固定的信息瓶颈。骨架与矩形框很难表达手指接触、物体形变和遮挡变化，后续渲染只能在这些稀疏条件下补细节。 InteractAvatar 因而保留两个流的对应层，并在联合生成中从 PIM 向 AIM 传递每一层新增的运动信息。对非首层，残差取相邻 PIM 块输出之差；首层使用它本身的输出作为注入特征。这不同于把同一个最后层特征复制给所有视频块，也不同于逐层直接相加完整运动特征。层间增量让不同深度的视频表征获得相应深度的结构引导，而不是反复接受同一份全局条件。双流是协同去噪的生成架构，不是有一个独立完成后再把结果交给另一个的串行系统。

由于运动分辨率比视频低，M2V 先用双线性插值将残差的空间尺寸对齐，再通过零初始化线性层映射后注入 AIM 对应块。零初始化意味着训练开始时附加运动路径不会突然强行改变已有视频模型的行为。模型随后逐渐学习哪些结构特征该用于动作控制，从而减小训练波动。作者还将其与减少骨架线条残影泄漏到画面联系起来，这是“结构图像”和“真实图像”共享视觉表示时的具体风险。联合训练提供比显式运动成品更丰富的特征通路，作者认为这有利于手部合理性和物体形变。这仍是学习到的视频生成机制，不是显式接触求解器或具有物理保证的运动规划器。

3. AIM 音频与运动控制：先稳住局部语音条件，再接入全局结构条件

AIM 用预训练 Wav2Vec 提取音频特征，并围绕每个视频时刻采样上下文窗口，而非只使用孤立发音片段。聚合后的帧级音频特征通过交叉注意力进入视频流，帮助建模相邻音素之间的协同发音和时间关系。音频预训练早期还用人脸空间掩码对注入结果加权，把音频影响集中到脸部，以降低训练难度。该掩码在后续训练和推理时都不使用，不能将它视为部署时必须提供的条件。作者强调先学音频再学运动，因为音频是局部、较弱且异构的信号，运动则是全局、较强且与视频同为视觉表示的约束。如果一开始同时学习，或先学运动再补音频，模型容易依赖运动路径而忽略口型同步。因此，多模态能力不仅来自多加一个编码器，也依赖条件进入训练的顺序。

同一框架还支持外部骨架或人-物交互运动作为驱动条件，不必为此另训练一套模型。此时输入 PIM 的是干净运动，扩散时间步设为 0，PIM 转而充当运动特征编码器。特征仍经过同一条逐层残差路径进入 AIM，所以外部驱动与自主规划共享接口。论文在联合生成与外部驱动的协同训练处给出 4:1 的数据比例。这解释了为什么同一个模型既可以自己规划动作，也可以服从用户已有的动作，而不是把所有模式都混称为文本生成。文本、音频和运动的组合改变推理条件；主表中的多个 Ours 行不是不同独立模型。

一个完整示例¶

以原文展示的“拿起桌上的苹果并展示”类指令为例，参考图像决定人物、桌子及苹果的初始位置。 PIM 首先需要把文本中的苹果对应到图像里的目标，而不是在新位置创造一个苹果。在自主生成模式中，人体骨架逐步伸手、抓取和抬起，物体框轨迹与手部位置共同改变。这些是对工作流程的说明，不代表笔记额外指定了原文未给出的帧数、抓取时刻或轨迹坐标。 AIM 与该结构序列并行生成画面，在各层接收运动残差，补全握持外观、遮挡以及物体表面。若同时给出语音，音频交叉注意力负责说话节奏，物体交互依然由文本与场景条件决定。若用户改为提供完整驱动运动，PIM 就使用时间步 0 的编码路径，不再把该输入当作待生成的噪声运动。

损失函数 / 训练策略¶

两个流使用统一流匹配训练：视觉输入经 VAE 得到潜变量，加噪后训练网络预测对应的向量场。检测式单帧监督与运动序列监督共用这一目标，只改变条件、目标长度和损失计算范围。原文缓存中的式 (1)、(4)、(6)、(7) 存在运算符或索引损坏，因此这里按周围文字解释机制，不猜补为作者的精确公式。训练数据来自 SpeakerVid-5M、OpenHumanVid 和 HOIGen-1M；Gemini-2.5 Pro 用于详细动作与交互描述，DWPose 用于骨架，DINO 用于检测。 PIM 与 AIM 均从 wan2.2-5B 初始化，但二者承担不同目标，而不是完全共享一套参数。 PIM 预训练 30,000 步，使用 3–10 秒、短边 256 像素的结构序列；AIM 预训练 5,000 步，使用 3–6 秒、短边 704 像素的视频。两者预训练学习率为 \(10^{-5}\)，之后联合微调 4,000 步，学习率为 \(2\times10^{-6}\)。最终训练保留图像到视频样本，以维持身份、动态和通用生成先验，防止模型过拟合到低动态的说话模式。第 3.3 节另列 30% 音频条件、15% 真实运动条件和 60% 视频-运动联合生成样本。这些比例合计 105%，且与前述 4:1 不是一套清晰说明的互斥划分；正文未充分交代重叠采样细节，不能自行归一化为确定配方。

实验关键数据¶

主实验¶

GroundInter 使用 jimeng4.0 生成的 400 张参考图像，覆盖 100 种常见物体，每图包含 1–3 个物体及 1–3 条动作描述，最终形成 600 个测试案例。配套语音由 CosyVoice 根据对白脚本合成，另提供物体掩码、检测结果和人体关键点。 VLM-QA 围绕物体、人物和交互设计 30 个二值问题；表中结果是该问答评分口径，不应改写成百分比成功率。 HQ 将手部动态与拉普拉斯锐度相乘，OQ 将物体动态与 DINO 一致性相乘；按原文定义可简写为：

\[ \operatorname{HQ}=\operatorname{HandDynamics}\cdot\operatorname{HandSharpness},\qquad \operatorname{OQ}=\operatorname{ObjectDynamics}\cdot\operatorname{ObjectDINOConsistency}. \]

PI 检查检测物体框与人体关键点的接触，详细聚合协议不在当前正文中，因此它不是经过三维验证的物理接触率。 CLIPre 比较原始提示与 VLM 对生成视频所写描述，DINOref 衡量参考画面保持，Syncconf 衡量音画同步置信度。下面节选原文表 1（第 10 页）；全部指标越高越好，但不同任务组的输入条件不同，不能当作完全同条件排名。

模式 / 方法	VLM-QA	HQ	OQ	PI	DINOref	Syncconf
音频驱动 / Wan-S2V	24.65	0.336	0.063	0.619	0.870	5.43
音频驱动 / Ours (TA2V)	27.32	0.931	0.133	0.803	0.857	6.04
文本驱动 / VACE	26.74	0.908	0.118	0.705	0.817	不适用
文本驱动 / Ours (T2MV)	29.05	0.975	0.150	0.852	0.835	不适用
文本与音频 / Ours (TA2MV)	29.07	0.973	0.147	0.850	0.839	5.92

T2MV 使用自生成运动且不提供语音；TA2MV 同时包含语音和运动联合生成，TA2V 则是论文列入音频驱动组的模式。例如 TA2V 的 PI 从 Wan-S2V 的 0.619 提高到 0.803，但 DINOref 从 0.870 降到 0.857，不能说所有质量维度均提升。作者另在 50 个真实场景案例上测试：表 5（第 14 页）中 Ours 的 VLM-QA 为 28.49、PI 为 0.794，HuMo 分别为 26.23、0.781。

消融实验¶

下面节选原文表 3 上半部（第 13 页）的 PIM 与连接设计消融；这是消融设置，不能将其 Ours 数字与表 1 的推理模式混为一行。 Cascade 使用单独训练并冻结的 PIM；Last-layer 将最后层特征用于所有 AIM 块；Addition 是逐层相加对照。

配置	VLM-QA	HQ	OQ	PI	Syncconf
w/o PIM	26.19	0.711	0.104	0.685	5.41
Cascade	28.19	0.876	0.137	0.746	5.27
Last-layer	28.31	0.880	0.141	0.769	5.32
Addition	28.46	0.903	0.134	0.777	5.14
Ours	28.89	0.925	0.144	0.780	5.43

去掉 PIM 后 VLM-QA 从 28.89 降至 26.19；把并行耦合换成 Cascade 后 HQ 从 0.925 降至 0.876，说明规划存在与信息传递方式都重要。下面为同表下半部的训练顺序消融；A 表示音频、M 表示运动，I 表示保留图像到视频训练样本。

训练配置	VLM-QA	HQ	PI	Syncconf
AM	28.23	0.912	0.770	4.23
M → AM	28.84	0.920	0.778	3.98
A → AM	28.02	0.906	0.755	5.49
AI → IAM (Ours)	28.89	0.925	0.780	5.43

关键发现¶

先学音频再加入运动的 Syncconf 为 5.49，先学运动则只有 3.98，支持弱条件需要先建立可用通路的解释。
完整方案的 Syncconf 5.43 略低于 A → AM 的 5.49，但 VLM-QA、HQ 与 PI 更高，体现联合目标的取舍。
表 2（第 12 页）完整感知训练配置达到 VLM-QA 28.89、PI 0.780；检测和无首帧运动生成共同服务于场景落地，而非只提升画面清晰度。

亮点与洞察¶

检测可以作为单帧视觉生成来训练。它让“看懂起始布局”与“延续动作”共用表示和目标，避免额外定位模块与生成器各自优化。
RGB 运动表示的价值不只是便于可视化，而是直接复用视频模型先验。代价是必须抑制骨架图形向真实画面泄漏，零初始化残差路径正针对这一风险。
双流的收益来自持续交换中间信息，不只是增加参数。串行与最后层注入对照说明，特征在何时、何处进入渲染流同样影响交互质量。
多模态训练具有方向性。由此得到的可迁移启发是先让较弱的局部条件产生有效梯度，再加入强结构条件，但其普适性仍需在其他任务验证。

局限与展望¶

作者明确承认只处理单人场景，未设计多人共同参与的人-物交互；不能据此宣称支持多人协作或交接物体。
主要基准依赖生成式参考图像，真实场景补充仅有 50 个案例。真实遮挡、背景复杂度和长尾物体上的覆盖仍有限。
HQ、OQ 与 PI 是视觉代理指标，可能受到动态程度、检测及关键点误差影响。笔者认为后续应增加接触时序、物体持久性和几何一致性的独立评测。
双流增加参数，作者将推理时间对比放在补充材料；本次仅有正文，不能报告具体速度、显存或实时性结论。
损坏公式、采样比例的关系和评测聚合细节限制了仅据正文完整复现训练的能力；笔记没有把这些不确定项补写成确定事实。

评分¶

新颖性: 4/5。检测式运动规划与逐层双流对齐形成明确的任务针对性，而非仅拼接现成条件。
实验充分度: 4/5。覆盖多类基线、连接机制、训练顺序及真实场景，但真实规模和效率证据仍有限。
写作质量: 4/5。问题边界和模块职责清楚，采样配方尚有歧义；缓存公式损坏另属于可读来源限制。
价值: 4/5。为可控交互数字人提供可复用的表示与训练思路，尚不足以支撑多人或物理可靠交互。