Multi-Modal Controlled Coherent Motion Generation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://feifeifeiliu.github.io/MOCO
领域: 3D视觉
关键词: 人体动作生成, 扩散模型, 多模态控制, 语音手势合成, 轨迹规划

一句话总结¶

针对边走边说等多模态协同控制数据稀缺导致的动作失真难题，MOCO 提出了基于空间解耦的扩散去噪与 LLM 动作时间线规划机制，无需成对对齐数据即可生成高度协调的全身三维数字人动作。

研究背景与动机¶

在虚拟主持、沉浸式元宇宙与交互式游戏等场景中，驱动三维虚拟化身（3D Avatar）同时响应多源控制信号至关重要——例如虚拟主持人需要沿着预设舞台轨迹行进，同时口述台词并伴随富有表现力的手势、面部表情与姿态调整。然而，现有的人体动作生成研究大多局限于单模态控制，如单纯的文本驱动动作（Text-to-Motion）或语音驱动手势（Speech-to-Gesture）。尽管近期有工作尝试通过跨任务数据集训练统一模型，但在多模态控制信号并发输入时，往往只能以简单的串行次序执行，无法实现自然的协同运动。

这种多模态动作生成的核心瓶颈在于成对多模态控制动作数据的极度稀缺。大规模采集同时包含精准轨迹、复杂文本动作标注与高保真语音手势的动捕数据代价极其高昂；此外，现有语音手势数据集（如 BEAT2）中的运动范围大多局限于站立姿态，难以直接训练兼具大范围位移与自然手势的模型。先前尝试通过对文本驱动与音频驱动模型的预测结果进行加权求和（Weighted Sum）来融合动作，但由于音频手势模型在静止站立数据上训练出的强纠正力，往往会严重压制文本端动态动作生成；而利用语音脚本作为伪文本标签（Pseudo-Text）的方案，又受限于台词转录文本与真实动作描述之间的显著领域鸿沟，泛化能力极为有限。

面对上述两难困境，本文的切入视角是人体运动天然具备解耦的空间与生理分工：语音主要驱动面部表情与上半身手势，而文本指令与轨迹则主导下半身躯干及双腿的行进、转向或起坐。核心 idea：无需端到端成对多模态标注，MOCO 在单模态预训练去噪扩散步中将全身动作按空间生理规则显式解耦，在每一步去噪中分别生成文本驱动的下半身位移与音频驱动的上半身手势并拼接，再将合成状态重新加噪迭代，实现跨模态动作的渐进式自然协调。

方法详解¶

整体框架¶

MOCO 的目标是在同时接收文本描述 $c_{\text{text}}$、语音音频 $c_{\text{audio}}$ 及预设轨迹 $c_{\text{traj}}$ 时，生成时间连贯且动作逼真的三维全身动画。全身运动被表征为包含两部分的向量 $m = \{b, d\}$，其中 $b \in \mathbb{R}^{205}$ 编码身体主干及四肢姿态（采用 SMPL-X 骨骼旋转与根节点速度参数），$d \in \mathbb{R}^{286}$ 负责精细的面部表情与双手手指细节运动。

MOCO 整体包含四大基于 Transformer 的扩散去噪器：文本驱动动作去噪器 $G_{\text{T2M}}$（在 HumanML3D 上训练）、语音驱动手势去噪器 $G_{\text{S2G}}$（在 BEAT2 上训练）、轨迹速度去噪器 $G_{\text{T2V}}$，以及语音驱动细节去噪器 $G_{\text{S2D}}$。针对同步输入条件，MOCO 执行多模态解耦去噪：在每一步去噪中，$G_{\text{T2M}}$ 仅负责基于当前整体噪声预测下半身姿态，$G_{\text{S2G}}$ 预测上半身手势，二者按预定义的空间掩码合并为全身骨骼姿态，随后重新前向扩散加噪并传入下一步；针对异步和复杂长序列条件，MOCO 引入大语言模型（LLM）将复杂指令拆解为动作单元时间线，结合损失引导与时序过渡生成连贯动作。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多模态输入<br/>文本 / 语音 / 轨迹"] --> Plan["LLM 动作时间线规划<br/>动作单元切分与过渡插值"]
    Plan --> Traj["轨迹速度优化引导<br/>L-BFGS 损失约束"]
    Traj --> Step["多模态空间解耦去噪<br/>文本下半身 + 音频上半身"]
    Step --> Refine["逐级迭代闭环加噪<br/>从 t 到 t-1 渐进协调"]
    Refine --> Combine["面部与手部细节集成<br/>S2D 生成精细动作"]
    Combine --> Out["连贯全身三维动作序列"]

关键设计¶

1. 多模态空间解耦去噪：解决多模态对齐数据稀缺与模态主导失衡
先前采用加权求和（Weighted Sum）融合文本与语音模型的方法之所以失败，根源在于语音手势数据集主要由站立不动时的讲话姿态构成，导致语音去噪器施加的恢复力偏向原地站立，从而将文本模型生成的下半身大幅位移（如行走、跑步）直接抹平。MOCO 基于生理观察将联合去噪概率显式近似为空间分解的独立概率乘积： $$ p(b_{t-1} \mid c_{\text{text}}, c_{\text{audio}}, b_t) \approx p(b_{t-1,\text{lower}} \mid c_{\text{text}}, b_t) \cdot p(b_{t-1,\text{upper}} \mid c_{\text{audio}}, b_t) $$ 在去噪步 $t$，$G_{\text{T2M}}$ 接受包含上一轮全身信息的 $b_t$ 并预测全身候选 $\hat{b}_0^{\text{text}}$，$G_{\text{S2G}}$ 同步预测 $\hat{b}_0^{\text{audio}}$。随后利用预定义的身体部分二值掩码 $I \in \mathbb{R}^{205}$（下半身与躯干设为 1，上半身手臂头部设为 0）完成精准硬解耦组装： $$ b_{t-1} = I \odot b^{\text{text}}{t-1} + (1 - I) \odot b^{\text{audio}} $$ 由于 $G_{\text{T2M}}$ 和 $G_{\text{S2G}}$ 在各自单模态标准数据集上独立训练、不共享权重（避免了跨模态特征互相冲淡），且在生成时下半身完全由文本主导、上半身完全由音频主导，彻底根除了单模态压制现象。

2. 逐级迭代闭环加噪机制：保证上下半身运动连贯协调
若仅仅在去噪终点 $t=0$ 将文本生成的下身动作与语音生成的上身手势一次性拼合（即单次拼合基线 Combine Once），会导致严重的肢体断层、躯干僵硬以及时间上的运动不连续。MOCO 的关键创新在于每一步去噪后的闭环加噪回传：在第 $t$ 步通过空间解耦拼接得到 $b_{t-1}$ 后，该状态携带了上一时刻下半身位移与上半身摆动构成的整体躯干上下文；在进入 $t-1$ 步时，模型基于包含全局上下文的噪声输入再次分别执行去噪。这种机制使得文本去噪流与语音去噪流能够在每个扩散时间步感知到对方生成的肢体状态，促使腰椎、骨盆及肩部的姿态在数百步去噪反演中自发调整，从粗粒度高斯噪声到细粒度动作逐步实现生理力学上的自然协调与平滑过渡。

3. 基于运动学引导的轨迹控制：约束全身根节点位移
为了让角色能够沿着任意设定的舞台或场景平面轨迹 $c_{\text{traj}} \in \mathbb{R}^{N \times 2}$ 行走，MOCO 将骨盆根节点的全局平移解耦为速度向量 $v = [\dot{r}_x, \dot{r}_y, \dot{\theta}]$。系统首先利用专用的轨迹去噪器 $G_{\text{T2V}}$ 去噪得到初始速度 $\hat{v}_0$，并在去噪阶段引入可微分正向运动学（Forward Kinematics, FK）的损失引导： $$ \mathcal{L}_{\text{guidance}} = | \text{FK}(\hat{v}0) - c |_2^2 $$ 利用二阶优化器 L-BFGS 直接针对 }$\hat{v}_0$ 最小化轨迹误差。在后续全身姿态生成阶段，MOCO 将预测出的精准速度分量直接替换至姿态向量 $\hat{b}_0$ 的对应通道中，迫使其余关节自由度随着根节点轨迹自适应调整，生成无滑步、不漂移的保真轨迹跟随动作。

4. LLM 动作时间线规划：化解异步与长序列复杂语义冲突
在实际交互中，用户的输入往往不是简单的单一动词，而是包含多步复合行为（如“跪下，然后站起来向前走”）以及多段断续讲话语音。MOCO 利用大语言模型作为高层语义规划器，解析输入提示词并将复合动作分解为基础动作元（Motion Primitives），同时根据上下文自动在剧烈姿态切换间插入过渡动作（如在“跪下”与“向前跑”之间自动补全“从地面站起”），并为每个动作元分配起止时间区间与生效部位掩码 $I_j$。在去噪阶段，MOCO 在时间轴上运用条件掩码融合机制，并结合 DiffCollage 算法进行边界滑动窗口混合，彻底解决了多段语音与动作异步重叠时的跳变难题。

一个完整示例¶

考虑输入复合文本指令“单膝跪下然后向前跑”，同时伴随两段连续的讲话音频（第 0~4 秒 clip 1，第 4~8 秒 clip 2），以及一条由原点延伸向前的折线轨迹： 1. 时间线切分：LLM 规划器将序列拆分为：$c_1$ 为下半身 0~2 秒“kneel down”；自动插入过渡元 $c_2$ 为下半身 2~3.5 秒“stand up from ground”；$c_3$ 为下半身 3.5~8 秒“run forward”；同时上半身 0~4 秒分配给语音 $c_4$、4~8 秒分配给语音 $c_5$。 2. 轨迹预计算：轨迹去噪器 $G_{\text{T2V}}$ 根据折线坐标通过 L-BFGS 优化生成骨盆线速度与角速度 $\hat{v}_0$。 3. 去噪扩散循环：从纯高斯噪声出发，在第 $t$ 步，下半身骨骼由 $G_{\text{T2M}}$ 在相应时间窗分别受 $c_1, c_2, c_3$ 引导去噪并受 $\hat{v}_0$ 速度约束；上半身由 $G_{\text{S2G}}$ 受语音特征交叉注意力引导去噪；每步拼接后重新加噪。 4. 细节合成输出：去噪收敛后，将由 $G_{\text{S2D}}$ 基于语音频谱生成的面部表情与手指姿态拼入姿态矩阵，输出具备自然台词表情手势且流畅完成跪地起立奔跑的 3D 动作。

实验关键数据¶

主实验¶

评估在构建的包含 1000 个复杂测试片段的基准测试集上展开（每个片段包含 2 条文本与 2 段音频）。评价指标涵盖文本生成质量（FID+ 越低越好、R1 检索精度、M2T 文本相似度、M2M 动作相似度）与语音手势质量（FID-A 真实度、BC 节拍一致性、L1div 动作多样性）。

模型 / 基准方法	FID+ ↓	R1 (%) ↑	M2T ↑	M2M ↑	FID-A ↓	BC ↑	L1div ↑
真实数据 (GT)	0.000	40.0	0.781	1.000	-	-	-
Weighted Sum [Yang et al., ICASSP 2024]	1.335	6.8	0.546	0.537	2.17	2.20	4.08
Pseudo-Text [Ling et al., 2023]	1.593	2.2	0.511	0.503	2.22	2.55	6.43
SynTalker [Chen et al., ACM MM 2024]	0.985	9.8	0.601	0.603	6.60	2.95	9.12
MOCO (本文方法)	0.862	24.6	0.649	0.639	3.83	2.72	8.62

消融实验¶

消融实验深入验证了身体掩码划分（Body Mask）、跨模态权重共享（Share Weight）、以及每步迭代融合（Per-Step Comb.）对于生成质量和过渡平滑比（Transition Smoothness Ratio, TSR ↓，即过渡窗内与非过渡区平均速度之比）的影响。

变体配置	共享权重	身体掩码 (1-I)	逐步组合	FID+ ↓	R1 (%) ↑	M2T ↑	FID-A ↓	BC ↑	L1div ↑	TSR ↓
MOCO (完整模型)	✗	head, arms	✓	0.862	24.6	0.649	3.83	2.72	8.62	0.90
Variant 1 (脊柱归音频)	✗	head, arms, spine	✓	0.921	22.4	0.634	3.86	2.81	8.35	0.90
Variant 2 (上下半身颠倒)	✗	spine, legs	✓	1.234	7.9	0.554	2.75	2.19	5.11	0.95
Variant 3 (共享跨模态权重)	✓	head, arms	✓	0.866	22.1	0.656	4.24	2.68	8.95	0.85
Variant 4 (仅最后一步拼接)	✗	head, arms	✗	0.832	24.4	0.645	3.99	2.27	8.60	1.17

此外，用户双盲调研（User Study）表明： - 相比于 Pseudo-Text 与 Weighted Sum，MOCO 在文本遵从度（Text Following）上分别以 99.0% vs 0.0% 和 100.0% vs 0.0% 取得绝对压倒性优势；在节拍同步性（Beat Synchronization）上亦分别达到 74.5% 与 83.0% 的偏好比。 - 相比于仅在最后一步拼接的 Variant 4（Combine Once），MOCO 在身体协调性（Body Coherence）评选上以 71.0% 对 17.0% 显著胜出，且时序连贯度（TSR）大幅优化（1.17 降至 0.90）。

关键发现¶

逐步加噪迭代是维持生理协调的核心：Variant 4 虽然在文本 FID+ 指标上略有收益（0.832 vs 0.862），但其 TSR 跃升至 1.17，且在用户主观评估中肢体协调度大幅落后于 MOCO（17% vs 71%）。这证明空间解耦在去噪中期的信息互通对于消除视觉撕裂至关重要。
空间生理分工的边界至关重要：当将脊柱控制权划归音频（Variant 1）时，下身动作的文本保真度下降（R1 从 24.6% 跌至 22.4%）；若严重错配为文本管上身、音频管下身（Variant 2），文本 R1 精度崩塌至 7.9%，节拍一致性由 2.72 跌至 2.19。
权重共享损伤模态专有表征：Variant 3 共享跨模态模型权重后，由于文本数据集与手势数据集的动作幅度与速度先验不同，导致 FID-A 显著恶化（从 3.83 退化至 4.24）。

亮点与洞察¶

训练无耦合而推理强协同：巧妙利用扩散模型马尔可夫链去噪的迭代性质，在完全不依赖三模态配对标注数据的前提下，实现了强约束模态（文本/轨迹）与自由度高模态（语音手势）的互不干扰与空间互补。
利用 LLM 自动补全动力学过渡：将大模型的高级常识推理能力转化为时序物理动作规划器，自动识别“下蹲”到“奔跑”必须经过“起立”的隐式先验，有效攻克了动作拼接时的突兀顿挫问题。
可复用的轨迹逆运动学引导范式：结合二阶 L-BFGS 优化器在去噪潜空间中直接约束 FK 速度梯度，为各种带物理路径约束的人体动画生成提供了通用的即插即用解法。

局限与展望¶

刚性解耦无法应对上肢动作文本：当前默认将手臂分配给语音驱动，当下达“挥手致意”、“投掷篮球”等明确包含上身手臂动作的文本指令时，会被语音手势覆盖；尽管支持用户手动在时间线中覆盖配置，但缺乏全自动的自适应动态部位分配能力。
极端起坐姿态下的脚部滑移：在起立和坐下等与环境刚性接触的动作中，由于缺乏显式的足底接触物理接触反作用力约束，模型偶发轻微的地面滑步（Foot Sliding）现象。
基准测试集的语义覆盖度有限：自建的 1000 个测试样本主要聚焦于演讲、行走、坐下等常见日常复合交互，对于高动态体育竞技或特技动作等多模态控制泛化性仍有待进一步验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用空间生理特性和扩散中间态加噪闭环解决多模态对齐数据匮乏难题，构思精巧。
实验充分度: ⭐⭐⭐⭐☆ 自建了系统的多模态动作基准数据集，指标覆盖面广，消融实验与用户主观测试严密翔实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑论证环环相扣，从数学推导到工程落地的架构设计条理极清晰。
价值: ⭐⭐⭐⭐⭐ 为虚拟数字人、元宇宙演说主持及具身智能体行为驱动提供了极高实用价值的即插即用生成方案。