VersatileMotion: A Unified Framework for Motion Synthesis and Comprehension¶

会议: ECCV2026
论文: ECCV 原文
PDF: 论文全文
领域: 人体理解
关键词: 动作生成、动作理解、因果分词器、多人交互、多模态自回归

一句话总结¶

VersatileMotion 通过保留世界坐标的因果人体分词器 VerMoVQ，把文本、音频和多人动作组织为统一的下一 token 预测问题，在同一个模型中覆盖九项动作任务，并在作者评测协议下取得有竞争力的生成与理解结果。

研究背景与动机¶

文本生成人体动作、音乐生成舞蹈、语音驱动手势与动作描述生成，看似都是跨模态转换，实际经常依赖不同模型。专用生成器可以针对某一种条件设计网络，却很难直接反向输出语言；多人互动还需要保留人物之间的位置关系。 TM2T、MotionGPT 等工作已经展示动作离散化后的语言建模潜力，但接入更多模态并不自动解决动作表示本身的信息损失。

本文把瓶颈定位在分词器与数据覆盖上：作者认为常用的根相对表示不利于保存多人世界空间关系，把整帧压成一个向量会纠缠身体结构，而非因果时间编码与逐步生成的访问范围不一致。同时，文本与单人动作配对远比音乐、语音和多人数据丰富，直接混合所有样本会让模型很少看到音频条件。因此，需要同时改善动作离散表示、补齐跨模态数据，并控制各任务实际获得的训练曝光。

本文的切入点不是给每个任务再添加一条专用条件分支，而是先建立可组合的动作 token，再改变条件与目标在序列中的位置。核心 idea：用保留世界坐标、具有严格时间因果性的身体 token 连接动作与语言、音频，并通过统一消息格式和分阶段任务采样，让一个自回归模型兼顾生成、理解和多人协调。

方法详解¶

整体框架¶

输入可以是文本、音频、已知动作片段及人数或时长等元数据，输出则由任务决定，可以是动作、文本或音乐。 MotionHub 与世界坐标表示统一训练材料；VerMoVQ 将连续人体状态编码成离散动作 token。统一动作消息把不同模态排成指令、条件与回复，自回归 Transformer 读取前缀并逐 token 生成回复。双路径分阶段训练负责让同一模型既学到大规模动作先验，也真正使用稀缺的音频条件。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        sources["动作、文本与音频数据"] --> corpus["MotionHub 与<br/>世界坐标表示"]
        corpus --> tokenizer["因果身体分词器<br/>VerMoVQ"]
        tokenizer --> message["统一动作消息"]
        conditions["文本与音频分词<br/>指令及元数据"] --> message
        message --> training["双路径分阶段训练"]
        training --> model["共享自回归模型"]
        model --> output["动作、描述或音乐"]

图中展示训练与使用的关系，而非要求每次推理重新训练。推理时复用已训练的分词器和模型，只构造当前任务的消息前缀，再对生成的目标 token 解码。

关键设计¶

1. MotionHub 与世界坐标表示：先保留多人交互需要的信息

MotionHub 汇集约 380K 个单人和多人动作片段，统一为 30 fps 的 SMPL 表示。对于缺少文字描述的音乐舞蹈与语音手势数据，作者使用人工及视觉语言模型辅助标注补充配对文本。这样，音频动作样本不仅支持音频条件生成，也能进入动作与语言之间的训练任务。本文同时提出 MotionBench 作为九项任务的标准化评测集合；它是评测组织方式，不是生成网络的新分支。

单帧状态包含世界坐标下的根位置、根速度和各关节的连续 6D 旋转。依据第 3.1 节式 (1)，其核心表示为：

\[ x_t=(p_t,v_t,R_t). \]

其中 \(p_t\) 和 \(v_t\) 都是三维量，\(R_t\) 收集各关节旋转。根位置与根速度拼成一个 6D 身体 token，其余身体 token 分别容纳关节的 6D 旋转。因此，多人动作不必先把每个人都独立放回原点，再额外猜测相互位置。两个人使用相同的分词器和离散空间，保留的世界坐标为后续人物 token 之间的空间推断提供信息。这不等于自动满足接触或避碰约束，而是避免在表示阶段就丢掉学习这些关系所需的信号。

2. 因果身体分词器 VerMoVQ：把整帧压缩改成时空分解

VerMoVQ 将动作组织为时间、身体 token 和通道三个维度，而不是把全身姿态塞入单个高维帧向量。编码器沿时间下采样，得到较短的时间序列，但保留身体维度供后续量化。每个时间位置的身体 token 单独离散化，随后按时间与身体索引展平成自回归模型可读的一维序列。较小的身体单元减少每个离散码需要同时表达的全身组合，量化压力因此降低。

所有时间卷积都采用严格因果形式，编码和解码当前帧时不读取未来帧。这样，动作片段可以按前缀继续编码和生成，适合预测、变长片段衔接与流式使用。但仅有时间卷积会让不同身体单元相互独立，因此模型还在同一时刻的身体维度上做自注意力。身体注意力把根运动与关节旋转联系起来，例如躯干转动与手臂姿态不再只由各自时间轨迹决定。

实际量化采用有限标量量化 FSQ：对潜变量各维使用固定离散等级，不依赖学习式码本损失或 commitment loss。正文先给出一般 VQ 的最近码字叙述，再说明所采用的 FSQ；理解实现时应以这一具体量化选择为准。主实验使用的 2D、16k 配置不是重建误差最低的候选，却在作者报告的下游生成比较中更合适。这里的重要判断是：分词器除了还原动作，还必须产生自回归模型容易学习的离散序列。

3. 统一动作消息：通过排列 token 切换任务方向

文本使用子词分词器，音频使用 VQ-VAE，动作使用 VerMoVQ，三者的离散符号进入统一词表。共享词表不表示三种模态共享同一个编码器，而是最终由同一个 Transformer 处理它们的 token。消息包含自然语言指令、带模态边界标记的条件，以及同样带边界标记的目标回复。人数与时长等信息可以作为条件字段出现，不需要为每种字段重新设计生成主干。

文本到动作把文本放在条件里、动作放在回复里；动作到文本则交换二者角色。音乐到舞蹈与舞蹈到音乐同样通过改变序列中的条件和目标实现。多人动作使用相同动作 token 空间，以人物分隔符区分各人的序列，再交由模型学习跨人物关系。这使架构形式可以扩展人数，但论文中的定量多人证据主要来自双人设置，不能据此认定任意人数都已验证。

训练时随机纳入可选条件字段，让模型接触不同条件组合，支持音乐加文本等复合输入。因此，复合条件结果不应被描述为完全没有见过组合条件训练的零样本能力。时序补全则把已知片段作为条件；分词器的因果性约束局部编码的未来访问，不意味着补间任务不能把已知终点作为条件提供。这一分离使同一动作表示同时服务向前预测和中间片段补全。

4. 双路径分阶段训练：避免丰富任务淹没稀缺条件

MotionHub 的任务分布不均衡，正文指出可用数据中的音乐条件样本不足 1%。若始终按数据量抽样，训练损失可以持续下降，模型却可能几乎没有机会学会利用音乐。预训练阶段仍按数据量采样，以建立覆盖广泛的动作与跨模态先验，并监督完整消息的下一 token 预测。随后通用模型监督微调先均匀选择任务，再从该任务的数据中抽样，只监督回复部分。

这样，稀缺任务在微调阶段获得更高曝光，丰富任务也继续被复习，而不是完全被新领域替代。所谓“双路径”是不同训练阶段采用不同采样路径，不是推理时运行两个生成器。作者还把单人片段组合为伪双人预训练数据，以增加多人格式的训练机会。主文表 8 单独检验这项数据策略，但缓存未包含更具体的组合细节，不能假定它模拟了真实接触物理。

一个完整示例¶

考虑“根据音乐生成两个人的互补舞蹈，一人旋转，另一人跳跃”，这是对正文消息示例的说明性转述。文本描述先成为文本 token，音乐成为音频 token，人数和时长字段一起进入条件段。模型先读取任务指令与这些条件，再生成动作回复中的人物 token 序列。人物分隔符使两个表演者可区分，共享世界坐标则保留他们应当如何相对站位的信息。 VerMoVQ 解码器将生成的 token 恢复为根轨迹与关节旋转，形成可用的 SMPL 动作。若希望模型描述这段动作，就把动作 token 改放条件段，并将回复目标改为文本，无需增加另一个动作理解主干。

损失函数 / 训练策略¶

分词器使用参数重建损失与正向运动学损失共同训练，见第 8 页式 (4)：

\[ \mathcal{L}_{\mathrm{rec}}=\mathcal{L}_{\mathrm{param}}+\lambda_{\mathrm{fk}}\mathcal{L}_{\mathrm{fk}}. \]

参数项对平移、速度和旋转使用 L1 损失；正向运动学项比较根中心化后的三维关节位置。前者直接约束世界根轨迹与姿态参数，后者约束这些参数实际形成的身体几何，二者作用不同。这里不补写缓存未给出的权重、学习率或训练步数。自回归模型默认由 LLaMA 3.2-1B 初始化，采用下一 token 预测，而非为不同任务引入不同生成目标。第 3.3 节描述通用预训练与通用监督微调两阶段，但图 2 另画出 Specialist SFT。本笔记依照正文解释主流程，并将这一图文不一致保留为复现时需要核对的问题。

实验关键数据¶

主实验¶

以下摘录主文表 3、4、5，1P 与 2P 分别表示单人与双人。 FID 衡量生成与真实动作特征分布的差异，越低越好；R-Precision 衡量匹配文本或动作在候选检索中的命中率，越高越好。表 3 的动作生成指标采用作者训练的 TMR 特征，不能与其他论文使用不同评测器的 FID 直接比较。表 5 的 R-Precision 为 Top-3、64 个候选，和表 3 的 Top-1 不属于同一个指标设置。

来源与条件	指标	VersatileMotion	对比方法	对比值
表 3，HumanML3D，1P 文本到动作	FID，越低越好	0.062	MotionStreamer	0.065
表 3，HumanML3D，1P 文本到动作	R-Precision Top-1，越高越好	0.457	HY-Motion	0.561
表 3，MotionHub，1P 文本到动作	FID，越低越好	0.098	Go-To-Zero	0.101
表 4，MotionHub，2P 文本到动作	FID，越低越好	0.51	InterMask	0.43
表 5，HumanML3D，1P 动作到文本	R-Precision Top-3，越高越好	0.686	TM2T	0.536
表 5，MotionHub，2P 动作到文本	R-Precision Top-3，越高越好	0.778	MotionGPT，重训练	0.691

HumanML3D 上较低的生成 FID 并没有同时带来最好的文本检索一致性，不能把质量和语义对齐合并成单一“全面领先”结论。 MotionHub 上多数基线没有在该数据集训练，表 3 的跨域比较包含训练数据覆盖差异。双人生成中，VersatileMotion 没有超过 InterMask；其价值是无需专门交互架构也获得较强表现。此外，第 4.4 节对多数基线重新注入真实根信息，而本文直接在世界空间评估，比较时应保留这一处理差异。

消融实验¶

下表摘录第 14 页表 8，前三行是 1B 模型的生成与理解训练方式比较，后两行才是双人伪数据实验。 “未评估”表示对应配置没有该方向的结果，不是零分。

来源与配置	文本到动作 FID，越低越好	动作到文本 R-Precision Top-3，越高越好	条件说明
表 8(i)，仅生成	0.074	未评估	单方向训练
表 8(i)，仅理解	未评估	0.658	单方向训练
表 8(i)，生成与理解联合	0.062	0.686	双方向联合训练
表 8(iii)，不使用伪多人预训练	0.60	0.544	2P 任务
表 8(iii)，使用伪多人预训练	0.51	0.778	2P 任务

生成与理解联合训练同时改善两个方向，说明统一建模的收益不只是减少模型数量。伪双人数据提高多人任务表现，但不能把其效果混入单人配置做横向排名。表 7 还显示全部任务混合训练优于单任务专家，支持跨任务动作先验迁移的解释。

以下为第 10 页表 2 的分词器分析，统一在 MotionHub 测试集评估。 MPJPE 是关节位置误差，PA-MPJPE 在对齐后计算，单位都是 mm；MPJRE 是关节旋转误差，单位为度。

人数与分词器	MPJPE，越低越好	PA-MPJPE，越低越好	MPJRE，越低越好	码本利用率
1P，Go-To-Zero，FSQ 64k	27.19	21.19	6.35	83.7%
1P，VerMoVQ 1D，RVQ 1k×6	12.34	9.49	3.43	100.0%
1P，VerMoVQ 2D，FSQ 16k	18.13	10.51	1.93	97.3%
1P，VerMoVQ 2D，FSQ 64k	13.54	8.38	1.50	59.2%
2P，VerMoVQ 2D，FSQ 16k	18.52	10.73	2.07	97.8%

关键发现¶

1D RVQ 的位置重建误差比默认 2D 配置低，但作者仍选择后者用于生成，说明重建最优不等于序列建模最优。
增大 2D 离散空间可降低重建误差，却伴随更低的利用率；表 2 本身不足以确定最佳生成配置。
2P 的 18.52 mm 与 1P 的 18.13 mm 接近，支持共享分词器在双人数据上保留重建能力，但不是接触正确率的证明。
第 13 页表 6 中，“1 帧加文本”补间的 FID 为 0.166，MotionGPT3 为 0.276；这一条件必须随数字一起报告。
主文报告音乐、手势及长序列能力，但对应部分细表位于未包含的补充材料，本笔记不据此扩展未核验的完整排行榜。

亮点与洞察¶

世界空间信息是一项表示层选择，不只是多人模型的附加条件。先保留根轨迹，才有可能通过普通序列模型学习人物相对关系。
身体分解同时影响量化和后续预测难度。评价分词器时应同时看几何重建与生成结果，而非只追求最低 MPJPE。
生成与理解可以互相提供监督。表 8 的双方向收益使统一模型的论证超出了“一个模型能调用多个任务”的工程便利。
条件是否被真正使用取决于训练曝光。先学习丰富动作先验，再提高稀缺任务的采样概率，是比单纯扩大词表更直接的数据侧干预。

局限与展望¶

以下主要是基于主文的评阅判断，不能全部归为作者明确承认的局限。
“架构支持任意人数”与“已验证任意人数”不同，本文的定量多人结果主要为双人，需要更多人数与复杂遮挡、接触场景的测试。
直接生成 SMPL 参数不保证动作物理可执行；位置、旋转及检索指标也不能代替滑步、穿插、受力和接触质量评估。
数据汇集及人工、VLM 辅助描述会影响语义质量；缓存缺少附录，无法充分核对各来源比例、标注一致性与划分细节。
TMR 评测器、训练数据覆盖及双人根信息处理都影响横向比较，因此不宜把作者协议下的优势等同于所有标准榜单上的优势。
因果性支持前缀一致性，但身体 token 与多人物串接会增加序列长度；主文没有充分给出大人数和长时段的延迟及资源曲线。
下一步可在相同数据预算下对比采样策略，增加接触与时延指标，并澄清图 2 中 Specialist SFT 与正文两阶段方案的关系。

评分¶

新颖性: 4/5。核心价值是把世界空间、因果身体分词与统一任务训练连起来，而非单独发明某一种量化器。
实验充分度: 4/5。主文包含重建、多方向任务和训练消融，但部分细节依赖补充材料，数据与评测协议也影响比较边界。
写作质量: 3/5。主要机制清楚，但图 2 与正文训练阶段不一致，量化部分的一般 VQ 叙述与具体 FSQ 选择需要仔细区分。
价值: 4/5。为人体动作多任务模型提供可复用的表示与训练思路，仍需验证更大人数、物理约束和实际推理成本。