AnyMo: Scaling Any-Modality Conditional Motion Generation with Masked Modeling¶

会议: NeurIPS 2026
arXiv: 2605.29488
论文: https://arxiv.org/abs/2605.29488
领域: 视频生成
关键词: 人体动作生成, 任意模态条件, 掩码建模, 残差标量量化, 多模态对齐

一句话总结¶

本文构建了包含逾 5,000 小时动作并精确对齐文本、语音、音乐与轨迹的多模态动作数据集 OmniHuMo，并提出了结合残差标量量化（R-FSQ）分词器与可扩展双向掩码 Transformer 的 AnyMo 框架，实现了任意模态组合条件下的高保真 3D 人体动作生成。

研究背景与动机¶

条件人体动作生成是数字媒体制作、虚拟角色驱动与人形机器人运动控制的基础课题。随着生成式建模技术的演进，近年来针对文本驱动、音乐驱动舞蹈、语音驱动手势以及轨迹约束运动等单一模态或孤立任务的研究取得了长足进展。然而，在复杂真实交互场景中，人类动作通常受到多种异构信号的同时约束（例如既需要跟随音乐节拍舞蹈，又要遵循特定空间轨迹和语义风格描述）。现有方法在此类场景下普遍面临跨模态泛化能力弱与精细可控性欠缺的瓶颈。

造成该瓶颈的核心原因主要体现在两个维度：其一是大规模多模态对齐动作数据的极度匮乏。传统高质量数据集多依赖高成本的光学动捕系统（如 HumanML3D、AMASS），数据规模停留在几十小时级别且缺乏丰富配对模态；近期虽有工作利用单目动捕技术从互联网视频中提取百万级动作序列，但普遍缺少多模态间的语义与时序精准对齐（如仅含文本或仅含音乐）。其二是生成框架缺乏对任意模态组合的联合建模能力。多数已有统一模型采用“多任务单输入”范式，本质上将各模态拆分为孤立生成任务，未显式捕捉跨模态相互依赖，无法应对任意未见控制信号组合的联合引导。

针对上述两大数据与架构维度的断层，本文认为实现稳健泛化与任意可控的动作生成必须依托超大规模多模态对齐数据与具备扩展规律的统一架构。核心 idea：自动化构建超 5000 小时多模态时序对齐动作数据集 OmniHuMo，并提出基于分层残差标量量化（R-FSQ）分词与多流并行掩码建模（Parallel Mask Modeling）的双向 Transformer 框架 AnyMo，通过三阶段递进式对齐课程训练实现任意异构模态组合下的高保真动作生成。

方法详解¶

整体框架¶

AnyMo 整体由三个核心部分协同构成：自动化构建的多模态动作全集 OmniHuMo、基于残差有限标量量化（R-FSQ）的离散运动分词器，以及支持任意条件组合的 LLaMA 架构可扩展双向掩码 Transformer。在预处理阶段，连续人体 3D 动作序列被分词器压缩为多层残差离散 token 流；异构输入条件（文本、语音、音乐、轨迹）分别经过专用模态编码器映射并投影至统一的条件潜空间。随后，掩码 Transformer 在统一掩码策略下以双向自注意力机制捕捉全序列时空上下文，并通过多头预测器并行重构所有残差 token 流，最终经分词器解码器恢复出光滑的连续 3D 人体运动。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态条件输入<br/>文本 / 语音 / 音乐 / 轨迹"] --> B["模态专用编码器与投影<br/>T5-XL / WavTokenizer / CNN"]
    M["真实 3D 动作序列 X"] --> C["残差有限标量量化分词器 R-FSQ<br/>多尺度残差离散化"]
    C --> D["时序对齐掩码注入<br/>随机掩码 <MASK> 生成 multi-stream"]
    B --> E["多流并行掩码 Transformer<br/>LLaMA 双向自注意力主干"]
    D --> E
    E --> F["并行重构预测头 FFNs<br/>多流残差 token 并行预测"]
    F --> G["R-FSQ 解码器<br/>分层特征累加解码"]
    G --> H["高保真 3D 人体动作序列"]

关键设计¶

1. OmniHuMo 数据构建管线：大规模多模态时序对齐动作工程 针对互联网野生视频中动作抖动、视线遮挡及跨模态弱对齐等痛点，本文设计了包含五阶段的自动化数据清洗与标注流水线。视频初筛阶段使用 PySceneDetect 与 TransNetV2 粗细粒度检测场景切分，结合光流幅值、DOVER 视频质量评估与比特率过滤异常片段。在 2D 检测跟踪上采用 YOLOv11 与 MOTRv2，并利用 RTMW 提取 2D 姿态。3D 重建阶段采用重力视角坐标系的 GVHMR 结合 DROID-SLAM 相机轨迹联合求解 SMPL 参数，利用 RF-DETR 动态框动态遮挡运动人体以稳定 SLAM 位姿。为剔除异常重建，设计了严格的运动学滤波机制：通过根节点方向突变角判断相机突变，丢弃帧间旋转突变 $\Delta\theta_i > 30^\circ$ 的样本；计算连续四帧关节抖动 Jerk 指标，过滤均值 $\dddot{\mathbf{J}} > 0.015$ 的抖动序列；监控帧间关节最大位移，剔除突变超过 200mm 的离群序列。音频维度利用 Demucs 分离人声与伴奏，结合节拍对齐分数（BAS > 0.15）筛选高同步舞蹈，利用 3D-Speaker、SyncNet 与 Whisper 筛选高质量伴随语音并转录。最后通过 Qwen3-VL-32B 结合局部人像框生成细粒度动作描述，构建出 5048 小时（320 万序列）的高保真对齐库。

2. 残差有限标量量化分词器：消除码本坍塌并保留细粒度动力学 传统向量量化（VQ-VAE）依赖高维最近邻硬搜索，不仅极易发生码本坍塌（Codebook Collapse）导致潜空间利用率低下，而且单级粗粒度码本难以捕捉细微的运动学高频变化。AnyMo 引入残差有限标量量化（R-FSQ），将高维连续潜表示映射到有界超立方体规则网格上。对于编码器输出的潜向量 $\mathbf{z}\in\mathbb{R}^d$，首先通过有界函数（Sigmoid）约束取值范围，再对各维度 $z_i$ 按预定级数 $L_i$ 进行确定性量化取整： $$\hat{z}_i = \mathrm{round}(f(z_i)\cdot(L_i - 1)), \quad i=0,\dots,d-1$$ 该无参可微映射构建了包含 $|\mathcal{C}|=\prod_{i=0}^{d-1}L_i$ 种离散状态的码本，从数学机制上彻底杜绝了码本坍塌。为了进一步消除标量离散化引入的信息损耗，模型在 $V+1$ 个分层量化阶段递归拟合量化残差：令初始残差 $\mathbf{R}^0=\mathbf{Z}$，第 $v$ 层量化近似为 $\widehat{\mathbf{Z}}^v = \mathrm{FSQ}(\mathbf{R}^v)$，更新后继残差 $\mathbf{R}^{v+1} = \mathbf{R}^v - \widehat{\mathbf{Z}}^v$。最终通过全层残差累加 $\widehat{\mathbf{Z}}=\sum_{v=0}^V \widehat{\mathbf{Z}}^v$ 送入解码器端对端重建。基础流捕捉宏观运动骨架，高阶残差流逐级补充精细局部动力学。

3. 多流并行掩码建模：全局双向时序推理与零延迟并行生成 自回归（AR）动作模型受因果单向注意力限制，难以感知全局时序上下文，且多流残差 token 若采用时序展平（Flattening）方式展开会导致序列长度剧增 $V+1$ 倍，引发高昂推理延迟与误差累积。AnyMo 提出基于 LLaMA 骨干网的双向掩码建模方案，并将多流残差 token 进行时空对齐的并行表征。在掩码机制上，一旦选定某个时序时间步，该步所有残差层级的 token 同时替换为统一掩码标记 $\langle\mathrm{MASK}\rangle$。对于带有掩码的离散序列 $\widetilde{\boldsymbol{m}}^v$，引入独立嵌入层映射并通过多流相加聚合为紧凑表征： $$\mathbf{Z}_{\mathrm{enc}} = \sum_{v=0}^V \mathrm{Embd}^v(\widetilde{\boldsymbol{m}}^v)$$ 该聚合向量与异构模态条件特征一同输入双向 Transformer 进行全局时序交叉注意力演化。在输出层，AnyMo 部署 $V+1$ 个并行的前馈预测头 $\{\mathrm{FFN}^v\}_{v=0}^V$，直接在每个时序步同时预测所有残差层级的真实 token，既避免了展平序列造成的二次方自注意力开销，又实现了多层级动力学特征的同步非自回归迭代重构。

4. 渐进式跨模态对齐课程：从弱对齐分布中涌现组合泛化能力 在网络视频提取的多模态数据中，音频对齐序列占比偏低（约 500 小时对齐音频 vs 5000 小时全文本），直接多模态混合训练极易引发模态竞争与表示退化。AnyMo 提出三阶段渐进式对齐训练范式： - 第一阶段（文本动作预训练）：冻结音频与轨迹模块，仅利用全集文本-动作对预训练掩码 Transformer 主干，学习鲁棒的 3D 动作结构先验与语义-动作潜空间对齐。 - 第二阶段（多模态空间对齐）：冻结文本编码器与 Transformer 主干参数，仅输入对齐音频与轨迹数据，训练对应的专用编码器与投影层，将其对齐至已建立的统一动作潜空间中。 - 第三阶段（联合多模态微调与增强）：端到端解冻全网络，采用非对称动态重采样（每个 Epoch 采样 10% 纯文本数据配比 100% 音频对齐数据）以平衡模态频次；同时以 0.1 的概率在文本样本中随机注入空间轨迹条件，在音频样本中注入文本描述，通过模态随机增强与 Dropout 促使模型习得任意模态子集向连续动作空间的平滑映射能力。

损失函数 / 训练策略¶

R-FSQ 分词器通过连续空间关节均方误差损失端到端监督： $$\mathcal{L}_1 = \|\mathbf{X} - D(\widehat{\mathbf{Z}})\|_2^2$$ 掩码 Transformer 主干在多模态条件引导下，通过各残差流独立的交叉熵损失进行联合优化： $$\mathcal{L}_2 = -\sum_{v=0}^V \log p(\boldsymbol{m}^v \mid \mathbf{Z}_{\mathrm{text}}, \mathbf{Z}_{\mathrm{audio}}, \mathbf{Z}_{\mathrm{traj}}, \widetilde{\boldsymbol{m}}^v)$$ 训练采用 AdamW 优化器，基础学习率设为 $2\times 10^{-4}$，在前 500 步线性预热后按余弦退火衰减至 $1\times 10^{-5}$。分词器在 16 张 NVIDIA H20 GPU 上以 batch size 256 训练 200 轮；Transformer 主干在 48 张 H20 GPU 上并行训练 210 轮。

实验关键数据¶

主实验¶

在 3D 动作分词器几何重构精度上，AnyMo 显著优于近期大规模单目动捕与自回归模型；在文本与多模态控制任务中，模型性能随参数量呈现一致扩展（Scaling）趋势。

表 1：跨基准 3D 动作重构几何误差（MPJPE，单位：mm）对比

方法	训练数据集	HumanML3D 测试集 ↓	MotionMillion 测试集 ↓	OmniHuMo 测试集 ↓
ScaMo (CVPR 2025)	MotionUnion	63.3	88.9	-
GoToZero (ICCV 2025)	MotionMillion	41.9	45.5	36.1
Ours (R-FSQ)	OmniHuMo	27.9	21.5	13.2

表 2：OmniHuMo-Text 测试集上不同模型规模的文本驱动生成表现

模型规模	FID ↓	R@1 (Top-1 检索) ↑	R@2 ↑	R@3 ↑	MMDist (多模态距离) ↓	Div (多样性) →
真实数据 (Real)	-	0.74	0.88	0.93	25.75	46.59
AnyMo-111M	262.10	0.63	0.76	0.82	29.16	43.57
AnyMo-343M	216.26	0.67	0.80	0.86	28.23	44.98
AnyMo-775M	148.81	0.71	0.83	0.88	27.24	45.36
AnyMo-1B	102.21	0.74	0.86	0.90	26.28	45.74
AnyMo-3B	55.59	0.75	0.87	0.91	25.87	46.71

消融实验¶

在动作 Token 建模策略及分词器关键超参上，论文在 HumanML3D 基准上进行了系统消融。

表 3：不同动作 Token 建模与预测策略消融对比

方案代号	策略架构	FID ↓	R@1 ↑	MMDist ↓
A	AR-Flatten（自回归展平预测）	26.71	0.62	17.17
B	Mask-Flatten（掩码展平序列预测）	20.89	0.66	16.54
C (Ours)	Mask-Parallel（掩码并行多流预测）	19.46	0.66	16.78

表 4：多模态输入组合对文本与音频生成任务的增益表现（AnyMo-3B）

任务类型	条件组合 (文本 / 音频 / 轨迹)	FID ↓	匹配度 (R@1 / BAS) ↑	轨迹平均误差 (cm) ↓
文本驱动动作	仅文本	55.59	R@1: 0.75	50.50
文本驱动动作	文本 + 轨迹	41.43	R@1: 0.77	27.16
语音驱动手势	仅语音	91.12	BAS: 0.214	-
语音驱动手势	语音 + 文本 + 轨迹	76.55	BAS: 0.217	-
音乐驱动舞蹈	仅音乐	46.17	BAS: 0.213	-
音乐驱动舞蹈	音乐 + 轨迹	42.99	BAS: 0.214	-

关键发现¶

双向上下文优于自回归：比较方案 A 与方案 B，掩码双向建模使 FID 从 26.71 大幅降至 20.89，R@1 由 0.62 升至 0.66，证实双向全局因果感知对长时序动作连贯性具有本质优势。
并行预测实现性能与效率双赢：方案 C（多流并行）不仅在 FID 上进一步优化至 19.46，而且相较于展平机制（Flatten）规避了序列长度倍增问题，极大节约了注意力计算开销。
残差深度与码本敏感性折中：残差层数从 1 增至 4 时，重建与生成质量同步提升（FID 从 33.01 降至 19.46）；当层数进一步增加至 6~8 时，虽然几何重构误差持续降低，但生成端预测难度剧增导致生成 FID 恶化（8 层时升至 23.64），因此 4 层为最佳折中。
模型缩放规律（Scaling Laws）的模态差异：文本驱动任务呈现出单调的参数 Scaling 收益（从 111M 的 262.10 平滑优化至 3B 的 55.59）；而音频驱动任务在 775M 参数量时 FID 达到最优（34.41），进一步扩大容量出现轻度过拟合，这主要受制于当前音频对齐数据相对有限的规模。
空间先验对动力学保真度的强约束：引入轨迹条件不仅将轨迹跟踪平均误差从 50.50cm 压减至 27.16cm，而且为生成模型提供了强空间几何锚点，反哺了文本驱动与音频驱动动作的自然度（FID 大幅下降）。

亮点与洞察¶

多流残差并行掩码架构：将视觉分词中的残差量化机制与双向非自回归 Transformer 深度解耦融合，用独立嵌入相加与并行预测头替代耗时庞大的序列展平，实现了保真度与计算复杂度的完美平衡。
极度严苛的运动学滤波流水线：直击单目动捕数据常伴随的关节跳变与相机估算漂移问题，提出显式结合 Jerk 加加速度指标、根节点四元数突变阈值与最大位移约束的清洗规则，为海量伪标签数据清洗提供了可复用的行业标准范式。
异构模态解耦课程对齐策略：在面对高频长时多模态配对数据分布严重失衡（文本多、音频少）时，通过预训练动作先验、中间对齐异构特征、最后联合增强微调的三步走战略，成功规避了模态支配与过拟合难题。

局限与展望¶

手指细粒度手势缺失：作者在附录指出，互联网野生视频中手部区域频繁遭受运动模糊与严重自遮挡，导致手势 3D 重建可用率极低，目前 OmniHuMo 尚未包含手部精细自由度。
音频对齐数据规模尚受约束：虽然全量动作超 5000 小时，但具备精准语音/音乐对齐的切片仅约 500 小时，导致音频大模型在 3B 规模下表现出过拟合迹象，未来亟需定向扩充高质量音画对齐资源。
测试期优化依赖：在强几何轨迹约束场景下，模型仍需借助推理期优化（Test-Time Optimization）校准微小漂移，未来可探索端到端硬几何约束内化机制。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性探索任意模态组合输入条件下的并行残差掩码动作生成架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5000 小时超大规模数据集验证、111M 至 3B 参数完整 Scaling 实验及跨模态组合消融。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑清晰，数学表达严谨，附录工程细节完备。
价值: ⭐⭐⭐⭐⭐ 为通用人体动作生成领域确立了大规模多模态基准与可扩展的建模新范式。