LaxMotion: Rethinking Supervision Granularity for 3D Human Motion Generation¶

会议: ECCV 2026
论文: ECCV 原文
PDF: ECCV 2026 PDF
代码: 暂未开源
领域: 人体理解
关键词: 3D人体动作生成 / 宽松监督 / 2D运动学线索 / 视角不变性 / 结构一致性

一句话总结¶

LaxMotion 针对文本驱动 3D 动作生成中刚性 3D 坐标回归导致的过拟合与多样性受限痛点，提出一种解耦全局轨迹与局部肢体矢量的宽松监督框架，仅借助单视角 2D 运动学线索与重投影、跨视角先验正则化，即可在无需密集 3D 姿态坐标损失的前提下生成多样且高逼真度的 3D 人体动作。

研究背景与动机¶

近年来，基于扩散模型与离散量化自回归模型的文本驱动 3D 人体动作生成取得了显著进展。主流方法如 MDM、T2M-GPT、MoMask 以及 MotionDiffuse，通常在标准基准数据集（如 HumanML3D、KIT-ML）上追求极低的坐标重建误差与优异的 FID 分数。然而，数值上的高拟合度并未带来真正鲁棒的动作理解与泛化能力。许多现有模型在面对未见动作指令、全新主体体态或组合语义变化时，极易陷入生成退化；更为关键的是，离散 token 掩码生成模型（如 MoMask）针对相同文本多次采样时，往往反复输出高度同质化的骨骼运动模式，缺乏生成式模型应有的多样性。

这种泛化与多样性瓶颈的核心根源，并不单纯在于骨干网络容量不足，更深层次的原因在于传统训练范式中设定的监督粒度过高。从文本到 3D 动作的生成本质上是一个典型的一对多映射任务：对于同一句文本描述，符合物理常识与动作语义的骨骼轨迹往往存在多种运动风格、执行速率与空间朝向。然而，现有方法普遍采用刚性的 3D 空间坐标全监督（在 $\mathbb{R}^{3J \times T}$ 空间进行点对点回归），强行将这一对多的生成空间退化为固定坐标的确定性拟合目标。模型被过度惩罚那些语义完全合理但在绝对坐标上略有偏移的姿态，导致网络更倾向于记忆数据集特定的低级几何细节，而非理解内在的人体拓扑与运动语义不变性。

针对这一核心矛盾，本文打破了“精准 3D 坐标监督不可或缺”的思维定势。单视角 2D 投影运动天然保留了肢体运动的关节时序编排、相对动态和语义轮廓，同时排除了对绝对深度和相机坐标系的过度依赖；更重要的是，一段 2D 投影对应着物理空间中一组合理的 3D 动作可能解，从而将刚性点拟合转化为一种集合级别的解空间约束。本文的核心 idea 是：将 3D 人体运动解耦为全局轨迹与相对肢体骨骼矢量，在训练阶段仅提供单视角 2D 运动学与轨迹等局部可观测线索，通过弱透视重投影、随机旋转下的 2D 分布先验重构以及朝向与特征几何正则化，诱导模型将 3D 运动学习为对多重视角观测的自洽结构解释，实现无需密集 3D 姿态标签的高质量多样化动作合成。

方法详解¶

整体框架¶

LaxMotion 的核心理念是从“坐标点匹配”转向“结构一致性解释”。整个流程分为三个紧密协作的阶段：首先是对 3D 骨骼进行结构解耦重构，将绝对关节坐标转化为与视角投影视角相适应的相对肢体矢量与独立全局轨迹；其次构建宽松可观测性训练范式，在训练阶段仅将降维后的单视角 2D 相对运动学及全局轨迹作为输入或监督锚点，迫使网络学习从不完整观测到完整 3D 动作的几何反推能力；最后引入由视角重投影对齐、跨视角 2D 先验真实感重构、骨盆-双脚朝向耦合及隐空间特征一致性构成的松弛正则化集合，端到端约束 3D 动作在物理世界与多虚拟视角下的空间一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据：文本提示 + 局部观测Mobs<br/>全局轨迹τ + 单视角2D相对肢体v2D"] --> B["肢体矢量与轨迹结构解耦<br/>将绝对坐标拆为相对骨骼拓扑与根轨迹"]
    B --> C["宽松可观测性训练范式<br/>不输入完全3D骨架，仅由部分线索反推"]
    C --> D["3D动作生成骨干网络<br/>预测完整3D全局轨迹与3D相对肢体矢量"]
    D --> E["弱透视投影算子Φ与虚拟3D旋转R"]
    E --> F["视角重投影与观测对齐Lobs"]
    E --> G["跨视角先验真实感重构Lrec<br/>预训练冻结2D VQ-VAE分布约束"]
    E --> H["朝向耦合与特征一致性Lori+Lfeat<br/>髋部法向与脚掌朝向非负投影 + 潜码对齐"]
    F --> I["松弛正则化统一联合优化Lrelax"]
    G --> I
    H --> I
    I --> J["输出：多样化且物理自洽的完整3D动作"]

关键设计¶

1. 肢体矢量与轨迹结构解耦：摆脱绝对坐标过拟合 传统动作表示多采用以骨盆为原点的各关节 3D 绝对坐标，导致任意关节点位置的扰动都会引起整条肢体的坐标偏移，且对人体骨架绝对比例极其敏感。针对该痛点，LaxMotion 引入基于骨骼拓扑树的相对肢体矢量表示。对于包含 $K$ 根骨骼的骨架拓扑，定义每一根局部肢体矢量为父关节与子关节在 3D 空间中的相对位移： $$v^{3D} = \{j^{\text{parent}(n)} - j^{\text{child}(n)}\}_{n=1}^K$$ 一个时长为 $T$ 帧的完整 3D 动作序列 $m^{3D}_{1:T}$ 被显式因式分解为根骨骼全局运动轨迹 $\tau_{1:T}$ 与局部相对肢体动作序列 $v^{3D}_{1:T}$：$m^{3D}_{1:T} = \{\tau_{1:T}, v^{3D}_{1:T}\}$。这种表达将平移运动学与骨架内部拓扑完全隔离，并天然具有线性透视/正交投影不变性。对称地，在低维观测端构建混合运动学表征 $m^{\text{obs}}_{1:T} = \{\tau_{1:T}, v^{2D}_{1:T}\}$，仅保留 3D 轨迹与投影到单视角的 2D 肢体矢量。网络因此摆脱了对具体 3D 点位网格的死记硬背，将优化重点转移到骨架拓扑的相对形变趋势上。

2. 宽松可观测性训练范式：从不完全线索推理自洽 3D 解释 在训练过程中，常规生成模型（如扩散去噪或自回归离散编码）通常需要读取目标 3D 姿态的全维度真实值作为监督或条件输入。LaxMotion 改变了训练阶段的信息可观测度：生成器 $\mathcal{G}_\theta$ 在训练时仅能接触由全局轨迹和 2D 肢体构成的受限观测信号 $m^{\text{obs}}$，却被强制要求预测完整的 3D 骨架序列 $\hat{m}^{3D} = \{\hat{\tau}, \hat{v}^{3D}\}$。在测试推理阶段，该观测信号直接被丢弃，生成器仅依据文本语义独立采样。这种在训练期主动降低可观测性的机制，阻断了网络记忆 3D 坐标的捷径，迫使网络去理解 2D 图像动力学背后对应的潜在 3D 物理因果。针对不同的生成架构，优化目标统一表述为松弛正则化项与先验项的组合：$\mathcal{L} = \mathcal{L}_{\text{relax}} + \alpha \cdot \mathcal{L}_{\text{prior}}$。当采用扩散架构（如 MDM）时，高斯扩散过程的前向加噪已天然施加了分布先验，令 $\alpha = 0$；而采用离散量化架构（如 MoMask）时，$\mathcal{L}_{\text{prior}}$ 实例化为码本 commitment 损失（$\alpha = 2$），以维持离散隐空间的结构稳定性。

3. 跨视角先验真实感重构：借助虚拟旋转打破单视角深度歧义 仅靠单视角 2D 投影对齐损失 $\mathcal{L}_{\text{obs}} = \|\hat{\tau} - \tau\|_2^2 + \|\Phi(\hat{v}^{3D}) - v^{2D}\|_2^2$（其中 $\Phi$ 为弱透视投影算子），模型会面临经典的单目 2D 到 3D 深度模糊问题——网络可能生成一种在当前视角下看起来正确但在垂直方向严重畸变扭曲的“假 3D”折纸骨架。不同于传统弱监督方法依赖昂贵的多机位同步多视角标注，LaxMotion 提出了一种单机位下的跨视角虚拟旋转不变性先验。该设计的物理假设是：一个真实合理的 3D 人体动作，在经过三维空间任意随机旋转 $R \in SO(3)$ 后再次投影到 2D 平面，所得到的 2D 运动序列在分布上依然必须是“自然的人体动作”。为了量化并监督这种自然度，作者预先训练并冻结了一个轻量级的 2D 相对运动 VQ-VAE 模块 $\mathcal{V}(\cdot)$，其在海量 2D 人体运动序列上学习到了完备的 2D 动力学流形。网络将预测的 3D 肢体矢量随机旋转并重新投影后，送入该冻结的 2D 自动编码器进行重构误差度量： $$\mathcal{L}_{\text{rec}} = \|\mathcal{V}(\Phi(R \hat{v}^{3D})) - \Phi(R \hat{v}^{3D})\|_2^2$$ 若生成的 3D 结构在深度维度出现非自然的折叠或骨折，其在某些侧向旋转投影下的 2D 姿态必然偏离正常人体运动分布，从而被 $\mathcal{L}_{\text{rec}}$ 施以高额惩罚。这使得单目视频即可充当训练源，无需任何外部多视角设备支持。

4. 朝向耦合与特征一致性约束：注入刚体几何与深层语义先验 为进一步杜绝人体下肢可能出现的反向翻折或脚踝反关节现象，LaxMotion 构建了基于解剖学常识的朝向正则化。人体躯干朝向矢量 $\hat{v}_{\text{ori}}$ 可通过左右髋关节矢量的外积单位化获得： $$\hat{v}_{\text{ori}} = \frac{\hat{v}_{\text{rhip}} \times \hat{v}_{\text{lhip}}}{\|\hat{v}_{\text{rhip}} \times \hat{v}_{\text{lhip}}\|_2}$$ 在绝大多数自然站立和行走步态中，脚掌朝向矢量 $\hat{v}_{\text{foot}}$ 在身体法向上的投影应与躯干保持同向，禁止出现足部向身体后方翻折的解剖学错误。朝向损失将其约束为非负半空间截断惩罚： $$\mathcal{L}_{\text{ori}} = \max(0, -\hat{v}_{\text{foot}} \cdot \hat{v}_{\text{ori}})$$ 与此同时，为了防止投影运动学在编码特征层发生语义漂移，引入了特征一致性正则化 $\mathcal{L}_{\text{feat}} = \|\mathcal{E}_f(\hat{m}^{\text{obs}}) - \mathcal{E}_f(m^{\text{obs}})\|_2^2$。通过深层特征编码器 $\mathcal{E}_f$，强制预测结果投影回 2D 后的潜空间嵌入与真实 2D 观测潜码精准对其，平滑潜空间的特征流形。

损失函数 / 训练策略¶

LaxMotion 的端到端训练完全由松弛正则化驱动，最终的多任务松弛损失定义为： $$\mathcal{L}_{\text{relax}} = \mathcal{L}_{\text{obs}} + \lambda_1 \mathcal{L}_{\text{rec}} + \lambda_2 \mathcal{L}_{\text{ori}} + \lambda_3 \mathcal{L}_{\text{feat}}$$ 在所有基准实验中，超参数均取平衡默认值 $\lambda_1 = \lambda_2 = \lambda_3 = 1.0$。所有模型均在单张 NVIDIA RTX 3090 GPU 上完成训练。对于 MoMask 架构的 token-based 实验，采用离散掩码迭代解码与 commitment 权重 $\alpha=2$；对于 MDM 架构的扩散实验，采用相同的扩散调度参数，无需任何 3D 坐标损失。在扩展实验中，作者还验证了以 LaxMotion 提取的骨干特征去辅助 3D 监督模型微调（3D Finetune）的即插即用特性。

实验关键数据¶

主实验¶

在代表性的 HumanML3D 与 KIT-ML 动作-文本测试集上，LaxMotion 与当前主流的 3D 全监督方法（T2M、MDM、MLD、MotionDiffuse、ReMoDiffuse、T2M-GPT、MotionLCM、MoMask、Fg-T2M++）进行了全面对比。除标准评价指标外，论文引入了综合权衡真实感与多样性的质效比指标 QM Score（$\text{QM} = \text{MModality} / \sqrt{\text{FID}}$）。

监督类型	方法	R-Precision (Top-1) ↑	R-Precision (Top-3) ↑	FID ↓	Diversity →	MultiModality ↑	QM Score ↑
真实数据	Real Data	0.511 ± .003	0.797 ± .002	0.002 ± .000	9.503 ± .065	—	—
3D 监督	T2M	0.457 ± .002	0.740 ± .003	1.067 ± .002	9.188 ± .002	2.090 ± .083	2.023
3D 监督	MDM	0.320 ± .005	0.611 ± .007	0.544 ± .044	9.559 ± .086	2.799 ± .072	3.795
3D 监督	MotionDiffuse	0.491 ± .001	0.782 ± .001	0.630 ± .001	9.410 ± .049	1.553 ± .042	1.957
3D 监督	T2M-GPT	0.491 ± .003	0.775 ± .002	0.116 ± .004	9.761 ± .081	1.856 ± .011	5.449
3D 监督	MoMask	0.521 ± .002	0.807 ± .002	0.045 ± .002	—	1.241 ± .040	5.850
3D 监督	Fg-T2M++	0.513 ± .002	0.801 ± .003	0.089 ± .004	9.223 ± .114	2.625 ± .084	8.799
宽松监督	LaxMotion (MDM-Based)	0.431 ± .004	0.749 ± .006	0.475 ± .041	9.523 ± .078	2.844 ± .083	4.127
宽松监督	LaxMotion (MoMask-Based)	0.487 ± .002	0.780 ± .002	0.054 ± .003	9.486 ± .048	2.046 ± .068	8.805
宽松+3D微调	LaxMotion (3D Finetune)	0.526 ± .003	0.812 ± .004	0.034 ± .002	9.519 ± .079	2.529 ± .081	13.715

消融实验¶

为验证松弛正则化中各模块的必要性，论文在 HumanML3D 测试集上对 $\mathcal{L}_{\text{rec}}$、$\mathcal{L}_{\text{ori}}$ 与 $\mathcal{L}_{\text{feat}}$ 分别进行了逐一剥离消融：

配置	R-Precision (Top-1) ↑	R-Precision (Top-3) ↑	FID ↓	MMDist ↓	Diversity →	MultiModality ↑	QM Score ↑	说明
完整模型 (Ours)	0.487	0.780	0.054	3.155	9.486	2.046	8.805	完整松弛正则化
w/o $\mathcal{L}_{\text{rec}}$ (去跨视角先验)	0.368	0.678	2.588	3.912	8.449	2.127	1.322	深度歧义爆发，FID剧烈恶化 (+2.534)
w/o $\mathcal{L}_{\text{ori}}$ (去朝向约束)	0.465	0.756	0.124	3.282	9.299	2.225	6.319	肢体反折增加，FID恶化逾一倍
w/o $\mathcal{L}_{\text{feat}}$ (去特征一致性)	0.501	0.780	0.088	3.125	9.450	2.086	7.032	潜空间分布稳定性下降

同时在骨架表达表征与 2D 先验结构上进行了针对性验证： 1. 表征对比：若将肢体矢量换成传统关节绝对坐标（Joint Coordinates），重建 MPJPE 由 56.4 mm 飙升至 106.9 mm，FID 由 0.054 剧增至 3.902，Top-1 R-Precision 从 0.487 跌至 0.390。 2. 先验网络对比：跨视角分布先验采用 VQ-VAE 时 QM Score 为 8.805；若换用连续潜变量 VAE 则跌至 6.233（FID 0.121）；换用普通自编码器 AE 则进一步跌至 4.016（FID 0.258），证明离散码本在约束动作分布边界上的核心价值。

关键发现¶

跨视角先验是 3D 结构生成的生命线：去掉 $\mathcal{L}_{\text{rec}}$ 导致 FID 从 0.054 骤降至 2.588，QM Score 从 8.805 暴跌至 1.322。这证实了仅靠 2D 观测与轨迹无法消除三维翻转与深度折叠歧义，虚拟三维旋转配合冻结的 2D 动作码本重构是实现单目无监督 3D 提升的核心枢纽。
破解“多样性 vs 真实感”零和博弈：全监督 3D 基线（如 MoMask）往往因为坐标点匹配陷入单一高频模态，多样性 MultiModality 仅 1.241；LaxMotion 通过放宽监督粒度，MultiModality 大幅攀升至 2.046（相对提升 64.9%），同时保持极低 FID（0.054 对比 MoMask 的 0.045），斩获最高的 8.805 QM 得分。
与 3D 监督模型的绝佳互补性：将 LaxMotion 在宽松监督下学到的结构表征与 3D 全监督模型融合微调后，在 HumanML3D 上创下 0.034 的极致 FID 与 13.715 的超高 QM Score，刷新基准榜单 SOTA。

亮点与洞察¶

将“生成任务的一对多本质”与“弱监督的不确定性”巧妙统一：传统观念认为缺少 3D 标注是信息劣势，而本文洞察到 3D 密集点监督恰恰是扼杀多样性的枷锁；将 2D 投影的多解性转变为生成式解空间的探索自由度，立意极具启发性。
单视角下无视多机位硬件门槛的跨视角先验：以往弱监督 3D 人体动作重构极度依赖多相机环绕或同步校准视频，本文通过“对预测 3D 随机旋转 + 冻结 2D VQ-VAE 重构检验”这一极其轻量优雅的机制，直接将多视角一致性转化为 2D 动作空间分布密度检验。
通用性强的跨架构适配机制：无论是在掩码自回归（MoMask）还是扩散模型（MDM）骨干上，LaxMotion 的松弛监督范式均表现出优异的兼容性，甚至能够直接向野生视频（如水下游泳、失重悬浮等无法安装动捕标记点的场景）无缝迁移。

局限与展望¶

依赖预训练 2D 运动分布的覆盖质量：$\mathcal{L}_{\text{rec}}$ 依赖冻结的 2D VQ-VAE 作为“自然性判别器”，若该 2D 模型训练数据覆盖不全（例如极端体操翻滚、非平地特技），则无法有效为该类动作的虚拟视角投影提供正确引导。
骨架拓扑依赖人工预定义：肢体相对矢量的构建高度依赖先验骨架骨骼连接图（Parent-Child Joint Graph），对非标准人体拓扑（如多足动植物、外骨骼等）缺乏自动拓扑发现能力。
后续改进方向：可进一步探索结合开放世界视频大模型（如 Sora、Video-LLaVA 等）作为潜在通用 2D/3D 先验判别器，进一步摆脱对固定 2D VQ-VAE 码本的依赖，实现真正无限制的野生视频人体与物体交互生成。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了 3D 动作生成对密集坐标监督的路径依赖，从监督粒度视角重新诠释一对多生成的优化目标，思路非常新颖。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 HumanML3D 与 KIT-ML 双基准、扩散与自回归双范式、以及严谨的正则化与表征消融实验，并进行了真实野生视频扩展。
写作质量: ⭐⭐⭐⭐⭐ 论文动机链条紧凑，逻辑层层递进，方法形式化严谨，表达清晰顺畅。
价值: ⭐⭐⭐⭐⭐ 为低成本规模化利用海量互联网单目无标签视频训练 3D 生成模型铺平了道路，工程与学术价值兼备。