CMDer: Controllable Mode Decomposition-Based Single Motion Synthesis with Diffusion¶

会议: ECCV 2026
论文: ECCV 2026 Official
领域: 图像生成
关键词: 单样本动作合成、多元变分模态分解、扩散模型、频域可控生成、群体动画

一句话总结¶

CMDer 将单样本人体动作通过多元变分模态分解（MVMD）解构为跨关节协同的多尺度本征频率模态，并结合轻量化模态增强块（MEB）在模态隐空间执行扩散去噪，实现了在保留全局韵律的同时对动作细粒度细节进行频域可控编辑与多样化合成。

研究背景与动机¶

从单一动作示例中生成多样且高度可控的人体或动物动作，在游戏动画、虚拟角色驱动和特种生物绑定等小样本场景中至关重要。然而，现有单样本动作生成方法大多直接在时域（如时间切片、关键帧插值）或空域（如关节点遮罩、局部关节动力学）施加约束。这种局限导致模型难以在时空连续性与动作多样性之间取得平衡：强时空约束容易造成动作死锁或退化为片段拼接（如运动匹配），而过度放宽约束又极易引起骨骼拓扑畸变或不自然的突变跳跃。

根本原因在于，人体动作信号天然具有跨频率尺度的分层结构。低频分量承载了动作的基底节律与全局轮廓（如步幅大小、身体摆动周期等风格身份），而高频分量则编码了个体化的局部微动作与瞬时细节扰动。传统的傅里叶变换假定信号具备平稳性，无法很好地表达包含丰富非周期动作与动作过渡的非平稳序列；小波变换依赖固定的基函数，难以自适应维持多关节间严密的协同相位；而经典经验模态分解（EMD）及其多元扩展则饱受模态混叠和噪声敏感困扰。

为了克服这些局限，本文打破传统的时空维度控制思维，开辟了自适应频域维度的动作控制路径。通过引入多元变分模态分解自适应提取跨关节点协同的频域本征模态，模型能够精确将全局节律与局部变化解耦。核心 idea：利用多元变分模态分解（MVMD）将单样本多变量动作自适应解耦为多个本征频率模态，构建轻量 U-Net 与各向异性模态增强块（MEB）在解耦的模态隐空间直接执行扩散去噪，从而赋予用户沿频率轴选择性保留基底节律并自由编辑微观细节的能力。

方法详解¶

整体框架¶

CMDer 的完整流水线包含三个核心处理阶段：动作模态分解模块（MMDecomp）、动作模态扩散网络（MMDiffusion）以及动作模态合成模块（MMComp）。首先，MMDecomp 接收输入动作的旋转矩阵与根节点位置轨迹，通过 MVMD 自适应分解为 $K$ 个具有共享中心频率的多元本征模态函数（IMFs），自然将动作解构为由低至高的频带层级；随后，MMDiffusion 通过独立卷积编码块分别对位置和旋转模态建立特征嵌入，送入集成了各向异性模态增强块（MEB）的单层轻量 U-Net 扩散网络中，结合用户给定的时空/模态条件掩码执行逆向去噪；最后，MMComp 沿模态轴将去噪生成的各层模态直接线性求和，重构恢复为连续自然的完整三维动作序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单样本动作输入<br/>6D旋转 R 与位置 P 轨迹"] --> B["1. 多元变分模态分解 MMDecomp<br/>自适应提取 K 个跨关节协同 IMF 模态"]
    B --> C["模态特征嵌入编码<br/>位置与旋转双分支自适应映射"]
    C --> D["2. 模态增强扩散去噪 MMDiffusion<br/>轻量 U-Net 结合各向异性 MEB 块建模"]
    D --> E["模态特征解码块<br/>GroupNorm 与 1D 卷积重构各模态分量"]
    E --> F["3. 模态累加合成 MMComp<br/>求和复原全频带连续三维动作序列"]

关键设计¶

1. 多元变分模态分解：跨关节协同的自适应频域解耦 针对传统固定基频域变换无法建模多关节协同与非平稳动作过渡的缺陷，本文在动作生成领域首次引入多元变分模态分解（MVMD）。将动作序列中每个关节的旋转与位置通道视为多变量非平稳信号，MVMD 通过受约束的变分优化框架，寻找一组多元本征模态函数（IMFs） $\{u_{k,c}(t)\}$，使得各模态在其估计的跨通道共享中心频率 $\omega_k$ 周围的解析信号带宽总和最小，同时所有模态之和无损重构原始输入信号： $$ \min_{{u_{k,c}}, {\omega_k}} \sum_{k=1}^K \sum_{c=1}^C \left| \partial_t \left[ u^+{k,c}(t) e^{-j\omega_k t} \right] \right|2^2 \quad \text{s.t.} \quad \sum^K u(t) = x_c(t) $$ 其中 $u^+_{k,c}(t)$ 为对应模态分量的解析信号。通过 ADMM 算法在频域交替迭代求解，各关节通道共享相同的中心频率演化，确保了解耦出的低阶模态严格捕获全局身体协同律动，而高阶模态精准刻画瞬时速度变化与细微末梢震颤。

2. 模态增强块：抑制过拟合的各向异性局部动力学建模 在仅有单条样本动作训练的极端低数据量下，传统全局自注意力机制不仅计算开销大，而且容易使注意力权重发生退化，丢失微观时空运动细节并引发严重过拟合。为此，本文设计了纯卷积机制的模态增强块（MEB），针对旋转特征 $Z_R \in \mathbb{R}^{K \times C_R \times T}$ 和位置特征 $Z_P \in \mathbb{R}^{K \times C_P \times T}$ 分立运行。MEB 采用正交分解的小卷积核各向异性条带卷积（Depth-wise Strip Convolutions，即 $(1, t)$ 与 $(j, 1)$ 卷积核），分别在关节轴与时间轴上独立建模局部运动学依赖，并通过 Sigmoid 门控单元自适应加权突出关键时空针脚： $$ Z'i = \mathrm{Sigmoid} \circ \mathrm{BN} \circ \mathrm{Conv}4 \circ \mathrm{Conv}} \circ \mathrm{Conv_1(Z_i) $$ 该设计将感受野严格限制在局部合理范围内，使得扩散模型既能学透模态内部的时序动力学，又彻底阻断了全局记忆导致的死记硬背。} \circ \sigma \circ \mathrm{BN} \circ \mathrm{Conv

3. 频域扩散与可控编辑：多维掩码引导的模态级生成 传统的扩散模型以原始时域信号为生成目标，而 CMDer 将扩散过程迁移至解耦后的模态空间。网络直接预测无噪真实信号 $\hat{x}_0 = G(x_\tau, \tau, c)$，并通过包含旋转均方误差 $\mathcal{L}_R$、位置均方误差 $\mathcal{L}_P$ 及变分下界正则化项 $\mathcal{L}_{\mathrm{VB}}$ 的复合目标进行优化： $$ \mathcal{L} = \lambda_R \mathcal{L}_R + \lambda_P \mathcal{L}P + \mathcal{L} $$ 在推理与下游编辑时，传统时空掩码 }$m \in \mathbb{R}^{(J \times (Q+3)) \times T}$ 被拓展为三维模态掩码 $m' \in \mathbb{R}^{K \times (J \times (Q+3)) \times T}$。用户不仅可以指定时间切片或关节点，还可以沿 $K$ 个频率模态层进行独立遮蔽与赋值：例如在群体动画中固定低频模态并对高频模态独立采样高斯噪声去噪，即可生成基底步态高度同步但肢体细节各不相同的逼真群体。

实验关键数据¶

主实验¶

在包含 20 个不同风格与时长（60–900 帧）的人体动作序列的 Mixamo 标准基准上，评估指标涵盖覆盖率（Cov.）、全局多样性（GloDiv.）、局部多样性（LocDiv.）、间间多样性（IntDiv.）、组内多样性差异（IntDiff.）、平滑度（Smo.）与综合调和均值（HM.）。

方法	覆盖率 Cov. ↑	全局多样性 GloDiv. ↑	局部多样性 LocDiv. ↑	间间多样性 IntDiv. ↑	组内差异 IntDiff. ↓	平滑度 Smo. ↑	调和均值 HM. ↑
GANimator [16]	96.39	1.12	1.07	0.08	0.26	-7.20	0.72
GenMM [18]	99.26	0.34	0.25	0.12	0.22	-7.32	0.38
SinMDM [21]	97.41	1.30	0.91	0.13	0.19	-7.35	0.76
CMDer (本文)	97.94	1.32	1.10	0.12	0.18	-7.15	0.78

消融实验¶

1. 模态增强块（MEB）与频域分解方式消融

配置	覆盖率 Cov. ↑	全局多样性 GloDiv. ↑	局部多样性 LocDiv. ↑	平滑度 Smo. ↑	调和均值 HM. ↑	说明
MVMD + w/ MEB (Full)	97.94	1.32	1.10	-7.15	0.78	完整模型，兼顾分布覆盖与高多样性
MVMD + w/o MEB	56.60	1.77	1.68	-13.54	0.00	去除 MEB 后覆盖率暴跌，严重失控畸变
FFT + w/ MEB	92.61	1.48	1.37	-10.93	0.46	傅里叶变换难以建模非平稳动作，平滑度与覆盖率显著劣化

2. 模态数量 K 的敏感性与重构质量分析

模态数 K	重构率 Recon.(%) ↑	频率分离度 Freq. Sep. (Hz) ↑	模态对齐稳定性 Stability ↑	耗时 Time (s) ↓	增益比 Gain Ratio ↑
4	96.75	0.657	0.881	5.28	0.660
8 (默认选择)	98.70	0.533	0.895	11.43	0.185
12	99.24	0.499	0.895	16.98	0.043
20	99.53	0.376	0.880	27.47	0.016

关键发现¶

MEB 是抑制单样本过拟合的核心基石：去掉 MEB 模块后，模型在 Mixamo 上的覆盖率从 97.94 暴跌至 56.60，平滑度从 -7.15 恶化至 -13.54，虚高的多样性得分（GloDiv 1.77、LocDiv 1.68）反映出生成的骨骼姿态严重失真失控，调和均值跌至 0.00。
自适应分解优于固定基变换：使用固定频率划分的 FFT 替代 MVMD 后，由于忽略了关节通道间的非平稳相互依赖，平滑度指标从 -7.15 恶化至 -10.93，调和均值从 0.78 降至 0.46。
分解层数 $K=8$ 达到性能拐点：随着模态层数增加，重构精度提升趋缓，当 $K=20$ 时频率分离度显著下降至 0.376 Hz，表明模态发生混叠和过度切分，因此 $K=8$ 成为兼顾物理可解释性与精度的最优选择。

亮点与洞察¶

将经典信号处理自适应分解引入动作扩散模型：成功将 MVMD 的跨通道中心频率对齐机制引入骨骼运动生成，将不可控的时空轨迹转化为分层可解释的频带信号，构思极为巧妙。
开辟频域可控编辑维度：跳出传统的“何时、何处”时空控制范式，实现了“保留大步态韵律、随机扰动微小肢体动作”的频域控制，在群体动画和音乐驱动运动中展现出优异的实用价值。
小卷积与条带卷积替代注意力机制：在单样本学习领域指明了降低模型容量与收缩感受野对防止骨骼动作过拟合的重要性，这种架构设计对小样本时序生成任务具有直接的迁移参考价值。

局限与展望¶

足底滑动伪影（Foot-skating Artifacts）依然存在：与大多数基于扩散的动作生成模型类似，在没有显式引入脚部触地运动学反向动力学（IK）接触约束时，生成的步伐偶有地面滑动现象。
模态数量先验假设固定：超参数 $K$ 对所有动作类型统一预设为 8，但对周期性极强与完全非周期性的剧烈动作（如霹雳舞与跳水），理想的模态层数可能不同，未来可探索自适应模态数估计。
跨骨骼形态的频域泛化研究有待深化：尽管在人类与动物骨骼上均进行了验证，但不同关节拓扑与自由度下的频带能量分布规律仍需进一步深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将多元变分模态分解与扩散模型结合，开创了频域可控动作生成新路径。
实验充分度: ⭐⭐⭐⭐☆ 在 Mixamo 和 Truebone 上进行了细致的指标对比、消融验证和用户主观调研。
写作质量: ⭐⭐⭐⭐⭐ 论文动机清晰，逻辑严密，图表与数学推导自洽。
价值: ⭐⭐⭐⭐☆ 对游戏开发、虚拟人驱动和小样本动作编辑等工业落地场景提供了极具实用价值的工具框架。