SFM: Taming State Space Models for Text-to-Motion via Spatial-Frequency Modeling¶

会议: ECCV 2026
论文: ECCV 原文
领域: 人体理解
关键词: 文本驱动动作生成、状态空间模型、频域建模、双向空间建模、扩散模型

一句话总结¶

针对传统 Transformer 复杂度高和 CNN 感受野有限的问题，本文提出 SFM 框架，在扩散 UNet 中解耦空间与频域状态空间建模，以线性复杂度实现高保真度与强文本对齐的动作生成。

研究背景与动机¶

文本驱动的人体动作生成（Text-to-Motion）旨在根据自然语言指令合成逼真且时空连续的人体三维运动序列。在虚拟现实、影视动画、具身机器人与自动驾驶仿真等下游场景中，实用的动作生成系统需要同时满足三大严苛指标：与文本提示词的细粒度语义对齐、长时序动作的一致性与物理合理性，以及高效率的推理生成能力。然而，现有基于扩散模型的生成架构往往在这三者之间面临妥协。主流方案主要分为两派：基于 Transformer 的去噪器虽具备建模全局长程依赖的能力，但其注意力计算复杂度随动作序列长度呈二次方爆炸；而基于 CNN 的去噪网络推理轻快且结构灵活，却天然受限于局部感受野，难以维持长时序的跨帧因果连贯性，并容易忽略文本中的精细时序指令。

这种计算开销与表征能力的固有矛盾，在处理复合动作或强方向性指令时尤为尖锐。例如当面对“向左侧翻”（A person flips to the left side）或多步连续动作“先蹲下然后向前翻滚”（A man crouched down and then rolled forward）时，模型既要在数十甚至上百帧的全局时域上维持人体运动的质心轨迹与物理接触，又必须精确控制局部肢体关节点高频变动的细节。近期以 Mamba 为代表的选择性状态空间模型（Selective State Space Models, SSM）凭借输入自适应参数与硬件感知并行扫描机制，实现了线性时间复杂度的超长序列建模，成功缩小了与 Transformer 的差距。然而，语言领域的原生 Mamba 并不能直接无缝迁移到动作扩散任务中，核心症结在于其缺乏对人体动作多尺度时空动态的频域解耦机制，且未能构建显式的跨模态时空语义融合通路。

本文的切入角度是打破单一空间时域建模的惯性思维，将动作动态沿正交的空间轴与频域轴进行结构化拆解：在频域中利用正交基自然分离全局大动作与高频肢体抖动，在空间轴上构建双向因果扫描以弥补传统 SSM 单向因果推断的盲区。核心 idea：构建空间-频域双轴状态空间扩散框架 SFM，在 UNet 主干中集成文本门控的多尺度频域状态空间模块（F-SSM）与双向空间状态空间模块（S-SSM），在保持线性计算复杂度的同时兼顾全局动作骨架与高频局部细节的文本对齐。

方法详解¶

整体框架¶

SFM 采用 UNet 结构的扩散网络架构，整体流程由三个主要阶段构成：浅层动作特征提取（Extraction）、多层级空间-频域状态空间组（Spatial-Frequency State Space Group, SFSSG）以及最终的真实动作预测头（Prediction Head）。在时间步 $t$，向真实动作序列 $\mathbf{M}_0 \in \mathbb{R}^{N \times D}$ 注入高斯噪声得到加噪动作 $\mathbf{M}_t \in \mathbb{R}^{N \times D}$（其中 $N$ 为帧数，$D$ 为每帧关节点参数维度）。特征提取层通过两组带 GroupNorm 与 Mish 激活函数的 1D 卷积，将动作序列投影至浅层隐空间 $\mathbf{F} \in \mathbb{R}^{N \times D'}$。随后，浅层特征送入由多个包含下采样（Scale-down 1D Conv）和上采样（Scale-up Transposed Conv）的 SFSSG 模块构成的 UNet 主干进行多尺度特征去噪，并在每层通过语义注意力机制（Semantic Attention）注入文本嵌入 $\mathbf{c}_{\text{text}}$。最终，预测头通过单层 1D 卷积直接回归预测无噪动作序列 $\mathbf{M}'_0$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["加噪动作序列 Mt 与文本条件 ctext"] --> B["浅层特征提取<br/>MishNormConv1D ×2"]
    B --> C["条件特征线性调制<br/>Scale-Shift FiLM"]
    C --> D["双轴状态空间解耦并行处理"]
    subgraph D["双轴状态空间解耦"]
        direction TB
        D1["频域状态空间建模 (F-SSM)<br/>DCT 频域变换与 SSM 特征建模"]
        D2["文本门控频域自适应调制 (Text-Gated)<br/>CrossAttn 动态掩码 M 频谱加权"]
        D3["空间状态空间建模 (S-SSM)<br/>前向与后向双向 SSM 并行扫描"]
        D1 --> D2
    end
    D --> E["双轴特征求和与残差归一化<br/>Flsf = Norm(Ff + Fs)"]
    E --> F["语义交叉注意力增强 (Semantic Attention)<br/>Text 为 K/V, 动作特征为 Q"]
    F --> G["预测头直接回归动作<br/>1D 卷积输出 M'0"]

关键设计¶

1. 空间-频域状态空间块：解耦双轴特征表征

在 UNet 的每个层级中，核心处理单元是空间-频域状态空间块（SFSSB）。给定第 $i$ 帧的姿态嵌入 $\mathbf{p}^{(i)}$，模型首先结合当前扩散时间步 $t$ 与文本条件 $\mathbf{c}_{\text{text}}$，经由多层感知机（MLP）回归出尺度与平移调制系数，实施特征级特征自适应线性调制（FiLM）。调制后的特征 $\mathbf{F}^l$ 被并行分流至两个互补通道：频域状态空间模块（F-SSM）用于在频域捕获与语义对齐的多尺度动作动态，空间状态空间模块（S-SSM）用于在时空域学习序列级双向空间上下文。两路输出经过逐元素相加与 LayerNorm 归一化，生成高度融合的时空-频域联合特征 $\mathbf{F}_{sf}^l$。这种设计使得模型无需承受昂贵的全局时空注意力二次方算力，就能在底层机制上兼顾频率分解与长程序列关联。

2. 频域状态空间建模与文本门控自适应调制：解耦多尺度动作谱

传统单一空间域建模很难自适应分离大范围躯干位移与局部肢体摆动。F-SSM 首先将输入动作特征投影为 $\mathbf{x}_m$ 和 $\mathbf{z}_m$ 两路嵌入，并施加 1D 卷积捕获局部连续性。对于 $\mathbf{x}'_m$，采用离散余弦变换（Discrete Cosine Transform, DCT）将其正交投影至实数频域，利用其实数紧凑能量特性规避复数 FFT 引入的虚部优化不稳定问题，随后在频域序列上执行离散 SSM 扫描生成频谱特征 $\mathbf{y}_f$。

为了避免硬阈值截断高低频所导致的语义信息损失，F-SSM 创新性地引入了文本门控机制。利用辅助动作分支 $\mathbf{z}'_m$ 作为 Query，文本嵌入 $\mathbf{c}_{\text{text}}$ 作为 Key 和 Value 计算交叉注意力，再通过轻量 MLP 与 Sigmoid 激活函数，自适应预测出频谱调制软掩码 $\mathbf{M} \in [0, 1]^{L \times 1}$： $$ \mathbf{M} = \text{Sigmoid}\left(\text{MLP}\left(\text{CrossAttn}\left(\mathbf{z}'m, \mathbf{c}\right)\right)\right) $$ 利用预测的掩码与频域特征逐元素相乘 }$\mathbf{y}'_f = \mathbf{M} \odot \mathbf{y}_f$，模型能够根据文本语义的快慢与剧烈程度动态强调特定频段。最后通过逆离散余弦变换（IDCT）将调制后的频谱还原回时域，与辅助特征拼接并通过线性层投影输出 $\mathbf{F}_f^l$。

3. 空间状态空间建模：前向与后向双向时空感知

标准因果 SSM（如 Mamba）沿单向因果时间步演进，在动作生成这一全序列可感知的非自回归扩散框架中，单向扫描会忽略后序帧对前序动作的物理反作用力约束与倒推上下文。S-SSM 将动作序列 $\mathbf{F}^{l-1}$ 分别投影为输入流 $\mathbf{x}_m$ 与门控流 $\mathbf{z}_m$。在输入流中，通过 1D 卷积获得 $\mathbf{x}'_o$，并线性映射出两组数据依赖的连续系统离散化参数 $(\mathbf{B}_o, \mathbf{C}_o, \boldsymbol{\Delta}_o)$，分别沿时间序列的正向与逆向执行并行选择性扫描，得到前向特征 $\mathbf{y}_{\text{forward}}$ 与后向特征 $\mathbf{y}_{\text{backward}}$： $$ \mathbf{z}'_m = \text{SiLU}(\text{Conv1D}(\mathbf{z}_m)), \quad \mathbf{F}s^l = \text{Linear}\left(\left[\mathbf{y}'}} \odot \mathbf{zm, \, \mathbf{y}'_m\right]\right) $$ 这种前向与后向的双向空间状态转移机制赋予了去噪网络全局因果感知视野，确保从动作起始阶段到收尾阶段的加速度变化与支撑点平稳过渡。}} \odot \mathbf{z

4. 组级语义交叉注意力：跨层级文本引导深化

在每个 SFSSG 的末尾，为防止深层特征在下采样与上采样迭代中产生语义遗忘，SFM 额外嵌入了一层语义交叉注意力层（Semantic Attention）。该层将空间-频域融合后的动作骨架表征 $\mathbf{F}_{sf}^l$ 作为 Query，文本条件 $\mathbf{c}_{\text{text}}$ 作为 Key 和 Value，并施加 Dropout 正则化增强泛化能力。这一模块作为局部频域文本门控的宏观补充，在多层尺度上拉紧了高层运动语义与自然语言提示词之间的表征距离。

损失函数 / 训练策略¶

模型在训练阶段使用无约束的均方误差损失（MSE Loss）直接约束预测的去噪动作与真实动作之间的空间几何距离： $$ \mathcal{L}{\text{simple}} = \mathbb{E}}_0, \boldsymbol{\epsilon}}\left[|\mathbf{M0 - G\theta(\mathbf{M}t, t, \mathbf{c})|_2^2\right] $$ 训练采用 AdamW 优化器，学习率设为 }$1 \times 10^{-4}$，批大小为 64，总共训练 200,000 步。扩散前向加噪过程设定为 $T = 1000$ 步，采用线性 $\beta$ 调度。训练时以 $p = 0.1$ 的丢弃概率将文本条件置空以实现无分类器引导（Classifier-Free Guidance, CFG）；推理采样时采用高阶快速求解器 DPM-Solver++，仅需 10 步采样即可收敛，CFG 引导尺度设定为 $\omega = 3$。

实验关键数据¶

主实验¶

在业界通用的两大权威基准 HumanML3D 与 KIT-ML 上，SFM 与代表性 Transformer 架构（MDM、MLD、MotionDiffuse、T2M-GPT、MoMask 等）、经典 CNN 架构（MoFusion、StableMoFusion 等）以及单向 SSM 基线（Motion Mamba）进行了严格评测（所有指标均基于 20 次独立运行统计并报告 95% 置信区间）：

数据集	方法	架构类型	R-Precision (Top-1) ↑	R-Precision (Top-2) ↑	R-Precision (Top-3) ↑	FID ↓	MM-Dist ↓
HumanML3D	真实数据 (GT)	-	0.511 ± 0.003	0.703 ± 0.003	0.797 ± 0.002	0.002 ± 0.000	2.958 ± 0.008
HumanML3D	MDM	Transformer	0.320 ± 0.005	0.498 ± 0.004	0.611 ± 0.007	0.544 ± 0.044	5.556 ± 0.027
HumanML3D	MotionDiffuse	Transformer	0.491 ± 0.001	0.681 ± 0.001	0.782 ± 0.001	0.630 ± 0.001	3.113 ± 0.001
HumanML3D	MoMask	Transformer	0.521 ± 0.002	0.713 ± 0.002	0.807 ± 0.002	0.045 ± 0.002	2.958 ± 0.008
HumanML3D	StableMoFusion	CNN	0.499 ± 0.004	0.680 ± 0.006	0.779 ± 0.007	0.189 ± 0.003	-
HumanML3D	Motion Mamba	SSM	0.502 ± 0.003	0.693 ± 0.002	0.792 ± 0.002	0.281 ± 0.009	3.060 ± 0.058
HumanML3D	SFM (本文)	SSM	0.561 ± 0.004	0.749 ± 0.003	0.845 ± 0.003	0.066 ± 0.003	2.758 ± 0.086
KIT-ML	MoMask	Transformer	0.433 ± 0.007	0.656 ± 0.005	0.781 ± 0.005	0.204 ± 0.011	2.779 ± 0.022
KIT-ML	StableMoFusion	CNN	0.445 ± 0.006	0.660 ± 0.005	0.782 ± 0.004	0.258 ± 0.029	2.800 ± 0.018
KIT-ML	Motion Mamba	SSM	0.419 ± 0.006	0.645 ± 0.005	0.765 ± 0.006	0.307 ± 0.041	3.021 ± 0.025
KIT-ML	SFM (本文)	SSM	0.453 ± 0.005	0.680 ± 0.005	0.798 ± 0.004	0.228 ± 0.024	2.548 ± 0.034

在推理效率方面，SFM 在 A100 GPU 上的单句平均推理耗时（AITS）仅为 0.19 秒，大幅领先 Transformer 类去噪器 MDM（15.33 秒）与 MoMask（0.25 秒），同时性能大幅超越仅耗时 0.13 秒但受限于感受野的 CNN 模型 StableMoFusion。在长序列动作评测集 HumanML3D-LS（帧数 > 190 帧）上，SFM 的 Top-3 达到 0.801，远超 Motion Mamba 的 0.713 与 StableMoFusion 的 0.665。

消融实验¶

论文对核心模块、频域调制机制及变换基底进行了系统消融（均在 HumanML3D 上评测）：

实验组	配置 / 变体	Top-1 ↑	Top-2 ↑	Top-3 ↑	FID ↓	说明
核心模块消融	完整模型 (Full Model)	0.561 ± 0.004	0.749 ± 0.003	0.845 ± 0.003	0.066 ± 0.003	双轴完整机制
核心模块消融	w/o F-SSM	0.462 ± 0.006	0.641 ± 0.005	0.733 ± 0.005	0.157 ± 0.003	移除频域状态空间，性能骤降
核心模块消融	w/o S-SSM	0.512 ± 0.002	0.708 ± 0.002	0.779 ± 0.003	0.104 ± 0.004	移除双向空间状态空间
核心模块消融	w/o Semantic Attention	0.490 ± 0.005	0.670 ± 0.005	0.758 ± 0.005	0.116 ± 0.003	移除组后语义注意力融合
核心模块消融	w/o Text-Gated	0.528 ± 0.007	0.727 ± 0.006	0.804 ± 0.006	0.093 ± 0.004	移除频域文本门控软调制
频域滤波设计	硬截断 k=32	0.201 ± 0.005	0.290 ± 0.005	0.397 ± 0.005	12.520 ± 0.004	仅保留前 32 个低频系数
频域滤波设计	硬截断 k=128	0.430 ± 0.005	0.646 ± 0.004	0.724 ± 0.005	1.642 ± 0.004	硬截断无法自适应语意
频域滤波设计	硬截断 k=Full (208)	0.528 ± 0.007	0.727 ± 0.006	0.804 ± 0.006	0.093 ± 0.004	无文本门控的全频通过
频域变换基底	STFT	0.517 ± 0.005	0.704 ± 0.004	0.796 ± 0.004	0.112 ± 0.004	短时傅里叶变换受窗长敏感
频域变换基底	FFT	0.541 ± 0.005	0.718 ± 0.004	0.815 ± 0.004	0.103 ± 0.003	复数表征增加优化难度
频域变换基底	DWT	0.552 ± 0.004	0.736 ± 0.004	0.834 ± 0.003	0.085 ± 0.003	离散小波变换效果接近 DCT
频域变换基底	DCT (本文采用)	0.561 ± 0.004	0.749 ± 0.003	0.845 ± 0.003	0.066 ± 0.003	实数有序正交基表现最优

关键发现¶

频域建模是性能跃迁的关键瓶颈：消融 F-SSM 导致 Top-3 从 0.845 暴跌至 0.733（跌幅达 11.2 个百分点），FID 恶化超过一倍（0.066 $\to$ 0.157），证明频域分解对于捕捉肢体各频段运动至关重要。
软调制显著优于硬截断滤波：硬截断低频系数在 $k=32$ 时模型崩溃（FID 高达 12.520），即便是保留全频段的 $k=208$，缺乏文本门控调制的性能仍明显落后于自适应文本软门控（Top-3 0.804 vs. 0.845），表明不同动作在不同频段上的能量权重必须与自然语言语义深度耦合。
扩散时步呈现由粗至细的频率转移规律：频域能量分析显示，在扩散早期（大噪声阶段），网络优先优化占比约 60% 的低频骨架运动以锁定大体姿态；随着去噪推进至末期（低噪声阶段），低频能量占比平稳回落至 40%，高频分量被激活以精细雕琢足地接触与关节微动。

亮点与洞察¶

任务感知的双轴状态空间分解：针对 Mamba 难以捕获局部多尺度动态的问题，巧妙利用 DCT 实数变换在频域分离粗细粒度，配合空间域双向扫描，兼顾了生成动作的全局因果连贯性与局部细节保真度。
文本门控频域动态掩码：不采用静态滤波，而是通过交叉注意力根据文本指令动态生成频域响应掩码，使得像“跑步”这样的高频动作与“静坐”这样的低频动作能够自适应获得最佳频谱响应。
扩散去噪的频域动力学洞察：揭示了动作扩散去噪过程中从“早期关注低频宏观轨迹”到“晚期聚焦高频微动关节”的渐进式频域演化机制，为未来频域引导的动作生成与编辑提供了重要理论依据。

局限与展望¶

极端复杂接触与物理碰撞仿真仍有欠缺：尽管引入了高频细节雕琢，但在缺少显式刚体动力学约束的情况下，面对人体与地面剧烈碰撞或复杂道具交互（如手持翻转）时，仍偶发微小的脚底滑移（foot-sliding）或关节穿模。
频域掩码预测目前局限于全序列维度：文本门控掩码在时间维度上是全局共享的，对于包含多阶段复杂动作转折的长文本序列（例如先快跑后静止），局部时段的频域特异性分配仍有进一步细化的空间。
未来方向：可进一步将空间-频域状态空间机制与图卷积骨骼拓扑结构或物理物理约束引擎（如 PhysDiff）相结合，探索在更少推理步数下具备强物理真实感的交互动作合成。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次将双向空间扫描与文本门控 DCT 频域建模统一引入动作扩散状态空间模型，架构构思巧妙]
实验充分度: ⭐⭐⭐⭐⭐ [对比基线全面，主实验、长序列子集、时延、人工盲评与四组消融实验扎实严谨]
写作质量: ⭐⭐⭐⭐⭐ [问题提出切中痛点，数学公式推导与频域扩散可视化透彻清晰]
价值: ⭐⭐⭐⭐☆ [为 3D 人体动作生成在保持高保真度同时打破算力瓶颈提供了极具参考价值的高效范式]