Reconstruction-Anchored Diffusion Model for Text-to-Motion Generation¶

会议: ECCV 2026
论文: ECCV 2026 Poster
代码: https://feifeifeiliu.github.io/RAM
领域: 人体理解
关键词: 文本驱动动作生成、扩散模型、动作潜空间表征、重构引导、分类器自由引导

一句话总结¶

针对文本驱动动作生成中预训练文本特征缺乏动态先验与迭代去噪误差累积两大难题，提出以动作重构分支锚定潜空间并引入自正则化与动作中心对齐，配合推理阶段的重构误差引导（REG），使扩散模型在仅 20 步采样下于 HumanML3D 取得 0.032 的前沿 FID。

研究背景与动机¶

从自然语言描述自动合成高真实感、连贯顺畅的人体 3D 动作序列，是虚拟现实、游戏动画与具身机器人仿真中的核心技术。然而，自然语言具有高度的抽象性与多样性，而人体动作则是连续、高维且受人体运动学约束（kinematic constraints）的动态过程。建立两者之间鲁棒的多对多映射面临着跨模态表征鸿沟。当前主流方案主要分为两派：基于离散码本的 VQ-VAE 类模型往往生成保真度高（FID 较低），而基于连续去噪的扩散模型（如 MDM、MLD）具备出色的生成控制力与灵活性，却长期在运动真实感和分布拟合度（FID）上落后于离散码本方法。

深入分析现有动作扩散模型，其性能瓶颈主要源自双重困境。其一，现存方法多直接借用静态预训练文本编码器（如 CLIP、DistilBERT），这些模型仅在大规模静态图文对或纯文本上训练，天然缺失时间序列动态与动力学先验，强行将其映射到动作去噪网络拉大了模态表征差异；其二，扩散模型在迭代去噪过程中面临不可避免的误差累积（error propagation），尤其在早期的逆向去噪阶段，网络需要在高斯纯噪声中推断结构，极易产生瑕疵与离流形（off-manifold）误差，这些漂移会在后续时间步中级联放大，导致动作失真或语义漂移动作断裂。

针对上述两点，本文认为应当将动作本身的重构流形作为扩散学习的锚点，并在推理阶段激发扩散模型内部的“自纠错”潜能。核心 idea：构建双流重构-生成架构，利用动作潜空间的自正则化与运动中心单向对齐将文本映射嵌入到具备丰富动力学结构的动作流形，并在推理阶段引入重构误差引导（REG），以前一步预测的有偏重构作为负向参照放大当前改进残差，驱动生成远离错误模式。

方法详解¶

整体框架¶

RAM 包含训练阶段的潜空间构建与推理阶段的重构误差引导两个核心部分。在训练阶段，模型采用共享扩散去噪器（基于 MDM 的 Transformer 骨干）的双流架构：一路为动作重构流，由 Transformer 动作编码器 $E_m$ 提取动作序列全局潜变量 $z_m$，指导扩散模型重构原始动作；另一路为文本生成流，由 Transformer 文本编码器 $E_t$ 将文本词嵌入转换为文本潜变量 $z_t$，驱动扩散模型生成对应动作。通过在动作空间施加自正则化（$L_{sr}$）与运动中心对齐（$L_{latent}$），使文本语义紧致地投射至动作流形。在推理采样阶段，模型利用前一步骤的粗糙估计反向重构出包含早期误差特征的负向参考，通过残差放大机制在每一步逆向去噪中动态校正误差累积。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    subgraph S1["训练阶段：双流动作中心表征学习"]
        direction TB
        M_IN["输入真实动作 x0"] --> M_ENC["动作编码器 Em"] --> Z_M["动作潜变量 zm"]
        T_IN["输入文本描述 t"] --> T_ENC["文本编码器 Et"] --> Z_T["文本潜变量 zt"]
        Z_M -->|互斥区分| L_SR["自正则化损失 Lsr"]
        Z_T -->|运动中心对齐| L_LAT["潜空间对齐损失 Llatent<br/>(梯度阻断 Em: beta=0.01)"]
        Z_M -.->|中间监督锚点| L_LAT
        Z_M & Z_T --> DIFF_TRAIN["共享扩散去噪器 D(xt, t, z)"]
    end

    subgraph S2["推理阶段：重构误差引导与采样"]
        direction TB
        PREV_X["前一步估计预测 xt+1,s"] --> PREV_ENC["动作编码器 Em"] --> Z_PREV["误差潜变量 zm,t+1"]
        CURR_T["文本输入 t"] --> CURR_ENC["文本编码器 Et"] --> Z_CURR["当前文本潜变量 zt"]
        DIFF_SAMPLE["多条件逆向去噪采样"]
        Z_PREV -->|负向参照重构分支| DIFF_SAMPLE
        Z_CURR -->|当前条件预测分支| DIFF_SAMPLE
        NULL_IN["空条件向量 ∅"] -->|无条件预测分支| DIFF_SAMPLE
        DIFF_SAMPLE --> REG_CALC["重构误差引导 (REG)<br/>放大当前预测与误差重构残差"]
        DIFF_SAMPLE --> CFG_CALC["分类器自由引导 (CFG)<br/>放大文本条件与无条件残差"]
        REG_CALC & CFG_CALC --> OUT_STEP["当前步最终输出 xt,s"]
    end

    S1 ==> S2

关键设计¶

1. 动作中心双流潜空间构建：以动力学流形为核心的中间监督 针对预训练文本模型缺乏运动动态连续性与物理约束的鸿沟，RAM 没有强行采用将动作与文本双向投影至无约束对称共享空间的传统方案（如语言-姿态联合嵌入常牺牲动作动力学细节），而是确立了“动作中心”的潜空间基准。系统由动作重构分支主导该空间的结构，动作序列 $x_0$ 经由 6 层 Transformer 编码器 $E_m$ 与特殊 token $s_m$ 提取为全局潜表征 $z_m = E_m(s_m, x_0)$。文本分支同样由 6 层 Transformer 编码器 $E_t$ 构成，将 DistilBERT 提取的 token 级词向量变换为潜变量 $z_t = E_t(s_t, f_t)$。扩散去噪器 $D$ 共享参数并同时以 $z_m$ 和 $z_t$ 为条件进行去噪重构与生成，从而将动作重建确立为核心骨架，避免了跨模态对齐对动作本征高频动态特征的稀释。

2. 潜空间自正则化：类对比学习增强语义分辨率 在传统的重建任务中，动作潜空间往往倾向于聚集在低维超曲面上，导致不同动作序列的潜变量边界模糊、语义分辨率受限。RAM 引入了自正则化损失（Self-Regularization, $L_{sr}$），其本质是在动作潜空间内部运行的批内多类交叉熵分类机制。对于批次大小为 $B$ 内的归一化动作潜向量 $\tilde{z}_m^i$，定义相似度 $\text{sim}(\tilde{z}_m^i, \tilde{z}_m^j) = (\tilde{z}_m^i)^\top \tilde{z}_m^j$，仅将同一动作序列视为正样本，其余同批次动作全部视为负样本： $$L_{sr} = \frac{1}{B} \sum_{i=1}^B -\log \frac{\exp(\text{sim}(\tilde{z}_m^i, \tilde{z}_m^i)/\tau)}{\sum_{j=1}^B \exp(\text{sim}(\tilde{z}_m^i, \tilde{z}_m^j)/\tau)}$$ 该设计主动将不同的动作潜向量在球面上推开，有效防止了流形坍缩，极大地拓展了动作潜空间的判别边界与表征跨度，使后续从文本向动作潜空间的映射拥有足够细腻、离散明确的动力学落点。

3. 渐进式运动中心对齐：非对称梯度阻断机制 为了将文本潜变量 $z_t$ 准确投影到由动作构建的高分辨率潜流形中，RAM 提出了运动中心潜对齐损失（Motion-Centric Latent Alignment, $L_{latent}$）。为了确保动作潜空间的先验结构不被缺乏动力学信息的文本流带偏，对齐设计了单向主导的非对称梯度流动机制： $$L_{latent} = \mathbb{E}_{z_m, z_t} \left[ \| z_t - ((1 - \beta)\operatorname{sg}(z_m) + \beta z_m) \|_2 \right]$$ 其中 $\operatorname{sg}(\cdot)$ 为 stop-gradient 算子，权重 $\beta$ 极小（设为 0.01）。这一精妙设计保证了梯度的绝对主体用于更新文本编码器 $E_t$，强制其向动作潜空间对齐；同时保留微量梯度（0.01）注入动作编码器 $E_m$，以适应端到端训练过程中的联合收敛需求，兼顾了动作流形的纯粹性与两模态空间的可契合度。

4. 重构误差引导（REG）：利用自身历史误差作为负向参照 针对逆向去噪过程中早期噪声误判引发的误差级联传递难题，RAM 提出了重构误差引导（Reconstructive Error Guidance, REG）。其核心洞察在于：扩散模型在去噪恢复真实流形上具有内在的“自纠错”倾向，但通常缺乏显式的负向抑制信号。在推理时间步 $t$，模型先将上一时间步预测的估计 $\hat{x}_{t+1, s}$ 通过动作编码器编码为 $z_{m, t+1} = E_m(s_m, \hat{x}_{t+1, s})$。由于 $\hat{x}_{t+1, s}$ 内嵌了前序迭代所产生的伪影与离流形误差，以 $z_{m, t+1}$ 条件所产生的预测 $D(x_t, t, z_{m, t+1})$ 便显式地重现了旧有的错误模式。RAM 将其作为负向基准，与当前文本驱动的预测 $D(x_t, t, z_t)$ 构造残差修正项： $$\hat{x}_{t,s} = D(x_t, t, z_t) + w_1 \left( D(x_t, t, z_t) - D(x_t, t, z_{m, t+1}) \right) + w_2 \left( D(x_t, t, z_t) - D(x_t, t, \varnothing) \right)$$ 其中第一项残差通过放大当前预测相比于有偏重构的改进分量，主动压制历史误差模式并驱赶采样轨迹回归真实动作数据流形；第二项则为标准的无分类器引导（CFG），共同实现了语义匹配度与物理保真度的兼顾。

损失函数 / 训练策略¶

模型总体训练目标由重构损失、文本驱动生成损失、自正则化损失以及运动中心对齐损失四部分加权组成： $$L_{overall} = L_{rec} + L_{gen} + w_{sr} L_{sr} + w_{latent} L_{latent}$$ 其中 $L_{rec}$ 与 $L_{gen}$ 分别为动作流与文本流的均方误差（MSE）去噪重构损失。超参数设置方面，损失权重取 $w_{sr} = 1.0$，$w_{latent} = 0.5$；自正则化温度参数 $\tau = 1.0$；梯度调制参数 $\beta = 0.01$。训练采用 AdamW 优化器，学习率 $10^{-4}$，批次大小 64。在 HumanML3D 上训练 450K 步（KIT-ML 上训练 400K 步）。总扩散时间步 $T=50$，在训练阶段对 10% 的样本应用空条件丢弃以支持 CFG。在测试阶段，仅需采样 20 步（均匀线性间隔），引导权重分别设为 $w_1 = 5.0$（REG）与 $w_2 = 1.5$（CFG）。

实验关键数据¶

主实验¶

在代表性的 HumanML3D 与 KIT-ML 数据集上评测，RAM 在大幅缩减推理步数（仅需 20 步）的前提下，取得了超越以往扩散模型乃至比肩顶级 VQ-VAE 模型的综合性能。

数据集	模型类别	方法	FID↓	R-Precision (Top 1)↑	R-Precision (Top 3)↑	Multimodal-Dist↓	Diversity
HumanML3D	真实数据	Ground Truth	0.002±.000	0.511±.003	0.797±.002	2.974±.008	9.503±.065
HumanML3D	VQ-VAE 类	T2M-GPT (CVPR 2023)	0.116±.004	0.491±.003	0.775±.002	3.118±.011	9.761±.081
HumanML3D	VQ-VAE 类	MoMask (CVPR 2024)	0.045±.002	0.521±.002	0.807±.002	2.958±.008	-
HumanML3D	VQ-VAE 类	LaMP (ICLR 2025)	0.032±.002	0.557±.003	0.843±.001	2.759±.007	9.571±.069
HumanML3D	扩散类	MDM (ICLR 2023)	0.489±.025	0.418±.005	0.707±.004	3.360±.023	9.450±.066
HumanML3D	扩散类	MLD (CVPR 2023)	0.473±.013	0.481±.003	0.772±.002	3.196±.010	9.724±.082
HumanML3D	扩散类	ReMoDiffuse (ICCV 2023)	0.103±.004	0.510±.005	0.795±.004	2.974±.016	9.018±.075
HumanML3D	扩散类	Salad (CVPR 2025)	0.076±.002	0.581±.003	0.857±.002	2.649±.009	9.696±.096
HumanML3D	扩散类	RAM (本文)	0.032±.002	0.561±.003	0.839±.002	2.716±.007	9.487±.084
KIT-ML	扩散类	ReMoDiffuse (ICCV 2023)	0.155±.006	0.427±.014	0.765±.055	2.814±.012	10.80±.105
KIT-ML	扩散类	Salad (CVPR 2025)	0.296±.012	0.477±.006	0.828±.005	2.585±.016	11.10±.095
KIT-ML	扩散类	RAM (本文)	0.172±.010	0.464±.006	0.803±.005	2.653±.024	11.15±.101

消融实验¶

1. 核心组件渐进式累积消融（HumanML3D，20 采样步）

$E_m$ 分支	$L_{latent}$	$L_{sr}$	REG 引导	FID↓	R-Precision Top 1↑	R-Precision Top 3↑	MM Dist↓	说明
-	-	-	-	0.786±.016	0.417±.002	0.729±.003	3.433±.012	纯文本条件扩散基线（20步下误差明显）
✓	-	-	-	0.624±.013	0.493±.004	0.800±.002	3.045±.013	引入双流动作重构分支（仅隐式共享去噪器）
✓	✓	-	-	0.187±.005	0.530±.002	0.814±.002	2.885±.008	加入动作中心单向对齐（FID 降至 0.187）
✓	✓	✓	-	0.132±.005	0.561±.002	0.838±.002	2.744±.006	增加潜空间自正则化（FID 达 0.132）
✓	✓	✓	✓	0.032±.002	0.561±.003	0.839±.002	2.716±.007	完整模型（REG 驱动 FID 进一步暴降至 0.032）

2. 采样阶段引导策略评估（REG 权重 $w_1$ 与 CFG 权重 $w_2$）

$w_1$ (REG)	$w_2$ (CFG)	FID↓	R-Precision Top 1↑	R-Precision Top 3↑	MM Dist↓	发现与归因
0.0	0.0	0.297±.010	0.529±.002	0.812±.002	2.912±.007	原始单路输出，FID 与文本精度均平平
3.0	0.0	0.088±.005	0.542±.002	0.825±.002	2.808±.007	仅开启 REG 即将 FID 从 0.297 压制到 0.088
5.0	0.0	0.128±.006	0.537±.002	0.820±.001	2.837±.008	单独增大 REG 对真实感增益显著
0.0	1.5	0.132±.005	0.561±.002	0.838±.002	2.744±.006	仅用 CFG 显著拉升 R-Precision (Top 1 升至 0.561)
0.0	4.5	0.095±.003	0.562±.002	0.839±.002	2.734±.007	增大 CFG 饱和度高但难突破 0.095 瓶颈
5.0	1.5	0.032±.002	0.561±.003	0.839±.002	2.716±.007	双引导正交互补：CFG 保语义，REG 纠偏破纪录

关键发现¶

REG 对去噪真实感的质变效果：消融数据显示，在固定模型权重下，仅仅在推理阶段加入 REG 引导（$w_1=5.0, w_2=1.5$），FID 便从 0.132 锐减到 0.032（降幅达 75.8%）。这强力证实了扩散模型在逆向去噪中的误差漂移是制约 FID 的主要元凶，而将前一时刻估计的有偏重构作为负向参照能够直接抵消漂移。
CFG 与 REG 的职责正交解耦：实验表明，CFG 主要负责拉近文本与动作的语义相关性（R-Precision Top 1 从 0.529 提升至 0.561），而 REG 则主导动作流形的分布贴合度与物理合理性（FID 从 0.297 降至 0.088）。两者并行使用达成最佳全局解。
运动中心对齐优于双向强对齐：在潜空间策略对比实验（Tab. 5）中，对称双向对齐（TEMOS 方案）或跨模态对比学习（TMR 方案）虽然提升了 R-Precision，但破坏了动作流形结构，FID 分别恶化至 0.776 和 0.708。而 RAM 采用对动作编码器几乎冻结（$\beta=0.01$）的单向运动中心对齐，FID 大幅领先（0.132 vs 0.218），证明动作生成任务必须严格以动作自身的动力学流形为基准。

亮点与洞察¶

重构流的“一鱼两吃”设计：动作重构分支在训练阶段作为潜空间的动力学锚点（提供 $L_{sr}$ 和 $L_{latent}$ 的监督源），在推理阶段则无缝化身为历史误差提取器，巧妙复用了网络权重而无需引入额外辅助判别器。
负向残差放大抑制离流形漂移：不同于常规生成模型中必须引入外部 Critic 或扰动去噪网络（如 PAG），REG 发现前序时间步的有偏估计天然构成了“次优样本生成器”，借用自身弱点构筑对比项，思路极具启发性。
测试期加速与表现的平衡：虽然 REG 在每步去噪需额外调用一次去噪前向传播，但由于其显著提高了单步去噪效率，仅需 20 步采样即可达到 0.398 秒的平均推断耗时（比 50 步的 MDM 基线 0.490 秒更快），且在补充实验中发现仅在前 6 步启用 REG 就能以仅 26% 的耗时增幅兑现 71% 的 FID 增益（从 0.132 降到 0.038）。

局限与展望¶

作者承认的局限：模型目前将整段文本描述压入单个序列级全局 token（即 $s_t$ 的输出潜变量），缺乏更长时序动作合成所需的细粒度分词表达，难以处理包含严苛时序依赖的复杂组合长句。
分析发现的局限：REG 机制高度依赖前一步预测 $\hat{x}_{t+1, s}$ 与动作编码器 $E_m$ 的兼容性。若早期步数噪声过大导致 $\hat{x}_{t+1, s}$ 严重畸变，过强的引导权重 $w_1$ 可能在局部产生过度补偿，因此必须与 CFG 精细配合。
未来改进方向：可进一步将全局潜变量拓展为基于交叉注意力的多词元时空流形映射；此外，可将 REG 思想推广到单步或少数步一致性模型（Consistency Models）的蒸馏校正阶段。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [将动作重构作为表征锚点并复用为推理期误差负向参照的思路新颖且自洽]
实验充分度: ⭐⭐⭐⭐⭐ [消融实验完备详实，涵盖组件递进、引导项正交性验证以及 5 种潜空间策略的深入对比]
写作质量: ⭐⭐⭐⭐⭐ [叙事逻辑层次清晰，公式精简克制，洞察深刻透彻]
价值: ⭐⭐⭐⭐⭐ [成功打破扩散模型在 3D 动作生成领域 FID 显著落后于离散码本的长期固有局面]