ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation¶
会议: NeurIPS 2026
arXiv: 2610.13549
论文: Project Page
领域: 人体理解
关键词: 人体动作生成, 长时序动作生成, 指代组合, 数据集与基准, 跨片段依赖
一句话总结¶
本文提出了面向长时序人体动作生成的指代组合(Anaphoric Composition)新任务,构建了包含 13.2k 条 30 秒连续 3D 动作及跨片段依赖标注的 ELMA 数据集与 ELMABench 评测基准,并通过注入前序文本上下文的微调范式显著提升了现有模型在跨片段状态保持与语义对齐上的表现。
研究背景与动机¶
文本驱动的长时序人体动作生成对于虚拟数字人连续交互、游戏角色控制和人形机器人模仿学习至关重要。受限于单次生成的计算开销与精度衰减,主流长时序生成方法(如 DoubleTake、FlowMDM、DARTControl 和 UniMotion)普遍采用多片段指令拼接范式,即将一段长动作拆解为若干短片段文本指令,逐段生成后再拼接过渡。然而,人类在连续下达指令时往往包含大量“指代组合”(Anaphoric Composition)——后续片段的动作语义依赖于前序片段已经建立的身体姿态、持物状态或空间约束(例如第一段“举起左手敬礼”,第二段“保持敬礼姿势向前走”,或前段“将杠铃提至肩部”,后段“将杠铃举过头顶”)。现有模型将每个片段指令视为孤立输入,导致后续片段无法继承前序建立的状态约束,在长时序生成中频繁出现姿态突变或语义丢失。
这一能力缺失的根源在于数据与评测层面的双重空白。现有的长时序动作数据集(如 BABEL-TEACH、FineMotion、CompMo、FrankenMotion 以及大规模野外视频数据集 HuMo100M 和 OpenT2M)要么通过拼接不相关的短动作片段构造长序列,要么对每个时间窗口进行独立的姿态描述或粗粒度动作标签标注,人为割裂了长视频原本具有的叙事连贯性(Episodic Continuity)。同时,现有评测基准会在所有片段上无差别地平均计算指标,使得占多数的简单独立片段稀释了模型在关键指代片段上的失败信号。
随着高精度世界坐标系人体网格恢复模型(如 GVHMR)、视频级多目标分割追踪器(如 SAM 2)以及具备长上下文推理能力的多模态大模型(如 Gemini-2.5-Pro 和 GPT-4o)的成熟,从真实野外长视频中全自动挖掘连续 3D 动作并显式标注跨片段指代依赖成为可能。核心 idea:提出长时序指代文本到动作生成任务(Anaphoric Text-to-Motion),通过全自动野外长视频挖掘、基于 AMASS 先验的两阶段运动学过滤以及大模型条件重写与一致性判定,构建具有显式跨片段依赖标注的 30 秒连续动作数据集 ELMA 与聚焦指代目标片段评测的 ELMABench,并通过加权聚合历史文本嵌入将现有分段生成模型拓展为具备跨片段状态传播能力的基线。
方法详解¶
整体框架¶
本文将指代动作生成形式化为具有跨片段依赖的多片段条件生成问题:给定包含 \(T\) 个片段的文本指令序列 \(\mathbf{x}_{1:T}=(\mathbf{x}^{(1)},\dots,\mathbf{x}^{(T)})\) 及对应帧长 \(\bm{\ell}_{1:T}=(\ell_1,\dots,\ell_T)\)(总帧数 \(\sum_{t=1}^T \ell_t = N\)),模型需生成连续 3D 动作序列 \(\hat{\mathbf{m}}_{1:N} \in \mathbb{R}^{N \times D}\),其中第 \(t\) 段指令 \(\mathbf{x}^{(t)}\) 的具体运动学约束依赖于前序上下文 \(\mathbf{x}_{1:t-1}\)。为支撑该任务的学习与评测,本文构建了包含四个核心阶段的全自动数据与基准管线:首先从海量在线视频中完成连续 30 秒单人动作的检测、追踪与 3D 网格重构;其次利用 AMASS 洁净先验进行姿态流形与时序动力学两阶段过滤;随后通过多模态大模型完成分段叙事重写与指代依赖三轮一致性判定;最后建立仅在指代目标片段上切片评测的 ELMABench,并设计历史上下文加权注入策略对主流生成模型进行微调适配。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["海量在线动作视频<br/>多语言扩展检索与场景切分"] --> B["全自动长视频动作采集与重构<br/>粗筛追踪 + SAM 2精修 + GVHMR重构"]
B --> C["基于 AMASS 先验的两阶段动作质量过滤<br/>PoseFiltering + MotionFiltering+"]
C --> D["叙事化分段文本标注与指代依赖判定<br/>Gemini条件重写 + GPT-4o三轮投票"]
D --> E["指代感知基准评测与历史上下文注入微调<br/>ELMABench目标切片评测 + A2M历史嵌入聚合"]
E --> F["ELMA 数据集与长时序指代动作生成模型<br/>13.2k条30秒连续序列与基线权重"]
关键设计¶
1. 全自动长视频动作采集与重构:分级追踪与世界坐标系网格恢复
从野外无约束视频中提取长达 30 秒的连续 3D 动作面临两大障碍:一是遮挡或出画极易导致长序列三维姿态估计产生累积漂移,二是高质量长片段在原始视频中密度极低。为此,本文首先基于 Kinetics-700 和 BABEL 的动作类别构造英、日、中三语查询并用 GPT-4o 扩展同义词,检索视频后用 PySceneDetect 切分出超过 500 万个无镜头切换的候选场景,仅保留时长不少于 30 秒的片段。接着采用“粗筛+精修”的分级人体追踪策略:在粗筛阶段,以 4 帧为间隔运行 YOLOv8l-pose 与 ByteTrack 提取帧内所有候选人物轨迹,要求至少 13 个身体关键点的置信度高于 0.3 以剔除半身或遮挡样本,并计算兼顾画面平面位移与景深尺度变化的相对运动得分 \(d_{\mathrm{rel}}\) 以过滤静止人物:
其中 \(\mathbf{c}_t\) 和 \(a_t\) 分别为第 \(t\) 帧检测框的中心坐标与面积,\(W, H\) 为图像宽高,\(\lambda_{\mathrm{scale}}=2.0\),得分低于阈值 \(\gamma_{\mathrm{move}}=0.7\) 的轨迹被直接丢弃。在精修阶段,以粗筛有效片段首帧的检测框作为提示,利用 SAM 2 在整个 30 秒序列上进行像素级掩码传播,获得极其稳定的裁剪框,再经 Gemini-2.5-Pro 剔除雕像、动画角色或镜面反射等非真实人类样本,最终输入 GVHMR 恢复对齐世界坐标系的 SMPL-X 3D 人体动作参数,得到超过 20k 条原始长时序动作片段。
2. 基于 AMASS 先验的两阶段动作质量过滤:单帧姿态合理性与时序平滑度联合把关
即便经过严格的视频级追踪过滤,从单目长视频重构的 3D 动作仍不可避免地存在肢体穿模、翻转等异常姿态以及帧间高频抖动。为了在不损失真实动作多样性的前提下剔除劣质重构序列,本文以高质量动捕数据集 AMASS 为洁净参考分布,设计了 PoseFiltering(第一阶段)与 MotionFiltering+(第二阶段)两步后处理。PoseFiltering 将每帧 21 个身体关节的轴角姿态送入预训练 VPoser 编码器-解码器进行重构,在旋转矩阵空间计算每个关节的测地线旋转误差(Geodesic Rotation Error):
对单帧内所有关节求均值得到帧级误差 \(e_t\) 后,取整个 30 秒片段的分位数统计量 \(s\)(正文与附录公式记为 \(\mathrm{Percentile}_{95}\),文字说明提及 99th percentile,⚠️ 以原文为准),若超过阈值 \(\gamma^{\mathrm{pose}}\) 则判定该片段存在严重结构性失真并予以剔除。随后,MotionFiltering+ 从时序动力学角度计算相邻帧关节旋转突变角 \(\Delta\theta_{t,j}=\mathrm{angle}(R_{t,j}R_{t-1,j}^{\top})\) 以及关节三维坐标的三阶差分均值(加加速度 \(\mathrm{jerk}_t = \frac{1}{J}\sum_{j=1}^J \|\Delta^3 \mathbf{p}_{t,j}\|_2\)),并以 AMASS 的 99% 分位数作为异常阈值统计片段内的旋转异常率 \(r^{\mathrm{rot}}\) 与抖动异常率 \(r^{\mathrm{jerk}}\);当 \(r^{\mathrm{rot}} > 0.4\)、\(r^{\mathrm{jerk}} > 0.5\) 或整段根节点总位移 \(d^{\mathrm{trans}} < 2.0\)(近似静止)时将该片段剔除。该两阶段过滤共淘汰了 25% 的低质量序列(其中约 75% 为近静止失败样本),使保留的 13.2k 条(共 110 小时)ELMA 动作在均值和 P95 Jerk 上甚至低于 Motion-X 数据集,同时与 HumanML3D 的词汇表 Jaccard 相似度保持在 0.278,证明过滤未导致语义多样性坍缩。
3. 叙事化分段文本标注与指代依赖判定:上下文条件重写与三轮一致性投票
为了模拟人类在连续控制时“承接上文下达新指令”的自然交互方式,本文摒弃了传统的孤立片段描述,提出叙事化文本标注(Episodic Text Annotation)。每条 30 秒视频被均匀切分为 6 个 5 秒片段;首先使用 Gemini-2.5-Pro 为每个 5 秒片段生成独立的初始客观动作描述(形成标准独立指令设置 T2M);随后在时刻 \(t\),将前序已重写的文本序列 \(1 \dots t-1\) 与当前片段原始描述一并输入 Gemini-2.5-Pro 进行条件重写(限制为以“The person”开头的 10–15 词单句,剔除主观猜测词汇),促使模型在先前建立的姿态或持物状态持续存在时自然地使用指代或承接表述(形成指代指令设置 A2M)。接着,为精确界定哪些片段真正依赖历史上下文,本文利用 GPT-4o 进行指代判定(Anaphora Judgment):给定前序片段描述与目标片段描述,要求模型判断“引入前序上下文后,目标片段的动作、身体姿态或持物约束是否变得更加具体明确”,并指出所依赖的先行片段 ID 与依赖类型(事件、状态或物体)。为保证标签高置信度,该判定对每个片段独立重复运行 3 次,仅当 3 次二元判定结果与预测的依赖源片段完全一致时,才将该片段正式标记为指代目标片段(Anaphoric Target)。
4. 指代感知基准评测与历史上下文注入微调:目标片段精准切片与加权嵌入聚合
在评测与模型适配层面,本文从 3k 测试集中随机采样 1k 条序列构建了 ELMABench(统一转换为 263 维 HumanML3D 动作表示)。不同于以往将整条 30 秒生成序列或全部 6 个片段混在一起算平均值的做法,ELMABench 仅将生成动作与真实动作切片到被标记为指代目标的片段集合 \(\mathcal{T}\) 上,仅对 \(\{(\hat{\mathbf{m}}^{(t)}, \mathbf{m}^{(t)})\}_{t \in \mathcal{T}}\) 聚合计算 FID、R-Precision@3、Diversity 和 Matching Score,从而避免非指代简单片段稀释跨片段状态保持的评测信号。同时,为了在不重构现有长时序模型底层网络的前提下赋予其状态传播能力,本文对 DoubleTake、FlowMDM 和 UniMotion 三种代表性基线引入了轻量级的历史上下文注入机制:在 A2M 模式下,统一使用 CLIP 提取各片段文本嵌入,将第 \(t\) 段生成时的文本条件替换为当前片段文本嵌入与所有前序片段 \(1 \dots t-1\) 文本嵌入的加权和(Weighted Sum),从而将前序建立的约束显式注入当前生成步。
损失函数 / 训练策略¶
在模型训练与评测网络校准阶段,所有基线模型(DoubleTake、FlowMDM、UniMotion)均从各自在 HumanML3D 上预训练的权重初始化,并在单张 NVIDIA RTX 6000 Ada GPU 上使用 ELMA 训练集(10.2k 条序列)在 T2M 或 A2M 模式下额外微调 50,000 步。为了确保评测指标在 ELMA 的长时序叙事分布上准确反映文本-动作对齐度,本文还使用 ELMA 训练集对评测网络(基于 HumanML3D 预训练的 Decomp_v3 AutoEncoder)进行了微调:将最大文本长度 max_text_len 扩展至 24,以 1024 的批大小和 \(1 \times 10^{-4}\) 的学习率训练文本-动作匹配任务 37 个 epoch。所有评测均重复运行 10 次并报告均值与 95% 置信区间。
实验关键数据¶
主实验¶
表 1 展示了主流长时序动作生成模型在 ELMABench 指代目标片段上的核心评测结果(对应原文 Table 2 与 Table 3 的整合对比)。其中 Zero-shot 表示直接使用 HumanML3D 预训练权重推理,T2M → T2M 表示在独立描述上训练与推理,T2M → A2M 表示用独立描述训练的模型直接零样本推理指代指令,A2M → A2M 表示使用 ELMA 指代标注及历史上下文加权注入进行微调与推理。
| 模型 (Method) | 训练 → 推理设置 (Setting) | FID \(\downarrow\) | R-Precision@3 \(\uparrow\) | Diversity \(\rightarrow\) | Matching Score \(\downarrow\) |
|---|---|---|---|---|---|
| Ground Truth | – | \(0.2141 \pm 0.0276\) | \(0.4799 \pm 0.0094\) | \(7.3122 \pm 0.1552\) | \(4.5282 \pm 0.0686\) |
| DoubleTake | Zero-shot (HumanML3D) | \(11.3440 \pm 0.1979\) | \(0.1242 \pm 0.0041\) | \(13.5424 \pm 0.0352\) | \(8.8547 \pm 0.0950\) |
| DoubleTake | T2M \(\rightarrow\) T2M | \(4.6364 \pm 0.1955\) | \(0.1888 \pm 0.0070\) | \(12.3785 \pm 0.0210\) | \(8.0698 \pm 0.0875\) |
| DoubleTake | T2M \(\rightarrow\) A2M | \(5.1573 \pm 0.2301\) | \(0.1841 \pm 0.0063\) | \(12.1788 \pm 0.0348\) | \(\mathbf{7.9091 \pm 0.1212}\) |
| DoubleTake | A2M \(\rightarrow\) A2M (Ours) | \(\mathbf{3.9539 \pm 0.1787}\) | \(\mathbf{0.1921 \pm 0.0072}\) | \(12.3355 \pm 0.0363\) | \(8.0973 \pm 0.1091\) |
| FlowMDM | Zero-shot (HumanML3D) | \(6.5967 \pm 0.1483\) | \(0.2335 \pm 0.0073\) | \(6.6178 \pm 0.0295\) | \(\mathbf{6.8434 \pm 0.0798}\) |
| FlowMDM | T2M \(\rightarrow\) T2M | \(1.6257 \pm 0.0817\) | \(0.4408 \pm 0.0076\) | \(5.2090 \pm 0.0323\) | \(7.7194 \pm 0.0864\) |
| FlowMDM | T2M \(\rightarrow\) A2M | \(1.9363 \pm 0.0906\) | \(0.4211 \pm 0.0060\) | \(5.3197 \pm 0.0313\) | \(7.6015 \pm 0.0952\) |
| FlowMDM | A2M \(\rightarrow\) A2M (Ours) | \(\mathbf{1.5287 \pm 0.0590}\) | \(\mathbf{0.4662 \pm 0.0083}\) | \(4.9234 \pm 0.0327\) | \(8.1161 \pm 0.1122\) |
| UniMotion | Zero-shot (HumanML3D) | \(21.6881 \pm 0.4150\) | \(0.1049 \pm 0.0028\) | \(3.7609 \pm 0.0626\) | \(11.3797 \pm 0.0261\) |
| UniMotion | T2M \(\rightarrow\) T2M | \(\mathbf{18.2404 \pm 0.2049}\) | \(\mathbf{0.1968 \pm 0.0038}\) | \(6.4662 \pm 0.0599\) | \(10.1040 \pm 0.0211\) |
| UniMotion | T2M \(\rightarrow\) A2M | \(18.3490 \pm 0.2047\) | \(0.1918 \pm 0.0053\) | \(6.4454 \pm 0.0757\) | \(\mathbf{10.0311 \pm 0.0285}\) |
| UniMotion | A2M \(\rightarrow\) A2M | \(19.0050 \pm 0.1546\) | \(0.1850 \pm 0.0034\) | \(\mathbf{6.5155 \pm 0.0569}\) | \(10.1076 \pm 0.0176\) |
消融实验¶
表 2 与表 3 分别展示了文本标注生成策略的消融对比(对应原文 Table 6,以专家校验的人工标注为参考基准)以及 ELMA 与现有主流动作数据集的特性对比(对应原文 Table 1)。
| 标注方法 (Caption Method) | 输入模态 (Input) | BERTScore \(\uparrow\) | ROUGE-L \(\uparrow\) | 说明 |
|---|---|---|---|---|
| Human Annotator | Video + BBox | \(0.9043\) | \(0.3167\) | 两位人类标注者平均得分(参考上限) |
| PoseFix | 3D Pose | \(0.8064\) | \(0.0346\) | 仅依赖姿态序列,缺乏场景与交互上下文 |
| PoseScript | 3D Pose | \(0.8252\) | \(0.1303\) | 规则/姿态驱动描述,难以捕捉高层语义 |
| Gemini-2.5-Flash | Video + BBox | \(0.8647\) | \(0.1581\) | 轻量级多模态模型独立分段标注 |
| Qwen2.5-VL Instruct | Video + BBox | \(0.8655\) | \(0.1809\) | 开源视觉语言模型独立分段标注 |
| Gemini-2.5-Pro | Video + BBox | \(0.8744\) | \(0.1719\) | 强多模态模型独立分段标注(无前序上下文) |
| Gemini-2.5-Pro + Episodic (Ours) | Video + BBox + 前序文本 | \(\mathbf{0.8758}\) | \(\mathbf{0.1797}\) | 引入前序片段条件重写,语义贴合度最高 |
| 数据集 (Dataset) | 片段数 (Clips) | 总时长 (Hours) | 平均时长 | 动作连续性 | 上下文关联描述 | 原子动作 | 并发动作 | 指代组合 (Anaphoric) |
|---|---|---|---|---|---|---|---|---|
| BABEL-TEACH | 13.2k | 43.5 | 11.9s | \(\times\) | \(\times\) | \(\checkmark\) | \(\times\) | \(\times\) |
| FineMotion | 29k | 57.18 | 7.04s | \(\times\) | \(\times\) | \(\checkmark\) | \(\checkmark\) | \(\times\) |
| CompMo | 60k | 664.67 | 39.9s | \(\times\) | \(\times\) | \(\checkmark\) | \(\times\) | \(\times\) |
| FrankenMotion | 16.1k | 39.07 | 8.74s | \(\checkmark\) | \(\times\) | \(\checkmark\) | \(\times\) | \(\times\) |
| OpenT2M | 1M+ | 2815 | 10.1s | \(\checkmark\) | \(\times\) | \(\checkmark\) | \(\checkmark\) | \(\times\) |
| ELMA (Ours) | 13.2k | 110 | 30.0s | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) | \(\checkmark\) |
关键发现¶
- 仅在推理时提供指代上下文会导致未微调模型性能退化:对比
T2M → T2M与T2M → A2M可以发现,当把包含跨片段依赖的 A2M 指令直接喂给常规 T2M 训练的模型时,DoubleTake 的 FID 从 \(4.6364\) 恶化至 \(5.1573\),FlowMDM 的 FID 从 \(1.6257\) 恶化至 \(1.9363\)(R-Precision@3 从 \(0.4408\) 降至 \(0.4211\))。这证明常规分段模型无法零样本解析指代省略或状态延续,仅靠推理期拼接历史文本反而会干扰单段语义提取。 - 在 ELMA 上进行 A2M 微调显著解锁了跨片段状态保持能力:经过
A2M → A2M微调后,DoubleTake 的 FID 降至 \(3.9539\)(相比T2M → A2M降低 \(23.3\%\)),FlowMDM 的 FID 达到最优的 \(1.5287\),且 R-Precision@3 提升至 \(0.4662\),接近真实动作上限(\(0.4799\))。定性实验(如“将剑举过胸前”后接“从胸前位置将剑高举”)同样证实微调后的 FlowMDM 能够准确继承前序片段建立的持剑起始姿态。 - 架构对文本嵌入的压缩方式决定了长程上下文的利用上限:UniMotion 是唯一在
A2M → A2M下未获得提升的模型(FID 从 \(18.2404\) 升至 \(19.0050\))。作者深入分析指出,这是因为 UniMotion 内部采用了基于 PCA 的文本嵌入降维压缩,严重损失了多片段加权融合后的细粒度历史约束信息,说明长时序指代生成要求模型具备无损保留长程文本条件的能力。 - ELMA 同时具备优异的领域内基础监督质量与可靠的自动标注精度:在标准 T2M 设置下(Table 3),使用 ELMA 微调相比 HumanML3D 零样本推理使 FlowMDM 的 FID 从 \(6.5967\) 大幅降至 \(1.6257\),DoubleTake 从 \(11.3440\) 降至 \(4.6364\)。此外,针对 50 个随机片段、3 名标注员的人类评估显示,GPT-4o 三轮一致性指代判定的准确率达 \(75\%\)(Gwet's AC1 = \(0.58\)),Gemini-2.5-Pro 叙事文本标注的准确率达 \(81\%\)(Gwet's AC1 = \(0.64\))。
亮点与洞察¶
- 切中多片段生成的“状态遗忘”盲区,将指代消解引入人体动作生成:以往长时序动作生成研究高度聚焦于片段交界处的运动学平滑过渡(如潜空间混合或混合位置编码),却忽视了多段指令在语言层面的跨片段语义耦合。本文将自然语言处理中的“指代(Anaphora)”概念形式化为动作生成中的姿态、持物与空间状态持续问题,直击数字人连续指令控制的核心痛点。
- “仅评测指代目标片段”的去稀释化基准设计:在 30 秒(6 个片段)的叙事序列中,并非每个片段都包含跨片段依赖。ELMABench 没有采用全序列笼统求平均的粗放做法,而是先用 GPT-4o 严格进行三轮一致性筛选定位出指代目标片段 \(\mathcal{T}\),并在评测时仅对 \(\mathcal{T}\) 内的生成切片计算指标,使基准分数纯粹反映模型解析跨片段依赖的能力。
- 基于动捕先验的野外长视频清洗范式具有极高复用价值:针对单目视频 3D 姿态估计在长序列上的累积误差,本文结合 VPoser 流形测地线重构误差(空间姿态合理性)与基于 AMASS 99% 分位数阈值的关节角突变及 Jerk 异常率(时间动力学平滑性),构建了一套无需人工干预的 3D 动作清洗流水线。这一范式可直接迁移至机器人全身模仿学习数据集构建、手语长视频 3D 重建等需要从野外视频大规模提取物理合理轨迹的任务。
局限与展望¶
- 多模态大模型细粒度视觉感知误差:作者指出,尽管 Gemini-2.5-Pro 在整体动作叙事上表现优异,但在处理复杂野外视频时仍会出现细粒度描述偏差,例如混淆人物的左手与右手,或漏检微小的手部物体交互细节,这会向训练集引入一定程度的文本-姿态噪声。
- 历史上下文融合机制较为初级:本文在适配基线模型时,仅对当前片段与所有前序片段的 CLIP 文本嵌入进行了简单的加权求和(Weighted Sum)。随着片段数量进一步增加(如扩展到数分钟乃至数十个片段),简单的线性加权会将远期无关动作与近期关键状态混作一谈,且受限于 CLIP 的固定上下文窗口与表征容量。
- 缺少显式的三维人体交互环境与物体几何建模:ELMA 中的许多跨片段指代涉及持物状态(如举杠铃、握剑),但当前数据集仅保留并转换成了 263 维纯人体骨骼运动表示(移除了 SMPL-X 体型参数 \(\beta\) 且未重建 3D 交互物体网格)。未来可结合 3D 人-物交互(HOI)重建与时序注意力机制,实现显式状态槽位(State Slot)记忆驱动的超长时序交互动作生成。
相关工作与启发¶
- vs BABEL-TEACH / FineMotion / OpenT2M:BABEL-TEACH 依赖粗粒度的动作类别标签;FineMotion 与 OpenT2M 虽然提供了丰富的文本描述或百万级规模的片段,但均对每个时间片段进行独立标注,缺失了跨片段的叙事上下文。本文的 ELMA 则从连续 30 秒无切镜野外视频出发,通过条件重写显式保留并标注了相邻及远距离片段间的指代依赖。
- vs DoubleTake / FlowMDM / DARTControl:DoubleTake 通过扩散双程混合实现片段过渡,FlowMDM 利用混合位置编码(Blended Positional Encodings)消除片段边界伪影,DARTControl 采用自回归扩散实现实时控制。这些方法在运动学层面实现了平滑拼接,但将每段文本视为独立条件;本文证明了在指代指令下仅靠运动学过渡无法维持前序姿态约束,必须结合 ELMA 式的跨片段叙事监督与上下文条件注入。
- vs UniMotion:UniMotion 致力于统一 3D 人体动作生成与理解,但其对文本特征采用的 PCA 降维压缩破坏了多片段上下文叠加后的语义细节,这一反面实验现象启发后续研究在设计长时序多模态条件编码器时,应避免有损的全局线性压缩,转而采用细粒度的 Token 级跨片段交叉注意力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次在长时序文本驱动动作生成中明确提出并系统形式化了跨片段指代组合(Anaphoric Composition)任务,精准填补了多段指令状态持续性研究的空白。
- 实验充分度: ⭐⭐⭐⭐ 构建了全自动清洗与标注流水线,对三种主流架构在零样本、独立训练、指代微调三种迁移设置下进行了严密对比,并附带了详尽的后处理统计与人工一致性验证。
- 写作质量: ⭐⭐⭐⭐⭐ 问题定义直观清晰,从任务形式化、数据集四步构建到基准切片评测逻辑严密,图表信息量大且易于复述。
- 价值: ⭐⭐⭐⭐ 提出的 ELMA 数据集、ELMABench 评测基准以及基于 AMASS 先验的野外长视频动作过滤管线,为连续可控数字人和长程具身动作建模提供了坚实的数据与评测基石。