Controllable Dynamic 3D Shape Generation via 3D Trajectories and Text¶

会议: NeurIPS 2026
arXiv: 2606.05162
OpenReview: https://openreview.net/forum?id=FxPg1mJLqX
领域: 3D生成与编辑
关键词: 动态3D生成、3D轨迹控制、扩散Transformer、Rectified Flow、网格形变

一句话总结¶

提出 T2Mo 前向动态 3D 形状生成框架，通过结合高层文本语义与稀疏 3D 空间轨迹引导，利用形状扎根轨迹嵌入消除条件泄漏，实现了几何保真且高度可控的逐顶点网格运动合成。

研究背景与动机¶

动态三维形状生成在虚拟现实、游戏制作与三维影视动画等领域具有广泛需求。随着前向生成模型（如 TripoSG、Craftsman3d、Hunyuan3d 2.5）的快速发展，动态三维生成逐渐从计算昂贵且容易出现多头退化（Janus 问题）的二维分数蒸馏采样（SDS）转向端到端生成架构。部分最新研究（如 AnimateAnyMesh、BiMotion）进一步将任务解耦为静态几何资产创建与逐顶点时序位移场预测两个阶段，显著提升了动画网格的生成效率与几何稳定性。然而，单纯依赖自然语言文本提示词来驱动动态形变存在天然的语义模糊性，用户难以仅凭一两句描述精确指定局部肢体在特定时间段内的空间位移路径与运动幅度。

这种控制力缺失的核心矛盾在于：文本提示词擅长表达全局动作类别，却无法提供点级别的时空坐标约束；而视频生成中广泛使用的二维像素轨迹或人体骨骼运动学约束，又因缺乏表面几何关联或强绑定于特定骨架拓扑，无法直接泛化到任意拓扑的通用三维物体网格。若简单将稀疏的三维点轨迹作为独立序列输入网络，由于缺乏全局表面拓扑参考，局部的轨迹特征极易在非目标几何区域发生空间“泄漏”，造成整网格的非预期畸变与假影。

本文的切入角度是：直接以三维网格表面点的三维运动轨迹作为直观交互接口，并将任意配置的稀疏输入轨迹通过表面锚点绑定与几何特征拼接，投影至覆盖整个物体表面的固定尺寸形状感知 token 空间。核心 idea：提出 T2Mo 框架，将高层文本语义与三维点轨迹作为互补条件，通过形状扎根轨迹嵌入（Shape-Grounded Trajectory Embedding）将任意稀疏轨迹绑定到全表面几何锚点上，并在 DiT 骨干中结合门控注意力与不对称无分类器引导，实现精准可控且高动态度的时序三维网格形变生成。

方法详解¶

整体框架¶

T2Mo 旨在根据静态源网格 \(\mathcal{M}_0 = (\mathbf{V}_0, \mathbf{F}_0)\)、高层文本提示词 \(y\) 以及一组用户指定的稀疏 3D 点轨迹 \(\mathcal{T} = \{\tau_k\}_{k=1}^K\)，预测在 \(T\) 个时间步上的逐顶点位移序列 \(\Delta\mathbf{V}_{1:T} = \{\Delta\mathbf{V}_t\}_{t=1}^T\)（其中 \(\Delta\mathbf{V}_t \in \mathbb{R}^{N \times 3}\)），从而重构出连续运动的三维网格序列 \(\mathcal{M}_t = (\mathbf{V}_0 + \Delta\mathbf{V}_t, \mathbf{F}_0)\)。

整个架构由三个核心阶段串联构成：首先，采用冻结的双流 VAE 分别提取静态源网格几何隐变量 \(\mathbf{z}_{\text{shape}}\) 与时序位移潜变量 \(\mathbf{z}_{\text{traj}}\)；其次，输入轨迹集合经过“形状扎根轨迹嵌入”模块，通过锚点最远点采样与局部几何特征拼接，构建固定长度 \(N_{\text{anchor}}=64\) 的形状感知轨迹条件 token \(\mathbf{C}_{\text{traj}}\)；最后，基于 12 层 DiT 的生成骨干网以 Rectified Flow 形式迭代去噪，通过零初始化门控交叉注意力平滑融入轨迹条件，并通过不对称无分类器引导（仅对文本分支应用 CFG）求解常微分方程（ODE），最终通过 VAE 解码器输出高保真逐顶点运动。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入条件<br/>静态源网格 M0 + 稀疏 3D 轨迹 T + 文本提示词 y"] --> S1["形状扎根轨迹嵌入<br/>锚点最远点采样 + 局部几何与轨迹特征拼接"]
    S1 --> S2["门控交叉注意力与条件解耦<br/>12 层 DiT 骨干网 + 零初始化门控残差注入"]
    S2 --> S3["两阶段渐进稀疏化训练与抗噪增强<br/>稠密至稀疏退火 + 高斯噪声与滤波数据增强"]
    S3 --> S4["不对称分类器自由引导推理<br/>仅引导文本分支速度场 + 解码时序逐顶点位移"]
    S4 --> Out["输出结果<br/>高保真可控动态 3D 网格序列 {Mt}"]

关键设计¶

1. 形状扎根轨迹嵌入：构建全覆盖几何锚点消除条件泄漏

直接将每条用户轨迹作为独立 token 输入（per-trajectory embedding）会丢失底层的表面几何拓扑，导致模型无法定位未被施加轨迹约束的自由区域，造成运动控制信号跨越部件泄漏到无关肢体。为克服这一缺陷，本文在网格表面定义了固定数量 \(N_{\text{anchor}} = 64\) 的表面锚点集合 \(\{(\mathbf{s}_i, \mathbf{n}_i)\}_{i=1}^{N_{\text{anchor}}}\)，每个锚点由表面三维坐标与法向量组成。具体构建时采用锚点最远点采样机制（Anchored Farthest Point Sampling, AFPS）：首先将给定的 \(K = |\mathcal{T}|\) 条轨迹的初始位置 \(\{\mathbf{p}_{k,0}\}_{k=1}^K\) 作为前 \(K\) 个轨迹锚点（若不在网格顶点上则吸附至最近表面点），随后以这些点为种子在网格顶点上执行最远点采样补齐剩余的 \(N_{\text{anchor}} - K\) 个锚点，从而均匀覆盖未施加控制的整体网格几何。

对于每个锚点 \(i\)，若其对应用户给定的输入轨迹（\(i \le |\mathcal{T}|\)），则通过冻结的轨迹编码器提取轨迹特征 \(\mathbf{e}_i = \mathcal{E}_{\text{traj}}(\tau_i)\)；若属于补齐采样的自由锚点，则赋予可学习的空嵌入 \(\mathbf{e}_i = \mathbf{e}_{\varnothing}\)。最终将几何编码器输出的局部几何特征与轨迹嵌入在通道维拼接，经由多层感知机（MLP）映射生成形状感知的轨迹条件矩阵：

\[\mathbf{c}_i = \mathrm{MLP}\big(\mathrm{concat}(\mathcal{E}_{\text{shape}}(\mathbf{s}_i, \mathbf{n}_i),\, \mathbf{e}_i)\big),\quad \mathbf{e}_i = \begin{cases} \mathcal{E}_{\text{traj}}(\tau_i) & \text{若 } i \le |\mathcal{T}|, \\ \mathbf{e}_{\varnothing} & \text{其他.} \end{cases}\]

所得矩阵 \(\mathbf{C}_{\text{traj}} \in \mathbb{R}^{N_{\text{anchor}} \times D}\) 具有固定的 token 维度，不仅从结构上解耦了输入轨迹数量的不确定性，而且通过局部几何显式约束了控制信号的空间作用域，保证了严格的几何局部性。

2. 门控交叉注意力与条件解耦：平滑融入空间控制并保持独立表征

在以文本与静态几何为基础的生成先验中强行注入空间轨迹控制极易破坏原有的语义连续性。为此，生成骨干基于 12 层 DiT 架构，并引入门控交叉注意力机制（Gated Cross-Attention）将轨迹条件注入隐藏层状态：

\[\mathbf{h} \leftarrow \mathbf{h} + \tanh(\alpha) \cdot \mathrm{Attn}(\mathbf{Q}_{\mathbf{h}}, \mathbf{K}_{\text{traj}}, \mathbf{V}_{\text{traj}})\]

其中 \(\mathbf{Q}_{\mathbf{h}} = \mathbf{h}\mathbf{W}_q\)，\(\mathbf{K}_{\text{traj}} = \mathbf{C}_{\text{traj}}\mathbf{W}_k\)，\(\mathbf{V}_{\text{traj}} = \mathbf{C}_{\text{traj}}\mathbf{W}_v\)。标量门控参数 \(\alpha\) 在训练伊始被初始化为 0（使 \(\tanh(\alpha) = 0\)），使得 DiT 骨干在训练初期完全保留预训练的文本-几何运动生成能力，随后随着权重更新平滑过渡并激活轨迹引导。

此外，为确保极稀疏轨迹特征不被全局聚合稀释，在利用预训练 VAE 编码轨迹条件时，论文特意禁用了原始实现中轨迹流与形状流之间的交叉注意力权重共享。关闭该共享后，轨迹流能够独立且并行地提取每条时序路径特征，消除了不同轨迹之间的交叉干扰，并防止大量空嵌入 \(\mathbf{e}_{\varnothing}\) 冲淡真实轨迹的特征强度。

3. 两阶段渐进稀疏化训练与抗噪增强：弥合密集训练与稀疏粗糙交互的鸿沟

真实用户交互提供的轨迹往往极度稀疏（通常仅 1~2 条或至多 4~5 条）且带有笔画抖动与粗糙航路点。若直接用极稀疏轨迹从头训练，模型难以建立全局形变规律；若仅用稠密规整轨迹训练，模型在推理时对稀疏粗糙输入的泛化能力极差。为此，论文设计了课程学习机制与针对性的交互数据增强策略：

在训练策略上，第一阶段在全部 \(N_{\text{anchor}}\) 个锚点上均分配真实轨迹进行密集引导训练，建立局部路径与逐顶点运动之间的基础映射；第二阶段实施渐进稀疏化，在每批次中随机抽取 \(n \in [n_{\text{min}}, n_{\text{max}}]\) 条轨迹，并将 \(n_{\text{max}}\) 从 \(N_{\text{anchor}}\) 逐步退火至 \(n_{\text{min}}\)。为了避免随机采样抽中静止不动或近乎无位移的平庸顶点，训练中引入了运动幅度偏置采样：以 \(\rho = 0.7\) 的比例强制从运动位移排名前 30% 的高动态顶点中抽样，剩余 30% 均匀随机抽样。

在数据增强上，专门面向条件轨迹施加扰动：在归一化坐标空间 \([-0.9, 0.9]\) 内对航路点注入高斯噪声，并通过端点保留的时间维随机下采样减少路径点数，再通过一维时间高斯核平滑抑制高频抖动。这一系列设计使得模型即便面对仅含 4 个离散航路点的粗糙折线，也能平稳重构出自然逼真的连贯形变。

一个完整示例¶

以驱动静态角色模型做“踢腿”动作为例： 1. 交互输入：用户选定右脚足尖顶点作为起始锚点，随手绘制一条向上弧形摆动的 3D 粗糙轨迹（仅包含 4 个离散空间坐标点），并输入文本提示词 "a person kicking leg forward"。 2. 锚点构建：系统将足尖坐标吸附为第 1 个轨迹锚点，并在角色的左腿、双臂、躯干等全表面通过最远点采样补齐剩余 63 个自由锚点。第 1 个锚点融合足尖局部几何与编码后的 3D 弧线特征，其余 63 个锚点则拼接各自的表面几何特征与空嵌入 \(\mathbf{e}_{\varnothing}\)。 3. 特征注入与去噪：DiT 骨干网接收高斯噪声隐变量，文本分支提取全局踢腿动作的语义上下文，轨迹分支则通过门控交叉注意力精确约束右腿的位移方向与向上摆动高度，其余部位根据文本先验自发产生自然的身体平衡协同晃动。 4. 位移解码：求解 Rectified Flow 常微分方程后，VAE 解码器将潜变量还原为 \(T=16\) 帧的三维逐顶点位移场，右腿精确沿用户绘制的弧线展开踢击，而上半身与左腿自然配合，无任何肢体撕裂或无关区域异常抽搐。

损失函数 / 训练策略¶

模型采用 Rectified Flow 生成建模目标。给定由标准高斯噪声 \(\mathbf{z}_0 \sim \mathcal{N}(\mathbf{0}, \mathbf{I})\) 与真实潜在位移编码 \(\mathbf{z}_1\) 线性插值构建的加噪隐变量 \(\hat{\mathbf{z}}_s = (1-s)\mathbf{z}_0 + s\mathbf{z}_1\)（时间步标量 \(s \sim \mathcal{U}(0, 1)\)），DiT 网络参数化速度场 \(\mathbf{v}_\theta\)，通过最小化速度匹配均方误差进行端到端优化：

\[\mathcal{L} = \mathbb{E}_{\mathbf{z}_0, \mathbf{z}_1, s, \mathbf{C}}\left[\big\|\mathbf{v}_\theta(\hat{\mathbf{z}}_s, s, \mathbf{C}) - (\mathbf{z}_1 - \mathbf{z}_0)\big\|_2^2\right]\]

其中联合条件集合 \(\mathbf{C} = \{\mathbf{C}_{\text{traj}}, \mathbf{C}_{\text{text}}, \mathbf{C}_{\text{shape}}\}\)。

在推理生成阶段，模型求解对应的确定性常微分方程（ODE）。为兼顾生成多样性与条件忠实度，论文提出了不对称无分类器引导策略（Asymmetric Classifier-Free Guidance）：仅对高层文本分支应用 CFG，而保持轨迹条件无引导外推：

\[\mathbf{v}_\theta^{\text{cfg}} = \mathbf{v}_\theta^{\text{traj}} + \gamma \cdot (\mathbf{v}_\theta^{\text{both}} - \mathbf{v}_\theta^{\text{traj}})\]

其中引导比例设定为 \(\gamma = 3.0\)。这一设计极其关键：空间轨迹本身已具备确定性的三维物理尺度与位移幅度，若对轨迹分支施加引导外推，会导致运动位移被过度放大从而引起几何网格剧烈撕裂；不对称设计既放大了文本所蕴含的复杂动态风格，又保证了网格顶点对轨迹路径的严格物理贴合。

实验关键数据¶

主实验¶

定量评估在来自 Objaverse 与 Sketchfab 的 30 个代表性动画网格测试集上展开。对比基线包括两类：纯文本驱动的动态 3D 网格生成基线（AnimateAnyMesh、BiMotion），以及基于“可控视频生成 + 视频转动态网格”的级联方案（采用 Tora 结合 ActionMesh 或 Motion 3-to-4）。为严格贴合真实交互场景，测试时每例物体最多仅提供 5 条稀疏轨迹，并通过预定义的规则化聚类算法自动抽取，杜绝任何人工挑选。

评价指标涵盖：VBench 核心子项（综合一致性 OC、美学质量 AQ、动作平滑度 MS、动态度 DD）、平均动作距离（AMD，衡量顶点帧间位移幅度），以及 30 人参与的五分制用户主观调研（提示词对齐度 PA、动作真实性 MP、动作表现力 ME）。对于具备轨迹输入的方案，还引入了 3D 世界坐标与 2D 像素投影下的平均位移误差（ADE）与终点位移误差（FDE）。

方法	条件输入	用户调研 PA ↑	用户调研 MP ↑	用户调研 ME ↑	VBench OC ↑	VBench AQ ↑	VBench MS ↑	VBench DD ↑	运动幅度 AMD ↑
AnimateAnyMesh	文本	2.170	2.667	2.560	0.168	0.539	0.992	0.585	0.043
BiMotion	文本	2.657	3.040	2.813	0.170	0.536	0.991	0.329	0.046
Ours (T2Mo)	文本 + 轨迹	4.507	4.067	4.340	0.175	0.544	0.984	0.743	0.147

与级联式视频方案的详细轨迹跟踪误差与生成指标对比如下：

方法	\(\text{ADE}_{\text{3D}} \downarrow\)	\(\text{FDE}_{\text{3D}} \downarrow\)	\(\text{ADE}_{\text{2D}} \downarrow\)	\(\text{FDE}_{\text{2D}} \downarrow\)	用户 PA ↑	用户 MP ↑	用户 ME ↑	VBench OC ↑	VBench AQ ↑	VBench DD ↑	AMD ↑
Tora + ActionMesh	0.791	0.734	92.55	83.52	1.780	1.687	2.040	0.171	0.506	0.486	0.052
Tora + Motion 3-to-4	0.605	0.675	69.19	77.64	1.940	1.800	1.903	0.166	0.522	0.486	0.042
Ours (T2Mo)	0.089	0.071	12.52	8.52	4.577	4.177	4.437	0.175	0.544	0.743	0.147

消融实验¶

为验证形状扎根轨迹嵌入各设计组件的有效性，论文对比了朴素逐轨迹编码（Per-traj. emb.）、补零定长编码（Null padding）以及锚点数量设置。

配置 / 变体	\(\text{ADE}_{\text{3D}} \downarrow\)	\(\text{FDE}_{\text{3D}} \downarrow\)	VBench OC ↑	VBench AQ ↑	VBench MS ↑	VBench DD ↑	说明
Per-traj. emb.	0.159	0.124	0.173	0.541	0.985	0.771	缺乏几何覆盖，轨迹误差大且控制严重泄漏
Null padding	0.101	0.080	0.174	0.540	0.984	0.743	仅消除稀疏长度波动，仍缺乏网格局部几何定位
Ours (\(N_{\text{anchor}}=64\))	0.089	0.071	0.175	0.544	0.984	0.743	完整模型：形状几何扎根，轨迹误差最低
Ours (\(N_{\text{anchor}}=32\))	0.091	0.070	0.176	0.548	0.984	0.714	锚点偏少，动态表现力略有收敛
Ours (\(N_{\text{anchor}}=128\))	0.092	0.074	0.175	0.544	0.984	0.714	性能保持稳健，计算量略增
Ours (\(N_{\text{anchor}}=256\))	0.090	0.071	0.176	0.543	0.984	0.743	指标基本持平，验证锚点超参鲁棒性

针对用户交互时轨迹粗糙退化的压力测试（Stress Test）结果如下：

轨迹输入类型	\(\text{ADE}_{\text{3D}} \downarrow\)	\(\text{FDE}_{\text{3D}} \downarrow\)	VBench OC ↑	VBench AQ ↑	VBench MS ↑	VBench DD ↑	说明
原始完整轨迹	0.089	0.071	0.175	0.544	0.984	0.743	基准性能
均匀下采样 (\(N=8\))	0.093	0.080	0.174	0.544	0.985	0.729	航路点减半，误差仅微幅上升
极度下采样 (\(N=4\))	0.121	0.090	0.174	0.543	0.986	0.700	仅剩 4 个粗糙拐点，依然维持稳定运动合成
高斯噪声扰动 (\(\sigma=0.05\))	0.093	0.075	0.175	0.544	0.984	0.743	对中等坐标抖动展现极佳容忍度
高斯噪声扰动 (\(\sigma=0.10\))	0.100	0.085	0.174	0.542	0.984	0.743	强噪声下仍能顺滑生成意图动作

关键发现¶

直接控制压倒单纯语义：纯文本基线虽然在动作平滑度（MS）上略高（0.991~0.992），但其平均动作幅度极低（AMD 仅 0.043~0.046），说明其高平滑度本质上源自近乎静止的保守输出；而 T2Mo 在 AMD 上达到了 0.147（提升超过 3 倍），动态度 DD 从 0.329 跃升至 0.743，同时保持了极佳的几何自然度。
级联式方案存在严重的跨模态误差累积：先通过视频模型生成带轨迹视频、再通过多视角/网格拟合提取动态三维的级联方案，其 3D 轨迹跟踪误差（ADE 0.605~0.791）相比 T2Mo（0.089）高出近一个数量级。二维像素遮挡与网格拓扑重建失败导致物体在运动中结构严重崩塌。
几何锚点是消除空间泄漏的关键：消融实验显示，缺乏几何锚点的朴素逐轨迹编码不仅轨迹误差几乎翻倍（0.159 vs 0.089），更会在可视化中导致未指定轨迹的肢体发生非预期的剧烈抖动与扭曲。

亮点与洞察¶

将连续表面几何锚点作为空间桥梁：巧妙地利用最远点采样在三维表面建立固定集合，并将轨迹条件转化为表面局部的特征附着，优雅地解决了用户输入轨迹“数量不固定、空间分布极稀疏”导致的网络输入不规则难题。
不对称 CFG 调控机制：揭示了连续物理位移条件与离散语义文本条件在生成引导上的本质差异——对具备物理尺度的轨迹不做外推放大，仅对文本分支进行引导，既激发了动态表现力，又避免了网格撕裂。
衍生应用的极高通用性：得益于点轨迹这一拓扑无关（topology-agnostic）的表示形式，T2Mo 可直接无缝扩展到交互式动作微调、少量航路点修改的动作编辑，乃至仅需在不同骨架拓扑间手动选取 3 个语义对应点即可完成的无监督跨网格动作迁移。

局限与展望¶

恒定网格拓扑假设：模型基于源网格的逐顶点位移预测构建时序形变，严格假定所有时间步中网格的顶点拓扑连接关系不变。对于涉及拓扑分裂、流体破碎、布料撕裂或新部件涌现的高动态场景目前无法建模。
大幅度复杂自碰撞处理不足：当用户施加互相冲突或穿透性的极度扭曲轨迹时，网络缺乏显式的物理碰撞惩罚机制，偶发局部网格表面自交现象。
未来方向：未来可探索将形状扎根轨迹嵌入迁移至逐帧高斯或隐式神经表面生成管线中，在支持拓扑变化的同时保留精确的三维轨迹可控性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以通用 3D 轨迹驱动任意网格非刚体形变生成，并提出形状扎根轨迹嵌入优雅解决稀疏空间泄漏。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2 类基线（纯文本与级联视频）、VBench 多维评测、双空间轨迹对齐误差、30人用户调研与严密的退化压力测试。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，问题阐述深入本质，动机、机制与实验分析论证严密。
价值: ⭐⭐⭐⭐⭐ 为 3D 数字资产交互式动画制作、游戏虚拟人驱动与动作迁移提供了实用且高质量的前向生成范式。