TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control¶

会议: NeurIPS 2026
arXiv: 2607.00861
代码: https://github.com/Sela-Omer/traj-loc
领域: video_generation
关键词: 图像到视频扩散模型、多目标运动控制、轨迹注意力定位、稀疏条件注入、身份一致性

一句话总结¶

TrajLoc 抛弃了将稀疏轨迹膨胀为稠密控制张量的传统范式，直接在扩散模型交叉注意力层中用高斯热图覆盖物体 Token 的权重列，并辅以专用的轨迹自编码嵌入与首帧外观 Token，在零额外稠密参数下实现了高保真、强抗遮挡的多目标复杂运动控制。

研究背景与动机¶

现代视频扩散模型在逼真度与动态连贯性上取得了巨大突破，但在多智能体互动、自动驾驶仿真以及具身机器人合成等关键下游场景中，如何让多个主体分别遵循互不相同的预定轨迹运动，同时严谨保持各自的视觉外观与身份，依然是一项极具挑战性的开放难题。当场景中的受控对象数量增加、运动路径发生交叠、甚至频繁出现相互遮挡时，现有模型往往迅速退化，出现严重的身份混淆、漂移甚至主体凭空消失。

这一困境的根本症结在于现有方法对控制信号的表征方式存在范式缺陷。用户给出的轨迹输入本质上是极度稀疏的（每个物体在每一帧仅由一组 2D 坐标决定，整个视频只需至多 $2T$ 个标量），但现有工作（如 Tora、Motion Prompting、LeviTor、Wan-Move、ATI 等）普遍选择将该稀疏信号强行膨胀为与视频同等分辨率的时空稠密张量（$T \times H \times W \times C$）。这些稠密张量要么通过 3D VAE 栅格化为运动补丁，要么通过 ControlNet 式外部编码器提取特征体积。一旦多条轨迹在同一空间网格内交错融合成单一稠密信号，物体级的语义对应关系便不可避免地发生缠绕与模糊，且额外引入了庞大的参数开销与显存占用，大幅削弱了跨不同 DiT 骨干网络的迁移通用性。

本文的切入视角是：控制信号无需离开模型已有的条件空间，极稀疏的轨迹信息完全足以驱动高精度的多目标协同生成。扩散模型原生的文本跨注意力机制与词嵌入空间本身就天然具备承载空间偏置与实例属性的潜力。核心 idea：直接在视频扩散模型的注意力层中将目标物体的注意力权重列替换为基于目标轨迹的时空高斯热图以施加强制空间约束，并在文本 prompt 空间中分别注入经自编码对齐的轨迹运动 Token 与首帧外观 Token，实现无稠密张量介入、随物体数量线性解耦扩展的多目标精准控制。

方法详解¶

整体框架¶

TrajLoc 建立在预训练图像到视频（I2V）扩散模型之上，整体输入包括首帧图像以及 $N$ 个物体的类别标签 $o_i$ 与目标轨迹 $\tau_i(t) = (x_i(t), y_i(t), d_i(t))$（其中 $(x_i, y_i)$ 为质心归一化坐标，$d_i$ 为相对深度）。系统首先构造结构化文本指令 "Scene where $o_0$ moves [\text{traj}_0] and $o_1$ moves [\text{traj}_1] ..."。

在条件注入阶段，模型从两个解耦的层次介入：在语义与属性层面，专用的轨迹自编码器将每条时序轨迹与深度压缩为单个连续向量 $\langle\text{traj}_i\rangle$，替换占位符 [\text{traj}_i]；同时，外观编码器从首帧 VAE 特征图中提取目标初始位置的视觉补丁并映射为外观嵌入 $e_{o_i}$，替换通用类别词 $o_i$。在空间结构层面，在扩散骨干网络的所有注意力层中，直接将对应物体 Token 的跨注意力列权重强制替换为以 $(x_i(t), y_i(t))$ 为中心的 2D 高斯时空热图，从而将物体生成区域严格约束在指定轨迹点周围。整体数据流如下图所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：首帧图像 + N条稀疏轨迹 τ_i(t)"] --> B["构建结构化文本指令<br/>'Scene where o_i moves [traj_i]...'"]
    A --> C["外观编码器 Enc_app<br/>首帧 VAE 潜在特征在初始坐标采样"]
    A --> D["轨迹编码器 Enc_traj<br/>时空坐标与深度 1D-CNN 压缩"]
    C -->|生成外观嵌入 e_oi| E["文本条件空间 Token 替换"]
    D -->|生成轨迹嵌入 ⟨traj_i⟩| E
    B --> E
    E --> F["I2V DiT 骨干网络（如 WaN 2.1 / CogVideoX）"]
    A -->|首帧及噪声潜变量| F
    F --> G["注意力权重列替换<br/>时空高斯热图覆盖物体 Token 注意力列"]
    G --> H["输出：严格遵循轨迹的多目标连贯视频"]

关键设计¶

1. 注意力权重列替换：消除稠密张量耦合的硬性空间引导 以往基于引导梯度或软性掩码的注意力调控无法在复杂动态交叠时提供足够的约束强度，而稠密特征融合又容易导致目标混乱。TrajLoc 选择在自注意力或跨注意力矩阵内部执行列替换。对于具有显式跨注意力机制的网络（如 WaN 2.1），令视频查询与文本键值的标准跨注意力矩阵为 $\mathbf{A} = \text{softmax}(d^{-1/2} \mathbf{Q}_{\text{vid}} \mathbf{K}_{\text{txt}}^\top) \in \mathbb{R}^{M \times L}$（$M$ 为视频时空 patch 数，$L$ 为文本 Token 数）。对于每个受控物体 $i$，首先在视频网格上以其各帧真实坐标 $(x_i(t), y_i(t))$ 构建方差为 $\sigma=30$ 像素的 2D 各向同性高斯热图，经双线性重采样与每帧求和归一化后拉平为时空热图向量 $\mathbf{h}_i \in \mathbb{R}^M$。随后直接找到物体 Token $o_i$ 在 $\mathbf{A}$ 中对应的列索引 $q_i$，用 $\mathbf{h}_i$ 硬性覆盖该列，并沿行重新归一化： $$ \mathbf{A}'[m, q_i] \leftarrow \mathbf{h}i[m], \qquad \mathbf{A}'[m, :] \leftarrow \mathbf{A}'[m, :] \,/\, \sum'[m, k] $$ 最终输出通过 }^L \mathbf{A$\mathbf{O}' = \mathbf{A}' \mathbf{V}_{\text{txt}}$ 计算。由于每个物体的注意力列互相独立，多目标扩展时不存在张量串扰。针对 CogVideoX 等联合自注意力（Joint Self-Attention）架构中注意力全矩阵达 30GB、无法显式实例化的硬件瓶颈，论文推导了基于两次标准 SDPA 调用的等价近似分解（2-SDPA）： $$ \mathbf{O}{\text{vid}}^{\text{2sdpa}}[m] = (1 - H[m])\,\text{SDPA}(\mathbf{Q}}}, \mathbf{K{\mathcal{U}}, \mathbf{V}[q_i] $$ 其中 }})[m] + \sum_{i=1}^N \mathbf{h}_i[m] \mathbf{V$\mathcal{U}$ 为非受控 Token 索引集合，$H[m] = \sum_i \mathbf{h}_i[m]$。该形式无需显式存储全矩阵，仅需约 2 倍注意力计算开销即可保留完整的列替换语义。

2. 文本空间轨迹自编码器：穿透冻结文本编码器的连续时空表征 注意力热图仅能提供 2D 平面位置的强先验，无法表征物理深度前后遮挡关系与瞬时运动速率。为将连续运动信号无缝注入文本流，论文设计了专用的轻量级轨迹编码器 $\text{Enc}_{\text{traj}}$。输入由 $T \times 4$ 的多维序列构成，包括每帧坐标 $(x_i(t), y_i(t), d_i(t))$ 及归一化时间戳 $p(t) = (t-1)/(T-1)$。编码器通过 3 层步长为 2 的 1D 卷积逐步下采样时间维并扩展通道（$4 \to 64 \to 128 \to 256$），经展平后由两层 MLP 投影至目标文本空间维度（如 T5-XXL 的 4096 维）。为了使轨迹语义在进入扩散骨干网络之前不被冻结文本编码器（Frozen Text Encoder）的深层自注意力破坏，模型在预训练阶段引入对称反卷积解码器，构建穿透式自编码任务： $$ \mathcal{L}_{\text{traj}} = \text{MSE}(\hat{\tau}i, \tau_i) + \lambda_i, \Delta \tau_i) $$ 通过额外惩罚一阶差分速度误差 }}\,\text{MSE}(\Delta \hat{\tau$\Delta \tau_i^t = \tau_i^t - \tau_i^{t-1}$，强制单个 Token 隐空间同时编码空间位置、深度位移与运动动量。预训练完成后舍弃解码器并将 $\text{Enc}_{\text{traj}}$ 完全冻结。

3. 基于首帧潜变量的外观特征编码：解耦多实例类别歧义的身份锚定 在文本提示中，通用类别名称（如 "girl", "pedestrian"）无法区分同一画面中的不同个体，极易导致多个同类目标在运动中发生外观趋同。外观编码器 $\text{Enc}_{\text{app}}$ 从输入首帧的 VAE 潜在表征 $V_0 \in \mathbb{R}^{16 \times 60 \times 90}$ 出发，通过 3 层 2D 卷积提取密集外观特征图 $\mathbf{z}^{\text{app}} \in \mathbb{R}^{8 \times 30 \times 45}$。针对目标 $i$，根据其首帧起始坐标 $(x_i^1, y_i^1)$ 进行特征索引采样，并通过单层线性层投影至文本嵌入空间得到 $e_{o_i} = W_{\text{app}} \mathbf{z}^{\text{app}}[x_i^1, y_i^1, :]$。该嵌入直接替换经过文本编码器后的对应词向量，并完成方差归一化以对齐文本分布。这使得模型在训练初期即可将具体个体的局部纹理特征精准绑定到相应的运动轨迹上。

损失函数 / 训练策略¶

在预训练完成轨迹编码器后，固定扩散骨干网络的绝大部分基础权重，仅对注意力层施加 LoRA 微调（rank 64, $\alpha_{\text{LoRA}}=64$），并与外观编码器 $\text{Enc}_{\text{app}}$ 联合端到端优化。训练总目标结合了全图标准流匹配（Flow-Matching）扩散损失 $\mathcal{L}_{\text{diff}}$ 与针对目标边界框区域聚焦的重构惩罚 $\mathcal{L}_{\text{bbox}}$： $$ \mathcal{L} = (1 - \alpha)\mathcal{L}{\text{diff}} + \alpha \mathcal{L} $$ 其中权重设为 }$\alpha = 0.5$。训练阶段注意力列直接由真实轨迹生成的时空高斯热图强制覆盖，促使 DiT 网络充分适应并信任这一外部注意力拓扑结构。整个微调流程在仅约 25K 段纯合成视频片段（MOTSynth、MoVi-Extended、Pool、Football）上完成。

实验关键数据¶

主实验¶

论文在两套截然不同的主流视频扩散骨干（WaN 2.1-14B 与 CogVideoX-5B）上评估，涵盖合成物理基准（MoVi-Extended、Pool、Football）、高密度合成行人集（MOTSynth，含至多 20 个目标），以及未见过的真实世界监控与通用视频分布（MOT17、DAVIS）。对比基线涵盖 Tora、MagicMotion、Wan-Move、ATI。下表汇总了各数据集的核心量化指标对比（以 PSNR、LPIPS、FVD、端点误差 EPE 衡量）：

数据集	骨干网络	评估方法	PSNR (dB) ↑	LPIPS ↓	FVD ↓	EPE (像素) ↓
MoVi-Extended (合成多物体)	WaN 2.1-14B	ATI	20.33	0.355	37.50	2.01
	WaN 2.1-14B	Wan-Move	19.73	0.331	40.38	2.18
	WaN 2.1-14B	TrajLoc (Ours)	29.24	0.131	23.39	0.57
	CogVideoX-5B	Tora	20.87	0.336	50.91	1.50
	CogVideoX-5B	MagicMotion	19.79	0.293	44.67	1.92
	CogVideoX-5B	TrajLoc (Ours)	29.77	0.108	14.98	0.53
MOTSynth (合成高密度行人)	WaN 2.1-14B	ATI	17.76	0.395	62.32	8.61
	WaN 2.1-14B	Wan-Move	18.29	0.354	54.29	3.60
	WaN 2.1-14B	TrajLoc (Ours)	21.39	0.244	41.43	2.11
	CogVideoX-5B	Tora	19.20	0.346	70.84	2.91
	CogVideoX-5B	MagicMotion	21.17	0.258	43.07	2.61
	CogVideoX-5B	TrajLoc (Ours)	22.34	0.232	39.70	2.32
MOT17 (真实监控 OOD)	WaN 2.1-14B	ATI	17.05	0.416	65.35	4.28
	WaN 2.1-14B	Wan-Move	16.27	0.405	60.20	3.41
	WaN 2.1-14B	TrajLoc (Ours)	19.94	0.277	51.46	2.17
	CogVideoX-5B	Tora	17.76	0.400	113.90	2.70
	CogVideoX-5B	MagicMotion	19.88	0.307	56.13	3.38
	CogVideoX-5B	TrajLoc (Ours)	21.59	0.265	53.92	2.37
DAVIS (真实通用动态 OOD)	WaN 2.1-14B	ATI	14.68	0.443	104.90	14.02
	WaN 2.1-14B	Wan-Move	15.86	0.352	85.51	4.96
	WaN 2.1-14B	TrajLoc (Ours)	18.30	0.301	88.37	2.31
	CogVideoX-5B	Tora	17.25	0.329	75.78	3.16
	CogVideoX-5B	MagicMotion	17.74	0.294	70.77	3.68
	CogVideoX-5B	TrajLoc (Ours)	18.39	0.267	89.39	2.43

消融实验¶

论文在 WaN 2.1-14B 上针对四个核心模块展开了严格的逐步剥离分析（基于四个分布内数据集），下表汇总了在 MoVi 与 MOTSynth 上的具体消融表现：

配置	MoVi PSNR ↑	MoVi EPE ↓	MOTSynth PSNR ↑	MOTSynth EPE ↓	机制说明
完整模型 (Full Model)	29.24	0.57	21.39	2.11	各模块协同的最佳配置
(1) 去除注意力定位 (w/o Attn Loc)	22.58	1.87	19.31	3.22	性能暴跌最严重，EPE 恶化超 3 倍，证实硬性空间约束是核心
(2) 去除轨迹 Token (w/o Traj Tokens)	27.87	0.65	21.30	2.68	缺乏运动与深度先验，复杂拥挤场景下轨迹追踪能力退化
(3) 去除深度通道 (w/o Depth Channel)	27.56	0.62	21.32	2.28	在前后交错场景下产生遮挡关系混乱，影响程度接近去除全 Token
(4) 去除外观编码器 (w/o App Encoder)	28.40	0.67	20.78	2.21	导致同类不同个体纹理退化混淆，FVD 显著升高（MoVi 从 23.4 升至 28.1）

关键发现¶

注意力定位是模型精准控向的最核心命脉：从消融数据可见，去掉注意力列替换后，MoVi 数据集上的 PSNR 暴跌 6.66 dB，EPE 增加 3.28 倍，说明仅凭嵌入空间的软约束根本无法让扩散模型在多物体交叠时精确遵循复杂几何路径。
纯合成数据训练具备卓越的真实跨域泛化力：所有基线模型均在大规模真实世界视频上预训练或微调，而 TrajLoc 仅在约 2.5 万条合成片段上微调，却在未经见过的真实监控（MOT17）和真实动态（DAVIS）上取得了全方位的领先（PSNR 领先 1.5~3.5 dB，EPE 显著下降），证明将空间控制解耦进原生注意力机制避免了对特定纹理分布的过拟合。
深度通道是解决交错遮挡的关键维度：在 MoVi 实验中，单单去掉轨迹中的深度通道 $d_i(t)$，引起的性能跌落与完全去掉整个轨迹嵌入相当，证明多目标在 2D 投影交叠时，深度信息对于防止轨迹串流与身份互换起到了决定性判别作用。

亮点与洞察¶

将控制参数量直接降为零的列替换机制：与以往堆叠 ControlNet 或额外卷积层不同，注意力列替换完全复用了模型原有的注意力乘法流程，不增加任何新的时空特征张量与控制参数，极其优雅轻量。
文本编码器自编码预训练 trick：通常直接将连续控制向量填入文本序列会被冻结的 T5 变换器大幅平滑或畸变，作者引入带一阶速度损失的自编码重建目标提前对齐特征空间，保证了运动参数能无损穿透文本骨干。
联合自注意力的 2-SDPA 算子化解算力瓶颈：针对 CogVideoX 这类将文本与视频拉平成一体、无法直接存储超大稠密注意力矩阵的模型，巧妙推导出利用两次标准高效 SDPA 调用的等价数学形式，兼顾了理论严格性与工程落地。

局限与展望¶

静态相机假设与分辨率限制：当前评测均建立在 480p 静态机位设置下，若相机本身存在大范围推拉摇移（Ego-motion），未受控的背景和被追踪物体的相对位移可能产生耦合矛盾。
高密度场景下非受控实体的异常漂移：由于注意力替换仅约束了给定了轨迹的显式目标，模型对场景中未给轨迹的附带实体（如街角的闲逛路人）完全依赖原生先验，偶发出现非受控实体逆行倒退或被吸入运动轨迹的瑕疵。
合成数据外观偏置的轻微泄漏：在训练过度拟合的后期检查点上，当给真实世界未知类别物体（如拉力赛车）强加剧烈位移时，偶尔会退化出类似 GTA-V 行人的合成色块先验。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 彻底摒弃稠密控制张量范式，提出注意力权重列高斯替换，极具开拓性与简洁之美。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖两大主流架构（WaN、CogVideoX）、六大基准、最高 20 个目标并发，消融与跨域评估极其详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学推导严密且兼顾不同架构的硬件可行性，实验对比清晰。
价值: ⭐⭐⭐⭐⭐ 为视频生成中的复杂交互与长程运动控制指明了稀疏解耦的全新演进方向，实用价值极高。