TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control¶

会议: NeurIPS 2026
arXiv: 2607.00861
代码: https://github.com/Sela-Omer/traj-loc
领域: 视频生成
关键词: 视频生成、轨迹控制、注意力定位、多目标运动控制、图像到视频

一句话总结¶

TrajLoc 提出无需密集条件张量或额外控制模块的稀疏多目标轨迹控制方案，通过在 DiT 注意力层中用时空高斯热图直接替换物体文本 token 的交叉注意力权重，并结合文本空间的轨迹与外观嵌入，实现了多达 20 个目标的高保真、抗遮挡运动控制。

研究背景与动机¶

现代扩散模型在文本或首帧引导的视频生成（I2V）上展现出了令人惊叹的视觉逼真度，但在密集多目标交互场景下，精准控制每个物体沿着预定轨迹运动且保持视觉身份一致性，仍然是一个悬而未决的难题。现有以轨迹为条件的视频生成方法（如 Tora、MotionCtrl、ATI 与 Wan-Move 等）通常将原本极其稀疏的 2D 坐标序列（每个物体在 $T$ 帧下仅需至多 $2T$ 个标量），强行光栅化或扩展为与视频同等分辨率的时空密集条件张量（尺寸达 $T \times H \times W \times C$），并借助 ControlNet 结构或 FiLM 调制网络将其注入扩散主干。这种“稀疏输入密集化”的范式导致多条物体的运动轨迹在单一连续特征信号中相互纠缠，一旦物体发生轨迹交叉、互相遮挡或进出视野，模型极易产生身份漂移、错误融合甚至跟踪丢失，且引入的重型参数模块严重限制了在不同扩散主干间的跨架构迁移能力。

这种多目标控制失败的核心症结在于：现有范式试图让模型通过数据端到端去“自学”复杂的空间密集信号与特定实例之间的对应关系，却忽视了扩散模型原本就具备高度可控的内部注意力空间。在标准 I2V 生成流程中，所有视频 patch 均无差别地全局关注全部文本 token，导致物体词无法获得精确的时空指向；而如果直接在特征图上强行融合密集轨迹，重叠区域又必然丧失单实例的独立性。这构成了密集特征融合与独立物体隔离之间的根本矛盾。

本文由此转换思路：轨迹输入天然具有稀疏且实例独立的特性，根本无需构造任何密集体积或额外分支，只需直接对扩散模型原生的条件空间实施干预。核心 idea：在扩散变换器的交叉注意力层中，将每个物体 token 对应的注意力权重列直接替换为以目标轨迹为中心的时空高斯热图，并配合文本提示中注入的轨迹时序编码与首帧外观特征，以硬性空间约束实现天然抗遮挡的多目标运动控制。

方法详解¶

整体框架¶

给定一张包含 $N$ 个物体的初始首帧以及每个物体在 $T$ 帧内的目标轨迹 $\tau_i(t) = (x_i(t), y_i(t), d_i(t))$（包含画面坐标与固定相机几何下的相对深度），TrajLoc 的目标是生成保持各自视觉身份且精准贴合轨迹的视频。整个方法完全依托于预训练 I2V 扩散主干的原生条件空间，包含三大核心环节：首先，构建形如 Scene where o0 moves [traj0] and o1 moves [traj1]... 的结构化文本提示，通过专门的轨迹编码器与首帧外观编码器分别替换占位符与类别词；随后，在扩散模型的每个变换器注意力层内，通过“注意力定位”（Attention Localization）机制，将原本物体 token 处的注意力权重强制替换为轨迹高斯分布；最后，利用整帧扩散损失与轨迹局部边界框损失联合微调注意力 LoRA 与外观模块。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：首帧图像 + N条目标轨迹<br/>(x, y, d) + 结构化提示模板"] --> B["文本条件空间特征注入<br/>Enc_traj轨迹编码 + Enc_app首帧外观替换"]
    B --> C["扩散主干前向计算 (DiT)<br/>生成视频隐空间 Query 与文本 Key/Value"]
    C --> D["注意力定位 (Attention Localization)<br/>时空高斯热图替换物体 token 注意力列并归一化"]
    D --> E["联合目标函数优化与采样<br/>全图 Flow Matching 损失 + 轨迹 BBox 聚焦损失"]
    E --> F["输出：高保真多目标轨迹受控视频<br/>支持多达20个目标同时运动与抗遮挡"]

关键设计¶

1. 注意力定位机制：以高斯热图硬替换交叉注意力权重 现有方法依赖网络自行学习特征对应，在轨迹交叉时极易混淆。TrajLoc 观察到交叉注意力矩阵 $\mathbf{A} \in \mathbb{R}^{M \times L}$（$M$ 为视频时空 patch 数量，$L$ 为文本 token 数量）精确控制着每个文本词对视频各区域的影响。针对第 $i$ 个物体，模型根据其中心坐标 $(x_i(t), y_i(t))$ 生成 2D 各向同性高斯热图（标准差设为 $\sigma=30$ 像素），经双线性重采样到隐空间网格并按帧归一化，展平为时空热图向量 $\mathbf{h}_i \in \mathbb{R}^M$。在每个注意力层计算出 $\mathbf{A} = \text{softmax}(d^{-1/2} \mathbf{Q}_{\text{vid}} \mathbf{K}_{\text{txt}}^\top)$ 后，直接定位该物体 token 对应的列索引 $q_i$，强制将整列替换为 $\mathbf{h}_i$，并在行维度上重新执行概率归一化： $$ \mathbf{A}'[m, q_i] \leftarrow \mathbf{h}i[m], \qquad \mathbf{A}'[m, :] \leftarrow \frac{\mathbf{A}'[m, :]}{\sum $$ 最终注意力输出为 }^L \mathbf{A}'[m, k]$\mathbf{O}' = \mathbf{A}' \mathbf{V}_{\text{txt}}$。该操作不增加任何可学习参数，且每个物体的空间影响被严格局限在其预定轨迹邻域内，天然解耦了多物体之间的空间干扰。对于显式交叉注意力架构（如 WaN 2.1），每层注意力矩阵仅约 18 MB，可直接内存重写；而针对 CogVideoX 等联合自注意力（Joint Self-Attention）架构，其全序列自注意力矩阵每层高达 30 GB，作者进一步推导出等价的两路 SDPA（Two-SDPA）近似计算式： $$ \mathbf{O}{\text{vid}}^{\text{2sdpa}}[m] = (1 - H[m])\,\mathrm{SDPA}(\mathbf{Q}}}, \mathbf{K{\mathcal{U}}, \mathbf{V}[q_i] $$ 其中 }})[m] + \sum_{i=1}^N \mathbf{h}_i[m] \mathbf{V$\mathcal{U}$ 为非监督 token 集合，$H[m] = \sum_i \mathbf{h}_i[m]$ 为总热图质量。该形式仅调用两次标准 SDPA 核即可完成，避免了显式实例化大矩阵。

2. 轨迹时序与深度自编码器：穿越冻结文本编码器的跨模态注入 仅凭 2D 空间高斯热图无法表达物体沿相机光轴前后的遮挡层级（深度）与动态运动趋势。为此，每个物体的轨迹被离散化为 $T \times 4$ 维序列（包含 $x(t), y(t), d(t)$ 以及归一化时间戳通道 $p(t) = (t-1)/(T-1)$）。轻量级卷积编码器 $\text{Enc}_{\text{traj}}$ 经三层步长为 2 的 1D 卷积逐步下采样时间步并拓宽通道（$4 \to 64 \to 128 \to 256$），最后经两层 MLP 投射为 4096 维的单个词向量 $\langle \text{traj}_i \rangle$，替换提示词中的 [traji] 占位符。为了确保包含丰富动态与相对深度的几何信息能够在穿过冻结文本编码器（如 T5/UMT5）自注意力层后依然完好保留，作者引入重建预训练策略：以冻结文本编码器的对应输出特征为条件，训练一个对称的 1D 反卷积解码器重建原轨迹，采用位置误差与速度误差联合目标优化： $$ \mathcal{L}_{\text{traj}} = \text{MSE}(\hat{\tau}i, \tau_i) + \lambda_i, \Delta \tau_i) $$ 预训练完成后解码器被舍弃，}}\,\text{MSE}(\Delta \hat{\tau$\text{Enc}_{\text{traj}}$ 完全冻结参与后续流程，使文本向量本身具备了载荷 3D 轨迹与时序动态的能力。

3. 首帧实例外观编码器：基于 VAE 潜码的视觉身份保持 结构化文本提示中的通用类别名称（如 "pedestrian" 或 "car"）只能提供类别先验，无法绑定首帧中具体特定实例的纹理与轮廓。为了防止生成过程中目标物体的面貌或服装发生突变，TrajLoc 设计了轻量外观编码器 $\text{Enc}_{\text{app}}$。它直接接收首帧图像的 VAE 潜在表示 $V_0 \in \mathbb{R}^{16 \times 60 \times 90}$，通过一层步长为 2 的卷积和两层步长为 1 的卷积提取空间尺寸为 $30 \times 45$、通道深度为 $D_{\text{app}}=8$ 的局部外观特征图。随后，根据每个物体在首帧的初始坐标 $(x_i^1, y_i^1)$ 进行索引采样，经线性层投影到 4096 维文本向量空间，完全替换文本提示中对应的类别词 $o_i$ 编码。该外观模块与扩散主干 LoRA 联合微调，使物体 token 在被时空高斯热图引导至各帧指定位置时，能稳定投射出原汁原味的首帧实例外观。

损失函数 / 训练策略¶

在训练阶段，轨迹编码器预先在合规合成轨迹上离线预训练并冻结。扩散模型采用 LoRA（rank=64, $\alpha_{\text{LoRA}}=64$）微调全部注意力层，并与随机初始化的外观编码器 $\text{Enc}_{\text{app}}$ 联合端到端训练。为了在保障全局背景协调连贯的同时大幅提升目标区域的生成锐度，训练目标结合了全图标准流匹配误差与轨迹聚焦边界框损失： $$ \mathcal{L} = (1 - \alpha)\mathcal{L}{\text{diff}} + \alpha \mathcal{L} $$ 其中 }$\alpha=0.5$。$\mathcal{L}_{\text{bbox}}$ 将均方误差限制在各目标沿轨迹所在的时空局部包围框内。模型在约 2.5 万个合成视频片段（来自 MOTSynth、MoVi-Extended、Pool、Football）上微调，WaN 2.1 训练 12,000 步（2 卡 H100 约 50 小时），CogVideoX 训练 8,500 步（3 卡 H100 约 57 小时）。

实验关键数据¶

主实验¶

评估在合成领域（MoVi-Extended、Pool、Football、MOTSynth）以及完全未见过的真实世界分布外数据集（MOT17 街景监控、DAVIS 2017 自然场景）上全面展开，涵盖最多 20 个同时运动的物体。对比基线包括同一架构下的最强方案：WaN 14B 上的 ATI 与 Wan-Move，CogVideoX 5B 上的 MagicMotion 与 Tora。所有方法均生成 49 帧、分辨率 $720 \times 480$ 的静态相机视频。

数据集	主干架构	方法	PSNR ↑	LPIPS ↓	FVD ↓	EPE (端点误差) ↓
MoVi-Extended (合成多几何体)	WaN 14B	TrajLoc (本文)	29.24	0.131	23.39	0.57
		ATI	20.33	0.355	37.50	2.01
		Wan-Move	19.73	0.331	40.38	2.18
	CogVideoX 5B	TrajLoc (本文)	29.77	0.108	14.98	0.53
		MagicMotion	19.79	0.293	44.67	1.92
		Tora	20.87	0.336	50.91	1.50
MOTSynth (合成城市场景密集行人)	WaN 14B	TrajLoc (本文)	21.39	0.244	41.43	2.11
		ATI	17.76	0.395	62.32	8.61
		Wan-Move	18.29	0.354	54.29	3.60
	CogVideoX 5B	TrajLoc (本文)	22.34	0.232	39.70	2.32
		MagicMotion	21.17	0.258	43.07	2.61
		Tora	19.20	0.346	70.84	2.91
MOT17 (真实监控 OOD)	WaN 14B	TrajLoc (本文)	19.94	0.277	51.46	2.17
		ATI	17.05	0.416	65.35	4.28
		Wan-Move	16.27	0.405	60.20	3.41
	CogVideoX 5B	TrajLoc (本文)	21.59	0.265	53.92	2.37
		MagicMotion	19.88	0.307	56.13	3.38
		Tora	17.76	0.400	113.9	2.70
DAVIS (真实多样化场景 OOD)	WaN 14B	TrajLoc (本文)	18.30	0.301	88.37	2.31
		ATI	14.68	0.443	104.90	14.02
		Wan-Move	15.86	0.352	85.51	4.96
	CogVideoX 5B	TrajLoc (本文)	18.39	0.267	89.39	2.43
		MagicMotion	17.74	0.294	70.77	3.68
		Tora	17.25	0.329	75.78	3.16

消融实验¶

在 WaN 2.1-14B 主干上针对四个分布内数据集进行逐模块剔除消融，量化注意力定位、轨迹 token、深度通道与外观编码器的具体贡献：

配置	MoVi PSNR ↑	MoVi EPE ↓	MOTSynth PSNR ↑	MOTSynth EPE ↓	Pool PSNR ↑	Pool EPE ↓	Football PSNR ↑	Football EPE ↓	说明
Full model (完整模型)	29.24	0.57	21.39	2.11	33.07	0.08	24.27	0.05	性能最佳，全面领先
(1) w/o 注意力定位	22.58	1.87	19.31	3.22	29.46	0.17	23.02	0.15	性能崩塌最严重，MoVi PSNR 骤降 6.66 dB，EPE 增大超 3 倍
(2) w/o 轨迹 token	27.87	0.65	21.30	2.68	29.20	0.11	23.33	0.05	运动与深度感知受损，MOTSynth EPE 显著上升 27%
(3) w/o 深度通道 $d(t)$	27.56	0.62	21.32	2.28	32.37	0.09	24.32	0.06	遮挡与远近纵深失准，在 MoVi 上劣变接近去掉整个轨迹 token
(4) w/o 外观编码器	28.40	0.67	20.78	2.21	32.45	0.08	24.76	0.04	身份一致性受损，各数据集 FVD 指标全面恶化

关键发现¶

注意力硬替换是控制生死的基石：消融显示去掉注意力定位后，各基准的端点误差（EPE）均出现数倍增长，PSNR 发生 2~7 dB 的大幅暴跌，证明依靠模型自发学习注意力极难抵抗多目标纠缠，强制注入高斯先验是最关键机制。
深度通道是解决交叉遮挡的关键使能项：在 MoVi 复杂交互中，去掉深度通道导致的退化与直接拿掉完整轨迹 token 几乎一致，说明在 2D 坐标热图之外，文本向量承载的深度值对于 DiT 判别物体前后层次具有决定性作用。
零真实数据训练下的超强 OOD 泛化：虽然 TrajLoc 仅在 GTA-V 和简易合成物理场景中训练，但在真实世界监控（MOT17）和未见物体类型（DAVIS 的动物/车辆/水花）上，不仅各项指标显著击败全部在真实大规模视频上预训练的基线，而且 EPE 减少了 30%~80%。

亮点与洞察¶

颠覆“稀疏转密集”的传统思维惯性：以往轨迹控制工作习惯性地将稀疏点光栅化为巨幅视频尺寸的密集条件张量，TrajLoc 敏锐地指出 sparse input 应当在模型固有条件通道（Attention Map 与 Text Token）内以最小代价消化，避免了冗余的参数量与特征空间混叠。
两路 SDPA 近似巧妙化解联合自注意力显存爆炸：对于 CogVideoX 这类 Joint Self-Attention 架构，显式保存 30 GB 注意力图不可行；作者推导出的加权两路 SDPA 近似在数学上优雅对应了高斯热图列替换，既完全兼容底层 FlashAttention，又将显存开销压缩到常规水平。
抗遮挡与实例解耦的天然机制：因为每个物体拥有独占的文本 token 和对应的独立高斯权重列，即使两个行人在画面中交叉重叠，其各自绑定的外观和特征流向依然在通道维度上相互正交，彻底杜绝了密集拼接带来的“身份粘连”。

局限与展望¶

依赖静态相机设定：当前方法针对固定视角设计，若摄像机自身发生位移或旋转，画面的绝对像素坐标与物体自身真实运动产生混叠，生成轨迹会出现严重漂移。
合成域先验偶发泄露（GTA-V 伪影）：由于训练集中 GTA-V 街景占比高达 44%，在遇到极其罕见的未见类别（如拉力赛车大范围漂移）时，模型偶尔会退化并突兀地将物体渲染为 GTA-V 中的行人纹理贴图。
非受控背景物体缺乏动态约束：未指定轨迹的背景人群或环境实体完全依赖模型的隐式先验生成，在密集场景中偶尔会出现反常的倒退滑行或畸变。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了密集特征注入的固有范式，首创基于注意力列高斯替换与文本时序注入的稀疏控制机制。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 6 个合成与真实数据集、横跨两种截然不同的 DiT 扩散架构，消融与对比极具说服力。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述一针见血，数学推导清晰严密，附录分析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为多目标视频精细控制、虚拟仿真与具身合成数据生成提供了轻量、普适且高精度的全新范式。