DynaTokens: Teaching Dynamics to Camera-Controlled Video Models at Test Time¶

会议: NeurIPS 2026
arXiv: 2609.35704
代码: https://glab-caltech.github.io/dynatokens/
领域: 视频生成
关键词: 视频生成、世界模型、相机控制、测试时训练、动态表征

一句话总结¶

针对相机控制视频世界模型在引入动态时相机控制与动态相互缠绕导致退化的问题，本文提出轻量级测试时训练方法 DynaTokens，通过跨注意力引入场景专属可学习动态 token，将全局相机控制与空间局部动态解耦，仅需约 15 条少样本轨迹即可在冻结基座模型的前提下实现新视角轨迹的高保真动态生成。

研究背景与动机¶

相机控制视频模型（如 WorldPlay、Lyra、Lingbot 和 Genie 3）已展现出通过文本或图像提示词生成可自主漫游交互世界的能力，在具身智能、仿真交互与沉浸式媒体中备受关注。然而，现有模型在相机运动与场景动态并存时往往陷入严重退化：画面中的目标要么如同被冰冻般完全静态，要么生成失真的漂移动作，甚至引发严重的画面模糊与对象分裂。这种失败源于底层架构对相机控制信息的注入机制——现有模型通常依赖 PRoPEFrustum 相对位置编码、Plücker 光线嵌入或动作条件嵌入，将相机位姿强行融入去噪流的主干生成计算中，使得相机运动与场景内容深度纠缠。

这种纠缠引发了一个根本性矛盾：在模型适应阶段，若直接对动态场景进行全参数微调或使用 LoRA 等参数高效微调方法，参数更新是全局施加于整个权重矩阵的，这会不可避免地扰乱原本高度敏感且脆弱的相机几何映射关系（如破坏 PRoPE 乘积一致性），导致动态与相机控制顾此失彼。同时，收集包含丰富物体动态与精确连续相机轨迹配对的大规模高质量真实数据极为困难，现有视频世界模型绝大多数仅在大规模静态或近静态场景中完成相机预训练。

本文切入的角度建立在对两种运动物理特性的不对称性洞察之上：相机运动在投影平面上具有全画面、全补丁的全局性影响；而真实的物体动态往往是空间局部的，仅发生于发生形变或位移的前景局部区域。基于这一核心物理先验，本文提出核心 idea：将局部动态从全局相机生成中彻底解耦，引入一组极轻量的场景专属可学习 DynaTokens，在冻结基座世界模型的前提下通过交叉注意力实现空间局部门控，仅通过测试时训练（Test-Time Training）少量带瑕疵的伪轨迹，即可零样本泛化至任意未见相机路径并保持几何与物理自洽。

方法详解¶

整体框架¶

DynaTokens 的整体流程旨在不对基座视频扩散模型的自注意力与相机几何路径造成全局侵入的前提下，赋予其按需生成局部动态的能力。系统输入为单张初始帧、场景文本提示词以及目标交互相机轨迹。在模型结构上，基座模型的所有预训练权重（包括双流 Transformer 模块、PRoPE 几何编码通道与自注意力权重）全部保持冻结。在每个双流 Transformer 块中，额外挂载一组场景专属的可学习动态 token，视频特征补丁通过单向跨注意力（Cross-Attention）查询这些 token。由于跨注意力权重天然能够衡量补丁与动态特征的相关性，它自然充当了软性空间局部门控机制，将动态增量精准路由至移动物体所在的空间补丁，背景与静态几何部分则继续由冻结的相机生成路径主导。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：初始帧、文本提示与目标相机轨迹"] --> B["冻结的双流视频扩散基座<br/>保留全局相机自注意力与PRoPE路径"]
    B --> C["场景专属可学习动态Token<br/>K=16个通道维度m=64的隐向量"]
    C --> D["单向跨注意力空间局部门控<br/>计算动态转移并残差注入视频特征"]
    D --> E["上下文加噪流匹配目标优化<br/>抗暴露偏差的测试时训练"]
    E --> F["输出：任意新视角轨迹下的连贯动态视频"]

关键设计¶

1. 空间局部动态与全局相机控制的数学解耦 现有方法将相机位姿投影与内容流混淆在一起，导致微调权重时破坏全局几何映射。本文通过坐标系变换严谨建立了动静分离的理论模型：在观测坐标系下，纯静态场景的世界映射由全局相机反向变换 $\psi_t^{-1}$ 唯一决定；而包含前景目标 $P$ 动态位移 $\phi_t(P)$ 的动态世界，在观测系下的实际投影算子可分解为全局静态算子 $f$、动态算子 $G$ 以及空间局部指示掩码 $m$ 的乘积： $$(D f)(x, y, t) = m(x, y, t) \cdot (G f)(x, y, t)$$ 其中 $m(x, y, t)$ 是前景物体在动静两时刻投影边界的指示函数。这一数学本质说明，学习动态并不需要重新调整全局神经权重，只需构造一个能精准拟合局部指示掩码 $m$ 与动态偏移 $G$ 的模块。DynaTokens 采用外部挂载形式，使静态背景区域在跨注意力中对应的增量趋近于零，从而在理论与机制上隔绝了对背景全景几何控制的干扰。

2. 轻量化场景动态 Token 与单向跨注意力门控机制 针对 LoRA 全局矩阵更新导致全图补丁混合（Patch Mixing）的痛点，DynaTokens 在每个双流 Transformer 块中配置极小规模的可学习动态词元集合 $\mathcal{D} = \{d_j \in \mathbb{R}^m\}_{j=1}^K$（默认 $K=16, m=64$）。设送入该块的视频补丁隐变量为 $\mathcal{H} = \{h_i \in \mathbb{R}^n\}_{i=1}^N$。系统不将动态 token 作为额外补丁混入自注意力，而是构建单向跨注意力层： $$h_i' = h_i + \sum_{j=1}^K a_{ij} \cdot v(d_j), \quad a_{ij} = \frac{\exp\big(q(h_i)^\top k(d_j)\big)}{\sum_{l=1}^K \exp\big(q(h_i)^\top k(d_l)\big)}$$ 其中注意力权重 $a_{ij}$ 天然承担了空间局部门控函数 $m(x,y,t)$ 的角色。多头输出投影矩阵初始化为零矩阵，确保在优化初期对预训练基座实现零扰动。由于 Transformer 块随后的前馈网络（MLP）是按补丁通道独立计算的，跨注意力赋予补丁的局部特性在网络深层传递时不会扩散蔓延至静态区域，完美维护了前景移动与背景相机视差的独立性。

3. 抗暴露偏差的上下文加噪流匹配训练目标 在仅有约 15 条少样本伪动态轨迹的测试时训练设置下，自回归分块（Chunk-by-chunk）扩散生成模型极易发生自回归累积误差导致的暴露偏差（Exposure Bias）。为此，本文在优化阶段引入基于扩散强迫（Diffusion Forcing）的上下文加噪流匹配目标。在训练当前分块 $x_l$ 时，历史上下文块 $\tilde{x}_{1:l-1}^{(t)}$ 被施加特定的高噪声步（噪声步区间 $[500, 985)$）： $$\mathcal{L}_{\mathrm{FM}}(\theta) = \mathbb{E}_{l, t} \left[ \left\| v_\theta\big(x_l^{(t)}, \tilde{x}_{1:l-1}^{(t)}, t\big) - (x_l - x_l^{(0)}) \right\|^2 \right]$$ 该设计迫使动态 token 专注于根据带噪前序状态推断局部运动速度场，而非死记硬背历史帧的特定像素模式。结合优化器 Muon 对隐层矩阵的针对性正交更新，DynaTokens 能够在极少训练步内迅速收敛，同时抵抗训练数据中可能存在的背景闪烁与拼接伪影。

一个完整示例¶

以具体提示词“小狗在桌子左侧，随后跑向桌子前方”为例，推演动态生成与轨迹控制过程： 1. 测试时伪轨迹准备：利用 VLM 拓展生成静态相机下的纯动态片段，再调用基座世界模型 WorldPlay 执行离散相机动作（如前进 6 步、右转 7 步）投影关键帧，通过 Kling o3 进行两端点插值拼接，生成 15 条分辨率和背景存在轻微拼接漂移的粗糙示例轨迹； 2. 测试时优化：冻结 WorldPlay 的 8.6B 主干参数，仅优化 240M 参数量的 DynaTokens。在 Muon 优化器带动下迭代 80 分钟，跨注意力权重自发聚焦在“小狗”区域补丁上（与真实 SAM 掩码达到 0.342 的高重合度 IoU，而 LoRA 仅为 0.006）； 3. 新视角推理：给定一条全新且未见过的相机旋转下倾复合轨迹，前几个 chunk 依靠动态 token “点火启动”小狗向前的奔跑运动；由于解耦架构并未破坏自注意力中的 PRoPE 乘积，相机完美执行下倾与旋转，小狗在桌前连贯奔跑，背景桌椅呈现绝对严谨的多视几何视差。

损失函数 / 训练策略¶

训练过程采用 Muon 优化器，学习率设为 $3\times 10^{-3}$，并施加权重衰减与 $L_2$ 正则化。在 4 张 A100 GPU 上，仅占用约 22GB 显存即可完成训练。总训练轨迹数仅需 15 条（总计约 900 帧），耗时约 80 分钟。推理时 DynaTokens 的显存开销极小，相比冻结基座仅增加 7.9% 的推理延迟，远低于 LoRA 方案带来的 57.7% 额外开销。

实验关键数据¶

主实验¶

实验在重构并适配相机移动的 VBench2（动态空间关系 DSR、动作顺序理解 MOU）与 WorldScore（动作准确率 MA、相机控制 Cam）上进行全方位对比。基座模型选用 HY-WorldPlay。

模型	VBench2 DSR ↑	VBench2 MOU ↑	VBench2 Cam ↑	WorldScore MA ↑	WorldScore Cam ↑
Lyra2	0.54	0.17	0.87	1.11	0.70
Lingbot	0.68	0.25	0.82	4.37	0.64
WorldPlay (Base)	0.56	0.07	0.88	1.95	0.69
Hydra	0.51	0.18	0.61	2.51	0.56
LiveWorld	0.44	0.35	0.82	4.49	0.70
DynaTokens (本文)	0.96	0.69	0.87	5.33	0.69

在对比其他测试时微调策略（保持相同训练轨迹与相同 WorldPlay 基座）的实验中，DynaTokens 展现出断层级优势：

微调策略	VBench2 DSR ↑	VBench2 MOU ↑	VBench2 Cam ↑	WorldScore MA ↑	WorldScore Cam ↑
LoRA	0.61	0.22	0.83	2.79	0.56
LoRA-no PRoPE	0.41	0.06	0.84	3.62	0.67
末尾块微调 (Fine-tuning)	0.59	0.67	0.83	2.66	0.54
TTT Layer	0.41	0.11	0.88	3.79	0.66
DynaTokens (本文)	1.00	0.72	0.88	4.46	0.67

消融实验¶

针对 DynaTokens 的结构参数与训练机制在 VBench2 上的消融分析如下：

配置	DSR ↑	MOU ↑	Cam ↑	说明
DynaTokens 完整配置	1.00	0.72	0.88	K=16, dim=64, 上下文加噪
单 Token 配置 (Single token)	0.57	0.56	0.89	丧失注意力空间局部路由分布能力
缩减维度 (dim=32)	0.65	0.72	0.88	表征容量受限，复杂空间关系表达不充分
扩展维度 (dim=128)	0.60	0.72	0.87	易发生过拟合，动态生成失真
无上下文加噪 (No context noising)	0.67	0.83	0.84	出现严重暴露偏差，后半段运动衰减
直接加性注入 (Additive)	0.91	0.67	0.85	绕过跨注意力门控，破坏了部分相机控制

关键发现¶

局部性解耦是兼顾动态与相机控制的决定性因素：消融表清晰表明，退化为单个 token 时 DSR 暴跌至 0.57，说明跨注意力的权重空间分布确实起到了局部指示掩码 $m$ 的作用。定量测量显示 DynaTokens 与 SAM 运动掩码的 IoU 达 0.342（LoRA 仅为 0.006，随机仅为 0.010），证明动态被严格限制在目标移动区域。
动态具有“点火自持”时序特性：时序探测实验发现，若仅在视频前 1/8 阶段激活 DynaTokens，即可诱导基座模型产生 64% 成功率的后续持续动态；若在前 1/2 阶段激活，后续动态成功率高达 88%。这证明基座世界模型本身蕴含时序连贯先验，测试时动态 token 的核心作用在于提供初始动力学触发。
对训练伪轨迹的瑕疵具有高度容忍度：数据鲁棒性分析表明，即使训练轨迹从 15 条缩减至 3 条，MOU 仍能保持在 0.50（显著优于最优基线 LiveWorld 的 0.35）；若将高达 33% 的训练样本替换为背景不连贯、跳跃扭曲的损坏轨迹，DynaTokens 的 DSR 仍保持 1.00，MA 保持 4.50，充分证实冻结的基座先验能自发过滤输入监督中的高频几何噪声。

亮点与洞察¶

物理运动不对称性驱动的架构对齐：深刻洞察到相机全局仿射与物体局部形变在几何映射上的不对称性，用单向跨注意力充当局部动态的软掩码门控，实现了对全局相机流的“免打扰”集成。
破解 LoRA 在 3D 几何模型中的失效机理：严密推导并证明了全局参数矩阵更新会导致 PRoPE 内积展开式中混入交叉扰动项，从而系统性破坏相机几何位姿的一致性，为世界模型的高效适配指明了方向。
高性价比的测试时少样本自适应范式：仅需单场景约 15 条通过现成模型拼接插值生成的粗糙轨迹，即可通过测试时训练解锁泛化能力，摆脱了对高成本 4D 动态真实航拍标注数据的绝对依赖。

局限与展望¶

依赖基座模型底层的动力学先验：DynaTokens 本质上是引导与唤醒基座已有的运动特征，若基座模型对于极高难度的复杂流体力学或拓扑剧变完全缺乏物理理解，仅凭场景级测试时 token 无法无中生有地合成正确物理交互。
测试时算力存在在线延迟瓶颈：单场景优化仍需要约 80 分钟的 A100 GPU 计算时间，目前更适合离线数字资产构建、可漫游场景制作或数据合成管线，难以直接应用于毫秒级实时交互终端。
未来方向：探索跨场景的动态元学习（Meta-Learning）预初始化策略，将单场景测试时收敛步数压缩至数十步以内；同时扩展至多目标、强交互具身智能世界模型仿真中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙切中全局相机与局部动态的不对称物理属性，提出跨注意力局部门控适配范式。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 VBench2 与 WorldScore 动静双维改造评测、消融实验、时序探索及掩码重合度定量分析。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰，图表完备，对 LoRA 失效的机理剖析极其深刻。
价值: ⭐⭐⭐⭐⭐ 为解决 4D 动态生成与相机可控世界模型核心矛盾提供了轻量实用且通用的解决方案。