ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration

会议: NeurIPS 2026
arXiv: 2604.01043
论文: https://martayang.github.io/ONE-SHOT/
领域: 视频生成
关键词: 视频生成、可控视频生成、解耦运动注入、旋转位置编码、长视频一致性

一句话总结

针对以人为中心的视频合成中结构控制与生成灵活性难以兼顾、3D预处理繁重及长序列漂移的问题，ONE-SHOT提出规范空间运动注入机制、动态自适应RoPE以及混合上下文集成，仅需轻量LoRA微调即可实现分钟级人景解耦可控视频生成。

研究背景与动机

以Wan2.1和HunyuanVideo为代表的视频生成大模型（VFMs）显著推动了视觉内容创作的发展，尤其在电商、数字媒体、教育与虚拟娱乐等以人为中心的场景中展现出强大的生成潜力。然而，在专业工作流中，用户往往需要对视频中的主体外观、人体动态、3D场景环境和相机轨迹进行精细且相互独立的模块化控制。现存的以人为中心的视频生成方法主要依赖全监督微调或显式3D几何拼接。前者通常将人物作为整体像素区域处理，缺乏细粒度的空间几何交互与肢体形变精度；后者（如Uni3C、RealisMotion）尝试引入点云等稠密几何信号以约束相机轨迹并减轻穿模或滑步现象。

然而，现有方法在走向实际应用时面临三个难以调和的关键瓶颈：其一，繁重的3D预处理依赖。现有显式空间几何方法要求人体运动与复杂环境点云在全局世界坐标系下进行刚性对齐与联合预处理，流程极其脆弱且难以向非结构化真实视频规模化扩展。其二，生成能力的显著折损与“过条件化”（over-conditioning）陷阱。密集刚性的几何条件输入在训练时会占据主导地位，与文本指令产生条件竞争，导致视频基座模型原有的语义多样性和生成灵活性退化崩溃。其三，局限于短序列合成。现有方案大多只能维持约10秒的短片段生成，一旦拓展到长序列，在相机轨迹回环或视点重访时极易出现身份特征漂移与背景几何崩塌。

为了突破上述瓶颈，本文主张将以人为中心的环境视频生成解耦为互不干扰的信号要素——包括规范空间中的局部运动、基于2D粗粒度包围盒的全局空间定位、投影渲染的环境几何以及静态与动态混合上下文。核心 idea：通过规范空间交叉注意力将人体动态与环境几何显式解耦以避免条件竞争，设计尺度自适应的 Dynamic-Grounded-RoPE 免去显式 3D 刚性坐标对齐，并引入混合上下文记忆机制实现分钟级长时序人景视频的一致性合成。

方法详解

整体框架

ONE-SHOT基于预训练视频生成大模型Wan2.1-14B构建，采用冻结主干并挂载轻量ControlNet式并行条件分支的架构设计。生成系统解耦并接收六大要素：文本提示词、从3D点云与相机外参渲染生成的逐帧RGB-D环境序列、规范空间人体动作序列与粗粒度包围盒引导、静态主体身份外观参考、长时序动态场景记忆，以及引导局部合成与保留的空时掩码。整套流程首先通过相机轨迹在场景点云上投影生成环境RGB-D基底，利用规范化SMPL-X网格构建局部动作Token并通过解耦交叉注意力注入，结合动态尺度加权的旋转位置编码（Dynamic-Grounded-RoPE）完成视频网格与动作空间的对齐，最后依靠混合上下文维护分钟级生成的一致性。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
    subgraph COND["条件分支：环境渲染与混合上下文集成"]
        direction TB
        A["3D场景点云 + 目标相机轨迹"] --> B["环境RGB-D投影序列渲染"]
        C["静态身份参考 (体态/人脸) + 动态视点记忆"] --> D["混合上下文特征拼接"]
        B & D --> E["轻量级残差特征提取 (LoRA微调)"]
    end
    subgraph MOTION["解耦运动注入：规范空间表示与自适应对齐"]
        direction TB
        F["SMPL-X人体动作序列"] --> G["规范空间网格渲染 (消除全局平移/尺度归一化)"]
        H["逐帧粗粒度2D包围盒引导"] --> I["Dynamic-Grounded-RoPE 空间尺度校准"]
    end
    subgraph VFM["主干生成：冻结Wan2.1扩散模型"]
        direction TB
        E --> J["多尺度层次化残差注入"]
        G & I --> K["解耦运动交叉注意力 (Decoupled Motion Cross-Attention)"]
        J & K --> L["流匹配去噪更新 (Flow Matching)"]
        L --> M["高保真长时序人景合成视频"]
    end

关键设计

1. 规范空间人体动作解耦注入：消除刚性几何对生成多样性的侵蚀

以往方法将人体骨架或点云与背景几何在同一世界坐标系内硬性拼接，密集的空间几何先验容易在交叉注意力与自注意力中压制文本提示，破坏预训练模型的语义生成自由度。ONE-SHOT将人体的“局部姿态变化”与“全局空间放置”彻底分离：首先将SMPL-X姿态序列的全局平移量置零，将人体居中于规范原点，并调整渲染虚拟视点使得人体在规范网格上恒定占据90%的比例，消除不同视距下的尺度扰动，得到规范动作Token。在模型架构中，动作Token不再直接通道拼接入环境分支，而是通过独立的解耦运动交叉注意力（Decoupled Motion Cross-Attention）层注入主干网络。这种稀疏解耦注入消除了刚性几何与环境先验之间的过度竞争，使得模型既能精确响应复杂的肢体运动，又能保留理解开放域文本交互指令（如“手持长剑”）的生成灵活性。

2. Dynamic-Grounded-RoPE：无需显式3D坐标对齐的自适应空间对应

将人体动作置于规范空间后，动作Key/Value与处于全图视频网格上的Query之间存在明显的空间尺度与坐标不匹配。传统方案依赖繁琐的3D坐标系标定和网格拟合，计算开销巨大且极易失败。ONE-SHOT在视频网格上引入每帧粗粒度包围盒区域 \(\mathcal{B}_t=\{(x,y)\mid x_t^1 \le x < x_t^2, y_t^1 \le y < y_t^2\}\)，计算包围盒尺寸 \((w_r, h_r)\) 与规范网格尺寸 \((w_c, h_c)\) 之间的自适应缩放因子 \(s_t^w = w_c / w_r, s_t^h = h_c / h_r\)。对于视频网格上的Query Token，提出尺度自适应的旋转位置编码：

\[ \tilde{\mathbf{Q}}(\mathbf{p})=\begin{cases}\mathcal{R}\!\big(t,\,s^{w}_{t}x,\,s^{h}_{t}y\big)\,\mathbf{Q}(\mathbf{p}),&{(x,y)}\in\mathcal{B}_{t},\\ \mathcal{R}\!\big(t,\,\alpha,\,\alpha\big)\,\mathbf{Q}(\mathbf{p}),&{(x,y)}\notin\mathcal{B}_{t}\end{cases} \]

其中 \(\alpha\) 为常量背景标签，将目标区域外部的背景位置投影至相同的编码以抑制干扰；而对于规范动作Key，则保持标准3D RoPE旋转 \(\tilde{\mathbf{K}}(\mathbf{p}_c)=\mathcal{R}(t, x_c, y_c)\mathbf{K}(\mathbf{p}_c)\)。该机制直接在注意力层内部建立起规范动作空间与全景视频网格之间的连续空间对应关系，彻底免除了端到端3D空间几何对齐的工程依赖。

3. 混合上下文集成机制：破解长视频跨视点漂移

针对现有视频扩散模型在分钟级长序列中身份退化和视点重访背景不一致的问题，ONE-SHOT提出了静态与动态解耦的双重记忆机制。静态参考包含裁剪的人脸与人体清晰外观Token，在整个生成过程中持续提供恒定的身份锚定，防止人物长程面部变形；动态上下文记忆则在长视频生成中，检索并缓存前期已生成片段在相似相机视角下的视觉特征。当相机轨迹发生转弯或大范围回环并重新观察之前出现过的场景区域时，动态记忆Token通过时序拼接与残差注入向当前帧提供物理外观参考，确保场景布局与物体细节在视角往复中严丝合缝，消除无记忆模型中常见的结构闪烁与漂移。

损失函数 / 训练策略

模型基于Rectified Flow matching框架进行优化，骨干网络Wan2.1-14B全程保持冻结，仅微调ControlNet分支上的LoRA参数（学习率为 \(1\times 10^{-4}\)）以及新增的解耦运动交叉注意力层（学习率为 \(1\times 10^{-5}\)）。为了利用异构数据源并解耦各项条件依赖，采用多任务动态掩码混合训练策略： 1. 纯场景重建（10%数据）：仅启用环境RGB-D投影和动态记忆条件，禁用动作注入，促使环境分支专注于学习高质量场景几何补全； 2. 纯动作合成（25%数据）：仅启用规范动作条件与包围盒掩码，对包围盒外背景区域予以保留，强迫动作交叉注意力模块学习人体在局部区域内的精确生成； 3. 全条件协同（65%数据）：联合开启全部条件，学习人景复杂物理交互。 训练过程中引入广泛的包围盒缩放与抖动增广，使得模型将2D包围盒视为柔性空间引导而非硬性约束，从而在测试期对不精准的包围盒具备极强的容错鲁棒性。

实验关键数据

主实验

在Traj100自重建测试集以及构造的跨组合（Cross-Composition，涉及身份、动作与场景的独立重组）测试集上，将ONE-SHOT与主流以人为中心的可控视频生成SOTA模型（WanAnimate、RealisDance、Uni3C、RealisMotion）进行了全面对比。

测试场景与方法	FID↓	FVD↓	运动平滑度(MS)↑	背景一致性(BC)↑	主体相似度(SubSim)↑	面部相似度(Face)↑
自重建 (Traj100)
WanAnimate	21.25	224.08	0.893	0.956	0.189	-
RealisDance	22.17	247.54	0.920	0.946	0.237	-
Uni3C	55.47	775.38	0.853	0.928	0.185	-
RealisMotion	18.89	193.89	0.916	0.940	0.356	-
ONE-SHOT (本文)	16.88	181.17	0.940	0.959	0.317	-
跨组合 (Cross-Composition)
WanAnimate	152.07	1435.3	0.892	0.950	0.368	0.196
RealisDance	155.71	1416.5	0.986	0.962	0.230	0.257
Uni3C	162.53	1519.5	0.924	0.950	0.321	0.203
RealisMotion	151.19	1486.8	0.960	0.919	0.300	0.238
ONE-SHOT (本文)	150.98	1382.4	0.993	0.963	0.349	0.241

消融实验

在Traj100自重建基准上对核心模块进行了针对性消融，验证了动态自适应RoPE以及混合上下文集成组件的必要性。

模型配置	FID↓	FVD↓	运动平滑度 (MS)↑	说明
ONE-SHOT (完整模型)	16.88	181.17	0.9404	完整架构，各项指标达到最优
去除 RoPE 空间校准 (w/o RoPE grounding)	22.34	229.76	0.9268	空间位置对应失效，姿态控制与定位严重漂移
仅标签级 RoPE (label-only RoPE)	21.36	221.66	0.9256	缺乏连续坐标缩放，动作贴合精度下降
去除人脸参考 (w/o face reference)	21.37	215.43	0.9378	身份特征锚定减弱，长视频出现面部畸变
去除裁剪主体参考 (w/o subject-cropped reference)	19.43	200.23	0.9351	纹理背景干扰主体特征提取，重建质量下降
去除动态上下文记忆 (w/o context memory)	18.17	182.98	0.9330	视角回环重访时背景出现不一致闪烁

关键发现

• Dynamic-Grounded-RoPE是空间可控性的基石：去除RoPE自适应校准导致FID恶化32.3%（16.88升至22.34），FVD恶化26.8%（181.17升至229.76），证明缺乏显式2D坐标尺度变换时，规范动作特征无法在视频网格中正确定位，会导致肢体悬空或剧烈形变。
• 解耦设计释放泛化组合与文本控制力：在跨组合测试中，ONE-SHOT的FVD降至1382.4，显著超越此前SOTA RealisMotion（1486.8）。定性实验表明，解耦后的模型不仅能独立自由替换身份、运动和场景，还能灵敏响应“手持长剑”等文本指令，避免了传统方法中几何先验压制文本引导的“过条件化”现象。
• 动态记忆是分钟级长视频防漂移的关键：消融表明去除上下文记忆在短视频评价指标上降幅较小，但在长时序视点重访实验中（见原文图7），缺乏记忆的模型在相机转回初始视点时无法复原原本环境细节，而具备动态记忆的ONE-SHOT能实现稳定的长时间连贯渲染。

亮点与洞察

• 规范空间动作与包围盒解耦注入：将全局位移和局部姿态解绑，用轻量包围盒负责宏观落点，规范SMPL-X网格负责骨骼动作。这种解耦避免了将人体与3D环境强行拼在同一坐标系下的刚性计算负担，设计极其优雅。
• Dynamic-Grounded-RoPE位置编码变换：巧妙利用RoPE的频率旋转特性，通过包围盒长宽比自适应缩放坐标频率，使自注意力机制直接在隐空间感知跨域几何尺度。这一技巧对于任何跨分辨率或跨坐标系的多模态控制注入均具有极高借鉴价值。
• 混合条件训练策略解决数据异构痛点：以纯场景、纯动作、全条件三种模式分流训练，摆脱了以往3D视频生成任务对“既有精准3D点云又有成对动捕人体”昂贵数据集的依赖，大幅提升了工业落地的可行性。

局限与展望

• 依赖上游3D场景与人体估计质量：环境投影质量受限于背景点云重建的完整度，人体初始动作依赖Human3R等单目估计工具，前序估计误差会向下游视频扩散阶段传播。
• 极端包围盒标注下的鲁棒性边界：若用户指定的初始包围盒存在极端透视错误或严重位置偏差，模型仍可能出现脚部接触悬空或透视错位。
• 未来方向：探索端到端联合优化单目几何重构与动作合成，并进一步引入物理接触约束（如脚底接触动力学）以彻底消除极端复杂地形下的微小滑步。

相关工作与启发

• vs Uni3C: Uni3C通过显式将人体动作与3D点云在全局世界空间对齐并联合输入，导致预处理流程极其繁琐且限制了模型对文本的响应；ONE-SHOT将动作置于规范空间并通过交叉注意力注入，完全免去3D刚性预对齐，生成灵活性更高。
• vs RealisMotion: RealisMotion在世界空间解耦环境与人体动力学，但主要依赖较短序列微调且易引入模糊伪影；ONE-SHOT通过Dynamic-Grounded-RoPE与混合上下文集成，在自重建与跨组合评测中均取得更优的FID/FVD，且原生支持分钟级视点一致的长视频生成。
• vs WanAnimate / RealisDance: 专注于单主体人物重演（Reenactment），缺乏对3D场景点云及动态相机轨迹的物理几何感知，视角移动时背景易崩塌漂移；ONE-SHOT通过显式环境几何投影与解耦运动控制，兼具场景几何稳定性和精细动作保真度。

评分

• 新颖性: ⭐⭐⭐⭐⭐ [规范空间解耦运动注入与Dynamic-Grounded-RoPE打破了传统3D视频生成的繁重坐标对齐瓶颈]
• 实验充分度: ⭐⭐⭐⭐⭐ [涵盖自重建、跨组合、长序列视点回环及细致的模块消融，对比基线全面扎实]
• 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表清晰直观，公式推导与工程设计紧密呼应]
• 价值: ⭐⭐⭐⭐⭐ [为影视特效与虚拟人创作提供了参数高效、高扩展性的解耦长视频生成新范式]

相关论文

• [ECCV 2026] Stylized Video Generation via Decoupled Data Synthesis and Gated Style Token Injection
• [ICLR 2026] EffiVMT: Video Motion Transfer via Efficient Spatial-Temporal Decoupled Finetuning
• [NeurIPS 2026] VINCIE-NExT: Unlocking Video Editing from Images via In-Context Modeling
• [NeurIPS 2026] PermaVid: Consistent Video Generation Across Edits via Disentangled Context Memory
• [NeurIPS 2026] LongScape: Advancing Long-Horizon Embodied World Models with Context-Aware MoE