FlexAM: Flexible Appearance-Motion Decomposition for Versatile Video Generation Control¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4328
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5407.pdf
作者: Mingzhi Sheng, Zekai Gu, Peng Li, Cheng Lin, Hao-Xiang Guo, Ying-Cong Chen, Yuan Liu
代码: https://github.com/IGL-HKUST/FlexAM
领域: 视频生成
关键词: 外观运动解耦、三维运动控制、多频位置编码、动态深度、视频编辑

一句话总结¶

FlexAM 用掩码视频指定外观、用带有多频位置编码和动态深度的可变密度三维点轨迹指定运动，使同一个视频扩散模型支持外观编辑、相机控制和物体操作，在论文运动迁移实验中取得 32.55 的文本对齐分数和 0.976 的时间一致性分数。

研究背景与动机¶

可控视频生成常把用户意图转成深度图、骨架、二维轨迹或相机参数，再训练模型理解这些条件。这些信号各有适用范围，却不天然共享一个控制接口：更换人物外观需要保留动作，重拍视频需要改变相机而保留场景动态，移动物体又需要处理遮挡。为每个任务准备不同模态的数据和专用模块，会把任务数量的增长转化为训练与预处理负担。

把视频拆成外观与运动可以减少这种接口碎片化，但已有表示仍存在具体缺口。只用首帧提供外观，无法直接约束后来才显露的区域；固定密度的运动指导，要么对新外观约束过强，要么无法表达细节。DaS 已经使用三维跟踪视频，说明点轨迹能承载多种控制；然而，相邻点的属性过于相似时，模型仍可能混淆它们的运动身份。仅有初始几何信息也不足以区分后续的物体缩放与沿深度方向移动。

FlexAM 因而不是再增加一种任务专用条件，而是改进统一运动表示的可辨识性，并扩大外观条件的时间范围。核心 idea：让掩码视频回答“哪些地方保留什么外观”，让带固定身份、动态深度和可变密度的三维轨迹回答“这些地方怎样运动”，再将两者送入同一个视频生成主干。

方法详解¶

整体框架¶

输入可以是图像或视频，以及待编辑区域和目标控制。FlexAM 从中组织两条条件分支：掩码外观条件保留不应改动的内容；三维点轨迹则经过精细位置编码、动态深度编码和密度适配，变成可以送入生成模型的运动视频。两条分支在潜空间中共同约束扩散 Transformer，输出符合目标外观与运动的视频。

这里的“运动视频”不是普通 RGB 视频，也不是输出视频的粗糙预览，而是把带属性的三维点逐帧投影成图像的控制张量。其 18 个通道由六组三通道流组成：一组身份、四组多频位置以及一组动态深度。投影位置表达点向哪里移动，随点携带的属性表达它是谁、当前处在什么深度，两者不能混为一谈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像或视频<br/>编辑目标"] --> B["掩码外观条件"]
    A --> G["三维点轨迹"]
    G --> C["精细位置编码"]
    C --> D["动态深度编码"]
    D --> E["密度适配"]
    B --> F["视频扩散主干<br/>输出受控视频"]
    E --> F

关键设计¶

1. 掩码外观条件：从首帧参考扩展到任意时空区域

若把全部外观信息都压到第一帧，后来进入视野的背景就没有直接参照。FlexAM 改用部分遮盖的视频及二值编辑掩码：不编辑的区域保留原像素，待编辑区域填充灰度值 127，并在掩码中标为 1。模型因此同时知道哪些像素是真实上下文、哪些像素只是等待生成的占位区域，而不必把灰色本身解释成目标外观。

这种设计把不同任务化成同一种条件组织方式。图像到视频生成可以保留首帧、遮盖其余帧；局部视频编辑则只遮盖目标物体或背景，留下其他帧中的可用外观。论文还利用掩码让编辑区与保留区采用不同的去噪时间步，以区分需要重生成的内容和需要维持的上下文。运动信号在非编辑区域也被置零，避免把不相关的运动约束继续施加到保留区。需要注意，这是模型的控制机制与设计目标，并不意味着输出在所有情形下都能逐像素无误地保留未编辑区域。

2. 精细位置编码：用多频属性区分相邻轨迹的身份

点在画面上相互靠近、交叉或遮挡时，单靠投影位置不容易识别它们原来属于哪个部位。FlexAM 给每条轨迹绑定由初始三维坐标产生的属性：身份流存储归一化后的初始坐标，其中深度分量采用逆深度；这些身份属性在时间上保持不变，而点的投影位置可以持续移动。因此，同一个点在不同帧中仍携带同一份空间身份标记。

只存连续坐标还不够，相邻点的数值差异可能太小，经过编码后难以区分。论文再对三个初始坐标分别施加四个频率的余弦编码，把它们组织成四组三通道流。较高频率让相近坐标产生更明显的特征变化，补充原始身份流的分辨能力；保留多种频率而不是只保留一种，也使网络能同时利用粗粒度位置与细粒度差异。其核心变换为：

\[ \gamma_l(v)=\cos(2^l\pi v),\qquad l\in\{0,1,2,3\}. \]

其中 \(v\) 是某一维归一化初始坐标，\(l\) 是频率层级。这里编码的不是每一帧重新估计的“新身份”，而是同一条轨迹的初始属性。论文用相邻肢体运动被混淆的案例说明这点：增强可区分性是为了减少左右部位身份交换，而不是简单提高生成视频的分辨率。

3. 动态深度编码：把当前前后关系与固定身份分开表示

初始坐标能够说明一个点从哪里出发，却不能直接说明它在当前帧离相机多远。二维投影也有歧义：改变物体尺寸和沿相机方向移动，在画面上可能产生相似变化。若模型只能看到投影轨迹与固定颜色，它就需要自行猜测深度变化，容易错误处理物体接近相机或相互遮挡时的前后关系。

FlexAM 因而给点添加一组随时间变化的深度属性。每帧的归一化深度通过 Spectral 色图映射成三个通道，与不随时间改变的身份和多频属性拼接，再一起渲染到该点的投影位置。论文认为，相比灰度表达，彩色映射提供更丰富的梯度变化，有助于感知细小深度差异。最终没有点覆盖的位置为零，而被编辑区域中的有效位置同时携带身份、频率和当前深度信息。这样，“同一个点”与“这个点目前在哪个深度”被显式分开，生成器不必从同一份静态标记中推断两种不同含义。

4. 密度适配：让同一个生成器理解稀疏提示与稠密约束

轨迹越稠密，越容易保留源视频的局部运动结构，但也越可能把源对象的几何形态强加给外观不同的目标。稀疏轨迹留给生成先验更大空间，却不足以独立确定每一个局部细节。FlexAM 不把二者做成互不兼容的模型，而是在训练中随机对点云降采样，让同一个模型接触不同密度的运动条件；同时提供密度嵌入，使网络显式获知当前约束有多密，而不是把控制信号的空白都误读成同一种情况。

这一步还承担运动表示与预训练主干之间的衔接。18 通道运动视频先拆成六组三通道流，分别经过同一个预训练 VAE；轻量 CNN Adapter 再融合这些运动潜变量。外观条件及掩码形成对应的外观潜变量，随后与运动条件一起进入去噪网络。密度值采用类似扩散时间步的嵌入方式注入网络。共享 VAE 的目的，是利用主干已经使用的潜空间，而非为每一种控制任务重新训练独立运动编码器。密度适配不等于保证任意稀疏程度下都无损，它只是让模型学会利用约束强弱的变化。

一个完整示例¶

以“保留原视频的运动、替换前景外观”为例，首先用 DELTA 提取源视频的三维点和轨迹，并准备重新绘制的参考首帧。将目标前景区域遮盖为 127，保留其他区域的原始外观，把参考首帧置于条件序列前端；编辑掩码负责告诉模型哪些部分允许改变。

随后，让每条源轨迹携带固定身份、四组多频属性以及逐帧深度，渲染成 18 通道运动视频，再选择所需点密度。生成器依据参考外观重建被遮盖区域，同时依据轨迹延续源运动。这里不需要再额外提供人体骨架，也不是直接把源 RGB 像素沿光流搬运，因此新外观与原运动可以分别指定。

其他控制任务改变的主要是轨迹来源与投影方式。图像到视频相机控制先估计输入图像深度，再按目标相机轨迹重新投影点云；视频到视频重拍还需估计源相机，并构建动态点云。物体空间编辑则借助 SAM2 与 MoGe 获得目标对象的分割和几何，在三维中平移、旋转或缩放对象点云后重新投影，后续仍使用同一种运动视频接口。

损失函数 / 训练策略¶

论文以 Wan2.2Fun 5B Control 一类预训练潜空间视频扩散模型为基础，明确给出的训练要点是点云随机降采样、显式密度嵌入和条件潜变量融合。正文没有列出完整训练损失、数据规模、学习率或优化器配置，而是指向补充材料；本次全文缓存不包含该补充材料，因此不补造这些超参数，也不把常见扩散损失当作本文明确报告的公式。

实验关键数据¶

主实验¶

运动迁移比较统一使用 Qwen Image Edit 生成的参考图像，但控制输入并不相同：VACE 和 Wan2.2Fun 使用深度图，DaS 使用三维跟踪视频，FlexAM 使用其运动视频。下表选取原文表 1 的主要指标；Tex-Ali 是基于 CLIP 的文本—视频对齐，Tem-Con 是基于 CLIP 的时间一致性，i2v_sub 是 VBench++ 的主体一致性，aes_ql 与 img_ql 分别评价美学和成像质量，均为越高越好。不同指标的量纲不可直接互比。

方法	Tex-Ali ↑	Tem-Con ↑	i2v_sub ↑	aes_ql ↑	img_ql ↑
DaS	32.14	0.968	0.98	0.60	0.68
Wan2.2 Fun	32.39	0.971	0.98	0.61	0.68
VACE	32.38	0.970	0.86	0.57	0.63
FlexAM	32.55	0.976	0.99	0.64	0.68

相对 Wan2.2 Fun，FlexAM 的 Tex-Ali 增加 0.16、Tem-Con 增加 0.005、aes_ql 增加 0.03；这些都是原分数量纲下的绝对差值，不是相对百分比。成像质量 0.68 与 DaS、Wan2.2 Fun 并列，不能据此宣称所有指标都严格领先。

局部编辑的随机 A/B 用户研究包含 27 名参与者和 8 对视频。整体质量偏好为 FlexAM 59%、VACE 35%、平局 6%；保留未编辑区域的偏好分别为 51%、28%、21%。论文报告 FlexAM 5B 单 GPU 用时 91 秒，而 VACE 14B 双 GPU 用时 348 秒；模型规模与 GPU 数量不同，不能把该结果解释为相同计算配置下的纯算法加速。

消融实验¶

原文第 4.4 节主要通过图 8–10 对比完整方法与普通三维跟踪表示。缓存保留了实验设计和定性结论，但没有可可靠读取的稀疏重建图表数值，也未给出逐个删除模块的完整数值矩阵。以下因此是消融/分析证据表，不虚构 PSNR、SSIM、FVD 或单模块收益。

分析对象	对照设置	观察结果	证据边界
密度适配	首帧与稀疏运动信号重建视频，对比 DaS	FlexAM 的 PSNR、SSIM 更高，FVD 更低，并减少运动漂移	原文图 8 及正文给出方向；缓存未保留可读数值
精细位置编码	普通三维跟踪表示与完整表示对比	相邻肢体身份混淆减少，动态细节更稳定	原文图 9 定性结果，不是独立模块增益测量
动态深度编码	缺少时变深度的表示与完整表示对比	更好区分缩放与深度运动，减少不合理遮挡	原文图 10 定性结果，未报告明确误差差值

关键发现¶

主要量化证据支持外观一致性、时间一致性与美学改善，但若只看成像质量，优势并不普遍。评价统一控制接口时，应同时看可控性和画面质量，而不是只挑最高的一列。
相机控制在 RealEstate10K 随机抽取的 100 个序列上测试，用 Pi3 从生成视频估计相对首帧的相机姿态，再比较目标与估计的旋转、平移。FlexAM 的旋转误差最低，但 Wan2.2 Fun Control Camera 的平移误差略低；缓存中的公式和图中数值提取不完整，因此不重建精确公式或填补数值。
空间物体编辑中，GeoDiffuser 是图像方法，比较对象是 FlexAM 与 DaS 视频的最终帧，而非完整视频质量。图 7 的 CLIP 数值与方法标签在缓存中粘连，故这里只保留论文关于 FlexAM 语义对齐更好的定性结论。

亮点与洞察¶

固定身份与动态深度并置，区分了轨迹对应关系和当前空间关系。比起把所有信息塞入一张深度图，这种表示更明确地告诉模型哪些属性应该跨帧不变、哪些属性应随运动变化。
外观掩码不仅是局部编辑的开关，也把首帧生成与视频内编辑组织成同一种输入形式。它解决的是条件覆盖范围的问题，而不是简单扩大参考图像数量。
多任务能力主要来自可修改的三维控制表示，而非为每个任务增加专门输出头。共享接口并未消除几何预处理，却把这些预处理的结果汇合到同一种运动视频中。

局限与展望¶

作者承认控制精度依赖三维轨迹估计，快速运动、严重遮挡和跟踪错误都会传递到生成阶段。显式几何条件并不自动保证几何正确。
源运动与目标外观只有中等程度几何差异时较稳健，差异严重时仍可能产生不合理变形；训练数据的光照多样性有限，也可能造成照明不匹配。作者提出更丰富的光照数据和更大视频数据规模作为改进方向。
当前证据不能充分隔离每个编码组件的独立贡献，用户研究样本也较小。更强的结论需要可复核的数值消融、统一计算预算的效率实验，以及补充材料中的训练细节；这是对现有证据边界的判断，而不是新的研究方案。

评分¶

新颖性: 4/5。沿着三维跟踪控制路线进行有针对性的表示改进，外观条件与运动属性的组合有清楚动机。
实验充分度: 3/5。覆盖多种任务并有用户研究，但单模块数值消融、统一效率条件及训练细节在当前正文证据中不足。
写作质量: 4/5。问题与表示设计对应清晰；部分总体领先措辞需要结合指标并列和相机平移例外阅读。
价值: 4/5。为统一视频生成控制提供了实用接口，实际效果仍受几何估计与外观匹配程度约束。