FashionChameleon: Towards Real-Time and Interactive Human-Garment Video Customization¶

会议: NeurIPS 2026
arXiv: 2605.15824
领域: 视频生成
关键词: 自回归视频生成, 人物服装定制, 流式扩散蒸馏, KV 缓存重调度, 上下文学习

一句话总结¶

本文提出首个面向实时交互式人物服装定制的自回归流式视频生成框架 FashionChameleon，通过上下文学习教师模型、梯度重加权分布匹配流式蒸馏以及免训练 KV 缓存重调度机制，在单张 H200 GPU 上以 23.8 FPS 实现 720p 实时生成与生成过程中的无缝动态换装。

研究背景与动机¶

随着扩散 Transformer（DiT）的发展，基于参考图像的特定主体视频定制（Subject-to-Video, S2V）乃至多参考图定制（如 VACE、Kaleido、MAGREF、SkyReels-A2、Phantom）取得了显著进展。然而，现有方法大多聚焦于粗粒度的人物身份保持，缺乏对服装等细粒度人体属性的专门建模；同时，这些方法普遍依赖多步双向扩散架构一次性联合合成所有视频帧，在 14B 规模下推理帧率通常不足 0.8 FPS，既无法满足影视制作、电商试穿与互动娱乐对低延迟流式生成的需求，也不支持在视频生成过程中实时、交互式地动态切换人物穿着的服装。

将混合自回归视频生成（如 CausVid、Self Forcing）引入人物服装交互定制面临三重核心矛盾：第一是“单服装训练到多服装交互的泛化矛盾”，真实世界中同一人物连续动态切换多套服装的视频数据极难获取，如何仅凭单套服装视频数据学会多服装切换是一大难题；第二是“流式效率与长程一致性的矛盾”，将双向教师模型蒸馏为少步自回归学生模型虽能大幅提速，但在自滚动（self-rollout）长视频外推中极易产生累积误差，导致人体肢体扭曲或身份漂移；第三是“交互换装与动作连贯性的矛盾”，在流式生成中途切换服装属于离散控制信号突变，直接替换服装条件会被历史帧中的旧服装特征覆盖，而强行清空历史又会导致切换帧处动作断裂。

为解决上述矛盾，本文保留图生视频（I2V）先验并确保参考人像与目标服装不同，使模型在单服装训练中隐式习得换装连贯性；进而通过面向自回归分布匹配蒸馏的动态重加权以及推理期对键值（KV）缓存的精细手术，打通从单服装静态条件到多服装实时流式交互的完整链路。核心 idea：利用“参考人像与目标服装异源”的上下文学习与梯度重加权流式蒸馏构建少步自回归生成基座，并在推理期通过免训练的服装 KV 刷新、历史 KV 撤回与参考 KV 解耦三重缓存重调度，实现 23.8 FPS 实时生成下的无缝动态换装与动作连贯保持。

方法详解¶

整体框架¶

FashionChameleon 旨在给定一张参考人物图像 \(I^{\text{src}}\) 和一组服装图像序列 \(\langle I^{\text{gar}_1}, \dots, I^{\text{gar}_N} \rangle\) 时，以流式自回归方式生成人物视频，支持用户在任意时刻交互式切换服装并保持动作与身份连贯。整体管线包含四大核心部分：首先通过四阶段数据构建管线制备高质量“参考人像-目标服装-视频”配对样本；接着利用上下文学习训练双向教师模型，赋予模型单次换装的隐式连贯先验；随后通过上下文教师强制掩码与梯度重加权分布匹配蒸馏，将教师模型压缩为少步自回归流式学生模型；最后在流式推理阶段，通过免训练的 KV 缓存重调度机制实现多套服装的实时无缝切换。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["原始互联网视频"] --> B["四阶段高质量数据构建管线<br/>过滤→动静态描述→脱衣提取→换装构造"]
    B --> C["上下文学习双向教师模型<br/>共享VAE无噪条件与异源服装I2V训练"]
    C --> D["上下文流式自回归蒸馏<br/>对称教师强制掩码+梯度重加权DMD"]
    D --> E["免训练KV缓存重调度<br/>服装KV刷新+历史KV撤回+参考KV解耦"]
    E --> F["23.8 FPS 实时流式生成<br/>与交互式多服装无缝切换"]

关键设计¶

1. 四阶段高质量数据构建管线：构造异源参考人像以支撑无多服装数据的换装学习

真实场景中几乎不存在“同一人物在连贯动作中切换多套衣服”的训练视频，若直接用视频首帧作为参考人像，模型只会学到简单的图生视频复制，无法具备换装能力。为此，本文设计了四阶段自动化数据管线，从互联网原始视频中构建了 62K 组高质量“参考人像 \(I^{\text{src}}\) - 目标服装 \(I^{\text{gar}}\) - 视频 \(\mathcal{V}\) - 文本提示”样本。管线首先经由镜头切分（PySceneDetect 切分为 3~5 秒片段）、单人检测（YOLOv8-Seg）、光流运动筛选（UniMatch 剔除静止片段）及美学质量评估（Q-Align 与 FAST-VQA-M）完成粗到细过滤；随后使用 Gemini-3.1 进行静态（场景、外貌、服装）与动态（动作、表情、运镜）解耦描述；接着对视频首帧调用图像脱衣模型 Qwen-Image-Edit 提取干净的目标服装图 \(I^{\text{gar}}\)，并由 VLM 检验语义一致性、纹理一致性与无背景残留；最后由 VLM 识别服装类别（上装/下装/全身）并从服装库检索同类别的其他服装，通过图像试穿模型将视频首帧中的人物换成检索到的另一件服装，从而构造出与目标服装不同、但人物身份和姿势及背景与视频首帧完全对齐的参考图像 \(I^{\text{src}}\)。

2. 上下文学习双向教师模型：共享潜空间无噪条件拼接与隐式单服装切换

传统流式视频方法常引入额外辅助编码器处理控制信号，不仅增加参数开销，还容易破坏与视频主干特征的对齐。本文直接复用视频 VAE 编码器 \(\mathcal{E}\)，将目标视频 \(\mathcal{V}\)、参考图像 \(I^{\text{src}}\) 和服装图像 \(I^{\text{gar}}\) 统一编码到共享潜空间，得到视频潜变量 \(z_0^v\) 以及无噪条件潜变量 \(z_0^{\text{src}}\) 和 \(z_0^{\text{gar}}\)。训练时仅对视频潜变量按流匹配添加时间步 \(t\) 的高斯噪声得到 \(z_t^v\)，而将参考潜变量与服装潜变量保持无噪，三者沿 token 维度直接拼接为统一序列 \(z_t^{\text{uni}} = [z_0^{\text{src}}, z_0^{\text{gar}}, z_t^v]\)，共享同一套查询、键、值投影矩阵 \(W_q, W_k, W_v\) 进行全局多模态自注意力交互，输出端仅保留视频潜变量部分。由于训练保持了图生视频（I2V）范式——生成视频的首帧除服装需替换为 \(I^{\text{gar}}\) 外，人物姿势、身份与背景均严格对齐参考图 \(I^{\text{src}}\)——模型在训练中隐式学会了“在保持首帧人物姿态与运动连贯的前提下完成单次换装”，这为后续推理期多次动态换装奠定了关键先验。

3. 上下文流式自回归蒸馏：对称教师强制掩码与梯度重加权分布匹配蒸馏（GR-DMD）

将多步双向教师蒸馏为少步自回归学生模型时，常规管线需要先生成海量 ODE 轨迹进行初始化，计算代价高昂；同时，现有方法在上下文 token 拼接架构下无法直接应用标准教师强制（Teacher Forcing），且普通分布匹配蒸馏（DMD）对所有帧等权优化，在自滚动（Self-Forcing）外推时后序帧累积误差严重，极易出现人物肢体畸变或重影。本文分两步解决这一问题：首先，用轻量级的上下文教师强制掩码替代高成本的 ODE 初始化，将带噪序列 \(\langle z_0^{\text{src}}, z_0^{\text{gar}}, z_t^v \rangle\) 与干净序列 \(\langle z_0^{\text{src}}, z_0^{\text{gar}}, z_0^v \rangle\) 对称拼接输入模型，并设计专用因果注意力掩码，使得所有待生成的视频帧均可关注无噪条件 \(z_0^{\text{src}}\)、\(z_0^{\text{gar}}\) 及历史干净视频帧，但条件 token 不能访问任何未来生成帧，从而将双向教师平滑微调为多步自回归模型；其次，在结合 Self-Forcing 进行少步 DMD 蒸馏时，提出梯度重加权分布匹配蒸馏（GR-DMD），引入美学奖励模型 \(\mathcal{R}\) 实时评估自滚动生成的每一帧质量，将质量越低的退化帧赋予越大的蒸馏梯度权重：

\[\nabla\mathcal{L}_{\text{Reweight-DMD}} = -\mathbb{E}_{t}\left[\int \mathcal{A}^{1:f}(G(\epsilon))\cdot \left(s_{\text{real}}^{1:f}(\phi(G(\epsilon),t),t) - s_{\text{fake}}^{1:f}(\phi(G(\epsilon),t),t)\right)\cdot \frac{dG_{\theta}(\epsilon)}{d\theta}\,d\epsilon\right]\]

其中第 \(i\) 帧的自适应权重定义为 \(\mathcal{A}^i(G(\epsilon)) = \frac{\exp(-\mathcal{R}(G^i(\epsilon))/\tau)}{\sum_{j=1}^f \exp(-\mathcal{R}(G^j(\epsilon))/\tau)}\)，\(\tau=0.2\) 为温度系数。通过负向指数归一化，质量下滑的后序帧获得更强的分布对齐约束，有效抑制了长视频自回归外推中的动作崩溃与肢体畸变。

4. 免训练 KV 缓存重调度：刷新、撤回与解耦协同实现无缝动态换装

在自回归流式推理中，模型维护容量上限为 \(M=23\) 的滑动窗口 KV 缓存，常驻保留参考图像 \(KV^{\text{src}}\)、当前服装 \(KV^{\text{gar}}\) 与首帧注意力汇聚点（attention sink）\(KV^0\)，其余历史帧按先进先出（FIFO）更新：

\[\text{KV Cache} := \langle KV^{\text{src}}, KV^{\text{gar}}, KV^0, KV^{\max(1, k-M+4)}, \dots, KV^k \rangle\]

当用户在第 \(k\) 帧交互式切换新服装 \(I^{\text{gar}_2}\) 时，若仅执行服装 KV 刷新（将 \(KV^{\text{gar}}\) 替换为新服装编码出的 \(KV^{\text{gar}_2}\)），人物身上的旧衣服根本不会改变。作者通过注意力可视化发现，在上下文流式生成中，新生成帧对历史帧 KV 的注意力权重远高于对条件 KV 的权重，历史帧中的旧服装特征会强行延续到后续帧。为此，本文第二步执行历史 KV 撤回（Historical KV Withdraw），在换装时刻清空缓存中的历史视频帧 KV（包括旧的 \(KV^0\) 与近期帧），迫使注意力重新聚焦到新服装 \(KV^{\text{gar}_2}\) 上。然而，彻底撤回历史 KV 会丢失人物当前运动状态，导致换装瞬间动作跳变。为此，第三步提出参考 KV 解耦（Reference KV Disentangle）：利用教师模型预训练时“生成首帧姿态严格对齐参考图像、仅替换服装”的 I2V 先验，将换装前最后一个历史潜变量块对应的最后一帧作为新的参考图像来衔接动作。由于 3D VAE 中单个历史潜帧 \(KV^k\) 对应 4 帧解码像素图像，直接用 \(KV^k\) 替换单帧编码的 \(KV^{\text{src}}\) 会造成特征分布失配，本文先通过 VAE 解码器将最后一个历史潜帧解码至像素空间，单独取出最后 1 帧图像再经 VAE 编码器重编码并前向提取出纯净的单帧参考缓存，替换掉原有的 \(KV^{\text{src}}\)，从而在零额外训练的条件下同时实现了服装瞬间切换与人体动作的丝滑衔接。

损失函数 / 训练策略¶

训练分为两个主要阶段，骨干网络基于 WAN2.2-5B-TI2V 初始化，分辨率统一为 \(1280 \times 704\)，训练片段长度为 81 帧（对应潜空间帧数 \(f = \frac{81-1}{4}+1 = 21\) 帧）： - 第一阶段（双向教师模型预训练）：使用条件流匹配损失 \(\min_{\theta}\mathbb{E}_{t\sim\mathcal{U}(0,1)}\|v_{\theta}(z_t^{\text{uni}}, t, c) - (\epsilon^{1:f} - z_0^{1:f})\|_2^2\) 进行全参数微调（Full FT）。为防止模型过度依赖文本中的静态外貌描述而忽略参考图像，训练时以 70% 的概率仅输入动态描述（动作、运镜），30% 的概率输入完整动静态描述。采用 FSDP 策略，全局 batch size 为 64，学习率经 200 步预热至 \(1\times 10^{-5}\)，在 1100 步后衰减至 \(5\times 10^{-6}\) 并训练至 2300 步。 - 第二阶段（流式自回归蒸馏后训练）：先使用上下文教师强制掩码以学习率 \(1\times 10^{-6}\) 全参数微调 4000 步，将双向模型转化为多步因果自回归模型；随后以 4 步时间步调度 \([1000, 750, 500, 250]\) 进行梯度重加权 DMD（GR-DMD）蒸馏，生成器与伪分数网络 \(s_{\text{fake}}\) 按 \(1:5\) 的更新比例训练 400 步（学习率分别为 \(2\times 10^{-6}\) 和 \(4\times 10^{-7}\)），真实分数网络 \(s_{\text{real}}\) 冻结，此阶段 100% 采用完整长文本描述以稳定蒸馏质量。推理时每块（chunk）自回归生成 3 个潜空间帧，交互推理时的文本提示不包含服装描述以免与动态切换的服装图产生冲突。

实验关键数据¶

主实验¶

作者构建了包含 240 个多样化人物、场景与服装样本的评测基准 HGC-Bench，对比了多参考视频定制方法（VACE、Kaleido、MAGREF、SkyReels-A2、Phantom）以及“首帧编辑（Qwen-Image-Edit）+ 图生视频（WAN-5B-TI2V）”两阶段管线。评测指标涵盖身份一致性（Cur.，基于 ArcFace）、文本对齐（GME，基于 Qwen2-VL）、运动幅度（Amp.，光流幅度）、时序平滑度（Smoo.，基于 Q-Align）、视觉质量（VQ，基于 MUSIQ）、基于 Gemini-3.0 评测的三项服装指标——高级语义一致性（HGC）、低级纹理一致性（LGC）、非目标区域保持度（NTP，满分均为 5 分），以及在单张 H200 GPU 上生成的帧率（FPS）。

方法	参数量 ↓	Cur. ↑	GME ↑	Amp. ↑	Smoo. ↑	VQ ↑	HGC ↑	LGC ↑	NTP ↑	FPS ↑
Edit + I2V	20B+5B	0.4094	0.6741	0.8636	0.9898	0.7482	4.5417	3.9167	4.4583	0.76
VACE	14B	0.2746	0.6962	0.4054	0.9764	0.7409	4.3708	3.5458	4.6417	0.23
Kaleido	14B	0.3676	0.6882	0.2675	0.9935	0.7478	4.1708	3.5500	4.7167	0.13
MAGREF	14B	0.0459	0.7138	0.2571	0.9436	0.7301	3.6000	2.2000	2.6875	0.27
SkyReels-A2	14B	0.3689	0.6550	0.5205	0.9424	0.7241	3.3625	2.6958	4.6458	0.54
Phantom (1.3B)	1.3B	0.5507	0.6855	0.1144	0.9668	0.7338	4.3292	3.6417	4.6875	0.77
Phantom (14B)	14B	0.4911	0.6972	0.2086	0.9932	0.7446	4.5375	3.8333	4.6417	0.15
FashionChameleon (本文)	5B	0.4911	0.6839	0.7771	0.9969	0.7483	4.6833	3.9250	4.7625	23.8

消融实验¶

下表汇总了表 2（教师模型条件注入方式与微调策略在 81 帧短视频上的消融）与表 3/表 4（流式蒸馏策略、温度系数 \(\tau\) 及提示词类型在 165 帧长视频外推上的消融）：

实验组与配置	Cur. ↑	GME ↑	Amp. ↑	Smoo. ↑	VQ ↑	HGC ↑	LGC ↑	NTP ↑	说明
教师：Chan.-Concat + Full FT	0.1811	0.6874	0.3748	0.9266	0.7404	4.4917	3.1667	4.4667	通道拼接导致身份与平滑度严重退化
教师：Ours (In-Context) + LoRA FT	0.4046	0.6928	0.6448	0.9777	0.7437	4.7292	3.9458	4.7042	仅微调 LoRA，身份与服装细节较弱
教师：Ours (In-Context) + Attn FT	0.4348	0.6900	0.6350	0.9881	0.7471	4.8500	4.0625	4.7750	仅微调注意力层
教师：Ours (In-Context) + Full FT	0.4602	0.6972	0.5625	0.9936	0.7473	4.8583	4.1583	4.7792	完整教师模型（81帧评测最优）
蒸馏（165帧）：Naive DMD (Mixed Caption)	0.4237	0.6564	0.7164	0.9797	0.7349	4.6234	3.8703	4.6444	普通DMD+混合短描述
蒸馏（165帧）：Naive DMD (Long Caption)	0.4232	0.6700	0.8026	0.9932	0.7419	4.6958	3.8958	4.7125	普通DMD+完整长描述
蒸馏（165帧）：GR-DMD (\(\tau=0.3\))	0.4111	0.6786	0.5106	0.9933	0.7465	4.7583	3.9375	4.6958	温度偏高导致运动幅度明显收缩
蒸馏（165帧）：GR-DMD (\(\tau=0.5\))	0.4252	0.6774	0.7907	0.9953	0.7421	4.7083	3.8833	4.7058	权重趋于均匀，逼近 Naive DMD
蒸馏（165帧）：GR-DMD (\(\tau=0.2\), Long)	0.4265	0.6732	0.8395	0.9975	0.7480	4.7000	3.9042	4.7333	本文最终流式学生配置

关键发现¶

推理速度跨越式提升且服装保真度全面领先：FashionChameleon 以 5B 参数量达到了 23.8 FPS 的 720p 实时生成速度，比最快的基线 Phantom-1.3B（0.77 FPS）快约 31 倍，比同量级质量的 14B 模型（Phantom-14B 0.15 FPS、Kaleido 0.13 FPS）快 158~183 倍；同时在时序平滑度（0.9969）、视觉质量（0.7483）以及全部三项服装指标（HGC 4.6833、LGC 3.9250、NTP 4.7625）上均取得第一。虽然 Phantom-1.3B 的 Cur. 分数最高（0.5507），但其运动幅度极低（Amp. 仅 0.1144 vs 本文 0.7771），说明其高身份分依赖于近乎静止的画面。
上下文 token 拼接远优于通道拼接：在表 2 中，将条件注入方式从通道拼接（Chan.-Concat）改为共享潜空间上下文 token 拼接后，Cur. 身份分从 0.1811 大幅跃升至 0.4602，低级服装纹理一致性 LGC 从 3.1667 提升至 4.1583，证明跨空间位置的全局多模态自注意力对于将异源服装几何贴合到运动人体至关重要。
GR-DMD 与参考 KV 解耦是长视频与动态换装的稳定器：在 165 帧长视频外推中，GR-DMD（\(\tau=0.2\)）相比 Naive DMD 将运动幅度从 0.8026 提升至 0.8395，同时将平滑度提升至 0.9975、视觉质量提升至 0.7480，定性消融证实其消除了后序帧的手臂重影与结构坍塌；在换装瞬间，若不经过“VAE 解码取末帧再重编码”的参考 KV 解耦而直接使用含 4 帧信息的历史潜变量，会因为训练与推理的参考分布失配导致人物外观伪影和动作断裂。

亮点与洞察¶

“异源参考图 + I2V 先验”巧妙绕开多服装视频数据瓶颈：针对真实世界缺乏连续换装视频的痛点，作者没有强行合成低质量的伪造多服装视频，而是通过单帧试穿构造“同姿态不同服装”的参考人像并保留 I2V 首帧对齐属性，让模型在单服装训练中自然习得“保持姿态不变、仅替换衣物”的隐式映射，并在推理期通过更新参考帧将其复用于无限次换装。
注意力诊断驱动的免训练 KV 缓存手术：作者通过可视化发现自回归视频模型在流式生成时存在“重历史 KV、轻条件 KV”的注意力偏置，揭示了直接替换条件 token 无法改变生成内容的根本原因；由此设计的“刷新服装 KV → 撤回历史 KV → 单帧解耦更新参考 KV”三步法无需任何微调即可推广至各类离散属性切换任务。
训练期与蒸馏期的差异化提示词策略：预训练阶段采用 70% 纯动态描述迫使模型从视觉参考图中提取人物与服装静态外观，而蒸馏阶段切换为 100% 完整动静态长描述以稳定分布匹配分数估计（表 4 验证长描述比混合描述在平滑度上高 0.0135），体现了多阶段训练中模态依赖控制的精细经验。

局限与展望¶

服装品类与复杂形变泛化受限：作者指出，受限于当前 62K 精选数据集的服装种类覆盖面，模型在面对极端剪裁、罕见配饰或复杂多层叠穿服饰时，纹理还原与物理垂坠感仍可能出现退化。
大幅度人体运动与剧烈运镜下的鲁棒性瓶颈：受限于底层开源视频基座（WAN2.2-5B-TI2V）自身的生成能力，当输入提示词包含快速转身、大幅度舞蹈或复杂镜头环绕时，人体局部结构仍可能出现闪烁。
换装时刻的瞬态计算开销：参考 KV 解耦需要在换装帧执行一次额外的 3D VAE 解码与单帧重编码及前向传播，在高频连续切换服装时可能引入微小的帧间延迟峰值，未来可探索在潜空间直接训练单帧解耦投影器以彻底免除像素空间往返。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次实现实时流式交互的人物服装视频定制，免训练 KV 缓存三步重调度与异源 I2V 预训练配合极为巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 构建了 240 样本 HGC-Bench，涵盖 7 个主流基线对比、3 组核心模块消融、提示词策略消融及 672 份人类偏好评估。
写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰，从注意力分布可视化引出 KV 缓存重调度的动机严密，图表与公式表述规范。
价值: ⭐⭐⭐⭐⭐ 单卡 23.8 FPS 的 720p 实时换装能力对电商虚拟试穿、直播互动与数字人内容创作具有极高的直接落地价值。