MegaStyle: Constructing Diverse and Scalable Style Dataset via Consistent Text-to-Image Style Mapping¶

会议: NeurIPS 2026
arXiv: 2604.08364
论文: https://arxiv.org/abs/2604.08364
代码: https://jeoyal.github.io/MegaStyle/
领域: 图像生成
关键词: 风格迁移, 扩散模型, 风格数据集, 对比学习, 文本到图像生成

一句话总结¶

利用先进文生图模型中由风格描述映射到一致图像风格的能力，构建包含 170K 风格提示词与 140 万风格图像对的规模化数据集 MegaStyle-1.4M，并训练出专用风格表征编码器与基于 FLUX 的泛化风格迁移模型。

研究背景与动机¶

图像风格迁移旨在生成兼具用户给定内容与参考图像风格的目标图像。现有基于扩散模型的方法多采用自监督范式，要么将单一风格硬记入可训练的文本嵌入或轻量适配器中，要么借助预训练图像编码器（如 CLIP）提取特征后通过交叉注意力注入。然而，由于自监督训练中训练目标与参考风格图像完全一致，模型难以在高度耦合的特征空间中解耦风格与语义内容，极易导致内容泄漏或仅迁移表层色彩。虽然引入同风格不同内容图像对的成对监督能够有效规避内容泄漏，但真实世界中的风格本身具有多维度与强判别性（例如同一画家不同画作的笔触与质感差异极大），导致从互联网直接抓取或依靠无监督聚类极难收集到合格的同风格图像对。

早期的伪成对数据合成尝试（如 IMAGStyle 与 OmniStyle-150K）依赖已有风格迁移基线算法在参考图像上合成变换样本，但这陷入了“用不稳定迁移模型去造数据来训练更好迁移模型”的逻辑死锁。已有基线在跨内容迁移时主要仅泛化了底层色调，在笔触、介质与光影纹理上产生剧烈抖动与伪影，不仅风格空间受限，更严重破坏了风格对内的风格一致性。同时，学术界长期缺乏可靠的细粒度风格相似度度量工具，通用 VLM 编码器高度偏向语义内容而非艺术风格，这也阻碍了风格数据的自动清洗与规模化扩增。

本文作者观察到前沿大尺度的文生图生成模型（如 Qwen-Image）已具备极强的指令响应精度，能够从极其详尽的文字风格描述出发，跨越不同物体和构图稳定生成风格高度一致的图像。核心 idea：利用前沿文生图模型中一致的“文本-图像风格映射”能力，通过 VLM 细粒度解耦生成 170K 风格提示词与 400K 内容提示词并进行正交组合，全自动构建高质多样的 MegaStyle-1.4M 风格对数据集，并以此监督训练风格表征编码器与 DiT 风格迁移模型。

方法详解¶

整体框架¶

MegaStyle 框架围绕风格数据的规模化解耦构建、判别性表征学习和通用生成迁移展开。数据管线首先从开源美术馆与通用图像库中建立千万级候选池，利用视觉语言大模型分别以内容解耦指令和风格解耦指令提取文本描述，经去重与分层平衡采样后构建出提示词库；随后将各风格提示词与独立内容提示词组合输入文生图模型生成同一风格下的多内容图像对。在此基础上，基于 MegaStyle-1.4M 数据集，框架联合设计了风格监督对比学习训练专用风格编码器 MegaStyle-Encoder，并基于 Diffusion Transformer 架构微调 MegaStyle-FLUX 风格迁移网络。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图库采集<br/>风格池 2M + 内容池 2M"] --> B["双解耦提示词抽取与分层平衡采样<br/>VLM 分解风格/内容 + MPNet 分层聚类"]
    B --> C["提示词组合驱动生成 MegaStyle-1.4M<br/>Qwen-Image 文生图映射生成风格对"]
    C --> D["风格监督对比学习 MegaStyle-Encoder<br/>类内聚集 + 图像文本对比正则"]
    C --> E["双分支 DiT 风格迁移 MegaStyle-FLUX<br/>VAE 图像 Token 级联 + Shifted RoPE"]
    D -->|提供可信度量| F["风格相似度检索与评测基准"]
    E -->|生成高质量迁移| G["通用可泛化任意风格迁移"]

关键设计¶

1. 双解耦提示词抽取与分层平衡采样：从源头斩断语义与风格耦合

针对网络图库中风格与语义交织导致的标注污染，数据管线使用强多模态模型 Qwen3-VL 进行非对称的结构化解耦抽取。对于风格图像，提示词模板强制要求 VLM 输出整体艺术流派，并严格拆解为色彩分布、光源质感、艺术介质、物理纹理和运笔笔法等核心维度，严禁描述具体对象语义；对于内容图像，则要求仅描述画面中的主体、空间关系与背景结构，完全滤除风格定语。在获得 2M 规模候选提示词后，管线首先利用 Nemo-Curator 的三阶段去重（精确匹配、模糊哈希、语义嵌入匹配）剔除冗余，将提示词池浓缩至 100 万。

为解决长尾艺术风格在通用数据中的分布失衡，管线引入基于 DINOv3 思想的自顶向下分层聚类平衡采样机制。利用 MPNet 提取提示词语义嵌入，进行四级层次化 K-means 聚类（簇规模自底向上依次为 50K、10K、5K、1K）。针对全局采样预算 \(M\)，从最高层级开始，通过求解共享截断上限 \(n\) 递归分配配额：

\[\arg\min_{n} \left| M - \sum_{j} \min(n, s_j) \right|\]

其中 \(s_j\) 代表第 \(j\) 个聚类簇的样本容量，各子簇最终分配到的样本上限为 \(\min(n, s_j)\)。层层下推直到叶子簇，最终沉淀出 170K 风格提示词（覆盖 8,355 类整体艺术风格）与 400K 内容提示词，具备极佳的流派多样性与长尾平衡性。

2. 提示词组合驱动生成 MegaStyle-1.4M：以生成式一致性替代迁移合成

以往构造风格对主要靠现存风格迁移算法硬做变形，但低质的迁移算法直接把伪影和色差带入数据集。本文将生成大模型本身的“文本指令-图像生成”映射视作高一致性的风格变换函数。对于采样的每一个风格提示词 \(s\)，随机匹配 \(N=8\) 个互不重叠的内容提示词 \(c_1, \dots, c_N\)，组合成独立的文生图 prompt 送入 Qwen-Image 生成。

由于 Qwen-Image 在同一套细粒度笔触、介质描述下能够稳定收敛到相同的画风，该过程自然形成了同一风格下的多样化内容图像组。最终生成的 MegaStyle-1.4M 包含了 140 万张高分辨率合成图，全面覆盖油画、水彩、浮世绘、3D 渲染、赛博朋克等 170K 细粒度风格，确保了风格对在“风格极度内聚（Intra-style Consistency）”的同时兼具“跨类高度分散（Inter-style Diversity）”。

3. 风格监督对比学习 MegaStyle-Encoder：消除通用 VLM 的内容检索偏见

现存 CLIP 与 SigLIP 等预训练视觉模型以图文语义匹配为主目标，计算风格相似度时极易被图像内容带偏（如把两张包含猫的不同风格画作判为高相似度）。为获得纯净的风格度量空间，作者基于 MegaStyle-1.4M 数据集中的风格图像对 \((x_k, s_k)_{k=1}^{MN}\)（其中 \(M=170\text{K}\) 种细粒度风格，每类 \(N\) 个不同内容样本），提出风格监督对比学习（Style-Supervised Contrastive Learning, SSCL）。

编码器以 SigLIP-So400M 为基础底座，仅更新图像编码器 \(\mathcal{E}_\theta\)，在 8,192 的超大 batch size 下进行有监督对比学习。对于锚点图像 \(x_i\)，其归一化隐特征为 \(\mathbf{z}_i = \frac{\mathcal{E}_\theta(x_i)}{\|\mathcal{E}_\theta(x_i)\|_2}\)。定义正样本集合 \(\mathcal{P}(i) = \{p \in \{1,\dots,MN\} \mid s_p = s_i\} \setminus \{\text{self}(i)\}\)，负样本集合 \(\mathcal{A}(i) = \{1,\dots,MN\} \setminus \{\text{self}(i)\}\)。监督对比损失 \(\mathcal{L}_{\mathrm{scl}}\) 定义为：

\[\mathcal{L}_{\mathrm{scl}} = \frac{1}{MN}\sum_{i=1}^{MN} \left( -\frac{1}{|\mathcal{P}(i)|}\sum_{p \in \mathcal{P}(i)} \log \frac{\exp(\mathbf{z}_i^\top \mathbf{z}_p / \tau)}{\sum_{a \in \mathcal{A}(i)} \exp(\mathbf{z}_i^\top \mathbf{z}_a / \tau)} \right)\]

为防止视觉特征在大量非语义聚类中崩溃，模型保留了图像与对应风格文本嵌入 \(\mathbf{t}_j = \frac{\phi(s_j)}{\|\phi(s_j)\|_2}\) 之间的 SigLIP 风格图文对比正则损失 \(\mathcal{L}_{\mathrm{itc}}\)：

\[\mathcal{L}_{\mathrm{itc}} = \frac{1}{MN^2}\sum_{i=1}^{MN}\sum_{j=1}^{MN} \log \left( 1 + \exp(-y_{ij} \mathbf{z}_i^\top \mathbf{t}_j) \right)\]

联合损失函数 \(\mathcal{L}_{\mathrm{sscl}} = \mathcal{L}_{\mathrm{scl}} + \mathcal{L}_{\mathrm{itc}}\) 驱使图像编码器忽略画面的具体实体与几何排布，仅聚焦于画法、光影、介质纹理与色彩分布的低层与中层统计特性。

4. 双分支 DiT 风格迁移 MegaStyle-FLUX：基于 Shifted RoPE 的无泄漏迁移

为使生成模型掌握通用任意风格迁移能力，研究团队基于 FLUX.1-dev 骨干网络设计了 MegaStyle-FLUX。训练时从 MegaStyle-1.4M 抽选同风格不同内容的成对图像，一张作为参考风格图 \(I_{\mathrm{ref}}\)，另一张作为扩散去噪目标图 \(I_{\mathrm{tgt}}\)。参考风格图不经过任何额外的语义压缩网络，直接通过 FLUX 的 VAE 编码并切片为视觉 token，与目标图的加噪潜在 token 以及目标内容文本 token 直接在序列维度拼接输入 MM-DiT 模块。

为了解决两组图像 patch 在自注意力与交叉注意力交互中产生的坐标冲突以及参考图像局部结构泄漏问题，模型为参考图像 token 引入了额外的偏移旋转位置编码（Shifted RoPE）。通过在空间坐标系上对参考图像施加固定的坐标偏移，消除了参考 token 与生成目标 token 的空间重叠，彻底打破了空间语义的直接复制倾向。训练过程中仅使用 LoRA（rank=128）更新 Diffusion Transformer 参数，其余组件全部冻结。

实验关键数据¶

主实验¶

评估分为两大部分：一是风格编码器在基准 StyleRetrieval 上的检索精度（评测表征是否真正捕捉风格而非内容）；二是风格迁移模型在 StyleBench 上的迁移保真度与文本对齐度。主实验对比了不同骨干的风格编码器在 StyleRetrieval 上的表现，以及 MegaStyle-FLUX 与各主流 SOTA 风格迁移方法的客观与主观表现。

任务与模型	骨干网络 / 方法	核心风格度量 (mAP@1 / Style Cosine)	核心内容度量 (Recall@10 / Text CLIP)	人类风格偏好 (%)	人类文本偏好 (%)
风格检索评测		mAP@1 ↑	Recall@10 ↑	—	—
CLIP (Zero-shot)	ViT-L	9.29	31.56	—	—
CSD	ViT-L	45.60	79.18	—	—
MegaStyle-Encoder	ViT-L	87.26	97.61	—	—
SigLIP (Zero-shot)	SoViT	10.43	36.32	—	—
MegaStyle-Encoder	SoViT	88.46	97.66	—	—
风格迁移对比		Style Sim ↑	Text Sim ↑	Human Style ↑	Human Text ↑
DEADiff	SD1.5	51.34	23.13	3.05	11.13
Attention-Distillation	SDXL	85.59	20.29	13.97	6.31
InstantStyle	SDXL	71.41	20.77	18.19	10.98
CSGO	SDXL	55.02	23.05	7.34	16.18
StyleShot	SD1.5	63.42	21.79	15.21	13.69
MegaStyle-FLUX	FLUX-DiT	76.16	23.20	31.37	28.72

注：Attention-Distillation 与 InstantStyle 虽然在 Style 相似度上数值很高，但其本质是严重复制参考图内容，导致文本对齐分极低且存在严重内容泄漏；MegaStyle-FLUX 在保持极高文本依从性的同时，实现了平衡且最高的人类综合偏好（风格 31.37%，文本 28.72%）。

消融实验¶

为验证不同训练数据集对风格迁移模型性能的决定性影响，作者在完全相同的架构（MegaStyle-FLUX）下，分别采用 JourneyDB、OmniStyle-150K 以及本研究提出的 MegaStyle-1.4M 进行训练。

训练数据集	数据规模	风格构建方式	Style 相似度 ↑	Text 对齐度 ↑	质感与色彩迁移表现
JourneyDB	4.4M	用户生成图与简略 prompt	34.56	21.12	风格对内差异巨大，几乎无法捕捉参考图色彩与笔触
OmniStyle-150K	150K	传统风格迁移算法合成	51.49	23.02	仅能迁移最基本的全局色调，缺失高阶质感与笔触
MegaStyle-1.4M (本文)	1.4M	文本映射正交组合生成	76.16	23.20	稳定复现水彩晕染、浮世绘线条、3D 质感等复杂艺术特征

同时，在 StyleShot 迁移框架上对比原有 StyleGallery 数据与 MegaStyle-1.4M 的消融实验显示：将数据集替换为 MegaStyle-1.4M 后，StyleShot-FLUX 的 Style 相似度从 57.06 大幅提升至 67.73，Text 分数由 21.86 提升至 23.27。

关键发现¶

大模型生成的成对一致性远优于传统风格迁移级联：基于 OmniStyle-150K 等传统方法构建的数据集，其内在的风格噪声与伪影会被扩散模型放大；而由 Qwen-Image 文本映射生成的风格对保证了干净的纹理和相同的艺术介质，是模型学会高阶风格迁移的关键。
通用视觉编码器严重受制于语义偏置：原始 SigLIP 在 StyleRetrieval 上的 mAP@1 仅为 10.43，往往检索出相同内容类别的图片（例如把油画猫匹配给照片猫）；经 MegaStyle-Encoder 监督对比微调后，mAP@1 暴涨至 88.46，证明了大规模独立风格对比学习对解耦语义的有效性。
Shifted RoPE 对 DiT 架构风格迁移至关重要：直接拼接视觉 token 极易造成注意力塌陷和参考图构图泄漏，通过坐标偏移能够确保模型仅借用参考 token 中的风格分布。

亮点与洞察¶

逆向利用大生成模型的风格稳定先验：传统思路尝试通过算法去强行迁移两张图，本文反其道而行之，将“高精文生图模型对同一组风格词能生成恒定风格”这一内在特性转化为无监督数据生产引擎，突破了数据规模瓶颈。
分层平衡聚类消除了艺术风格的长尾坍缩：通过 MPNet 结合四层级 K-means 的 top-down 配额截断算法，避免了合成数据集被常见的高频风格（如动漫、写实摄影）统治，保留了 8,355 类艺术流派的丰富多样性。
风格度量与迁移生成的闭环验证：提出了高质量基准 StyleRetrieval 与度量模型 MegaStyle-Encoder，彻底摆脱了过去依赖 Gram 矩阵、ArtFID 或粗糙 CLIP 语义分的评测乱象。

局限与展望¶

VLM 描述能力带来的粒度瓶颈：当前 VLM 在描述极其罕见或复杂的混合艺术流派时，偶尔会退化到笼统词汇（如仅标为“digital art”），导致生成的风格提示词对罕见介质覆盖不足。
生成模型的文化与概念关联偏见：文生图底模本身存在文化联想偏置，例如当风格词包含“Japanese painting”时，模型倾向于自动在画面中生成浮世绘人物、和服或江户时期背景，难以与中立现代内容完全正交解耦。
未来扩展空间：后续工作可进一步精细化风格指令模板，优化底层特征解耦机制，并将数据集扩增至千万级别（10M+）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [巧妙将文生图一致映射转化为风格数据构建工具，开辟了风格迁移数据合成的新路线]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖风格检索、迁移生成、主观偏好以及多数据、多底座交叉消融，设计详尽]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，数据流水线与公式推导清晰严谨]
价值: ⭐⭐⭐⭐⭐ [贡献了 1.4M 风格数据集、强力风格编码器与基准，极大推进行业度量与迁移技术]