UniCSG: Unified High-Fidelity Content-Constrained Style-Driven Generation via Staged Semantic and Frequency Disentanglement

会议: ECCV 2026
论文: ECCV 2026 Poster 4742
领域: 图像生成
关键词: 风格迁移、扩散模型、内容与风格解耦、多尺度频率分解、强化学习对齐

一句话总结

UniCSG 提出了分阶段语义与频域解耦框架，在隐空间先通过低频滤波与条件加噪解耦语义骨架，再通过差分高斯金字塔重构高频纹理，并在像素空间结合多维奖励优化，在文本引导与参考图像引导风格迁移中大幅抑制参考内容泄漏并提升保真度。

研究背景与动机

风格迁移是可控图像生成领域的核心任务，涵盖文本引导（根据自然语言描述赋予指定艺术风格）与参考图像引导（将参考样例的视觉外观迁移至目标内容）。在数字艺术创作、广告创意及游戏制作等工业界与学术界场景中，核心诉求始终是在高度忠实地保留源图像语义布局与几何结构的同时，实现精准且富有表现力的风格对齐。然而，随着扩散模型架构从带有局部归纳偏置的传统 UNet 向全局建模能力更强的 Diffusion Transformer（DiT）演进，模型普遍暴露出严重的「内容-风格纠缠」现象。这种纠缠往往导致生成过程中发生参考图内容泄漏（即参考图中的多余物体或语义意外混入生成结果）、风格过拟合以及生成不稳定问题。

深入剖析该问题的物理根源，现有扩散模型主要面临三层矛盾。首先，主流隐空间扩散模型通常采用单一的端到端重建目标进行训练，这使得优化过程极易被低层纹理和像素级噪声所主导，而忽视了轮廓、几何拓扑与语义布局等高层结构约束。其次，频率耦合加剧了内容与风格的混淆；DiT 骨干网络天生擅长捕捉全局低频结构，而在高频细节纹理的精细合成上相对孱弱，未能针对不同频率频带采取分而治之的建模策略。最后，模型参数全部在 VAE 的隐空间中进行去噪优化，但生成图像的最终质量感知却完全发生在解码后的像素空间；隐空间的均方误差最优解往往在解码后偏离人类感知最优，导致伪影和细节模糊。

本文针对上述三大症结，摒弃了盲目扩大网络参数或设计复杂混合编码器的重型路线，提出了分阶段、渐进式的统一解耦范式。核心 idea：将内容约束风格生成显式拆解为隐空间的「低频语义解耦」与「多尺度高频重构」两阶段递进训练，并在像素空间引入多维奖励对齐，从而在单一模型中统一文本与参考图双模态驱动的高保真风格生成。

方法详解

整体框架

UniCSG 基于预训练图像编辑骨干模型 Qwen-Image-Edit 构建，采用统一的四元组输入 \(\langle \text{text}, \mathbf{I}_{\text{ref}}, \mathbf{I}_{\text{content}}, \mathbf{I}_{\text{gt}} \rangle\)，在同一架构下无缝兼容文本引导与参考图引导两种风格迁移模式。整个训练流程遵循「解耦-重构-对齐」的时序与空间多维协同机制：在隐空间中，阶段 1 专注于通过输入低通滤波与分级条件噪声破坏构建鲁棒的语义几何骨架，阶段 2 移除低频截断并利用差分高斯（DoG）金字塔强化高频细节纹理恢复；与此同时，像素空间的多维奖励对齐模块贯穿两阶段训练，直接在解码图像上利用策略梯度拉齐潜空间目标与人类感知质量。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据四元组<br/>文本 / 参考图 / 内容图 / 目标图"] --> B["阶段 1：低频语义解耦<br/>低通滤波预处理 + 分级条件加噪 + 语义对比损失"]
    B --> C["阶段 2：频域感知细节重构<br/>DoG 隐空间多尺度分解 + MSE/LogMSE 组合损失"]
    C --> D["像素空间多维奖励对齐<br/>CLIP-I 内容忠实度 + CSD 风格对齐 + 策略梯度优化"]
    D --> E["高保真风格生成输出<br/>严格保持几何结构且抑制参考内容泄漏"]

关键设计

1. 低频语义解耦：低通滤波与分级条件噪声破坏 针对训练初期模型过度依赖局部纹理导致内容与风格纠缠的问题，阶段 1 借鉴扩散去噪天然具有的由粗到细演化规律，在 VAE 编码前对目标图 \(\mathbf{I}_{\text{target}}\)、内容图 \(\mathbf{I}_{\text{content}}\) 及风格图 \(\mathbf{I}_{\text{style}}\) 统一实施低通滤波 \(\mathcal{F}_{\text{low\_pass}}\)，滤除高频干扰并仅保留阈值 \(\tau\)（默认 \(\tau=0.2\)）以下的低频分量。为了在统一时间步下实现精准解耦，模型在同一采样时间步 \(t\) 下引入分级噪声放大系数 \(\gamma_{\text{style}} > \gamma_{\text{content}} > 1\)。具体而言，对条件分支的加噪方差进行差分放大：

\[\boldsymbol{\epsilon}_{\gamma_i} = \boldsymbol{\epsilon} + \sqrt{\gamma_i^2 - 1}\,\boldsymbol{\epsilon}',\quad \boldsymbol{\epsilon},\boldsymbol{\epsilon}' \sim \mathcal{N}(0, \mathbf{I}) \implies \boldsymbol{\epsilon}_{\gamma_i} \sim \mathcal{N}(0, \gamma_i^2\mathbf{I})\]

由此构造出信息层级梯队：目标图分支受扰动最小，内容图适度加噪以提供结构几何约束，风格图承受最强的噪声破坏。这一不对称设计迫使 DiT 仅能从严重破损的风格隐变量中提取全局色彩和宏观质感，而从内容分支提取严密的物体轮廓与场景拓扑，从根本上杜绝了参考图像中具体前景实体的泄漏。此外，阶段 1 还引入概率为 \(p\) 的纯噪声替换机制强化鲁棒性，并构建由目标保真度项 \(\mathcal{L}_{\text{target}}^{\text{cont}}\)、内容保留项 \(\mathcal{L}_{\text{content}}^{\text{cont}}\) 及风格排斥项 \(\mathcal{L}_{\text{style}}^{\text{diss}}\) 组成的 CLIP 语义指导损失，引导隐空间形成稳固的解耦脚手架。

2. 频域感知细节重构：DoG 隐空间多尺度分解与对数高频约束 在阶段 1 确立了稳定的全局语义轮廓后，阶段 2 移除了图像端的低通滤波限制，转向全频谱信息的高清恢复。为了避免在隐空间去噪与高频纹理重构之间产生表征割裂，UniCSG 直接在隐变量空间构建差分高斯（DoG）金字塔，将预测隐变量 \(\hat{\mathbf{z}}\) 与真实目标隐变量 \(\mathbf{z}_{\text{target}}\) 逐层分解为低频分量 \(\hat{\mathbf{z}}_{\text{low}}^{(k)}\) 与高频细节分量 \(\hat{\mathbf{z}}_{\text{high}}^{(k)}\)。

考虑到低频结构具有全局共性且误差分布相对均匀，模型采用均方误差（MSE）提供强梯度引导；而高频分量交织着目标风格的精细笔触与难以避免的高频随机噪声，严格的像素级绝对对齐极易引起局部过拟合或高频棋盘状伪影。因此，UniCSG 在高频部分创新性地引入对数均方误差（LogMSE），有效削弱异常大误差对优化的剧烈扰动，聚焦于中小尺度的可迁移风格细节恢复：

\[\mathcal{L}_{\text{stage2}} = \mathcal{L}_{\text{base}} + \lambda_{\text{freq}} \sum_k \left[ w_{\text{low}} \left\| \hat{\mathbf{z}}_{\text{low}}^{(k)} - \mathbf{z}_{\text{target, low}}^{(k)} \right\|_2^2 + w_{\text{high}} \log\left( 1 + \left\| \hat{\mathbf{z}}_{\text{high}}^{(k)} - \mathbf{z}_{\text{target, high}}^{(k)} \right\|_2^2 \right) \right]\]

通过设置 \(w_{\text{high}} > w_{\text{low}}\)，网络在确保全局布局不漂移的前提下，集中梯度能力雕刻精细艺术笔触与表面质感。

3. 像素空间多维奖励对齐：跨空间感知一致性反馈 由于隐空间距离的最优解与解码后像素空间的人类感知品质存在固有偏差，UniCSG 引入贯穿两阶段的像素空间多维奖励学习机制。将去噪生成的隐变量通过 VAE 解码器映射回图像空间 \(\hat{\mathbf{I}}\)，并由预训练的内容与风格裁判模型打分。综合奖励函数定义为：

\[R_{\text{total}} = \omega_c R_c + \omega_s R_s + \sum_i \omega_i R_i\]

其中，\(R_c\) 采用 CLIP-I 计算生成图与内容图的语义余弦相似度，保证核心主体语义与拓扑不失真；\(R_s\) 基于 CSD（Cosine Style Distance）评估生成图与风格参考图的艺术风格表征契合度；辅助奖励 \(R_i\) 整合了 LPIPS 感知质量评价与对抗判别器反馈。系统通过类似于策略梯度的强化学习目标，将计算得到的阶跃优势值 \(\mathcal{A}(s) = R_{\text{total}} - b(\cdot)\) 反向传播至扩散模型参数中，直接以感知表现拉动去噪步长，补齐了潜空间优化与最终感官体验之间的鸿沟。

损失函数 / 训练策略

模型训练分为前后衔接的两个阶段：阶段 1 运行前 \(60\%\) 的总步数（\(S_{\text{warmup}} = 0.6 \cdot S_{\text{total}}\)，即 12,000 步），采用基础速度预测损失 \(\mathcal{L}_{\text{base}}\) 联合三元语义损失 \(\mathcal{L}_{\text{sem}}\)；阶段 2 进行后 8,000 步训练，切换为全频带输入并激活频域多尺度损失 \(\mathcal{L}_{\text{stage2}}\)。在整个训练生命周期内，总目标函数统一形式为：

\[\mathcal{L}_{\text{total}}(s) = \mathcal{L}_{\text{latent}}(s) + \lambda_{\text{pixel}} \cdot \mathcal{L}_{\text{pixel}}(s)\]

训练基于两张 NVIDIA A100 GPU 展开，优化器学习率设为 \(5 \times 10^{-6}\)，各阶段采用渐进衰减的条件加噪强度，确保了从粗粒度语义解耦到超精细纹理雕琢的平滑过渡。

实验关键数据

主实验

评估在综合构建的 CSG-Bench（包含 1,922 张涵盖肖像、建筑、自然风光、动漫、物体、美食等多元场景的内容图，以及 6 类代表性艺术风格）上进行。实验全面覆盖风格一致性指标（FID、CSD、CLIP-T）与内容一致性指标（CLIP-I、DINO、DreamSim）。

表 1：CSG-Bench 文本引导风格迁移定量对比

方法	FID ↓	CSD ↑	CLIP-T ↑	CLIP-I ↑	DINO ↑	DreamSim ↑
OmniConsistency (2025)	117.079	0.503	0.266	0.705	0.487	0.712
OmniStyle (2025)	134.415	0.275	0.247	0.737	0.620	0.715
FLUX.1-Kontext-dev (2025)	120.649	0.430	0.251	0.772	0.588	0.741
Nano-banana (2025)	128.162	0.534	0.249	0.792	0.644	0.791
DreamOmni2 (2025)	120.697	0.388	0.252	0.757	0.531	0.704
OmniGen2 (2025)	121.355	0.448	0.260	0.733	0.547	0.733
BAGEL (2025)	132.504	0.525	0.265	0.696	0.425	0.638
Ovis-U1 (2025)	136.033	0.573	0.275	0.702	0.400	0.653
Qwen-Image-Edit (Base)	120.329	0.489	0.251	0.772	0.617	0.761
UniCSG (本文方法)	113.940	0.541	0.267	0.797	0.701	0.816

表 2：CSG-Bench 参考图像引导风格迁移定量对比

方法	FID ↓	CSD ↑	CLIP-T ↑	CLIP-I ↑	DINO ↑	DreamSim ↑
OmniConsistency (2025)	91.140	0.635	0.269	0.666	0.408	0.679
OmniStyle (2025)	129.775	0.393	0.256	0.732	0.615	0.670
FLUX.1-Kontext-dev (2025)	91.785	0.560	0.255	0.690	0.498	0.685
Nano-banana (2025)	127.868	0.522	0.250	0.745	0.586	0.748
DreamOmni2 (2025)	112.960	0.420	0.242	0.784	0.606	0.748
OmniGen2 (2025)	90.270	0.622	0.271	0.624	0.409	0.624
BAGEL (2025)	72.070	0.511	0.266	0.503	0.212	0.500
Ovis-U1 (2025)	101.215	0.703	0.277	0.552	0.274	0.555
Qwen-Image-Edit (Base)	87.922	0.577	0.253	0.570	0.328	0.565
UniCSG (本文方法)	87.320	0.731	0.271	0.760	0.597	0.762

消融实验

为了验证各关键模块的实际效能，论文在 CSG-Bench 上分别针对文本引导与参考图引导两种设定进行了逐项剥离消融。

表 3：文本引导与参考图引导风格迁移消融实验对比

实验配置	任务设定	FID ↓	CSD ↑	CLIP-T ↑	CLIP-I ↑	DINO ↑	DreamSim ↑
UniCSG (完整模型)	文本引导	113.940	0.541	0.267	0.797	0.701	0.816
w/o Stage 1 (无低频解耦)	文本引导	121.855	0.524	0.258	0.748	0.590	0.763
w/o Stage 2 (无频域重构)	文本引导	124.718	0.516	0.255	0.755	0.630	0.770
w/o Reward (无像素奖励)	文本引导	123.331	0.521	0.255	0.758	0.622	0.775
UniCSG (完整模型)	参考图引导	87.320	0.731	0.271	0.760	0.597	0.762
w/o Stage 1 (无低频解耦)	参考图引导	90.708	0.645	0.266	0.716	0.417	0.691
w/o Stage 2 (无频域重构)	参考图引导	92.317	0.619	0.262	0.714	0.452	0.701
w/o Reward (无像素奖励)	参考图引导	92.335	0.661	0.264	0.723	0.451	0.706

关键发现

• 阶段 1 对内容约束与防泄漏至关重要：移除阶段 1（低通滤波与分级条件加噪）后，参考图引导下的 DINO 指标从 0.597 骤降至 0.417，DreamSim 从 0.762 跌至 0.691。这证明缺乏低频骨架预先锚定，模型在面对参考图强烈的语义信号时极易发生内容泄漏。
• 阶段 2 是精细风格表达与几何形变的核心：去掉阶段 2 的多尺度频域损失后，参考图引导任务中的 CSD 风格指标直接从 0.731 大幅下滑至 0.619，FID 恶化至 92.317，说明全频带与 LogMSE 的高频雕琢是实现高质量笔触与风格形变的驱动力。
• 用户研究显示极强偏好优势：30 位专业评估人员对 48 组案例的盲测统计表明，UniCSG 在参考图引导任务中分别获得了 \(38.3\%\) 的内容一致性偏好与 \(44.6\%\) 的风格一致性偏好，远超 Nano-banana（\(30.4\% / 24.2\%\)）等竞品，人工审美与感知指标高度契合。

亮点与洞察

• 不对称噪声放大机制构建信息层级：通过同一时间步下的噪声放大系数 \(\gamma_{\text{style}} > \gamma_{\text{content}} > 1\) 区分条件分支的信息通量，巧妙规避了传统多时间步去噪可能引发的时序不匹配问题，以极低实现代价彻底切断了参考图高层内容的泄漏通路。
• 高频对数均方误差（LogMSE）压制异常值：针对高频纹理中风格细节与偶发随机噪声混杂的本质，利用 LogMSE 抑制大偏差梯度，既确保了精细笔触的精准生成，又避免了高频过拟合或生成画面碎裂。
• 端到端加速推理落地实用：借助 Qwen-Image-Lightning 蒸馏加速技术，UniCSG 在 1024 高分辨率下文本引导仅需约 4 秒、参考图引导仅需约 10 秒，具备优异的工业部署价值。

局限与展望

• 未见极端风格（Unseen Styles）泛化性能轻微回落：在未参与训练的新风格类型（如中国水墨、刺绣织物、折纸艺术等）上测试时，参考图引导的 FID 会上升至 113.532，表明面对域外高度特化的艺术表现形式，仍需依赖更庞大多样的数据支撑。
• 像素空间奖励计算显存与耗时开销偏大：多模型在像素空间的实时解码与特征反传显著增加了训练资源负担，未来亟需探索轻量化感知代理模型或在隐空间内实现等效感知拟合。

相关工作与启发

• vs. BAGEL / Ovis-U1 等通用多模态生成模型：BAGEL 虽然在参考图引导下取得了极低的 FID（72.070），但其 DINO 仅有 0.212、DreamSim 仅有 0.500，视觉上发生了灾难性的参考内容强行替换；UniCSG 实现了风格与内容的最优权衡，真正守住了源图像的拓扑与语义身份。
• vs. 基于 UNet 的传统适配器（如 IP-Adapter、ControlNet）：此类方法多依赖浅层空间线索注入或硬性边缘约束，遇到复杂大形变艺术风格（如 3D Q版、粘土风格）时容易失效；UniCSG 在 DiT 框架下利用频域分级解耦，具备了学习类别级几何形变与深度重构的优越能力。

评分

• 新颖性: ⭐⭐⭐⭐☆ 分级噪声信息层级与隐空间 DoG 频域多尺度重构的设计思路新颖且目标明确。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CSG-Bench 大规模定量对比、细致消融、用户盲测及未见风格跨域检验。
• 写作质量: ⭐⭐⭐⭐⭐ 结构清晰紧凑，理论公式与实验分析相互印证，实验图表严密真实。
• 价值: ⭐⭐⭐⭐⭐ 彻底解决了 DiT 风格迁移中困扰业界的参考图内容泄漏痛点，工业落地潜力巨大。

相关论文

• [CVPR 2026] High-Fidelity Diffusion Face Swapping with ID-Constrained Facial Conditioning
• [ECCV 2026] From smooth to sharp: Frequency-Decoupled Latent Optimization for Realistic Image Generation
• [ICCV 2025] SCFlow: Implicitly Learning Style and Content Disentanglement with Flow Models
• [ECCV 2026] CHARTSTYLE-100K: A Large-Scale Dataset for Structured Visualization Style Transfer
• [ECCV 2026] Accelerated Likelihood Maximization for Diffusion-based Versatile Content Generation