LUA: Latent Upscaling Adapter for Diffusion-Based Image Synthesis¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成
关键词: 潜在超分辨率 / 扩散模型 / 高分辨率图像生成 / 潜在空间适配器

一句话总结¶

针对高分辨率扩散生成中重采样计算代价高与后处理超分引入伪影的问题，LUA 提出在潜在表示送入 VAE 解码器之前插入轻量级前向超分适配器，结合三阶段潜在-像素渐进课程学习与跨尺度共享主干，以单次解码实现与原生高分辨率相当的 2K/4K 图像合成且推理速度提升数倍。

研究背景与动机¶

潜在扩散模型（LDMs）通过将生成过程压缩至紧凑的潜在空间，大幅降低了计算负担并成为现代图像合成的标准范式。然而，这类生成器在实际应用中受限于训练阶段固定的空间分辨率（常见为 $512\times 512$ 或 $1024\times 1024$）。当直接在超出训练规格的尺度上进行采样时，模型往往会出现严重的内容重复、几何畸变以及纹理崩溃。尽管全参数重新训练或高分辨率微调能够缓解这些伪影，但其所消耗的算力与数据成本极其昂贵。

后处理超分辨率（SR）是规避重新训练的直接替代方案，但主流的两类范式均面临难以克服的权衡。像素级超分辨率在 VAE 解码后对 RGB 图像进行重建，计算复杂度随输出像素数量呈二次方爆炸，不仅推理延迟高，且纯像素级重构容易造成细节过度平滑或语义漂移；而现有的潜在空间超分辨率方案（如 DemoFusion、LSRNA）虽然提前在潜在空间放大特征，却普遍依赖两阶段甚至多阶段的引导式二次扩散过程，引入额外的去噪循环、噪声分支与复杂的调度逻辑，严重削弱了生成效率。若直接对潜在特征应用双三次插值等朴素放大操作，又会破坏潜在流形的几何结构，解码后产生不可接受的网格与模糊伪影。

在此背景下，核心挑战在于如何在不增加二次扩散步骤、不显著增加延迟的前提下，使放大后的潜在代码严格保持在有效潜在流形内并保留精细的高频统计特性。核心 idea：在扩散生成器与冻结的 VAE 解码器之间插入即插即用的轻量级潜在超分适配器（LUA），通过共享 Swin 结构主干与尺度专精头部实现单次前向潜在放大，并配合渐进式三阶段潜在-像素联合课程训练，实现无缝嵌入现代扩散管线的单次解码超高清合成。

方法详解¶

整体框架¶

LUA 的核心处理流程定位在预训练生成器与冻结 VAE 解码器之间的潜在空间界面。首先，预训练扩散生成器接收文本条件与初始噪声，完成标准的去噪过程并输出原始低分辨率潜在特征 $z \in \mathbb{R}^{h \times w \times C}$（其中 $C$ 为通道数，FLUX/SD3 为 16，SDXL 为 4）。随后，LUA 接收 $z$ 并通过单次前向计算直接将其映射为高分辨率潜在表示 $\hat{z} \in \mathbb{R}^{\alpha h \times \alpha w \times C}$（放大倍率 $\alpha \in \{2, 4\}$）。最终，冻结的 VAE 解码器仅需对 $\hat{z}$ 执行单次解码即可得到目标超高清图像 $\hat{x}$。由于 VAE 本身具备空间步长 $s=8$ 的上采样能力，$\times 2$ 的潜在放大直接带来像素级 $16\times$ 的分辨率提升，而 LUA 处理的特征点数仅为像素级超分的 $1/s^2 = 1/64$，极大节省了计算开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["低分辨率潜在表示<br/>生成器输出 z ∈ R^(h×w×C)"] --> B["通道对齐卷积<br/>1×1 卷积匹配目标 VAE 通道"]
    B --> C["共享 Swin 特征主干<br/>窗口自注意力捕获局部与全局上下文"]
    C --> D["尺度专精亚像素卷积头<br/>Pixel-Shuffle 预测放大潜在 z_hat"]
    D --> E["单次 VAE 解码<br/>冻结解码器输出高清图像 x_hat"]

关键设计¶

1. 潜在域即插即用超分范式：规避二次扩散与像素级计算爆炸 传统高分辨率生成依赖二次扩散引导，导致推理步数成倍增加；而像素级超分辨率则在解码后的庞大像素矩阵上运算。LUA 确立了确定性前向映射算子 $U_\alpha(z)$，将所有生成随机性保留在底模生成器中，LUA 自身仅专注于潜在流形几何特征的插值与高频微观结构的补全。针对空间步长 $s=8$ 的 VAE，像素级超分算子需在 $(sh) \times (sw)$ 的坐标格上执行，而 LUA 仅在 $h \times w$ 的紧凑空间操作，运算空间元素比值严格满足 $O(hw) / O((sh)(sw)) \approx 1/s^2 = 1/64$。这使得 LUA 在完成超分辨率提升的同时，避免了多轮迭代去噪的显存占用和调度延迟，仅以极小的额外推理开销（在 L40S 上仅增加 0.42s 至 2.21s）实现超高清渲染。

2. 共享主干与尺度专精头部：多倍率统一与跨 VAE 零门槛迁移 为了避免为不同放大倍率（$\times 2$ 与 $\times 4$）重复构建模型，LUA 采用共享特征提取主干搭配尺度专精预测头的解耦架构。主干网络基于 SwinIR 的窗口自注意力机制构建，其移位窗口特性与 VAE 潜在表示的局部统计相关性天然吻合。在主干特征提取之后，分别挂载独立的轻量卷积与 Pixel-Shuffle 亚像素卷积头（$U_{\times 2}$ 与 $U_{\times 4}$），使得主干能够学习跨尺度的尺度不变表征，而专精头负责补偿各自放大倍数特有的混叠效应。进一步地，该架构具备跨 VAE 架构级复用能力：当从 16 通道的 FLUX/SD3 迁移至 4 通道的 SDXL 时，模型保持 Swin 主干与上采样头部参数完全冻结或复用，仅需将输入端首层 $1 \times 1$ 卷积调整为目标通道数，并在目标 VAE 的少量潜在对上进行轻量微调即可收敛，彻底摒弃了从头预训练的巨大开销。

3. 三阶段渐进式课程学习：对齐潜在流形与解码感知一致性 单域损失在潜在超分中存在严重瓶颈：纯潜在域损失容易导致解码图像产生残留网格、高频白噪与模糊；而直接端到端通过冻结 VAE 梯度反传优化像素损失，又会因为未归一化的潜在特征梯度爆炸而无法收敛。LUA 为此设计了由浅入深的三阶段课程学习策略： - 阶段 I（潜在域结构对齐）：学习基础映射 $\hat{z} = U_\alpha(z)$，结合空间 $\ell_1$ 损失与频域傅里叶变换幅度损失，快速拉齐潜在空间的高维分布与微观频谱： $$\mathcal{L}_{\mathrm{SI}} = \alpha_1 \mathcal{L}_{\mathrm{L1}}^z + \beta_1 \mathcal{L}_{\mathrm{FFT}}^z$$ 其中 $\mathcal{L}_{\mathrm{FFT}}^z = \| \mathcal{F}(\hat{z}) - \mathcal{F}(z_{\mathrm{HR}}) \|_1$，$\mathcal{F}$ 表示通道维度的 2D FFT 幅度变换，平衡系数设为 $\alpha_1=1.0, \beta_1=0.1$。 - 阶段 II（联合潜在-像素一致性）：引入冻结解码器建立跨域约束，在保留阶段 I 潜在损失的同时，加入双三次下采样低频一致性损失 $\mathcal{L}_{\mathrm{DS}}^x$ 与高斯模糊残差高频损失 $\mathcal{L}_{\mathrm{HF}}^x$： $$\mathcal{L}_{\mathrm{SII}} = \alpha_2 \mathcal{L}_{\mathrm{L1}}^z + \beta_2 \mathcal{L}_{\mathrm{FFT}}^z + \gamma_2 \mathcal{L}_{\mathrm{DS}}^x + \delta_2 \mathcal{L}_{\mathrm{HF}}^x$$ 其中 $\mathcal{L}_{\mathrm{DS}}^x = \| \downarrow_d(\hat{x}) - \downarrow_d(x_{\mathrm{HR}}) \|_1$，$\mathcal{L}_{\mathrm{HF}}^x = \| (\hat{x} - G_\sigma(\hat{x})) - (x_{\mathrm{HR}} - G_\sigma(x_{\mathrm{HR}})) \|_1$，权重分别为 $\alpha_2=1.0, \beta_2=0.1, \gamma_2=0.1, \delta_2=0.05$。这一阶段规范化了潜在代码在解码过程中的几何连续性。 - 阶段 III（边缘感知图像精炼）：彻底解除潜在损失约束，纯粹在像素域利用像素级 $\ell_1$、图像傅里叶损失与边缘感知梯度定位损失（EAGLE Loss）对细微边缘和纹理进行锐化： $$\mathcal{L}_{\mathrm{SIII}} = \alpha_3 \mathcal{L}_{\mathrm{L1}}^x + \beta_3 \mathcal{L}_{\mathrm{FFT}}^x + \gamma_3 \mathcal{L}_{\mathrm{EAGLE}}^x$$ 权重配置为 $\alpha_3=10.0, \beta_3=1.0, \gamma_3=5 \times 10^{-5}$，有效消除解码中的阶梯锯齿与振铃假影。

损失函数 / 训练策略¶

训练基于 OpenImages 数据集，筛选长宽均 $\ge 1440$ 像素的图像并裁剪为 $512 \times 512$ 切片，通过双三次下采样构建对应的低清/高清图像对，再经由 FLUX VAE 编码为潜在代码对（共计 380 万对）。优化器选用 Adam（学习率 $2 \times 10^{-4}$，权重衰减 0，梯度裁剪阈值 0.4），配合 EMA 衰减系数 0.999 及 MultiStepLR 调度。阶段 I 有效批次为 2,048，阶段 II 和 III 为 32；每个阶段固定执行 125k 迭代步，在 8 卡 NVIDIA H100 集群上总训练耗时约 270 GPU 小时。跨 VAE 适配仅需采样 50 万对目标模型潜在对进行快速微调。

实验关键数据¶

主实验¶

评估在 OpenImages 验证集（1,000 张未见高清图片配对标注提示词）上展开。表 1 对比了基于 SDXL 底模的不同超高清生成范式在 1K、2K 和 4K 分辨率下的图像质量与单图推理时间。

分辨率	方法	FID ↓	pFID ↓	KID ↓	pKID ↓	CLIP ↑	推理耗时 (s)
1024×1024	HiDiffusion	232.55	230.39	0.0211	0.0288	0.695	1.54
	DemoFusion	195.82	193.99	0.0153	0.0229	0.725	2.04
	LSRNA–DemoFusion	194.55	192.73	0.0151	0.0228	0.734	3.09
	SDXL (Direct)	194.53	192.71	0.0151	0.0225	0.731	1.61
	SDXL + SwinIR	210.40	204.23	0.0313	0.0411	0.694	2.47
	SDXL + LUA (本文)	209.80	191.75	0.0330	0.0426	0.738	1.42
2048×2048	HiDiffusion	200.72	114.30	0.0030	0.0090	0.738	4.97
	DemoFusion	184.79	177.67	0.0030	0.0100	0.750	28.99
	LSRNA–DemoFusion	181.24	98.09	0.0019	0.0066	0.762	20.77
	SDXL (Direct)	202.87	116.57	0.0030	0.0086	0.741	7.23
	SDXL + SwinIR	183.16	100.09	0.0020	0.0077	0.757	6.29
	SDXL + LUA (本文)	180.80	97.90	0.0018	0.0065	0.764	3.52
4096×4096	HiDiffusion	233.65	95.95	0.0158	0.0214	0.698	122.62
	DemoFusion	185.36	177.89	0.0043	0.0113	0.749	225.77
	LSRNA–DemoFusion	177.95	62.07	0.0023	0.0071	0.757	91.64
	SDXL (Direct)	280.42	101.89	0.0396	0.0175	0.663	148.71
	SDXL + SwinIR	183.15	65.71	0.0018	0.0103	0.756	7.29
	SDXL + LUA (本文)	176.90	61.80	0.0015	0.0152	0.759	6.87

表 2 展示了 LUA 跨不同主流生成模型（FLUX、SDXL、SD3）以及多倍率（$\times 2$ 与 $\times 4$）下的通用表现：

尺度	扩散模型底座	FID ↓	pFID ↓	KID ↓	pKID ↓	CLIP ↑	推理耗时 (s)
×2	FLUX + LUA	180.99	100.40	0.0020	0.0079	0.773	29.83
	SDXL + LUA	183.15	101.18	0.0020	0.0087	0.753	3.52
	SD3 + LUA	184.58	103.94	0.0022	0.0083	0.768	20.29
×4	FLUX + LUA	181.06	62.30	0.0018	0.0085	0.772	31.91
	SDXL + LUA	182.42	71.92	0.0015	0.0152	0.754	6.87
	SD3 + LUA	183.34	67.25	0.0016	0.0095	0.769	21.84

消融实验¶

表 3 验证了三阶段渐进式课程训练中各阶段的贡献，对比了仅潜在 $\ell_1$ 监督及剔除不同阶段后的表现（在 $\times 2$ 与 $\times 4$ 尺度下）：

课程阶段配置	×2 PSNR ↑	×2 LPIPS ↓	×4 PSNR ↑	×4 LPIPS ↓	说明
潜在 $\ell_1$ 单独基线	28.53	0.198	26.16	0.236	缺乏频域与感知约束，重建边缘模糊
阶段 I + II (缺少 III)	28.96	0.172	26.67	0.213	未进行像素级边缘精炼，存在微小伪影
阶段 I + III (缺少 II)	31.05	0.150	27.10	0.198	跨域过渡突兀，潜在流形与解码器失配
阶段 II + III (缺少 I)	31.60	0.145	27.40	0.192	缺乏纯潜在预热，收敛不够稳定
完整课程 (I + II + III)	32.54	0.138	27.94	0.184	综合表现最佳，兼顾结构与纹理细节

表 4 对比了超采样机制与架构选择的影响：

架构策略	×2 PSNR ↑	×2 LPIPS ↓	×4 PSNR ↑	×4 LPIPS ↓	说明
LIIF (连续坐标隐式解码)	29.10	0.210	26.10	0.235	连续坐标表示在极高频微观结构上保真度不足
独立单尺度专用模型 (Separated)	31.92	0.150	27.71	0.189	分开单独训练各尺度模型，未能享受跨尺度特征互补
联合多头共享主干 (Joint Multi-Head)	32.54	0.138	27.94	0.184	共享表示更鲁棒，性能全面超越单尺度独立网络

关键发现¶

在 2048 和 4096 目标分辨率下，LUA 定义了帕累托最优前沿：在 4K 分辨率下，SDXL+LUA 达到 176.90 FID 与 61.80 pFID，优于 LSRNA–DemoFusion 的 177.95，而耗时从 91.64 秒骤降至 6.87 秒，实现超过 13 倍的加速。
原生高分辨率直接采样在 4K 场景下发生完全崩溃（SDXL Direct FID 劣化至 280.42），且有 9–19% 概率出现结构重复和多头异化等致命瑕疵；LUA 则完全免疫此类生成畸变。
跨模型微调具有极高的数据效率：在 FLUX/SD3 预训练权重基础上迁移到 SDXL，仅使用 5 万对潜在样本即可追平既有基线；超过 25 万对后性能即超越 LSRNA，验证了潜在流形先验的高度泛化性。
在 1K 分辨率下，输入潜在分辨率过低（仅 $64 \times 64$），导致整体 FID（209.80）稍逊于原生生成的 194.53，但其局部 patch 指标（pFID 191.75 与 CLIP 0.738）依然领先，印证了输入潜在信息瓶颈是制约低倍率全局结构的主要因素。

亮点与洞察¶

设计契合瓶颈特征：避开了繁复的二次扩散循环，将超分降维到单次前向潜在推导，借助 VAE 自带的 $8\times$ 放大能力实现了计算量缩减 64 倍的惊人杠杆。
巧妙的课程训练衔接：通过“纯潜在对齐 $\to$ 潜在像素混合渐进 $\to$ 纯像素边缘强化”的递进路线，攻克了冻结 VAE 梯度反传不稳定与未归一化潜在特征发散的工程难点。
跨架构低成本适配：仅修改首层卷积并微调少量步数，即可实现单一超分适配器在 FLUX、SD3、SDXL 等不同拓扑模型间的平滑迁移。

局限与展望¶

幻觉继承问题：LUA 属于确定性前向映射，若初始底模生成的低分辨率潜码中存在肢体畸变或语义逻辑错误，适配器会忠实放大此类缺陷而无法在超分阶段自行纠错。
极端取值异常：在极少数极端样本中，超分后的潜在向量可能越界落入有效流形之外，导致解码出“坏点”（Dead Pixels），目前需借助潜在值截断（Clamping）进行经验性补救。
潜在信息密度天花板：受限于现行 VAE 的下采样率（如 stride 8），在 512px 底图上潜在特征尺寸仅为 $64 \times 64$，可恢复的高频先验天然受限；未来结合可变步长或更强信息密度的连续潜在表征将是演进方向。

评分¶

新颖性: ⭐⭐⭐⭐☆ 确立了无需二次扩散的纯前向潜在超分范式，课程设计与多尺度共享构型简洁优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1K/2K/4K 多个层级、跨 FLUX/SD3/SDXL 三大底座、详实消融及双盲 2AFC 用户主观评测。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰，数学符号与公式推导克制且直击要害，实验图表排版紧凑专业。
价值: ⭐⭐⭐⭐⭐ 为工业界大规模部署低成本、低延迟的 2K/4K 图像生成提供了极其切合实际的工程落地路径。

课程阶段配置	×2 PSNR ↑	×2 LPIPS ↓	×4 PSNR ↑	×4 LPIPS ↓	说明
潜在 \(\ell_1\) 单独基线	28.53	0.198	26.16	0.236	缺乏频域与感知约束，重建边缘模糊
阶段 I + II (缺少 III)	28.96	0.172	26.67	0.213	未进行像素级边缘精炼，存在微小伪影
阶段 I + III (缺少 II)	31.05	0.150	27.10	0.198	跨域过渡突兀，潜在流形与解码器失配
阶段 II + III (缺少 I)	31.60	0.145	27.40	0.192	缺乏纯潜在预热，收敛不够稳定
完整课程 (I + II + III)	32.54	0.138	27.94	0.184	综合表现最佳，兼顾结构与纹理细节