L2P: Unlocking Latent Potential for Pixel Generation¶

会议: NeurIPS 2026
arXiv: 2605.12013
OpenReview: https://openreview.net/forum?id=KJ3CT9VwVV
代码: https://nju-pcalab.github.io/projects/L2P/
领域: 图像生成
关键词: 像素扩散模型, 潜在扩散模型, 知识迁移, 4K图像生成, 零真实数据微调

一句话总结¶

L2P 提出了 Latent-to-Pixel 知识迁移范式，通过舍弃 VAE、采用大 Patch 图像分块与轻量级 Detailer Head 解码，并冻结预训练 LDM 核心 Transformer 骨干，仅需 8 张 GPU 和源模型自身合成的数据即可低成本构建高性能像素级扩散模型，原生解锁 4K 超高清生成。

研究背景与动机¶

潜在扩散模型（Latent Diffusion Models, LDMs）长期主导着文本到图像（T2I）生成领域，其核心思想是借助预训练变分自编码器（VAE）将高维像素压缩至低维潜在空间，从而大幅降低计算开销并积累了极其深厚的世界先验知识。然而，这种两阶段管线受到 VAE 的物理瓶颈严重制约：一方面，VAE 的有损压缩机制不可避免地丢失了高频纹理与微小结构，导致重建质量存在上限；另一方面，高分辨率下 VAE 空间解码所需的显存随像素呈二次方激增，使得原生 4K 等超高清生成在常规算力下难以实现。

为了打破 VAE 的信息瓶颈，直接在像素空间建模的扩散模型（如 JiT、PixelGen、Deco、DiP 等）近年来重新成为学术界的研究热点。但从头训练（from scratch）一个具备强大语义对齐与高美感度的先进像素级 T2I 模型需要消耗数以千计的高端 GPU 时以及数十亿经过清洗的图文对，导致现有纯像素模型与成熟 LDM 之间存在显著的语义理解与组合能力断层。这种昂贵的冷启动成本构成了一个核心矛盾：学术界和常规团队亟需纯像素端到端生成的高保真度与无 VAE 显存扩展优势，却无力承担从头预训练的基础设施成本。

本文的切入点在于直接盘活现存预训练 LDM 中沉淀的海量生成与文本对齐先验，探索一条由潜在空间向像素空间的低成本迁移路径。核心 idea：通过大 Patch 分块对齐序列长度并冻结 LDM 绝大部分中间注意力层，仅微调浅层输入输出层与轻量 Detailer Head，同时完全采用源 LDM 合成的平滑数据流形驱动训练，以仅 8 张 GPU 的极低算力实现无损语义迁移与原生 4K 解码。

方法详解¶

L2P 架构的核心设计理念是“结构继承、先验保全、流形平滑、算力极简”。它摒弃了 VAE 编解码器，将输入图像通过大步长 Patch 分块转化为 Token 序列，直接送入继承自源 LDM 的扩散主干（DiT）中。在训练过程中，模型中间的核心层被严格冻结，只对浅层投影和特制的轻量 Detailer Head 进行调优。

整体框架¶

在推理与生成阶段，L2P 摆脱了向连续潜在向量降维的 VAE 环节。输入的高分辨率噪声图像通过大尺寸 Patchify 操作切分为序列长度与原潜在表征相仿的 Token 矩阵，经过轻量浅层输入映射后进入固定的 DiT 主干。随后，高层表征与多尺度跳跃特征汇入轻量级 U-Net 结构的 Detailer Head，直接回归像素空间的扩散去噪目标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["像素空间输入图像 x_t<br/>(1024x1024 或 4K RGB)"] --> B["大 Patch 分块与浅层投影<br/>Patchify 16x16 / 64x64"]
    B --> C["冻结的 DiT 中间注意力层<br/>继承源 LDM 深度语义先验"]
    C --> D["轻量级 Detailer Head<br/>U-Net 结构高频细节解码"]
    D --> E["流形一致性去噪预测目标<br/>回归像素级连续向量场"]

关键设计¶

1. 大 Patch 分块与浅层选择性微调：化解显存危机并冻结核心先验

纯像素扩散模型通常因为空间分辨率过高而面临自注意力机制的平方复杂度膨胀。L2P 采取大尺寸分块策略，在标准 1024×1024 分辨率下采用 \(16 \times 16\) 的 Patch 大小，将输入打散为与原潜在空间等效的 \(64 \times 64\) 序列长度，确保 DiT 骨干网络维持原生的计算负担。为了防止在跨模态空间微调时破坏源模型耗费数百万小时预训练得来的文本对齐与世界知识，L2P 制定了激进的选择性冻结策略：将预训练 DiT 的全部核心中间注意力层完全冻结，仅微调输入的 Patch 嵌入投影层、前后各 \(n\) 个浅层 Transformer 块（默认 5 层）以及输出端。这种设计既保证了模型能自适应像素到潜在模态的微小分布位移，又杜绝了深层先验的灾难性遗忘。

2. 轻量级 Detailer Head：跨越 VAE 的高频纹理重构

由于舍弃了 VAE Decoder，大 Patch 分块虽然压低了计算量，但若仅靠简单的线性投影直接输出像素，极易导致图像块效应与局部纹理平滑。L2P 在 DiT 骨干之后设计了一个轻量级对称编码-解码 U-Net（Detailer Head）。该结构由下采样路径（通道维度逐步从 3 升至 512）与上采样路径组成，在瓶颈层将下采样特征与 DiT 输出的 3840 维深层语义特征进行级联拼接，再经由带有跳跃连接的卷积层进行局部微细结构恢复。通过局部卷积先验与多尺度残差融合，Detailer Head 以极少的参数量弥补了大 Patch 带来的空间高频信息损失，彻底取代了原本沉重的 VAE 解码器。

3. 合成数据流形对齐：零真实数据驱动的极速拟合

传统像素扩散训练依赖数十亿自然图像，其数据流形通常杂乱、带有噪声且包含复杂的长尾高频扰动。L2P 创新性地提出采用源 LDM 自身生成的高质量合成图文对作为唯一训练语料。通过设计包含 4 大类、17 个子类、超过 1000 个细粒度概念的层次化分类树，并借助 LLM 扩展出 200~350 字符的高质量长描述 Prompt，送入源 LDM 生成 2 万张合成图像。这些数据天生处于源 LDM 的平滑输出流形之上，使得像素扩散模型在训练时无需跨越真实世界分布的鸿沟，仅需对齐源模型的生成流形即可快速收敛。

4. 动态 Patch 与噪声偏移扩展：原生解锁 4K 超高清生成

在扩展至原生 4K（\(3840 \times 2160\)）生成时，若沿用小 Patch 会导致序列爆炸，且极密集的局部像素相关性会导致常规扩散加噪无法有效破坏原始信号，从而使模型退化为简单的局部近邻插值重构。L2P 提出了协同自适应策略：一方面将 Patch Size 动态扩大至 \(64 \times 64\)，使 4K 图像的 Token 长度维持在可接受区间；另一方面增大了 Flow Matching 的噪声偏移（Noise Shift）超参数，在时间步采样中大幅向高噪声区间倾斜。充分破坏输入信号后，强制骨干网络关注大尺度宏观布局，使原生 4K 生成单步推理延迟降低 97.67%，峰值显存节省 38.81%。

损失函数 / 训练策略¶

L2P 严格继承源 LDM 的流匹配（Flow Matching）目标函数，确保训练目标与源模型的生成先验空间精确一致：

\[\mathcal{L}_{\mathrm{L2P}} = \mathbb{E}_{\mathbf{x}_{0}, \epsilon, t} \left[ \left\| (\epsilon - \mathbf{x}_{0}) - v_{\theta}(\mathbf{x}_{t}, t) \right\|^{2} \right]\]

优化器使用 AdamW，初始学习率设为 \(5 \times 10^{-5}\)，权重衰减为 0.01。在单机 8 张 GPU（batch size 为 8）环境下，基于 20k 合成数据集仅需少量步数即可完成收敛。

实验关键数据¶

主实验¶

在 1024×1024 文本生成图像基准上，L2P 与主流潜在模型及先进纯像素扩散模型在 DPG-Bench 与 GenEval 上的对比如下：

模型分类	方法	DPG 全局	DPG 实体	DPG 属性	DPG 关系	DPG 均分↑	GenEval 总分↑
潜在模型 (LDM)	FLUX.1 [Dev]	74.35	90.00	88.96	90.87	83.84	0.66
潜在模型 (LDM)	SD3 Medium	87.90	91.01	88.83	80.70	84.08	0.62
潜在模型 (LDM)	Qwen-Image	91.32	91.56	92.02	94.31	88.32	0.87
潜在模型 (LDM)	Z-Image-turbo (源模型)	91.29	89.59	90.14	92.16	84.86	0.82
纯像素模型	PixelFlow	-	-	-	-	77.93	0.60
纯像素模型	PixelGen	85.61	86.84	89.35	85.69	80.01	0.79
纯像素模型	Deco	84.91	88.58	87.61	89.70	81.25	0.86
纯像素模型	PixNerd	87.16	89.53	88.94	89.26	82.65	0.73
纯像素模型	PixelDiT	-	-	-	-	83.50	0.74
纯像素模型	L2P (本文)	92.02	90.84	89.48	93.00	86.00	0.76

在原生 4K 超高清图像生成（UltraHR-eval4k 基准）上，L2P 与免训练及基于训练的代表性高分辨率方法对比如下：

方法类型	模型	FID↓	\(\text{FID}_{\text{patch}}\)↓	IS↑	Long-CLIP↑	FG-CLIP↑
免训练方法	I-Max	37.12	34.42	11.78	31.53	27.90
免训练方法	HiFlow	38.54	22.74	10.62	31.49	27.84
基于训练方法	PixArt-\(\sigma\)	35.60	23.63	12.23	31.76	28.74
基于训练方法	SANA	37.26	28.94	12.05	31.79	29.31
基于训练方法	Diffusion4K	41.69	39.67	12.06	31.44	27.03
纯像素迁移	L2P (本文)	33.46	21.77	12.28	31.88	28.22

消融实验¶

针对训练数据源、可训练层数及数据规模的关键消融分析总结如下：

消融维度	配置变体	收敛速度与生成质量表现	核心结论分析
训练数据源	源 LDM 合成数据 (Ours)	收敛极快，生成质量与多样性最优	拟合源模型平滑流形大幅减小知识迁移阻力
训练数据源	真实图像数据 (UltraHR 20k)	收敛缓慢，生成质量与对齐显著退化	复杂长尾真实流形破坏了微调参数的平滑匹配
训练数据源	跨模型数据 (GLM-Image)	效果中等，落后于同源合成数据	跨模型潜在表征与流形存在偏差，迁移先验受损
可微调层数	浅层微调 (5 层，Ours)	性能稳定爬升并快速收敛至最优	有效学习输入输出跨模态对齐并保全深层先验
可微调层数	中层微调 (10 层)	性能中等，收敛稍慢	更多参数参与反而干扰部分泛化能力
可微调层数	全参数微调 (Full-layer)	出现性能停滞与生成退化	无约束的全局梯度更新彻底冲垮了原有先验
合成数据规模	10k 样本	效果良好，但对复杂组合覆盖尚欠缺	数据量略有不足
合成数据规模	20k 样本 (默认)	达到质量拐点并完全收敛	20k 即可充分布局流形，性价比最高
合成数据规模	100k 样本	与 20k 表现几乎持平，性能饱和	表明合成流形具有极高的数据利用效率

关键发现¶

超越源模型的组合能力：在 DPG-Bench 上，L2P 以 86.00 的高分微弱超越了原源模型 Z-Image-turbo（84.86），证明去除 VAE 带来的空间模糊失真反而有助于精细属性与关系的语义表达。
真假多样性权衡：尽管 Deco 和 PixelGen 在 GenEval 上录得稍高分值，但它们生成的跨 Seed 图像高度同质化（LPIPS 极低）；L2P 成功继承了源模型的高熵分布，兼顾了生成的多样性与高置信度对齐。
浅层微调才是先验迁移的正解：盲目放开全部 Transformer 层训练会导致严重的灾难性遗忘与泛化退化，只调前/后 5 层与 Detailer Head 是兼顾模态适配与先验锁定的黄金平衡点。

亮点与洞察¶

平滑流形迁移假说（Smooth Manifold Fitting）：利用源 LDM 自身的输出微调自身变换后的架构，本质上是在源模型已经平滑化的低曲率流形上进行投射，避免了真实数据高维曲面的剧烈波动，极具算法复用价值。
去 VAE 带来的 4K 内存与推理双重释放：摆脱了高分辨率 VAE 解码中致命的显存二次膨胀，配合动态扩展 Patch 和增大 Noise Shift，使 4K 图像单步推理速度提升超过 97%，显存骤降约 39%。
极小样本激发的零样本泛化能力：仅在 20K 英文和中文合成图上微调浅层，即可完全继承源模型在未见文字（如韩语文本渲染）上的零样本生成能力，充分证实了深层知识冻结的有效性。

局限与展望¶

受限于源模型的上限瓶颈：由于全流程采用源 LDM 合成样本作为训练输入，若源模型本身在某些特殊实体（如复杂物理规律、精细肢体关节）上存在缺陷，L2P 无法凭空修正该系统误差。
4K 训练阶段对真实数据集的妥协：由于常规 LDM 无法直接原生生成高质量 4K 合成图，在 4K 阶段论文不得不引入 UltraHR-100K 真实数据，打破了 1024 阶段纯合成数据的优雅闭环。
未充分挖掘直接像素空间专用损失：目前仅采用了标准的 Flow Matching 目标，尚未探索像素空间特有的感知损失、频域小波约束或物理可微分正则化项。

评分¶

新颖性: ⭐⭐⭐⭐☆ 巧妙利用合成流形与浅层冻结微调打通 Latent 到 Pixel 的鸿沟，范式新颖实用。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 1K 与 4K 两个维度，消融细致，基准对比全面。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照自洽，论证直击痛点。
价值: ⭐⭐⭐⭐⭐ 为算力受限的研究者探索像素空间生成与原生 4K 生成提供了极低成本的全新工程途径。