NeurIPS 2026 图像生成图像分层分解 (Image-to-Layer) 扩散模型整流流 (Rectified Flow) 终端增强时间步采样 (Terminal-Boosted Sampling) 3D RoPE

PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining¶

会议: NeurIPS 2026
arXiv: 2609.22789
OpenReview: https://openreview.net/forum?id=d0YFvkRclJ
领域: 图像生成
关键词: 图像分层分解 (Image-to-Layer), 像素级扩散模型 (Pixel-Space Diffusion), 整流流 (Rectified Flow), 终端增强时间步采样 (Terminal-Boosted Sampling), 3D RoPE

一句话总结¶

PixelART 摒弃了传统方案依赖的预训练文本生成图像（T2I）大底模与 RGBA-VAE 潜在表示，提出首个从零训练的像素空间整流流单流 Transformer，配合终端增强时间步采样，实现了高质量、高效率且边缘清晰的图像到图层可编辑分解。

研究背景与动机¶

扁平图像生成模型（如 GPT-Image、Nano-Banana 系列）能够合成视觉高度逼真丰富的单层光栅图像，但生成结果在专业设计工作流中极难二次编辑。现代图形设计与排版软件高度依赖分层（layered）表示，其中背景、插图、文字排印、投影与装饰元素独立分层放置，支持任意层级的重新布局、重上色与样式迁移。图像到图层分解（Image-to-Layer, I2L）正是为了逆向恢复这种可编辑结构，将平铺 RGB 图像转换为按前后层叠顺序排列的一组有序 RGBA 图层。

当前主流的扩散式图层生成与分解方案（如 ART、Qwen-Image-Layered、CLD、OmniPSD）几乎普遍遵循一套固定范式：基于数十亿参数的预训练文生图（T2I）骨干网络进行迁移微调，并将标准 RGB 自动编码器扩展为 RGBA-VAE，同时设计复杂的任务定制模块以支持可变图层与透明度。然而，这种将连续平滑自然图压缩进隐空间的 RGBA-VAE 构成了严重的技术瓶颈：在处理图层中的羽化半透明、细小文本排版、细线条描边、平涂色块以及锐利的 alpha 边缘时，潜在自动编码器会造成不可逆的高频信息衰减与跨通道串扰，常常导致文字粘连变形、边缘二值化塌陷或背景颜色渗透到前景中。

本文的切入视角直击上述设计瓶颈：I2L 本质上是一个像素原生的“像素分配与遮挡补全”逆生成问题，既不需要依赖预训练文生图的跨模态先验，也不应被有损的 RGBA-VAE 束缚。核心 idea：抛弃潜在自动编码器与 T2I 预训练，构建一个从零开始训练的纯像素空间整流流 Transformer（PixelART），并通过终端增强时间步采样强化高噪声阶段的图层离散分配决策，在大幅降低参数量与延迟的同时实现像素级高保真分层重构。

方法详解¶

整体框架¶

PixelART 将图像到图层分解形式化为像素空间内的条件生成任务。给定平铺的 RGB 输入图像 $\mathbf{I} \in [0, 1]^{H \times W \times 3}$，模型的预测目标是有序的 RGBA 图层集合 $\mathcal{L} = \{\mathbf{L}_0, \mathbf{L}_1, \dots, \mathbf{L}_K\}$，其中 $\mathbf{L}_0$ 为背景层，$\{\mathbf{L}_i\}_{i=1}^K$ 为按由底至顶 $z$-order 排序的前景层，各图层合成后满足 Source-Over 混合重构约束：$\Pi_{\mathrm{RGB}}(\operatorname{Over}(\mathbf{L}_0, \mathbf{L}_1, \dots, \mathbf{L}_K)) \approx \mathbf{I}$。

整个流程由版面区域提取、像素 Patch 嵌入、单流像素扩散 Transformer 迭代去噪以及无缝反 Patch 贴图拼合四个阶段组成。对于任意图层区域，模型直接在精确的 RGBA 像素 Patch 上运行整流流（Rectified Flow）ODE 轨迹，完全不经过任何潜在特征编码与解码。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}%%
flowchart TD
    IN["平铺输入图像 I 与可选文本"] --> DET["布局检测器 DAD<br/>提取 z 轴有序边界框 R"]
    DET --> CROP["无损像素裁剪与填充<br/>全画布背景与各图层前景"]
    CROP --> EMB["轻量卷积/线性 Patch 嵌入<br/>保留原生 RGBA 像素空间"]
    EMB --> ROPE["注入 3D 旋转位置编码<br/>匿名图层 token (x, y, z) 坐标"]
    ROPE --> TRANS["单流像素扩散 Transformer<br/>全局多模态自注意力联合演化"]
    TRANS --> FLOW["整流流 x-预测与 v-损失<br/>终端增强时间步采样 t ~ q(t)"]
    FLOW --> UNPATCH["Patch 反展开与精确贴回<br/>按区域切片组装有序 RGBA 图层"]
    UNPATCH --> OUT["可编辑分层图层输出 L0, ..., LK"]

关键设计¶

1. 匿名区域参数化与 3D RoPE 坐标编码：消除图层专属解码器与语义插槽绑定 传统分层模型常为不同图层指定特定语义角色或设计多头专有解码器，这极大地限制了图层数量的可变性与排版的泛化能力。PixelART 继承匿名区域表征思想，不使用任何可学习的角色语义 embedding，也不设置图层专属预测头，而是将所有图层统一视为平等的无序/匿名 RGBA Patch 序列。对于第 $i$ 个图层的裁剪区域 $r_i = (x_i, y_i, h_i, w_i)$，模型将其空间坐标 $(x, y)$ 与层级深度 $z$ 显式解耦，并在多头自注意力层中引入 3D 旋转位置编码（3D RoPE）。干净的条件输入图像统一占据全画布空间坐标与固定的保留条件层槽位，各目标图层则根据 $z$-order 赋给对应的 $z$ 轴索引。这种纯几何/拓扑驱动的坐标绑定机制，使得网络能够在单个权重集合下灵活处理可变图层数量（最高支持训练时见过的 32 层）而无需改动网络拓扑。

2. 单流多模态像素扩散 Transformer：跨图层双向可见性与上下文全连接推理 为了让不同图层在去噪过程中充分感知彼此的重叠遮挡关系与背景基底，PixelART 采用单流 Diffusion Transformer 架构。网络将可选文本 token $\mathbf{T}$、纯净条件图像 Patch 嵌入 $\mathbf{G} = E(\widetilde{\mathbf{I}})$（附加不透明 alpha 通道变为 4 通道）以及所有带噪的目标图层 Patch 嵌入 $E(\mathbf{Y}_t^{(0)}), \dots, E(\mathbf{Y}_t^{(K)})$ 沿序列维度拼接为单一大序列 $\mathbf{S}_t$。在全部自注意力块内，所有图层 token 能够双向自由跨层交互，不仅能直接比对输入原图的高频细节，还可动态协商前景物体的可见轮廓与背景的不可见补全内容。扩散预测头仅挂载于目标图层对应的序列槽位上，通过掩码机制隔离纯净条件 token，输出精确的 RGBA 原始像素 Patch 预测。

3. 纯像素空间 x-预测与流匹配：绕过流目标秩缺陷的低维流形回归 在纯像素扩散下，Patch 的高维特性对速度场预测提出了极大挑战。以 $16 \times 16 \times 4$ 的 RGBA Patch 为例，单 token 的展开特征维度高达 1024。实验表明，如果模型直接预测速度场 $\mathbf{v} = \mathbf{Y} - \boldsymbol{\epsilon}$，由于全秩高斯噪声与复杂速度向量的高频多模态分布，隐藏层维度为 768 的网络难以有效拟合，导致严重的发散崩溃。PixelART 采用 $\mathbf{x}$-预测参数化方案，直接由模型输出干净数据预测值 $\widehat{\mathbf{Y}}_\theta$，再按整流流运动方程解析转换为等价的速度估计： $$\widehat{\mathbf{v}}_\theta = \frac{\widehat{\mathbf{Y}}_\theta - \mathbf{Y}_t}{1 - t}$$ 由于高质量图形设计图层在像素空间中分布于极低维的内容流形上，$\mathbf{x}$-预测将高难度的速度矢量拟合转化为良态的清晰像素回归任务。模型优化带时间步权重的等价流匹配目标函数： $$\mathcal{L}_{\mathrm{flow}} = \mathbb{E}_{\mathbf{Y}, \boldsymbol{\epsilon}, t} \left[ \frac{1}{|\Omega|} \sum_{j \in \Omega} \left\| \widehat{\mathbf{v}}_{\theta, j} - \mathbf{v}_j \right\|_2^2 \right]$$ 并在 $t > 0.3$ 时联合引入基于 VGG 与 ConvNeXt-V2 的混合感知损失（LPIPS），显著消除了复杂背景大面积被遮挡区域补全时的模糊与振铃伪影。

4. 终端增强时间步采样：高噪声区间的离散图层归属强化 研究团队揭示了图像分层分解与常规文生图任务的关键动力学差异：常规生成关注全局结构到纹理的连续细化，而分层分解首要解决的是一个离散决策问题——某个像素究竟应当属于哪一个前景图层还是背景层。从相空间上看，解空间由对应不同图层分配方案的互不相交流形构成。去噪轨迹的最早高噪声阶段（$t \approx 0$）决定了轨迹进入哪一个离散分配分支；一旦进入错误分支，中后期低噪声微调阶段只能优化局部的 RGBA 连续颜色与 alpha 值，完全丧失了纠正图层错误归属的能力。传统的 Logit-Normal 采样分布将绝大部分权重集中于中间时间步，高噪声端采样几率过低。PixelART 提出终端增强采样分布： $$q(t) = p \cdot q_{\mathrm{boost}}(t; \tau) + (1 - p) \cdot q_{\mathrm{base}}(t)$$ 通过截断均匀分布 $q_{\mathrm{boost}}(t; \tau) = \mathcal{U}(0, \tau)$（最优配置取 $p = 0.1, \tau = 0.2$），刻意提高了模型在纯噪声及极高噪声区间的训练曝光度，使得网络在轨迹初始阶段就能建立精准的前后层语义解耦与边界切分。

损失函数 / 训练策略¶

PixelART 的训练目标包含速度匹配损失与感知约束： - 速度流匹配损失：如公式 (7) 所示，在非 padding 的目标图层有效 token 区域 $\Omega$ 上计算预测速度与真值速度的 $L_2$ 损失，其内在机制等价于对干净像素误差赋予 $1/(1-t)^2$ 的时间加权。 - 背景感知损失：在 $t > 0.3$ 的较低噪声阶段，对背景图层引入基于 VGG 和 ConvNeXt-V2 的多尺度 LPIPS 感知损失，专注于提升未见区域大面积修复的逼真度。 - 训练超参：采用新型 Muon 优化器训练隐藏层，学习率恒定 $1\times 10^{-4}$，warmup 1000 步，权重衰减为 0，EMA 衰减系数 0.9996。全尺寸模型 PixelART-H（1.05B）在 32 张 H200 GPU 上采用递进式分辨率训练策略：$256 \times 256$（patch size 32，80 epochs）$\to$ $512 \times 512$（60 epochs）$\to$ $1024 \times 1024$（10 epochs）。

实验关键数据¶

主实验¶

在代表性图形设计基准 Design-Multi-Layer-Bench 以及开源图层基准 LICA 上，将 PixelART-H 与基于 20B 模型的 Qwen-Image-Layered (QIL)、基于 12B FLUX.1 的 CLD，以及非扩散式级联流水线 LayerD 进行系统级综合对比。

方法	T2I 预训练	VAE 潜在层	参数量 (含检测器)	Design-Bench 合成 PSNR↑	Design-Bench VLM 评分 (GPT/Gemini)	LICA 合成 PSNR↑	推理耗时 (s)↓	显存峰值 (GB)↓
CLD	✓	✓	14B (12+2)	29.79	4.50 / 4.68	28.84	58.7 (+0.7)	55.6 (+4.2)
Qwen-Image-Layered	✓	✓	20B	32.46	4.14 / 4.37	31.99	213.4	72.4
LayerD (非扩散)	✓	✓	0.27B	36.07	3.49 / 3.13	37.22	15.0	3.4
PixelART-H (Ours)	✗	✗	3.05B (1.05+2)	36.92	4.57 / 4.81	36.39	3.1 (+0.7)	6.6 (+4.2)

(注：括号中数值为 Qwen3-VL-22B 布局检测器 DAD 引入的额外开销。LayerD 虽为前向分割修复，但其图层被切碎且视觉完整性差，VLM 视觉评分最低；PixelART-H 在扩散类方法中取得绝对最优的画质与重构指标，且推理耗时比 QIL 降低 98%，显存峰值降低 85%。)

消融实验¶

所有消融实验均基于统一的 PixelART-B/16 架构（168M 参数，默认输入 $256 \times 256$）开展，系统分析潜在空间 vs 像素空间、T2I 预训练、预测目标、时间步分布与训练规模的影响。

实验组别 / 配置	图层 L1↓	图层 PSNR↑	图层 SSIM↑	合成 PSNR↑	合成 SSIM↑	说明 / 核心结论
潜在空间 vs 像素空间
↳ 潜在空间 (Qwen RGBA-VAE)	0.0749	26.37	0.8172	28.79	0.9155	VAE 固有压缩失真严重，高频与 alpha 边缘受损
↳ 纯像素空间 (Ours)	0.0626	28.66	0.8609	34.36	0.9539	合成 PSNR 巨幅提升 +5.57 dB，完胜潜在扩散
T2I 预训练初始化
↳ 从零初始化 (Scratch)	0.0626	28.66	0.8609	34.36	0.9539	I2L 依赖图像条件而非文本引导，从零训练效果更优
↳ 36M 图文对 T2I 预训练	0.0639	28.27	0.8614	33.97	0.9504	初始损失虽下降快，但在 60K 步后被从零训练追平反超
预测空间参数化
↳ $\mathbf{x}$-预测 (Ours)	0.0626	28.66	0.8609	34.36	0.9539	数据流形集中，768 隐藏维度轻松拟合低秩分布
↳ $\mathbf{v}$-预测 (Flow Matching)	0.2504	9.92	0.1718	9.05	0.0383	Patch 展平维度高达 1024，速度向量全秩导致完全发散
优化器选择
↳ AdamW	0.0682	27.75	0.8475	33.76	0.9501	收敛较慢，易陷入局部极值
↳ Muon	0.0626	28.66	0.8609	34.36	0.9539	图层 PSNR 提升 +0.91 dB，合成 PSNR 提升 +0.60 dB
终端增强采样 (时间步调度)	图层 PSNR	合成 PSNR	$\alpha$-IoU↑	像素归属率↑	跨层泄漏率↓
↳ 无增强 (Base Logit-Normal)	28.66	34.36	0.8983	0.9040	0.1245	高噪声区间采样不足，早期易误入错误图层分支
↳ 冲击函数 $\delta(t=0), p=0.1$	27.89	33.06	0.9471	0.9292	0.0987	离散归属指标显著改善，但点质量略微影响连续重构
↳ 截断均匀 $\mathcal{U}(0, 0.2), p=0.1$	29.51	34.53	0.9466	0.9358	0.0944	归属准确率提升 3.18%，跨层泄漏下降 24%，重构双优
数据与模型扩展律
↳ 数据量 40K $\to$ 400K $\to$ 4M	24.02 $\to$ 27.67 $\to$ 28.66	31.23 $\to$ 33.71 $\to$ 34.36	—	—	—	随数据量跨越两个数量级，指标呈持续单调跃升
↳ 模型规模 B/16 $\to$ L/16 $\to$ H/16	28.66 $\to$ 31.78 $\to$ 32.71	34.36 $\to$ 36.79 $\to$ 37.96	—	—	—	参数量从 168M 扩展到 1.05B，图层 PSNR 激增 +4.05 dB

关键发现¶

潜在表征是透明图层编辑的瓶颈：对比实验证明，哪怕使用最强的 Qwen RGBA-VAE，潜在空间重构在合成 PSNR 上仍比原生像素直接去噪低了整整 5.57 dB。细小文字模糊与羽化边缘断裂均源于 VAE 编码器丢失的信息。
文生图（T2I）先验对图层分解并无长远裨益：在 4M 真实模板数据集充分训练下，从零初始化的模型在约 60K 步时即抹平了 T2I 预训练权重的初始损失优势，并在最终指标上微弱胜出。原因在于 I2L 是强条件图像解耦而非自由文本想象，T2I 的文本跨注意力机制并不能替代严密的几何对应。
高噪声决策决定成败：时间步消融强力证实，分层任务的核心矛盾在初始高噪声阶段。引入 $10\%$ 的 $\mathcal{U}(0, 0.2)$ 早期噪声提升，将前景图层的跨层泄漏率从 12.45% 压低至 9.44%，有效防止了图层内容粘连混淆。

亮点与洞察¶

技术极简主义路线的胜利：反思并打破了“大模型时代一切视觉生成必先套用 T2I 基座与 VAE”的惯性思维，证明仅凭 1B 参数量的高效像素级 Transformer 即可完全超越 20B 的庞大级联隐空间模型，参数量精简 80% 以上，显存占用降低 85%。
对生成逆任务动态特性的精准建模：明确区分了扩散过程中“高噪声决定离散拓扑图层划分”与“低噪声决定连续颜色细节雕琢”的二元阶段规律，提出的终端增强采样策略设计轻巧、数学形式干净且泛化潜力巨大。
可复用的工程实践与优化组合：成功验证了 Muon 优化器在像素流匹配架构中的优越性，并证明了 $\mathbf{x}$-预测在规避高维 Patch 速度场发散中的必要性，为未来超分辨率像素级生成模型提供了重要技术参考。

局限与展望¶

依赖外部前置布局检测：PixelART 自身是基于区域边界框驱动的，完全自动化的工作流需要额外调用基于 Qwen3-VL-22B 的检测器，增加了约 0.7 秒的级联推理开销，尚不能像端到端方案那样做到完全无边界框直接解耦。
复杂大面积遮挡补全的伪影：虽然引入了感知损失强化背景合成，但在面对大面积完全遮挡的自然实物照片时，补全内容的结构合理性仍不及受过数十亿自然图像预训练的大型文生图模型。
最大图层数量限制：受限于训练集设计模板的分布，模型当前仅稳定支持最高 $K=32$ 个图层的分解；当面对结构极其碎裂、图层数上百的复杂设计稿时，图层归属的混淆风险会明显增加。

评分¶

新颖性: ⭐⭐⭐⭐⭐（颠覆了图层生成依赖 T2I 和 RGBA-VAE 的固有范式，开创纯像素单流 Transformer 从零训练逆解耦路线）
实验充分度: ⭐⭐⭐⭐⭐（消融实验极为扎实全面，涵盖潜在/像素对比、预测空间、时间步采样、优化器、规模扩展律及多 VLM 评判）
写作质量: ⭐⭐⭐⭐⭐（逻辑脉络极为清晰，问题拆解与设计动机直指核心，图表数据丰富详实）
价值: ⭐⭐⭐⭐⭐（大幅拉低了高品质分层设计重构的技术与计算门槛，对设计自动化工具和像素扩散研究均具里程碑意义）