OverLay++: Dense-Overlap Layout-to-Image Generation Dataset¶

会议: NeurIPS 2026
arXiv: 2610.09071
OpenReview: https://openreview.net/forum?id=cMt3UbRtDO
代码: https://github.com/mlpc-ucsd/OverLayPP
领域: 图像生成
关键词: 布局到图像生成、扩散模型、密集重叠、细粒度控制、多模态大模型数据标注

一句话总结¶

针对布局到图像（Layout-to-Image）生成在密集遮挡与复杂交互场景中经常失效的瓶颈，本文构建了包含约 50 万张图像的高质量数据集 OverLay++，通过 MLLM 提示与局部重叠检测、逐目标区域裁剪闭环重验以及双粒度层级多模态重描述，将标注物体密度提升至 6.6 个/图（提升 1.67×）、局部重叠 IoU 增至 0.31 并提供长短双层描述，显著提升主流 L2I 模型的空间对齐、属性保真度与收敛效率。

研究背景与动机¶

基于扩散模型与扩散变换器（Diffusion Transformer, DiT）的可控图像生成近年来发展迅速，其中布局到图像（Layout-to-Image, L2I）技术允许用户通过全局文本提示结合局部空间边界框（Bounding Box）及其局部属性描述，精准指定图像中多个实体的空间位置、尺度与特定外观。然而，无论是基于 U-Net 架构的经典方法（如 GLIGEN、InstanceDiffusion），还是基于前沿 DiT 骨干的最新代表作（如 SD3 驱动的 EliGen、SiamLayout 以及 FLUX 衍生架构），在处理包含多个重叠、相互遮挡或近距离交叠实体的复杂现实场景时，都会频繁遭遇生成失败，例如漏画实体、属性绑定错乱（Attribute Bleeding）、边界混叠以及密集区域空间坍缩。

深入剖析该瓶颈的根源，问题往往不在于扩散模型网络结构的容量，而在于现有训练数据的结构性匮乏与分布偏差。早期的 L2I 训练基准大都直接挪用通用目标检测（COCO、Objects365）或视觉定位（GRIT）数据集，平均每张图像仅包含 1.8 到 3.9 个目标，且邻近目标间的空间距离较大、重叠交并比（IoU）极低；更严重的是，这些数据集的局部标注仅为粗粒度的类别标签或极短词组，完全缺失颜色、纹理、姿态等细粒度属性监督。近期借助大模型自标定的数据集（如 LayoutSAM、EliGen）虽然在描述长度和物体数量上有所提升，但其标注管线未针对密集交互与空间遮挡做显式诱导与建模，导致高重叠、多层级遮挡场景依然严重欠表征。

针对现有数据密度稀疏、局部交互弱、属性描述单薄的核心症结，本文的切入点是转向以高质量数据工程为核心的解题思路：通过建立显式诱导空间密集重叠与细粒度属性对齐的自动化数据构建流程，补齐模型在强局部交互与多层遮挡下的视觉表征空白。核心 idea：设计包含美学分辨率初筛、多模态大模型密集重叠目标感知、逐目标区域裁剪自闭环重验与双层级长短描述生成的全自动化管线，构建首个专为密集重叠复杂场景设计的大规模 L2I 基准数据集 OverLay++，为可控生成提供强空间交互与高语义分辨率监督。

方法详解¶

整体框架¶

OverLay++ 数据集的整体构建流程建立在 LAION-Aesthetics V2 4.75 亿级图像子集（9.56 亿样本）之上，包含四个严格串行的核心阶段：美学与分辨率图像初筛、密集重叠目标检测与局部描述生成、逐目标裁剪验证与场景过滤、以及双粒度层级重描述。整个管线无需昂贵的人工逐点勾勒标注，而是深度激活具备强视觉推理与定位能力的多模态大模型 Qwen3-VL-32B，在自闭环验证中清除幻觉与漂移。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["LAION-Aesthetics V2 子集<br/>(956M 原始图像)"] --> B["美学与分辨率图像初筛<br/>分值≥5.98 / 边长≥1024 / 中心裁剪"]
    B --> C["密集重叠目标检测<br/>Qwen3-VL 密集提取框+短/长描述 (≥5目标)"]
    C --> D["逐目标裁剪验证与场景过滤<br/>局部裁剪二值提问验证 / 过滤后保留≥5目标"]
    D --> E["双粒度层级重描述<br/>生成全局长/短描述 + 局部长/短描述"]
    E --> F["OverLay++ 最终数据集<br/>(~500K 图像 / 6.59目标/图 / IoU 0.31)"]

关键设计¶

1. 美学与分辨率图像初筛：构筑高质量合成底座 网络爬取图像的分布极度发散且质量良莠不齐，低美学质量或极端长宽比的图像会严重破坏生成模型对构图与纹理的表征学习。为此，流程第一阶段利用预训练 LAION-Aesthetics Predictor V2 模型对海量候选池进行打分，仅保留美学分值高于 5.98 的高质量样本；同时施加空间分辨率硬性约束 \(\min(H, W) \ge 1024\)，淘汰低分辨率模糊图；所有入选图像均通过确定性中心裁剪标准化至 \(1024 \times 1024\) 分辨率。这一步从近十亿样本中筛选出 850,900 张具有优异视觉构图与清晰局部细节的纯净底座。

2. 密集重叠目标检测：显式诱导局部空间强交互 现有常规检测器往往倾向于滤除高 IoU 预测或只检出孤立大目标，造成标注中的重叠样本严重欠缺。为打破这一限制，本文采用先进的视觉语言大模型 Qwen3-VL-32B，通过专门设计的结构化提示词，明确引导模型不仅要挖掘场景中所有视觉显著实体，更要特别关注相互遮挡、重合与空间邻近的物体。模型输出规范化的边界框坐标 \([x_1, y_1, x_2, y_2] \in [0, 1024]^4\)、语义类别标签以及描述每个目标视觉特性的详细文本；紧接着施加硬性密度门槛，凡是有效检测目标数量低于 5 个的稀疏场景均被剔除，从数据生成源头强力注入多物体与密集交互先验。

3. 逐目标裁剪验证与场景过滤：端到端清除模型幻觉 多模态大模型在密集上下文推理时不可避免地存在目标虚构（Hallucination）或边界框漂移，若直接用作生成监督将引入大量伪正样本。本文提出基于局部裁切的自闭环置信度重验机制：针对第 \(i\) 个候选检测框 \(b_i\)，将原图对应区域裁切出来得到局部补丁 \(I_{\text{crop}}(b_i)\)，将其单独送入 Qwen3-VL-32B 并辅以二值分类问答提示（询问描述中的实体是否确切存在于该裁剪区域内）。仅当模型判定为肯定回答时，该目标标注才被保留。重验完成后再次执行场景级密度过滤，只有剩余有效验证目标数依然不低于 5 的图像才准予入库，最终得到 499,249 张兼具极高实例保真度与高复杂度的训练图像。

4. 双粒度层级重描述：兼顾全局语境与局部 Token 上限 针对不同下游 L2I 生成架构在文本编码器上下文长度上的架构异构性（例如 SD3 的 CLIP 路径受限于 77 tokens 上限，而 FLUX 等架构支持长文本 T5），OverLay++ 引入了覆盖全局与局部、兼顾宏观与微观的双粒度层级描述体系。全局层面提供长描述（平均 52.24 词，描摹整图氛围、背景拓扑及多实体交互）与短描述（严格指令限制在 20 词以内，平均 19.98 词，概括核心实体与场景）；局部实体层面亦配对提供长描述（平均 89.70 词，精细阐述材质、色彩、微结构与几何形态）与短描述（平均 15.89 词，提炼物体核心属性）。这种分级解耦设计消除了生成模型因编码器截断带来的特征退化风险。

损失函数 / 训练策略¶

OverLay++ 作为通用数据集，直接适配基于流匹配（Flow Matching）或扩散概率模型的各类前沿 L2I 架构。对于以 SD3 为骨干的 EliGen 模型，训练在 8 卡 NVIDIA A6000 上展开，采用 AdamW 优化器（\(\beta_1 = 0.9, \beta_2 = 0.95\)，权重衰减 0.05），学习率设为 \(3 \times 10^{-4}\)，单卡 batch size 为 12，训练 10K steps；默认配置使用局部短描述搭配全局长描述。对于 SiamLayout-SD3，采用微调模式，微调 60K steps，单卡 batch size 为 2，梯度累积 2，学习率为 \(5 \times 10^{-5}\)。在推理采样阶段，统一采用常数学习率调度与分类器无引导（Classifier-Free Guidance, CFG）缩放因子 7.5。

实验关键数据¶

主实验¶

为了验证 OverLay++ 对模型局部可控生成与抗遮挡能力的全面赋能，论文在 LayoutSAM-Eval（5,000 组布局）、OverLayBench（按遮挡与复杂度分为 Simple / Regular / Complex 三档）以及 DenseLayout 等权威基准上进行了系统测试。

在 LayoutSAM-Eval 基准上，评估涵盖区域级视觉对齐（空间、颜色、纹理、形状匹配度）与全图生成质量（FID 与 Inception Score）：

模型	Spatial(%) ↑	Color(%) ↑	Texture(%) ↑	Shape(%) ↑	FID ↓	IS ↑
GLIGEN	77.53	49.41	55.29	52.72	21.92	20.57
InstanceDiffusion	87.99	69.16	72.78	71.08	19.67	20.02
HiCo	87.04	69.19	72.36	71.10	22.61	20.15
SiamLayout-SD3 (Baseline)	92.67	74.45	77.21	75.93	19.10	22.04
SiamLayout-SD3 (Ours)	93.30	75.99	78.77	78.41	17.96	21.60
EliGen-SD3 (Baseline)	93.04	82.96	86.73	86.35	25.17	19.21
EliGen-SD3 (Ours)	95.45	90.03	93.14	92.81	19.61	19.54

在专注于重叠多实体的 OverLayBench 基准上的跨难度层级评估结果如下：

数据集划分	模型	mIoU(%) ↑	O-mIoU(%) ↑	SRE(%) ↑	SRR(%) ↑	FID ↓
Simple	InstanceDiffusion	71.21	49.99	77.71	87.49	36.17
Simple	EliGen-SD3 (Baseline)	66.67	41.34	85.70	88.67	30.29
Simple	EliGen-SD3 (Ours)	70.39	47.09	91.83	91.06	30.28
Regular	InstanceDiffusion	60.08	34.15	72.51	83.36	59.73
Regular	EliGen-SD3 (Baseline)	56.79	29.24	81.34	83.57	49.15
Regular	EliGen-SD3 (Ours)	62.40	36.66	89.45	86.75	49.09
Complex	InstanceDiffusion	53.68	25.63	66.02	80.34	66.32
Complex	EliGen-SD3 (Baseline)	50.53	22.97	73.75	82.22	53.58
Complex	EliGen-SD3 (Ours)	57.90	30.99	83.30	85.59	53.63

在超密集基准 DenseLayout（评测高密度实体及属性对齐）上，EliGen-SD3 (Ours) 的 mIoU 达到 46.92%（原模型 45.79%），Color / Texture / Shape 分别提升至 40.61% / 42.91% / 42.82%，相比原模型均取得 7% 以上的相对增益；SiamLayout-SD3 (Ours) 的各指标亦全面取得超过 10% 的相对飞跃。

消融实验¶

论文针对描述粒度组合以及目标数量与描述长度对模型生成特性的独立影响进行了深度消融（以 EliGen-SD3 在 OverLayBench 上的表现为例）：

局部描述配置	全局描述配置	Simple: mIoU	Simple: O-mIoU	Complex: mIoU	Complex: O-mIoU
Short (15.89词)	Long (52.24词)	70.39%	47.09%	57.90%	30.99%
Short (15.89词)	Short (19.98词)	69.17%	45.80%	57.48%	30.51%
Long (89.70词)	Long (52.24词)	60.90%	35.85%	47.64%	21.31%
Long (89.70词)	Short (19.98词)	56.28%	32.32%	44.23%	19.52%

关键发现¶

局部描述长度与文本编码器瓶颈：在 SD3 骨干模型上，使用短局部描述配合长全局描述（Short-Long）表现最佳，而长局部描述（约 89.70 词）会导致区域对齐指标严重滑落。这是由于 SD3 的局部文本注入路径采用了 CLIP 编码器，其严格的 77-token 上限引发了截断。而在附录中采用原生具备长序列建模能力（T5 文本编码器）的 EliGen-FLUX 实验中，长局部描述全面击败短描述，在 Complex 上将 SRE 进一步拉升 11.54%，证明了密集细节监督对强文本编码器的巨大价值。
目标密度对空间收敛的决定性作用：在保持相同 2K 训练步数与匹配 IoU 条件下，仅将训练数据中每个布局的目标平均数量从 2.56 增至 6.68，即便使用极短描述（1.88 词），在 Complex 划分上的 O-mIoU 依然从 16.87% 跃升至 26.06%（相对提升达 54.48%），且训练收敛速度明显加快。
人工主观评估优势显著：12 名专业标注员对 60 个场景、780 个边界框的人工主观评测显示，在 OverLay++ 上训练的模型整体符合率达到 81.70%，相较于 EliGen 基准（69.90%）净增 11.80 个百分点。

亮点与洞察¶

从算法结构向数据工程范式转移：论文敏锐指出了当前 L2I 领域盲目增大 DiT 参数规模却无法解决密集重叠失效的根源在于数据分布偏差，通过极简、可复制且无需人工标注的闭环大模型管线从根本上解决了高质量重叠交互数据的供应难题。
逐目标裁剪二次提问验证机制：针对多模态大模型在密集小物体上的定位幻觉，设计了"检测-局部裁剪-单实体二值判断"的双阶段验证流，有效过滤了低质量伪框，大幅提升了监督信号的信噪比。
解耦的层级双粒度描述范式：充分兼顾了当前工业界扩散生成模型多样化的文本编码器限制（CLIP 77 tokens vs T5 512 tokens），提供了长短解耦的成对描述，为后续研究适配不同架构提供了极佳的兼容性。

局限与展望¶

作者承认的局限：数据标注全流程依赖单一 MLLM（Qwen3-VL-32B），可能继承大模型的固有视觉认知偏差与特定系统性误差；对于半透明物体、极端物理形变或罕见小众品类，数据覆盖度依然有待扩充。
潜在改进方向：当前生成管线基于 2D 矩形框进行重叠定义与裁剪验证，未能引入精确的实例分割掩码（Instance Mask）或深度图进行前后遮挡层级（Z-buffer / Depth Ordering）的显式几何建模；未来可将 3D 深度先验与非规则轮廓整合入标注体系中。

评分¶

新颖性: ⭐⭐⭐⭐☆ 针对 L2I 核心痛点设计了首个专攻密集重叠与强交互的数据构建体系，自闭环过滤与长短层级标注设计实用精妙。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖三大权威基准、三种难度划分、横跨 SD3 与 FLUX 双主流 DiT 骨干，并配备详实的收敛速度对比、消融分析与人类主观盲测。
写作质量: ⭐⭐⭐⭐⭐ 逻辑清晰严密，数据统计指标与图表对比一目了然，实验剖析深刻透彻。
价值: ⭐⭐⭐⭐⭐ 开源约 50 万张高质量重叠标注图像与多层级文本描述，将极大推动下一代细粒度可控文生图与场景编排算法的落地。