PosterCopilot: Toward Layout Reasoning and Controllable Editing for Professional Graphic Design¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM / 布局推理 / 平面设计
关键词: 扰动监督微调、几何奖励、审美反馈、多图层海报、可控编辑

一句话总结¶

PosterCopilot 先用扰动监督、几何强化学习和审美强化学习训练一个输出布局 JSON 的 7B 视觉语言模型，再通过只修改目标图层的生成智能体支持专业海报迭代，在 Crello 零样本测试中达到 54.31% IoU。

研究背景与动机¶

专业海报设计不仅要求最终图片好看，还要求品牌图片、人物、文字和装饰素材保持可识别、可追踪、可修改。整体生成一张图的扩散模型擅长统一画面风格，但用户只想换背景或调整人物时，其他区域也可能改变。先预测素材的位置、大小和遮挡顺序，再把原始图层合成起来，是另一种更贴近设计软件的路线。 LayoutNUWA、PosterLLaVA 和 LaDeCo 等工作沿这条路线推进，但结构化输出并不自动意味着几何正确：文字可能相互遮挡，图片可能被拉伸，边界框也可能偏离合理位置。

作者将其中一个问题归因于坐标的文本表示：数值相近不代表 token 表示相近，跨越分词边界的坐标尤其缺少天然的欧氏距离关系。普通监督微调只奖励某一串标准答案，而不会直接告诉模型“偏移一点”和“偏移很多”有什么空间差别。即使模型学会复制参考布局，也不能保证它理解视觉美感，因为同一组素材通常存在多种合理构图。因此，单一真值既是学习几何的起点，又可能成为追求审美多样性时的限制。

本文先让坐标监督容忍局部扰动，再用可验证的几何奖励纠正漂移和变形，最后让模型看到渲染结果的审美反馈。这里的“看到反馈”主要指评分进入训练奖励，不是推理时每次都让模型自评并循环修改。实际编辑则交给保留显式图层的工作流，避免把所有素材重新生成。 核心 idea：先学会稳定地摆放素材，再学会在几何基础上追求好看，并把素材内容编辑与布局规划分开控制。

方法详解¶

整体框架¶

输入包含画布尺寸、用户文字要求，以及图像、文字、形状三类素材；文字先栅格化为图像层，以统一输入形式。设计模型输出每个素材的边界框和图层顺序，组织成 JSON，再由渲染器合成海报。它预测的不是整幅图的像素，也不是完整的矢量字体参数；保真主要来自继续使用输入素材，而非要求生成器重新绘制素材。训练路径依次是扰动监督微调、几何现实对齐、审美反馈对齐，不能把三种信号当作可以任意交换的训练模块。部署时才引入逐图层生成与编辑：素材齐全时直接排版，素材不足时先补齐，用户要求局部修改时只更新指定图层。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Training["训练素材与参考布局"] --> PSFT["扰动监督微调"]
        PSFT --> VRA["几何现实对齐"]
        VRA --> RLAF["审美反馈对齐"]
        RLAF -.->|训练完成的参数| Model["部署设计模型"]
        Request["素材、画布与编辑要求"] --> Agent["逐图层生成与编辑"]
        Agent -->|补齐或更新素材| Model
        Model -->|布局 JSON 与图层渲染| Poster["可继续编辑的海报"]
        Poster -->|新的目标图层指令| Agent

实线中的部署回路表示用户驱动的多轮编辑，虚线表示训练参数交付，不表示审美评委参与每一轮部署。设计模型在图中的部署节点复用已经训练好的模型，并非额外训练的另一个网络。四个关键设计分别对应三个训练阶段，以及把训练所得能力接入真实素材工作流的编辑机制。

关键设计¶

1. 扰动监督微调：在参考坐标周围建立监督邻域

PSFT 保留原始 JSON 的监督，同时给其中每个边界框数值加入高斯扰动，形成多个附近的目标布局。这种做法处理的是坐标标签，而不是给输入图片加噪声，也不是让模型在推理时随机移动素材。扰动后的值四舍五入成整数，并截断到有效画布范围，以免监督目标明显越界。原文明确描述对边界框数值加扰动，并没有说随机重排素材身份或图层顺序。训练损失由原始目标的交叉熵，加上多个扰动目标交叉熵的平均值组成，后者用单独权重控制。实现采用 \(\sigma=2.5\)、\(n=5\) 和 \(\lambda_{\mathrm{pert}}=0.5\)。原始目标提供稳定锚点，邻近目标则降低模型对某一串离散坐标 token 的过度依赖。

这里的“学习连续空间”应理解为监督分布变平滑，而不是模型从此具备严格连续的坐标表示。输出仍然是离散文本，PSFT 也没有更换 tokenizer 或增加专门的连续坐标回归头。其收益是让附近合理布局获得学习机会，从而给后续强化学习提供更好的空间先验。它仍依赖参考布局，所以不能独自解决好看但偏离参考图的构图如何被认可的问题。

2. 几何现实对齐：用可计算的布局质量纠正文本预测

RL-VRA 把一次完整布局生成当作单步决策：状态是素材和要求，动作是整份布局 JSON。模型针对同一输入采样一组布局，使用 GRPO 按组内相对奖励更新策略，无需显式训练价值网络。冻结的参考策略和 KL 正则用于限制更新幅度，避免为了提升某项几何分数而失去已有生成能力。奖励不依赖额外的主观打分者，而是检查预测布局与参考布局之间的空间关系以及 JSON 合法性。空间项使用 DIoU，同时考察框重叠程度和中心偏移，因此两个几乎不相交的框也能获得位置偏差反馈。元素项分别约束宽高比和尺寸；尺寸项使用 Huber 损失，在大误差区间让惩罚按线性而非平方增长，减轻严重变形样本对更新的支配。

按第 3.3 节文字与式 (9) 可确认的组成，奖励关系可写为：

\[ r_{\mathrm{VRA}}=r_{\mathrm{DIoU}}+\lambda_{\mathrm{size}}r_{\mathrm{size}}+\lambda_{\mathrm{AR}}r_{\mathrm{AR}}+r_{\mathrm{format}}. \]

JSON 校验失败会受到较大惩罚，合法结构获得完整格式分；正文未给出该惩罚的具体尺度。实现采用 \(\lambda_{\mathrm{size}}=0.6\)、\(\lambda_{\mathrm{AR}}=0.4\)，Huber 转折参数为 \(\delta=0.6\)。这些奖励把“摆歪”和“拉扁”分开约束，避免仅改善框重叠却破坏素材比例。 “现实对齐”不是与真实世界物理交互，而是对图形设计中的几何约束进行可验证对齐。局限也很明确：空间和元素奖励仍参考单一标准布局，不能穷尽同一素材集合的所有好设计。

3. 审美反馈对齐：从匹配参考框转向评价渲染作品

RLAF 先把预测布局和素材渲染为海报，再用 VisualQuality-R1 对成图给出审美奖励。因此，训练信号能覆盖仅靠坐标距离难以表达的整体构图与风格协调，而不只是“是否接近参考框”。这一阶段采用格式奖励加权结合审美分数，审美权重为 \(\lambda_{\mathrm{aes}}=2\)。它不是把所有几何奖励原封不动继续相加；阶段切换正是从单一真值约束中适度释放模型。同时保留 KL 正则和结构合法性奖励，并只在 1K 个精选样本上训练 1 个 epoch，以降低奖励投机风险。这些措施限制策略漂移，但不构成审美奖励绝不会被利用的保证。

先几何、后审美的顺序有明确作用：如果还不会保持素材比例，就直接优化主观成图分数，模型可能利用不可靠的构图捷径。顺序训练先建立可靠的排版基础，再允许在这个基础上偏离原始参考构图。因此，最终 IoU 小幅回落不必解释为训练失败，必须联合宽高比、层序和人类偏好判断。 VisualQuality-R1 在这里是训练奖励模型，而 GPT-5 是实验中的外部评委，两者不能混称为同一个评价环节。

4. 逐图层生成与编辑：把修改范围限制在用户指定素材

生成智能体是推理时组件，不引入额外可训练模块。当用户只提供部分素材时，接待模型根据整张海报的说明和已有图层的结构化摘要，为缺失图层生成专门提示词。提示词与已有素材风格参考共同送入图像生成模型，生成背景或前景后再交给设计模型排版。论文采用 Qwen-2.5-7B 作为接待模型，Qwen-Image-Edit-2509 作为生成组件，并固定提示模板和解码设置。全局上下文用于让新素材与旧素材风格协调，而不是把每一层当成互不相关的独立图片生成任务。

在后续编辑中，智能体只操作用户指定的目标图层，其他图层保持固定。这种“冻结未编辑层”的机制把编辑范围变成结构性约束，而不只依赖一句“不要修改其他内容”的提示。如果用户要求更换画布尺寸，则通过重新预测布局进行海报重排，这是全局布局任务，应与单层内容修改区分。原文展示了多轮局部编辑和画布重排，但没有提供大规模多轮编辑成功率或逐轮漂移统计。所以目前更可靠的结论是工作流支持这些操作，而非已证明任意复杂指令都能被无误执行。

一个完整示例¶

以论文图 5 的人物海报为例，初稿使用 \(2480\times3508\) 的画布，用户希望得到现代风格的设计。素材不全时，接待模型先规划背景和人物等缺失图层的提示，再由生成组件补齐素材。设计模型随后输出各层的位置、尺寸与顺序，渲染器将其组合为可继续修改的初稿。当用户要求去除胡须、改变发色时，目标是人物层，不需要重新生成文字或背景。如果后续需求变成横向画布，则应重新排版，而不是把整张海报简单拉伸。这个例子说明内容编辑和空间重排是两类操作；图示没有给出各次编辑的定量准确率，不能据此推算成功率。

损失函数 / 训练策略¶

布局骨干为 Qwen-2.5-VL-7B-Instruct，数据集为作者构建的 MLP-169K。数据构建用 OCR 的细粒度框合并过度切分的图层并过滤冗余，使一个有意义的视觉元素不再散落成大量碎片。数据包含 169K 张海报、2.6M 个图层，其中 1.2M 是文字层、1.4M 是图像或装饰层，并保存遮挡层序。训练与测试约为 160K 和 9K；PSFT 使用 140K 样本训练 3 个 epoch，RL-VRA 使用 20K 个复杂布局样本。 RLAF 使用 1K 个专家验证样本，但正文未明确说明这 1K 与前两阶段样本的重叠关系，因此不把三个数直接相加当成独立训练总量。全部实验运行于 \(8\times\) RTX H20 GPU，主文未报告完整训练耗时或单次编辑延迟。缓存中式 (1) 至式 (8) 及式 (10) 存在明显排版损坏；本笔记按可读文字解释机制，仅保留可确认的奖励组成，不猜补完整公式、归一化或 GRPO 超参数。

实验关键数据¶

主实验¶

表 1 摘录原文表 1（第 13 页）。Crello 和 WebUI 是零样本测试，MLP-169K 是作者数据集的测试集。 IoU 衡量预测框与参考框的重叠，越高越好；ARD 衡量宽高比畸变，IoPR 衡量逆序图层对比例，后二者越低越好。正文未完整列出 ARD 和 IoPR 的聚合实现，不能把它们当成百分比准确率。

数据集	方法	IoU (%)，越高越好	ARD，越低越好	IoPR，越低越好
Crello	LaDeCo	41.09	0.51	0.34
Crello	AesthetiQ	42.83	未报告	未报告
Crello	PosterCopilot	54.31	0.12	0.03
WebUI	LaDeCo	46.36	0.93	0.39
WebUI	AesthetiQ	48.29	未报告	未报告
WebUI	PosterCopilot	57.19	0.19	0.02
MLP-169K	LaDeCo	22.14	0.78	0.35
MLP-169K	PosterCopilot	34.23	0.04	0.04

AesthetiQ 的数值是作者引用其原论文，并非统一复现实验；Crello 的差距为 11.48 个百分点，不是 11.48% 的相对提升。原文表 2（第 13 页）的人工评价是对手相对 PosterCopilot 的胜率，不能反过来读作本文胜率。下面同时摘录平均胜率 AWR 和 GPT-5 的文字可读性 TL、视觉吸引力 VA，避免用某一个审美分数代替完整质量。

方法	对手 AWR (%)	GPT-5 TL	GPT-5 VA
Nano-Banana Pro	28.6	5.49	5.88
Nano-Banana	17.7	6.08	5.46
CreatiPoster	25.7	5.38	5.23
LaDeCo	16.2	4.96	4.00
PosterCopilot	不适用	5.96	6.16

人工评价使用相同提示和完整素材，每个对手抽取 30 个案例，三个数据集各 10 个，每例收集 5 次判断。正文称共 750 次回答、40 位专业设计师和 40 位普通用户，但表 2 列出 6 个对手；若全部使用同一口径应为 900 次，具体覆盖范围待核实。 GPT-5 按评分示例进行上下文学习，对每个结果评分 10 次取平均，温度为 0.7、Top-p 为 0.9。素材保留 EP 与指令遵循 IF 只由人评，未纳入 GPT-5 分数；CreatiPoster 额外使用真值前景布局，比较条件也并非完全相同。

消融实验¶

下表对应原文表 3a（第 15 页），全部在 MLP-169K 测试集评估；Joint 表示同时训练两个 RL 阶段。

配置	IoU (%)，越高越好	ARD，越低越好	IoPR，越低越好
SFT	28.53	0.851	0.42
PSFT	31.14	0.699	0.38
PSFT + RLAF	27.12	0.531	0.33
PSFT + Joint	24.71	0.712	0.57
PSFT + RL-VRA	34.72	0.061	0.18
完整顺序训练	34.23	0.045	0.04

关键发现¶

PSFT 相对 SFT 提升 2.61 个 IoU 百分点；只加审美 RL 或联合训练并不能替代先学几何的阶段顺序。
RLAF 接在 RL-VRA 后，IoU 从 34.72 降至 34.23，但 ARD 从 0.061 降至 0.045，IoPR 从 0.18 降至 0.04；这不是所有指标都单调提升。
表 3b（第 15 页）中，格式加 DIoU 奖励的 ARD 为 0.734，加入尺寸和宽高比奖励后降至 0.061，支持显式约束元素保真的必要性。
表 4（第 15 页）中，PSFT + RL-VRA 相对完整模型的 AWR 为 36.4%，说明审美阶段的价值不能只用参考框 IoU 衡量。
第 6.4 节用 200 对海报验证奖励模型，VisualQuality-R1 与人类偏好的一致率为 82.5%；这是有限样本上的偏好一致率，不是编辑准确率。

亮点与洞察¶

将标签邻域、几何规则和成图审美依次用于训练，比单纯增加模型规模更直接针对布局错误。顺序消融是这一训练策略最有说服力的证据。
显式图层既提供可编辑表示，也限制生成模型的修改范围。素材保真不是仅靠感知相似度约束，而是让不应改变的素材根本不进入重生成过程。
本文提示了一个可迁移思路：对输出结构化空间参数的 VLM，可先稳定数值预测，再引入可验证约束，最后优化主观质量。这是读者推论，并非论文已在其他任务上验证的结论。

局限与展望¶

作者承认缺少社区公认的评测基准和海报专用审美奖励模型，VisualQuality-R1 的偏好不等于所有设计师或品牌的偏好。
逐层编辑主要由应用图展示，缺少目标识别错误、跨层依赖、长对话漂移和延迟的系统实验，专业工作流结论应保持边界。
文字被栅格化，因此图层可控不应直接等同于保留字体、字距等原生矢量排版能力；正文没有证明这一层面的可编辑性。
主表报告完整模型 ARD 为 0.04，消融表报告 0.045；这里按原表分别保留，不擅自统一精度。
用户研究的计数口径和损坏公式限制了本缓存可支持的复现细节；论文承诺发布数据与构建代码，但正文没有可确认的仓库链接。

评分¶

新颖性: 4/5。训练顺序和图层工作流结合明确，基础优化工具本身并非全新。
实验充分度: 4/5。包含跨数据集、训练阶段、奖励消融和人评，但多轮编辑量化与统计口径仍有缺口。
写作质量: 3/5。主线清楚，但样本计数与数值精度存在需核实之处，缓存公式损坏也影响精确阅读。
价值: 4/5。对素材必须保真、设计必须可修改的布局系统具有实践启发。