GenAgent: Scaling Text-to-Image Generation via Agentic Multimodal Reasoning¶

会议: ECCV2026
论文: ECCV 原文
领域: 图像生成
关键词: 文本到图像、多模态推理、工具调用、迭代反思、强化学习

一句话总结¶

GenAgent 把生成器作为冻结工具，让一个经过冷启动和智能体强化学习的多模态模型负责改写、看图判断与迭代反思，在最多两轮生成的主实验中将 FLUX 的 GenEval++ 分数从 0.325 提升到 0.561。

研究背景与动机¶

文本到图像模型已经能够生成外观可信的图像，但“看起来好”不等于满足用户的全部约束。当提示词同时指定对象数量、相对位置、颜色与常识关系时，生成器可能满足其中几项，却悄悄遗漏另一项。更强的语言理解可以先把隐含要求转成可画出的描述，但单次改写没有观察实际图像的机会，无法判断生成器究竟在哪个约束上失败。把理解与生成放进统一模型是一条路线，却需要昂贵的图文交错训练数据，也让升级生成能力与维护理解能力相互牵制。

解耦系统可以保留现成生成器，再用多模态模型分析结果；问题是，已有系统常用多个角色和手写提示串联流程，或者依赖大量候选图像与独立验证器。这既增加部署复杂度，也没有直接解决“怎样根据实际错误改变下一次生成”的学习问题。 GenAgent 因而不是再设计一个扩散骨干，而是训练一个能够统筹理解、判断、反思和停止决策的控制模型。难点在于这些行为需要共同学习：没有可靠工具格式就没有有效反馈，只追求最终成功又很难判断中间反思是否真正有用。

论文的诊断说明这种能力不能直接假定为已有：Qwen2.5-VL-7B 的工具调用错误率为 13.36%，49.28% 的改写与原提示词的词数差不超过 5，反思带来的提升仅为 0.36%（表 1）。这里的词数差只是“改写幅度”的粗略代理，不是语义质量指标；关键问题是模型缺少稳定执行整条交互轨迹的经验。因此，作者先用高质量轨迹教会基本行为，再通过真实生成反馈优化长程策略。核心 idea：冻结图像生成器，把可学习的部分集中到单一多模态智能体，并同时监督最终图像是否合格、连续反思是否改善结果，以及不同交互轮次是否得到均衡训练。

方法详解¶

整体框架¶

输入是用户的原始文本要求，输出是交互轨迹中的最终图像，而不是一段优化后的提示词就结束。部署时只有一个 Qwen2.5-VL-7B 策略模型承担推理、工具调用、看图判断和反思；生成模型负责把工具调用中的提示词变成图像。训练时先进行提示引导冷启动，再在同一强化学习阶段中结合混合奖励和轮次重采样，最终得到可自行控制交互的策略。这两个强化学习设计分别控制“哪些轨迹值得奖励”和“哪些轨迹进入更新”，不是额外的推理时角色。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400, 'subGraphTitleMargin': {'top': 8, 'bottom': 16}}}}%%
flowchart TD
        DATA["教师轨迹与提示"] --> SFT["提示引导冷启动"]
        subgraph RL["强化学习训练"]
                REWARD["混合奖励"] --> SAMPLE["轮次重采样"]
        end
        SFT --> REWARD
        SAMPLE -.->|更新策略| AGENT["单模型生成闭环"]
        QUERY["用户要求"] --> AGENT
        AGENT -->|改写提示词| TOOL["冻结生成工具"]
        TOOL -->|返回图像| AGENT
        AGENT -->|满意或达到轮数上限| OUT["最终图像"]

中间状态包含原始要求、历轮推理文本、工具提示词、返回图像与判断文本，因此后续改写能定位先前失败，而非每次从零猜测。训练阶段的外部奖励模型只提供监督，不是部署时必须保留的验证器。图中虚线表示参数更新，实线闭环表示推理时的数据往返；不能把奖励评估误读为每次部署都要调用的第三个模型。默认生成工具是 FLUX.1-dev 的 8 步蒸馏版本，论文后续使用 FLUX.1-dev 这一名称时均指该版本。

关键设计¶

1. 提示引导冷启动：先让模型学会调用、看图和有依据地改写

作者从开源数据与合成复杂推理要求中构建提示池，用 FLUX.1-dev 对每个候选提示生成 3 次，只保留全部失败的困难样本。这样做把训练重点放在直接生成无法轻易满足的组合要求上，而不是让智能体重复处理已经能一次成功的简单输入。第一轮轨迹由 Qwen3-VL-235B-A22B-Thinking 提供推理与改写提示词，过滤工具格式错误后再调用生成器获得实际图像。随后给判断模型明确的评价规则，让它说明生成结果是否满足要求；这些规则是训练轨迹合成时的帮助，推理时不再显式提供。成功轨迹可以保留，失败轨迹则进入第二轮反思合成。

第二轮换用 Gemini 2.5 Pro 作为更强教师，并利用种子样本配套的参考图像帮助教师找到更有效的改写方向。参考图像是蒸馏时的提示，不是用户在测试时必须提供的输入；包含“参考提示图像”之类显式依赖的生成提示会被过滤。作者再比较前后两张图，剔除退步案例，并通过最终质量检查与轨迹逻辑一致性过滤保留高质量样本。按数据类型及第二轮是否终止进行平衡采样后得到 32K 条冷启动样本。特意不让所有样本都在第二轮结束，是为了避免把“只能反思一次”固化为策略，使后续强化学习仍有探索更长轨迹的空间。

2. 混合奖励：终图合格和沿途改善需要不同监督

只有最终图像是否成功的奖励，无法区分有效纠错和碰巧抽到较好图像，也无法给仍未完全成功但确实在改善的轨迹足够信号。 GenAgent 使用 Qwen3-VL-30B-A3B 作为生成式奖励模型，先依据评价标准与条件提示分析图像，再判断是否满足原始要求的全部条件。逐点奖励 \(r_{\mathrm{point}}\) 取 0 或 0.7：只有全部条件满足才得到 0.7，而不是每满足一个属性就获得一份分数。因此这里的“质量”主要指对提示约束的满足，不应简单等同于画面美感。此外，格式奖励 \(r_{\mathrm{format}}\) 取 0 或 -0.2，用于约束轨迹的可执行格式。

成对奖励 \(r_{\mathrm{pair}}\) 则检查相邻图像是否持续变好；多轮轨迹只有每次后继图像都优于前一张时才得到 0.3，否则为 0。比较时随机交换图像展示位置，以减轻评审模型偏好某个位置带来的偏差。当最终结果仍未合格时，成对项的权重 \(\lambda\) 为 0.5；最终结果合格时为 1，使“有所改善但没完成任务”和“改善后完成任务”有所区别。这给出了可解释的训练倾向：既鼓励真正修复问题，又不让局部改善完全取代最终指令遵循。缓存中的式 (4)、(6)、(7) 存在排版抽取损坏，尤其总奖励式的运算符不完整；本笔记只保留正文能确认的奖励取值与条件，不猜补精确总式。

3. 轮次重采样：防止奖励把策略推向过度反思

轨迹长短在这里不只是计算量差异，也对应不同能力：单轮主要训练理解与初次改写，多轮还训练看图判断和纠错。若直接使用自然采出的轨迹，策略可能偏向提前停止，也可能为了成对奖励过度依赖后续反思，反而忽视第一轮提示词质量。作者对每个要求先超采样 \(G'=12\) 条轨迹，再按工具调用次数分组，从不同轮次组均匀抽取最终的 \(G=8\) 条用于 GRPO 更新。这改变的是训练批次的轨迹构成，而不是强制每个测试样本都运行同样多轮。混合奖励仍负责评价轨迹优劣，轮次重采样则保证不同能力的学习机会；两者是同一强化学习过程中的互补控制。

消融提供了一个具体解释：去掉重采样后，反思比例升到 67%，但第一轮改写表现只有 39.3%；完整模型分别为 46% 和 48.2%（图 4 与第 4.4 节）。前者虽然有更大的反思增益，却没有更高的最终分数，说明“多反思”本身并不构成质量保证。读者可以把这一点理解为训练分布管理：不能只优化纠错后的成绩，还要保留不犯错或少犯错的初次生成能力。这一解释针对论文的轨迹采样机制，并不意味着作者提出了独立的轮次预测器或新的生成网络。

4. 单模型生成闭环：以实际生成结果决定继续还是停止

第一轮由策略理解用户意图，生成推理文本及工具格式的提示词，再调用冻结生成器得到图像。策略随后同时查看用户要求、先前提示词和图像，输出判断：如果已经满足要求就终止；否则指出不足并生成新的改写提示词。后续轮次持续携带交错图文历史，直到策略认为满意或到达最大轮数 \(n_{\max}\)，输出最后一张生成图像。这不是从所有候选图中用外部评分器挑选最优图，停止判断本身属于学习后的策略行为。训练时最多 3 轮，主结果为了与多轮基线统一预算使用最多 2 轮；实际轮数可以因提前停止而更少。

论文展示的“编辑式”行为指对提示词做有针对性的修订，底层工具仍然重新生成图像，没有显式的局部图像编辑接口。把生成器换成 Qwen-Image 时不需要重训智能体，说明理解与纠错策略可以一定程度脱离训练时的具体生成工具。不过，这仍然受新工具对文本提示的理解能力与生成上限约束，不能推导成任意工具、任意任务上的通用迁移保证。单模型统一的是控制与判断职责，不是把图像生成器的参数也并入这个多模态模型。

一个完整示例¶

图 1 的输入要求一张照片包含 1 个酒杯、2 个电视遥控器和 3 个行李箱，适合说明为什么观察结果比单纯增加提示词长度更重要。第一轮改写强调构图与摄影细节，但返回图像仍只出现 1 个遥控器和 2 个行李箱，遗漏了明确的数量要求。策略的判断把失败定位到缺失对象，而不是笼统地说图像质量不好。下一轮改写改用更具体的对象区分方式，明确行李箱的尺寸与颜色，同时减少无关摄影术语。当返回图像满足对象数量时，策略给出完成标记，输出该轮图像；本例说明的是论文展示的成功轨迹，不代表每次都能纠正数量错误。

损失函数 / 训练策略¶

SFT 使用 LLaMAFactory、AdamW，训练 3 个 epoch，batch size 为 256，学习率为 \(1\times10^{-5}\)。 SFT 只对模型响应计算损失，屏蔽环境反馈，避免把生成工具返回的观察当成需要模仿的输出。 RL 使用 verl 上的 GRPO，训练 1 个 epoch，batch size 为 240，学习率为 \(1\times10^{-6}\)，KL 系数为 0.0。 GRPO 在同一输入的轨迹组内对奖励做均值与标准差归一化来计算优势，再更新策略生成的响应 token；图像观察不参与响应损失。最大响应长度为 16,384 token，训练期间图像生成与奖励计算部署为独立服务。作者使用 40 张 NVIDIA A100：策略、生成器、奖励模型分别占 24、8、8 张；推理需要 2 张 GPU，分别运行策略和生成器。这些资源数字不包含“已测得的每图延迟”含义，具体推理时间分析被放在本次未提供的补充材料中。

实验关键数据¶

主实验¶

下表选取正文表 2（第 9 页）、表 3 与表 4（第 10 页）的 Overall 分数，均为越高越好，但三个基准的计分尺度不同，不能跨列直接比较。 GenEval++ 评估组合指令遵循，WISE 评估世界知识与语义推理，Imagine 评估保留对象身份的超现实创造性生成。多轮方法主实验统一 \(n_{\max}=2\)；默认生成器为 FLUX 的 8 步蒸馏版本，Qwen-Image 行除外。

方法 / 生成工具	GenEval++ Overall	WISE Overall	Imagine Overall
FLUX.1-dev 直接生成	0.325	0.55	6.072
PromptEnhancer / FLUX	0.382	0.56	6.281
T2I-Copilot / FLUX	0.496	0.67	6.740
GenAgent 仅单次改写 / FLUX	0.482	0.67	6.408
GenAgent +RL / FLUX	0.561	0.69	6.825
Qwen-Image 直接生成	0.668	0.62	7.329
GenAgent / Qwen-Image	0.725	0.72	7.794
GPT4o	0.739	0.80	8.560

相对 FLUX 直接生成，GenAgent 的 GenEval++ 和 WISE 绝对增量分别为 0.236、0.14。摘要写成 23.6% 和 14.0%，应按百分点式的分数增量理解，不是相对增长率；正文第 4.3 节也明确使用 +0.236 和 +0.14。 Qwen-Image 工具迁移使 GenEval++ 从 0.668 增至 0.725，但仍低于 GPT4o 的 0.739，不能据此宣称全面超越闭源模型。

消融实验¶

正文表 5（第 11 页）比较训练阶段和强化学习组件，使用相同默认生成工具；Base 指未进行本文 SFT/RL 的智能体基线，不是 FLUX 直接生成。

配置	WISE	GenEval++	Imagine
Base	0.63	0.357	6.258
SFT	0.64	0.507	6.770
RL 去掉成对奖励	0.68	0.543	6.814
RL 去掉轮次重采样	0.68	0.546	6.821
完整 RL	0.69	0.561	6.825

SFT 在 GenEval++ 上从 0.357 提升到 0.507，但 WISE 仅从 0.63 到 0.64；冷启动更明显地改善可执行行为与组合要求处理，而不是自动补足全部知识推理。去掉成对奖励与去掉重采样分别使 GenEval++ 比完整模型低 0.018、0.015，两个设计都有贡献，但不能把差值解释为独立可加的因果份额。表 1（第 6 页）还显示 SFT 将工具调用错误率从 13.36% 降到 0.35%，为随后强化学习提供了更可靠的交互起点。

关键发现¶

正文表 6（第 13 页）进一步固定生成图像预算：BoN 使用初次改写提示生成候选，再由训练时的奖励模型选图；GenAgent 通过反馈改变下一轮提示。

方法	图像预算	GenEval++（%）
BoN，N = 1	1 张	48.20
BoN，N = 2	2 张	51.07
GenAgent，2 轮	2 张	56.10

同为 2 张图像预算，GenAgent 比 BoN 高 5.03 个百分点，支持“利用失败信息改写”优于在同一提示下重复抽样的结论。这只是图像数量匹配，不是完整 GPU 时间、推理 token 或验证器调用成本都严格相等的实验。第 4.4 节指出第三轮边际收益趋于微小，且歧义提示可能导致过度反思，因此测试时扩展并不意味着增加轮数总有显著收益。

亮点与洞察¶

统一的是决策职责而不是全部模型参数。由一个策略承担判断和纠错，仍可直接升级外部生成工具，这使能力升级路径更灵活。
反思是否有效可以用图像变化检验，而不是只看文字解释是否可信。成对奖励把训练信号绑定到实际生成结果，但仍依赖评审模型是否看得准。
轮次分布是能力分布的一部分。图 4 中“反思更多但初次改写更差”的现象，提醒系统设计者不要用更长轨迹替代对最终性能的分析。

局限与展望¶

作者承认生成式奖励模型仍可能被奖励投机利用，建议采用更细粒度、可验证的属性检查清单；BoN 选图有收益并不足以证明奖励模型绝对可靠。
工具目前只覆盖图像生成，局部修补仍通过改写后重新生成完成；加入显式编辑工具是作者提出的后续方向，而不是当前已有能力。
生成器的细粒度属性上限与提示歧义会限制反思收益，最后一轮也可能比先前更差；这与“输出最终图像”的策略需要一起考虑。
主表未给出置信区间，工具预算之外的完整时延公平性也无法仅凭正文确定；本笔记不据小分数差异宣称统计显著。
本次来源是论文正文文本，未提供补充材料，部分公式和图中文字抽取损坏；未恢复精确损坏公式，也未从不可读曲线估算额外数字。

评分¶

新颖性: 4/5。亮点在单策略生成闭环、混合奖励与轮次重采样的协同，而非新生成骨干。
实验充分度: 4/5。覆盖 3 类任务、组件消融、跨工具迁移和图像预算对照，但统计与完整成本证据仍有限。
写作质量: 4/5。问题与消融逻辑清楚，但应谨慎区分摘要的百分数措辞、绝对分数增量及编辑式行为。
价值: 4/5。为已有生成器增加可学习的反馈控制提供了实用方向，但训练成本与奖励鲁棒性不可忽略。