GenEvolve: Self-Evolving Image Generation Agents via Tool-Orchestrated Visual Experience Distillation¶

会议: NeurIPS 2026
arXiv: 2605.21605
OpenReview: https://openreview.net/forum?id=1wiUEkM8XE
论文: https://arxiv.org/abs/2605.21605
代码: https://ephemeral182.github.io/GenEvolve/
领域: 图像生成
关键词: 图像生成智能体, 工具编排, 视觉经验蒸馏, 在策略自蒸馏, 多模态轨迹学习

一句话总结¶

GenEvolve 将开放式图像生成重构为工具编排的多轮视觉轨迹学习任务，通过对比同请求下最佳与最差轨迹抽取五槽结构化视觉经验并注入特权教师分支，利用在策略自蒸馏与 GRPO 实现图像生成智能体的自演化。

研究背景与动机¶

随着现代扩散模型与自回归多模态模型的演进，图像生成已不再局限于简单的文本到图像直接映射。在实际复杂任务中，高质量生成往往面临当前/长尾事实缺失、特定参考图外观对齐、多源视觉线索整合以及专业排版与物理规律约束等挑战。现存强大的生成器（如 FLUX、SD-3.5、Qwen-Image）具备扎实的底层图像先验，但无法自主判断何时应当调用外部检索弥补事实漏洞、如何筛选高信度参考图、何时激活内部生成先验，更无法依据生成成败持续调整后续决策。高难度图像生成已从单次 prompt-to-image 转变为主动的规划、工具编排与反馈适应过程。

近期基于智能体（Agentic）的图像生成系统开始尝试引入多轮推理、外部检索、记忆机制或批评修正（如 GenAgent、Gen-Searcher、ORIG、Maestro）。然而，现有系统普遍将底层图像生成器视为不可导黑盒，仅依靠外部工作流拼接或图像级标量奖励（scalar reward）优化轨迹。标量奖励虽然能指示哪个候选轨迹效果更优，却无法提供归因解释，不能指明是哪一次工具检索、哪张参考图筛选或哪条提示词约束诱发了最终画质的跃升。这导致生成智能体与下游生成模型之间缺乏深度解耦与联合演化机制，长轨迹决策面临严重的信用分配（credit assignment）瓶颈。

针对上述瓶颈，本文的核心切入点是将整套生成过程建模为包含工具调用与生成程序合成的可导轨迹，并利用成对轨迹反差提取稠密的经验信号。核心 idea：将图像生成建模为工具编排的视觉轨迹，通过对比同请求下高低奖励轨迹提炼五槽结构化视觉经验，并将其作为仅特权教师可见的上下文，利用在策略视觉经验自蒸馏（Visual Experience Distillation）为智能体提供稠密的 Token 级监督，配合组相对策略优化（GRPO）实现全流程自主演化。

方法详解¶

整体框架¶

GenEvolve 将图像生成任务形式化为包含工具调用的多轮交互过程。面对用户输入指令，学生智能体依托 ReAct 风格逐步采样决策，动态调用外部事实搜索、视觉参考检索与可调用的内部生成知识技能，最终整合输出一个结构化的提示词-参考图生成程序（prompt-reference program）$z=(g, R)$。下游参考图条件生成器渲染出图像后，系统通过图像质量与文本程序充分性双重评估给出综合奖励。在训练阶段，算法在同一请求下采样多条轨迹，提取最佳与最差轨迹差异转化为五槽视觉经验并存入经验池；特权教师分支检索该经验并重打分学生轨迹，结合在策略采样反向 KL 散度与 GRPO 损失，实现策略的闭环自演化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["用户生成请求 x"] --> B["工具编排轨迹采样<br/>外部搜索 / 参考图检索 / 技能激活"]
    B --> C["提示词-参考图程序合成<br/>z = (g, R) 与条件生成渲染"]
    C --> D["双重奖励评估与成对反差挖掘<br/>计算标量奖励并定位最佳/最差轨迹"]
    D --> E["结构化视觉经验抽取与沉淀<br/>提炼搜索/知识/参考/提示/避坑五槽经验"]
    E --> F["特权教师经验重打分与在策略自蒸馏<br/>结合 GRPO 与 Token 级经验反向 KL 监督"]
    F -->|闭环自演化更新智能体参数| B

关键设计¶

1. 工具编排轨迹采样：将生成全流程解构为多轮显式可观测动作

传统直接改写提示词的方法忽视了外部信息对齐的动态性。GenEvolve 定义了紧凑且可审计的三类工具动作空间：外部文本检索 search(q) 负责补充专有名词、实体日期与历史背景等事实依据；视觉检索 image_search(q) 用于召回候选实体外观、几何构造与布局样本；内部生成知识调用 query_knowledge(skill_name) 则显式激活针对特定缺陷的先验指导（涵盖文字渲染、空间布局、人体解剖、美学画风、属性绑定、创意迁移、物理一致性与数量计数 8 类技能模块）。通过多轮循环，智能体在生成前充分采集多模态证据，构建完整的上下文交互历史： $$h_t = (x, a_1, o_1, \ldots, a_{t-1}, o_{t-1})$$ 其中 $a_t \sim \pi_\theta(a \mid h_t)$，观测 $o_t \sim \mathcal{T}_{a_t}(o \mid h_t)$。这一设计使智能体不仅学会生成提示词，更掌握了何时该查、查什么以及何时停止的决策边界。

2. 提示词-参考图程序合成：结构化约束绑定与双重奖励驱动

为了避免检索图像 ID 或不可靠的绝对 URL 导致下游生成器解析崩溃，智能体的最终输出被规范化为可执行程序 $z = (g, R)$。其中 $R = \{r_1, \ldots, r_k\}$ 为严格筛选的局部参考图子集，而提示词 $g$ 采用序数短语（如 "the first reference image"）引用参考图角色，并将用户需求、检索事实、参考图特征、调用技能与失败避坑准则系统性融合成约束集合： $$C = C_{\mathrm{user}} \cup C_{\mathrm{fact}} \cup C_{\mathrm{ref}} \cup C_{\mathrm{know}} \cup C_{\mathrm{avoid}}$$ 条件生成器依据程序渲染最终图像 $\hat{y} = G(g, R)$。为实现精细化轨迹评价，系统构建由图像端与文本端加权的双重奖励机制： $$R = (1 - \alpha) R_{\mathrm{img}} + \alpha R_{\mathrm{text}}$$ 其中 $R_{\mathrm{img}}$ 依据 KScore 标准从忠实度、视觉真实性、文字准确性与美学质感打分；$R_{\mathrm{text}}$ 则是程序充分性奖励，检验 $z$ 是否包含足够支撑下游生成器精确复原画面所需的事实约束与序数引用。

3. 结构化视觉经验抽取与沉淀：跨轨迹对比与源提示词束检索

标量奖励仅能区分高低优劣，无法提供可归纳的操作指导。GenEvolve 对同请求下采样的 $K$ 条轨迹按奖励排序，选出最佳轨迹 $\tau^+$ 与最差轨迹 $\tau^-$。当奖励差 $\Delta = R(\tau^+) - R(\tau^-) \ge \delta_{\min}$ 时，多模态裁判模型深入剖析成对决策差异，将其浓缩为五槽结构化视觉经验： $$M = \{M_{\mathrm{search}}, M_{\mathrm{know}}, M_{\mathrm{ref}}, M_{\mathrm{prompt}}, M_{\mathrm{fail}}\}$$ 这五大槽位分别记录检索查询分解与证据校验策略、技能激活的取舍归因、候选参考图去冗排毒经验、提示词程序结构编排技巧以及特定画面缺陷的避坑规则。所沉淀的经验以源提示词的文本嵌入作为索引键存储于经验池中。在新输入到达时，系统依据语义相似度完整检索对应的五槽经验束（bundle retrieval），确保传授给教师分支的经验具有上下文连贯性，避免多案例拼凑失真。

4. 特权教师引导的在策略视觉经验自蒸馏：密集 Token 级引导

在模型自演化更新阶段，学生分支仅接收普通推理上下文 $c(x)$，而特权教师分支在系统提示词中拼入检索到的视觉经验束 $c_E(x) = \mathrm{Patch}(c(x), M_x)$。教师模型不重新自回归采样整条轨迹，而是直接基于特权上下文计算学生已采样 Token $y_{i,t}$ 的概率分布 $q_{i,t} = \mathrm{sg}[\pi_\theta^E(y_{i,t} \mid \tilde{h}_{i,t})]$。利用采样 Token 级反向 KL 散度与重要性权重纠偏，构建经验自蒸馏损失（SDL）： $$\ell_{i,t} = \log p_{i,t} - \log q_{i,t}, \quad k_3(\ell_{i,t}) = \exp(-\ell_{i,t}) - 1 + \ell_{i,t}$$ $$\mathcal{L}_{\mathrm{SDL}} = \frac{1}{\sum_{i,t} m^E_{i,t}} \sum_{i,t} m^E_{i,t} \min\left( \rho^{\mathrm{on}}_{i,t} k_3(\ell_{i,t}), c_{\mathrm{tok}} \right)$$ 其中 $\rho^{\mathrm{on}}_{i,t}$ 为在策略重要性截断比率。该目标使得特权教师能在智能体偏离经验的关键决策 Token 上施加显著反向纠偏，而在正确探索方向上强化概率聚集。

损失函数 / 训练策略¶

GenEvolve 遵循两阶段训练范式： 1. SFT 冷启动：在 GenEvolve-Data 提供的 8,800 条高质量教师轨迹上对基础模型（Qwen3-VL-8B-Instruct）进行语言策略微调，固定视觉编码器，仅对智能体决策 Token 计算多轮自回归损失 $\mathcal{L}_{\mathrm{SFT}}$。 2. 闭环自演化（GRPO + SDL）：在自演化数据集中，智能体针对每个请求探索 $K=6$ 条轨迹并生成图像，端到端联合优化组相对策略优势与视觉经验蒸馏： $$\mathcal{L}_{\mathrm{GenEvolve}} = \mathcal{L}_{\mathrm{GRPO}} + \lambda_{\mathrm{SDL}} \mathcal{L}_{\mathrm{SDL}}$$ 其中 $\mathcal{L}_{\mathrm{GRPO}}$ 负责轨迹级全局奖励跃迁，$\mathcal{L}_{\mathrm{SDL}}$ 则在前 10% 经验显著差异决策 Token 上注入密集归因梯度。

实验关键数据¶

主实验¶

在涵盖知识锚定（Knowledge-Anchored）与画质锚定（Quality-Anchored）的 GenEvolve-Bench 上，GenEvolve 与主流直接生成模型及智能体工作流的评测对比如下：

模型 / 方案	下游生成器	忠实度 (Faith.)	视觉真实性 (Vis.)	文字准确率 (Text)	美学表现 (Aesth.)	KScore 总分	知识锚定分	画质锚定分
SD-3.5-Large	SD-3.5	0.1456	0.0135	0.3872	0.4865	0.2235	0.1943	0.2612
FLUX.1-dev	FLUX.1	0.1574	0.0059	0.4150	0.5556	0.2396	0.2097	0.2784
Qwen-Image	Qwen-Image	0.3729	0.0623	0.4226	0.6751	0.2987	0.2384	0.3768
Nano Banana Pro	Nano Banana Pro	0.7761	0.2837	0.6178	0.9158	0.5298	0.5160	0.5477
Gen-Searcher 8B	Qwen-Image-Edit	0.5284	0.1050	0.4768	0.6377	0.3493	0.3293	0.3745
GenEvolve (开源基线)	Qwen-Image-Edit	0.5303	0.1338	0.4907	0.6347	0.3663	0.3410	0.3990
Gen-Searcher 8B	Nano Banana Pro	0.7465	0.3378	0.6198	0.9036	0.5481	0.5472	0.5492
GenEvolve (强生成器)	Nano Banana Pro	0.7970	0.3832	0.6218	0.9222	0.5739	0.5669	0.5830

在跨领域外部世界知识评测基准 WISE 上，GenEvolve 搭配 Qwen-Image-Edit 取得各细分类别领先的 WiScore：

方案类别	代表模型	文化 (Cultural)	时间 (Time)	空间 (Space)	生物 (Biology)	物理 (Physics)	化学 (Chemistry)	总分 (WiScore)
直接生成基准	FLUX.1-dev	0.48	0.58	0.62	0.42	0.51	0.35	0.50
直接生成基准	Qwen-Image	0.62	0.63	0.77	0.57	0.75	0.40	0.62
商业最强闭源	GPT-4o (2025)	0.81	0.71	0.89	0.83	0.79	0.74	0.80
智能体基准	GenAgent	0.78	0.67	0.78	0.72	0.77	0.55	0.72
智能体基准	Gen-Searcher 8B	0.80	0.71	0.82	0.76	0.74	0.75	0.77
智能体基准	Mind-Brush	0.83	0.69	0.84	0.71	0.85	0.68	0.78
本文方法	GenEvolve + Qwen-Edit	0.84	0.74	0.87	0.83	0.81	0.83	0.82

消融实验¶

在 GenEvolve-Bench 上对各训练阶段核心组件进行逐层消融（均采用 Qwen-Image-Edit 作为生成器）：

变体方案	KScore (All)	忠实度 (Faith.)	真实性 (Vis.)	文字 (Text)	美学 (Aesth.)	知识锚定	画质锚定
纯生成器 (Qwen-Image)	0.2987	0.3729	0.0623	0.4226	0.6751	0.2384	0.3768
未微调 Qwen3-VL 智能体流	0.3317	0.4781	0.1061	0.4571	0.5867	0.3109	0.3587
仅 SFT 冷启动	0.3480	0.4791	0.1121	0.4934	0.5785	0.3303	0.3709
SFT + GRPO (无视觉经验)	0.3548	0.5027	0.1138	0.4926	0.6197	0.3277	0.3898
完整 GenEvolve (SFT+GRPO+SDL)	0.3663	0.5303	0.1338	0.4907	0.6347	0.3410	0.3990

关键发现¶

标量强化学习面临信用分配瓶颈：仅添加 GRPO 优化（0.3548）相比 SFT（0.3480）提升较为有限，尤其在长轨迹、多步骤工具链中，标量奖励无法向先期搜索与技能调用赋予精准梯度。
视觉经验自蒸馏带来决定性增益：引入特权教师的视觉经验反向 KL 蒸馏后，KScore 进一步显著攀升至 0.3663，其中视觉真实性从 0.1138 跃升至 0.1338（相对提升 17.6%），证明结构化反差经验有效弥补了标量奖励的归因缺失。
跨生成器泛化能力强韧：智能体在开源轻量编辑模型上学习到的工具编排决策与提示词-参考图程序，能直接无缝迁移到强大的商业生成器 Nano Banana Pro 上，实现高达 0.5739 的 KScore，大幅超越原模型直接生成（0.5298）与同类智能体基线。

亮点与洞察¶

将视觉成败反差升华为结构化教学经验：区别于传统仅用标量奖励指导策略更新的 RL 方案，GenEvolve 首次通过多模态对比同问题下的最优与最差生成结果，提炼出覆盖搜索、知识激活、参考图筛选与避坑指南的五槽先验，为智能体提供了极高信噪比的具象反馈。
特权在策略自蒸馏机制优雅规避推理开销：精心设计的非对称师生结构让复杂的经验上下文仅在训练时拼入教师分支进行反向重打分，推理期部署的学生智能体保持极简上下文输入，既享受了稠密 Token 级的修正指导，又完全不增加部署推理时延与显存。
提示词-参考图解耦的序数程序范式：放弃脆弱的检索 ID 与具体 URL 拼接，采用序数引用（ordinal referencing）与多维约束集合规范生成程序，极大增强了生成指令对下游异构渲染器的鲁棒性与迁移性。

局限与展望¶

依赖强多模态裁判进行经验抽取：结构化五槽经验的提炼与过滤重度依赖高水平教师模型（如 Seed2.0、Gemini 3 Pro），若多模态裁判在复杂细粒度空间布局或材质属性上发生认知幻觉，可能提取出有偏差的经验槽位。
工具调用的多轮开销与延迟：复杂的图文搜索与多轮多模态观察导致智能体端到端推理时间较长，高并发实时生成场景下具有一定部署挑战。
未来方向：探索动态自适应终止机制，依据生成难度自适应决定是否调用工具；探索将结构化视觉经验持久化为参数化记忆或外挂矢量知识库。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向图像生成智能体的成对视觉经验蒸馏框架，将视觉成败归因转化为稠密 Token 级先验。
实验充分度: ⭐⭐⭐⭐⭐ 构建了完备的 GenEvolve-Data 与评测基准，同时在外部 WISE 上展开全面验证，实验详实严谨。
写作质量: ⭐⭐⭐⭐⭐ 形式化定义严谨数学自洽，图表信息量极其丰富，问题定位清晰。
价值: ⭐⭐⭐⭐⭐ 为大模型智能体与专业生成模型的协同演化开辟了可行范式，工业界与学术界参考价值高。