Gen-Searcher: Reinforcing Agentic Search for Image Generation¶

会议: NeurIPS 2026
arXiv: 2603.28767
论文: https://arxiv.org/abs/2603.28767 https://openreview.net/forum?id=M0ZcmOLHIp
代码: https://gen-searcher.vercel.app/
领域: 图像生成
关键词: 图像生成, 多模态智能体, 智能体强化学习, GRPO, 知识检索增强

一句话总结¶

提出 Gen-Searcher 作为首个面向图像生成的主动式多模态深度搜索智能体，构建了专用数据管线与 KnowGen 基准，通过文本与图像双奖励反馈驱动的 GRPO 强化学习，为下游生成模型提供高质接地的文本线索与视觉参考图，使 Qwen-Image 在 KnowGen 上实现 16.54 分的跨越式性能提升。

研究背景与动机¶

近年来文生图（Text-to-Image, T2I）扩散与流匹配模型取得了惊人的视觉保真度与美学表现。然而，现存的主流生成模型本质上仍受限于预训练阶段冻结的参数化记忆（frozen parametric knowledge）。当面对知识密集型（knowledge-intensive）或需要最新时效信息的真实世界提示词时——例如特定小众地标、最新发布的工业消费品、动态演进的公众人物形象或特定科学实体结构，常规模型往往会产生严重的幻觉或视觉特征错乱，无法生成忠实反映客观事实的图像。

解决此类外部知识依赖的直觉路径是引入检索增强生成（RAG）或基于提示工程的搜索引擎工作流。但现有 RAG 方法大多依赖覆盖率有限且陈旧的静态数据库，其基于单轮相似度的浅层文本检索根本无法应对需要跨网页整合证据的多跳复杂查询；而免微调的搜索提示流（prompt-based workflows）则严重依赖人工硬编码规则，缺乏自适应规划多步工具调用、动态修正查询以及反思检索证据的认知能力。更关键的是，像 Nano Banana Pro 这类极少数内置搜索能力的专有模型，目前也仅停留在文本搜索层面，缺失了在网络中精准定位关键实体外观参考图（visual reference images）的能力，导致生成图像的细粒度视觉属性依然常常失真。

针对上述核心矛盾，如何让智能体学会像人类研究员一样主动、多轮地在互联网上进行图文混合搜索、证据聚合与跨模态推理，并将搜集到的充分信息转化为下游图像生成器可直接执行的高保真条件输入？核心 idea：提出首个通过智能体强化学习（Agentic RL）训练的多模态深度搜索生成智能体 Gen-Searcher，引入平衡文本信息完备度与最终生成质量的双奖励反馈 GRPO 机制，实现多跳自主网页浏览、参考图检索与接地图文提示词生成。

方法详解¶

整体框架¶

Gen-Searcher 的整体工作管线围绕智能体交互循环与下游生成展开。系统基于 Qwen3-VL-8B-Instruct 初始化，配备了包含文本搜索（search）、图像检索（image_search）和网页总结（browse）的三项工具接口。面对输入的知识密集型提示词，Gen-Searcher 展开多步反思与工具交互轨迹，最终产出结构化的增强提示词（search-grounded prompt）与挑选出的参考图像集，供下游开源（如 Qwen-Image）或专有（如 Nano Banana Pro）图像生成模型进行最终渲染。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询：知识密集型 Prompt<br/>涵盖多跳事实与视觉实体需求"] --> B["多策略数据管线与基准构建<br/>Gen-Searcher-SFT-10k / RL-6k 与 KnowGen"]
    B --> C["多轮多模态工具交互与推理循环<br/>协调 search / image_search / browse"]
    C --> D["双奖励反馈机制驱动的 GRPO 策略优化<br/>平衡文本信息度 R_text 与视觉得分 R_image"]
    D --> E["输出接地图文条件与多模型迁移适配<br/>生成结构化提示词与视觉参考图集合"]
    E --> F["下游生成器渲染合成目标图像<br/>支持 Qwen-Image / Seedream 4.5 / 专有模型"]

整个技术体系由数据管线构建、多轮工具协同搜索机制，以及针对图像生成高方差特性的双奖励强化学习算法三大关键设计支撑。

关键设计¶

1. 多策略数据管线与基准构建：攻克多模态搜索轨迹与真实监督匮乏瓶颈

针对知识密集型图像生成任务天然缺乏“多跳搜索轨迹-参考图-真值生成图”配对数据的严峻瓶颈，本文建立了一套自动化的四阶段数据工程管线。管线首先采用双轨策略构造搜索密集型提示词：一方面利用精心设计的提示工程引导 Gemini 3 Pro 在动漫、建筑、艺术、生物、历史、影视、政经等 20 个细分垂直领域中生成必须经过多步推理的深度搜索 prompt；另一方面将既有深层科研问答（Deep Research QA）数据集通过任务重构转化为具象化的视觉生成任务，主要补充实时通用新闻场景。随后，驱动 Gemini 3 Pro 协同搜索工具展开多轮交互，搜集证据并输出接地图文指令，交由 Nano Banana Pro 合成真值参考图。最终利用 Seed1.8 结合规则对多维度有效性与安全性打分过滤，沉淀出 10k 条 SFT 监督微调集、6k 条强化学习训练集，以及由人工严格核验的 630 条独立评测基准 KnowGen。

2. 多轮多模态工具交互机制：打通图文双通道外部知识的自主闭环收集

传统的检索增强生成往往仅局限于单轮纯文本查询匹配，无法获取真实世界实体的精准视觉先验。Gen-Searcher 为智能体赋予了三维工具调用空间：文本搜索工具 search 返回相关网页 URL 与核心摘要，用于实体消歧、历史年表与事实证据核查；图像检索工具 image_search 依据实体描述检索对应的高清视觉参考图，用于锚定人物身份面容、服装式样、建筑轮廓等无法单纯靠文本准确表述的外观特征；网页深读工具 browse 则由部署在后端的轻量多模态模型 Qwen3-VL-30B-A3B-Instruct 对复杂长网页进行结构化提炼与摘要。在交互过程中，模型以自身隐状态动态追踪累积的环境反馈，自适应决断继续检索、获取视觉参考、深读正文还是终止会话，最终将碎片化线索整合成包含排版规范、属性刻画及参考图引用的接地图文描述。

3. 双奖励反馈机制驱动的 GRPO 优化：抑制生成器随机方差并稳定策略对齐

在将强化学习（RL）拓展至图像生成智能体领域时，单纯依赖最终生成图像的质量打分作为奖励会面临极高的优化方差与梯度不稳定性：开源图像生成器（如 Qwen-Image）自身能力有限且具备随机采样扰动，智能体即使搜集到了完全正确的知识，生成器也可能因渲染失误给出极低得分。为此，作者提出了由文本端与图像端共同构成的双奖励反馈函数：

\[R = (1 - \alpha) R_{\text{image}} + \alpha R_{\text{text}}\]

其中 \(R_{\text{image}}\) 直接采用多维评估指标 K-Score（由 GPT-4.1 对保真度、视觉正确性、文字精准度与美学质量进行加权计算），表征最终图像落地成效；\(R_{\text{text}}\) 则由 GPT-4.1 独立评估最终生成的接地文本提示词中是否蕴含了生成目标画面所需的完整、无歧义且正确的先验事实信息。双奖励通过超参数 \(\alpha=0.5\) 紧密耦合，既约束了搜索阶段的证据完备度，又确保了线索对生成器具有可操作性。在此基础上，算法采用组相对策略优化（GRPO），在采样组内计算相对优势：

\[A_i = \frac{R_i - \mathrm{mean}(\{R_j\})}{\mathrm{std}(\{R_j\})}\]

从而无需引入额外的价值网络（Critic），极大降低了显存开销，显著提升了长程多轮智能体策略探索的收敛速度与稳定性。

损失函数 / 训练策略¶

Gen-Searcher 的训练分为两阶段：第一阶段在 Gen-Searcher-SFT-10k 数据集上进行全参数监督微调（初始学习率 \(1\times 10^{-5}\)，AdamW 优化器，8 卡 H800），使模型迅速建立基础的工具解析、上下文多轮管理及图文提示词编排能力；第二阶段在 Gen-Searcher-RL-6k 上执行基于 GRPO 的智能体强化学习（学习率 \(1\times 10^{-6}\)），设置采样组大小 \(G=6\)，每轮交互轮数上限设为 10，单轮返回参考图上限为 5，最大上下文长度设为 36K。为支持并行环境中的图像 rollout 计算，部署了专用的 Qwen-Image-Edit-2509 实例集群提供图像生成，并引入截断和去重掩码抑制长程冗余轨迹。

实验关键数据¶

主实验¶

在作者提出的 KnowGen 评测基准（涵盖“科学与知识”与“流行文化与新闻”两大子集，共 630 个人工核验任务）上，Gen-Searcher 与主流开源及商用生成模型进行了详尽评测。评测指标 K-Score 综合了视觉正确性（40%）、文字渲染精度（40%）、场景保真度（10%）与视觉美学（10%）。

模型 / 组合	科学与知识 (K-Score)	流行文化与新闻 (K-Score)	Overall K-Score	视觉正确性 (Overall)	文字精准度 (Overall)
SD-3.5-Large	12.53	12.53	12.53	5.33	2.03
FLUX.1-dev	10.71	10.71	10.71	2.64	0.75
HunyuanImage-3.0	14.15	14.15	14.15	5.43	1.85
Qwen-Image (Baseline)	14.98	14.98	14.98	7.20	0.87
Seedream 4.5	31.01	31.01	31.01	13.48	28.98
GPT-Image-1.5	44.97	44.97	44.97	29.34	43.18
Nano Banana Pro	50.38	50.38	50.38	34.99	51.35
Gen-Searcher-8B + Qwen-Image	31.52	31.52	31.52 (+16.54)	26.09 (+18.89)	20.37 (+19.50)
Gen-Searcher-8B + Seedream 4.5	47.29	47.29	47.29 (+16.28)	37.70 (+24.22)	44.69 (+15.71)
Gen-Searcher-8B + Nano Banana Pro	53.30	53.30	53.30 (+2.92)	44.04 (+9.05)	50.81 (-0.54)

此外，在既有世界知识图像生成基准 WISE 上，Gen-Searcher + Qwen-Image 取得了 0.77 的全场最优综合评分，相比原始 Qwen-Image 基准（0.62）大幅提升 0.15，特别是在化学（0.40 \(\to\) 0.75）和文化领域表现亮眼。

消融实验¶

作者在 KnowGen 验证集上系统测试了工作流策略、监督微调与强化学习各模块对生成质量的具体贡献：

配置	KnowGen Overall K-Score	说明
Qwen-Image (Vanilla)	14.98	无外部检索直接生成
Qwen-Image + Workflow	22.91	基于人工设计提示词工程的免训练多步搜索工作流
Qwen-Image + Gen-Searcher-SFT	28.15	仅经过 SFT-10k 阶段训练的智能体
Qwen-Image + Gen-Searcher w/o \(R_{\text{text}}\)	29.59	仅使用图像端奖励（K-Score）进行 GRPO 训练
Qwen-Image + Gen-Searcher w/o \(R_{\text{image}}\)	29.36	仅使用文本端奖励（GPT-4.1 信息度打分）进行 GRPO 训练
Qwen-Image + Gen-Searcher (Full Model)	31.52	SFT + 文本/图像双奖励耦合 GRPO 强化学习

关键发现¶

双奖励机制的互补性：同时剥离任意一路奖励均导致强化学习性能明显下跌（分别跌落 1.93 与 2.16 分）。纯图像奖励受制于开源生成器的渲染随机性，噪声过大；纯文本奖励则容易让 Agent 生成“看似信息丰富却难以被视觉模型执行”的复杂冗余文本，唯有二者联合才能引导稳健探索。
跨生成器泛化与迁移能力：虽然 Gen-Searcher 仅以 Qwen-Image-Edit 作为环境反馈训练，但学到的多跳搜索与视觉参考提取策略具备优异的通用性，不仅将下游开源 Seedream 4.5 提升 16.28 分，更能跨模型赋能工业界最强模型 Nano Banana Pro，进一步提升 2.92 分（达到 53.30 这一全表新高）。
细粒度属性收益来源：增益绝大部分来源于“视觉正确性”与“文本渲染准确性”的翻倍暴涨（Qwen-Image 视觉正确性从 7.20 飙升至 26.09）。而 Nano Banana Pro 的额外收益几乎完全源自视觉正确性（从 34.99 跃升至 44.04），印证了图像检索工具对缺乏视觉参考的原生模型的强力补足作用。

亮点与洞察¶

将 Agentic RL 引入视觉生成领域：不同于以往依靠固定外挂数据库的浅层 RAG，本文首次证明了通过 RL 能够激发模型在互联网开放空间中多轮多模态主动检索与规划反思的潜力。
双奖励设计优雅规避下游生成瓶颈：针对开源视觉模型生成方差大、文本渲染脆弱的问题，利用文本完备度作为平滑基底奖励，成功稳定了多模态智能体强化学习的收敛轨迹。
可复用的跨模型模块化解耦范式：Agent 的检索策略与底座视觉生成器实现完全解耦，可直接作为即插即用的推理前端适配任何黑盒或白盒图像/视频生成大模型。

局限与展望¶

下游生成器瓶颈制约：部分案例中即便 Agent 搜集了完全正确的图文参考，开源生成器（如 Qwen-Image）依然可能因空间多主体布局或复杂文字排版缺陷而生成失败，未来需探索端到端联合微调或自适应局部编辑能力。
推理耗时与 API 开销：多步搜索与 browse 模型调用会增加单张图像生成的延迟（数十秒），限制了高频实时交互场景的应用。
多模态环境的安全性风险：开放网络图片搜索可能引入带噪声、低分辨率甚至带有偏见与版权风险的图像，构建更稳健的在线视觉清洗与防护机制至关重要。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出面向图像生成的深度搜索智能体与双奖励强化学习训练方案。
实验充分度: ⭐⭐⭐⭐⭐ 构建全新基准 KnowGen、SFT/RL 两大数据集，并在多个主流生成器上完成跨模型验证与消融。
写作质量: ⭐⭐⭐⭐⭐ 框架设计清晰，动机与痛点推导紧凑，实验分析细致到位。
价值: ⭐⭐⭐⭐⭐ 开创了知识密集型图像生成的新范式，全套数据、模型和基准完全开源，对社区极具实用价值。