Unify-Agent: A Unified Multimodal Agent for World-Grounded Image Synthesis¶

会议: NeurIPS 2026
arXiv: 2603.29620
领域: LLM Agent
关键词: 多模态智能体；统一多模态模型；世界知识接地；事实性图像生成；证据重描述

一句话总结¶

针对传统统一多模态模型依赖固定参数记忆而难以生成长尾实体的问题，Unify-Agent 提出将图像生成重构为“思考-检索-重描述-生成”的端到端交替决策序列，借助 VAE 感知隐变量与 ViT 高阶语义协同理解外部证据，实现高保真、强事实一致的世界接地图像合成。

研究背景与动机¶

近年来文本到图像（T2I）生成技术在画面真实感、可控性与美学表现上取得了长足进步，但在面向真实世界概念时仍暴露出严重短板。当提示词涉及现实公众人物、小众文化符号、长尾动漫与游戏 IP、特定历史场景或科学现象时，生成失败的主要根源不再是渲染画质粗糙，而是模型缺乏对目标实体的先验认知，根本不知道特定实体的决定性外观特征及其组合规律。统一多模态模型（UMMs）虽在共享架构中融合了视觉理解与图像生成能力，但其行为仍受制于预训练阶段内化的静态参数记忆。世界知识一旦冻结在模型权重中，便无法在推理阶段动态更新，导致罕见概念频繁出现身份漂移与事实性幻觉。

从闭卷记忆走向开卷智能体检索是解决这一瓶颈的关键路径，然而现有 agentic 图像生成系统大多采用脆弱的多阶段 API 拼装范式。它们通常以冻结的纯文本 LLM 作为规划器，松散串联外部搜索工具与独立的图像生成器，导致证据检索、多模态推理与视觉合成割裂。更关键的是，直接将检索到的异构证据喂入生成器存在天然模态冲突：检索文本往往包含冗余信息且缺少细粒度视觉指引，而检索图像虽能锚定外观，却常混杂无关背景或与用户的构图意图发生冲突。系统亟需将外部知识提炼为既忠实于实体特征、又服从用户构图意图的生成导向规范。

本文的切入角度是打破离散 API 拼接与纯参数记忆的局限，在统一模型内部将理解、检索、推理与生成紧密耦合。研究者发现统一模型的生成先验能够反哺视觉理解：生成专用的低阶 VAE 隐变量（保留材质与纹理细节）与理解专用的高阶 ViT 语义特征相互补充，能极大提升模型解析检索参考图并提炼生成规范的能力。核心 idea：将世界接地图像生成重构为“认知缺口检测（Think）→ 串行多模态证据获取（Research）→ 证据接地重描述（Recaption）→ 视觉合成（Generate）”的端到端统一决策轨迹，通过解耦身份保持约束与场景构图约束实现高保真事实生成。

方法详解¶

整体框架¶

Unify-Agent 构建于统一多模态模型 Bagel（Mixture-of-Transformers 架构，MoT）之上，通过序列打包（Sequence Packing）与双重损失函数，在同一自回归骨干中无缝交织离散序列决策与连续潜在流匹配（Latent Flow Matching）。当接收到用户提示词后，模型不进行单步生成映射，而是展开为一个完整的四阶段概率生成轨迹：评估内部记忆以识别缺失的视觉关键属性（Think）；先文本后图像串行检索外部证据（Research）；将异构知识提炼为解耦身份与构图的结构化重描述（Recaption）；最后在视觉锚点与重描述约束下合成图像（Generate）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入提示词 $x$"] --> B["认知缺口检测<br/>评估内部参数记忆并判断是否需要外部知识"]
    B --> C["串行多模态证据获取<br/>先检索文本消歧语义，再定向检索参考图像"]
    C --> D["证据接地重描述<br/>VAE细节与ViT语义协同，解耦身份与场景构图"]
    D --> E["证据接地视觉合成<br/>基于重描述与视觉锚点，流匹配生成目标图像"]

关键设计¶

1. 认知缺口检测：基于内部参数反思的主动检索决策

常规生成模型总是被动尝试执行任何提示词，在遇到未知实体时强行“盲画”导致严重幻觉。Unify-Agent 在推理伊始引入显式的认知评估机制，将输入提示词拆解为目标身份、场景配置、风格基调与摄影要求等语义维度。模型基于其内部记忆评估该实体的视觉关键特征（如面部轮廓、专属发型、特有服饰或标志性器物纹理）是否存在知识空白，形式化为隐状态变量：

\[g \sim p_\theta(g \mid x)\]

当判定存在视觉属性缺失集合 \(\mathcal{M}(x) = \{m_1, \dots, m_K\} \neq \emptyset\) 时，模型触发外挂检索机制进入研究阶段；若提示词仅包含通用概念，则直接跳入生成。该机制确保了模型不会对常见概念产生不必要的工具调用开销，而在面对生僻概念时能准确定位需要补足的信息缺口。

2. 串行多模态证据获取：以文本语义脚手架引导高精度视觉检索

外部多模态检索如果单凭实体名称发起图像检索，极易被同名歧义或杂乱图源误导。Unify-Agent 提出“先文本后图像”的双阶段串行搜索链路 \(p_\theta(\tau_t, \tau_v \mid x, g)\)。智能体首先生成文本查询 \(q_t\)，从网络知识库中检索实体定义、所属类别与背景描述 \(E_t\)，建立结构化语义脚手架以消除概念歧义。

随后，模型在原始提示词、缺口状态与文本证据的联合条件下生成定向图像查询 \(q_v \sim p_\theta(q_v \mid x, g, \tau_t)\)，抓取初始图像候选集 \(\widetilde{E}_v = \{v_1, \dots, v_n\}\)。系统进一步引入轻量化多模态评估机制，从身份一致性、主体显著性、清晰度与无水印纯净度四个维度对候选图片打分并选取 Top-2 作为视觉锚点 \(E_v\)：

\[E_v = \operatorname*{arg\,top2}_{v_i \in \widetilde{E}_v} \sum_{k=1}^4 \lambda_k s_k(v_i \mid x, E_t)\]

两张选定的高质量真实参考图为后续生成提供了直接的视觉外观锚点，规避了孤立文本检索缺乏细粒度感知先验的弊端。

3. 证据接地重描述：解耦身份与场景构图的统一控制接口

直接将检索到的原始网页文本和参考图输入生成模型会导致严重的指令干扰：非结构化文本带来冗余噪声，而未经解构的参考图可能将多余的背景或姿态强加在目标画面上。Unify-Agent 引入重描述模块作为过滤与抽象中介，将多模态证据转换为生成专用的结构化描述文本 \(c = \mathcal{C}(x, E_t, E_v)\)。

该重描述严格分离出两类正交约束：一是身份保持约束，提炼角色特有的外貌面容、标志性符号和颜色搭配；二是场景构图约束，锁定用户提示词指定的姿态动作、服装变化、环境氛围和光影风格。重描述生成过程中，模型同时利用 ViT 编码的高阶语义 token（负责辨识全局属性与实体类别）以及冻结 VAE 提取的低阶感知连续潜变量（保留纹理细节与空间几何）。这种双路表征交互使得模型能够精准“读懂”检索图像中的视觉精髓，并将其规范化为下游生成专家可精确执行的精细 prompt。

4. 证据接地视觉合成：去除历史噪声的条件独立生成

在完成重描述后，最终图像合成并不直接依赖冗长杂乱的上游搜索历史与原始文本 \((x, g, \tau_t)\)，而是严格在重描述 \(c\) 与精炼的视觉锚点 \(\tau_v\) 条件下生成：

\[y \sim p_\theta(y \mid c, \tau_v)\]

这种条件独立性设定切断了上游离散文本推理中可能产生的推理噪声与格式干扰，使统一模型中的流匹配生成专家专注于将高度浓缩的控制信号转化为连续像素隐变量，确保最终合成图像在严格保持实体身份真实性的同时，高度贴合用户的构图指令。

损失函数 / 训练策略¶

为使单一体模型同时掌握离散智能体轨迹与连续图像合成，模型在 143K 条经过拒绝采样过滤的高质量 SFT 轨迹数据上进行联合微调。总训练目标采用双重损失函数：

\[\mathcal{L}_{\text{SFT}} = \mathcal{L}_{\text{text}} + \mathcal{L}_{\text{image}}\]

文本理解与推理损失 \(\mathcal{L}_{\text{text}}\)：采用自回归交叉熵损失优化思考、工具调用与重描述 token，并对 <think>、<tool_call>、<recaption> 等特殊边界 token 进行加权，以强化结构化执行规范；
图像生成损失 \(\mathcal{L}_{\text{image}}\)：在连续 VAE 潜在空间中优化整流流匹配目标（Rectified Flow Matching），训练生成专家根据条件上下文预测速度场 \(u_\theta(z_t, t; C)\)：

\[\mathcal{L}_{\text{image}} = \mathbb{E}_{t \sim \mathcal{U}(0, 1), z_t} \left\| u_\theta(z_t, t; C) - u^\star(z_t, t) \right\|_2^2\]

序列间采用混合注意力掩码策略（Hybrid Attention Masking），保持文本推理因果顺序的同时，避免历史搜索文本直接干扰最终图像生成潜变量。

实验关键数据¶

主实验¶

论文构建了包含 12 类长尾 IP（涵盖名人、动漫、游戏、神话、地标、节庆等）的 FactIP 评测基准，以真实种子图为基准，系统评估了清晰度（Clarity）、内容完整性（Content）、美学质量（Aesthetics）和实体相关度（Relevance）。

类别 / 模型	架构类型	Clarity	Content	Aesthetics	Relevance	Overall
FLUX.1-dev	独立生成模型 (Diffusion)	92.5 / 89.0 / 91.8	51.9 / 40.4 / 37.7	78.4 / 75.8 / 80.3	17.0 / 8.2 / 18.2	28.9
SD-3.5-large	独立生成模型 (Diffusion)	85.4 / 82.5 / 81.1	44.3 / 23.2 / 32.1	75.3 / 68.1 / 74.5	18.0 / 5.9 / 20.2	27.5
Bagel (基座)	统一多模态模型 (MoT)	91.4 / 91.8 / 90.6	68.5 / 59.1 / 65.0	81.6 / 83.3 / 87.2	39.9 / 44.0 / 50.7	50.9
Bagel-CoT	统一模型 + 思维链	90.7 / 90.8 / 90.5	66.4 / 53.7 / 62.3	80.3 / 79.3 / 85.0	36.2 / 34.7 / 47.4	47.0
Emu3.5	统一多模态模型	94.8 / 92.7 / 94.3	64.0 / 54.5 / 69.3	85.2 / 84.5 / 90.6	49.7 / 44.4 / 60.8	57.2
Unify-Agent (本文)	统一多模态智能体	92.4 / 91.5 / 90.7	75.8 / 76.1 / 73.6	83.3 / 86.0 / 86.4	67.3 / 71.8 / 78.2	73.2
GPT-Image-1.5	商业闭源模型 (参考)	94.4 / 94.2 / 95.6	82.7 / 73.2 / 77.9	89.5 / 88.1 / 93.8	62.6 / 61.5 / 77.2	69.9
Seedream-5	商业闭源模型 (参考)	95.0 / 86.0 / 88.1	86.7 / 94.3 / 83.5	90.3 / 87.1 / 91.7	84.3 / 91.8 / 87.1	87.3

(注：子列分别代表 Character / Object / Scene 三个子领域的平均得分)

在通用世界知识评测基准 WiSE 上，Unify-Agent 在统一开源模型中斩获 0.77 的最高分（相比基座 Bagel 的 0.52 提升了 0.25）；在细粒度实体对齐评测 KiTTEN 上取得 4.08 分（超越 Imagen-3 的 3.50）；在 T2I-FactBench 上全面领跑单概念与多概念组合评测。

消融实验¶

论文在 FactIP 基准上对管线各阶段、约束类型以及重描述阶段的网络结构进行了系统消融（指标为加权平均）：

变体配置	Clarity	Content	Aesthetics	Relevance	Overall
Vanilla Bagel (基座基线)	91.3	64.2	84.0	44.9	50.9
w/o 文本检索 (w/o Text-Search)	90.7 (-0.6)	70.9 (+6.7)	84.3 (+0.3)	64.6 (+19.7)	65.4 (+14.5)
w/o 图像检索 (w/o Image-Search)	92.1 (+0.8)	73.1 (+8.9)	85.0 (+1.0)	50.8 (+5.9)	56.2 (+5.3)
w/o 重描述模块 (w/o Recaption)	83.0 (-8.3)	69.0 (+4.8)	74.5 (-9.5)	60.2 (+15.3)	62.9 (+12.0)
重描述 w/o 身份保持约束	91.5 (+0.2)	72.6 (+8.4)	83.4 (-0.6)	65.9 (+21.0)	67.7 (+16.8)
重描述 w/o 场景构图约束	90.7 (-0.6)	70.8 (+6.6)	80.7 (-3.3)	68.6 (+23.7)	68.2 (+17.3)
重描述架构 w/o VAE 特征	90.9 (-0.4)	74.3 (+10.1)	84.5 (+0.5)	70.8 (+25.9)	71.2 (+20.3)
重描述架构 w/o ViT 特征	88.6 (-2.7)	68.4 (+4.2)	81.1 (-2.9)	58.7 (+13.8)	61.4 (+10.5)
Unify-Agent (完整模型)	91.2	75.2	85.2	72.4	73.2

关键发现¶

图像检索对身份保持具有决定性作用：去掉图像检索（w/o Image-Search）导致 Relevance 得分从 72.4 断崖式跌落至 50.8，总分跌落至 56.2，说明长尾视觉实体的精细外观很难单凭文本描述完整还原。
重描述模块是消除异构模态冲突的不可替代桥梁：直接将检索证据原样输入生成器（w/o Recaption），总分下降 10.3 分，同时清晰度与美学指标均明显恶化，证明未经结构化蒸馏的外部多模态知识严重破坏了生成模型的潜在流表征。
生成先验反哺多模态理解：重描述架构消融表明，同时提供 VAE 低阶潜变量与 ViT 高阶语义能取得最佳重描述质量；移除 VAE 使总分下降 2.0 分，而移除 ViT 导致总分下降 11.8 分，验证了端到端统一模型内“生成潜变量保留低阶感知纹理 + 视觉编码器提取语义结构”的协同增益。

亮点与洞察¶

端到端统一建模取代离散 API 胶水系统：首次将智能体决策循环、多模态搜索、跨模态蒸馏重描述与潜在流生成统一在单一模型权重中，从根本上消除了外部规划器与生成器之间的通信瓶颈与累积级联误差。
VAE 与 ViT 协同的多模态重描述机制：巧妙揭示了统一生成模型中“生成先验反哺视觉理解”的内在机理，利用生成专用的低阶感知潜变量补充语义编码器的细节盲区，使复杂参考图的精细特征得以忠实转译为生成控制信号。
可迁移的推理时开卷生成范式：将文本生成的开卷检索思想（RAG/Agent Search）优雅推广到图像生成领域，通过“缺口反思-搜索-重描述”的标准接口，为多模态世界模型处理无限长尾现实概念提供了通用可复用的系统解法。

局限与展望¶

单轮线性工作流的规划局限：目前的智能体管线本质上是一次通过式（One-pass）的串行流，尚不支持跨多轮检索的反思、动态回溯与自适应重新规划，面对更加复杂的开卷推理任务（如长程多图一致性漫游）仍显不足。
开源底座的长上下文瓶颈：当前开源统一基座 Bagel 在单上下文内支持的图片输入数量与长序列记忆能力受限，制约了并行分析更多参考视角的深度研究能力。
未来改进方向：在更强统一基座上引入强化学习（RL）探索交互式多轮搜索与反思策略，将静态一站式生成拓宽为具备自我修正能力的闭环视觉创作智能体。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出端到端统一多模态图像生成智能体架构，创新性地构建了双路约束重描述机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖自建 FactIP 及 WiSE、KiTTEN、T2I-FactBench 等多维度榜单，消融实验深入且见解深刻。
写作质量: ⭐⭐⭐⭐⭐ 问题表述清晰，动机阐述层层递进，形式化建模严谨。
价值: ⭐⭐⭐⭐⭐ 成功打通了 Agent 工具检索与底层流匹配图像生成的壁垒，对开源统一多模态模型落地具有重要参考价值。