Query-Kontext: An Unified Multimodal Model for Image Generation and Editing¶

会议: ECCV2026
论文: ECCV 原文
作者: Yuxin Song, Wenkai Dong, Shizun Wang, Qi Zhang, Song Xue, Tao Yuan, Hu Yang, Haocheng Feng, Hang Zhou, Xinyan Xiao, Jingdong Wang
机构: Baidu Inc; National University of Singapore
领域: 图像生成
关键词: 多模态条件、查询 token、图像编辑、主体保持、移位 RoPE

一句话总结¶

Query-Kontext 用可训练的多模态查询 token 把 VLM 的语义与粗粒度视觉规划传给扩散模型，再以低层图像条件补足细节，实现统一生成与编辑，在使用提示词改写的 GenEval 上获得 0.88，在 GEdit-Bench 英文和中文全量集上分别获得 7.66 和 7.65。

研究背景与动机¶

统一多模态模型需要同时决定“应该画什么”和“怎样画得真实”。前者包含理解编辑指令、定位对象、组合多个参考主体，后者依赖扩散模型的纹理与成像能力。简单拼接两类预训练模型时，冻结的 VLM 常被用作静态语义特征提取器，输出未必包含目标图像需要的视觉组织信息；把理解与生成都塞进联合训练的模型，则可能让两类能力争夺容量。

Query-Kontext 关注的是组件如何协作，而不是重新设计一个从零训练的统一骨干。它先借助便宜的扩散头，让 VLM 学会输出面向生成的多模态条件，再把这些条件接入更强的扩散模型。这样，学习指令、空间关系和主体身份不必从一开始就依赖大模型完成高质量渲染；但粗粒度条件仍不能保存所有原图细节，因此最后还要增加低层图像通路。

核心 idea：先训练能表达目标内容的文本与查询双通路，再升级渲染器，最后用带任务角色的图像潜变量补细节，把语义决策、渲染能力与像素保真分阶段对齐。

方法详解¶

整体框架¶

输入是文字，以及编辑源图或主体参考图；输出始终是图像，覆盖文本到图像、指令编辑、定制生成和多主体组合。Qwen2.5-VL-7B 读取多模态输入和可学习查询，输出文本 token 与固定长度的 kontext token，后者表达目标内容及如何使用参考图，而不是可读的思维链。

文本与查询经两层 MLP 连接器进入扩散模型。最终模型还把 VAE 编码的源图或参考图潜变量与带噪目标潜变量放入同一 MMDiT 上下文；低层潜变量保留结构纹理，移位 RoPE 区分不同图片及其源图/参考图角色。下面按训练过程展示这套架构如何逐步形成，三个阶段并不是推理时依次调用三个生成器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["文字与源图或参考图"] --> B["文本与查询双通路<br/>轻量扩散头激活生成条件"]
    B --> C["大扩散模型再对齐<br/>冻结 VLM，训练渲染器"]
    C --> D["低层条件与移位 RoPE<br/>源图与参考图区分角色"]
    D --> E["最终 MMDiT<br/>条件与带噪潜变量联合处理"]
    E --> F["生成或编辑后的图像"]

关键设计¶

1. 文本与查询双通路：既保留指令，也学习目标画面的条件表示

只传文本表示会遗漏输入图片如何参与生成；只用查询压缩全部信息，又会把完整指令挤进同一个瓶颈。本文同时保留文本 token 和查询输出：文本通路提供显式语义上下文，128 个 kontext token 则汇聚输入文字、图像与任务相关的粗粒度视觉信息。两者通过同一个轻量连接器与扩散条件空间对齐，避免把查询错误理解为生成图像的离散像素 token。

第一阶段把 Qwen2.5-VL-7B 接到约 870M 参数的轻量 MMDiT 扩散头上，训练 VLM 的 LoRA、连接器、查询和整个扩散头。文本到图像训练迫使查询承载文字要求，图像重建提供视觉内容监督，图像变换则教它根据输入图与指令改变内容。这里的“生成推理”通过图像任务监督形成，正文没有提供独立的推理标签、显式思维链损失或推理正确率评测。

2. 大扩散模型再对齐：换渲染器，而不是让语义端继续承担所有变化

第二阶段丢弃轻量扩散头，换成内部预训练的大型 MMDiT；论文用约 10 倍参数规模描述这一升级。第一阶段的 VLM LoRA 合并进骨干后，整个 VLM 冻结，但可学习查询、连接器和大型扩散模型继续优化。因此“冻结 VLM”不等于冻结所有送入 VLM 的可学习条件，也不等于只训练一个 MLP。

这一步只使用文本到图像与图像重建任务，先解决新条件接口与强渲染器的对齐问题。作者发现，小扩散头可以较容易地在冻结情况下被桥接，大型冻结扩散模型却难以仅靠轻量连接器适配；因此第二阶段采用扩散模型全参数微调。图 6 展示第一阶段已形成语义布局但纹理模糊，第二阶段保留布局并提升细节，这支持分工解释，但并非严格证明语义与纹理完全独立。

3. 低层条件与移位 RoPE：让“沿用原图”和“借用身份”成为不同条件

第三阶段补入 VAE 编码的图像潜变量，使扩散模型直接访问细粒度结构与纹理，而不必要求固定长度查询记住每个局部细节。文本、查询、图像条件和当前带噪目标潜变量共同送入 MMDiT，通过上下文内注意力交互。图 5 的加眼镜、去除多余翅膀案例说明低层通路对精细编辑有帮助，但这里提供的是定性对照，不能据此编造定量收益。

多张图像若使用相同位置坐标，模型可能混淆“需要保持原布局的源图”和“只需保持主体身份的参考图”。作者把编辑源图放到负向坐标区域，把第 \(n\) 张参考图移到正向偏移区域。原文式 (1)、(2) 的坐标映射为：

\[ (i_{\mathrm{ref}}^{n},j_{\mathrm{ref}}^{n})=(i+wn,j+hn),\qquad (i'_{\mathrm{src}},j'_{\mathrm{src}})=(-i,-j). \]

其中 \(i\in[0,w-1]\)、\(j\in[0,h-1]\) 是高为 \(h\)、宽为 \(w\) 的潜变量网格坐标，\(n\in[1,N]\)，实现中最多使用 \(N=2\) 张参考图。坐标用于移位二维 RoPE，不是把像素内容平移到图像外。源图模式按“源图、噪声”组织图像潜变量，强调像素级保真；参考图模式按“噪声、参考图”组织，允许改变布局和姿态以满足指令。

一个完整示例¶

以论文图 5 的“给女人加上眼镜”为例，图片是待编辑源图，而不是可任意重新构图的身份参考。VLM 同时读取人物图和指令，文本通路保留要添加眼镜的要求，128 个查询输出面向目标画面的多模态条件；连接器把两种表示接入扩散侧。

同一图片另经 VAE 得到低层潜变量，源图坐标采用上述负向映射，与带噪目标潜变量一起输入 MMDiT。模型由语义条件决定眼镜应出现的位置与对象，由低层条件帮助保持脸部和其他未编辑区域，再完成生成。若任务改为把同一主体放进新场景，则切换为参考图角色及正向偏移，以减少原布局对生成的束缚；这一步是机制说明，不是论文额外报告的定量实验。

损失函数 / 训练策略¶

正文给出了第一阶段的噪声预测描述和各阶段任务监督，但没有明确写出完整损失、噪声日程、采样器或推理步数。本笔记因此不把常见的噪声均方误差或流匹配公式擅自当作本文训练目标。

原文表 3 的默认训练分辨率为 \(512\times512\)：第一阶段 72K 步、全局 batch size 512、学习率 \(10^{-4}\)；第二阶段 420K 步、batch size 1024、学习率 \(10^{-4}\)；第三阶段 30K 步、batch size 512、学习率 \(2\times10^{-5}\)。第三阶段冻结 VLM，优化查询、连接器和扩散模型的 LoRA，覆盖生成、编辑、定制和多主体任务。

VLM 的 LoRA 配置为 rank 128、alpha 256，扩散模型为 rank 256、alpha 256。之后使用同一混合任务数据做 \(1024\times1024\) 分辨率升级，额外训练 3,000 步，全局 batch size 256，学习率 \(10^{-5}\)。这些是训练设置，不能当作单张图像推理成本。

数据方面，生成与重建使用 30M 开源英文图文对及 170M 内部中文图文对；第一阶段还使用 800K 自然图像变换三元组，通过同 caption 图像聚类、SigLIP 特征筛选及多模态模型生成指令获得。第三阶段覆盖开放编辑数据、视频抽取的非刚性变化、主体定制和多主体合成。表 1 列出 3M 开源编辑样本、2M 内部视频样本及 300K 内部编辑样本；定制数据的正文细分与表 1 汇总口径不完全透明，因此不强行把全部条目加成一个去重总量。

实验关键数据¶

主实验¶

下表均为原文报告的分数，越高越好，没有时间或像素单位。DINO 与 CLIP-I 衡量生成图与参考图的视觉相似性，CLIP-T 衡量图文一致性；相似度高不自动意味着指令完成得更好。

原文表号 / 基准	指标	Query-Kontext	对照方法	对照分数
表 4 / GenEval	Overall	0.88	BAGEL	0.88
表 4 / GenEval	Position	0.85	BAGEL	0.78
表 5 / GEdit-Bench-EN 全量集	G_O	7.66	Qwen-Image	7.56
表 5 / GEdit-Bench-CN 全量集	G_O	7.65	Qwen-Image	7.52
表 6 / DreamBooth 单主体	DINO / CLIP-I / CLIP-T	0.786 / 0.858 / 0.307	BAGEL	0.777 / 0.851 / 0.307
表 7 / DreamBench 多主体	DINO / CLIP-I / CLIP-T	0.532 / 0.731 / 0.336	UNO-FLUX	0.542 / 0.733 / 0.322

GenEval 的结果使用经 DeepSeek 改写的中文提示词，表 4 的相应方法带有提示词改写标记，不能直接视作不改写条件下的模型裸能力。GEdit-Bench 由 GPT-4 评估语义一致性 G_SC 与感知质量 G_PQ；按表 5 的文字定义，将其整体分数写成：

\[ G_O=\frac{1}{M}\sum_{m=1}^{M}\sqrt{G_{SC,m}G_{PQ,m}}. \]

这里 \(M\) 是评测样本数，即先对每个样本取几何平均再跨样本平均，而不是把表中两个均值直接开方相乘。英文集上本文 G_SC / G_PQ 为 8.36 / 7.37，Qwen-Image 为 8.00 / 7.86；中文集分别为 8.39 / 7.35 和 7.82 / 7.79。整体分数更高主要伴随更强的语义一致性，感知质量并没有领先。

消融实验¶

原文表 9 对比同一扩散骨干下的条件接口，报告第一阶段不同训练步数的 GenEval Overall。下表只摘录清晰的 20K、60K、100K 列，不使用缓存中格式异常的中间单元格。

条件接口	文本 / 查询 token 数	20K 步	60K 步	100K 步
Query-Kontext	512 / 128	0.661	0.859	0.882
仅文本 MLP	512 / 0	0.587	0.757	0.814
仅查询 Q-Former 风格	0 / 640	0.359	0.689	0.751

100K 步时双通路比仅文本高 0.068，比仅查询高 0.131，支持保留显式文本与生成查询的互补性；但仅文本条件的总 token 数不同，不能把全部差距归因于单一结构变量。表 9 使用延长到 100K 步的条件消融，而表 3 默认第一阶段为 72K 步，两者不是同一训练时长设置。

原文表 8 在 DreamBooth 上比较源图和参考图角色：源图模式 DINO / CLIP-I / CLIP-T 为 0.865 / 0.914 / 0.289，参考图模式为 0.786 / 0.858 / 0.307。源图更像原图，参考图更符合新文字要求；该实验比较两种角色配置，并不是“有无 RoPE”的纯消融。

关键发现¶

双通路桥接的优势同时出现在早期和后期训练，不只是最终分数微调；但图 4 没有提供可直接复核的加速倍数，不能由曲线臆造训练提速。
多主体 CLIP-T 0.336 优于 UNO-FLUX 的 0.322，但 DINO 与 CLIP-I 略低，统一模型的优势并非每项指标全面覆盖。
未见概念、风格转换及零样本扩图由图 7 展示，缺少对应的系统定量测试，应当视为能力案例而非泛化保证。

亮点与洞察¶

查询不必替代文本：把文本保留为稳定条件，再让少量查询承载多模态目标信息，减少了“一个压缩接口包办全部语义”的负担。表 9 比仅增加查询数量更有说服力。
训练顺序本身就是接口设计：先让 VLM 的输出适合生成，再处理强扩散骨干的适配，最后补入高频细节。迁移这一路线时应同时检查哪些参数冻结，不能只复制三阶段名称。
源图和参考图代表不同的保真约束。用位置角色编码表达这种差异，可以启发同时支持局部编辑与主体迁移的条件生成系统，但仍需对应任务数据来学习其含义。

局限与展望¶

作者明确承认感知质量仍有不足，并把专门面向画质或写实性的强化学习、监督微调留作后续工作。这不意味着本文没有第三阶段指令微调，而是缺少该种专门的画质优化。
大型内部扩散骨干与 170M 内部中文图文对限制独立复现。作者报告使用 192 张 NVIDIA H100、每张 80GB，并声称计算量约为从零训练的 10%；未给出足够一致的 GPU 小时与对照预算，不能据此推导绝对成本。
最多两张参考图的实现尚不能证明多主体规模可持续扩展；大冻结扩散模型的连接器对齐也未解决，作者把连接器扩展研究留作未来工作。
缓存包含完整正文和参考文献，但没有文中多次提到的附录；部分数据来源标签、汇总口径和训练配置说明有欠清楚。正文也缺少置信区间、完整推理超参及独立理解能力保持测试，复现与因果解释需要补证。

评分¶

新颖性: 4/5，查询桥接并非首次提出，但三阶段课程与角色化低层条件形成了具体方案。
实验充分度: 4/5，覆盖四类任务并比较条件接口，仍缺少完整低层通路定量消融与开放复现条件。
写作质量: 3/5，主流程清晰，数据口径、缺失附录和部分训练细节影响可核验性。
价值: 4/5，为复用 VLM 与强扩散模型提供了可操作的训练分工，但资源门槛仍高。