UniCustom: Unified Visual Conditioning for Multi-reference Image Generation¶

会议: NeurIPS 2026
arXiv: 2605.12088
OpenReview: https://openreview.net/forum?id=5sCkEfsOSE
代码: https://yiyanxu.github.io/UniCustom/
领域: 图像生成
关键词: 多参考图像生成, 统一视觉条件, VLM增强扩散模型, 槽位绑定正则化, 特征早期融合

一句话总结¶

提出 UniCustom 统一视觉条件架构，在 VLM 编码前通过零初始化轻量线性层融合 ViT 语义与 VAE 外观细节，结合两阶段训练与槽位绑定正则化，彻底弥合了语义定位与视觉绑定的结构性断裂，在 OmniContext 与 MICo-Bench 多个多参考生成基准上取得开源模型最优成绩。

研究背景与动机¶

多参考图像生成（Multi-reference Image Generation）要求模型在接收自然语言指令的同时，从多张输入参考图像中精准提取并保真重组指定的主体概念（如特定人物、宠物、服饰、物体或场景风格），合成符合复杂交互逻辑的目标图像。该任务的核心技术壁垒在于必须同时满足两项紧密关联却截然不同的能力：其一是语义定位（Semantic Grounding），即准确理解文本指令中诸如“图1中的女士”、“图2中的帽子”或“图3中的小狗”等实体指代；其二是视觉绑定（Visual Binding），即将定位到的实体与其真实的视觉身份、纹理、低级外观细节在整个去噪生成过程中紧密锚定并准确渲染。

现有基于视觉语言模型（VLM）增强的主流扩散架构（如 OmniGen2、Qwen-Image-Edit、LongCat-Image-Edit 等）普遍采用了“解耦视觉条件”（Decoupled Visual Conditioning）的双通路设计。在该范式中，参考图像的高层语义特征（由 ViT 提取）与文本指令一同送入 VLM 进行跨模态理解与指令对齐；而承载像素级细节的低层生成特征（由 VAE 编码器提取）则绕过 VLM，在后期的去噪阶段直接注入扩散模型（Diffusion Transformer, DiT）中。然而，这种解耦机制诱发了严峻的“定位-绑定鸿沟”（Grounding-Binding Gap）：VLM 的隐藏状态仅具备高层语义抽象，缺乏底层外观细节，而 DiT 在去噪过程中必须在无显式引导的情况下，隐式猜测后期注入的 VAE 细节应当与 VLM 隐状态中的哪个主体进行匹配。一旦面对多个主体共存、多张参考图外观相似或复杂场景交互时，这种隐式绑定极易失效，频繁引发属性泄漏（Attribute Leakage）、身份混淆、实体遗漏与关系错位。

为了从根本上消除这一结构性缺陷，本文认为必须让进入 VLM 的表征在编码伊始就同时兼具语义辨识度与精细外观。核心 idea：提出 UniCustom 统一视觉条件框架，在输入 VLM 前通过轻量线性层将 ViT 语义特征与 VAE 外观特征在通道维度早期融合，使冻结的 VLM 隐状态能端到端传导底层像素细节并充当显式定位与视觉绑定的统一纽带，同时借助槽位绑定正则化与两阶段渐进式训练消除多图自回归混淆。

方法详解¶

整体框架¶

UniCustom 构建于冻结的大规模视觉语言模型（Qwen2.5-VL）与扩散主干网络（DiT，初始化自 LongCat-Image-Edit）之上。整体流水线在接收多张参考图像与文本指令后，首先对输入参考图进行统一尺度调整与空间对齐，分别提取 ViT 序列特征与 VAE 潜空间特征；接着通过单层线性早期融合模块进行通道拼接与投影，并交织插入显式图像标识符（如“Picture 1:”、“Picture 2:”）；随后序列经三维多模态旋转位置编码（MRoPE）进入冻结的 VLM 进行多模态因果上下文建模；最后，带有完备外观细节与语义定位信息的 VLM 隐藏状态充当条件信号直接驱动 DiT 执行多步去噪生成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多参考图像与文本指令<br/>Picture 1, Picture 2... & Text"] --> B["早期特征融合与恒等初始化<br/>ViT语义与VAE外观拼接并投影"]
    B --> C["显式标识符多模态序列编码<br/>交织图片ID并注入MRoPE 3D位置编码"]
    C --> D["冻结VLM上下文建模<br/>生成兼具语义与外观的统一隐状态"]
    D --> E["槽位绑定正则化<br/>单层投影反算MSE锚定各槽位VAE细节"]
    E --> F["两阶段训练策略<br/>Stage 1 重建预训练 + Stage 2 SFT微调"]
    F --> G["DiT 扩散去噪输出<br/>合成保持主体身份与复杂交互的目标图像"]

关键设计¶

1. 早期特征融合与恒等初始化：打通底层外观向语言隐状态的渗透通路 为了弥补解耦设计导致的视觉细节缺失，UniCustom 在视觉进入语言模型前将语义表征与生成表征合二为一。给定参考图像，模型分别抽取长度对齐的 ViT 特征 \(\mathbf{F}^{\mathrm{vit}} \in \mathbb{R}^{L \times d_{\mathrm{vit}}}\) 与 VAE 潜空间特征 \(\mathbf{F}^{\mathrm{vae}} \in \mathbb{R}^{L \times d_{\mathrm{vae}}}\)。二者在通道维度进行拼接，并通过可学习的轻量线性投影层映射回 ViT 的原生维度 \(d_{\mathrm{vit}}\)：

\[\mathbf{F}^{\mathrm{uni}} = [\mathbf{F}^{\mathrm{vit}}; \mathbf{F}^{\mathrm{vae}}] \mathbf{W}_{\mathrm{fuse}} + \mathbf{b}_{\mathrm{fuse}}\]

其中投影权重 \(\mathbf{W}_{\mathrm{fuse}} \in \mathbb{R}^{(d_{\mathrm{vit}} + d_{\mathrm{vae}}) \times d_{\mathrm{vit}}}\)，偏置 \(\mathbf{b}_{\mathrm{fuse}} \in \mathbb{R}^{d_{\mathrm{vit}}}\)。若直接随机初始化该层，会破坏预训练 VLM 原本对 ViT 空间的先验理解。UniCustom 提出了恒等保持初始化（Identity-Preserving Initialization）机制：将对应 ViT 维度的权重初始化为单位矩阵 \(\mathbf{I}_{d_{\mathrm{vit}}}\)，而将对应 VAE 维度的权重和偏置严格设为全零矩阵 \(\mathbf{0}\)：

\[\mathbf{W}_{\mathrm{fuse}} = \begin{bmatrix} \mathbf{I}_{d_{\mathrm{vit}}} \\ \mathbf{0}_{d_{\mathrm{vae}} \times d_{\mathrm{vit}}} \end{bmatrix}, \quad \mathbf{b}_{\mathrm{fuse}} = \mathbf{0}_{d_{\mathrm{vit}}}\]

在该初始化下，训练起始步的 \(\mathbf{F}^{\mathrm{uni}}\) 严格退化为原生 ViT 特征，确保与冻结 VLM 的平滑兼容，并在反向传播中使网络平缓且稳健地吸收 VAE 传导的纹理与高频细节。

2. 显式标识符与多模态空间编码：建立跨模态多主体的显式定位锚点 在多图场景中，文本提示常常通过代词或索引指代具体图片。为了使语言模型准确建立指代映射，UniCustom 在将统一视觉特征输入 VLM 前，在序列中显式交织插入文本级图像标识符（如 "Picture 1:" <tokens> "Picture 2:" <tokens>）。这些标识符充当语言层面的锚桩，使得“图1中的人物穿上图2中的夹克”这类高阶指令在自注意力机制中直接关联到特定图像块。针对空间几何建模，UniCustom 继承了 Qwen2.5-VL 的三维多模态旋转位置编码（Multimodal Rotary Position Embedding, MRoPE）。MRoPE 将位置信息解耦为时间轴、高轴和宽轴：对于文本 token，三个坐标分量赋予相同的序列索引（退化为一维标准 RoPE）；对于每张参考图像内部的 token，时间分量在单图内恒定以表征独立实体槽位，高和宽分量则根据 patch 的二维空间拓扑精细赋值，从而在多图展开时长序列中保持清晰的跨图与图内几何边界。

3. 槽位绑定正则化：阻断自回归因果混淆的特征解耦约束 现代 VLM 大多采用因果解码器（Decoder-only）架构，所有 token 在因果注意力掩码下计算注意力。当多张参考图按序列排列输入时，排在后方的图像 token 不可避免地会聚合前方各图像的信息。虽然这种上下文交互有助于综合推理，但也会使得底层 VAE 细节在序列中发生严重的内容漂移与交叉缠绕，破坏各参考图在各自槽位中的纯粹性。为此，UniCustom 引入了槽位绑定正则化（Slot-wise Binding Regularization）。定义第 \(i\) 张参考图在 VLM 隐状态中对应的 token 集合为该图的“图像槽位” \(\mathbf{H}_i\)，在预训练阶段附加一个轻量单层反投影器 \(P(\cdot)\)，将 \(\mathbf{H}_i\) 映射回 VAE 空间并由原图真实的 VAE 特征 \(\mathbf{F}_i^{\mathrm{vae}}\) 提供均方误差监督：

\[\mathcal{L}_{\mathrm{bind}} = \frac{1}{N} \sum_{i=1}^N \left\| P(\mathbf{H}_i) - \mathbf{F}_i^{\mathrm{vae}} \right\|_2^2\]

该辅助损失强迫 VLM 在经过多层因果变换后，依然保证各个图像槽位内部完整、无失真地保留自身图像的低层像素级重构信息。该投影器仅在预训练阶段参与前向计算与梯度更新，推理及第二阶段完全丢弃，在零推理开销的前提下极大地提升了隐状态在多图输入下的可解析度与解耦性。

4. 两阶段渐进式训练策略：从保真重构表征平滑过渡到泛化合成 为了使融合表征既能承载极细致的视觉外观，又能适应复杂的图文编辑与生成任务，UniCustom 制定了严谨的两阶段优化方案，全程冻结 VLM 主干参数以保护其基座多模态常识： - 第一阶段：表征对齐与细节重建预训练（Stage 1 Pretraining）。联合优化轻量融合层与 DiT（学习率 \(5 \times 10^{-5}\)，训练 18K steps），任务涵盖多图精细重构、多图标注与目标定位（基于 COCO）、多图瓦片拼接（Tiling，在 \(2 \times 2\) 至 \(3 \times 3\) 网格上按指令顺序排列）以及混合少量多图 VQA 理解任务。重构类任务逼迫网络在 VLM 隐状态中忠实传递像素细节，使得单图重建 PSNR 接近 30 dB；而多图网格与定位任务则迫使模型依靠指令中的图片编号正确索引图像，建立起鲁棒的语义定位与视觉绑定关联。 - 第二阶段：多参考指令生成微调（Stage 2 SFT）。冻结第一阶段学得的融合投影层，仅微调 DiT 参数（学习率 \(1 \times 10^{-5}\)，训练 18K steps）。微调数据集按科学比例配比：50% 多参考图像生成、25% 单参考图像生成、10% 图像编辑、5% 纯文生图，并保留 10% 第一阶段的重构任务以防遗忘。这一阶段使 DiT 充分学会如何解码 VLM 传输的联合隐状态，在保持多主体身份一致性的同时生成高度自然的新构图。

实验关键数据¶

主实验¶

评估在业界公认的两个最具挑战性的多参考基准 OmniContext 与 MICo-Bench 上展开。在 512×512 分辨率下，UniCustom 在开源模型阵营中全面刷新 SOTA，尤其在复杂场景交互与多实体解耦组合任务中展现出巨大优势。

表 1：OmniContext 综合性能评测结果（基线覆盖前沿闭源系统与核心开源扩散模型）

模型类型	模型名称	单图·人物	单图·物体	多图·人物	多图·物体	多图·人+物	场景·人物	场景·物体	场景·人+物	平均得分 (Avg)
闭源模型	GPT-Image-2	9.24	9.65	9.13	9.50	8.94	9.27	9.25	8.95	9.24
闭源模型	Nano Banana 2	8.98	9.44	8.85	9.26	8.81	8.80	8.59	8.67	8.92
开源基线	FLUX-Kontext [dev]	7.09	7.35	2.49	5.46	4.46	2.86	3.89	3.40	4.62
开源基线	UNO	7.51	7.99	4.56	7.41	6.53	4.00	5.76	5.77	6.19
开源基线	USO	7.71	7.68	2.91	7.27	5.61	3.88	6.49	6.04	5.95
开源基线	BAGEL	7.12	7.70	5.86	7.07	6.79	4.98	6.05	6.03	6.45
开源基线	OmniGen2	8.04	7.87	7.22	7.76	7.51	7.52	7.30	7.57	7.60
开源基线	Qwen-Image-Edit-2509	8.11	9.01	7.85	8.53	7.60	5.88	7.38	7.12	7.69
开源基线	LongCat-Image-Edit	8.24	8.63	6.69	8.07	6.99	5.80	6.73	6.98	7.26
本文方法	UniCustom (Ours)	8.06	7.51	7.78	7.99	7.86	7.86	7.72	7.92	7.84

表 2：MICo-Bench 多图组合基准定量评估（涵盖高难度人机交互与解构重组场景）

模型类型	模型名称	物体 (Object)	人物 (Person)	人物-物体交互 (HOI)	解构重组 (De&Re)	综合得分 (Overall)
闭源模型	GPT-Image-2	66.93	60.56	59.02	62.69	61.78
闭源模型	Nano Banana 2	68.46	65.88	64.88	70.28	67.42
开源基线	FLUX-Kontext [dev]	21.40	14.33	12.67	7.24	12.51
开源基线	UNO	42.20	15.15	27.99	41.93	32.43
开源基线	USO	38.18	15.57	20.25	35.91	27.37
开源基线	BAGEL	39.23	16.77	20.99	46.75	31.62
开源基线	Qwen-Image-Edit-2509	37.33	28.01	22.06	10.53	21.67
开源基线	LongCat-Image-Edit	40.55	19.40	24.47	14.86	22.78
本文方法	UniCustom (Ours)	54.30	18.12	40.51	50.29	41.71

消融实验¶

消融实验聚焦于 Stage 1 预训练阶段的核心架构决策：特征融合策略（早期融合 vs 后期融合 vs 仅 ViT）以及槽位绑定正则化（\(\mathcal{L}_{\mathrm{bind}}\)）的必要性。

表 3：特征融合方式与槽位绑定正则化的消融对比分析

实验配置方案	单图重建 PSNR (dB)	多图重建准确率 (%)	多图定位准确率 (%)	多图瓦片拼接准确率 (%)	说明与关键机理解析
UniCustom 完整架构 (早期融合 + \(\mathcal{L}_{\mathrm{bind}}\))	~29.8	98.4	96.7	95.2	细节高保真传递，多图索引与几何排布达到近乎完美的解耦识别
w/o 槽位绑定正则化 (无 \(\mathcal{L}_{\mathrm{bind}}\))	~29.5 (前期上升快)	81.2	74.5	43.1	单图虽能传导细节，但在多图因果序列下信息互相缠绕，瓦片重组完全失效
后期融合变体 (Late Fusion + \(\mathcal{L}_{\mathrm{bind}}\))	~24.1	76.8	69.3	48.6	仅在 VLM 输出后注入 VAE 细节，因果注意力已被 ViT 语义主导，无法重构全局上下文
纯 ViT 语义基线 (ViT-only)	~20.2	75.1	67.8	46.2	缺乏像素级低层外观特征，重建严重模糊失真，难以支持复杂多图身份保真

关键发现¶

早期融合是细节穿透的根本前提：仅依赖 ViT 特征时，单图重建 PSNR 仅为 20.2 dB，重构细节模糊斑驳；后期注入 VAE（Late Fusion）最终 PSNR 仅收敛于 24.1 dB，因为 VLM 的因果注意力已经在没有外观细节的情况下完成了跨模态对齐。只有早期融合能使 VLM 隐状态成为高保真传导介质，实现接近 30 dB 的高质量像素级重建。
因果自注意力必须配合槽位正则化解耦：在没有 \(\mathcal{L}_{\mathrm{bind}}\) 时，模型早期虽然重建损失下降迅速，但多图瓦片拼接准确率停滞在 43% 左右；加入 \(\mathcal{L}_{\mathrm{bind}}\) 后，前 2K 步模型优先学习将外观细节约束在独立槽位内，随后多图拼接与定位精度产生跃升并突破 95%，彻底解决了多图注意力泄漏难题。
在复合交互任务中优势显著：在 MICo-Bench 的人机交互（HOI）与解构重组（De&Re）子项上，UniCustom 分别达到 40.51 与 50.29，相比基底模型 LongCat-Image-Edit（24.47 / 14.86）和 Qwen-Image-Edit（22.06 / 10.53）实现了成倍的性能飞跃。

亮点与洞察¶

极简而高效的轻量融合架构：仅用一个简单的单层全连接矩阵与偏置向量，配合精巧的恒等映射初始化，便无缝连接了表征语义理解的 ViT 与表征像素生成的 VAE 潜空间，既保护了预训练多模态大模型的语言理解能力，又赋予了其传递像素级细节的全新通道。
破解因果自注意力的信息混淆痛点：敏锐地指出 Decoder-only 架构在序列化拼接多张图像时产生的跨图信息混淆现象，创造性地通过槽位绑定投影正则化，在隐空间内强加局部解耦约束，以极低训练代价换取了高质量的多参考解耦表征。
范式级迁移价值：该“早期融合 + 恒等初始化 + 槽位解耦”范式具备很强的可迁移性，可直接推广至视频主体定制、复杂指令图像编辑、具身智能视觉目标追踪等多参考高精度控制领域。

局限与展望¶

高精细局部纹理的生成上限：目前模型主要在不高于 512×512 分辨率下进行训练与评估，对于微小英文字符、商标 Logo、极端微小的人脸五官特征等仍存在细节损失，扩展到高分辨率原生训练是未来的重要迭代方向。
复杂推理任务的泛化瓶颈：为了专注于多参考图像生成，训练阶段仅混入了小比例的常规 VQA 与图像编辑数据，导致模型在面对复杂的逻辑问答、数理推理或纯文本生成时无法与专用的大规模多模态基础模型相抗衡。
自适应融合机制探索：目前融合机制为全局统一的静态线性映射，未来可探索自适应门控或跨尺度分层注意力机制，以在极度抽象的概念风格参考与纯像素级纹理参考之间实现动态权重分配。

评分¶

新颖性: ⭐⭐⭐⭐☆ 针对多图生成的定位-绑定鸿沟，提出前置统一视觉条件与槽位正则化，思路清晰针对性强。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 OmniContext 与 MICo-Bench 两大权威多图基准，包含详尽的单图/多图重建与定位消融，证据扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链路严密，问题陈述切中核心痛点，图表与数学表述规范连贯。
价值: ⭐⭐⭐⭐☆ 为 VLM 增强的扩散生成模型提供了极简且威力显著的新范式，具备重要的学术与工业参考价值。