Dynamic Image Prompt Adapter for Scalable Zero-shot Personalized Text-to-Image Generation¶

会议: ECCV 2026
论文: ECCV 2026
领域: 图像生成
关键词: 个性化图像生成、扩散Transformer、解耦学习、混合专家、多主体定制

一句话总结¶

针对基于适配器的零样本个性化文生图面临的概念保持与提示词遵循失衡、细粒度细节丢失及多主体扩展困难三大瓶颈，本文提出 DynaIP，利用 MM-DiT 双分支内在的解耦学习特性构建动态解耦推理策略，并结合层级 MoE 融合 CLIP 多粒度视觉特征，仅需单主体训练即可在单主体与多主体生成中同时实现 SOTA 的概念保真度与文本对齐度。

研究背景与动机¶

个性化文生图（Personalized Text-to-Image, PT2I）旨在基于给定的单张或多张参考图像生成定制化图像，并在改变场景与动作的同时严格保持目标主体的独有特征。早期的 DreamBooth 和 Textual Inversion 依赖测试时微调，计算开销巨大且难以即插即用；以 IP-Adapter 为代表的免微调适配器方法凭借高灵活性与低推理成本迅速成为主流。然而，当将基于交叉注意力的特征注入机制直接迁移到最新的多模态扩散 Transformer（MM-DiT，如 FLUX.1）架构时，现有方案暴露出三个本质缺陷：一是注入的参考图像特征中，主体特定信息（ID、材质、几何形状）与主体无关信息（姿态、视角、环境光照）深度纠缠，导致概念保持（Concept Preservation, CP）与提示词遵循（Prompt Following, PF）之间存在难以调和的硬权衡，常引发僵硬的“复制粘贴”伪影；二是通用特征提取往往直接采用 CLIP 顶层或倒数第二层特征，丢失了大量低阶线条与中阶纹理细节，无法还原精细的局部特征；三是单主体向多主体定制扩展受阻，直接依靠掩码特征注入会因为无关属性的干扰而导致不同主体间光照、视角剧烈冲突，使合成画面极度不协调。

产生上述问题的核心矛盾在于：现存适配器在机制上没有区分主体恒定属性与场景依从属性的注入路径，且单一依靠高层语义特征表征参考图。先前的属性解耦工作（如 DisEnvisioner）尝试通过预定义 token 分离概念，但其仍受制于 CLIP 深层表征的细节丢失，且缺乏对现代 MM-DiT 双流注意力机制的适配。与此同时，现有许多多主体方法不得不转向昂贵的大规模多主体配对数据集重训底座模型，大幅削弱了插件化方案的泛用性。

本文的切入视角建立在对 MM-DiT 结构的一个深刻观察之上：在统一的多模态注意力交互中，噪声图像分支天然倾向于捕获参考主体外观的特定信息，而文本分支则在联合交互中自发编码姿态、视角与光照等概念无关的全局语义信息。核心 idea：利用 MM-DiT 的内在解耦特性，在训练期通过双分支交叉注意力学习解耦表征，在推理期动态舍弃文本分支的无关信息；同时设计层级混合专家模块（HMoE-FFM）自适应融合 CLIP 浅、中、深三层特征，实现细粒度概念保真与多主体无缝扩展。

方法详解¶

整体框架¶

DynaIP 构建在 SOTA 的 MM-DiT 架构（以 FLUX.1-Dev 为底座）之上。系统输入包括待定制的文本提示词、带噪潜变量，以及一张或多张参考图像。在特征提取阶段，参考图像不再仅被提取单一深层特征，而是经过 CLIP 的多层抽取后输入层级混合专家特征融合模块（HMoE-FFM），得到兼具低阶纹理与高阶语义的紧凑参考表征。在扩散去噪网络中，MM-DiT 的每个 Block 均被扩增一组轻量级解耦交叉注意力层；训练阶段让参考图特征同时参与文本与噪声图像分支的交叉注意力，使双分支自发完成属性解耦，而在推理阶段执行动态解耦策略（DDS），仅将参考特征注入噪声图像分支，从而完全阻断参考图姿态与光照对新文本提示的干扰。对于多主体生成，系统通过区域掩码将多个参考主体的解耦特征分别注入各自区域，即可实现自然协调的多主体合成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入参考图像"] --> B["层级混合专家特征融合<br/>CLIP 浅/中/深层分流"]
    B --> C["门控路由加权聚合<br/>动态标定融合系数"]
    C --> D["双分支解耦训练<br/>文本分支捕获姿态光照/图像分支捕获外观ID"]
    D --> E["动态解耦推理策略<br/>测试期阻断文本分支无关干扰"]
    E -->|多主体区域掩码| F["掩码引导区域注入<br/>无缝合成多主体协调图像"]

关键设计¶

1. 动态解耦策略：彻底剥离概念无关信息并消除 CP·PF 互斥 传统适配器直接将参考图像特征全量注入噪声图像流，由于视觉编码器抽取的特征中混合了原图的特定姿态、拍摄角度及光照环境，生成的图像极易变成原图主体的生硬拼贴，严重压制了文本提示词对新姿态和新背景的控制力。DynaIP 敏锐地利用了 MM-DiT 文本与图像双流交互的特点：在训练阶段，参考特征 $C$ 同时与文本 token $T$ 和图像 token $X$ 计算联合交叉注意力： $$DCA'(T, X, C) = [T^{MMA}, X^{MMA}] + \lambda \cdot \text{CA}([T, X], C)$$ 注意力热图可视化与 MLLM 定量评测均证实，在联合多模态注意力下，文本分支主动承担了学习姿态、光照和透视等概念无关知识的职责，使图像分支得以纯化并高度聚焦于主体的 ID、几何轮廓与纹理。而在推理阶段，DynaIP 实施动态解耦（Dynamic Decoupling Strategy, DDS）：完全切除文本分支上的图像特征注入，仅让噪声图像分支单独接受参考特征。这一“训练期解耦引导、推理期动态隔离”的设计，不仅使生成图像在保持高保真概念的同时能够灵敏遵循复杂文本动作指令，更从根本上解决了扩展至多主体时因环境光照冲突而导致的融合失真。

2. 层级混合专家特征融合模块：打通多粒度视觉细节与可调控粒度 单一依赖预训练 CLIP 最后一层或倒数第二层特征是传统方案丢失精细视觉细节的根源。DynaIP 深入探索了 CLIP 内部各层表征的重建能力，发现第 10 层（浅层）对线条、高频文字具有极佳重构力，第 17 层（中层）擅长恢复面部几何与细致纹理，而第 24 层（深层）则富含宏观语义信息。为此，DynaIP 设计了层级混合专家特征融合模块（HMoE-FFM）。分别部署三个基于 Linear+GELU+LayerNorm 构成的专用专家网络 $Expert_l$（$l \in \{Low, Mid, High\}$）处理各层全量 token $\Phi^{Full}_l$： $$e_l = Expert_l(\Phi^{Full}_l)$$ 同时利用一个双层 MLP（中间激活为 Tanh）作为路由模块，输入各层对应的分类标记 $\Phi^{CLS}_l$，动态预测针对当前参考图特性的归一化融合权重 $w_l$： $$\Phi_{Fused} = \sum_{l \in \{Low, Mid, High\}} w_l \cdot e_l$$ 该模块既保证了依据输入图像自适应补偿细粒度特征与语义一致性，又赋予了用户在推理阶段手动调节三层权重系数的自由度，实现了从“粗粒度语义保留”到“极精细纹理复刻”的平滑粒度调节。

3. 掩码引导区域注入：免多主体数据重训的零样本平滑扩展 现有多主体方案通常依赖高昂的多概念配对数据重新微调扩散基座。得益于动态解耦策略彻底去除了参考主体的孤立光照和强约束姿态，DynaIP 能够以零样本形式直接线性扩展至任意 $N$ 个主体的合成。在推理计算中，对于每个参考主体 $C_i$ 及其在目标画布上分配的二值掩码 $M_i$（由自动检测分割算法如 Grounding DINO + SAM 产生或由用户预设），将多路交叉注意力增量以掩码加权的方式叠加到主干特征上： $$DCA''(T, X, C) = X^{MMA} + \sum_{i=1}^N \lambda_i \cdot M_i \cdot \text{CA}(X, C_i)$$ 各主体在自身区域内注入纯粹的外观表征，而整图的全局光照、统一透视和多主体物理交互则由 MM-DiT 自身的全局文本注意力和多模态注意力自洽协调，彻底杜绝了多主体之间的特征混淆与接缝割裂。

损失函数 / 训练策略¶

DynaIP 严格保持底座 FLUX.1-Dev 的 57 个 MM-DiT block 主干参数冻结，仅训练新增的图像交叉注意力层及 HMoE-FFM 模块，可训练参数量约为 1.4B。训练目标采用标准流匹配损失（Flow-Matching Loss）。整体训练划分为两个阶段：第一阶段进行 20,000 次迭代的严格同对（intra-pair）训练，使适配器快速建立鲁棒的主体特定对齐能力；第二阶段进行 80,000 次迭代的跨对（cross-pair）训练，进一步遏制主体直接复制粘贴伪影。使用 AdamW 优化器（初始学习率 $2\times 10^{-5}$，余弦衰减，权重衰减 0.0001），在 8 块 Ascend 910B NPU 上以总批大小 16、分辨率 $1024\times 1024$ 联合训练。为支持无分类器引导（CFG），训练时分别以 5% 概率随机丢弃文本、丢弃图像、或同时丢弃两者；且 HMoE-FFM 中每个专家的特征以 5% 概率独立 dropout。

实验关键数据¶

主实验¶

评测严格遵循 DreamBench++ 协议，使用 InternVL3-78B 与 Qwen3-VL-32B 两个顶尖开源 MLLM 评估概念保持度（CP）与提示词遵循度（PF），并以二者乘积（Nash Utility, $CP \cdot PF$）作为综合核心指标。单主体（SS-PT2I）在 DreamBench++（1,350 个样本）上评估，多主体（MS-PT2I）在由双主体与三主体构成的 DynaIP-Bench（888 个样本）上评估。所有指标取两大 MLLM 评分的均值。

数据集 / 场景	方法	概念保持 (CP)	提示词遵循 (PF)	综合效用 (CP·PF)
单主体 (DreamBench++)	DreamBooth	0.458	0.721	0.330
单主体 (DreamBench++)	DreamBooth LoRA	0.594	0.840	0.499
单主体 (DreamBench++)	Textual Inversion	0.348	0.633	0.220
单主体 (DreamBench++)	IP-Adapter-Plus	0.738	0.668	0.493
单主体 (DreamBench++)	DisEnvisioner	0.559	0.664	0.371
单主体 (DreamBench++)	FLUX.1 IP-Adapter	0.681	0.600	0.408
单主体 (DreamBench++)	Diptych Prompting	0.616	0.839	0.517
单主体 (DreamBench++)	OminiControl	0.596	0.895	0.534
单主体 (DreamBench++)	FLUX.1 Kontext Dev	0.718	0.893	0.641
单主体 (DreamBench++)	DynaIP (本文)	0.696	0.934	0.650
多主体 (DynaIP-Bench)	Qwen-Image-Edit	0.612	0.984	0.602
多主体 (DynaIP-Bench)	BAGEL	0.566	0.885	0.500
多主体 (DynaIP-Bench)	OmniGen2	0.552	0.952	0.526
多主体 (DynaIP-Bench)	MS-Diffusion	0.584	0.850	0.496
多主体 (DynaIP-Bench)	MIP-Adapter	0.388	0.713	0.276
多主体 (DynaIP-Bench)	UNO	0.509	0.857	0.436
多主体 (DynaIP-Bench)	XVerse	0.548	0.890	0.488
多主体 (DynaIP-Bench)	DynaIP (本文)	0.617	0.997	0.615

消融实验¶

消融实验系统性验证了动态解耦策略（DDS）、层级特征融合结构以及不同层级特征对最终表现的直接影响。

配置编号	实验设置	单主体 CP	单主体 PF	单主体 CP·PF	多主体 CP	多主体 PF	多主体 CP·PF	说明
(1)	完整模型 (Full Model)	0.696	0.934	0.650	0.617	0.997	0.615	完整 DDS + HMoE-FFM
(2)	去除动态解耦 (w/o DDS)	0.785	0.799	0.627	0.499	0.545	0.272	推理期仍保留双分支注入，多主体崩溃
(3)	逐元素相加融合 (Add Fusion)	0.691	0.916	0.633	0.609	0.995	0.606	无路由自适应权重，细粒度下降
(4)	通道拼接融合 (Concat Fusion)	0.692	0.909	0.629	0.607	0.992	0.602	特征维度拼接，对风格转换与对齐欠佳
(5)	仅浅层特征 (Only Shallow)	0.627	0.924	0.579	0.464	0.991	0.460	仅使用 CLIP 第 10 层，缺少高阶语义
(6)	仅中层特征 (Only Mid)	0.670	0.928	0.622	0.603	0.993	0.599	仅使用 CLIP 第 17 层，兼顾部分细节与语义
(7)	仅深层特征 (Only Deep)	0.480	0.950	0.456	0.474	0.995	0.471	仅使用 CLIP 第 24 层，细粒度细节严重丢失
(8)	Token拼接基线 (Token-Concat)	0.709	0.886	0.628	-	-	-	等参数量 LoRA 联合注意力基线

关键发现¶

DDS 是多主体可扩展性成立的关键：移除 DDS 后，虽然单主体生成中由于姿态未解耦导致主体几乎照搬原图而使 CP 数值虚高（0.785），但 PF 暴跌至 0.799；在多主体场景下，缺乏解耦更是引发严重的光照与主体冲突，多主体 CP·PF 发生断崖式下跌（从 0.615 骤降至 0.272，跌幅达 55.8%）。
CLIP 中浅层特征是恢复细粒度细节的支柱：单独依靠深层特征时，单主体 CP 仅有 0.480；而融合浅层与中层后，CP 大幅攀升至 0.696。消融对比表明，静态相加或通道拼接均落后于自适应 MoE 路由，证明动态感知输入图像特性以分配层级权重的必要性。
纯单主体训练即可战胜多主体专用模型：DynaIP 凭借精准的外观与无关属性解耦，在未接触任何多主体训练样本的严苛设定下，多主体 CP（0.617）与 PF（0.997）全面压制专门在海量多图数据上微调的 Qwen-Image-Edit、MS-Diffusion 和 UNO。

亮点与洞察¶

发现 MM-DiT 双分支对视觉提示的主被动解耦特性：敏锐捕捉到 MM-DiT 的跨模态交互中，噪声图像分支与文本分支自然分工捕获外观属性与姿态环境信息的内在机理。这一发现以极简的推理阻断代替了显式的解耦损失约束，兼具优雅性与极高工程复用价值。
重新激活 CLIP 浅层特征的物理价值并实现细粒度显式调控：打破了学术界长久以来仅依赖 CLIP 顶层向量的惯性思维，通过 MoE 架构将 CLIP 多层特征重塑为兼顾文字、局部几何到全局语义的连续表征，并支持用户在推理期通过修改混合系数动态控制定制粒度。
与底座生态扩展的无缝兼容能力：作为纯粹的交叉注意力插件，DynaIP 保持了生成底座的完好无损，能直接与 ControlNet（边缘、深度控制）、LoRA（特定艺术画风）以及区域编辑组件组合使用，具备广阔的下游落地前景。

局限与展望¶

极端多主体姿态交互下的局部重叠问题：当生成的画面中包含超过 3 个主体且主体间存在剧烈的肢体交互或强遮挡时，简单的 2D 矩形或分割掩码注入可能在交界边缘产生轻微的纹理渗漏。
依赖通用分割与定位工具的精度：多主体自动化推理链路高度依赖前置 Grounding DINO 与 SAM 提供的初始掩码质量，若定位出现重叠或缺失，会连带影响定制主体的空间合理性。
未来改进方向：可进一步探索在自注意力层中引入主体感知的互斥注意力偏置（cross-subject mutual exclusion bias），实现无需显式外部掩码的无监督端到端多主体精准注入。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙发现并利用 MM-DiT 双分支固有解耦特性，配合层级 MoE 特征融合，思路新颖且洞察深刻。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 DreamBench++ 和自建的 DynaIP-Bench，采用两大顶尖开源 MLLM 全面评估，单主体与多主体消融极其详尽。
写作质量: ⭐⭐⭐⭐⭐ 论述逻辑严密，图表设计清晰明了，问题定义、机制剖析与实验验证环环相扣。
价值: ⭐⭐⭐⭐⭐ 解决了 FLUX 等前沿扩散 Transformer 上适配器泛化难、细节差的顽疾，开创了高效零样本多主体生成的新范式。