Squeezing Capacity from Multimodal Large Language Models for Subject-Driven Generation¶

会议: NeurIPS 2026
arXiv: 2605.26111
代码: https://zsh2000.github.io/squeeze-mllm-subject-gen/
领域: 多模态 VLM
关键词: 主体驱动生成, 多模态大模型, 扩散模型, 双层聚合, 阶段感知去噪

一句话总结¶

针对现有主体驱动图像生成中多模态推理不足与 VAE 编码器容易引发“复制-粘贴”伪影的困境，本文通过双层聚合模块显式解耦并汇聚 MLLM 各层表征，并结合两阶段训练与多阶段去噪策略协同 VAE 高频细节，实现了极具创意姿态变化且身份高保真的主体生成。

研究背景与动机¶

主体驱动图像生成（Subject-driven Generation）旨在根据给定的参考图像，合成在维持主体视觉身份（Identity）一致性的同时严格服从复杂文本指令的新图像。早期方法如 DreamBooth 和 Textual Inversion 依赖单主体微调，面临计算代价高昂且难以扩展的问题；随后的免微调方法如 IP-Adapter 和近期基于 VAE 特征注入的方案（如 UNO、DreamO）虽然提升了零样本生成效率，但普遍将文本提示与参考图像完全解耦独立编码。这种分离机制严重限制了系统的跨模态语义推理能力，不仅在遇到复杂多主体、多概念绑定的指令时容易发生概念混淆，而且过度依赖 VAE 像素级重建特征，导致生成的物体几乎僵硬复制参考图的视角与姿态，产生严重的“复制-粘贴”（Copy-paste）伪影。

与此同时，以 InternVL、Qwen-VL 为代表的多模态大语言模型（MLLMs）在图文联合理解和交错多模态推理上展现了极强的泛化潜能。近期将 MLLM 接入扩散 Transformer（DiT）的生成框架（如 Qwen-Image、DreamEngine、EasyRef）开始尝试利用 MLLM 解析图文指令，但这些尝试大多简单粗暴地直接截取 MLLM 最终层的输出特征，或仅使用固定的标量权重混合 ViT 特征与顶层特征。由于 MLLM 原本针对 VQA 等高层抽象语义任务优化，网络浅层保留丰富外观结构与局部纹理，而深层特征则高度抽象化；单一末层表征根本无法兼顾文本遵从度所需的高层语义和主体保真度所需的细粒度外观特征，从而造成主体身份严重漂移。

要充分释放 MLLM 在主体驱动生成中的潜力，核心矛盾在于如何跨越 MLLM 内部不同层级、不同模态表征之间的结构鸿沟，并化解 MLLM 语义特征与 VAE 高频重构特征之间的条件冲突。本文的核心 idea 是：构建双层聚合（Dual Layer Aggregator, DLA）模块，对 MLLM 各层文本与图像特征分别实施独立的层级注意力池化，并搭配两阶段渐进训练与按时间步分阶段的去噪路由机制，使扩散模型在早期由 MLLM 决定全局语义与多样姿态、中后期平滑融合 VAE 细粒度特征注入精细外观。

方法详解¶

整体框架¶

本文框架构建在基于 Rectified Flow 的扩散 Transformer（FLUX.1-dev）之上，联合接入冻结的 MLLM（InternVL3-8B）与 VAE 编码器作为条件源。整个系统分为三个协同步骤：首先，将交错排列的文本提示和参考图像输入 MLLM 进行联合跨模态推理；其次，通过双层聚合模块（DLA）分别对 MLLM 所有 Transformer 层的文本和视觉 token 进行层级加权汇总；最后，在 DiT 的反向去噪扩散过程中，采用多阶段时间步感知去噪（Multi-stage Timestep-aware Denoising）策略，根据去噪进程动态切换激活 MLLM 语义流与 VAE 细节流。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：文本提示 + 参考图像"] --> B["MLLM 联合图文编码<br/>保留所有层级特征"]
    A --> C["VAE 图像编码器<br/>提取隐空间高频外观"]
    B --> D["双层聚合模块 DLA<br/>文本与视觉解耦层级注意力池化"]
    D --> E["多阶段时间步感知去噪<br/>早期 MLLM / 中期协同 / 后期 VAE"]
    C --> E
    E --> F["输出：高保真且姿态自然的主体图像"]

关键设计¶

1. 双层聚合模块（DLA）：解耦模态的 MLLM 全层级特征自适应池化 现有的 MLLM 扩散方案大多仅提取最后一层特征，忽略了 MLLM 浅层丰富的低级几何外观信息。实验发现，如果直接使用单一的层级注意力池化（LAP）模块将文本与图像 token 混合压缩，模型在优化过程中极易在文本遵从度与主体保真度之间剧烈摇摆失衡，因为图文模态在 MLLM 中的层级激活模式截然不同——文本更偏好后半段语义层，而主体视觉高度敏感于前半段浅层。因此，DLA 设计了两个解耦的 LAP 分支：一个专门负责文本 token 的层轴多头注意力汇聚，另一个专门负责图像 token 的层轴汇聚。每个 LAP 将 MLLM 的网络层索引视作序列维度，通过注意力权重学习各层的贡献，并经线性映射输出统一的条件表征。由于 MLLM 的内部中间层已经完成了图文特征的双向交互，解耦聚合既规避了重复的跨模态融合干扰，又使得视觉分支能精准捕获跨越浅层到深层的主体外观线索。

2. 多阶段时间步感知去噪：粗粒度语义到细粒度外观的时序对齐路由 虽然 VAE 编码器富含细粒度像素纹理，但如果在去噪全流程中始终与 MLLM 特征并发注入，VAE 的局部强重构信号将迅速抢占生成先验，导致主体死板复制原图姿态，并弱化 MLLM 的语义理解。基于扩散过程由粗到细的固有特性（早期建立全局布局与拓扑、后期填补高频纹理），本文设计了参数化为 \(\tau_1\) 和 \(\tau_2\) 的三阶段去噪路由掩码：

\[M_{\text{MLLM}}(t), M_{\text{VAE}}(t) = \begin{cases} (1, 0), & t \ge \tau_1 \quad (\text{早期：MLLM 单独主导语义与全局构图}) \\ (1, 1), & \tau_2 \le t < \tau_1 \quad (\text{中期：MLLM 与 VAE 联合平滑过渡}) \\ (0, 1), & t < \tau_2 \quad (\text{晚期：VAE 单独主导细微纹理雕刻}) \end{cases}\]

在 Rectified Flow 连续轨迹中，初始阶段（\(t \ge \tau_1\)）仅凭 MLLM 条件推断出契合文本情境的动态姿态与合理物理空间交互，完全摆脱原图视角的束缚；随后通过平滑协同与末端细节补充，将参考主体的精细质感精确贴合至新生成的物体上。

3. 两阶段渐进式优化策略：防止 VAE 主导效应造成 MLLM 能力坍塌 在训练双分支条件网络时，若从随机初始化阶段直接端到端联合训练 MLLM 与 VAE，强大的 VAE 特征往往在极早期便主导了生成损失的梯度回传，使得 DiT 对 MLLM 的依赖度迅速降为零，导致 MLLM 分支欠拟合。一旦 MLLM 无法独立建立起主体几何先验，在推理早期阶段即使仅开辟少量纯 MLLM 去噪步数，生成轨迹也会彻底偏离轨道而无法被后续 VAE 修正。为此，训练被显式划分为两个阶段：第一阶段（25K 步）仅使用 MLLM-DiT 链路训练 DiT 注意力层的 LoRA，强制 DiT 学会直接从 MLLM 的多层聚集中榨取身份与语义信号；第二阶段（10K 步）再接入 VAE 分支联合微调，使模型平稳适应多阶段时间步掩码，完美平衡跨模态推理与像素级身份保真。

损失函数 / 训练策略¶

骨干网络采用基于 Rectified Flow 的 FLUX.1-dev，基础优化目标为确定性速度场匹配损失：

\[\mathcal{L}_{\text{RF}} = \mathbb{E}_{t, \mathbf{x}_0, \mathbf{x}_1} \left[ \|\mathbf{v}_\theta(\mathbf{x}_t, t, \mathbf{c}) - (\mathbf{x}_0 - \mathbf{x}_1)\|_2^2 \right]\]

其中条件向量 \(\mathbf{c} = (\mathbf{c}_{\text{MLLM}} \cdot M_{\text{MLLM}}(t), \mathbf{c}_{\text{VAE}} \cdot M_{\text{VAE}}(t))\)。在第二阶段联合微调中，对 MLLM 与 VAE 分支的参考图像输入实施随机丢弃（Drop rate），确保网络在单分支或双分支激活时均具备鲁棒的生成能力。训练完全基于公开数据集 UNO-1M 筛选出的约 400K 组图像对，仅微调 DiT 注意力块的 LoRA 参数（rank=512），冻结 InternVL3-8B 和 FLUX 原生权重，在 8 张 NVIDIA H100 GPU 上采用常数学习率 \(1\times 10^{-5}\) 训练。

实验关键数据¶

主实验¶

在标准 DreamBench 基准上，评估指标采用 DINO-I 与 CLIP-I 测量主体身份相似度，CLIP-T 测量文本对齐度。同时评估了方位角和极角变化幅度以及平均“召回”率（Average Recall Rate，衡量角度偏离低于阈值的比例，越低说明越不易陷入死板复制）。

方法	DINO-I (↑)	CLIP-I (↑)	CLIP-T (↑)	方位角偏差 Azimuth (↑)	极角偏差 Polar (↑)	平均“复制”率 (↓)
OmniGen2	0.7323	0.8268	0.3185	22.6°	7.0°	0.486
UNO	0.7484	0.8354	0.3040	-	-	-
UNO† (同数据复现)	0.6860	0.8161	0.3071	-	-	-
DreamO	0.7537	0.8356	0.3086	22.1°	9.6°	0.372
USO	0.7478	0.8263	0.3213	20.8°	9.6°	0.401
Qwen-Image	0.7317	0.8261	0.3158	17.6°	7.8°	0.460
本文 (仅 MLLM)	0.6788	0.8228	0.2988	-	-	-
本文 (MLLM + VAE)	0.7482	0.8443	0.3010	25.7°	10.4°	0.349

注：† 表示与本文使用完全相同的公开单主体 UNO-1M 数据集重新训练。

消融实验¶

针对 MLLM 表征接入方式及去噪/训练策略的系统消融（采用 InternVL3-8B 28 层结构）：

配置 / 结构设计	DINO-I (↑)	CLIP-I (↑)	CLIP-T (↑)	说明
末层特征条件 (Qwen-Image 式)	0.6566	0.8128	0.2893	丢失浅层结构，身份与文本对齐均严重受损
末层 + 混合 ViT (DreamEngine 式)	0.7118	0.8286	0.2850	粗糙标量融合仍无法有效平衡模态偏好
单一 LAP (0-28 全层共享)	0.7524	0.8502	0.2878	身份保真尚可，但图文严重过拟合导致文本对齐骤降
本文 DLA (无残差, 全层 0-28)	0.7482	0.8443	0.3010	模态解耦聚合，达到身份保真与指令理解最佳均衡
单阶段端到端训练 (无时间步去噪)	0.7184	0.8245	0.2971	VAE 占主导，MLLM 潜能未释放
单阶段训练 + 强制开启时间步去噪	0.5763	0.7686	0.2995	早期 MLLM 无法单独维持身份，轨迹彻底崩塌
本文两阶段训练完整模型	0.7482	0.8443	0.3010	先筑牢 MLLM 条件基石，再无缝衔接 VAE 细节

关键发现¶

消除“复制-粘贴”伪影：传统 VAE 方案生成的平均复制率高达 0.40 以上，而本文方法使方位角与极角离散度显著提升至 25.7° 与 10.4°，平均复制率下降至 0.349，赋予主体极具创造性的姿态和符合物理规律的遮挡交互。
复杂概念绑定能力：在专门构建的 350 组复杂跨模态推理测试集中（如指令要求关注“猫戴的帽子”而非猫本身），纯 VAE 模型的 CLIP-T 仅约 0.285，而本文模型达到了 0.3208，证明联合编码能有效执行概念筛选与视觉绑定。
两阶段优化的必要性：若不经过第一阶段纯 MLLM 的充分预热，强制在早期去噪中剥离 VAE 会导致 DINO-I 从 0.7482 暴跌至 0.5763，证明 MLLM 必须先具备自给自足的主体建模能力才能实现分阶段去噪。

亮点与洞察¶

解耦式跨层级表征萃取：利用 MLLM 原生注意力已完成图文跨模态流动的特性，避免在扩散接入端重复做图文交叉注意力，而是将有限的注意力算力用于各模态在深浅网络层之间的重要性自适应分配。
时间步感知的扩散时序路由：精准契合了扩散模型生成动力学中“先大局结构、后局部纹理”的本质规律，用 MLLM 掌握结构布局，用 VAE 锁定高频纹理，巧妙化解了两种视觉表征的特征冲突。
全公开数据训练的高性价比表现：无需像商业模型那样依赖海量私有高质主体对数据集，仅在经过基础过滤的 400K 公开图对上训练，即可在多模态理解与人工偏好评测中全面超越顶尖 SOTA。

局限与展望¶

文本条件空间未深度对齐：当前扩散骨干 FLUX.1 原生依赖 T5 文本编码器，而直接替换为 InternVL3 文本表征后未经过超大规模纯文本到图像数据的对齐微调，在常规单主体描述上的纯文本对齐分数（CLIP-T）仍有提升空间。
多主体交互生成的泛化边界：尽管模型在两主体评估（LAMICBench）中展现出强迁移性，但目前训练数据仍主要局限于单主体，在密集多主体复杂物理交互场景下的空间对齐与遮挡关系仍需探索。
端到端联合加速空间：DLA 需提取 MLLM 全部 28 层特征进行注意力池化，推理时显存与显卡交互开销较高，未来可针对关键层子集进行静态蒸馏或动态跳层加速。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出解耦模态的 MLLM 全层级注意力汇聚与时间步感知扩散时序路由，思路清晰且极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 DreamBench、复杂推理专用集、多角度姿态偏离度量化及 DreamBench++ 七大多模态评测模型，论证扎实。
写作质量: ⭐⭐⭐⭐⭐ 问题定义直击痛点，机制解释透彻，结构层层递进。
价值: ⭐⭐⭐⭐☆ 为多模态大模型与扩散生成模型的深度融合提供了极具参考价值的架构范式与工程实践指导。