Illuminating Unified Multimodal Model for Free-form Interleaved Text-Image Generation¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/ChonghuinanWang/ILLUME-X
领域: 图像生成
关键词: 图文交错生成、统一多模态模型、扩散变换器、自适应引导、数据管线

一句话总结¶

ILLUME-X 提出了一个支持自由形态任意长度图文交错生成的统一多模态模型范式，通过解耦视觉编码、交错注意力掩码与自适应交错 CFG 机制，配合 100K 高保真合成/视频图文数据管线与多维度 ILScore 评估体系，在 ISG-Bench 上以 6.26 分持平复杂多智能体系统并大幅超越现有统一多模态模型。

研究背景与动机¶

多模态大语言模型（MLLMs）与扩散模型在视觉理解和单向图像生成领域均取得了突破性进展。学术界与工业界正积极探索将理解与生成统一在单体模型中的全能架构，而其中极具挑战性且最具通用应用前景的形态便是自由图文交错生成（Interleaved Text-Image Generation）——即模型能够根据任意图文上下文输入，自主交替生成任意顺序、任意数量的文本片段与高保真图像（N-to-M 交互），支撑诸如复杂视觉故事叙述、图文逐步教程、图像解构分析等高阶任务。

然而，现有统一模型在迈向真正的自由图文交错生成时面临着严峻的技术瓶颈与评测空白。在模型架构与优化层面，纯自回归离散视觉 token 化方案受制于序列长度膨胀与视觉细节丢失，而自回归与扩散混合架构在处理变长图文混合流时，极易因去噪噪声在多图自回归上下文中的错误传播而导致训练崩溃或质量退化；同时，现有双条件 Classifier-Free Guidance（CFG）缺乏对图文交替动态的自适应解耦。在数据层面，开源交错数据集质量参差不齐、时序因果链条模糊且指令遵循能力差。更关键的是，主流基准如 ISG-Bench 过度依赖僵化的输出模板匹配，一旦模型自发组织图文结构便频繁判分失效，使得多模态交互评测陷入失真。

本文的切入角度是：统一多模态模型的图文交错能力必须由「架构注意力的因果解耦」、「多模态自适应引导机制」、「高质量因果演化数据管线」以及「结构无关的细粒度多维评测体系」四位一体共同驱动。核心 idea：构建基于共享自注意力与模态特化投影的统一多模态模型 ILLUME-X，引入阻断噪声积累的交错注意力掩码与双模态解耦 CFG，协同 100K 包含时序视频蒸馏、CoT 多步生成与多轮自反思的高保真数据，实现稳健高效的自由形态 N-to-M 图文混合生成。

方法详解¶

整体框架¶

ILLUME-X 采用单体统一 Transformer 架构，统一表征并处理任意交错的文本 token、视觉语义 token、去噪隐变量 token 以及模态控制 token。输入侧部署解耦的双路连续视觉编码器：ViT 编码器负责提取高层视觉语义特征以辅助多模态理解与上下文表征，而 VAE 编码器提取并重建图像低层连续潜变量以支持扩散生成。模型骨干基于 Decoder-only Transformer，在注意力层采用共享的多模态自注意力算子（Shared Self-Attention）以保证跨模态上下文深度融合，而在 QKV 投影和前馈网络（FFN）处采用模态特化（Modality-specific）分支，分别处理理解与生成通路。

整个推理与生成流程呈现多模态交替推进：特殊标记（BOI、EOI、EOS）在序列中显式标记模态边界；文本和控制标记遵循自回归因果注意约束，图像内部的视觉 token 则采用双向全连接注意力捕获完整二维空间结构；在生成后续样本时，前序图像的加噪 token 被严格掩码阻断，仅保留干净重构特征参与自回归交互，避免噪声误差滚雪球式累积。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任意交错多模态输入<br/>文本与多图上下文序列"] --> B["双路视觉与文本离散化编码<br/>ViT 语义抽取 + VAE 潜在编码 + 文本 Tokenizer"]
    B --> C["模态解耦的统一 Transformer<br/>共享自注意力 + 模态特化 QKV 与 FFN 分支"]
    C --> D["交错注意力掩码与噪声阻断机制<br/>文本自回归因果 + 图像块双向 + 屏蔽历史加噪潜变量"]
    D --> E["双模态解耦交错 CFG 引导<br/>文本条件为主锚点 + 独立图像缩放系数"]
    E --> F["自由交替生成多模态输出<br/>流式预测文本 Token 与 Rectified Flow 去噪图像"]

关键设计¶

1. 模态特化与噪声阻断的交错注意力机制：解决交错流中的模态异构与误差累积

在多图交错自回归生成过程中，直接套用标准因果注意力会导致两个致命缺陷：其一是图像内部二维空间先验无法被单向因果流充分挖掘；其二是扩散模型训练时加入的高斯噪声 token 会作为历史上下文泄露给后续生成的图文片段，导致严重误差漂移。针对该问题，ILLUME-X 设计了分段式交错注意力掩码（Interleaved Attention Mask）。序列中被 BOI（Begin-of-Image）和 EOI（End-of-Image）划分出的不同模态片段具备自适应注意视野：

对文本和控制标记执行严格的单向因果掩码以维系自回归语言建模；对单张图像的潜在空间视觉 token 赋予块内双向注意力（Bidirectional Attention），确保 Rectified Flow 去噪时能够捕获全局二维空间上下文。尤为关键的是，对于处于生成或历史状态的多图序列，模型显式区分加噪潜变量 token（Noisy Image Tokens）与干净重构 token（Clean Reconstruction Tokens），在为后续模态提供上下文时强制将历史加噪 token 掩蔽，切断噪声跨步传播路径。

2. 双模态解耦交错 Classifier-Free Guidance：解决图文复合条件下的引导失衡

传统 T2I 扩散模型的 CFG 仅以纯文本为条件，而全交错序列的条件 \(c\) 与目标 \(x\) 同时交织了多段文本与图像：\(c = \{c_{txt}^0, c_{img}^0, c_{txt}^1, \dots\}\)。以往方法若独立随机丢弃任意图文条件，不仅计算复杂度急剧膨胀，且容易破坏文本与图像之间原本严密的指代逻辑。ILLUME-X 将条件集在模态维度解耦为纯文本条件集合 \(c_{txt}\) 与图像上下文集合 \(c_{img}\)，提出以文本为核心锚点、图像为辅助尺度的交错引导公式：

\[ \nabla_{x_{img}} \log p(x_{img} | c_{txt}, c_{img}) = \nabla_{x_{img}} \log p(x_{img}) + \gamma_{txt} (\nabla_{x_{img}} \log p(x_{img} | c_{txt}, c_{img}) - \nabla_{x_{img}} \log p(x_{img} | c_{img})) + \gamma_{img} (\nabla_{x_{img}} \log p(x_{img} | c_{img}) - \nabla_{x_{img}} \log p(x_{img})) \]

在训练阶段，模型按概率采样三种条件丢弃模式：保留全部图文条件、仅丢弃文本条件、同时丢弃图文条件。在丢弃任何条件时，显式剔除文本 token 与特殊 token 上的损失计算，保护模型对特殊控制标记的上下文解析力。推理时通过灵活解耦调节 \(\gamma_{txt}\)（推荐设为 8.0）与 \(\gamma_{img}\)（推荐设为 1.0），达成图像美学、指令服从与跨图概念一致性的最优权衡。

3. 三源高保真交错数据合成管线：破除开源交错数据稀缺与质量瓶颈

开源交错数据多存在画质低劣、时序因果薄弱的问题，ILLUME-X 搭建了一套全自动生产 100K 高保真样本的系统化管线： - 视频数据因果抽取（Video Data Extraction）：针对传统关键帧或均匀采样丢失动态细节的缺陷，提出多间隔滑动窗口采样（如 2/5/8 帧窗口配合 1/3/10 秒间隔），经过 Laplacian 方差与 MANIQA 美学初筛后由 Qwen-3-VL-32B 深度评估；进一步利用 RAFT 光流估算过滤静态或均匀刚性平移帧，利用 DINOv2 特征差异滤除信息冗余。随后由视觉大模型分别提取全局叙事蓝图、单帧属性细节以及跨帧动作/环境演变三级描述。 - 多步上下文协同生成（Multi-Step In-Context Generation）：外部大模型（GPT-5）构思包含全局语义、分步文本与图像构想的 CoT 蓝图；首图直接生成，后续帧由 Qwen3-VL-32B 细致比对相邻图文语义差异（Image Difference Description），驱动先进上下文生图器（Gemini 3 Pro）逐步生成兼具主体连贯性与动作演进的图文序列。 - 多轮自反思精炼数据（Multi-Round Self-Reflection）：利用外部多模态模型充当 Critic，对初版生成的图文序列对照指令诊断缺陷，并将修正意见追加至提示词实施多轮自修正（TK, IK），最后由判别模型剔除不合格样本，构建出富含 CoT 思考链与多轮自我演进能力的混合数据集。

4. 细粒度结构无关的综合评测标准 ILScore：解决基准依赖死板模板的失效问题

针对 ISG-Bench 因模型输出不符合硬编码结构便严重漏判误判的缺陷，ILLUME-X 构建了涵盖全局到局部的层次化评估体系 ILScore，设立四个互补维度： - D1：图文匹配精度（Image-Text Accuracy），考量全序列图文逻辑连贯性、相关性与因果推导合理性； - D2：单图生成保真度（Single Image Accuracy），针对单图的概念一致性、细部还原、清晰度与美学质量打分； - D3：图像序列一致性（Image Sequence Accuracy），评估多图序列跨步骤的角色主体、环境场景与艺术风格的一致延续； - D4：文本生成质量（Text Accuracy），独立评测纯文本输出的信息丰富度、流畅性与语义表达能力。

损失函数 / 训练策略¶

ILLUME-X 初始化自开源领先的 7B+7B 统一模型 BAGEL，并在开放数据集（SEED-Story、VINCIE、WEAVE）与自建 100K 数据集上以 \(2 \times 10^{-5}\) 的基础学习率进行联合优化。训练目标采用多任务混合监督：

\[ \mathcal{L}_{total} = \mathcal{L}_{CE}(y_{txt}, y_{special}) + \lambda_{flow} \mathcal{L}_{flow}(v_{\theta}, v_{RF}) \]

其中交叉熵损失 \(\mathcal{L}_{CE}\) 监督文本 token 以及 BOI、EOI、EOS 等关键控制标记，维持语言表达与模态切换能力；Rectified Flow 的速度匹配 MSE 损失 \(\mathcal{L}_{flow}\) 监督连续图像 Latent 的去噪轨迹，实现高质量图像生成。训练中融合上下文生图数据（强化多图连贯生成的稳定性）与综合图文混合任务数据（保障跨任务泛化），平抑交错长序列联合训练中的梯度震荡。

实验关键数据¶

主实验¶

在主流交错生成基准 ISG-Bench 上，ILLUME-X 与各类统一多模态模型以及非统一智能体级方案进行了全面对比。

模型	是否统一模型	风格迁移	渐进生成	3D场景	图像分解	图文互补	时序预测	视觉故事	视觉问答	平均分 (AVG)
Show-o	是	2.11	2.41	1.43	2.87	2.06	2.58	3.32	1.86	2.33
Anole	是	2.93	2.76	1.85	1.49	3.21	2.58	2.97	4.70	2.81
MiniGPT-5	是	2.15	3.15	1.79	2.54	2.72	2.73	2.91	4.29	2.79
CoMM-MiniGPT-5	是	2.96	2.60	3.09	2.24	3.09	2.52	2.72	2.87	2.96
Seed-LLaMA-14B	是	1.84	3.30	1.52	3.69	1.94	1.78	2.84	2.20	2.39
Gemini + SD3	否	4.89	6.59	2.68	7.26	6.37	5.26	5.68	7.89	5.83
ISG-AGENT	否	5.87	6.46	4.89	7.58	6.93	4.54	7.03	6.80	6.26
ILLUME-X (本文)	是	6.02	5.75	3.96	6.97	7.06	6.43	7.25	6.67	6.26

在文生图基础能力上，ILLUME-X 在 GenEval 上取得了 0.85 的总体得分（大幅超越 BAGEL 的 0.82、Janus-Pro 的 0.80 及 FLUX.1-dev 的 0.67）；在 DPG-Bench 上取得 86.38 的综合得分（优于 BAGEL 的 85.07 与 Janus-Pro 的 84.19），其中 Attribute 单项达 94.08。在推理效率方面，ILLUME-X（7B+7B）单图耗时仅为 81.33 秒，相比超大模型 Emu 3.5（34B）的 409.50 秒提速近 5 倍。

消融实验¶

论文在强依赖时序因果的视觉故事叙述（Visual Storytelling）与“How-to”图文互补子集上对引导系数 \(\gamma_{txt}\)、\(\gamma_{img}\) 及思维链（CoT）推理进行了细致消融验证。

\(\gamma_{txt}\)	\(\gamma_{img}\)	包含 CoT	视觉故事叙述 (Visual Storytelling)	图文互补 (Image-Text Complementation)	说明
2.0	1.0	否	7.02	5.35	文本引导强度过弱，指令对齐不足
4.0	1.0	否	7.13	5.59	性能随文本引导提升稳步增加
8.0	1.0	否	7.12	5.69	无 CoT 下的最佳无偏配置
8.0	1.25	否	7.00	5.52	图像引导过强导致上下文生成僵化
8.0	1.5	否	6.85	5.60	图像过度依赖引发多样性与故事性衰退
8.0	1.0	是	7.28	5.91	完整模型最优配置：CoT 显著强化时序逻辑

关键发现¶

统一模型性能实现质的跨越：ILLUME-X 在 ISG-Bench 上达到 6.26 的平均分，相比先前的统一模型（如 Anole 的 2.81、CoMM 的 2.96）实现了超 120% 的性能跃升，并直接追平了堆叠商业外部 API 的复杂多智能体系统 ISG-AGENT（6.26），验证了单体端到端模型在复杂图文交错任务中的巨大潜能。
解耦 CFG 与 CoT 的协同增益显著：消融表明将文本引导设定为主导（\(\gamma_{txt}=8.0\)）、图像引导适度锚定（\(\gamma_{img}=1.0\)）能够最佳平衡视觉保真与故事展开；引入思维链（CoT）使视觉故事叙述提升 0.16 分、图文互补提升 0.22 分，表明先规划语义演进再生成对应画面的显式推理对长序列极为关键。
序列连续性与推理成本优势明显：在 ILScore 四维评测中，ILLUME-X 在序列一致性（D3）上达到 5.62，显著超越 Emu 3.5（4.87）与 Gemini 3 Pro（4.34）；同时参数规模仅为 7B+7B，单图推理耗时（81.33s）仅为 Emu 3.5 的 20%，具备优秀的实际落地部署可行性。

亮点与洞察¶

历史加噪潜变量的主动屏蔽设计：在自回归框架中直接对历史加噪 Latent 实施注意力掩蔽阻断，以极低实现代价解决了连续扩散生成在长交错序列中的误差指数级累积难题。
解耦式图文双条件交错 CFG 机制：改变以往无差别随机丢弃所有图文条件的方式，确立以文本为骨干锚点、图像为辅助尺度的解耦引导，兼顾了生成图像的高审美质量与多图时序主体的一致性。
全流程因果感知的数据合成飞轮：将多尺度滑动窗口光流过滤与多粒度大模型标注相融合，低成本自动化生产出 100K 兼备真实物理演化与丰富逻辑思考链的高质量交错样本。

局限与展望¶

生成分辨率受限：模型目前主要在 512×512 分辨率下进行训练和评测，受限于底层骨干的有效上下文长度与显存吞吐，扩展至 1024×1024 及以上原生高分辨率时仍面临显存与算力挑战。
长程超多图生成的全局记忆衰减：当图文交替生成跨越十数轮以上时，自回归 KV Cache 的窗口限制可能会引发长程角色或世界观的局部细节漂移，未来需探索记忆压缩机制或分层状态缓存。
非连续长文本生成的推理性仍需强化：在纯文本质量维度（D4），面对超高复杂度的知识型 VQA 任务时，统一架构因同时承担扩散去噪表征，相较专精文本推理的超大 MLLM 仍存在细微差距。

评分¶

新颖性: ⭐⭐⭐⭐ [针对自由交错图文生成系统性设计了注意力噪声掩码、解耦 CFG 与全自动因果数据构建管线]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 ISG-Bench、自建 ILScore、GenEval、DPG-Bench 及细致消融，对比全面，数据扎实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，方法原理阐述深刻，实验对比图表工整详实]
价值: ⭐⭐⭐⭐⭐ [有力推动了统一多模态大模型从固定模态走向自由形态交错生成的关键演进，具极高开源参考价值]