Cheers: Decoupling Patch Details from Semantic Representations Enables Unified Multimodal Comprehension and Generation¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/AI9Stars/CHEERS
领域: 多模态 VLM / 图像生成
关键词: 统一多模态模型、语义与细节解耦、视觉 token 压缩、级联流匹配、高频注入

一句话总结¶

Cheers 让共享语言主干处理压缩后的视觉语义，再由级联流匹配头按生成进度注入图块细节，以 1.5B 语言主干和 83M 训练样本取得 GenEval 0.78，同时保留有竞争力的图像理解能力。

研究背景与动机¶

视觉理解和图像生成虽然都处理图像，却需要不同的信息粒度。回答物体类别、图表内容或空间关系时，模型需要能够与语言对齐的语义表示；生成图像时，还必须还原纹理、边界等局部细节。将图像离散成词表中的 token，确实可以复用语言模型的下一词预测方式，但量化误差和有限表示容量可能损伤图像保真度。改用连续扩散表示后，这个离散化瓶颈减轻了，理解与生成对特征的不同要求却没有自动消失。因此，统一模型的难点不只是给同一主干增加两个输出头，而是决定什么信息进入共享表示、什么信息应留给生成过程。

既有方法有不同取舍：Janus 一类方法分开理解与生成的视觉编码，语义中心的表示则可能缺乏重建需要的细节。将异质视觉特征直接融合，又可能使理解目标与细节重建目标在同一特征空间里相互干扰。 Cheers 选择保留共享的语义接口，同时把细节送往靠近图像输出的位置，而不是要求语言主干承担全部视觉信息。压缩也因此成为可以讨论的问题：如果后端能补充细节，就不一定需要让昂贵的语言主干接收每一个高分辨率图块 token。不过，局部文字本身也可能承载语义，不能简单把所有细粒度信息都视为理解任务的噪声。

本文利用预训练 SigLIP2 的像素输入接口提取语义，并在生成头中重新利用浅层图块特征。这不是两套完全独立的视觉模型，而是同一视觉分词过程中不同深度、不同粒度的信息承担不同职责。 核心 idea：让压缩语义负责跨模态建模，让随语义状态调节的细节通路负责后期视觉精修，从信息流上减轻理解与生成的表示冲突。

方法详解¶

整体框架¶

Cheers 包括统一视觉分词器、混合解码主干和级联流匹配头，文本侧另外使用常规分词器与语言建模头。输入可以是图像与问题，也可以是用于生成图像的文本条件；前者输出文字，后者从潜空间噪声迭代得到图像。理解路径只需要语义 token 经语言主干产生回答，生成路径则在每个采样时间步重新编码当前潜变量。因此，生成并不是先计算一次文本条件，再让完全独立的扩散模型完成全部后续工作。共享主干会反复参与视觉语义建模，细节通路则绕过主干进入级联流匹配头。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["图像或当前潜变量"] --> Tokenizer["统一视觉分词器"]
        Text["文本条件"] --> Backbone["混合解码主干"]
        Tokenizer -->|压缩语义| Backbone
        Backbone -->|自回归解码| Answer["文字回答"]
        Backbone -->|视觉隐藏状态| Head["级联流匹配头"]
        Tokenizer -->|当前时间步的图块细节| Head
        Head --> Update["速度场与潜变量更新"]
        Update -->|下一时间步| Tokenizer
        Update -->|采样结束后 VAE 解码| Image["输出图像"]

图中循环表示图像生成时的数据流，不表示理解任务也要反复去噪。训练时的干净潜变量提供流匹配监督；推理时，生成分支并不读取目标图像或其细节。下面按编码、共享建模、生成解码的顺序解释三个设计。

关键设计¶

1. 统一视觉分词器：从潜变量回到像素接口，再压缩语义

输入图像首先经 VAE 编码为潜变量，空间尺寸在高和宽上各缩小 16 倍。对于生成训练，作者把干净潜变量与高斯噪声线性混合；理解任务使用干净端点，纯语言任务采用噪声端点的定义。原文第 4 页给出的路径为：

\[ z_t=t z_1+(1-t)z_0,\qquad z_0\sim\mathcal{N}(0,I). \]

其中 \(z_1\) 是图像潜变量，生成训练采样 \(t\in(0,1)\)，理解固定 \(t=1\)，纯语言任务规定 \(t=0\)。关键步骤是把当前 \(z_t\) 通过 VAE 解码器恢复到像素空间，再交给预训练 SigLIP2-ViT。这与给 ViT 换上随机初始化的潜变量 patch embedding 不同，保留了视觉预训练模型所熟悉的输入形式。作者认为直接处理潜变量会损伤细粒度特征与 OCR 能力，但正文将专项证据指向补充材料，本缓存未包含该部分实验。因此，保留像素接口是明确的架构选择，不能把其独立 OCR 增益写成已经由正文消融定量证实。

SigLIP2 使用 \(16\times16\) 图块嵌入，使图块网格与 VAE 潜变量网格空间对齐。深层视觉特征提供语义 token，浅层图块嵌入则为生成头提供仍保留局部信息的细节来源。进入语言主干前，Pixel-Unshuffle 将空间上相邻位置重新排列到通道维，再通过投影匹配语言模型隐藏维度。输出网格的高和宽均减半，因而语义 token 数减少为原来的四分之一。这不是把所有视觉信息无损压成四分之一，也不是证明整个模型的计算成本恰好下降四倍。细节支路仍保留较细网格，生成时还需要执行 VAE 解码和视觉编码。

2. 混合解码主干：文字保持因果预测，图像利用双向上下文

语言主干初始化自 Qwen2.5-1.5B-Instruct，接收文本嵌入与压缩视觉语义 token 拼接后的序列。视觉 token 使用双向注意力，使同一图像中的位置能够利用全局上下文；文本 token 使用因果注意力，以支持自回归输出。这样的统一发生在上下文建模层，而不是强迫图像和文字采用完全相同的输出概率模型。对视觉问答，主干通过标准语言建模头逐词生成回答，不调用图像生成头来“画出”答案。对图像生成，文本条件影响视觉隐藏状态，再将这些连续状态送到级联流匹配头预测潜空间运动方向。

分工的价值在于避免让语言主干直接预测完整的高频图块表示。它主要处理图像全局布局、对象与文本条件之间的关系，后续细节恢复由专门的头完成。不过，“语义”与“高频”的区分是架构与表征层次上的分工，正文没有施加严格的频域正交约束。浅层图块特征也并非通过显式傅里叶高通滤波得到，不能把标题中的解耦理解成数学上完全分离的频率分量。理解与生成仍共享参数，联合训练是否发生干扰必须由受控实验判断，而不是仅凭两条箭头就能保证。

3. 级联流匹配头：先恢复语义网格，再门控注入图块细节

生成头包含两个级联阶段，分别由 7 个和 3 个 DiT block 组成，并用 AdaLN-Zero 注入时间步调制。第一阶段接收主干输出的低分辨率视觉隐藏状态，先处理全局语义结构。随后 PixelShuffle 将高和宽各放大 2 倍，同时调整通道维，使生成特征重新与原始图块网格对齐。第二阶段接入从当前潜变量解码图像得到的浅层图块特征，再通过后续 DiT block 输出速度场。这里的“先语义、后细节”首先指每次速度预测内部的两个级联阶段，而不是两次彼此独立的完整图像采样。

门控网络读取已经受时间步调制的上采样语义特征，在每个空间位置输出一个标量以控制细节注入强度。因此，细节支路的作用同时取决于语义状态、位置和当前生成进度，而非从始至终以固定权重相加。图 5 的观察是早期注入较弱、中期可能略降、后期明显增强；这不等于每一步都严格单调增加。该趋势没有专门的时间曲线监督，是作者对训练后模型的观察。统计曲线还经过逐次运行归一化再平均，适合解释相对趋势，不宜当作跨模型绝对注入量。原文第 6 页的门控更新式在文本提取中丢失了运算符，本笔记只按正文描述解释门控细节残差，不猜补为作者的精确公式。

一个完整示例¶

以“两个不同颜色的物体具有指定左右关系”的文本到图像请求为例，下面是依据架构推导的流程，不是新增实验样例。在论文的 \(512\times512\) 设置下，VAE 潜变量空间网格为 \(32\times32\)，对应 1024 个空间位置。视觉分词器在当前噪声状态上提取同网格语义特征，再压缩成 \(16\times16\)，即 256 个语义 token 交给主干。主干联合文本条件处理对象、颜色与位置关系，第一阶段生成头继续整理低分辨率语义结构。 PixelShuffle 恢复 \(32\times32\) 网格后，门控细节通路补充当前状态中的局部信息，第二阶段输出速度场。数值积分更新潜变量，再重复整条路径，直到最终用 VAE 解码出图像。早期输入本身还很嘈杂，因此门控不能被理解为从某张干净参考图直接复制纹理。若改为图像问答，同一输入图像位于干净端点，只走语义编码、主干与文字输出路径。

损失函数 / 训练策略¶

文字任务使用条件自回归交叉熵；图像任务监督的是沿上述线性路径从噪声到图像的速度。原文第 7 页给出的流匹配目标可写为：

\[ \mathcal{L}_{FM}=\left\|v_\theta\left(Z_s'^{(t)}\right)-(z_1-z_0)\right\|_2^2. \]

这里 \(Z_s'^{(t)}\) 表示生成头处理后的视觉特征，目标速度是干净潜变量与初始噪声之差。总目标按正文叙述为文字损失与图像损失的加权和，图像项权重 \(\lambda=1\)；缓存的总损失排版也有符号缺失，因此不照抄损坏表达式。生成推理从噪声出发，重复预测速度并数值求解 ODE，同时采用 classifier-free guidance 和时间调度偏移。正文未给出可在本缓存确认的 CFG 强度、调度偏移取值或统一采样器配置，不能据此补出完整复现命令。

训练固定为 \(512\times512\)，采用 AdamW、0.02 warmup 比例与 1.0 梯度裁剪，运行于 128 张 A100。阶段 I 只训练投影、CFM 头和门控模块：4.5M 图文对加上 1.3M 重标注 ImageNet 样本，并将后者重复 10 次以建立生成能力。阶段 II 使用 30M 样本，理解、生成、纯文本比例为 \(3:6:1\)，除 VAE 外联合优化其余参数。阶段 III 使用 33M 样本并保持 \(3:6:1\)，增加合成图像和指令数据，包括基于 Objects365 构造的 466K 组合性指令。阶段 IV 在 3.8M 精选样本上监督微调，理解与生成的 batch 比例为 \(1:1\)。表 1 中四阶段学习率依次为 \(10^{-4}\)、\(10^{-4}\)、\(4\times10^{-5}\)、\(2\times10^{-5}\)，训练步数为 30K、60K、65K、30K。前三阶段 batch size 为 512，末阶段为 128；前三阶段使用常数学习率调度，末阶段使用余弦调度。正文讨论里的“不冻结核心参数”应结合这一训练表理解，不能忽略 VAE 持续冻结和阶段 I 的局部训练限制。

实验关键数据¶

主实验¶

下表节选原文表 2（第 8 页）、表 3 和表 4（第 9 页），只比较语言主干同为 1.5B 的统一模型。这些参数量指语言主干，并非包括 VAE、视觉编码器和生成头的系统总参数量。 MMBench 与 ChartQA 衡量理解表现，GenEval 衡量组合性文本图像对齐，DPG-Bench 衡量密集提示词遵循；所列指标均越高越好。

模型	总训练样本	MMBench	ChartQA	GenEval Overall	DPG-Bench Overall
Janus-Pro	162M	75.5	23.4	0.73	82.63
Show-o2	177M	67.4	40.0	0.73	85.02
Harmon	113M	65.5	29.8	0.76	未报告
Tar	403M	65.6	未报告	0.76	82.96
Cheers	83M	70.4	75.7	0.78	83.48

Cheers 相对 Tar 的 MMBench 高 4.8 分、GenEval 高 0.02，但并没有超过 Janus-Pro 的 MMBench 或 Show-o2 的 DPG-Bench。原文称训练成本约为 Tar 的 20%；可直接核验的表格依据是 83M 对 403M 训练样本，约为 20.6%。由于没有统一 GPU 工时、训练 FLOPs 和合成数据成本对账，这不能等同于已证明总算力或总费用节省 80%。

消融实验¶

下表来自原文表 5（第 12 页），是在完成对齐后进行的小规模受控微调，不是完整 83M 样本训练的最终模型。联合训练使用 858K 理解样本与 850K 生成样本；第一行只使用理解数据，后两行以相同联合设置比较高频注入 HFI。

配置	SEEDBench	MMBench	ChartQA	POPE	AI2D	GenEval	DPG-Bench
仅理解，保留 HFI 架构	70.8	65.2	58.5	87.0	67.7	不适用	不适用
理解与生成，无 HFI	70.0	66.3	58.8	86.2	67.3	0.17	39.11
理解与生成，有 HFI	69.8	67.1	59.9	87.5	68.1	0.30	51.63

关键发现¶

同样联合训练时，HFI 将 GenEval 从 0.17 提至 0.30，DPG-Bench 从 39.11 提至 51.63，即分别增加 0.13 和 12.52。
理解收益不是逐项一致：HFI 令 MMBench 上升 0.8，但 SEEDBench 从 70.0 降到 69.8；更合理的结论是理解指标变化较小，而非所有能力都提升。
相比仅理解微调，联合训练加 HFI 的 MMBench 为 67.1 对 65.2，但 SEEDBench 为 69.8 对 70.8；“无理解损害”应理解为整体竞争力，而非逐项无回退。
图 4 显示合成、指令化数据占主导的阶段 III 增长明显，架构收益与数据质量收益不能仅靠最终横向表格分离。

亮点与洞察¶

压缩与旁路细节恢复是配套设计：主干少处理空间 token，生成头仍能读取较细网格信息。这比单独追求 token 最少更贴近双任务需求。
门控由受时间调制的语义状态产生，因此无需手工规定“第几步必须开启纹理”。图 5 给出后期增强的观察，但还不是严格的因果机制证明。
复用预训练像素编码器降低了重新学习视觉语义接口的负担。其代价是每个生成时间步都要经过潜变量解码与视觉编码，效率评估应覆盖这部分。

局限与展望¶

作者承认模型规模较小，且没有直接初始化自大型预训练 VLM，复杂细节与更强理解能力仍有提升空间。
作者还指出训练依赖单图数据；视频、跨图上下文和更复杂多模态输入是未来方向，并非本实验已经覆盖的能力。
笔记判断：HFI 消融使用缩小训练集，正文未提供门控对固定注入、不同压缩倍率等完整消融，不能把增益进一步归因到某个未控制因素。
缓存包含正文与参考文献，但没有补充材料；门控更新、积分及总损失的文本提取存在损坏，未据此重建作者精确公式。
结论提到零样本图像编辑，但所读正文没有对应定量评测；本笔记不将其列为已经充分验证的主要能力。

评分¶

新颖性: 4/5。将语义压缩与时间自适应细节注入结合，定位清楚，但混合解码与级联生成已有基础。
实验充分度: 4/5。覆盖多项理解和生成基准，并有受控联合训练消融；整体成本及门控机制仍缺更细对照。
写作质量: 4/5。架构与训练阶段较清晰，但部分结论措辞强于逐项结果，缓存公式损坏另行标注。
价值: 4/5。为小规模统一多模态模型提供可复用的表示分工方案，值得在公平预算下进一步验证。