Transferability Between Understanding and Generation in Unified Multimodal Models¶

会议: ECCV2026
论文: ECCV 原文
领域: 多模态 VLM
关键词: 统一多模态模型、跨任务迁移、对象计数、空间关系、文字生成

一句话总结¶

本文用单任务微调、跨任务评测检验统一多模态模型的能力迁移，发现共享主干与视觉编码器的 Lumina-DiMOO 双向迁移最强，并以仅训练理解的方式改善生成计数、空间关系和部分文字指标，同时减轻直接生成微调造成的分布偏移。

研究背景与动机¶

统一多模态模型（UMM）让同一个系统既看图回答问题，也根据文字生成图像，但“能做两件事”不意味着两种能力会互相促进。已有研究常用 MMMU、POPE 或 GenEval 的整体分数变化论证协同；这些变化也可能来自新增数据、正则化或训练预算，难以确认模型究竟迁移了哪一种知识。

本文把问题缩小到可直接验证的能力：只教模型看图数对象，它是否就能画出指定数量的对象？计数同时有理解和生成形式，又能用数量精确匹配检查，适合作为架构比较的探针。进一步的实际动机是，针对某项弱能力直接微调生成，可能使模型模仿狭窄训练集的外观，破坏原来经高质量数据或偏好优化形成的生成分布。

核心 idea：把同一视觉能力的理解与生成监督分开，在没有目标任务显式监督时测量迁移；若共享表征允许迁移，就用理解训练注入生成能力，减少直接拟合目标图像分布带来的副作用。

方法详解¶

整体框架¶

这不是一个新增视觉模块的方法，而是一套能力级干预实验及相应的后训练策略。作者先选取四种架构、各自使用 7B–8B 参数版本，分别执行理解训练和生成训练，再到相反任务上评测同一项计数能力。两个方向是独立训练运行，不是先理解后生成的串行课程。

在探针中双向迁移最强的 Lumina-DiMOO 上，作者进一步比较“理解训练后评测生成”与“直接生成训练后评测生成”，将计数扩展到对角空间关系和图中文字。评测同时关注目标能力、生成分布变化与通用理解能力，避免把专项准确率上涨当成没有代价的整体进步。

这里的生成改善发生在共享模型内部，不需要推理时额外调用理解模型来筛图、打分或纠错。论文的核心贡献是识别并利用这种迁移关系，因此用实验设计和指标定义说明，比把它画成一个新网络流水线更准确。

关键设计¶

1. 能力级双向探针：固定要学的知识，只切换监督任务

作者从 PixMo-Points 和 PixMo-Count 筛选对象数量在 0–20 的图像。理解训练把图像组织成计数视觉问答，让模型回答目标对象的数量；生成训练使用同一批图像，由 Qwen3-VL 生成描述并补入对象计数信息，形成文字到图像监督。这样至少控制了图像来源和目标能力，而不是拿两个内容无关的数据集比较总分。

理解评测使用 PixMo-Count 测试集，要求输出数值。生成评测沿用 GenEval 的计数协议，提示为 A photo of [NUMBER] [OBJECT]s，数量范围为 2–10，再用检测模型核对生成图中的对象数。训练范围和生成测试范围不同，不能将后者写成 0–20。

准确率要求预测数量完全正确；平均绝对偏差（MAD）保留“虽然没数对，但接近多少”的信息。将文字定义记为下式，属于指标释义，并非论文新增损失：

\[ \mathrm{MAD}=\frac{1}{N}\sum_{i=1}^{N}|\hat c_i-c_i|. \]

其中 \(c_i\) 是目标数量，\(\hat c_i\) 是理解回答或生成图像检测得到的数量。两种指标必须一起看：Janus-Pro 的反向迁移准确率略升，MAD 却变差，不能据单个正数称为稳定双向收益。

2. 架构对照：区分共享主干与共享视觉表征

Lumina-DiMOO 同时共享 Transformer 主干和视觉编码器；Janus-Pro 共享主干但将理解、生成的图像编码器分开。BAGEL 采用 Mixture-of-Transformers，不同分支通过联合多模态自注意力交互；BLIP3-o 的理解主干与生成 Transformer 分离，由前者提供条件信号。

这组比较的价值是把“统一”拆成具体的参数与表征共享程度。共同的视觉编码和主干让同一项知识可能在两种任务中被复用，但结果不是简单的“分开就完全不能迁移”：BAGEL 和 BLIP3-o 的理解到生成计数均有收益，真正最明显的差别在于双向效果的强弱及一致性。

作者据此将 Lumina-DiMOO 作为后续主要载体。这仍是不同预训练模型之间的经验对比，不是仅切换编码器、其他条件完全相同的架构消融，因此不应把相关性提升为共享编码器的充分条件或必要条件。

3. 理解侧能力注入：学习目标概念而不直接拟合生成外观

计数之外，空间任务选用更难的 top-left、top-right、bottom-right、bottom-left，而非模型已较擅长的上下左右。作者从 ImageNet 选择两个类别及其图像，按随机对角方向放置到画布，构造 200K 样本；同一关系既可写成视觉问答，也可写成生成提示。评测用检测框中心的相对位置判断方向是否满足要求。

这种数据的空间标签清楚，但粘贴图像的外观并不等于自然场景。直接生成训练会同时学习“位置关系”和“拼贴风格”；理解训练只要求正确回答关系，因而有机会把空间知识迁移到生成，而不那么强地复制合成数据外观。原文图 5 的差异正是用于说明这一点。

文字任务则把 Markdown 文档渲染为图像，构建另一个 200K 图文对数据集。作者认为自然场景的小字和密集整页文档对离散图像 tokenizer 过难，因此选择中等难度的渲染文本；理解训练对应文字识别，目标生成能力是图中可读的字符、笔画、间距和字形。

生成文字由 GLM-OCR 抽取后，与提示中的文字计算 WER、CER、编辑距离、BLEU、METEOR 和 F1。表 4 实际列出六项指标，不能仅沿用正文“五项”的概括；这些指标测的是 OCR 可恢复性与文本匹配程度，并不是直接的人类视觉质量评分。

4. 迁移强度与保真评测：把获得多少能力和付出多少代价分开

论文表 6 用“迁移带来的改善 / 同数据直接训练带来的改善”量化迁移强度。记 \(\Delta\) 为沿指标正确方向计算的改善量，则定义可写为：

\[ S=100\%\times\frac{\Delta_{\mathrm{transfer}}}{\Delta_{\mathrm{direct}}}. \]

例如计数生成准确率的两种训练都提高 9.0 个百分点，因此强度为 100%；MAD 的改善分别为 0.28 和 0.20，因此为 140%。作者将直接训练称作参照“上界”，但 140% 本身说明它不是数学上界；分母很小或为负时，该比值也不适合作为稳定、通用的能力刻度。

为了不让专项收益掩盖外观变化，作者同时报告 Inception Score（IS）和 FID。这里 FID 比较的是“基线模型生成图像”与“微调模型生成图像”的分布，而非生成图像与真实数据；低 FID 表示更接近原模型，不能单独证明图像更真实。通用理解则另测 POPE、MMBench、MMMU 和 MME-P。

损失函数 / 训练策略¶

所有架构探针使用基于 LoRA 的监督微调（SFT），理解与生成分别训练，迁移方向本身不使用目标任务监督。实用策略选择只训练理解，再直接使用更新后的同一个模型生成图像，并未提出额外的迁移损失或奖励模型。

第 5.2 节还在 Lumina-DiMOO 上联合训练理解与生成的计数目标。图 8 显示两类表现随训练出现交替变化，而非同步提升；这是特定后训练数据和目标配置下的观察，不等于证明多任务预训练必然冲突。

可用缓存止于正文和参考文献，没有正文多次引用的附录。LoRA rank、学习率、batch size、训练轮数、详细损失权重，以及附录提到的另一模型 MMaDA 的结果均无法从本缓存核实，故不补写。

实验关键数据¶

主实验¶

下表摘录原文表 2、3，均在 Lumina-DiMOO 上比较。准确率单位为 %；基线 FID 未定义，以空缺符号保留。空间任务没有计数 MAD。

能力	训练 → 测试	准确率 ↑	MAD ↓	IS ↑	FID 对基线 ↓
计数	基线	48.0	1.11	16.86	—
计数	und → gen	57.0	0.83	17.55	31.47
计数	gen → gen	57.0	0.91	15.29	52.51
空间关系	基线	67.0	—	16.86	—
空间关系	und → gen	74.0	—	17.50	30.95
空间关系	gen → gen	80.0	—	17.41	32.28

计数迁移与直接训练同为 57.0%，但迁移的 MAD 更低、IS 更高，FID 也更低。空间迁移提升 7.0 个百分点，而直接训练提升 13.0 个百分点；前者并没有在关系准确率上击败后者，只是更接近原生成分布。

文字结果摘录原文表 4，保留全部六项指标以呈现不一致的变化。

训练 → 测试	WER ↓	CER ↓	编辑距离 ↓	BLEU ↑	METEOR ↑	F1 ↑
基线	0.654	0.362	36.812	0.277	0.403	0.446
und → gen	0.641	0.351	35.636	0.274	0.410	0.452
gen → gen	0.641	0.367	37.312	0.354	0.533	0.525

理解迁移改善五项指标，但 BLEU 从 0.277 降至 0.274；直接训练的 METEOR、F1、BLEU 更高，却使 CER 与编辑距离恶化。因此“直接训练文字准确性更好”需要注明所指指标，不能概括为全部指标胜出。

消融实验¶

本文的关键分析是跨架构干预而非删模块消融。下表摘录原文表 1，均为计数准确率（%），箭头两端分别为基线和跨任务训练后的结果。

模型	架构特征	und → gen	gen → und
Lumina-DiMOO	共享主干与视觉编码器	48.0 → 57.0	22.0 → 30.0
Janus-Pro	共享主干、分离视觉编码器	38.0 → 32.0	37.0 → 38.0
BAGEL	分支主干、联合注意力	42.0 → 47.0	63.0 → 64.0
BLIP3-o	分离主干、条件传递	31.0 → 37.0	63.0 → 62.0

关键发现¶

迁移方向依能力而变。 表 6 的空间准确率迁移强度为 und → gen 53.8%、gen → und 21.4%；文字 METEOR 则为 5.4% 与 27.6%。但文字 WER 是 100% 与 28.9%，因此反向更强并非对每个文字指标都成立。
细粒度迁移确实存在。 表 5 中，生成训练使文字识别 CER 从 0.073 降到 0.061，直接理解训练则为 0.042；能迁移不代表可以替代目标任务监督。
通用能力大体保留，不是完全不降。 表 7 中计数理解训练后 MMMU 为 57.7 → 62.0，MME-P 却为 1534 → 1492，POPE 为 86.7 → 86.4；应保留这些局部退化。

亮点与洞察¶

用同一能力的双任务形式检验迁移，比跨任务总榜涨分更容易解释。尤其是把生成训练与理解训练分开，避免把目标任务直接监督误算为迁移。
合成数据不必同时适合“教概念”和“教外观”。空间拼贴数据说明，理解监督可以让概念知识有用，而较少把低保真训练风格带进生成。
把生成分布保持与任务正确性分开评价具有复用价值。实际后训练可以同时设置专项性能和原模型分布偏移的检查，而不是只选择专项最高分 checkpoint。

局限与展望¶

作者讨论的范围限制： 联合训练分析只发生于已预训练模型的后训练阶段，且使用高度围绕计数配对的数据；作者承认无法区分优化冲突、数据配置与预训练阶段差异的影响。
因果证据不足： 四个模型的预训练语料、目标和初始化并未完全匹配，不能仅凭表 1 证明编码器共享导致迁移。更强的验证应在相同训练条件下控制共享程度。
评测口径限制： 检测器与 OCR 的错误可能影响能力分数；FID 对基线只测偏移，基线本身的缺陷也可能被保留。所列主表没有重复运行误差条或人评，微小文字收益的稳定性仍待验证。
外推仍有限： 三项能力与合成数据不能覆盖所有生成知识，附录又不在当前缓存中；更大模型、自然复杂关系、多能力联合注入的效果需额外验证。

评分¶

新颖性: 4/5。把能力级双向干预转化为可用的后训练策略，问题定义清楚。
实验充分度: 4/5。覆盖四种架构、三类能力及质量检查，但因果控制、误差条和可用训练细节仍不足。
写作质量: 4/5。主线与对照清晰，文字指标数量、上界措辞和“无退化”总结需要谨慎解读。
价值: 4/5。为希望改善生成专项能力、又不愿重做生成对齐的 UMM 后训练提供具体思路。