Enhancing Alignment for Unified Multimodal Models via Semantically-Grounded Supervision¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://segros-project.github.io/
领域: 多模态VLM
关键词: 统一多模态模型、跨模态对齐、文生图微调、语义定位、自适应掩蔽

一句话总结¶

针对统一多模态模型（UMM）中文本条件稀疏与视觉目标致密的粒度不匹配痛点，本文提出 SeGroS 微调框架，通过双重亲和度过滤判别性文本词元并构建语义视觉定位图，分别提取高对齐区域作为视觉提示、保留低对齐背景作为可见上下文，将图像重构监督严格聚焦于核心语义区域，显著提升文生图对齐度与生成保真度。

研究背景与动机¶

统一多模态模型（Unified Multimodal Models, UMMs）近年来成为多模态人工智能领域的重要演进方向。相较于早先将多模态大语言模型（MLLM）与独立文生图扩散模型松散拼接的级联架构，UMM 将视觉信号与文本统一切片为离散或连续词元，在单一序列建模骨干网络中同时承载多模态理解与生成。为了克服早期单向自回归逐词元生成在二维空间建模效率低下及缺乏全局几何感知的缺陷，当前主流 UMM 广泛采用基于掩蔽重构或去噪扩散的生成范式，例如将自回归与掩蔽扩散融合的 Show-o，以及基于掩蔽自回归（MAR）的 Harmon。这些方法在训练时采用随机掩蔽生成受损图像，并指导模型基于文本提示重构被遮蔽的图像词元。

然而，这种通用的生成式微调范式存在根本性的表征瓶颈——文本条件与视觉目标之间的「粒度不匹配」（granularity mismatch）。文本提示通常由抽象且稀疏的高层概念构成，仅描述了核心物体与粗略关系，而底层的二维视觉目标却承载着高密度的空间纹理、光照布局及几何细节。这就造成单句文本天然对应着巨大的合法图像变化空间。在标准的随机掩蔽重构中，模型被迫去拟合目标图像中未被文本指定的特定实例级偶然细节（如背景杂波、随机视角与无关纹理），甚至在生成语义完全合理但细节不一致的合法变体时遭受损失惩罚。虽然近期有工作（如 Reca）尝试引入全图视觉提示来弥补文本的先验缺失，但全量输入整图图像词元引入了严重的监督冗余，反而稀释了模型对核心对齐区域的注意力；同时其下游重构仍旧沿用与语义无关的随机掩蔽，大量优化容量被浪费在非关键区域。

本文的切入视角在于：与其让模型在充满噪声的全局随机掩蔽中艰难猜测未被定义的细节，不如借助文本与图像底层的局部语义相关性，为 UMM 定制一套细粒度的结构化监督范式。核心 idea：通过双重亲和度筛选关键文本词元并构建细粒度视觉定位图，一方面抽取高对齐区域作为视觉提示补充文本稀疏性，另一方面将低对齐背景作为可见上下文，把掩蔽重构损失精准施加在与文本高度绑定的核心实体区域。

方法详解¶

整体框架¶

SeGroS 的核心目标是在不改变 UMM 推理结构的前提下，通过重塑微调阶段的输入条件与重构目标分配来提升跨模态对齐质量。在微调训练时，系统输入配对的文本描述与真实图像。首先，通过模态内和跨模态双重亲和度评估，过滤掉冗余虚词并提取出最具有视觉对应性的判别性文本词元；随后，利用保留的文本词元与图像局部特征构建细粒度「视觉定位图」（Visual Grounding Map），并注入微量均匀噪声以打破空间确定性坍缩；最后，基于该定位图构建两路互补监督信号：一是挑选得分最高的局部视觉词元作为「语义视觉提示」（Visual Hints）拼接在条件端，二是将得分最低的背景词元设为可见上下文，使模型必须在文本与局部视觉提示联合引导下重构被掩蔽的核心实体区域。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：文本提示 Z_T 与真实图像 Z_I"] --> B["判别性文本词元过滤<br/>模态内中心度 + 跨模态相关度"]
    B --> C["语义对齐视觉定位图<br/>加权注意力投影 + 均匀噪声扰动"]
    C --> D["语义视觉提示与反向遮蔽输入<br/>Top-K提取条件提示 + Bottom-K保留可见背景"]
    D --> E["统一多模态骨干网络 (UMM)<br/>联合文本与提示重构核心语义掩蔽区"]
    E --> F["输出：高对齐跨模态表征与高质量图像"]

关键设计¶

1. 判别性文本词元过滤：模态内与跨模态双重亲和度联合筛选核心语义词

若对文本中的所有词元均等地计算视觉相关度，虚词、标点以及注意力吸收池（如 [BOS]、[EOS]）会严重拉低核心语义实体的定位峰值。为此，SeGroS 从纯语言结构与图文对应两个维度对文本进行双重筛选。首先在文本模态内，提取词元嵌入 $\hat{Z}_T \in \mathbb{R}^{L_T \times D}$ 并计算自亲和矩阵 $S = \hat{Z}_T \hat{Z}_T^\top$，在排除特殊标记后经行归一化 Softmax 得到自注意力转移概率矩阵 $P^{\text{self}}$，通过沿列累加各词元被其他词元关注的总量计算出模态内中心度分数 $s^{\text{intra}}_j = \sum_{k=1}^{L_T} P^{\text{self}}_{kj}$，该设计能精确捕捉短语级的依存耦合（例如 "boys-lying" 或 "playing-game"）。接着在跨模态维度，利用图像词元 $\hat{Z}_I$ 与文本词元 $\hat{Z}_T$ 计算跨模态亲和矩阵 $A = \hat{Z}_I \hat{Z}_T^\top$，将视觉词元向文本词元转移的 Softmax 概率沿全图所有视觉位置累加，得到跨模态相关度分数 $s^{\text{inter}}_j = \sum_{i=1}^{N_I} P^{\text{cross}}_{ij}$，剔除在图像中未实际出现的离题词汇。两组得分经 Min-Max 归一化后相乘得到综合重要性指标： $$\Omega_j = \tilde{s}_j^{\text{intra}} \cdot \tilde{s}_j^{\text{inter}}$$ 根据保留比例 $\rho = 0.4$，仅选取综合得分排名前 $K_T = \lfloor \rho L_T \rfloor$ 的词元激活二值过滤掩码 $w \in \{0, 1\}^{L_T}$，其余冗余词元在后续定位中被彻底阻断。

2. 语义对齐视觉定位图：加权注意力聚合与微量均匀噪声扰动机制

在确定关键文本词元集合后，系统需要定位出图像中各个图块（patch）的语义归属。SeGroS 计算文本向图像词元的跨模态注意力转移矩阵 $P^{\text{cross}}(Z_T \to Z_I)$，并将筛选后的有效文本权重 $w_j$ 作为调制门控，把所有关键文本对第 $i$ 个图像图块的注意力概率累加，得到初始视觉定位得分 $m_i = \sum_{j=1}^{L_T} w_j \cdot P^{\text{cross}}(Z_T \to Z_I)_{ji}$。经全局 Min-Max 归一化至 $[0, 1]$ 得到 $\bar{m}_i$。然而，图像空间天然具备连续性与空间冗余性，若直接按照确定性分数进行严格切分，会导致模型在不同训练轮次中被反复暴露或掩蔽完全相同的固定网格，从而引发确定性过拟合与表征坍缩。为此，SeGroS 在归一化定位分数上显式叠加了轻量级均匀随机扰动： $$\tilde{\mathbf{m}} = \bar{\mathbf{m}} + \boldsymbol{\xi}, \quad \boldsymbol{\xi} \sim \mathcal{U}([0, 0.5]^{N_I})$$ 这一随机扰动打破了刚性网格绑定的边界，在严格保证语义主体统计排名前列的前提下，促使模型学会在不完全同质的局部上下文中感知整体几何结构。

3. 语义视觉提示与反向遮蔽输入：双向重构训练监督分配

基于扰动后的定位图 $\tilde{\mathbf{m}}$，SeGroS 颠覆了传统随机采样的掩蔽逻辑，同时重塑了条件提示与重构目标。一方面，为了弥补文本的先验匮乏且不带来全图冗余，根据预设比例 $\eta \in [0.3, 0.4]$ 提取定位得分最高的 Top-$\lfloor \eta N_I \rfloor$ 个图像图块构成语义视觉提示 $Z_I^{\text{hint}}$，仅向生成模型提供核心实体的外观线索；另一方面，针对模型要重构的受损输入 $\tilde{Z}_I^{\text{SeGroS}}$，在给定掩蔽比例 $\gamma(t) \in [0.7, 1.0)$ 下，模型优先选择定位得分最低的 Bottom-$K_{\text{seen}}$ 个背景图块作为可见上下文保留（其中 $K_{\text{seen}} = N_I - \lfloor \gamma(t) N_I \rfloor$），而将其余定位得分高、承载核心文本语义的图块全部用可学习的 [MASK] 标记替换。这种「保留背景、遮蔽核心实体」的反向构造，迫使网络无法依靠简单的背景平滑性走捷径，必须在文本描述与有限视觉提示的引导下，将重构算力百分之百倾注在前景实体的几何轮廓与关键属性还原上。

损失函数 / 训练策略¶

在训练阶段，SeGroS 采用跨模态生成与理解联合多任务优化目标。对于文生图（T2I）支路，模型 $f_\theta$ 以文本词元 $Z_T$ 和语义视觉提示 $Z_I^{\text{hint}}$ 为联合条件，处理受损序列 $\tilde{Z}_I^{\text{SeGroS}}$，并且仅在被掩蔽的核心区域集合 $\mathcal{M}$ 上计算重构损失；对于图生文（I2T）多模态理解支路，保留标准的自回归交叉熵损失以维持多模态推理能力： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{t2i}} + \lambda \mathcal{L}_{\text{i2t}}$$ 其中重构损失 $\mathcal{L}_{\text{t2i}} = \ell(f_\theta(Z_T, Z_I^{\text{hint}}, \tilde{Z}_I^{\text{SeGroS}}), Z_I)$ 在离散扩散模型（Show-o）上实例化为交叉熵负对数似然，在连续潜空间模型（Harmon）上实例化为均方误差（MSE）。超参数设置上，Softmax 温度系数 $\tau = 1.0$，文本保留比例 $\rho = 0.4$，多任务平衡权重 $\lambda = 1.0$，视觉提示比例 $\eta = 0.3$（Show-o 512 分辨率下取 $0.4$）。在测试推理阶段，无需生成视觉定位图或视觉提示，直接输入纯文本由原始 UMM 自回归/并行解码生成图像，推理架构与计算开销完全保持不变。

实验关键数据¶

主实验¶

论文在三种截然不同的 UMM 架构体系（Show-o 离散扩散、Harmon 连续掩蔽自回归、OpenUni 双流混合）以及 0.5B 到 3.6B 参数规模上全面评测了 SeGroS，基准涵盖精细实体对齐评测 GenEval、密集提示生成评测 DPGBench 以及组合语义评测 CompBench。微调数据集采用 MidjourneyV6 与 BLIP3o-60k，并混入 LLaVA-Instruct-150K 保持理解能力。

模型架构	微调方法	GenEval 单物体	GenEval 双物体	GenEval 计数	GenEval 颜色	GenEval 位置	GenEval 属性	GenEval 总分 ↑	DPGBench 总分 ↑	CompBench 总分 ↑
Show-o-256	w/o SFT	97.4	63.3	52.1	82.3	14.2	30.3	56.60	70.65	73.58
Show-o-256	SFT*	97.8	63.4	53.4	80.3	16.5	33.5	57.50	74.60	75.37
Show-o-256	Reca	97.4	73.6	56.0	83.8	20.3	40.2	61.90	75.70	77.50*
Show-o-256	Ours (SeGroS)	98.1	72.5	54.4	86.4	21.0	41.0	62.22	76.52	78.30
Show-o-512	w/o SFT	97.2	80.3	61.9	78.2	27.3	52.3	66.20	82.21	80.53
Show-o-512	SFT*	97.2	84.1	66.6	80.9	26.8	46.8	67.03	81.80	80.02
Show-o-512	Reca	98.1	93.4	64.7	79.8	38.0	55.8	71.63*	84.94	84.47
Show-o-512	Ours (SeGroS)	97.8	91.4	65.0	81.9	35.0	53.0	70.69	85.18	84.35
OpenUni-1.6B	w/o SFT	96.8	63.3	46.4	80.1	18.5	30.8	56.00	76.29	75.47
OpenUni-1.6B	SFT*	97.8	76.8	55.9	81.9	25.5	36.0	62.32	79.70	81.25
OpenUni-1.6B	Reca	96.6	85.4	52.5	84.3	46.5	50.8	69.33*	80.45	83.10*
OpenUni-1.6B	Ours (SeGroS)	98.8	84.6	56.9	84.0	38.8	54.0	69.50	81.33	83.83
OpenUni-3.6B	w/o SFT	99.1	71.8	51.9	83.9	23.3	41.6	61.90	79.02	78.84
OpenUni-3.6B	SFT*	98.8	81.3	55.9	85.9	25.0	48.8	65.94	80.45	82.60
OpenUni-3.6B	Reca	99.1	92.7	52.3	87.1	43.8	70.3	74.10	82.75	86.00*
OpenUni-3.6B	Ours (SeGroS)	99.7	95.2	52.5	85.1	46.8	73.0	75.37	83.37	86.14
Harmon-0.5B	w/o SFT	99.7	80.5	55.8	86.7	32.2	49.7	67.60	80.12	80.34
Harmon-0.5B	SFT*	100.0	86.4	64.4	87.5	37.8	56.5	72.10	82.50	83.50
Harmon-0.5B	Reca	99.9	92.3	59.4	91.7	58.5	70.7	78.70	84.67	85.70*
Harmon-0.5B	Ours (SeGroS)	100.0	90.2	65.3	91.5	66.0	75.8	81.50	85.40	86.90
Harmon-1.5B	w/o SFT	99.4	87.3	68.7	86.4	44.9	51.1	72.90	80.93	81.36
Harmon-1.5B	SFT*	99.1	94.7	77.8	86.4	78.3	74.0	85.00	85.60	87.32
Harmon-1.5B	Reca	–	–	–	–	–	–	85.20	86.50	87.20*
Harmon-1.5B	Ours (SeGroS)	100.0	97.7	79.1	90.4	83.5	81.3	88.66	86.58	88.08

消融实验¶

1. 视觉提示比例 $\eta$ 的冗余度分析（基准模型 Harmon-0.5B，MidjourneyV6 数据集）

提示比例 $\eta$	GenEval 总分 ↑	DPGBench 总分 ↑	说明
0% (无视觉提示)	72.10	82.50	纯文本条件微调基线（等同于标准 SFT）
10%	80.40	84.50	提示过稀疏，未能提供足够的空间结构锚点
30% (本文默认)	81.50	85.40	最佳平衡点，保留核心语义且消除非关键冗余
50%	81.20	85.10	性能开始轻微受冗余图块干扰
80%	79.80	84.90	引入较多非对齐背景杂波
100% (全图输入，类似 Reca)	79.20	84.50	严重冗余导致注意力被背景稀释，掉点 2.3 分

2. 文本过滤组件消融与提示/掩蔽分配设计（基准模型 Harmon-0.5B）

实验切面	配置组合	GenEval 总分 ↑	DPGBench 总分 ↑	核心观察
文本亲和度组件	无过滤 baseline (– / –)	79.20	84.00	包含所有虚词，注意力分散
	仅模态内 $\tilde{s}^{\text{intra}}$ (✓ / –)	79.80	84.80	强化了动宾等短语结构，但未确认视觉存在性
	仅跨模态 $\tilde{s}^{\text{inter}}$ (– / ✓)	81.50	84.80	筛选出强视觉词，大幅提分
	双重亲和度联合 (✓ / ✓)	81.50	85.40	兼顾语言结构与视觉落地，DPGBench 达到最高
提示与上下文分配	Hint: Bot, $Z_I^{\text{seen}}$: Top	79.50	84.60	提示给背景、重构给背景，严重背离核心语义
	Hint: Bot, $Z_I^{\text{seen}}$: Bot	80.40	84.50	提示背景无法引导前景重建
	Hint: Top, $Z_I^{\text{seen}}$: Top	79.90	84.80	前景可见导致重构目标流失到无关背景
	Hint: Top, $Z_I^{\text{seen}}$: Bot (本文)	81.50	85.40	提示前景实体、保留背景上下文、重构核心主体

3. 掩蔽监督集中度验证（Drop-Loss 分析）

方法配置	视觉提示比例	掩蔽采样分布	参与梯度回传的损失目标	GenEval ↑	DPGBench ↑
标准 SFT	0%	$\mathcal{U}[0.7, 1.0)$ 随机	全部被掩蔽区域	72.10	82.50
Ours (SeGroS)	30%	$\mathcal{U}[0.7, 1.0)$ 自适应	全部被掩蔽区域（以核心实体为主）	81.50	85.40
Ours (drop-loss)	30%	$\mathcal{U}[0.7, 1.0)$ 自适应	仅回传定位分最高的 Top-30% 核心目标	82.10	84.70

关键发现¶

视觉提示的冗余陷阱与「少即是多」：表 3 的消融直接击中了 Reca 等图像条件微调工作的软肋。盲目将图像的 100% 图块作为提示输入，GenEval 分数仅为 79.2；而仅保留与文本最匹配的 30% 核心图块作为提示，不仅节省了计算量，性能反而跃升至 81.5（提升 +2.3）。这证明未经筛选的密集视觉提示存在严重的注意力稀释效应。
反向掩蔽（Bottom 留存，Top 重构）的不可替代性：表 5 表明，若将 Top 图块作为可见上下文保留（即保留核心、重构背景），GenEval 会骤降至 79.5-79.9。只有严格让网络「看见背景、盲猜主体」，才能迫使多模态 Transformer 真正建立起从文本指令到目标几何的高阶对齐。
Drop-Loss 的极致算力聚焦：表 6 显示，当在反向掩蔽的基础上进一步将重构损失收敛到仅回传 Top-30% 的核心语义目标时，GenEval 进一步微升至 82.10，远远抛离标准 SFT（72.10）。这说明对于跨模态对齐而言，大面积背景重构带来的梯度很多是无意义的噪声更新。
理解与生成双向协同：表 2 的多模态理解评测表明，更加扎实细致的生成重构微调不仅没有发生灾难性遗忘，反而促进了理解能力，在 MME（1217 vs 1195）、POPE（84.5% vs 84.0%）和 MMMU（36.0 vs 34.7）上均优于未经微调的初始模型。

亮点与洞察¶

模态内中心度与跨模态相关度的正交解耦：许多方法直接用 CLIP 文本-图像相似度打分，往往会选出像 "standing"、"photo" 等孤立但与图像均值相似的平庸词。SeGroS 引入模态内自注意力累计，精准锁定了成对出现的谓词与实体（如 "playing tennis"），再辅以跨模态匹配，保证了文本过滤既符合语法主干又扎根视觉现实。
微量均匀噪声克服空间确定性坍缩：在视觉定位图后加入 $\mathcal{U}[0, 0.5]$ 的均匀噪声扰动是极其聪明的实践经验。图像网格不同于文本 token 的强离散独立性，刚性排序会导致模型在训练全周期反复拟合完全相同的边界网格，导致泛化性能下滑；噪声注入兼顾了语义指向与上下文变化的多样性。
完全免推理代价的无痛微调即插即用性：SeGroS 构建的视觉定位图、视觉提示以及反向掩蔽受损输入全部发生在离线训练前处理与前向传播中，推理端完全不需要任何先验图或外部检测器，直接输入原始 prompt 即可享受对齐带来的红利。

局限与展望¶

作者承认的局限：SeGroS 的定位图生成严重依赖于底层视觉与文本 Tokenizer 的原始表征质量。如果初级编码器本身在细粒度多目标或极小目标（tiny objects）上的交叉注意力存在错位，提取出的视觉提示可能会产生定位漂移，从而将非关键区域误判为核心实体。
潜在改进方向：当前框架中的视觉提示比例 $\eta$ 与文本保留比例 $\rho$ 采用全局固定的启发式超参数（如 0.3 与 0.4）。对于不同复杂度（简单单主体 vs. 密集复杂多物体交互）的图像，其语义密度天然不同。未来若能根据图像的信息熵或文本实体的依存树深度实现自适应提示率（Dynamic Hint Ratio），有望进一步提升复杂多主体场景下的对齐上限。

评分¶

新颖性: ⭐⭐⭐⭐☆ (精巧地指出了现有 UMM 图像提示微调中的监督冗余与粒度不匹配，提出的双重亲和度过滤与反向语义掩蔽构思新颖)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 Show-o、Harmon、OpenUni 三大家族，横跨 0.5B 到 3.6B 多种规模，在三大权威生成 Benchmark 及 6 项理解评测上进行了详尽对比与消融)
写作质量: ⭐⭐⭐⭐⭐ (逻辑推导环环相扣，从图 1 的范式对比到表 3-6 的递进消融极其清晰扎实)
价值: ⭐⭐⭐⭐☆ (对统一多模态模型的生成式后训练与精细化对齐提供了极具启发性的工程方案与理论支持)

方法配置	视觉提示比例	掩蔽采样分布	参与梯度回传的损失目标	GenEval ↑	DPGBench ↑
标准 SFT	0%	\(\mathcal{U}[0.7, 1.0)\) 随机	全部被掩蔽区域	72.10	82.50
Ours (SeGroS)	30%	\(\mathcal{U}[0.7, 1.0)\) 自适应	全部被掩蔽区域（以核心实体为主）	81.50	85.40
Ours (drop-loss)	30%	\(\mathcal{U}[0.7, 1.0)\) 自适应	仅回传定位分最高的 Top-30% 核心目标	82.10	84.70