SPAR: Semantic-Pixel Self-Alignment and Adaptive Routing for Unified Multimodal Models¶

会议: ECCV2026
论文: ECCV 原文
项目: SPAR
领域: 多模态 VLM
关键词: 统一视觉分词器、语义像素对齐、动态 token 路由、图像生成、图像编辑

一句话总结¶

SPAR 先用非对称双流 tokenizer 协调语义保持与像素重建，再以逐 token 跨层路由和内部表征对齐驱动扩散生成，使 SPAR-3B 在 GenEval 达到 0.91、WISE 达到 0.64，同时大体保持原始视觉理解能力。

研究背景与动机¶

视觉语言模型擅长识别物体、理解关系和回答问题，但其视觉编码器不一定保留足够的信息来重建输入图像。语义学习鼓励忽略不影响类别或语义的纹理差异，而生成和编辑恰恰需要这些局部纹理与空间细节。传统扩散模型因此使用面向重建的 VAE 潜空间，理解模型则使用高维语义特征，两者并没有天然共享同一种视觉表示。 RAE 等方法尝试直接在语义空间建模，但本文指出，仅给冻结的语义编码器接上解码器，仍容易出现模糊和结构失真。

把编码器全部解冻也不是直接答案，因为像素重建梯度可能改写其原有的判别结构，导致理解能力遗忘。如果一个变换分支同时负责保留抽象语义和补充重建细节，两个目标还会竞争相同的表示容量。此外，用外部 DINO 类教师指导扩散模型，可能让生成网络对齐到一个与自身视觉输入接口不同的空间。最后，即使表示空间已经改善，只取 MLLM 最后一层作为生成条件，也会忽略不同 token 对浅层结构与深层语义的不同需求。

本文由此把问题分成表示空间的构造、生成条件的提取，以及生成网络的训练监督三个相互衔接的环节。它没有要求所有模块变成同一个网络，而是让理解编码、重建潜变量和生成中间表示具有可协调的接口。 核心 idea：用轻量语义分支守住判别信息、用较重像素分支学习重建映射，再让生成器接受逐 token 跨层条件和该 tokenizer 自身提供的表征监督。

方法详解¶

整体框架¶

输入可以是文本，也可以是文本加参考图像；理解任务输出文本，生成与编辑任务输出图像。 SPAR 先训练语义像素双流 tokenizer，再将其优化后的视觉编码器用于 InternVL3，并连接 SANA 扩散 Transformer（DiT）。动态 token 路由从冻结 MLLM 的多层隐藏状态构造生成条件，内部表征自对齐则在训练时约束 DiT 的中间特征。这两种连接不能混为一谈：前者是推理时的数据流，后者是依赖真实训练图像的监督信号。以下图中实线表示条件或生成数据流，虚线表示训练监督；tokenizer 内部的重建训练在后文展开。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Input["文本 / 参考图像 /<br/>训练目标图像"] --> Tok["语义像素双流<br/>tokenizer"]
        Input -->|文本与可学习查询| MLLM["冻结 MLLM<br/>多层隐藏状态"]
        Tok -->|参考图像的编码器特征| MLLM
        MLLM --> DTR["动态 token 路由"]
        DTR -->|连接器与条件投影| DiT["DiT 生成过程"]
        Tok -.->|训练目标的编码器特征| Align["内部表征自对齐"]
        DiT -.->|训练时中间特征| Align
        DiT --> Output["紧凑潜变量<br/>像素解码器输出图像"]

关键设计¶

1. 语义像素双流 tokenizer：把保留语义和适配重建交给不同容量的分支

两个分支都从语义编码器的特征出发，并不是推理时分别运行一个语义编码器和一个像素编码器再拼接。输入图像经过语义编码器后，得到保留空间排列的高维特征，特征维度记为 \(D_s\)。语义分支只使用残差块和 MLP 投影，将它映射到维度更小的紧凑空间 \(D_p\)，其中 \(D_p \ll D_s\)。实现中该分支使用 3 个残差块，目的是在改变接口维度时尽量少扰动已有语义，而不是重新学习一个重建网络。像素分支则额外使用 6 层 Transformer，通过全局自注意力整合空间位置，再经残差块和 MLP 映射到相同的紧凑维度。它承担的是从判别特征到像素解码器原生潜空间的适配，因此获得更多计算容量。

两路紧凑特征按通道拼接，经融合层重新投影回紧凑维度，最后交给 DC-AE 的像素解码器重建图像。理解任务使用优化后的视觉编码器特征；融合后的紧凑潜变量服务于重建和扩散建模，二者不是同一层输出。这也解释了为什么“统一 tokenizer”不意味着直接把原始高维语义特征当作扩散潜变量。非对称结构本身不能保证语义不遗忘，真正的语义锚还包括后续训练中的冻结编码器副本与特征约束。同样，“恢复细节”不应理解为从已被严格丢弃的信息中无损逆推出原图；前期靠学习映射，最后还要微调编码器以保留更多像素线索。这是对机制边界的解释，论文实际证明的是重建指标改善，而非信息可逆性。

2. 动态 token 路由：为每个位置选择不同的 MLLM 层组合

生成位置由可学习查询嵌入占据，查询与文本 token、可选参考图像 token 一起送入 MLLM。位于序列后部的查询可通过因果自注意力读取前面的指令和参考图像，从而成为待生成图像的隐式条件表示。 MLLM 的不同层包含不同抽象程度的信息，固定最后一层或对所有 token 使用同一组融合权重会丢失这种差异。 DTR 从包含嵌入层输出的隐藏状态集合中均匀采样 \(K\) 层，默认 \(K=4\)，再逐 token 计算跨层权重。路由网络以采样层中最深层的当前 token 特征作为输入，因为它具有最充分的上下文来判断该位置需要什么信息。温度 softmax 产生层权重，可学习的逐层缩放进一步校准各层特征幅度，最后线性投影为连接器可用的表示。

\[ w_i=\operatorname{softmax}\!\left(\frac{g(H_i^{(K)})}{\tau}\right),\qquad \widehat H_i=W_p\left(\sum_{k=1}^{K}w_i^{(k)}\alpha^{(k)}H_i^{(k)}\right). \]

这里 \(H_i^{(k)}\) 是第 \(i\) 个 token 在第 \(k\) 个采样层的特征，\(\alpha^{(k)}\) 是可学习的层缩放，默认温度 \(\tau=1.0\)。这个路由沿“层”维度进行，不是选择不同生成专家，也没有宣称跳过未选中的 MLLM 计算。各 token 的权重可以不同，但论文并未预先硬编码“边缘看浅层、语义看深层”的规则。权重可视化被提出作为解释层偏好的手段；当前正文没有提供足以验证各类 token 具体偏好的定量分析。

3. 内部表征自对齐：用优化后的视觉编码器监督 DiT 中间层

经过双流训练后，视觉编码器已经兼顾语义保持和像素表达，因此作者将它作为生成训练的内部教师。训练时，目标图像产生教师侧的编码器特征，DiT 在生成训练过程中提供指定中间层的特征。一个 MLP 对齐头把 DiT 特征投影到可比较的空间，然后按位置最大化与教师特征的余弦相似度。论文将其写成最小化负平均余弦相似度，其中 \(N\) 是参与对齐的位置数。

\[ \mathcal L_{\mathrm{align}}=-\frac{1}{N}\sum_{i=1}^{N} \cos\!\left(\phi_a(f_{\mathrm{dit},i}),f'_{v,i}\right). \]

这里 \(f'_{v,i}\) 表示教师侧投影后的编码器特征，而不是直接把双流融合潜变量作为余弦目标。这样扩散模型的表征监督与视觉理解接口来自同一个优化后的 tokenizer，不再额外引入一个独立语义特征网络。但“无需外部教师”只针对这一生成对齐阶段，不能延伸为整个系统不需要预训练模块或教师副本。 tokenizer 训练仍依赖冻结的像素编码器提供潜变量锚，以及冻结的语义编码器副本提供自蒸馏目标。推理时没有真实目标图像可供对齐，因而保留的是学到的 DiT 参数和 DTR 条件路径，不需要在线计算该损失。

一个完整示例¶

以论文图 3 的“给图中的猫加一副太阳镜”为例，参考图像首先由优化后的视觉编码器转成输入特征。文本指令、参考图像 token 和图像生成查询构成同一序列，查询在因果注意力下汇总编辑要求与原图语义。 DTR 为各位置融合 4 个采样层的表示，经连接器形成 DiT 的条件，而不是直接输出眼镜的位置或像素掩码。 DiT 在紧凑空间中生成编辑后的图像潜变量，再由像素解码器还原可见图像。如果这是训练样本，真实编辑结果还会产生教师特征，约束 DiT 中间层；实际使用时这条监督路径不存在。例子用于说明数据流，不代表论文给出了这一个样本的独立成功率或局部保持分数。

损失函数 / 训练策略¶

这里有两套各自包含 3 个阶段的训练，不能把 tokenizer 的解冻阶段误认为统一模型在解冻语言模型。 tokenizer 第一阶段冻结视觉编码器和像素解码器，只训练双流及融合相关模块。除像素 MSE 和 LPIPS 重建损失外，它还最小化像素分支潜变量与冻结像素编码器输出之间的平方误差。这个显式像素锚先教会新分支进入已有解码器能处理的空间，而不是让解码器与映射同时随意漂移。第二阶段继续冻结视觉编码器，解冻像素解码器，只用 MSE 与 LPIPS 让解码器适应融合后的潜变量分布。第三阶段解冻视觉编码器，以冻结副本的输出作为平方误差语义对齐目标，并将编码器学习率设为全局学习率的 \(0.1\times\)。这一阶段保留重建损失，并在一定训练步数后加入 GAN 损失；缓存正文没有提供该启用步数及各损失权重的具体值。

统一模型第一阶段冻结 MLLM 和 DiT，只训练连接器、条件投影、查询嵌入和 DTR，以生成数据上的 flow matching 损失学习条件接口。第二阶段继续冻结 MLLM，联合训练连接器与 DiT，并在 flow matching 上加入加权内部表征自对齐，混合生成与编辑数据。第三阶段维持第二阶段的参数配置，在高质量指令数据上进行监督微调。 SPAR-1B 使用 InternVL3-1B、Qwen2.5-0.5B 和 SANA-0.6B；SPAR-3B 使用 InternVL3-2B、Qwen2.5-1.5B 和 SANA-1.6B。生成数据来自 BLIP3o 的 27M 重描述数据、CC12M 的 5M 子集和 JourneyDB 的 4M 合成图像。编辑训练使用 GPT-Image-Edit，指令微调使用 BLIP3o-60K 与 ShareGPT-4o-Image。作者强调无需额外理解任务训练数据，但这不等于模型未继承 InternVL3 的理解预训练知识。

实验关键数据¶

主实验¶

重建结果来自原文表 1，第 10 页：ImageNet 50k 验证集，分辨率 \(256\times256\)；rFID 越低越好，PSNR 与 SSIM 越高越好。表中 Ratio 保留原文的空间压缩倍率，不应读成统一的参数量或计算预算。

模型	类型	Ratio	rFID ↓	PSNR ↑	SSIM ↑
RAE	仅生成	16	0.49	19.23	0.620
DC-AE	仅生成	32	0.69	23.85	0.660
VA-VAE	仅生成	16	0.28	27.96	0.790
DualToken	统一	16	0.54	23.56	0.742
UniLIP	统一	32	0.79	22.99	0.747
SPAR	统一	32	0.27	26.65	0.856

SPAR 在这组统一 tokenizer 中三项指标均最佳，但不是在所有生成 tokenizer 上全面领先：VA-VAE 的 PSNR 为 27.96，高于 SPAR 的 26.65。文生图结果来自原文表 3，第 12 页，均报告基准分数而不是百分比；不同系统的数据和训练预算并未统一。

模型	GenEval Counting ↑	GenEval Position ↑	GenEval Overall ↑	WISE Overall ↑
FLUX.1-dev	0.75	0.68	0.82	0.50
Janus-Pro	0.59	0.79	0.80	0.35
BAGEL	0.81	0.64	0.82	0.52
OpenUni-L	0.77	0.75	0.85	0.52
SPAR-1B	0.83	0.85	0.89	0.57
SPAR-3B	0.84	0.87	0.91	0.64

消融实验¶

以下来自原文表 5，第 14 页；重建同样在 ImageNet 50k、\(256\times256\) 上评测，理解分数来自对应多模态基准。完整配置的理解分数对应主表中的 SPAR-1B 结果，不应套用为 SPAR-3B 消融。

配置	rFID ↓	PSNR ↑	SSIM ↑	MME-P ↑	MMB ↑	MMVP ↑
完整模型	0.27	26.65	0.856	1500	73.0	68.9
去掉像素分支	0.31	24.62	0.788	1499	72.6	68.7
去掉语义分支	0.29	25.28	0.804	709	18.4	50.0
冻结编码器	6.14	16.26	0.572	1492	72.6	67.3

去掉像素分支使 PSNR 降低 2.03，而去掉语义分支使 MMB 从 73.0 降至 18.4；两路分别承担细节重建和语义保持，证据较明确。冻结编码器显著损害重建，说明其后续微调并非可有可无；但正文没有完整展开这一消融的逐阶段预算，不能由单行结果外推所有冻结方案。原文表 6，第 15 页：完整模型的 GenEval/WISE/ImgEdit 为 0.89/0.57/3.85，去掉 DTR 后为 0.86/0.54/3.73，去掉自对齐后为 0.86/0.53/3.78。正文称去掉 DTR 的整体下降最大，但并非每项如此：WISE 在去掉自对齐时下降更多，GenEval 两种去除配置相同。

关键发现¶

理解大体保留，而非逐项无损：原文表 2，第 11 页，SPAR-1B 的 MMMU 为 43.2，略低于 InternVL3-1B 的 43.4；其 MME-P 则从 1492 升至 1500。
编辑效果较强：原文表 4，第 14 页，SPAR-3B 的 ImgEdit Overall 为 4.01，OmniGen2 为 3.44，GPT-4o 为 4.20。
原文第 13 页将相对 OmniGen2 的增益写成 +0.58，但表格数值相减为 0.57；这里保留原值并标记冲突，不把两者静默改成一致。

亮点与洞察¶

非对称容量配置比简单堆叠双编码器更有针对性。语义信息主要需要约束与保持，重建映射则需要额外空间计算，消融恰好支持这一区分。
对齐教师与理解接口共用来源是一个可迁移思路。它减少了额外特征网络带来的接口差异，但不能据此认定已实证消除所有分布偏差。
DTR 把跨层特征融合从全局参数变成输入相关、位置相关的决策。它适合移植到冻结骨干连接生成器的场景，但当前证据是性能消融，而非层分工的因果证明。

局限与展望¶

作者没有单列系统性局限章节；以下限制主要来自当前正文的证据范围，而非作者明确承认的失败结论。
缺少训练步数、完整损失权重、采样预算、硬件开销和多次运行误差，难以复现全部成本或判断小幅理解提升的统计意义。
表 2 与表 3 的参数栏口径不同，SPAR-3B 在前者列为 2B、后者列为 3B；不应直接把它们当作统一的总参数量来计算效率优势。
缺少等预算的外部教师对照，以及 DTR 层数、温度和静态多层融合的充分消融，尚不能分离所有增益来源。
更有价值的后续实验是分别控制 tokenizer、教师来源与路由方式，并在高分辨率细节和编辑非目标区域保持上报告误差及耗时。

评分¶

新颖性: 4/5。双流非对称容量、内部教师和逐 token 路由形成连贯方案，但各基础机制已有相关工作。
实验充分度: 4/5。覆盖重建、理解、生成与编辑，并有关键消融，但缺乏成本、随机性及更细对照。
写作质量: 3/5。主线清晰，但存在差值错误、参数口径差异及强于表格证据的概括。
价值: 4/5。为保留现有 MLLM 能力并接入生成提供了有实证支持的设计路径。