WinTok: A Win-Win Hybrid Tokenizer via Decomposing Visual Understanding and Generation with Transferable Tokens¶

会议: ECCV 2026
论文: ECCV 官方主页
代码: https://github.com/WeChatCV/WinTok
领域: 模型压缩
关键词: 统一分词器、混合编码、可迁移Token、非对称蒸馏、多模态大模型

一句话总结¶

WinTok 提出了一种混合视觉分词器架构，通过在单一统一编码器中引入可学习语义 Token 并施加非对称教师蒸馏，将视觉理解与生成在表征层彻底解耦，在仅用 50M 数据训练下实现 ImageNet-1K 分类准确率 82.0% 与重构 rFID 0.41 的双赢表现。

研究背景与动机¶

构建统一的多模态大语言模型（Unified Multimodal Models, UMMs）是当前具身与通用人工智能的核心趋势，但视觉理解与视觉生成对视觉分词器（Visual Tokenizer）的表征粒度存在根本性冲突。视觉理解任务依赖高层、连续且富含抽象语义的特征表示以对齐文本语义空间，而自回归视觉生成则高度依赖离散、细粒度且保留密集局部纹理的像素级标记。早期统一模型如 Janus、Bagel 等多采用双编码器双分支架构分别提取语义与像素标记，这不仅大幅增加了模型参数量与系统推理开销，也违背了统一端到端建模的初衷。

为此，近期研究致力于设计单编码器的统一分词器（如 UniTok、VILA-U），试图迫使单一潜在空间同时满足像素级重构损失与语义对齐损失。然而，这种硬性耦合必然引发剧烈的优化目标冲突（Optimization Conflict）：模型在反向传播中若偏向像素细节的精确拟合，就会破坏语义特征的类间可分性与抽象能力；反之，若强行约束语义对齐，重构保真度与生成细节又会急剧劣化。现有统一分词器在 ImageNet 分类准确率上通常大幅落后于专用感知编码器（如 UniTok 分类仅为 70.8%），陷入非此即彼的妥协困境。

针对这一表征权衡难题，本文提出了“分工解耦、统一交互”的新思路：在不拆分物理编码器网络的前提下，通过显式引入独立的显式语义标记来实现目标解耦。核心 idea：在统一 ViT 编码器输入端引入一组可学习语义 Token 与图像 Patch 标记联合输入，利用自注意力机制实现细节与语境的充分交互，并借助视觉基础模型实施非对称语义蒸馏，让像素标记专司细节重构、语义标记专司抽象理解，实现理解与生成的无冲突双赢。

方法详解¶

整体框架¶

WinTok 采用“统一编码器 + 双重潜在表征（Unified Encoder Dual Latent）”的混合分词架构。给定输入图像，先经由 Patch 嵌入层转换为局部像素标记序列，同时附加一组可学习的语义标记；两者在序列维度完成拼接后送入统一的视觉 Transformer（ViT）编码器。在自注意力层中，像素标记向语义标记输送局部细节，语义标记则为像素标记注入全局语义上下文。编码完成后，两组标记分别输出：像素标记经过多码本向量量化（MCQ）后送入 ViT 解码器完成高保真图像像素重构；语义标记则通过全局池化与预训练视觉基础模型（如 SigLIP2）的全局特征计算余弦相似度进行非对称蒸馏。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 X"] --> B["输入解耦与标记拼接<br/>Patch 嵌入 + M 个可学习标记"]
    B --> C["统一编码器交互处理<br/>ViT 联合自注意力机制"]
    C --> D["双路潜在特征解耦输出"]
    D --> E["像素标记离散量化与重构<br/>MCQ 矢量量化 + ViT 解码重构"]
    D --> F["语义标记非对称蒸馏<br/>全局池化 + 基础模型教师监督"]
    E --> G["重构图像 X_hat"]
    F --> H["语义对齐与多模态下游应用"]

关键设计¶

1. 输入解耦与标记拼接：通过引入显式可学习标记消除单表征挤压冲突

传统单编码器方案将所有图像 Patch 强行映射到同一组潜在标记中，兼顾密集像素与抽象语义必然造成表征能力的互相挤压。WinTok 将输入图像 $\mathbf{X}$ 切块后投影为局部像素标记 $\mathbf{P}^o = \{\mathbf{P}_1^o, \dots, \mathbf{P}_N^o\}$，同时在输入端额外拼入 $M$ 个可学习向量 $\mathbf{S}^o = \{\mathbf{S}_1^o, \dots, \mathbf{S}_M^o\}$（默认 $M=256$）。统一编码器 $\mathcal{E}$ 将两者拼接后的长序列一次性输入： $$[\mathbf{P}, \mathbf{S}] = \mathcal{E}([\mathbf{P}^o, \mathbf{S}^o])$$ 这样既保持了统一 ViT 骨干网络的单一结构和参数复用，又从输入源头上为两项任务开辟了各自专属的潜空间流动通道，让像素标记专注于高频纹理，可学习标记自适应聚合并承载整图的高层概念。

2. 语义标记非对称蒸馏：单向继承基础模型判别表征而不增加推理开销

为了让随机初始化的可学习标记 $\mathbf{S}$ 获得强大的语义抽象与零样本理解能力，作者引入了非对称标记蒸馏机制。系统选用大规模预训练的视觉基础模型 $\mathcal{T}$（如 SigLIP2-So400M）作为教师网络，提取输入图像对应的 $K$ 个语义标记 $\mathbf{T}$。由于学生端标记数量 $M$ 与教师端标记数量 $K$ 通常不对称，WinTok 对两者的特征在标记维度分别执行全局平均池化（Global Average Pooling），将变长序列压缩为全局表征向量 $\mathbf{s} = \text{Pool}(\mathbf{S})$ 与 $\mathbf{t} = \text{Pool}(\mathbf{T})$，随后通过余弦距离损失进行单向监督： $$\mathcal{L}_{sem} = 1 - \frac{\mathbf{s} \cdot \mathbf{t}}{\|\mathbf{s}\|_2 \|\mathbf{t}\|_2}$$ 这一设计允许 WinTok 无缝替换任何现成的视觉大模型作为教师（如 DINOv2、CLIP 等），在训练期以极低代价将海量弱监督预训练知识无损“转录”到可学习标记中，而在下游推理部署时完全卸载教师网络，既轻量又灵活。

3. 像素标记离散量化与重构：多码本量化解耦细节保真

在像素分支中，增强后的局部标记 $\mathbf{P}$ 专司高质量生成，不承受直接的语义对齐惩罚。系统使用多码本量化模块（Multi-codebook Quantization, MCQ）将连续的 $\mathbf{P}$ 转换为离散码本索引 $\mathbf{Q} = \mathcal{Q}(\mathbf{P})$。量化后的标记随后输入轻量级 ViT 解码器 $\mathcal{D}$ 生成重构图像 $\hat{\mathbf{X}} = \mathcal{D}(\mathbf{Q})$。为了保证梯度的连续传导，训练中利用直通估计器（Straight-Through Estimator, STE）反向传播码本梯度，并结合 $L_1$ 像素重构损失、感知损失 $\mathcal{L}_{per}$ 和对抗损失 $\mathcal{L}_{adv}$ 进行精细化纹理重建。

损失函数 / 训练策略¶

WinTok 的总体端到端优化目标由像素生成重构损失与语义蒸馏损失线性加权组合而成： $$\mathcal{L} = \mathcal{L}_{pix} + \lambda_{sem} \mathcal{L}_{sem}$$ 其中像素分支损失定义为： $$\mathcal{L}_{pix} = \|\mathbf{X} - \hat{\mathbf{X}}\|_1 + \beta \|\mathbf{P} - \text{sg}[\mathbf{Q}]\|_2^2 + \lambda_{per}\mathcal{L}_{per} + \lambda_{adv}\mathcal{L}_{adv}$$ 式中 $\text{sg}[\cdot]$ 表示停止梯度算子。编码器采用 SigLIP2-So400M 初始化，解码器从头训练。模型在由 ImageNet-1K、COYO-700M、CC12M 等开源数据集随机抽取的 50M 图像子集上进行训练，全局 batch size 为 256，最大学习率设为 $2 \times 10^{-4}$，采用余弦退火策略训练 5 个 epoch。

在接入下游统一多模态大模型时，以 Qwen3-8B 为基座，连续语义标记 $\mathbf{S}$ 经由线性投影层映射至文本词嵌入空间参与自回归理解交互；离散标记 $\mathbf{Q}$ 则采用自回归多码预测头完成条件图像生成。

实验关键数据¶

主实验¶

论文在 ImageNet-1K 验证集（$256 \times 256$ 分辨率）上对比了重构质量（rFID）与语义判别能力（Top-1 分类准确率），并在多模态理解与文本生成图像基准上进行了端到端评测。

分词器类别 / 代表方法	下采样率	训练数据量	码本容量	rFID ↓	Top-1 准确率 (%) ↑
语义专用型
CLIP-L/14	-	WIT-400M	-	-	75.5
DINOv2-L	-	LVD-142M	-	-	86.3*
SigLIP2-So/16	-	WebLI-10B	-	-	83.4
重构生成专用型
LlamaGen	16	IN-1K	$2^{14}$	2.19	-
WeTok	16	IN-1K	$2^{32}$	0.61	18.3
MGVQ	16	IN-1K	$2^{88}$	0.49	-
统一分词器
VILA-U	16	CY-700M	$2^{14}$	1.80	73.3
QLIP-L	16	DC-1B	-	1.46	79.1
DualToken	16	CC-12M	-	0.54	81.6
TokenFlow	16	LA+CY-700M	$2^{15}$	1.37	-
UniTok	16	DC-1B	$2^{96}$	0.41	70.8
WinTok (本文)	16	Mix-50M	$2^{48}$	0.41	82.0

在下游多模态理解与生成基准上的表现同样大幅领先同类统一分词器：

评估任务 / 评测集	指标	UniTok (7B)	TokenFlow-L (13B)	WinTok (8B)	性能增益
幻觉评估 POPE	Accuracy (%)	83.2	85.0	86.5	+3.3% vs UniTok
视觉问答 TextVQA	Accuracy (%)	51.6	54.1	55.2	+3.6% vs UniTok
综合理解 MMBench	Score	-	60.3	74.9	+14.6% vs TokenFlow
视觉理解 GQA	Accuracy (%)	61.1	60.3	62.4	+1.3% vs UniTok
指令对齐 GenEval	Overall Score	0.59	0.55	0.76	+0.17 vs UniTok
图像生成 DPG-Bench	Overall Score	81.18	73.38	83.36	+2.18 vs UniTok

消融实验¶

论文针对关键设计进行了详尽的机制消融验证，包括表征角色对调实验、可学习标记数量以及教师模型选择：

实验配置 / 变体	rFID ↓	Top-1 Acc (%) ↑	核心观察说明
WinTok (完整方案, M=256)	0.41	82.0	像素负责重构、可学习负责语义，两者性能最优
反向变体 LoseTok	27.39	79.2	交换分工：可学习标记负责重构，像素标记蒸馏语义；重构崩溃
可学习标记 M=50	~0.60	~79.0	语义容量受限，表征解耦不彻底，两项指标均有下降
可学习标记 M=100	~0.53	~80.2	随标记数量增加，语义表征容量与重构质量单调上升
教师模型换为 CLIP-L/14	-	77.2	仍大幅优于无解耦基线，但弱于 SigLIP2 的细粒度语义
教师模型换为 DINOv2-L	-	80.8	自监督表征具备优秀可迁移性，但语言对齐特性略弱于 SigLIP2
解码器换为 ViT-B (小尺寸)	0.60	82.0	解码器参数量影响高频细节还原，但语义准确率保持稳定

关键发现¶

表征不可错位（LoseTok 实验）：将可学习标记用于重构、像素标记用于语义蒸馏时，rFID 从 0.41 剧烈恶化至 27.39。这一巨大悬殊证明，可学习标记本质上是抽象聚合器，无法承担保留密集网格空间先验的任务；而像素 Patch 标记具备天然的空间对应性，正是承载像素级离散量化的最佳载体。
可学习标记数量的正相关性：从 50 扩充到 256 个标记，ImageNet 分类准确率由 79.0% 稳步提升至 82.0%，重构 rFID 亦从 0.60 优化至 0.41。这说明充足的语义标记不仅能够捕获更丰富的高维概念，还能在 ViT 内部有效“分流”语义梯度，防止其干扰像素特征的学习。
数据与码本效率的飞跃：相比 UniTok 依赖 10 亿级 DataComp 数据和 $2^{96}$ 的庞大码本空间，WinTok 仅用 50M 数据和 $2^{48}$ 码本就达到了完全一致的 0.41 rFID，同时将分类精度从 70.8% 拔高 11.2 个百分点至 82.0%，证实了解耦机制在消除负迁移方面的巨大威力。

亮点与洞察¶

极简而优雅的解耦路径：无需设计繁复的多阶段训练流水线（如 VQRAE）或复杂的跨注意力融合层，仅在标准 ViT 编码器中拼入额外的可学习语义 Token，便在单一骨干网中自然完成了理解与生成的正交解耦。
非对称蒸馏的通用即插即用性：全局池化对齐绕过了学生标记与教师标记长度不匹配的技术门槛，使得任何视觉基础模型（CLIP、DINOv2、SigLIP2）均能无缝转化为蒸馏源，大幅拓展了分词器的技术演进上限。
对下游多模态模型的直接启示：实验证明传统统一模型在理解任务上的掉点并非 LLM 基座能力不足，而是被劣质的统一 Token 拖累；一旦在感知侧提供解耦的语义特征，统一模型在 POPE、GenEval 上的表现即可逼平甚至超越专门的生成或理解专家。

局限与展望¶

作者承认的局限：目前分词器仅在 50M 规模的开源数据集上完成训练，尚未在百亿级海量非清洗网络图文数据上验证极端分布下的缩放表现（Scaling law）；同时下游多模态骨干网仅探索了 Qwen3-8B，跨架构泛化能力有待进一步验证。
潜在的研究局限：测试时生成依然依赖于固定长度（$16 \times 16$）的像素标记网格，尚未支持任意高动态分辨率或长宽比自适应切图；此外，语义标记依赖池化后余弦相似度监督，可能会丢失部分局部空间定位与细粒度目标检测先验。
未来改进方向：探索可变长度的语义标记配置、引入多层或局部对齐的蒸馏损失，以及将分词器推向视频与 3D 跨模态统一生成架构中。

评分¶

新颖性: ⭐⭐⭐⭐☆ (在统一单编码器中通过拼接可学习 Token 并结合非对称蒸馏彻底解耦两难目标，构思精巧)
实验充分度: ⭐⭐⭐⭐⭐ (覆盖 10 大基准，包含详尽的机制消融、LoseTok 对比及 t-SNE 聚类可视化)
写作质量: ⭐⭐⭐⭐⭐ (逻辑自洽连贯，问题陈述切中要害，图表清晰直观)
价值: ⭐⭐⭐⭐⭐ (为自回归统一多模态大模型的底层分词器设计指明了高性能低开销的新范式)