HYDRA: Representation-Harmonized Tokenization for Multimodal Generation and Understanding¶

会议: NeurIPS 2026
arXiv: 2603.15228
OpenReview: https://openreview.net/forum?id=sNTc0XTEDc
代码: https://github.com/Tencent/HunyuanImage
领域: 多模态VLM
关键词: 原生多模态统一模型、统一图像分词器、纯视觉Transformer、生成语义瓶颈、流匹配

一句话总结¶

针对多模态统一模型中图像理解（高层抽象）与图像生成（紧凑结构基元）表征冲突的难题，本文提出纯 ViT 统一分词器 HYDRA-TOK 与原生双向统一多模态框架 HYDRA，通过“生成-语义瓶颈（GSB）”渐进式协调生成基元与语义表征，在单一参数空间内实现视觉理解与生成的相互促进。

研究背景与动机¶

统一多模态模型（Unified Multimodal Models, UMMs）致力于在单一参数空间内无缝结合视觉理解与视觉生成能力，是通向通用多模态智能的核心前沿。然而，视觉理解与视觉生成本质上属于两类逆向任务，对视觉特征表征提出了完全相反的需求：理解任务需要高度压缩、丢弃冗余纹理的高维抽象语义，而生成任务则依赖包含精细几何、空间协方差与高频纹理的紧凑结构基元。为了缓解这种内在张力，主流原生 UMM 通常被迫采用解耦编码器（如 Janus 分别维护 VAE 和表示编码器）、串行级联架构（如 Show-o2 将 ViT 堆叠在下采样的 VAE 之上）或共享离散量化 Codebook（如 UniTok）。

然而，这些妥协方案普遍落入“输入表征统一性”、“信息流连贯性”与“学习过程兼容性”的不可能三角。解耦架构虽然避免了目标冲突，但割裂了任务间的协同，带来了严重的参数与计算冗余；基于卷积 VAE 的串行级联因不可逆的空间降采样破坏了信息流的连续性，在细粒度感知任务（如 OCR 和复杂图表）中丢失了高频几何特征；而采用离散 Codebook 或粗糙共享表征的单编码器，则受限于量化误差或过度语义对齐，导致图像生成保真度崩塌与优化拔河。

本文的切入视角是：视觉建模本身应当遵循“从底层生成基元到高层语义理解”的渐进演化规律，能够精确重建像素的紧凑低维流形天然是构建高级语义抽象的坚实地基。核心 idea：重构纯 ViT 架构为渐进式分词器 HYDRA-TOK，在底层生成模块与高层语义模块之间引入“生成-语义瓶颈（GSB）”，利用紧凑瓶颈压缩滤除冗余噪声以稳定流匹配生成，同时通过反投影与自蒸馏恢复语义维度赋能理解，使理解与生成在单一统一主干中实现双向协同增益。

方法详解¶

整体框架¶

HYDRA 整体系统由两大部分紧密结合构成：统一视觉分词器 HYDRA-TOK 和原生统一多模态骨干模型 HYDRA。在 HYDRA-TOK 中，研究团队摒弃了传统的卷积 VAE 架构，将完整的纯 Vision Transformer（ViT）解构为功能连续的三个阶段：负责捕获底层高保真结构基元的生成 ViT（Gen-ViT）、滤除冗余高频噪声并建立概率流形的生成-语义瓶颈（GSB），以及将紧凑基元映射至高维语义空间的语义 ViT（Sem-ViT），并在 GSB 隐变量末端配备轻量级像素流解码器（Pixel Flow Decoder）。在原生多模态主干 HYDRA 中，文本与通过 GSB 提取的连续视觉特征映射至同一连续嵌入空间，送入共享因果/双向掩码的 LLM 主干网络，最后由自回归语言预测头与 AdaLN 调制的整流流匹配视觉生成头分别处理离散文本生成与连续图像合成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 x"] --> B["Gen-ViT 结构基元提取<br/>保留密集局部空间协方差"]
    B --> C["生成-语义瓶颈 GSB<br/>压缩至低维流形过滤噪声"]
    C -->|隐变量 z| D["像素流解码器<br/>整流流匹配重建高清图像"]
    C -->|反投影特征 H_bn| E["Sem-ViT 语义映射<br/>非线性提升语义抽象维度"]
    C -->|连续视觉序列 U_vis| F["任务感知连续视觉投影<br/>生成加噪 / 理解保持确定性"]
    F --> G["统一多模态主干 LLM<br/>共享参数空间与掩码注意力"]
    G -->|自回归语言头| H["多模态理解与文本回答"]
    G -->|AdaLN 整流流匹配头| I["高质量图像生成速度场预测"]

关键设计¶

1. 渐进式分词器分流解耦：Gen-ViT 与 Sem-ViT 架构切分 传统 ViT 编码器在底层便急剧压缩空间多样性以提取类别不变特征，这直接破坏了像素级合成所必需的空间协方差。HYDRA-TOK 将标准的 ViT 骨干（共 \(L_{\text{total}}=24\) 层）重塑为对称的“12+12”渐进学习架构。前 12 层的 Gen-ViT 采用非重叠补丁投影，通过 Transformer 块堆叠 \(\mathbf{H}_{\text{mid}} = \Phi_{L_{\text{gen}}} \circ \dots \circ \Phi_1(\mathbf{H}_0)\)，强制网络在浅层专注于保留细粒度的局部纹理与结构基元；而后 12 层的 Sem-ViT 则作为深度非线性映射器 \(\mathbf{H}_{\text{out}} = \Phi_{L_{\text{total}}} \circ \dots \circ \Phi_{L_{\text{gen}}+1}(\mathbf{H}_{\text{bn}})\)，在瓶颈特征的基础上进一步蒸馏高维概念与语义关系。为防止特征退化，模型在 Gen-ViT 与 Sem-ViT 的选定层均施加了基于预训练冻结教师 ViT（如 InternViT-2.5）的余弦自蒸馏损失 \(\mathcal{L}_{\text{dist}}\)，在保证底层空间细节的同时注入强健的语义先验。

2. 压缩与重构机制：生成-语义瓶颈（GSB） 通道维度对于生成与理解任务具有截然相反的物理约束：过高的隐变量维度（如 \(C \ge 256\)）会引入大量随机冗余和方差，导致生成任务的流匹配模型优化崩塌；而过低的维度又无法承载复杂视觉推理。GSB 通过轻量投影器 \(\mathbf{W}_{\text{proj}} \in \mathbb{R}^{D \times 2C}\) 将 \(D=1024\) 维的中间特征 \(\mathbf{H}_{\text{mid}}\) 压缩至紧凑的 \(C=64\) 维概率空间，得到后验分布均值与对数方差 \([\bm{\mu}, \bm{\rho}] = \mathbf{H}_{\text{mid}}\mathbf{W}_{\text{proj}}\)，并通过重参数化采样得到生成隐变量 \(\mathbf{z} = \bm{\mu} + \bm{\epsilon} \odot \exp(0.5\bm{\rho})\)。为了使压缩后的特征既能满足生成流形要求，又能无损引导后续语义抽取，GSB 施加了高斯先验正则化与余弦方向保真约束：

\[\mathcal{L}_{\text{reg}} = \lambda_{\text{KL}}\mathcal{L}_{\text{KL}} + \lambda_{\text{cos}}\mathcal{L}_{\text{cos}} = -\frac{\lambda_{\text{KL}}}{2}\sum_{j=1}^C (1 + \bm{\rho}_j - \bm{\mu}_j^2 - \exp(\bm{\rho}_j)) + \lambda_{\text{cos}}\left(1 - \frac{\mathbf{H}_{\text{mid}} \cdot \mathbf{H}_{\text{bn}}}{\|\mathbf{H}_{\text{mid}}\|_2 \|\mathbf{H}_{\text{bn}}\|_2}\right)\]

其中 \(\mathbf{H}_{\text{bn}} = \bm{\mu}\mathbf{W}_{\text{unproj}}^{\text{und}}\) 是经反投影矩阵映射回原维度的高维特征。\(\mathcal{L}_{\text{cos}}\) 强力约束压缩前后的特征向量方向一致，使得 \(C=64\) 维隐空间充当了“信息噪声过滤器”，在剔除不稳定高频随机噪声的同时保留核心结构信息。

3. 轻量化像素流解码器与双头原生统一架构 为了解除主干网络直接回归像素高频细节的计算负担，HYDRA 在 GSB 生成隐变量 \(\mathbf{c}=\mathbf{z}\) 的条件下，设计了轻量级流匹配速度场解码器 \(\mathbf{v}_\theta(\mathbf{x}_t, t, \mathbf{c})\)。通过结合流匹配速度回归损失 \(\mathcal{L}_{\text{FM}}\)、感知损失 \(\mathcal{L}_{\text{lpips}}\) 与对抗判别损失 \(\mathcal{L}_{\text{gan}}\)，解码器仅需几步常微分方程（ODE）求解即可从紧凑隐空间还原极其细腻的真实纹理。在跨模态主干网络中，HYDRA 通过统一输入表示将连续视觉标记 \(\mathbf{U}_{\text{vis}}\) 与文本嵌入 \(\mathbf{E}_{\text{text}}\) 拼接；在执行图像生成任务时，输入视觉标记被注入对应时间步 \(t\) 的扩散扰动噪声 \(\mathbf{H}_{\text{in}} = \mathbf{H}_{\text{bn}} + t\bm{\epsilon}\)，而在理解任务时输入确定的干净特征。输出端通过分立的自回归语言头与 AdaLN-Zero 调制的流匹配视觉头，在完全共享的 Transformer 权重下实现了离散自回归与连续流匹配的无缝兼容。

损失函数 / 训练策略¶

HYDRA 采用了循序渐进的三阶段训练策略： 1. 分词器两阶段预训练：第一阶段在 ImageNet-1K、CC-12M 和 SA-10M 等大规模数据集上联合优化重建损失与自蒸馏损失（300k 次迭代，批大小 256，学习率 \(2\times 10^{-5}\)）；第二阶段冻结编码器，仅引入对抗 GAN 损失与感知损失精修像素流解码器（100k 次迭代，学习率 \(1\times 10^{-5}\)）。 2. 多模态三阶段渐进式适配： - Stage I（统一表征对齐）：冻结 LLM 参数，仅以 1 亿图文对优化视觉组件与视觉生成头，数据配比（文本理解:图像理解:图像生成）为 0:1:3，训练 150k 步； - Stage II（全参多模态预训练）：全参数解锁，在 30M 图像理解与 30M 图像生成数据上以 0:2:2 配比平衡联合训练 100k 步，促进两个任务跨过兼容性拐点； - Stage III（高质量指令微调）：采用 3.2M 高质量 LLaVA-OneVision 视觉问答指令数据，混合 10M 美学图与 6M 高保真合成数据，以 1:2:2 配比微调 20k 步。

整体模型在多模态联合训练阶段由端到端混合目标联合优化：\(\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{NTP}} + \mathcal{L}_{\text{FM}}\)。

实验关键数据¶

主实验¶

在涵盖 8 项权威多模态理解基准（MME、AI2D、OCRBench、MMBench、RealWorldQA、SEED-Bench、MMMU、MMStar）及 3 项细粒度图像生成基准（GenEval、DPG-Bench、WISE）的对比中，HYDRA 在 1.5B 与 7B 两个尺度上均显著超越了现有原生统一模型，甚至击败了诸多专用生成模型与大参数量组合模型。

模型	参数量	MME-S	OCRBench	MMBench	MMMU	MMStar	GenEval (Overall)	DPG-Bench (Overall)
LLaVA-1.5 (理解专用)	7B	1510.7	31.8	62.3	35.7	33.1	-	-
SD3-Med (生成专用)	2B	-	-	-	-	-	0.74	84.08
FLUX.1 [Dev] (生成专用)	12B	-	-	-	-	-	0.82	84.00
BLIP3-o (组合式统一)	4B	2161.2	-	-	46.6	-	0.84	79.36
Show-o2 (原生统一)	1.5B	1742.3	24.5	67.4	37.1	43.4	0.73	85.02
HYDRA (本文)	1.5B	1877.9	50.8	76.8	39.1	57.0	0.86	85.51
Janus-Pro (原生统一)	7B	1927.1	-	79.2	41.0	48.3	0.80	84.19
Show-o2 (原生统一)	7B	1920.5	32.4	79.3	48.9	56.6	0.76	86.14
HYDRA (本文)	7B	2068.6	57.7	82.4	49.4	62.3	0.86	86.40

在 ImageNet-1K 验证集图像重建任务上，HYDRA-TOK 同样刷新了统一分词器的历史指标记录：

分词器	类型	分辨率	PSNR ↑	SSIM ↑	rFID ↓
SD-VAE	纯生成卷积 VAE	256	23.54	0.68	1.22
FLUX-VAE	纯生成卷积 VAE	256	32.74	0.92	0.18
FLUX-VAE	纯生成卷积 VAE	448	32.91	0.92	0.08
UniTok	离散统一分词器	256	27.28	0.77	0.41
UniFlow †	双流流匹配统一	256	33.23	0.96	0.26
HYDRA-TOK †	纯 ViT 渐进式统一	256	36.39	0.96	0.08
HYDRA-TOK	纯 ViT 渐进式统一	448	31.90	0.90	0.12

消融实验¶

研究团队对分词器层级结构划分、瓶颈通道维度以及三阶段训练策略进行了系统性的消融对比：

实验变量 / 配置	设定细节	理解指标 (Avg QA)	生成指标 (GenEval)	重建指标 (rFID ↓)	说明与影响
层级分配架构	24 + 0 (全 Gen-ViT)	0.682	0.78	0.18	缺乏高层语义映射，各项性能均显著垫底
层级分配架构	16 + 8 (非平衡)	0.715	0.81	0.11	语义层过浅，未达到表征最优协同状态
层级分配架构	12 + 12 (平衡架构)	0.744	0.86	0.08	结构与语义达到最佳兼顾
瓶颈维度 \(C\)	\(C=32\)	0.718	0.83	0.15	空间容量不足，高频信息与语义承载受限
瓶颈维度 \(C\)	\(C=64\)	0.744	0.86	0.08	生成稳定与语义理解的最佳平衡点
瓶颈维度 \(C\)	\(C=256\)	0.735	0.52 (塌缩)	0.07	冗余方差过大，流匹配生成彻底发散塌缩
训练阶段配置	w/o Stage I	0.719	0.82	-	缺失视觉-语言初始对齐，全盘掉点
训练阶段配置	w/o Stage II	0.683	0.77	-	缺失多模态全参预训练，生成性能严重滑坡
训练阶段配置	w/o Stage III	-	0.84	-	缺失高质量指令微调，理解问答能力归零

关键发现¶

双向协同的跨越式拐点：联合训练动态分析表明，多模态联合训练在早期（约前 6k 步）由于生成任务优化难度大，理解性能略低于纯理解单任务模型；然而一旦跨过 6k 步拐点，联合模型的理解精度反超单任务模型。这证明生成的细粒度结构约束能够反哺感知的几何精度，而理解语义对齐也显著加速了生成流形的稳定收敛。
纯 ViT 打破 VAE 重建垄断：HYDRA-TOK 以 36.39 dB PSNR 与 0.08 rFID 彻底颠覆了“ViT 不适合连续密集像素级重建”的传统认知，在细粒度 OCRBench 上得分（1.5B 下 50.8，7B 下 57.7）几乎达到基于 VAE 的 Show-o2（24.5 / 32.4）的两倍，有效解决了传统 VAE 压缩抹杀高频文字边缘的系统性缺陷。
通道维度的稳定阈值效应：实验确证连续隐变量通道 \(C=64\) 是流匹配生成与跨模态对齐的临界金发女孩区（Goldilocks Zone）。通道过窄丢失几何基元，通道过大（\(\ge 256\)）则带来不可控的噪声方差，破坏流匹配微分方程的数值稳定性。

亮点与洞察¶

纯 ViT 统一分词器的范式突破：摒弃传统混合架构中不可避免的卷积 VAE 下采样层，提出单流纯 ViT 渐进式结构（Gen-ViT \(\to\) GSB \(\to\) Sem-ViT），从源头上消除了模态鸿沟与信息断流。
生成-语义瓶颈（GSB）的噪声过滤智慧：通过紧凑低维压缩阻断高频冗余噪声渗透至生成模型，同时辅以余弦方向一致性损失无损恢复高维语义流向，巧妙化解了“理解需高维、生成需紧凑”的根本矛盾。
从“相互争夺参数”到“互为正则项”：通过详尽的训练动态曲线揭示了统一多模态模型的正向协同机制——高保真生成充当了语义感知的高频正则化项，而语义对齐则充当了生成轨迹的流形稳定器。

局限与展望¶

分词器参数容量相对受限：当前 HYDRA-TOK 参数量为 300M，在面对极高分辨率复杂图纸、长文本密集排版等极端细粒度感知场景时，仍可能存在编码容量瓶颈。
主干规模与预训练数据吞吐天花板：当前公开模型最大规模停留在 7B，预训练图文对约为 1 亿条，与头部闭源万亿多模态模型相比，其世界知识储备与多轮长程规划能力仍有较大提升空间。
视频与时序维度的拓展待解：目前分词器与主干框架主要围绕静态图像设计，如何将 GSB 原理无缝扩展至具备时空相关性的长视频联合理解与生成，仍是待探索的关键方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出纯 ViT 渐进式统一分词器与 GSB 压缩重构机制，构思极其精巧且兼具理论洞察。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 8 个理解基准、3 个生成基准、全量 ImageNet 重建及深度的通道、架构与训练动态消融，证据链坚实。
写作质量: ⭐⭐⭐⭐⭐ 概念论证层层递进，对“不可能三角”的分析鞭辟入里，图文与公式配合严谨清晰。
价值: ⭐⭐⭐⭐⭐ 为原生统一多模态模型（Native UMM）探索出了一条不依赖卷积 VAE 的纯净 Transformer 路径，具有深远的基准指导意义。