Representation Forcing for Bottleneck-Free Unified Multimodal Models¶

会议: NeurIPS 2026
arXiv: 2605.31604
OpenReview: https://openreview.net/forum?id=QlWRlAlLYa
代码: https://github.com/yuqingwang1029/RepresentationForcing
领域: 多模态 VLM
关键词: 统一多模态模型, 像素级扩散, 表征强制, 结构性瓶颈, 在线向量量化

一句话总结¶

针对统一多模态模型中独立预训练 VAE 构成的结构性瓶颈与质量上限问题，提出 Representation Forcing（表征强制），让解码器自回归预测理解编码器提取的高层离散表征 token 作为上下文脚手架，以原生端到端方式无缝引导像素空间流匹配图像生成，在消除 VAE 的同时全面匹配 SOTA 图像生成质量并显著提升视觉理解性能。

研究背景与动机¶

统一多模态模型（UMMs）致力于将多模态理解与视觉生成整合进同一个模型架构中，被视为迈向通用多模态智能的核心路径。当前主流的统一模型普遍采用共享 Transformer 主干网络，利用自回归下个 token 预测建模文本、结合扩散模型生成图像。然而，这种统一性在图像生成端仍极度依赖独立预训练且冻结的变分自编码器（VAE）。图像必须先被压缩至低维潜在空间进行扩散建模，再经由固定的解码器还原为像素。这一设计带来了严重的结构性瓶颈：VAE 潜在空间是纯粹针对图像重建目标单独优化的，而非服务于统一模型的整体目标，其有损压缩对生成质量构成了统一模型自身继续训练也无法逾越的刚性上限。

若直接舍弃 VAE 而在原始像素空间中进行扩散建模，单一生成模型在 ImageNet 等受限分布上虽已展现出可行性，但一旦置于具有极宽泛图像分布与复杂文本条件的统一多模态模型中，直接像素生成就会出现灾难性的质量滑坡。这一质量鸿沟的本质在于：模型被迫从极其微观的原始像素信号中同时学习全局高层语义结构与繁复的低层纹理细节，缺乏有效的中间层来解耦这两类生成要素。

摆脱对外部生成潜在空间依赖的关键，在于发掘一种能够内生提供高层结构骨架的中间表征。统一模型自身的理解路径天然具备这一能力——其视觉编码器正是为了提取目标身份、空间布局与场景语义等高层结构而训练的。在理解任务中，该表征由编码器从输入图像中提取；而在生成任务中，模型必须仅凭文本输入自行预测这些表征。核心 idea：提出表征强制（Representation Forcing），将理解编码器的特征在线量化为离散表征 token，训练解码器以自回归方式先预测高层表征 token、再将其作为同序列中的上下文条件引导像素级流匹配扩散，让感知与生成内生共享同一表征空间，彻底消除预训练 VAE 瓶颈。

方法详解¶

整体框架¶

Representation Forcing 构建于统一的 Mixture-of-Transformers（MoT）主干网络之上，所有模态共享多头自注意力层，并通过模态专用的前馈专家网络（FFN Experts）实现计算解耦。在理解任务中，输入的图像由视觉理解编码器提取连续特征，与文本提示拼接输入解码器预测文本。在生成任务中，解码器处理由文本 token、表征 token 与像素 patch 组成的统一序列：首先仅根据文本自回归生成高层离散表征 token；随后，已预测的表征 token 作为同序列中的上下文条件保持在上下文窗口中，通过共享自注意力对像素 patch 进行全双向流匹配（Flow Matching）去噪，直接在像素空间渲染出高保真图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入文本提示"] --> B["自回归预测表征 Token<br/>统一因果序列建模"]
    B --> C["共享自注意力上下文条件<br/>保持高层语义结构脚手架"]
    C --> D["双向像素空间流匹配<br/>直接渲染原始图像 Patch"]
    D --> E["高保真输出图像<br/>无 VAE 结构性瓶颈"]

关键设计¶

1. 理解表征的在线向量量化：消除外部潜在空间的端到端离散化 为了让解码器能够使用与文本统一的自回归下个 token 预测目标来建模视觉表征，同时便于在推理阶段精确采样，模型必须将连续的视觉特征转化为离散 token。传统方法往往依赖固定的外部编码器（如冻结的 DINOv2 或 CLIP），破坏了统一模型端到端协同优化的可能。本文将理解编码器（DINOv3）与主干网络联合微调，为避免编码器在联合更新过程中的表征漂移导致量化码本崩溃，系统采用编码器的指数移动平均（EMA）副本提取 patch 级特征。针对大小为 $K=16{,}384$ 的码本，模型先计算 patch 特征与各原型向量的余弦相似度，随后引入基于 Sinkhorn-Knopp 算法的软均等分配约束，防止少数流行原型塌陷，最后选定平衡得分最高的原型索引，并使用 EMA 更新码本。这种在线量化机制不仅无需任何预训练的离散分词器，而且天然滤除了底层高频噪声、仅保留宏观几何与空间语义结构，实现了结构规划与纹理渲染的有效解耦。

2. 表征强制自回归与上下文像素去噪：统一 Transformer 内的双向交互 在序列排布上，模型将输入构造成 [文本 tokens, 表征 tokens, 像素 patches] 的统一结构。文本与表征 token 之间严格遵循标准因果注意力掩码，使得表征 token 能够像自然语言一样在相同主干中被自回归预测。在推理阶段，编码器完全旁路退出，解码器仅依据文本提示自回归生成完整的空间网格表征 token 序列（采用 $2\times 2$ 空间池化，即每 $4N$ 个像素 patch 对应 $N$ 个表征 token）。进入图像渲染阶段后，加噪的像素 patch 之间采用全双向自注意力以充分建模全图空间关联，同时单向跨步注意力因果指向其前方所有的文本 token 与已生成的表征 token。高层语义信息通过标准自注意力机制直接流入像素去噪流匹配运算中，既不引入额外的交叉注意力层，也不依赖复杂的多阶段对齐模块，真正实现了在单个 Transformer 内从概念结构到微观像素的原生条件化传导。

3. 模态专用 MoT 解耦与流匹配像素预测：高维像素生成的稳定渲染 直接在像素空间进行扩散建模面临极高的数据维度和优化难度。为解决不同任务间的表征冲突，模型采用 MoT 架构，划分了三组专属 FFN 专家池：多模态理解专家、表征 token 预测专家和像素生成专家，所有 token 在自注意力层充分融合而在 FFN 阶段专职处理。在像素生成端，模型放弃传统的潜空间噪声扩散，直接在像素 patch 空间中采用速度损失下的 $x$-prediction 连续流匹配（Flow Matching）。给定干净图像 patch $\mathbf{x}$ 与高斯噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，时刻 $t \in [0, 1]$ 的加噪状态为： $$\mathbf{z}_t = t \mathbf{x} + (1 - t) \boldsymbol{\epsilon}$$ 解码器直接预测去噪目标 $\mathbf{x}_\theta$，模型基于真实速度向量 $\mathbf{v} = \mathbf{x} - \boldsymbol{\epsilon}$ 与模型估计速度 $\mathbf{v}_\theta = (\mathbf{x}_\theta - \mathbf{z}_t) / (1 - t)$ 构建流匹配目标。

损失函数 / 训练策略¶

模型采用端到端联合优化，总损失函数为三个子目标的加权和： $$\mathcal{L} = \mathcal{L}_{\text{LM}} + \mathcal{L}_{\text{FM}} + \mathcal{L}_{\text{Rep}}$$ 其中 $\mathcal{L}_{\text{LM}}$ 为自回归语言建模交叉熵损失；$\mathcal{L}_{\text{Rep}}$ 为表征 token 预测的交叉熵损失，以 EMA 编码器经在线量化产生的 token 序列作为监督目标；$\mathcal{L}_{\text{FM}} = \mathbb{E} \|\mathbf{v}_\theta - \mathbf{v}\|^2$ 为像素空间流匹配速度均方误差损失。为了在推理时支持分类器自由引导（CFG），训练过程中分别以 0.1 的独立概率随机丢弃文本条件与表征 token 序列。模型训练采用三阶段策略：(1) 对齐阶段：冻结主干与编码器，仅训练 MLP 连接层；(2) 联合预训练：解冻全模型参数，在最高 256 分辨率下联合优化文本与图文对；(3) 持续扩展：将图像动态采样分辨率扩展至 1024。

实验关键数据¶

主实验¶

在文生图生成基准 GenEval 与 DPG-Bench 上，模型与当前最先进的专用生成模型和基于 VAE 的统一多模态模型进行了全面评测（主模型基于 Qwen3-A3B 初始化，激活参数 3B，编码器为 DINOv3 ViT-H+/16）。

模型类别	模型	GenEval 总分↑	DPG-Bench 总分↑
专用生成	SDXL	0.55	74.65
专用生成	DALL-E 3	0.67	83.50
专用生成	FLUX.1-dev†	0.82	84.00
统一模型	Chameleon	0.39	–
统一模型	Transfusion	0.63	–
统一模型	Emu3†	0.66	81.60
统一模型	Show-o2	0.76	86.14
统一模型	Janus-Pro-7B	0.80	84.19
统一模型	BAGEL	0.82	85.07
统一模型	BLIP3-o	0.84	81.60
本文方法	RF-Pixel (Ours)	0.84	84.15
本文方法	RF-Pixel (Ours)†	0.88	–

（注：† 表示使用了 LLM 提示词重写器）

在多模态理解方面，对比了 VAE 潜在空间模型与像素空间模型在引入 RF 前后的性能表现（8 个评测基准，基线为相同的首阶段 VLM）：

模型配置	MMMU	HalluBench	MME*	BLINK	RealWorldQA	AI2D	DocVQA	ChartQA
VLM-only	56.2	65.0	79.7	56.2	65.8	90.3	89.3	86.0
VAE 基线	51.0	55.7	71.3	52.2	65.2	90.7	90.0	78.8
VAE + RF	49.6 (-1.4)	61.3 (+5.6)	79.3 (+8.0)	52.9 (+0.7)	66.6 (+1.4)	87.8 (-2.9)	88.3 (-1.7)	80.5 (+1.7)
Pixel 基线	49.9	63.7	76.6	49.4	63.1	85.8	90.0	81.7
Pixel + RF	54.2 (+4.3)	64.8 (+1.1)	80.2 (+3.6)	53.0 (+3.6)	65.8 (+2.7)	90.3 (+4.5)	88.0 (-2.0)	81.3 (-0.4)

消融实验¶

在像素空间 256 分辨率控制变量设置下的消融实验：

消融维度	配置	GenEval 得分↑	说明
生成机制对比	Pixel (w/o RF)	0.25	无表征引导的朴素像素扩散严重崩塌
	VAE (w/o RF)	0.52	传统 VAE 潜空间生成基线
	VAE + RF	0.77	RF 机制同样能提升 VAE 模型性能 (+0.25)
	Pixel + RF (Ours)	0.76	RF 促使像素扩散跃升 +0.51，追平 VAE
表征引导策略	w/o Guidance	0.25	无引导基线
	REPA (中间特征对齐损失)	0.43	仅作为隐式辅助损失，推理缺乏显式条件
	RF (解码器显式上下文预测)	0.76	显式序列化预测大幅优于隐式对齐 (+0.33)
表征离散性	Continuous (连续回归)	0.26	连续自回归误差累积严重，未解耦细节
	Discrete (离散量化 Token)	0.76	离散化强力解耦高层结构，避免微观误差累积
码本规模	$K = 16{,}384$	0.76	默认设置，取得绝佳表达力
	$K = 32{,}768$	0.77	翻倍规模增益趋于平缓，计算效率占优

关键发现¶

朴素像素扩散在统一多模态模型中表现极度匮乏（GenEval 仅 0.25），直接证明了无中间表征时模型难以兼顾语义结构与纹理生成；加入 Representation Forcing 后分数飙升至 0.76，彻底弥补了像素级生成与 VAE 潜空间之间的差距。
显式自回归预测表征并将其置于上下文（RF 0.76）显著碾压仅靠扩散层中间特征对齐的隐式方案（REPA 0.43），证明在超高维像素空间中，直接的序列级注意力条件注入是不可替代的。
连续特征回归（0.26）几乎完全失效，表明向量量化离散化不仅具备抑制误差累积的数值鲁棒性，更关键的是迫使模型丢弃高频低层像素信息，天然提炼出纯粹的宏观语义结构。
在多模态理解任务上，Pixel+RF 在 8 项基准中的 6 项优于 VAE+RF，验证了彻底打破外部 VAE 孤岛、让理解与生成深度共享原生表征空间对于双向能力互促的优越性。

亮点与洞察¶

将感知输出内化为生成目标的优雅闭环：以往统一模型将理解编码器仅视作图像输入的单向解析器，而 RF 巧妙地将理解编码器的高层表征作为生成的自回归目标，使理解与生成在同一表征空间上完全对齐。
离散自回归与连续扩散的黄金组合：宏观结构布局使用离散 Token 依靠因果注意力规划全局，微观细节纹理使用连续流匹配在像素域双向去噪，既发挥了自回归规划长程依赖的长处，又规避了全离散分词带来的像素级量化失真。
摆脱 VAE 历史包袱的坚实一步：长期以来文生图及统一模型受困于独立 VAE 压缩重建导致的文字模糊、人脸畸变等不可逆伪影；RF 为端到端原生像素生成提供了切实可行的解决方案。

局限与展望¶

预训练起点的依赖性：当前模型基于预训练的语言模型（Qwen3-A3B）进行多模态扩展，尚未验证从零开始（from-scratch）在纯多模态原生数据上训练 RF 的潜在表征能力。
时序模态尚未覆盖：研究主要聚焦于静态图像生成与理解，尚未拓展到时间维度的视频生成（Text-to-Video）以及长视频时序理解场景。
细粒度文档理解的微小退化：实验表明引入 RF 在极度依赖字符识别与精细图表排版的 DocVQA 与 ChartQA 上略有下降，说明高层语义表征的抽象可能在一定程度上弱化了极微观字符信号的敏感度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 构思极其精巧，将理解表征作为生成目标的自回归脚手架，打破了 VAE 垄断。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖生成与理解两大维度，主客观基准详尽，控制变量消融对比扎实有力。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密、动机阐述层层递进，方法设计与问题痛点高度吻合。
价值: ⭐⭐⭐⭐⭐ 为迈向真正端到端、无瓶颈的原生像素级统一多模态大模型树立了重要里程碑。