VIVAS: Vitalizing Visual Perception in VLM Pre-training via Vision-language Unified Autoregressive Supervision¶

会议: ECCV 2026
论文: ECCV 2026 Poster 4767
领域: 多模态 VLM
关键词: Vision-Language Model, Visual Perception, Unified Token Space, Autoregressive Supervision, Multimodal Pre-training

一句话总结¶

针对现有视觉语言模型因文本主导优化偏差而丢失细粒度视觉感知的问题，VIVAS 在预训练阶段引入统一 Token 空间与密集结构-语义视觉离散化词表，实现图文统一自回归监督，在 12.4T Token 训练下显著提升细粒度多模态理解与定位能力。

研究背景与动机¶

当前视觉语言模型（VLM）通常采用“冻结或微调的视觉编码器 + 跨模态投影层 + 大语言模型解码器”的基础范式。尽管这类模型在通用图文理解与对话任务上展现出强大能力，但普遍存在一个致命瓶颈：细粒度视觉感知能力极度匮乏，难以精准处理视觉定位（Visual Grounding）、密集感知以及对局部几何结构高度敏感的多模态推理。以往研究多将此归咎于视觉编码器的分辨率或容量限制，但更深层次的症结根植于传统预训练中“以文本生成为绝对核心”的优化偏差。在纯文本生成的自回归目标下，视觉信号仅作为被动的提示条件（Condition），模型倾向于走捷径而丢弃对粗粒度语言生成无用的高频几何与局部空间细节，进而产生严重的视觉信息瓶颈。

近期部分工作尝试在后训练（Post-training，如 SFT 或强化学习阶段）引入视觉重建或对齐信号来弥补感知缺失。然而，此时模型的跨模态表征已经在海量文本主导的预训练中凝固（entrenched），后训练阶段的视觉监督充其量只能作为辅助对齐约束，带来的感知收益极为边缘。因此，要从根本上激活细粒度视觉表征，必须将视觉监督显式嵌入到预训练的基础阶段。而在预训练中引入视觉监督面临两大致命挑战：一是架构范式设计——若采用外挂扩散头或回归头等架构分离（Architectural Separation）机制，由于预训练早期视觉特征极不稳定，极易引发训练动态崩溃与收敛困难；二是视觉监督信号本身的性质——单纯使用无文本对齐的像素级/纯视觉 Tokenizer 会造成语言与视觉表征的割裂，而单纯使用图文对比学习（如 CLIP/SigLIP）语义特征又与输入端视觉编码器高度重叠且缺乏密集结构与边缘粒度。

本文切入角度正是系统性解决上述两大核心矛盾：首先在架构上确立统一 Token 空间（Unified Token Space）范式以保证大模型训练动态的平稳收敛；其次通过跨注意力机制融合互补的局部几何结构特征与对齐语义特征，构建兼具密集空间结构与语言对齐属性的视觉词表。核心 idea：构建融合 DINOv3 几何结构与 SigLIP2 语义表示的密集结构-语义视觉词表，并将其扩充至语言词表构建统一 Token 空间，在预训练阶段对视觉细节与文本内容实施端到端的统一自回归监督。

方法详解¶

整体框架¶

VIVAS 整体采用统一 Token 空间范式，摒弃了需要外挂扩散模型（DiT）进行去噪重建的架构分离路线。系统主要由两大核心部分组成：一是离线构建的密集结构-语义视觉 Tokenizer（Dense-Structural-Semantic Vision Tokenizer），负责将图像离散化为兼备几何结构与语言对齐语义的离散视觉 Token；二是基于统一词表的图文统一自回归预训练模型，将连续视觉特征与离散监督目标、文本输入有机结合。

在输入与数据流方面，输入的图像一方面送入连续视觉编码器（SigLIP2-so400m-patch16-naflex）提取连续特征，并通过 Projector 投影为视觉提示嵌入；另一方面在训练阶段送入冻结的双专家编码器（DINOv3 与 SigLIP2），通过交叉注意力融合与索引反向传播量化（IBQ）离线或在线映射为离散视觉标签序列 $V=\{v_1, \dots, v_M\}$。文本序列 $T=\{t_1, \dots, t_N\}$ 与离散视觉 Token 序列按统一规则拼接为统一序列 $S$。在端到端预训练中，主干模型（Youtu-LLM）在统一词表空间上同时自回归预测下一个文本 Token 与下一个视觉 Token，从而强制底层表征在保留语言推理能力的同时持续对齐细粒度密集视觉细节。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与文本指令"] --> B["双专家特征提取<br/>DINOv3 几何 + SigLIP2 语义"]
    B --> C["密集结构-语义视觉 Tokenizer<br/>交叉注意力融合 + IBQ 紧凑离散化"]
    C --> D["构建统一图文词表<br/>扩展语言词表纳入 150k 视觉 Codebook"]
    D --> E["图文统一自回归预训练<br/>视觉 Token 与文本 Token 联合交叉熵优化"]
    E --> F["多阶段递进式训练流程<br/>语言预训练 → 模态预训练 → 纯文本后训练"]
    F --> G["多模态理解与细粒度感知输出"]

关键设计¶

1. 密集结构-语义视觉 Tokenizer：兼具几何边界与语言对齐语义的离散表征 传统的离散视觉表征存在非此即彼的缺陷：基于像素级重构的 VQ-VAE 或纯自监督模型（如 DINOv3）仅捕捉纯视觉与局部高频纹理，缺乏跨模态对齐，直接作为监督信号会导致与高层文本的模态脱节；而基于图文对比学习的模型（如 SigLIP2）虽然语义对齐极佳，但空间分辨率粗糙，容易产生边界模糊和语义渗透。针对这一矛盾，VIVAS 提出解耦互补特征的融合策略：利用冻结的 DINOv3 提取几何感知特征 $H_{\text{geo}} \in \mathbb{R}^{N \times d_d}$ 作为结构 Query（Q），构建精确的局部几何边界与空间支架；同时利用冻结的 SigLIP2 提取语言对齐语义特征 $H_{\text{sem}} \in \mathbb{R}^{N \times d_s}$ 作为 Key（K）与 Value（V），提供高层语义检索库。通过线性投影将特征映射至统一隐空间后，协同表征计算如下： $$Z_{\text{syn}} = \text{Softmax}\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V$$ 随后将 $Z_{\text{syn}}$ 与原始几何特征 $H_{\text{geo}}$ 沿通道维度拼接，经 MLP 映射后采用索引反向传播量化（IBQ）投影至大小为 $K=150{,}000$、维度 $D=768$ 的可学习码本 $\mathcal{C}$，获得视觉监督词表 $\mathcal{V}_{\text{img}}$。

2. 规避纹理偏差的感知-对抗量化训练目标：压制高频噪声并实现 97.7% 高码本利用率 在训练视觉 Tokenizer 时，若引入常规的像素级 $\ell_1$ 重建损失，模型会不可避免地陷入“纹理偏差”（Texture Bias），将宝贵的码本容量浪费在拟合无意义的高频像素噪声和光照微变上，从而削弱对宏观结构与语义抽象的捕捉。VIVAS 果断移除了 $\ell_1$ 损失，仅依靠感知损失 $\mathcal{L}_{\text{lpips}}$ 与判别器对抗损失 $\mathcal{L}_{\text{gan}}$ 保证视觉结构的真实感，同时辅以向量量化损失 $\mathcal{L}_{\text{vq}}$ 与熵正则化项 $\mathcal{L}_{\text{ent}}$ 防止码本坍塌： $$\mathcal{L}_{\text{tok}} = \lambda_p \mathcal{L}_{\text{lpips}} + \lambda_g \mathcal{L}_{\text{gan}} + \mathcal{L}_{\text{vq}} + \lambda_e \mathcal{L}_{\text{ent}}$$ 实验中设置 $\lambda_p = 1, \lambda_g = 1, \lambda_e = 0.1$。该设计彻底摒弃像素级统计死记硬背，使得码本利用率达到惊人的 97.7%，产出的视觉离散 Token 高度富集结构轮廓与语义特征。

3. 统一 Token 空间与图文联合自回归监督：消除架构分离带来的训练崩溃 在预训练架构选择上，传统的架构分离范式（如在 VLM 顶层外挂 DiT 扩散头并在隐状态施加特征回归或去噪损失）在预训练初期由于视觉表征未收敛，极易造成梯度剧烈震荡与优化崩溃。VIVAS 采用统一 Token 空间，将 $150{,}000$ 规模的离散视觉词表直接并入大语言模型词表，输入序列由离散视觉 Token 序列 $V$ 与文本 Token 序列 $T$ 混合交织而成。在统一自回归前向传递中，统一损失函数定义为文本交叉熵与视觉交叉熵的加权和： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{text}} + \lambda \mathcal{L}_{\text{vision}}$$ 其中平衡系数 $\lambda$ 经验性设为 0.5。视觉监督仅表现为标准 Next-Token Prediction 交叉熵计算，保证了与语言模型完全一致的稳定训练动态，且在推理阶段仅需计算语言解码，额外推理时延仅增加 3.8%。

4. 渐进式四阶段多模态训练规程：让视觉监督在黄金窗口发挥最大效用 视觉监督在不同训练阶段的作用截然不同。消融表明，若在后训练阶段强行施加视觉监督，会干扰模型对指令遵循和文本对话格式的对齐；若仅在预训练阶段施加，则能最纯粹地筑牢底层视觉表征。因此 VIVAS 设计了清晰的四阶段训练规程： - Stage I（语言基座预训练）：在约 10T 纯文本语料（通用常识 + STEM/代码）上训练语言模型（Youtu-LLM），仅使用 $\mathcal{L}_{\text{text}}$ 构筑坚实逻辑推理底座。 - Stage II & III（多模态联合预训练与任务自适应）：共计 2.4T Token（基础预训练 1.8T + 任务自适应 0.6T），端到端同时训练视觉编码器、投影层与 LLM 解码器，全面激活联合目标 $\mathcal{L}_{\text{text}} + \lambda \mathcal{L}_{\text{vision}}$，驱动模型自底层内生性沉淀密集感知表征。 - Stage IV（多模态后训练 SFT & RL）：进入指令微调（4B Token）与强化学习（0.2B Token，涵盖感知 RL、推理 RL、通用 VQA RL），此时主动关闭视觉监督（$\lambda=0$），仅优化 $\mathcal{L}_{\text{text}}$，全力对齐人类偏好与指令格式。

损失函数 / 训练策略¶

整个系统的训练策略严格遵循模态解耦构建与端到端协同。Tokenizer 阶段仅优化自身的离散量化与解码器，冻结双专家编码器。在多模态预训练（总计 2.4T Token）阶段，端到端放开 SigLIP2 视觉编码器、Projector 以及 Youtu-LLM，总监督目标式为： $$\mathcal{L}_{\text{total}} = -\sum_{i \in \mathcal{I}_t} \log P(t_i \mid s_{<i}; \theta) - \lambda \sum_{j \in \mathcal{I}_v} \log P(v_j \mid s_{<j}; \theta)$$ 通过让文本与离散视觉 Token 在同一个注意力上下文与 Transformer 权重中交叉预测，消除了传统跨模态投影中视觉信息单向单薄投射的固有瓶颈。

实验关键数据¶

主实验¶

VIVAS 在 7 项关键任务、共计 39 个主流多模态基准上与业界主流开源及商业级 VLM 进行了全面对比。下表汇总了 4B 参数级别下，VIVAS 与前代基线以及强竞争对手 Qwen3-VL-4B-Instruct、InternVL-3.5-4B 在通用 VQA、逻辑推理、视觉定位、幻觉与 OCR 任务上的表现（摘录核心代表性基准）：

任务类别 / 基准	指标	Qwen3-VL-4B-Instruct	InternVL-3.5-4B	VIVAS w/o Vision Sup. (4B)	VIVAS (Ours, 4B)	相比无视觉监督提升
MMBench-EN	Score	83.9	80.3	83.2	83.9	+0.7
MME	Total Score	2309*	2272	2360	2384	+24
VisuLogic	Acc (%)	19.0	-	23.1	25.7	+2.6
VLMsAreBlind	Acc (%)	71.9	-	85.4	88.9	+3.5
HallusionBench	Score	57.6	44.8	57.3	59.1	+1.8
CRPE_relation	Acc (%)	71.0*	75.0	69.5	72.2	+2.7
RefCOCO val	[email protected]	90.7	92.5	88.1	93.6	+5.5
RefCOCO+ val	[email protected]	82.9	87.6	87.6	90.1	+2.5
RefCOCOg val	[email protected]	87.3	89.6	89.5	92.2	+2.7
ScreenSpot Pro	Acc (%)	59.5	-	57.1	59.6	+2.5
OSWorld	Success (%)	26.2	-	36.4	38.8	+2.4
CharXiv DQ	Acc (%)	76.2	71.1	76.5	79.4	+2.9

(注：标 * 表示作者采用内部评测系统复现的结果。全部模型在 4B 参数规模下评测)

消融实验¶

为验证视觉监督机制、视觉词表类型以及训练阶段设计的有效性，作者在 0.5T Token 预训练语料并采用 5-shot 评估协议下开展了系列严格的消融实验。

1. 视觉监督策略与词表特性消融（0.5T 预训练，5-shot 评测）：

监督策略 / 词表类型	VisuLogic	MMBench-EN	MME	CRPE_rel	HallusionBench	RefCOCO val
无视觉监督 (w/o Visual Sup.)	22.2	53.0	48.2	51.0	55.3	62.1
文本解耦纯视觉词表 (Text-decoupled)	21.6	51.2	46.9	49.3	53.9	60.7
图文对比语义词表 (Vision-language semantic)	23.6	53.6	47.7	51.4	54.8	63.0
VIVAS (密集结构-语义词表, Ours)	24.4	54.9	49.8	56.3	56.5	65.2

2. 视觉监督施加阶段消融（Table 2 完整模型后训练后评测）：

预训练视觉监督 (Pre-train VS)	后训练视觉监督 (Post-train VS)	VisuLogic	MMBench-EN	CRPE_relation	HallusionBench
$\times$	$\times$	23.1	83.2	69.5	57.3
$\checkmark$	$\times$	25.7	83.9	72.2	59.1
$\times$	$\checkmark$	23.3	82.9	69.9	57.7
$\checkmark$	$\checkmark$	23.6	83.3	70.1	58.1

3. 词表构建中移除 $\ell_1$ 损失消融（Table 7）：

$\ell_1$ 重建损失	VisuLogic	MMBench-EN	CRPE_relation	HallusionBench	说明
不加 $\ell_1$（Ours）	24.4	54.9	59.0	56.5	避免纹理偏置，聚焦语义与几何结构
包含 $\ell_1$	23.7	54.2	57.9	56.1	引入像素级高频噪声拟合，性能全面劣化

关键发现¶

阶段时机定胜负：视觉监督在预训练阶段引入（Pre-train VS）效果显著优于后训练阶段（Post-train VS）。在后训练施加视觉监督不仅提升微弱（VisuLogic 仅从 23.1 微增至 23.3），若在后训练与预训练同时开启反而因破坏指令对齐而导致性能下滑（VisuLogic 从 25.7 跌落至 23.6）。
解耦视觉信号反噬性能：直接使用像素级或自监督的纯视觉 VQ-VAE 词表进行自回归监督，会导致所有多模态指标全面下滑（MMBench-EN 从 53.0 跌至 51.2，RefCOCO 从 62.1 跌至 60.7），证实跨模态语义鸿沟对多模态语言生成的剧烈干扰。
纯输入端特征拼接无法替代目标监督：将 DINOv3 与 SigLIP2 在输入端通过编码器拼接（Combined Visual Encoder）并不能提升性能（RefCOCO val 仅 60.9，甚至低于基础基线 62.1），说明在文本主导损失下模型仍会丢弃细节；唯有在输出端显式构造自回归预测任务，才能迫使模型真正学会细粒度感知。
算力与 Scaling 规律稳定：在 2.4T 多模态预训练过程中，平均评测误差严格遵循幂律法则（Stage 2 指数 $\alpha \approx 0.102$，Stage 3 指数 $\alpha \approx 0.079$），27 个基准平均分从 0.43 稳步提升至 >0.74，毫无饱和迹象。

亮点与洞察¶

预训练阶段的密集感知自回归重构：敏锐指出后训练加视觉监督治标不治本，开创性地在 2.4T 预训练大模型中将密集视觉 Token 与文本统一自回归训练，从根本上破除了文本主导偏差。
DINOv3 几何骨架与 SigLIP2 语义库的互补检索：以结构特征为 Query、语义特征为 Key/Value 的交叉注意力融合机制极为精炼，同时消除了 DINOv3 的语义盲区与 SigLIP2 的空间边缘模糊。
果断剔除 $\ell_1$ 损失以规避纹理偏置：打破了传统图像离散化重建必用像素级 $\ell_1$ 误差的惯性思维，通过纯感知与对抗约束达成了 97.7% 的极高有效码本利用率。
低推理时延的可迁移范式：由于推理阶段无需外挂扩散去噪头或运行视觉解码器，仅需基于扩充词表的语言输出，仅带来 3.8% 的轻微计算时延，极具工业落地与大规模部署价值。

局限与展望¶

Tokenizer 依赖多专家前置推理：在生成离散视觉监督标签时，依赖离线运行 DINOv3 与 SigLIP2 双专家模型，这在大规模千万级图文对预处理阶段带来了不小的额外数据离线计算开销。
离散 Token 粒度与长上下文开销：随着输入图像分辨率提升，离散视觉 Token 序列长度增加，虽以统一自回归优化，但在极长上下文或超高分辨率场景下的训练显存压力仍需进一步压缩机制支持。
未来方向：探索端到端在线动态自蒸馏学习视觉码本，摆脱对离线冻结 DINOv3/SigLIP2 专家的依赖；并将统一自回归监督拓展至高帧率连续视频及 3D 具身交互场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统论证并在 12.4T 超大规模预训练中成功实施图文统一自回归视觉监督，解决了预训练架构发散与视觉表征偏置难题。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 大任务、39 个基准测试，提供 0.5T 严格可比的消融实验、数据 Scaling 曲线以及跨阶段全面对比。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰，图文排版考究，对动机、架构选型及实证现象的剖析极具说服力。
价值: ⭐⭐⭐⭐⭐ 为解决通用多模态大模型“视觉盲视”与细粒度感知退化问题提供了极具落地可行性的标准范式。

预训练视觉监督 (Pre-train VS)	后训练视觉监督 (Post-train VS)	VisuLogic	MMBench-EN	CRPE_relation	HallusionBench
\(\times\)	\(\times\)	23.1	83.2	69.5	57.3
\(\checkmark\)	\(\times\)	25.7	83.9	72.2	59.1
\(\times\)	\(\checkmark\)	23.3	82.9	69.9	57.7
\(\checkmark\)	\(\checkmark\)	23.6	83.3	70.1	58.1

\(\ell_1\) 重建损失	VisuLogic	MMBench-EN	CRPE_relation	HallusionBench	说明
不加 \(\ell_1\)（Ours）	24.4	54.9	59.0	56.5	避免纹理偏置，聚焦语义与几何结构
包含 \(\ell_1\)	23.7	54.2	57.9	56.1	引入像素级高频噪声拟合，性能全面劣化