Rosetta: Composable Native Multimodal Pretraining¶

会议: NeurIPS 2026
arXiv: 2607.00293
OpenReview: https://openreview.net/forum?id=X7davuwy7B
代码: https://rosetta-lmm.github.io/
领域: 多模态 VLM
关键词: 多模态预训练, 混合专家模型, 原生多模态, 灾难性遗忘, 梯度正交投影

一句话总结¶

针对统一多模态大模型在同时学习离散自回归语言理解与连续流匹配图像生成时由剧烈梯度冲突导致的表征覆盖与路由崩溃难题，Rosetta 提出了模块化即插即用专家网络、全局共享专家语义桥梁以及零显存额外开销的动量锚定正交投影优化算法，实现了免于遗忘且相互增益的原生多模态可组合预训练。

研究背景与动机¶

通用人工智能的发展要求基础模型能够在单一架构内原生整合多样化模态，既要精通离散自回归的语言理解与多模态感知，又要胜任连续扩散或流匹配机制的视觉生成合成。近期诸如 Transfusion 与 Show-o 等前沿范式证实了在单一主干网络中同时建模离散文本 token 与连续视觉潜变量的优越性，然而这种将截然不同的优化目标强制塞入同质稠密参数空间的做法，不可避免地引发了严峻的跨模态梯度冲突。连续生成任务所产生的高方差、强扰动梯度极易冲刷并覆盖预训练语言模型原本精细建立的语义表征，造成优化瓶颈。

稀疏混合专家网络（MoE）被广泛视作解耦计算预算与模型容量的利器，但在多模态联合扩展场景下，标准 MoE 往往采用模态无关的统一门控路由。当面对异质且强弱不均的多模态信号时，不受约束的自由路由会导致灾难性的路由崩溃：生成任务的高幅值梯度迅速霸占并不可逆地覆写已有的语言与视觉专家，导致基础文本推理与多模态感知能力全面暴跌。为缓解这种表征覆盖，Mixture-of-Transformers（MoT）与 Bagel 等方案走向了另一个极端，在 Transformer 主干的注意力机制与前馈网络（FFN）层同时实施严格的物理隔离。然而，这种切断通道的强行物理隔离在阻断负面干扰的同时，也彻底扼杀了跨模态稠密交互与表征互促的可能性，形成模型总参数虚胖膨胀却无法跨模态协同进化的僵局。

这暴露了多模态大模型扩展中一个核心的「遗忘-协同两难（Forgetting-Synergy Dilemma）」：基础模型如何在不牺牲原有基础语言与理解能力的前提下高效扩展生成能力，同时激活模态间的双向正向增益？核心 idea：解耦注意力交互与前馈知识存储，在共享统一注意力以保障跨模态稠密交互的同时，将模态功能扩展严格约束在模块化即插即用 FFN 专家与全局共享专家架构中，并创新性地复用优化器动量作为隐式语义锚点进行正交梯度投影（MAOP），以零额外显存与计算开销彻底消除跨模态破坏性冲突。

方法详解¶

整体框架¶

Rosetta 采用类乐高积木式的即插即用模块化设计，将多模态基础能力拆解为「全局高带宽交互」与「局部模块化表征存储」。在注意力层，所有输入 token 无论来自离散文本、ViT 视觉特征还是 VAE 连续图像潜变量，均统一共享全套 QKV 线性投影，确保不同模态在深层交互前已处于对齐的全局语义空间。在前馈网络层，模型将知识表征严格解耦为全局共享专家与专用即插即用任务专家池，不同模态根据专属门控路由分配给对应专家计算，并必然流经全局共享专家。在反向传播优化阶段，全局共享专家由动量锚定正交投影（MAOP）护航，实现零显存额外负担下的无损扩展。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入多模态 Token 流<br/>Text / ViT / VAE"] --> Attn["统一全局注意力<br/>共享 QKV 跨模态上下文交互"]
    Attn --> Fork["模态身份路由分流"]
    Fork --> Shared["全局共享专家<br/>跨模态通用语义桥梁"]
    Fork --> TaskExp["任务专属即插即用专家池<br/>Text / ViT / VAE 独立 Top-2 路由"]
    Shared --> MAOP["动量锚定正交投影 MAOP<br/>优化器动量锚点消除破坏性梯度"]
    TaskExp --> Merge["加权融合汇聚输出"]
    MAOP --> Merge
    Merge --> Out["统一多模态隐状态输出"]

关键设计¶

1. 统一全局注意力机制：保留高带宽跨模态稠密交互

现有物理隔离架构（如 MoT 与 Bagel）过早地在注意力层引入模态隔离的独立 QKV 投影矩阵，强制使不同模态的 token 陷入互不连通的离散表征子空间，割裂了全局上下文感知。Rosetta 坚决保留严格统一的多头自注意力机制（Unified MHA），所有模态（文本、视觉编码特征、连续扩散潜变量）均投影至同构的稠密注意力空间进行无障碍交互。这一设计既杜绝了多流架构带来的冗余参数膨胀，又保证了在进入前馈网络进行模态专业化提炼前，各模态已完成充分的语义对齐与信息交换。

2. 可组合前馈网络与任务专属即插即用专家池：根除路由崩溃

Transformer 的 FFN 层本质上扮演着关键知识键值存储器的角色，跨模态目标的破坏性梯度冲突主要集中于此。标准 MoE 的模态无关门控易被高方差的连续生成梯度击穿并劫持所有专家，造成致命的路由崩溃。Rosetta 采取功能解耦策略：为文本（Text）、视觉编码（ViT）和图像潜变量（VAE）分别构建独立的专用专家子池（例如分配 3 个 Text 专家、3 个 ViT 专家、6 个 VAE 专家）及各自的专用门控网络 $\mathcal{G}_t$。输入 token $\mathbf{x}^{(t)}$ 仅能在其专属专家池内进行 Top-$K$ 路由（默认 $K=2$）。当系统需要接入全新模态（如音频或 3D 点云）时，只需挂载全新的专用专家组与独立门控，完全无需改动或重训已有专家的内部拓扑，从结构上物理杜绝了生成梯度对语言专家的逆向侵蚀。

3. 全局共享专家语义桥梁：打通跨模态表征双向滋养

如果仅仅将 FFN 完全隔离，模型将退化为互不往来的孤岛，丧失多模态预训练的核心协同价值。为此，Rosetta 为每个 Transformer Block 标配一个确定性参与计算的全局共享专家 $\mathcal{E}_{shared}$。任何类型的 token 进入 FFN 后，均必须穿过该共享专家，其计算输出与专属专家的 Top-$K$ 门控加权输出线性叠加： $$\mathbf{h}' = \mathcal{E}_{shared}(\mathbf{x}^{(t)}) + \sum_{i \in \text{TopK}(\mathcal{G}_t(\mathbf{x}^{(t)}))} g_{t,i} \mathcal{E}_{t,i}(\mathbf{x}^{(t)})$$ 全局共享专家持续吸收来自语言建模、多模态理解与图像生成全任务梯度的协同优化，沉淀出模态通用的世界知识抽象表征，充当连接各模态语义孤岛的桥梁，使细粒度连续视觉生成信号反哺离散语言与视觉理解。

4. 动量锚定正交投影 MAOP：零额外开销消除共享梯度冲突

由于全局共享专家直接暴露在异质混合多任务的梯度回传中，当引入连续生成目标 $\mathcal{L}_{new}$ 时，其梯度 $\mathbf{g}_{new}$ 极易与基础任务梯度 $\mathbf{g}_{base}$ 产生方向夹角大于 $90^\circ$ 的对冲（即 $\mathbf{g}_{new}^\top \mathbf{g}_{base} < 0$）。传统梯度手术方案（如 PCGrad）需要对各个任务单独反向传播并显式缓存 $N$ 份梯度张量，在分布式 FSDP 训练下产生不可承受的 $\mathcal{O}(N)$ 显存与 3 倍吞吐开销。MAOP 创新性地将优化器底层固有维护的一阶动量估计 $\mathbf{m}_t$（即历史梯度的指数滑动平均）视作基础知识更新轨迹的隐式语义锚点。当检测到当前混合反向传播的梯度与历史动量发生冲突（$\mathbf{g}^\top \mathbf{m} < 0$）时，算法自动将破坏性梯度分量正交投影消除： $$\mathbf{g}_{\text{orth}} = \mathbf{g} - \frac{\mathbf{g}^\top \mathbf{m}}{\|\mathbf{m}\|^2 + \epsilon} \mathbf{m}, \quad \text{当 } \mathbf{g}^\top \mathbf{m} < 0$$ 在数学上 $\mathbf{g}_{\text{orth}}^\top \mathbf{m} = 0$，保证了对原有学习轨迹的绝对零干扰。在分布式 FSDP 环境中，MAOP 仅需通过极小代价的全局 All-Reduce (SUM) 规约本地内积标量 $S_{\text{global}} = \mathbf{g}^\top \mathbf{m}$ 与 $N_{\text{global}} = \|\mathbf{m}\|^2$，便可在各卡独立完成正交投影计算，实现完全等价的全局几何投影，显存占用与训练吞吐量维持严格零开销。

损失函数 / 训练策略¶

整个多模态预训练采用三阶段渐进式可组合管线，从密集模型 Qwen3-0.6B Base 起步，通过保模稀疏升采样（Magnitude-Preserving Upcycling）将专家初始化权重线性层 down_proj 乘以 0.5，严格平滑继承稠密模型的零样本能力。三阶段训练策略如下： 1. 语言基底阶段（LM）：优化 300B 纯文本 token（35K 步），损失函数为自回归交叉熵与专家负载均衡辅助损失 $\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CE}} + \lambda_{\text{aux}}\mathcal{L}_{\text{aux}}$（$\lambda_{\text{aux}} = 0.01$）。 2. 多模态理解插件阶段（+MMU）：接入冻结的 Qwen3-VL ViT，前 3K 步预热线性投影层，随后解冻主干进行 20K 步联合微调（4M 样本，MMU:LM 采样比 0.8:0.2），仅对文本回复 token 施加交叉熵损失。 3. 视觉生成插件阶段（+T2I）：接入冻结的 FLUX.2 VAE，联合优化混合数据（100M 样本，T2I:MMU:LM 采样比 0.6:0.25:0.15，共 400K 步）。视觉生成采用流匹配（Flow Matching）连续速度场预测损失： $$\mathcal{L}_{\text{flow}} = \mathbb{E}_{t, \mathbf{x}_0, \mathbf{x}_1} \left[ \| v_\theta(\mathbf{x}_t, t) - (\mathbf{x}_0 - \mathbf{x}_1) \|^2 \right]$$ 总优化目标扩展为 $\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CE}} + \lambda_{\text{aux}}\mathcal{L}_{\text{aux}} + \lambda_{\text{img}}\mathcal{L}_{\text{flow}}$（$\lambda_{\text{img}} = 1.0$）。在此阶段配合差异化学习率策略（DiffLR，生成参数学习率 1e-4，基底参数 1e-5）与两阶段共享专家保护（前 5K 步切断非文本反向路径，随后永久启用 MAOP）。

实验关键数据¶

主实验¶

实验在严格的活跃计算参数等价约束（每 token 激活 2 个路由专家 + 1 个共享专家，活跃参数均为 ~0.97B）及完全相同的全量预训练数据流（无后续 SFT 指令微调）下进行，对比标准 MoE 与物理隔离基线 MoT (Bagel)。

评测维度	评估基准 / 指标	MoE (标准)	MoT (Bagel)	Rosetta (本文)	Rosetta (Pre-T2I)
参数规格	总参数量 / 活跃参数量	3.77B / 0.97B	4.48B / 0.97B	3.77B / 0.97B	3.77B / 0.97B
语言理解	MMLU (综合知识) ↑	26.3	27.1	49.2	51.6
	BBH (复杂推理) ↑	0.0	0.0	46.8	48.8
	ARC-c (推理挑战) ↑	22.8	26.5	62.9	67.3
	MBPP (代码生成) ↑	0.0	0.0	42.4	36.2
视觉理解	MMMU (专家级多模态) ↑	26.8	27.1	34.6	34.1
	MMBench-EN (多模态感知英文) ↑	42.1	46.2	52.5	51.3
	MMBench-CN (多模态感知中文) ↑	31.6	40.7	45.7	45.2
	POPE (抗幻觉评测) ↑	77.0	74.0	80.1	78.1
	AI2D (图表图解理解) ↑	41.6	47.6	55.8	54.2
	RealWorldQA (真实世界视觉常识) ↑	39.5	45.1	48.2	47.4
视觉生成	T2I-Comp (组合式生成评测) ↑	40.2	43.5	45.5	—
	COCO-30K FID ↓	17.80	15.58	14.05	—
	COCO-30K CLIPScore ↑	0.287	0.288	0.290	—
	COCO-30K HPSv2 ↑	0.204	0.211	0.219	—

消融实验¶

消融实验在 100K 预训练迭代节点下评估全局共享专家与动量锚定正交投影（MAOP）在跨模态协同中的核心作用。

配置变体	训练步数	MMLU (语言) ↑	MMBench (多模态理解) ↑	FID (图像生成质量) ↓	核心说明
Rosetta (完整模型)	100K	50.35	50.64	34.21	兼顾无冲突扩展与双向语义协同
w/o Shared Expert (去共享专家)	100K	49.84	49.19	36.13	虽避免崩溃，但断绝跨模态滋养，生成与理解严重降级
w/o MAOP (去动量正交投影)	100K	45.48	46.07	34.29	共享专家遭受梯度冲刷覆写，语言及理解能力发生显著退化

关键发现¶

根除毁灭性灾难遗忘：在标准 MoE 与 MoT 模型中引入 T2I 生成任务后，强烈的梯度扰动导致文本损失迅速发散，对推理精度极其敏感的 BBH 与 MBPP 代码生成得分直接坍塌归零；而 Rosetta 成功抵御冲击，BBH 维持在 46.8（对照 Pre-T2I 为 48.8），代码能力 MBPP 甚至从 36.2 提升至 42.4。
跨模态正向互促协同：与 MoT 冻结理解分支导致能力封顶不同，Rosetta 在加入图像生成训练后，MMMU（34.1 $\to$ 34.6）、MMBench-EN（51.3 $\to$ 52.5）和 AI2D（54.2 $\to$ 55.8）等所有视觉理解指标均实现超越 Pre-T2I 阶段的持续上升，表明高质量生成训练可作为正向正则项反哺基础感知。
极佳的系统扩展性：增加 VAE 生成专家数量（从 2 个扩充至 10 个）可以在维持 0.97B 活跃计算参数不变的前提下，使生成质量 FID 单调显著下降，且 MMLU 语言能力全程丝毫不受损害。

亮点与洞察¶

复用优化器动量作为语义锚点：巧借优化器已有的一阶滑动均值动量 $\mathbf{m}_t$ 作为历史稳定知识的隐式载体，无需像传统 PCGrad 那样缓存各任务梯度图，以数学内积判定对冲并投影，达成了理论非干涉性与分布式 FSDP 下完全零额外显存占用（单卡保持 58.8GB，吞吐保持 8,602 tokens/s/GPU）的完美统一。
注意力共享与 FFN 专业化解耦：澄清了多模态架构中「哪里该共享、哪里该隔离」的系统性分歧——注意力层共享保证无损跨模态上下文融合，FFN 局部隔离并由共享专家桥接避免参数霸占，以同等总参数量打破了 MoT 虚高参数且表现受限的弊病。

局限与展望¶

模态扩展范围局限：目前验证主要集中于文本理解、单图视觉感知与 256×256 连续图像生成；对于长视频连续生成、多轮对话交错图文流以及音频等多感官维度的可扩展性仍待进一步检验。
动量锚点的超前依赖：MAOP 的平稳运行依赖于前序模态已在优化器动量中形成稳定可信的方向轨迹；在训练初期若各模态同步启动剧烈震荡，动量本身的信噪比可能偏低，因此仍需依赖前期的热身屏蔽机制（Warmup Shielding）。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用优化器动量作为隐式语义锚点进行无损梯度投影，架构设计精妙。
实验充分度: ⭐⭐⭐⭐⭐ 严格在预训练原生态、活跃参数等价、固定随机种子下进行全方位评测与路由热力图可解释性分析。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，遗忘-协同两难命题直击领域痛点，数学推导与架构图严密清晰。
价值: ⭐⭐⭐⭐⭐ 为原生多模态通用基础模型向音频、3D、具身智能等多模态可持续无损扩展提供了可复现的工业级蓝图。