Scaling Laws for Multimodal Data Mixtures¶

会议: NeurIPS 2026
arXiv: 2610.14423
OpenReview: https://openreview.net/forum?id=xX1gcyTLbF
领域: 多模态 VLM
关键词: 多模态大模型, 扩展律, 混合专家模型, 数据配比, 跨模态干扰

一句话总结¶

针对文本、视觉与音频原生统一的多模态大模型预训练，本文基于稀疏混合专家（MoE）架构系统构建了解耦容量稀释、数据重复饱和与有向跨模态干扰的统一扩展律框架，揭示出音频偏好模型扩展、非文本重复超两轮收益骤降、以及视觉模态对音频造成强干扰等关键规律。

研究背景与动机¶

前沿多模态大模型（MLLM）正从早期的单模态桥接架构迅速迈向原生统一全模态预训练，广泛将文本、图像与音频 token 混合注入同一自回归模型中进行联合优化。然而，产业界对于多模态预训练数据配比配方——每种模态应分配多少计算量与 token 配额、各模态之间存在何种协同促进或负向干扰代价——始终处于黑盒或商业壁垒状态。传统的 Chinchilla 单模态扩展律仅假设单一同质文本流，难以指导包含高度异构特征分布、非对称数据规模以及不同优化动态的多模态混合训练。为了兼顾异构计算效率并降低模态冲突，前沿多模态架构普遍转向稀疏混合专家（MoE）结构，但多模态在共享路由与专家参数池中的容量竞争机制仍缺乏系统的定量刻画。

与此同时，现实场景中的多模态预训练面临着极度严峻的数据不平衡问题。相较于数万亿级别的高质量文本与图像图文对，高质量公开音频数据规模极小，在混合训练中维系目标模态比例往往不得不对非文本模态施加多次重复采样。在文本预训练中，适度重复训练（如 4 轮以内）被证明性能衰退轻微；但在视觉与音频等连续信号离散化后的模态上，数据重复的饱和临界点与有效信息折扣此前未有定论。以往探索或局限于图文双模态的对称干扰，或仅孤立研究单模态的离散 token 扩展，未能建立一套兼顾三模态联合优化、容量竞争、非对称干扰与数据重复衰减的统一理论体系。

本文的切入点在于将经典 Chinchilla 幂律从单模态向三模态系统性拓展，把名义参数量与物理 token 数重塑为受模态混合权重与重复度调制的“有效参数量”和“有效数据量”。核心 idea：构建一套统一的多模态 MoE 扩展律公式，显式解耦“混合权重引起的有效容量稀释”、“非文本重复衰减指数饱和”与“对数线性有向跨模态迁移”，通过覆盖 457M 至 8.3B 规模的 268 组可控预训练实验定标三模态计算最优配比。

方法详解¶

整体框架¶

本文旨在为文本（Text）、视觉（Vision）和音频（Audio）原生联合预训练建立精确的验证损失预测模型。传统神经扩展律将目标模态 $m$ 的验证损失 $L_m$ 建模为参数量 $N$ 与采样数据量 $D_m$ 的幂律衰减：$L_m = E_m + A_m / N^{\alpha_m} + B_m / D_m^{\beta_m}$。在多模态 MoE 场景下，多模态混训会导致各模态争夺路由带宽与共享参数，且重复采样与跨模态交互会改变数据的实际有效信息量。因此，框架将总参数量 $N$ 替换为模态专属的有效参数量 $N_{\mathrm{eff}}^{(m)}$，将采样数据量 $D_m$ 替换为涵盖重复衰减与跨模态迁移因子的有效数据量 $D_{\mathrm{eff}}^{(m)}$。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态混合预训练输入<br/>文本/图像/音频 Token 流"] --> B["统一多模态混合扩展律框架<br/>解耦三维影响因子并对齐单模态极限"]
    B --> C["有效容量稀释建模<br/>混合权重与共享专家参数挤占惩罚"]
    C --> D["数据重复收益与有向迁移<br/>连续模态有效数据界定与跨模态干扰"]
    D --> E["计算最优资源分配与损失预测<br/>参数/Token 分配与 OOD 跨尺度外推"]

关键设计¶

1. 统一多模态混合扩展律框架：解耦三维影响因子并对齐单模态极限
针对多模态联合训练中物理变量与实际学习效率脱节的问题，框架在统一公式中同时显式注入容量竞争、数据重复衰减和有向跨模态迁移效应。对于任意目标模态 $m \in \{\text{text}, \text{vision}, \text{audio}\}$，其预测验证损失定义为： $$L_m = E_m + \frac{A_m}{\left[N \exp\left(c_m (1-h_m)\right)\right]^{\alpha_m}} + \frac{B_m}{\left[D_{\mathrm{unq}}^{(m)} \phi_m(r_m) \exp\left(\sum_{k \neq m} v_{k \to m} h_k\right)\right]^{\beta_m}}$$ 其中 $E_m$ 为不可约损失，$A_m, B_m$ 为缩放常数，$\alpha_m, \beta_m$ 分别为参数与数据幂律指数；$h_m = D_m / \sum_{\ell} D_{\ell}$ 为模态 $m$ 的混合权重，$1-h_m$ 即非目标模态的总权重质量；$D_{\mathrm{unq}}^{(m)}$ 为不重复的独立 token 数，$r_m = D_m / D_{\mathrm{unq}}^{(m)}$ 为重复比率。当退化为纯单模态预训练（$h_m=1, r_m=1$）时，指数调节项均归一化为 1，公式严格退化为经典 Chinchilla 形式。这一结构在一阶泰勒展开下不仅能够自然恢复双模态可加交互律的数学形式，而且在强干扰或极度偏斜的数据配比下仍能严格保证有效数据量的正定性。

2. 有效容量稀释建模：刻画 MoE 专家共享下的参数挤占
在 MoE 模型中，尽管稀疏路由理论上允许不同模态激活专属专家，但实际经验表明路由呈现出高度弥散态，各模态共享相同的专家参数池并竞争优化梯度步与路由槽位。为定量化这种容量侵蚀，模型引入目标模态容量共享系数 $c_m$： $$N_{\mathrm{eff}}^{(m)} = N \exp\left(c_m (1-h_m)\right)$$ 当 $c_m < 0$ 时，非目标模态的加入会稀释目标模态的有效容量。当对有效参数项进行展开时，附加惩罚为 $\alpha_m |c_m| (1-h_m) A_m / N^{\alpha_m}$，表明模型总容量 $N$ 越大，非目标模态带来的容量挤占损失越趋向于零。实验拟合结果显示 $c_{\text{text}} = -0.457$、$c_{\text{vision}} = -0.846$、而 $c_{\text{audio}} = -1.873$。这意味着音频模态对容量稀释最为敏感，在非目标模态占比 90% 的混合配比下，音频能动用的有效参数仅剩原标称参数的约 19%（而文本保持约 66%），从根本上解释了音频预训练必须偏向更大模型容量的机制原因。

3. 数据重复收益与有向迁移：连续模态有效数据界定与跨模态干扰
在数据端，框架解构了模态内部的重复递减规律与模态间的定向信息传递。对于模态内重复，定义边际递减的重复增益函数 $\phi_m(r_m) = 1 + R_m^\star \left(1 - \exp\left(-\frac{r_m - 1}{R_m^\star}\right)\right)$，其中 $R_m^\star$ 代表该模态通过无限重复所能获得的等效新数据轮数上限。对于跨模态交互，采用对数线性有向迁移因子 $\exp\left(\sum_{k \neq m} v_{k \to m} h_k\right)$。参数 $v_{k \to m} > 0$ 表示正向协同迁移，而 $v_{k \to m} < 0$ 表示负向干扰。指数化建模避免了极端偏斜配比下加法数据模型产生负数有效 token 的数值奇异性。拟合得出 $R_{\text{vision}}^\star \approx 1.00$ 与 $R_{\text{audio}}^\star \approx 1.76$，证实图像与音频在重复超过两轮后边际价值暴跌（第三轮图像数据仅等价于新数据的 23.2%）。同时，有向迁移矩阵揭示出非对称干扰格局：视觉对音频具有极高负向破坏力（$v_{\text{vision} \to \text{audio}} = -0.795$），而音频作为源模态对文本和视觉的干扰近乎为零（系数均值接近 0 且标准差覆盖 0，表现为惰性模态）。

损失函数 / 训练策略¶

实验统一采用自回归因果语言建模目标（交叉熵损失/Next-Token Prediction）。所有模型保持相同的 32 层 Transformer 结构与 Grouped Query Attention（16 查询头，4 键值头），配置 1 个共享专家与 16 个路由专家（每个 token 激活 top-2 专家），采用 SwiGLU 激活与 QK-Norm 增强稳定性，通过调整隐藏层维度 $d_{\mathrm{model}}$（384 至 2048）实现从 457M 到 8.3B 总参数量的严格阶梯缩放。实验遵循 Step Law 进行超参数寻优，采用 1 倍最优学习率搭配 2 倍最优批次大小（全局批次大小可被专家并行度和专家数据并行度整除），基于 Megatron-LM 框架在 64 张 Nvidia-GH200 GPU 上开展了共计 268 组受控预训练，消耗约 30 万 GH200 卡时。拟合阶段采用 L-BFGS 算法对对数验证损失最小化 Huber 鲁棒损失，确保对极端异常点的不敏感性。

实验关键数据¶

主实验¶

论文在受控数据流上评估单模态扩展指数以及由拟合指数推导出的计算最优资源分配指数（假设算力 $C \propto N \times D$，$N_{\mathrm{opt}} \propto C^a$，$D_{\mathrm{opt}} \propto C^b$，其中 $a = \beta / (\alpha + \beta)$，$b = \alpha / (\alpha + \beta)$），并与既有前沿文献进行横向对比：

模态 / 对比基准	模型架构	不可约损失 $E_m$	参数指数 $\alpha_m$	数据指数 $\beta_m$	最优参数分配 $a$ ($N_{\text{opt}} \propto C^a$)	最优数据分配 $b$ ($D_{\text{opt}} \propto C^b$)	核心特征总结
文本 (Text)	稀疏 MoE	1.91	0.34	0.34	0.50	0.50	参数与数据均衡扩展，契合经典 Chinchilla 配方
视觉 (Vision)	稀疏 MoE	5.67	0.50	0.51	0.50	0.50	指数最高，算力增加时损失下降速度显著快于其他模态
音频 (Audio)	稀疏 MoE	4.36	0.32	0.52	0.62	0.38	重模型轻数据，算力优先分配给模型参数而非扩充 token
Chinchilla (2022)	稠密 Transformer	1.69	0.34	0.28	0.46	0.54	稠密纯文本经典基准，略微偏向数据
TGL (2025)	稀疏 MoE 文本	–	–	–	0.51	0.49	MoE 纯文本近似对称分配
NMM (2025)	稠密原生视觉	1.90	0.30	0.34	0.53	0.47	原生视觉生成/理解均衡扩展
SODA (2026)	稠密纯音频	–	–	–	0.37	0.58	稠密音频在无 MoE 稀疏容量时偏向数据堆叠

消融实验¶

为验证统一扩展律各组件对全量训练集及跨尺度外推预测的贡献，论文对数据重复饱和、跨模态迁移与有效容量稀释分别进行移除消融实验：

扩展律变体	拟合参数量 $k$	对数均方根误差 $\mathrm{RMSE}_{\log}$	相比完整模型相对增幅 $\Delta$	最大相对误差 (%)	留一尺度外推最大误差 (%) [R1 尺度]	关键机制影响
完整扩展律 (Full Law)	26	0.0064	基准线	2.16%	8.27%	综合精度与边界外推能力最佳
移除数据重复饱和 (No Repetition)	24	0.0096	+49.4%	3.62%	9.30%	误差飙升近 50%，严重低估多次重复的性能衰减
移除跨模态迁移 (No Transfer)	20	0.0064	-0.7%	2.61%	10.55%	平均 RMSE 平稳但最坏情况误差和外推误差显著恶化
移除有效容量稀释 (No Capacity)	23	0.0089	+38.4%	5.24%	9.96%	误差大增，无法预测非目标模态挤占专家时的损失突增
有向双向容量稀释 (Directional Capacity)	29	0.0064	+0.0%	2.54%	7.91%	参数膨胀导致在小样本子集上过拟合，视觉误差反向恶化

关键发现¶

外推预测具有极高鲁棒性：在完全未参与拟合的三个外推评测场景（12.6B-A3.8B 大模型从头训练 200B token、8.3B 模型非文本重度持续预训练、8.3B 模型文本重度持续预训练）的 9 个模态级预测中，皮尔逊相关系数达到 $r = 0.999$，其中 8/9 的损失误差控制在 2.51% 以内，6/9 误差在 1.1% 以内。
视觉细分任务下的正负迁移分化：当把视觉模态拆分为图文理解（文本损失）与图像生成（图像 token 损失）时，文本与音频对视觉理解均产生显著正向迁移（$v_{T \to V} = +0.400, v_{A \to V} = +0.346$）；而整体文本对视觉呈现的负向干扰（$-0.583$）几乎完全由图像生成阶段的表征冲突驱动（$v_{T \to V_{\text{gen}}} = -0.716$）。
路由弥散度排除了物理专家隔离假说：各层跨模态专家分配分布的 Jensen-Shannon 散度（JSD）均 $\le 0.01$（M6 尺度仅为 0.003），证明所有模态高度均匀地竞争相同的专家资源，容量稀释源自同一权重矩阵内部的表示冲突，而非专家分配失衡。

亮点与洞察¶

解构了音频模态的“重模型”物理本质：通过扩展指数发现音频的计算最优幂律为 $N_{\mathrm{opt}} \propto C^{0.62}$，同时音频容量稀释系数高达 $-1.873$。这指明在算力预算增加时，堆叠音频 token 收益极低，而增大模型参数量才是释放多模态音频性能的关键。
终结非文本模态盲目重复数据的训练误区：定量证明图像与音频数据重复两轮后即逼近信息增益上限（$R^\star_{\text{vis}} = 1.00, R^\star_{\text{aud}} = 1.76$）。与文本可承受 4 轮重复不同，连续模态在第三轮后的增益暴跌超过 75%，继续重复非文本数据将造成近 60% 的纯算力浪费。
揭示了多模态混训的非对称干扰阶级：音频模态对其他模态几乎呈中性惰性，而视觉模态则是最剧烈的“破坏源”（对音频迁移系数高达 $-0.795$）。在全模态联合预训练规划中，盲目调高视觉 token 比例将直接摧毁音频与文本的收敛效率。

局限与展望¶

超大规模与长视频模态的验证空白：受限于算力成本，拟合实验最高覆盖至 8.3B 总参数量与 150B 训练 token，对超百亿激活参数（$\gg 10\text{B}$）及数万亿 token 的渐近极限仍有待进一步实测外推。同时当前视觉仅聚焦单张图文，未覆盖长视频帧时序模态。
Token 化离散字典与架构先验绑定：扩展律常数（如 $E_m, A_m, B_m$）强依赖于特定的离散化分词器（Mistral-Nemo、Emu3.5、WavTokenizer）以及自回归因果目标。如果采用连续扩散表征或掩码建模目标，具体的定量系数需重新校准。
理论机理与动态路由的解耦探索：虽然揭示了容量稀释来自共享专家的表征冲突，但尚未提出彻底免除这种干扰的新型路由约束损失或解耦架构。未来的改进方向在于设计针对性的模态专属路由正则化策略以人为消除负迁移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立统一解耦多模态混合、容量竞争与数据重复饱和的完整扩展律理论体系。
实验充分度: ⭐⭐⭐⭐⭐ 耗费 30 万 GH200 卡时开展 268 组受控预训练，严格覆盖多尺度消融与 OOD 跨场景验证。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密自洽，泰勒展开与边界极限证明完备，图表直观且论点极为鲜明。
价值: ⭐⭐⭐⭐⭐ 为前沿统一多模态大模型的预训练数据配比与算力投资提供了极高指导价值的量化工具箱。