MARS: Harmonizing Multimodal Convergence via Adaptive Rank Search¶

会议: NeurIPS 2026
arXiv: 2603.00720
OpenReview: https://openreview.net/forum?id=wO9qWwm2K2
论文: https://arxiv.org/abs/2603.00720
代码: https://minkyoungcho.github.io/mars/
领域: 多模态VLM
关键词: 多模态微调, LoRA rank 搜索, 双重缩放律, 训练动态对齐, 参数高效微调

一句话总结¶

针对视觉语言模型全模块 LoRA 微调中模态间收敛步调不一致导致的性能瓶颈与振荡，MARS 提出模态自适应 rank 搜索算法，借助收敛时间与任务性能的双重缩放律在单次轻量标定下先剪枝后优选，实现多模态收敛动态对齐并显著提速微调搜索。

研究背景与动机¶

随着多模态大模型从冻结单模态主干向端到端全量适应演进，微调视觉编码器（VE）、投影层（Projector）与语言模型（LLM）已成为深度多模态理解的标配流程。然而，受限于数十亿甚至百亿级参数规模的高昂显存开销，全参数微调极具挑战，参数高效微调（PEFT）方法尤其是低秩自适应（LoRA）成为了标准解决方案。工业界和学术界通常在视觉编码器与语言主干上施加完全对称的同等 LoRA rank，忽视了视觉编码器和 LLM 来源于完全不同的预训练单模态体系、具有悬殊参数规模和特征空间的本质差异。

这种对称配置直接引发了严重的训练动力学失衡问题。当视觉编码器与语言主干采用相同配置联合优化时，二者的收敛速度存在巨大鸿沟：若视觉编码器欠适应，则成为整个系统的特征提取瓶颈，限制语言模型的推理表达；若语言模型更新滞后或欠适应，梯度在多模态冲突下剧烈波动，进而引发优化震荡。传统实践多依赖人工启发式调整两者的学习率比例，但这不仅依赖昂贵的手工试错，且学习率仅能调节梯度更新步长，无法从根本上改变适配容量与过拟合正则化约束。

根本原因在于视觉编码器与语言模型存在“双重不平衡”：一是参数规模悬殊带来的学习容量差异，二是预训练源头不同导致的下游任务领域鸿沟差异。通过将 LoRA rank 重新定义为控制模态收敛速率的调节器，能够从根本上协调收敛动态。然而穷举搜索 rank 组合开销巨大，核心 idea：提出 MARS（多模态自适应 rank 搜索）框架，构建并验证收敛时间缩放律（Scaling Law-C）与性能缩放律（Scaling Law-P），先通过收敛时间对齐解析解剪枝搜索空间，再预测最优任务困惑度精选 rank 组合，仅凭轻量标定即可实现跨模态收敛步调同步。

方法详解¶

整体框架¶

MARS 是一个在正式下游任务微调前执行的高效预搜索框架。它的核心目标是：在不执行任何单次完整微调的情况下，针对目标数据集规模 $D_f$，自动化搜索出能使视觉编码器（VE）与语言模型（LLM）收敛步调对齐、且任务性能最高的 rank 组合 $(r_{\text{ve}}^*, r_{\text{llm}}^*)$。

整个架构包含三大关键步骤：首先，在目标微调设置下执行多 rank 适配器的轻量级标定阶段，提取少量中间步数的指标拟合出双重缩放律（Dual Scaling Laws）；其次，根据收敛时间缩放律（Scaling Law-C）推导出的解析平衡条件，遍历候选 LLM rank 并计算同步收敛对应的唯一 VE rank，从而将庞大的二维网格搜索大幅剪枝为一维候选集；最后，基于性能缩放律（Scaling Law-P）对候选集合进行泛化困惑度评估，输出全局最优配置并启动完整微调。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 目标数据集规模 D_f 与 LLM 候选 rank 集合"] --> B["轻量化标定与参数拟合<br/>L-BFGS-B 拟合 Scaling Law-C 与 Scaling Law-P 自由参数"]
    B --> C["收敛时间缩放律剪枝 (Scaling Law-C)<br/>解析求解 t_ve ≈ t_llm，生成对齐候选集 CandidatePairs"]
    C --> D["任务性能缩放律评估 (Scaling Law-P)<br/>最小化预测困惑度 L_hat，挑选最优 rank 对"]
    D --> E["输出最优组合 (r_ve*, r_llm*) 并执行单次完整微调"]

关键设计¶

1. 性能缩放律（Scaling Law-P）：刻画串行信息瓶颈的多模态困惑度建模

传统单模态微调缩放律将 LoRA rank 视为统一标量，无法反映视觉编码器和语言主干串行级联时的信息衰减。MARS 提出扩展的乘法幂律形式来预测微调损失（或验证困惑度 $\hat{L}$）： $$ \hat{L}(r_{\text{ve}}, r_{\text{llm}}, D_f) = A \cdot \frac{1}{(r_{\text{ve}})^{\alpha_m} \cdot (r_{\text{llm}})^{\alpha_l} \cdot D_f^{\beta}} + E $$ 其中 $\alpha_m$ 与 $\alpha_l$ 分别为视觉端与语言端的 rank 缩放指数，$\beta$ 为数据集规模指数，$A$ 为缩放系数，$E$ 为不可约误差项。之所以采用两模块 rank 相乘而非相加的形式，是因为视觉与语言模块在结构上呈严格的串行信息流处理：前端视觉编码器若是发生低秩表征瓶颈，会造成无法逆转的底层信息丢失，直接为下游 LLM 的推理性能设立不可突破的上限；相乘形式更精准地反映了这种串联依赖下的容量约束。

2. 收敛时间缩放律（Scaling Law-C）：几何优化状态与信息吸收的动力学解耦

为量化各模态独立达到收敛所需的迭代轮次，MARS 建立了单模块收敛步数模型： $$ t_i(r_i, D_f) = k_i \cdot (r_i)^{\gamma_i} \cdot D_f^{\delta_i} + E_i \quad (i \in {\text{ve}, \text{llm}}) $$ 其中收敛指数 $\gamma_i < 0$，意味着提高 rank 能扩展更新子空间、消除正交于预训练权重的异常奇异向量（Intruder Dimensions），改善优化流形的谱条件数，从而显著加快向性能阈值的收敛；而数据规模指数 $\delta_i > 0$ 则对应神经元容量对数据熵的吸收过程，数据量越大所需优化的步数越多。双对数坐标下的实证结果显示，不同 rank 的拟合曲线高度平行，证明了 rank 几何优化条件与数据集信息复杂度是相互解耦的独立因子。

3. 解析收敛对齐与候选剪枝：两阶段无穷举搜索空间优化

若直接使用性能预测器在全空间搜索，可能选中虽然理论容量大但训练严重不同步、梯度相互干扰的配置；反之仅追求同步则无法最大化准确率。MARS 通过令 $t_{\text{ve}} \approx t_{\text{llm}}$ 联立方程，解析推导出视觉编码器关于语言模型 rank 的连续映射关系： $$ r_{\text{ve}} \approx \left(\frac{k_l \cdot (r_{\text{llm}})^{\gamma_l} \cdot D_f^{\delta_l} + E_{\text{llm}} - E_{\text{ve}}}{k_v \cdot D_f^{\delta_v}}\right)^{\frac{1}{\gamma_v}} $$ 算法固定离散的候选语言模型 rank 集合（如 $\{8, 16, 32, 64\}$），代入上式后就近取整为整数 $r_{\text{ve}}$，构造成对齐候选集。随后仅在这一极度受限且动态平衡的候选集合内，调用 Scaling Law-P 选取使预测损失最小的组合 $(r_{\text{ve}}^*, r_{\text{llm}}^*)$。这一设计避开了 $O(K^2)$ 的暴力全量微调，将空间有效缩减为一维搜索。

4. 冻结主干多 rank 适配器并行标定：常数级标定开销

缩放律参数的估计并不需要多次完整训练。MARS 采用基于轻量中间 Checkpoint 的采集方案，在少量初始步数下记录收敛与困惑度指标。此外，利用预训练主干权重在微调初期被冻结或共享的特性，构建共享主干前向特征图、下游并行分发到不同 rank LoRA 旁路的计算图结构。因为低秩矩阵参数占全模型不足 1%，这一并行策略使得所有候选 rank 统计量可在单次前向-反向中同步采集，将标定复杂度从指数级压缩到接近常数级 $O(1)$，为工业级落地扫清了显存与耗时障碍。

损失函数 / 训练策略¶

标定阶段采用 L-BFGS-B 算法最小化 Huber 损失函数以稳健拟合缩放律自由参数，避开个别异常点的干扰。在正式微调阶段，所有模型统一采用交叉熵损失、Adam 优化器与余弦学习率调度，batch size 设为 8，初始学习率设为 $1 \times 10^{-5}$，LoRA 缩放系数保持 $\alpha = 2 \times r$。投影层作为视觉表征的桥梁，采用与视觉编码器一致的搜索 rank $r_{\text{ve}}$。针对极端情况下偶发的复数根问题（发生率约 0.72%），算法设置安全回退机制，默认回退为对称配置 $r_{\text{ve}} = r_{\text{llm}}$。

实验关键数据¶

主实验¶

论文在通才微调（LLaVA Bench，指标为验证困惑度 PPL，越低越好）与专才微调（ScienceQA，指标为多模态选择题准确率 Accuracy，越高越好）两大基准上进行了全面评测，涵盖 LLaVA-OneVision（0.5B、7B）以及 Qwen2.5-VL（3B、7B）。

模型	基准任务	启发式学习率微调 (最优)	对称固定 LoRA (最优)	全参数微调 (Full-rank)	MARS (本文)	相对最优基线提升
LLaVA-OV-0.5B	LLaVA Bench (PPL ↓)	2.7336	2.7331 (r=32)	2.7209	2.7188	困惑度下降 0.0143
LLaVA-OV-0.5B	ScienceQA (Acc % ↑)	71.06	71.06 (r=16)	69.66	72.85	+1.79%
LLaVA-OV-7B	LLaVA Bench (PPL ↓)	2.2317	2.2317 (r=16)	2.2693	2.1875	困惑度下降 0.0442
LLaVA-OV-7B	ScienceQA (Acc % ↑)	72.26	73.65 (r=32)	70.46	74.25	+0.60%
Qwen2.5-VL-3B	LLaVA Bench (PPL ↓)	3.6156	3.5912 (r=8)	3.6528	3.5825	困惑度下降 0.0087
Qwen2.5-VL-3B	ScienceQA (Acc % ↑)	78.04	78.24 (r=8)	75.25	79.24	+1.00%
Qwen2.5-VL-7B	LLaVA Bench (PPL ↓)	3.5032	3.5011 (r=8)	3.5917	3.3616	困惑度下降 0.1395
Qwen2.5-VL-7B	ScienceQA (Acc % ↑)	79.84	79.84 (r=8/16)	77.45	79.64	持平 (~-0.20%)

消融与搜索效率对比¶

在 Qwen2.5-VL-3B 模型上，保持相同可训练参数预算的前提下，对比不同搜索策略与自适应算法的开销与性能：

方法	搜索总计算开销	ScienceQA 参数量 (M)	ScienceQA 准确率 (Acc % ↑)	LLaVA Bench 参数量 (M)	LLaVA Bench 困惑度 (PPL ↓)
Random Search (5 trials)	5 次完整微调	26–27	77.64%	22–24	3.5928
Bayesian TPE (6 trials)	6 次完整微调	$\le$ 27.19	78.64%	$\le$ 23.62	3.6882
AdaLoRA (unified)	1 次完整微调	25.86	70.06%	25.86	3.6679
AdaLoRA (separate)	1 次完整微调	29.97	71.26%	22.79	3.6493
MARS	轻量标定 + 1 次完整微调	27.19	79.24%	23.62	3.5825

针对 64 个网格点的穷举搜索对照（Exhaustive Grid Search），MARS 在 LLaVA-OV-7B 上分别精确击中 LLaVA Bench 最优组合 $(r_{\text{ve}}=10, r_{\text{llm}}=16)$，并在 ScienceQA 上预测出 $(22, 32)$，逼近网格最优 $(24, 32)$，端到端耗时降低 11.5 倍以上。

关键发现¶

收敛差距与泛化困惑度强相关：统计分析表明，VE 与 LLM 的收敛时间差距 $|T_{\text{ve}} - T_{\text{llm}}|$ 与验证困惑度呈显著强正相关（Pearson $r \ge 0.86, p < 0.01$），直接证明了模态间收敛不一致是引发次优性能的关键根源。
数据量驱动的 VE rank 动态偏好：在极小样本制度下，VE 面临较大的初始跨模态领域鸿沟，优先选择较大的 VE rank 才能提供足够表征容量避免瓶颈；而在中大规模数据制度下，适度减小或维持中等 VE rank 反而有助于防止过拟合，并向 LLM 提供稳定的输入表征。
参数跨架构迁移失效但函数形式可迁移：变异系数（CV）分析表明，数据规模指数 $\beta$ 与不可约误差 $E$ 在不同模型间具有强通用性（CV $< 4\%$），而各模态 rank 指数与收敛常数与模型结构高度耦合（CV $> 30\%$），证明了“统一公式形式 + 单模型轻量微调标定”这一设计路径的必要性与自洽性。

亮点与洞察¶

将 LoRA rank 重塑为优化动态调节器：超越了“rank 即模型容量/压缩率”的传统视阈，首次揭示了低秩适配维度对损失曲面谱稳定性和收敛速度的控制机制，提供了一种比人工调整学习率更为正交且深刻的动力学解耦工具。
双重缩放律的闭环联动：用 Scaling Law-C 解析求解动态平衡面消除冲突，再用 Scaling Law-P 沿平衡面做性能最优化，将复杂的二阶组合优化降维分解，兼具物理直觉与数学优雅性。
可迁移的轻量级自动化落地范式：结合多 rank 适配器并行前向的标定机制，仅需不到常规微调十分之一的预算即可自动完成模态资源配比，为后续视觉-语言-动作（VLA）或音画多模态系统的 PEFT 提供了普适模板。

局限与展望¶

模态扩展局限在双模态：论文当前公式推导以单视觉编码器与单语言解码器为主，对于视觉、音频、文本并行的三模态系统（如 Qwen-Omni 类全模态模型），虽然理论上可将 LLM 作为基准针分解为独立方程，但其多路交叉注意力的收敛动力学尚未实测。
单模块内层间异质性被平摊：MARS 目前在单个模块（如整部视觉编码器）内部施加统一的 rank $r_{\text{ve}}$，未结合层级敏感度做更细粒度的逐层 rank 衰减或分配。
跨任务泛化需重新标定：当切换全新下游领域时，仍需运行一次标定流程来获取当前数据分布下的缩放律系数，未能实现纯粹的跨领域零样本 rank 迁移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态微调收敛时间缩放律，将 LoRA rank 作为收敛协调器的视角独具洞察力。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 种主干规模、多个通才与专才基准、64点网格穷举对照以及理论推导与统计相关性检验，极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从动力学失衡矛盾自然过渡至双重缩放律闭环，数学推导清晰严密。
价值: ⭐⭐⭐⭐⭐ 为大模型多模态微调提供了一套实用、低成本且具有统计学支撑的自动化超参配置准则。