Divide-and-Adapt: Fine-Tuning VLMs via Model Division and Routing¶
会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/haiiling/DivideAndAdapt
领域: 多模态 VLM
关键词: 视觉语言模型, 模型切分, 混合专家模型, 差异化剪枝, 动态路由
一句话总结¶
针对传统微调始终保持密集预训练架构完整而导致的计算冗余与下游适配瓶颈,本文提出 Divide-and-Adapt 范式,通过 Wanda 与 SparseGPT 结合不同校准数据将预训练 FFN 剪枝切分为多样化子网络专家,并以交替 DA-MoE 模块配合 top-2 动态路由协同微调,在大幅降低推理激活参数的同时超越全量微调与 LoRA。
研究背景与动机¶
在大规模多模态预训练的推动下,视觉语言模型在图像描述、视觉问答及跨模态推理等通用感知任务中展现出卓越的泛化能力。然而,在垂直场景(如智能家居日常监控、长视频因果理解)实际落地时,下游任务往往伴随着显著的域分布偏移,促使研究人员对预训练模型展开下游微调。传统的全量参数微调随着模型参数规模的急剧膨胀,在显存占用与计算开销层面变得极其昂贵;而各类主流参数高效微调技术(如 LoRA、VeRA、DoRA 以及 Adapter 等)虽然极大压低了训练开销,但在复杂视频因果和细粒度计数推理等任务上,其最终精度依然往往难以匹敌全量微调。
深入剖析当前所有的微调范式,无论全量微调还是 PEFT,都默认遵从一个核心假设:在整个下游适配生命周期中,必须严格保持预训练模型的密集网络拓扑结构完整无损。然而,彩票假设与大模型剪枝研究(如 Wanda、SparseGPT)已经表明,过参数化模型内部原本就隐藏着功能完备、高度特化的稀疏子网络。如果将预训练模型视为一个无法分割的整体进行单向权重微调,不仅会继承大量冗余连接带来的噪声干扰,也丧失了针对下游异构输入灵活调用特定计算通路的灵活性;而传统的单子网络剪枝又受限于单一路径的表征容量,无法应对复杂多模态任务中多样化的样本特质。
针对这一根本矛盾,本文打破了“维持预训练架构完整”的思维定势,转向一种基于网络分解与重组的协同微调视角:预训练模型完全可以被主动解构为多个互补的下游子网络,并借助稀疏混合专家的协同机制实现按需计算。核心 idea:将预训练密集 FFN 通过多源校准数据与异构剪枝策略分解为多个结构互补的稀疏子网络专家,并构建隔层交替的 DA-MoE 动态路由架构,以 1% 的低秩可训练参数和显著降低的激活参数量实现超越全量微调的下游协同适配。
方法详解¶
整体框架¶
Divide-and-Adapt(DA-MoE)将预训练密集解码器改造为按需路由的自适应稀疏网络。模型并非全盘替换所有 Transformer 解码层,而是采用隔层交替结构:偶数层保留经 50% 剪枝的静态轻量稀疏 FFN,奇数层则替换为由多子网络专家组成的 DA-MoE 块。在每个 DA-MoE 块内部,输入隐藏状态经过自注意力与残差归一化后,由可学习的 MoE Router 对输入词元进行亲和度评估,自适应分派给 top-2 剪枝专家进行协同变换。各个专家在初始化阶段直接脱胎于预训练密集 FFN 的结构化剪枝,兼具基础语义先验与独特的结构偏置。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态视频与文本输入<br/>帧序列 + 问题指令"] --> B["预训练密集特征抽取<br/>Vision Encoder + Tokenizer"]
B --> C["多样化剪枝专家构建<br/>Wanda/SparseGPT × 多校准集"]
C --> D["隔层交替混合专家架构<br/>DA-MoE 块与静态稀疏 FFN"]
D --> E["动态路由与负载均衡训练<br/>Top-2 Router + 辅助平衡损失"]
E --> F["下游任务推理输出<br/>高效激活参数的多模态回答"]
关键设计¶
1. 多样化剪枝专家构建:解决单一子网络容量受限与同质化专家缺陷
在传统的单模型剪枝中,网络通常仅按单一评分准则提取单一中奖子网络,导致模型表征容量大幅受限;若仅随机初始化 MoE 专家,又会丢失预训练阶段沉淀的深层通用知识。本文从权重-激活交互与局部层级重建两个正交视角解构密集 FFN,分别基于权重绝对值与输入激活 L2 范数乘积的 Wanda 准则 \(S_{ij} = |W_{ij}| \cdot \|X_j\|_2\),以及基于阻尼 Hessian 矩阵逆对角项评估重建扰动的 SparseGPT 准则:
结合从下游训练集中以不同随机种子采样的两组独立校准子集,交叉生成 4 个剪枝比例均为 50% 但连接拓扑异构的稀疏专家掩码 \(M_i \in \{0, 1\}^{d \times d}\)。由于不同准则分别偏向保留强信号激活通路与维持层级重构流形,各专家天然继承了预训练主干的多样化功能偏置,消除了下游冷启动专家同质化竞争的隐患。
2. 隔层交替混合专家架构:平衡全局表征一致性与局部动态稀疏算力
若将网络中所有解码块全盘替换为 MoE 结构,不仅会使专家路由器管理负荷激增、导致训练震荡,还会使总参数量膨胀超出边缘部署内存上限。为此,DA-MoE 提出隔层交替混合架构:在整个 Transformer 解码器中,将奇数层解码器的 FFN 替换为含有 4 个剪枝专家的 DA-MoE 模块,而偶数层则直接替换为单一固定的 50% 稀疏 FFN。前向传播时,隐藏状态 \(h\) 在经过自注意力处理后,由可学习路由器计算各专家分配权重,仅激活排名前 2 的专家进行加权聚合:
这种隔层混合设计既保留了通用表征在密集/轻量稀疏路径中的稳定传递,又在关键层赋予了模型按词元特征动态路由的专业化表征能力,在推理时将 InternVL3-8B 的激活参数量从 8.0B 显著压降至 6.6B。
3. 动态路由与负载均衡训练:防止专家退化崩溃并实现高效低秩协同更新
在多专家动态分派机制中,路由器极易退化收敛至少数高频专家,导致其余专家闲置失活。为此,模型在标准自回归生成损失 \(\mathcal{L}_{\text{regressive}}\) 之外引入可微辅助负载均衡损失:
其中 \(F_i\) 表示路由给专家 \(i\) 的词元实际占比,\(G_i\) 为该专家在所有词元上的平均路由概率,以权重系数 \(\alpha = 0.01\) 驱动路由器均匀分摊多模态表征负载。在微调参数更新层面,主干权重与剪枝掩码在训练期间保持冻结,仅在 FFN 专家与注意力层中引入 rank 为 32 的 LoRA 适配层,可训练参数占比低至 1.05%,以极小训练成本实现了异构子网络专家的协同自适应。
一个完整示例¶
以一段智能家居监控视频提问为例:“视频中男孩把几个物品放到了架子上?”(视频中男孩双手各拿玩具的一个部位,随后整体放置到架子上,其自身玩具与男人玩具共两次放置动作)。 1. 输入与表征提取:视频采样 16 帧图像经由视觉编码器生成视觉词元,与文本指令拼接成序列送入解码器。 2. 隔层与动态路由流转:词元序列进入第 0 层 DA-MoE 块时,针对“双手抓持相同玩具边缘”的复杂视觉关联词元,MoE Router 输出最高路由权重给偏向局部精细几何特征的 SparseGPT 专家与偏向显著运动区域的 Wanda 专家,抑制背景无关专家。 3. 协同聚合计算:选中的 top-2 专家并行计算前向投影,经权重聚合后送入第 1 层的轻量 50% 稀疏 FFN 进行特征平滑。 4. 准确计数输出:基线全量微调与 LoRA 因未能解耦复合视觉模式,将初期的双手分立状态误判为 3 件物品;而 DA-MoE 依托细粒度特化专家的协同推理,准确识破抓持同一玩具的整体动作,在 Count 子类中成功输出精确答案“Two”。
损失函数 / 训练策略¶
训练阶段总损失由自回归跨熵损失与负载均衡辅助项构成:
优化器采用 AdamW,配置 \(\beta_1=0.9, \beta_2=0.999, \epsilon=10^{-8}\),权重衰减 0.02,学习率预热比率为 0.02。最大序列长度设为 8192 词元以容纳长达 16 帧的多模态视频输入。在 4 张 NVIDIA A100 (80GB) 上采用 DeepSpeed-MoE 分布式架构执行训练。
实验关键数据¶
主实验¶
在公开基准 NExT-QA(包含 5.4K 视频、52K 问答对,覆盖因果推理 AccC、时间推理 AccT 及描述推理 AccD)以及涵盖 1,143 视频、1,154 题的实机智能家居垂直基准上,对 InternVL3-8B 与 SmolVLM2-2.2B 展开全面评测。
| 模型 | 方法 | 因果推理 (AccC) | 时间推理 (AccT) | 描述推理 (AccD) | 智能家居 (AVG) | 总体准确率 (Acc) |
|---|---|---|---|---|---|---|
| InternVL3-8B | Zero Shot | 79.1% | 71.9% | 86.3% | 71.07% | 79.1% |
| InternVL3-8B | Full FT | 80.4% | 78.8% | 86.5% | 71.73% | 80.9% |
| InternVL3-8B | LoRA FT | 80.0% | 78.0% | 85.3% | 71.87% | 80.2% |
| InternVL3-8B | DA-MoE (Ours) | 81.0% | 79.0% | 87.5% | 73.35% | 81.4% |
| SmolVLM2-2.2B | Zero Shot | - | - | - | 48.35% | - |
| SmolVLM2-2.2B | Full FT | - | - | - | 49.56% | - |
| SmolVLM2-2.2B | LoRA FT | - | - | - | 46.61% | - |
| SmolVLM2-2.2B | DA-MoE (Ours) | - | - | - | 51.42% | - |
在更细粒度的 NExT-QA 题目类型中,DA-MoE 在数量统计(Count)上达到 70.2%(大幅超越 Full FT 的 68.3% 与 LoRA 的 67.7%),在空间定位(Location)上达到 96.1%(超越 Full FT 的 94.6% 与 LoRA 的 93.2%)。
消融实验¶
消融实验深入验证了单子网络剪枝、微调增益、MoE 机制以及专家多样性对最终表现的递进贡献(基于 InternVL3-8B 在 NExT-QA 上的消融):
| 配置 | 核心机制 | 总体准确率 (Acc) | 相对 Zero-Shot 变动 |
|---|---|---|---|
| Zero Shot | 原始密集模型零样本推理 | 79.1% | 基准线 |
| SP Init | 单一剪枝子网络直接初始化(无微调) | 77.4% | -1.7%(剪枝导致部分容量丢失) |
| SP FT | 单一剪枝子网络配合下游微调 | 79.4% | +0.3%(恢复容量并适应下游) |
| SP MoE | 单一剪枝准则构建的多专家 MoE 微调 | 80.1% | +1.0%(动态路由提升容量分配) |
| DP Init | 多样化剪枝子网络构建 MoE(未微调) | 79.5% | +0.4%(未训练即超越密集基线) |
| DA-MoE (Full) | 多样化剪枝专家 + 隔层 MoE + 联合微调 | 81.4% | +2.3%(达到最高协同表现) |
此外,在网络层放置策略对比中,仅前置层替换(First-Half)达到 80.6%,仅后置层替换(Second-Half)达到 80.0%,全量层替换(All)达到 81.2%,而本文提出的隔层交替架构(Ours)达到最优的 81.4%,证明局部交替稀疏在保持深层特征连贯性上的优越性。在计算开销层面,DA-MoE 将每词元推理 FLOPs 从密集模型的 13.05 GFLOPs 削减至 10.20 GFLOPs(降幅达 21.8%)。
关键发现¶
- 多样化初始化的零样本超越现象:在不更新任何模型参数的前提下,仅将密集模型按异构准则切分为子网络并赋予初始均匀路由(DP Init),准确率即达 79.5%,已然领先密集预训练模型(79.1%)。这表明预训练网络内原本就共存着具备互补归纳偏置的高性能功能子图,适度解构优于强行保留整网。
- 异构准则强于同质专家:对比表 8 实验,采用单一 Wanda 剪枝的同质专家(Homogeneous)零样本准确率为 79.1%,而引入 PCA 数据分流的专家(79.5%)与引入 Wanda+SparseGPT 策略引导的专家(79.5%)显著占优,证明功能互补性是 MoE 路由发挥效益的前提。
- 计数与细粒度感知增益最突出:在物体计数(Count)与位置问答(Location)任务中,DA-MoE 取得全场最显著的相对提升,归功于动态路由能有效分离复杂时空背景与前景微小目标的特定计算通路。
亮点与洞察¶
- 颠覆网络完整性教条:跳出了传统微调必须完整维系骨干拓扑的思维定势,证实了“先切分、后协同”反而是更优的多模态任务适配起点。
- 正交剪枝准则诱导天然专家特化:巧妙将 Wanda(激活-权重强度驱动)与 SparseGPT(局部逆 Hessian 重构误差驱动)两套异构剪枝算法作为专家生成器,以零额外训练开销赋予了 MoE 底层极高的结构多样性。
- 训练高效与推理减负兼备:微调时仅需更新 1.05% 的 LoRA 适配参数,推理时通过 top-2 稀疏路由与隔层稀疏将激活参数减少至 6.6B,实现了“训得轻、跑得快、测得准”的三重均衡。
局限与展望¶
- 总参数量未获物理压缩:作者承认引入 4 个稀疏专家使得模型物理权重参数量增至 10.8B(虽然激活参数降至 6.6B),在边缘设备部署时对整体显存驻留容量提出了额外要求。
- 结构化剪枝尚未打通:当前子网络划分仍依赖非结构化剪枝掩码,在常规稠密硬件矩阵加速器上无法直接兑现为理论上限的吞吐倍增。未来亟待将该范式拓展至块稀疏(Block-Sparse)或通道级结构化剪枝。
相关工作与启发¶
- vs LoRA / DoRA: 传统 PEFT 方案将密集骨干视作静态黑盒并在旁路挂接适配层,保留了所有冗余连接;DA-MoE 从内部重构 FFN 为互补稀疏子网络,以同等 1% 训练开销解锁了显著更优的下游表征容量。
- vs Wanda / SparseGPT: 传统剪枝仅服务于模型后处理压缩,且止步于筛选单一最优子网络;DA-MoE 将剪枝重新定位为构建 MoE 专家的“分化器”,化压缩为表征特化驱动力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出将模型剪枝切分与 MoE 路由协同相结合的微调新范式,打破拓扑完整性假设,立意独到。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖公开视频问答与实机智能家居基准,详细报告了参数量、激活量、FLOPs 及多种消融配置,论证严密。
- 写作质量: ⭐⭐⭐⭐⭐ 叙述逻辑层层递进,方法机制与数学公式阐述清晰,图文对照详实。
- 价值: ⭐⭐⭐⭐⭐ 为大模型多模态高效微调与稀疏架构改造提供了极具启发性的工程与理论切入点。