Dynamic Model Merging Made Slim¶

会议: NeurIPS 2026
arXiv: 2605.18904
代码: https://github.com/WanyuGroup/NeurIPS2026-DiDi-Merging
领域: 模型压缩
关键词: 动态模型合并, 差异化秩选择, 低秩分解, 无数据重构, 参数高效

一句话总结¶

针对动态模型合并中参数在共享与专家组件间严重失衡的问题，提出 DiDi-Merging 框架，通过可微分秩选择联合分配共享与专家模块的低秩容量，并利用无数据参数空间优化重构任务向量，在多模态与多任务下以极低存储开销逼近独立微调精度。

研究背景与动机¶

在大模型时代，从同一个预训练骨干网络出发独立微调多个下游专用模型已成为行业标准实践。然而，在边缘设备或大规模生产环境中同时部署大量全量模型会带来极其沉重的存储与显存负担；同时，由于隐私保护、商业数据合规或算力预算限制，跨所有任务原始数据进行联合多任务训练（Multi-Task Learning）往往不可行。模型合并（Model Merging）技术应运而生，它无需访问任何原始训练数据，仅在参数层面聚合多个独立微调的检查点。传统的静态模型合并将所有任务向量强行融合进单一权重检查点，不可避免地引发剧烈的任务间参数干扰（Task Interference）。为解决这一瓶颈，动态模型合并（Dynamic Model Merging）被提出，其借助轻量级路由机制根据输入将激活流引导至对应的任务专家模块，既抑制了任务干扰，又支持即插即用的模块化扩展。

然而，现有动态模型合并方法在参数分配上陷入了两个极端的失效模式：第一种是“重共享（Heavy Shared）”范式（如 TALL-Mask、EMR-Merging、Twin-Merging、FREE-Merging 及 MMER 等），它们强制保留一个与原始模型等大的全尺寸共享主干，仅存储极其细微的特定任务掩码或缩放标量，导致共享组件的体积无法缩小；第二种则是“重专家（Heavy Expert）”范式（如 TSV-C、SMILE），它们完全舍弃共享组件，把所有任务知识分别压缩进每个任务的独立专家向量中，使得总存储开销随任务数量线性增长。这两种极端割裂了跨任务共享知识与特化知识的协同，无法在固定参数预算下实现Pareto最优。

本文的核心切入点是：共享知识与专家特化知识本就应当共同竞争并自适应瓜分有限的低秩存储预算，相似任务可以更多共用共享维度，而异构任务则依赖特化专家维度。核心 idea：提出 DiDi-Merging 框架，将共享与专家模块全部参数化为低秩结构，通过平滑截断奇异值将容量分配转化为端到端可微分的连续秩优化，并在截断后利用已有任务向量进行无数据参数空间微调，兼顾极端纤薄的存储与近乎无损的下游性能。

方法详解¶

整体框架¶

DiDi-Merging 的核心目标是在无原始训练数据的情况下，将 $T$ 个微调任务模型 $\{\boldsymbol{\theta}_t\}_{t=1}^T$ 整合为一个轻量动态模型。其整体流程由三个阶段组成：首先，将原始任务向量 $\boldsymbol{\tau}_t = \boldsymbol{\theta}_t - \boldsymbol{\theta}_0$ 分解为静态均值初始化的共享知识矩阵 $\boldsymbol{M}_s$ 与每个任务特有的残差专家矩阵 $\boldsymbol{M}_t$；其次，对所有矩阵进行奇异值分解（SVD），引入连续平滑截断函数将各层共享及专家的秩离散截断问题松弛为可微分优化问题，联合最小化任务向量重构误差与容量预算惩罚，自适应确定每一层的最优秩分配；最后，在冻结离散截断秩的拓扑下，利用原任务向量作为监督目标，执行轻量无数据的 LoRA 因子参数微调，全面恢复因秩截断带来的精度损失。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务向量构建<br/>提取各任务 τ_t = θ_t - θ_0"] --> B["共享与专家残差分解<br/>静态平均 M_s 与专家残差 M_t = τ_t - M_s"]
    B --> C["可微分连续秩优化<br/>SVD平滑截断 + 任务重构与预算联合损失"]
    C --> D["离散秩确定与因子初始化<br/>提取整数秩并用截断奇异值初始化 (A, B)"]
    D --> E["无数据参数重构微调<br/>固定秩下以 MSE 拟合原任务向量"]
    E --> F["动态推理激活<br/>θ*(x) = θ_0 + M~_s + Σ w_t(x) M~_t"]

关键设计¶

1. 共享与专家知识的低秩残差分解：打破单极化存储分配

针对重共享方法无法压缩骨干、重专家方法随任务数爆炸的双重困境，DiDi-Merging 首先将所有任务的知识解耦为基础共性与特化个性。对于预训练参数 $\boldsymbol{\theta}_0$，任务 $t$ 的任务向量定义为 $\boldsymbol{\tau}_t = \boldsymbol{\theta}_t - \boldsymbol{\theta}_0$。通过对所有任务向量求平均构建初始共享矩阵 $\boldsymbol{M}_s = \frac{1}{T} \sum_{t=1}^T \boldsymbol{\tau}_t$，进而将每个任务特有的残差专家矩阵定义为相对于共享组件的差值： $$\boldsymbol{M}_t = \boldsymbol{\tau}_t - \boldsymbol{M}_s$$ 随后对 $\boldsymbol{M}_s$ 和各 $\boldsymbol{M}_t$ 分别进行奇异值分解 $\boldsymbol{M} = \boldsymbol{U}\boldsymbol{\Sigma}\boldsymbol{V}^\top$。这种对称设计的优势在于，任何任务的完整知识均精确表示为 $\boldsymbol{M}_s + \boldsymbol{M}_t$ 的叠加，为后续在共享维度与专家维度之间灵活转移容量提供了无损的数学基底。

2. 基于平滑截断的可微分秩分配：全局耦合约束下的端到端容量优化

在固定参数预算下，手工或均匀指定各层、各专家的秩极易导致参数配置次优。本文设计了一种平滑连续截断函数，将不可导的奇异值硬截断转化为关于连续秩变量 $r$ 的可微运算。对于矩阵 $\boldsymbol{M} \in \mathbb{R}^{m \times n}$ 及其奇异值序列 $\sigma_i$，截断后的等效奇异值定义为： $$\tilde{\sigma}_i = \sigma_i \left[ 0.5 \cdot \tanh(\beta(r - i)) + 0.5 \right]$$ 其中 $r$ 为可学习的连续标量秩参数，$\beta$ 控制平滑跃迁的陡峭程度。在此阶段，SVD 分解的正交基底保持冻结，仅更新每层的连续秩参数 $r_{s,l}$ 和 $r_{t,l}$。为使得所有共享与专家参数在全局共享统一预算，优化目标将层级因子总容量 $B_{\rm factors} = \sum_l (m_l + n_l)(r_{s,l} + \sum_{t=1}^T r_{t,l})$ 归一化为相对密集参数的压缩率 $R_{\rm now}$，并与重构均方误差联合优化： $$\mathcal{L} = \frac{1}{T}\sum_{t=1}^T \sum_{l=1}^L \|\tilde{\boldsymbol{\tau}}_{t,l} - \boldsymbol{\tau}_{t,l}\|_F^2 + \gamma \cdot |R_{\rm now} - R_{\rm tar}|$$ 该机制使得模型能够根据任务间的实际相关性自主学习：相关度高的任务自动加大共享模块秩 $r_{s}$，异构性强的任务自动倾斜向个性化专家秩 $r_{t}$，同时自适应不同网络层对秩容量的敏感程度。

3. 无数据参数空间 LoRA 重构：消除秩截断引入的表征损伤

仅做低秩投影与硬截断截断不可避免地造成任务向量高频信息的丢失。在通过可微寻秩确定离散整数秩 $\{r_{t,l}\}$ 后，DiDi-Merging 将各模块显式实例化为 LoRA 因子矩阵对 $\boldsymbol{M}_{*,l} = \boldsymbol{A}_{*,l}\boldsymbol{B}_{*,l}$。为了克服随机初始化收敛缓慢的问题，首先采用截断 SVD 的奇异值平方根对称分配进行预热初始化：$\boldsymbol{A}_{*,l} \leftarrow \boldsymbol{U}_{*,l}^{(r)}(\boldsymbol{\Sigma}_{*,l}^{(r)})^{1/2}$，$\boldsymbol{B}_{*,l} \leftarrow (\boldsymbol{\Sigma}_{*,l}^{(r)})^{1/2} {\boldsymbol{V}_{*,l}^{(r)}}^\top$。在此基础上，保持预训练骨干网络与离散秩拓扑冻结，以保存完好的原始任务向量 $\boldsymbol{\tau}_{t,l}$ 作为金标准监督信号，通过 Adam 优化器直接在参数空间最小化 Frobenius 范数误差： $$\mathcal{L}_{\text{task}} = \frac{1}{T} \sum_{t=1}^T \sum_{l=1}^L \|\boldsymbol{A}_{s,l}\boldsymbol{B}_{s,l} + \boldsymbol{A}_{t,l}\boldsymbol{B}_{t,l} - \boldsymbol{\tau}_{t,l}\|_F^2$$ 这一过程完全无需任何训练集或校准数据，却能使低秩因子矩阵在限定秩的流形表面调整坐标，最大限度逼近真实多任务参数流形。

实验关键数据¶

主实验¶

在涵盖 8 个标准图像分类任务（SUN397、Cars、RESISC45、EuroSAT、SVHN、GTSRB、MNIST、DTD）的 CLIP-ViT-B/32 基准上，DiDi-Merging 在极小参数开销下取得了优异的性能保持率（归一化保持率指相对于各自独立微调模型的百分比）。

方法	类型	参数规模 (#Params)	8任务平均准确率 (%)	归一化保留率 (%)
Individuals (独立微调)	上界	$8.00\times$	90.5	100.0
Multitask (多任务训练)	传统联合	$1.00\times$	88.9	99.2
Weight Averaging	静态合并	$1.00\times$	65.8	72.7
TSV-Merging (CVPR'25)	静态合并	$1.00\times$	84.0	92.8
WUDI-Merging (ICML'25)	静态合并	$1.00\times$	85.2	94.1
WEMoE (ICML'24)	动态合并	$6.27\times$	89.2	98.6
SMILE (TPAMI'25)	动态合并	$3.07\times$	89.3	98.7
TALL-Mask+TIES (ICML'24)	动态合并	$2.25\times$	88.7	98.0
Twin-Merging (NeurIPS'24)	动态合并	$2.25\times$	87.8	97.0
EMR-Merging (NeurIPS'24)	动态合并	$2.25\times$	87.7	96.9
FREE-Merging (ICCV'25)	动态合并	$2.16\times$	89.2	98.6
TSV-C (CVPR'25)	动态合并	$2.08\times$	89.5	98.9
DiDi-Merging-S (本文)	动态合并	$1.24\times$	89.3	98.7
DiDi-Merging-M (本文)	动态合并	$1.40\times$	89.8	99.2

消融实验¶

在 ViT-B/32 与 ViT-L/14 模型上对 DiDi-Merging 的各个核心组件进行匹配参数预算下的消融验证（各去除组件均替换为保持等量预算的均匀秩基线）。

配置	ViT-B/32 准确率 (%)	ViT-L/14 准确率 (%)	机制说明
DiDi-Merging (Full)	89.8	95.6	完整模型（含优化秩与参数精炼）
− w/o Shared Matrix	87.3	93.7	移除共享矩阵，退化为纯专家结构（掉 2.5% / 1.9%）
− w/o Shared Optimal Rank	88.9	94.7	共享模块使用统一固定秩，不参与差异化可微选择
− w/o Expert Optimal Rank	87.4	93.6	专家模块使用统一固定秩，无法按任务特性调配容量
− w/o Layer-wise Optimal Rank	88.2	94.1	消除各层之间的自适应深度秩分配差异
− w/o Low-rank Module Update	85.5	91.2	去除无数据 LoRA 重构微调（暴跌 4.3% / 4.4%）
− w/o Low-rank Module Init.	89.6	95.5	采用随机初始化替代 SVD 奇异值分解初始化

关键发现¶

无数据微调对精度恢复至关重要：去除第二阶段的低秩微调后，ViT-B/32 的准确率剧烈下跌 4.3 个百分点（从 89.8% 跌落至 85.5%），证明 SVD 的单纯低秩投影在极低参数预算下必定截断了大量关键信息，参数空间的反向重构优化是维持高保真度的绝对支柱。
自适应秩选择大幅压倒均匀秩恢复：实验对比了使用静态合并方法叠加均匀秩恢复基线（Simple Averaging、TIES、Iso-CTS、WUDI 后加均匀秩专家补偿），在匹配的 $1.24\times$ 存储预算下，其最高准确率仅为 84.6%，比 DiDi-Merging-S 低 4.7 到 8.9 个百分点，充分印证了跨层、跨任务动态自适应秩调配的不可替代性。
资源与耗时高效轻量：在 ViT-B/32 上，整个寻秩与微调优化过程仅需 14 分 37 秒，峰值 GPU 显存占用低至 1.1 GB（远低于 Adamerging 的 17.1 GB 与 127 分钟），非常适合计算资源受限环境。

亮点与洞察¶

平滑双曲正切松弛奇异值截断：将不可导的整数截断阶跃函数巧妙转化为基于 $\tanh$ 的连续门控因子，使离散秩的全局资源竞争能够在反向传播中直接通过梯度优化解决，形式极其优雅简洁。
打破共享与专家知识的人为割裂：以往文献要么全量保留骨干主干，要么完全废弃共享知识库；DiDi-Merging 在统一的容量约束下让共享组件与专家组件自由竞争容量，揭示了任务相似性与最佳共享秩之间的内在联系。
纯参数空间的免数据自重构范式：无需准备任何校准数据集，完全以已有的多任务向量作为监督目标，避开了学术界普遍依赖微调数据或合成数据的合规与隐私痛点。

局限与展望¶

假设任务标识符已知：论文主要实验设定均基于理想任务标识选择（已知 Task-ID），未对未知任务的轻量路由分类器进行动态评估与存储损耗分析，实际部署可能需要额外的路由网络开销。
寻秩阶段按任务串行推进：目前的可微寻秩阶段（Find-Optimal-Rank）在各任务间是串行进行的，占据了总解算时间的绝大部分（10 分 22 秒 / 14 分 37 秒），具有进一步并行向量化加速的空间。
超大规模任务池扩展行为有待验证：在任务数量扩展到成百上千个时，共享矩阵的平均化是否仍能有效捕捉任务共性、专家模块是否会出现秩容量饥饿仍待未来深入探索。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出联合共享与专家模块的端到端可微低秩分配与无数据精炼框架，构思清晰。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖视觉、LLM 和跨模态 MLLM 三大领域，并提供详实的组件消融、资源开销对比和基准对齐。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严密，数学符号形式统一，图表传达清晰直观。
价值: ⭐⭐⭐⭐⭐ 为边缘和轻量环境下的多任务/多模型合并落地提供了极其具有实用价值的轻量化解决方案。

方法	类型	参数规模 (#Params)	8任务平均准确率 (%)	归一化保留率 (%)
Individuals (独立微调)	上界	\(8.00\times\)	90.5	100.0
Multitask (多任务训练)	传统联合	\(1.00\times\)	88.9	99.2
Weight Averaging	静态合并	\(1.00\times\)	65.8	72.7
TSV-Merging (CVPR'25)	静态合并	\(1.00\times\)	84.0	92.8
WUDI-Merging (ICML'25)	静态合并	\(1.00\times\)	85.2	94.1
WEMoE (ICML'24)	动态合并	\(6.27\times\)	89.2	98.6
SMILE (TPAMI'25)	动态合并	\(3.07\times\)	89.3	98.7
TALL-Mask+TIES (ICML'24)	动态合并	\(2.25\times\)	88.7	98.0
Twin-Merging (NeurIPS'24)	动态合并	\(2.25\times\)	87.8	97.0
EMR-Merging (NeurIPS'24)	动态合并	\(2.25\times\)	87.7	96.9
FREE-Merging (ICCV'25)	动态合并	\(2.16\times\)	89.2	98.6
TSV-C (CVPR'25)	动态合并	\(2.08\times\)	89.5	98.9
DiDi-Merging-S (本文)	动态合并	\(1.24\times\)	89.3	98.7
DiDi-Merging-M (本文)	动态合并	\(1.40\times\)	89.8	99.2