Rethinking Layer-wise Model Merging through Chain of Merges¶

会议: NeurIPS 2026
arXiv: 2508.21421
领域: 模型压缩 / Model Compression
关键词: 模型合并, 合并协变量偏移, 链式蒸馏, 激活归一化, 任务重要性加权

一句话总结¶

针对传统层级模型合并忽略层间依赖所引发的合并协变量偏移（MCS）问题，本文提出 Chain of Merges (CoM)，通过逐层前向更新激活统计量并结合特征相关性加权与归一化，实现了闭式解下的高一致性模型无损融合。

研究背景与动机¶

在大模型时代，针对特定下游任务进行微调已经成为获得顶尖性能的标配做法。然而随着定制化模型的急剧增多，如何在不进行重复训练的前提下，将多个异构或同构的任务微调模型融合成一个具备多重能力的统一模型，成为了实现模块化与低成本部署的关键瓶颈。以 Task Arithmetic、TIES、DARE 为代表的参数空间权重合并方法，或者以 RegMean、FisherAVG 为代表的基于激活统计量对齐的方法，虽然取得了不错的进展，但现有技术在合并网络权重时，无一例外地都假设各层之间是相互独立的，采取对所有层独立、同时合并的范式。

然而，深度神经网络本质上是深层级联的计算图，下游各层的输入严格依赖于上游各层的输出。在基于激活值对齐的合并方法中，现有策略计算激活协方差矩阵时所使用的输入，全部采自未经合并的原始任务模型。一旦浅层网络权重被替换为合并后的参数，浅层输出激活的分布便会发生剧烈突变，导致深层网络在推理时实际接收到的输入激活分布与合并优化时预估的分布严重错位。这种现象引发了类似于神经网络初期训练时的内部协变量偏移，作者将其命名为“合并协变量偏移”（Merging Covariate Shift, MCS）。微小的浅层分布偏差会如同蝴蝶效应一般沿网络逐层放大，使得原本在单层独立优化下看似最优的闭式回归解在整网推理时大幅退化。

面对深层累积的分布失配，直接在参数空间调优或沿用原始特征统计量显然无法根治问题。本文的切入角度是打破各层独立处理的静态假设，建立一种自底向上、状态联动的递归合并机制，在合并当前层时显式使用由前面所有已合并层前向传递出的真实激活分布。核心 idea：将模型合并重构为按层级联的递归蒸馏过程（Chain of Merges, CoM），通过在合并第 $l$ 层时同步更新并前向传递已合并浅层的真实激活，并在闭式解中引入特征相关性非对角范数作为任务重要性权重与激活归一化，彻底消除合并协变量偏移。

方法详解¶

整体框架¶

Chain of Merges (CoM) 将多模型合并建模为自输入层至输出层的递归层级蒸馏链。对于 Transformer 架构中的各个线性投影层（在 LoRA 设定下主要为注意力投影层），整个合并过程从网络的第一层开始，交替进行已合并参数的前向特征传递、特征相关性评估与闭式最小二乘求解。输入数据首先经过原始输入层计算第一层权重，随后利用已合并的第一层权重对校准样本执行前向传播，得到第二层在真实推理时面对的激活特征，以此类推逐层向上推进，直到最后一层合并完成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多任务模型与校准样本<br/>{W_i^l}, {X_i^1}"] --> B["自底向上递归前向传递<br/>用已合并层生成真实激活 X^"]
    B --> C["特征归一化与相关性矩阵构建<br/>X~ 与 G_i^l 计算"]
    C --> D["相关性任务重要性加权<br/>统计非对角元素绝对值和 ω_i^l"]
    D --> E["重要性加权闭式回归合并<br/>求解当前层合并权重 W_M^l"]
    E -->|逐层递推 l = 1...L| B
    E --> F["输出全局一致的合并模型<br/>{W_M^l}"]

关键设计¶

1. 自底向上递归前向传递：消除合并协变量偏移的核心机制 以往如 RegMean 等方法在求解各层的闭式解时，采用的是模型未合并前的独立输入特征 $X_i^l = \sigma^{l-1}(W_i^{l-1} X_i^{l-1})$，这导致当上一层权重更新为 $W_M^{l-1}$ 后，第 $l$ 层在真实测试时接收到的输入早已变异，从而产生合并协变量偏移（MCS）。CoM 的核心突破在于建立递归依赖，将第 $l$ 层的优化目标输入替换为经过前面所有已合并层前向计算得到的真实激活 $\hat{X}_i^l$： $$\hat{X}_i^l = \sigma^{l-1}(W_M^{l-1} \hat{X}_i^{l-1})$$ 其中底层的初始输入 $\hat{X}_i^1 = X_i^1$ 直接对应原始校准样本。由于在求解第 $l$ 层权重时，所有浅层 $1 \dots l-1$ 均已确定且完全保持合并状态，计算出的特征协方差精准复现了模型在实际推理运行时的深层状态，从而在数学闭式推导层面彻底斩断了误差随深度累积放大的蝴蝶效应。

2. 特征归一化与数值病态条件改善：保证逆矩阵求解稳定性 在 Transformer 模型中，中间激活张量由于自注意力机制与低秩表示的天然特性，其特征 Gram 矩阵往往高度病态，特别是在 LoRA 微调于低维子空间的场景下，矩阵求逆容易因数值奇异性导致严重失真甚至崩塌。为了解决这一痛点，CoM 在构建特征关联之前，对已合并浅层输出的特征向量执行特征级 $\ell_2$ 归一化： $$\tilde{X}_i^l = \hat{X}_i^l \,/\, \|\hat{X}_i^l\|_2$$ 进而将未经归一化的 Gram 矩阵替换为数值性质更加稳定的相关性矩阵 $G_i^l = \tilde{X}_i^l (\tilde{X}_i^l)^\top$。结合 Tikhonov 正则化（岭回归系数设为 0.95）与 Moore-Penrose 伪逆，显著降低了协方差逆矩阵计算的条件数，避免了求逆操作引入的数值漂移。

3. 基于特征相关性的任务重要性加权：自适应保护分布远离预训练的任务 多任务合并的目标是最大化所有任务的保留能力，但不同任务对权重扰动的敏感程度并不均等。与预训练分布接近的任务其特征表征相对解耦且正交，依赖基础模型底座即可良好泛化；而与预训练分布差异巨大、语义距离较远的专用任务，其特征在微调后高度集中于特定方向，更容易在均等权重合并中被湮灭。CoM 利用特征相关性矩阵的非对角元素之和作为任务语义偏移程度的直接代理： $$\omega_i^l = \sum_{p < q} |(G_i^l)_{pq}|$$ 当特征间非对角相关性绝对值之和越大，表明该任务表征在低维空间内的共线性与特异性越强，越远离预训练的通用解耦状态，因而赋予其更大的保护权重 $\omega_i^l$。作者直接在合并模型前向激活中计算该值，无需额外引入繁重的预训练模型推断或评估 Oracle。

4. 重要性加权闭式回归合并：闭式全局最小二乘解 综合上述递归激活与相关性加权，CoM 将第 $l$ 层的参数合并形式化为加权特征蒸馏优化问题： $$\arg\min_{W_M^l} \sum_{i=1}^N \omega_i^l \left\| W_M^l \tilde{X}_i^l - W_i^l \tilde{X}_i^l \right\|_2^2$$ 对 $W_M^l$ 求导并令梯度为零，即可在无需任何梯度反向传播或超参数迭代搜索的前提下，推导出带权相关性矩阵下的闭式解： $$W_M^l = \left( \sum_{i=1}^N \omega_i^l W_i^l G_i^l \right) \left( \sum_{i=1}^N \omega_i^l G_i^l \right)^{-1}$$ 该闭式解兼顾了前序层激活的真实分布对齐、特征数值稳定性以及各任务敏感度偏置，能够在极低的样本量开销下输出最优合并权重。

实验关键数据¶

主实验¶

在视觉（ViT-B/32, ViT-L/14）和自然语言（Llama-3 8B）标准基准上，LoRA 微调（rank=16）的合并性能对比见下表。视觉评测覆盖 8 个图像分类数据集，语言评测覆盖 6 个自然语言推理与分类数据集。

架构 / 任务	评测指标	Task Arithmetic	TIES	RegMean	CoreTSV (次优基线)	CoM (本文)	独立微调上限
ViT-B/32 (Vision)	归一化准确率 (%)	63.78	63.70	66.02	76.43	92.40	100.0
ViT-B/32 (Vision)	绝对准确率 (%)	53.61	53.54	55.49	64.24	77.85	84.05
ViT-L/14 (Vision)	归一化准确率 (%)	74.79	75.51	69.85	86.21	91.06	100.0
ViT-L/14 (Vision)	绝对准确率 (%)	69.01	69.67	64.45	79.55	84.02	92.27
Llama-3 8B (NLP)	归一化准确率 (%)	90.38	91.08	87.58	94.16	99.50	100.0
Llama-3 8B (NLP)	绝对准确率 (%)	83.64	84.29	81.05	87.14	92.07	92.54

在全参数微调（Full Fine-Tuning）设置下，CoM 在 ViT-B/32 上取得 94.8% 归一化准确率（次优 ISO-C 为 93.2%），在 ViT-L/14 上取得 97.8% 归一化准确率，同样达到业界顶尖水准。

消融实验¶

在 LoRA 微调设定下，对 CoM 的核心组件进行系统消融，包括解决合并协变量偏移（MCS）、激活归一化（Norm）以及特征相关性加权（FC）各模块对归一化准确率的影响：

解决 MCS	激活归一化 (Norm)	特征相关性加权 (FC)	ViT-B/32 (%)	ViT-L/14 (%)	Llama-3 8B (%)	说明
✗	✗	✗	66.02	69.85	87.58	退化为原始 RegMean 基线
✓	✗	✗	82.53	83.55	99.35	仅递归前向更新激活，消除 MCS
✓	✓	✗	83.51	86.80	99.48	引入归一化改善矩阵条件数
✓	✓	✓	92.62	91.06	99.50	完整 CoM 模型

针对校准样本数量的敏感度分析显示：在 ViT-B/32 上，仅需每任务 2 个样本即可达到 75.35%，5 个样本达到 83.86%（超越除 CoreTSV 外所有基线），50 个样本达到 90.61%，在 100~500 个样本间性能完全平稳（91.86% ~ 92.40%），展现出极高的样本利用效率。

关键发现¶

解决 MCS 是性能飞跃的决定性力量：在 ViT-B/32 上，单单引入递归前向更新以消除 MCS，归一化准确率便从 66.02% 跃升至 82.53%（净涨 16.51 个百分点）；而在 Llama-3 8B 上，消除 MCS 直接将准确率推升至 99.35%，彻底解决了 RegMean 在深层网络中的崩塌问题。
视觉与语言任务对任务加权的异质性响应：特征相关性加权（FC）在视觉分类任务中带来了超过 9 个百分点的巨大增益（ViT-B/32 从 83.51% 提升至 92.62%），但在 NLP 任务中提升相对平缓（99.48% 至 99.50%）。这是因为 6 个语言任务均属于 NLI/问答语义范畴，任务分布与词表共享度极高；而 8 个视觉任务涵盖卫星图（EuroSAT）、交通标志（GTSRB）、纹理（DTD）及自然图像等，领域异质性极高，更需要非均匀加权来重点保护离群任务。
深层网络中的误差放大效应明显：利用 Wasserstein 距离（Earth Mover's Distance）在多变量高斯假设下对各层激活分布偏移进行量化发现，MCS 随着网络层数加深呈单调上升趋势，证实了传统一次性静态合并在深层会遭遇灾难性的分布错配。

亮点与洞察¶

将内部协变量偏移从训练期映射至合并期：敏锐地揭示了无训练模型合并中“层间独立假设”带来的致命缺陷，并将深层激活分布突变抽象为 Merging Covariate Shift，为基于特征统计量的模型合并领域提供了清晰的理论抓手。
零额外前向开销的递归闭式解设计：CoM 虽为自底向上的链式计算，但每一层特征更新只需随当前层前向传播一步，整个过程只需每个任务执行一次端到端的前向流，同时保持了纯闭式解无需反向传播梯度的超高计算效率。
用特征相关性无监督衡量任务重要度：巧妙利用 Gram 矩阵非对角线绝对值和表征任务与预训练解耦分布的偏离度，不仅与任务性能 gap 存在强相关性，而且避免了引入昂贵的 Fisher 信息矩阵或梯度优化。

局限与展望¶

依赖少量无标签校准数据：虽然每任务仅需数十到数百个无标注样本，但与完全不需要数据的参数空间合并方法（如 Task Arithmetic）相比，在某些受限于极度隐私或无源部署的场景下仍存在一定门槛。
仅聚焦于线性投影层：方法核心构建在线性映射的闭式最小二乘回归上，对于网络中的非线性激活层、LayerNorm 参数等非线性组件，目前仍采用朴素权重平均，未能在统一定理框架下完全涵盖。
未来方向：探索利用生成模型或合成特征摆脱对真实验证样本的依赖，并研究将链式递归激活对齐拓展至带有复杂注意力路由与专家混合（MoE）架构的模型合并中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示并严谨形式化模型合并中的协变量偏移（MCS），提出优雅的递归蒸馏链。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖视觉与语言多尺度基准（ViT-B/L, Llama-3 8B）、LoRA 与 Full FT，具备完备的逐层分布定量测量与消融分析。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学推导完备清晰，问题定义与解决方案高度自洽。
价值: ⭐⭐⭐⭐⭐ 为模块化模型无缝集成与轻量级部署提供了几乎无损且即插即用的闭式方案。