Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging¶

会议: NeurIPS 2026
arXiv: 2602.11717
领域: 模型压缩
关键词: 模型合并、逆向KL散度、稀疏互补融合、生成稳定性、谱分布保持

一句话总结¶

针对传统参数算术合并因稠密扰动破坏输出分布、诱发灾难性生成重复与输出混乱的瓶颈，提出基于逆向KL散度度量重要性并自适应截断的稀疏互补融合方法（SCF-RKL），在完全免训练且无需验证集的前提下实现了跨模型能力的无冲突注入与稳定生成。

研究背景与动机¶

大语言模型微调生态的发展孕育出大量面向特定领域的专家模型，涵盖高级数学推理、程序合成、安全对齐以及特定垂直领域任务。为了在不承担高昂重训练或持续微调代价的前提下组合多模型能力，模型合并（Model Merging）在权重空间直接操作的轻量化范式受到了广泛关注。以 Task Arithmetic、TIES、DARE 及 SCE 为代表的经典方法，基本建立在参数线性可加的启发式假设之上，通过差分向量缩放、符号剪枝或冗余舍弃来合成统一模型。

然而，这类方法大多依赖参数幅值或符号一致性作为重要性代理，忽视了参数变化在概率分布空间引发的真实功能扰动。当合并涉及复杂推理或长序列生成时，稠密参数叠加会导致模型输出分布的熵急剧崩溃（Entropy Collapse），触发自强化的低概率标记死循环。实验观测表明，即使各父模型自身的重复率接近 0%，传统线性融合后的模型在 GSM8K 等长推理任务上的重复率也会急剧飙升至接近 100%，伴随严重的语法混乱与语义退化。更深层的几何冲突在于，线性插值生成的参数有超过 80% 落在两个父模型训练流形之外的“未经验证子空间”中，破坏了预训练权重的特征奇异子空间对齐。

解决这一困境的核心矛盾在于：模型合并既需要注入辅助模型的互补专长，又必须严格约束基座模型高置信度概率区域的漂移与子空间旋转。核心 idea：放弃全局稠密参数加权，将合并重构为由逆向 KL 散度与参数差值共同引导的“离散稀疏互补选择”（SCF-RKL），利用逆向 KL 严格保护基座模型主概率流形的单峰特性，配合 Tukey 自适应四分位距动态截断，仅向基座模型注入 5%–15% 最具互补信息量的关键权重。

方法详解¶

整体框架¶

SCF-RKL 采用“基座为主、互补稀疏替换”的免数据融合流程。给定基座模型参数 $\theta_0$ 与互补模型参数 $\theta_1$，算法首先按参数群（如输出通道或隐层维度）经由 Softmax 归一化为局部概率分布，利用逆向 KL 散度（Reverse KL Divergence）计算基座对互补分布的分布偏离敏感度，与绝对差值相乘构成信息几何显著性得分。随后，算法在全层参数上统计显著性分布的中位数与四分位距，动态计算各层自适应截断阈值，生成严格二值的稀疏掩码并执行离散参数替换。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：基座模型权重 θ₀ 与互补模型权重 θ₁"] --> B["逆向 KL 散度重要性评估<br/>Softmax 映射与 RKL 显著性打分"]
    B --> C["动态自适应四分位距截断<br/>Tukey 规则中位数与 IQR 门限计算"]
    C --> D["离散流形互补替换<br/>二值掩码逐元素选择保留基座流形"]
    D --> E["输出：融合模型权重 θ_fused"]

关键设计¶

1. 逆向 KL 散度重要性评估：抑制基座主模态漂移与分布崩溃 传统合并方法通常直接采用一阶差分绝对值 $|\theta_1 - \theta_0|$ 衡量更新权重，极易将参数空间数值变化大但对输出分布影响甚微的冗余噪声引入基座模型，同时改变敏感区域的参数导致输出熵崩溃。SCF-RKL 将参数矩阵按输出维度分组，通过 Softmax 映射将基座模型参数 $\theta_0$ 和互补模型参数 $\theta_1$ 转换为分类分布 $q = \text{softmax}(\theta_0) + \epsilon$ 与 $p = \text{softmax}(\theta_1) + \epsilon$。针对模型稳定性的需求，方法引入逆向 KL 散度（Reverse KL）而非前向 KL： $$D_{\mathrm{KL}}^{\mathrm{rev}}(q \parallel p) = \sum_{i} q_i \log \frac{q_i}{p_i}$$ 前向 KL 倾向于覆盖目标分布的所有模态（Zero-avoiding），会迫使融合模型迎合互补模型的低置信度噪点；而逆向 KL 具有寻找单峰模式（Mode-seeking）的排他特性，当基座概率 $q_i$ 较高而互补概率 $p_i$ 较低时会施加极大的惩罚，严格保护基座模型高概率区域。在此基础上，将参数更新绝对量与信息几何敏感度相耦合，构建参数重要性度量矩阵： $$\mathcal{I} = |\theta_1 - \theta_0| \odot D_{\mathrm{KL}}^{\mathrm{rev}}(q \parallel p)$$ 该设计在理论上保证了融合模型的散度满足 $D_{\mathrm{KL}}(q \parallel q_f) \leq D_{\mathrm{KL}}(q \parallel p)$，并在 Lipschitz 连续假设下将融合输出的香农熵损失下界约束为 $H(q_f) \geq H(q) - L \cdot \|M \odot (\theta_1 - \theta_0)\|_2$，从根源上消除了文本生成陷入局部确定性死循环的诱因。

2. 动态自适应四分位距截断：免调参自适应定位高信息重尾 不同模型架构与不同 Transformer 网络层（例如注意力投影层与 MLP 上下采样层）的参数敏感度分布差异极大，固定的剪枝比例或硬性阈值极易造成某些层更新不足而另一些层遭受过度扰动。SCF-RKL 将重要性得分张量 $\mathcal{I}$ 展平，采用鲁棒非参数统计学中的 Tukey 箱线图规则确定动态截断点： $$\tau = \mu + \alpha \cdot (Q_3 - Q_1)$$ 其中 $\mu$ 为重要性得分的中位数（第 50 百分位数 $q_{\text{center}}=0.5$），$Q_1$ 与 $Q_3$ 分别为下四分位数（$q_{\text{low}}=0.25$）和上四分位数（$q_{\text{high}}=0.75$），$\text{IQR} = Q_3 - Q_1$ 为四分位距，$\alpha=1.5$ 为扩展系数。当且仅当某权重的得分满足 $\mathcal{I}_i \geq \tau$ 时，二值融合掩码置为 $M_i = 1$。由于大模型的知识变化在理论上服从重尾分布，基于 IQR 的阈值能够精确过滤掉处于噪声主体的大量平凡参数，自适应诱导出 5%–15% 极稀疏的激活集，使得谱扰动误差从全维缩放的 $\mathcal{O}(\sqrt{d})$ 骤降至稀疏子集的 $\mathcal{O}(\sqrt{k})$（$k \ll d$）。

3. 离散流形互补替换：杜绝浮点均值引起的流形偏离与奇异子空间扭曲 传统 Task Arithmetic、TIES 与 DARE 在融合权重时执行浮点加权或均值插值，导致融合模型中超过 80% 的权重值从未在任何一个父模型的预训练或微调过程中出现过，直接偏离了有效优化的数据流形。SCF-RKL 实施严格的离散合成特性（Discrete Composition Property）： $$\theta_{f, j} = \theta_{0, j} + M_j \cdot (\theta_{1, j} - \theta_{0, j}) \implies \theta_{f, j} \in \{\theta_{0, j}, \theta_{1, j}\}, \quad \forall j$$ 每一维参数要么完全保持基座模型的优化状态，要么直接采纳互补模型的有效状态，彻底消除了非对齐向量平均所产生的虚假能量。结合 Wedin 正弦定理（Wedin's $\sin\Theta$ Theorem），主子空间旋转角满足： $$\sin\Theta_{\max}(U, \tilde{U}) \leq \frac{\|M \odot (\theta_1 - \theta_0)\|_2}{\delta}$$ 在第 15 层主子空间旋转角分析中，Task Arithmetic 与 TIES 的旋转角高达 80°，而 SCF-RKL 严格控制在 40° 以内；归一化谱位移（Normalized Spectral Shift, NSS）较基线下降近一个数量级（达 $10^{-3}$ 量级），确保了深层特征空间的几何一致性。

实验关键数据¶

主实验¶

论文在 Mistral-7B、LLaMA-3-8B、Qwen2.5-14B、Qwen2.5-32B 以及视觉 ViT-B/32 等多规模、多架构上进行了全面评估。下表展示了在 32B 规模下，合并专注于数学的 TinyR1-Preview-Math-32B 与专注于科学推理的 TinyR1-Preview-Science-32B 跨越 10 项基准任务的评测结果（均为 pass@1）。

模型 / 融合方法	AIME24	AIME25	GPQA	LCB	GSM8K	BBH	MMLU	HumanEval	IFEval Strict	IFBench Strict	平均分
Math-32B (基座0)	74.58	62.08	67.99	61.65	95.42	48.18	78.10	85.52	63.42	7.76	64.47
Science-32B (基座1)	78.02	61.88	68.78	61.47	96.02	61.11	51.65	85.52	60.79	10.15	63.54
Task Arithmetic	77.50	61.25	68.18	57.80	26.57	75.26	68.56	85.98	51.62	6.27	57.90
DARE-Task Arithmetic	77.50	61.25	68.18	55.91	26.19	75.29	68.84	86.59	50.23	8.06	57.80
TIES Merging	74.38	61.04	67.08	50.18	24.39	57.43	73.70	85.52	52.52	9.25	55.55
DARE-TIES Merging	76.15	60.62	67.08	56.90	27.39	73.33	71.27	85.06	55.45	8.96	58.22
SCE	74.38	61.04	67.08	49.91	24.68	57.49	74.74	84.45	53.51	7.46	55.47
SCF-RKL (本文)	76.98	62.50	69.19	62.46	95.20	70.31	61.17	86.28	57.90	11.34	65.33

在 14B 规模（TinyR1-Math-14B 与 TinyR1-Code-14B）合并中，基线方法平均分从单模约 60.5 暴跌至 53.7–54.5，而 SCF-RKL 达到 61.44，全面超越基线与单体模型。在视觉任务（7 个图像分类数据集）中，SCF-RKL 以 63.94% 的平均准确率击败微调均值（47.2%）与 Task Arithmetic（62.29%）。

消融实验¶

针对强弱模型非对称合并的破坏性干扰（Asymmetric / Non-complementary Fusion），将强指令微调模型 Meta-Llama-3-8B-Instruct（base0，平均 59.85）与弱专有模型 MAmmoTH2-8B-Plus（base1，平均 43.46）进行融合消融分析，验证不同合并策略对强模型能力的保持度与退化抑制机制：

配置 / 融合方法	GSM8K (↑)	BBH (↑)	MMLU (↑)	HumanEval (↑)	平均分	说明
Base0 (Llama-3-8B-Instruct)	73.35	65.78	55.11	43.14	59.85	强基座模型
Base1 (MAmmoTH2-8B-Plus)	56.54	53.92	38.68	24.70	43.46	弱辅助模型
Task Arithmetic	49.56	63.63	55.58	41.62	52.60	线性平均引发 GSM8K 较大幅度下滑
DARE-Task Arithmetic	1.80	26.98	45.54	12.65	21.74	随机剪枝使输出严重混乱，GSM8K 近似归零
TIES Merging	6.31	57.89	52.04	44.51	40.69	符号一致性未能避免输出死循环
DARE-TIES Merging	50.11	63.82	55.64	38.11	51.92	重复率高企，整体能力削弱
SCE	1.72	24.48	42.85	14.18	20.31	灾难性熵崩溃
SCF-RKL (本文)	71.68	51.64	46.17	42.53	53.01	最大程度遏制生成崩溃，保持强基座能力

关键发现¶

生成重复率归零与长推理稳定性：在 GSM8K 等长链条推理任务中，Task Arithmetic、TIES、DARE 的生成重复率普遍激增至接近 100%，直接导致准确率从 95%+ 崩塌至 24%–27%；而 SCF-RKL 融合模型的重复率控制在 0.2%（甚至低于基准模型的 1.0%），GSM8K 依然稳健维持在 95.20%。
突破安全与推理的零和博弈：将安全对齐模型与推理模型融合时，SCF-RKL 摆脱了“提升推理能力削弱安全性”的负迁移悖论。在 S-Eval、HarmBench、WildJailbreak 等 7 项安全基准上全面超越两个父模型，同时推理与指令遵循能力保持并进，全基准平均分提升约 3 个点。
保护模型能力上限：Pass@n 评测证明，SCF-RKL 没有像传统稠密合并那样压制模型的极限求解空间，在采样子集扩大时其性能上界与最强专家模型保持完全一致。

亮点与洞察¶

从参数绝对值代数转向输出流形保护：摒弃“权重大等于重要”的朴素经验主义，借助逆向 KL 散度建立信息几何意义下的显著性判据，巧妙利用 Mode-seeking 特性封死低概率噪声的渗透路径。
严格离散参数空间保证几何真实性：通过二值掩码确保融合权重 $100\%$ 取自已知良好训练的局部点，彻底消除了稠密平均产生“虚假未训练中间向量”的数学病态。
极具通用性的跨模态即插即用管线：纯免数据、无需辅助训练集、无需优化梯度，仅需单次前向统计与四分位计算即可完成融合，在视觉与语言领域均表现出卓越的普适性。

局限与展望¶

基座主模型的预设不对称性依赖：当前算法将 $\theta_0$ 视为主干，适合“通用底座注入专家能力”的场景；但在多专家完全对称融合（如同时融合 5 个以上无明显主次的异构模型）时，链式依赖关系的设计仍待扩展。
层间均一超参假设：目前 Tukey 扩展因子 $\alpha=1.5$ 采用全局一致设定，未根据 Transformer 不同深度的语义敏感度（如浅层表征与深层分类头）实现层级自适应调整。
跨架构异构兼容性：受限于权重级直接融合的前提，模型之间仍需保持相同的分词器词表与结构拓扑，无法直接用于跨不同尺寸或不同骨干模型的合并。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从逆向 KL 分布敏感度与流形偏离角度诊断出模型合并引发生成重复的根源，并提出严格离散的稀疏补充框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7B–32B 语言大模型与 ViT 视觉模型，跨越推理、代码、指令遵循、安全与视觉 24 个基准，兼具理论谱分析与消融验证。
写作质量: ⭐⭐⭐⭐⭐ 理论证明完备（语义稳定性、熵下界与 Wedin 旋转角定理），动机清晰，图表说服力极强。
价值: ⭐⭐⭐⭐⭐ 为大模型开源生态中免训练组装多专长、高安全、强推理的大模型提供了极其实用且理论扎实的技术路径。