FeatCal: Feature Calibration for Post-Merging Models¶
会议: NeurIPS 2026
arXiv: 2605.13030
代码: https://github.com/egangu/featcal
领域: 模型压缩
关键词: 模型合并, 特征漂移, 特征校准, 闭式解, 线性模块更新
一句话总结¶
针对模型合并后多任务表现相比独立微调专家存在明显性能缺口的问题，本文提出基于前向逐层特征漂移分解的无迭代特征校准方法 FeatCal，通过少量校准样本和线性模块的闭式岭回归更新，在无需梯度下降和不引入任何推理外挂模块的前提下显著恢复多任务准确率。
研究背景与动机¶
模型合并（Model Merging）旨在将多个针对不同下游任务精调的专家模型直接融合到单一基座模型中，从而避免高成本的联合多任务重训练，并省去多套专家模型的部署开销。然而，当前主流合并方法（如 Task Arithmetic、AdaMerging、WUDI-Merging 等）所生成的合并模型，在实际各任务上的准确率往往大幅低于对应的单任务专家。这种性能缺口限制了模型合并在真实高要求多任务系统中的实用价值。
深入剖析该性能缺口会发现，合并模型与单任务专家在接收相同输入时，网络各层所产生的隐层表示存在不可忽视的差异，即特征漂移（Feature Drift）。现有针对合并后性能退化的校准工作（例如 Representation Surgery 及其概率变体 ProbSurgery）多聚焦于网络最终输出特征的漂移，往往需要引入额外的推理期插件、深层介入适配器或多轮迭代优化。这类方案不仅破坏了原模型的纯净架构，拖慢推理吞吐，而且未能从网络前向传播的动力学机制上厘清误差是如何在层间产生与累积的。
本文的切入角度是深入探究特征漂移在前向网络中的递归传播机制：每一层的总体漂移均可严格分解为该层映射差异引起的“局部不匹配（Local Mismatch）”与前序各层传入的“上游漂移传播（Upstream-drift Propagation）”。由于上游误差会逐层向下放大并最终转化为输出评分与分类决策的偏移，校准应当沿着网络的前向顺序逐层推进。核心 idea：遵循特征漂移的前向传播链，基于少量任务校准样本对线性模块执行前向逐层闭式岭回归校准，配合目标特征插值与基座-合并双锚点正则化，在完全不改变推理架构与零梯度迭代的前提下消除累积特征漂移。
方法详解¶
整体框架¶
FeatCal 的整体工作流程围绕“特征缓存采集 → 目标特征插值 → 闭式权值求解 → 逐层参数替换”展开。由于深层模块的输入依赖于浅层更新后的真实特征分布，FeatCal 严格按照自浅入深的前向顺序访问各网络层。在访问当前层时，先利用当前前向已校准的前缀模型提取并缓存校准集的输入隐层特征，同时获取各任务对应专家模型的特征表征；随后针对层内各线性变换模块（如 Attention 的投影矩阵与 MLP 的线性层）构建带有合并模型权重惩罚与基座模型锚点的岭回归目标；最后直接通过矩阵闭式解得到更新权重并就地更新，使得后续网络层可以在已被校准的真实特征分布上继续推进。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：多任务少量校准样本与已合并模型"] --> B["前向逐层遍历：缓存当前部署输入特征与专家目标"]
B --> C["目标特征插值：融合专家特征与当前校准输入"]
C --> D["双锚点正则化：平衡合并权重与基座预训练先验"]
D --> E["任务尺度归一化与闭式解更新：无梯度迭代替换线性权重"]
E -->|前向推进至下一层| B
E --> F["输出：保持原架构且消除漂移的最终部署模型"]关键设计¶
1. 特征漂移的前向分解与前向校准时序：从根源切断误差累积
对于任务 \(i\)、样本 \(x\) 和网络层 \(\ell\)，合并模型与专家模型的特征漂移定义为 \(e_{i,\ell}(x) = h_{i,\ell}^{\mathrm{mer}}(x) - h_{i,\ell}^{\mathrm{exp}}(x)\)。根据论文推导，该漂移可严格分解为两项： $\(e_{i,\ell}(x) = \underbrace{f_{\ell}^{\mathrm{mer}}(h_{i,\ell-1}^{\mathrm{exp}}(x)) - f_{i,\ell}^{\mathrm{exp}}(h_{i,\ell-1}^{\mathrm{exp}}(x))}_{m_{i,\ell}(x)\text{（局部不匹配）}} + \underbrace{f_{\ell}^{\mathrm{mer}}(h_{i,\ell-1}^{\mathrm{mer}}(x)) - f_{\ell}^{\mathrm{mer}}(h_{i,\ell-1}^{\mathrm{exp}}(x))}_{p_{i,\ell}(x)\text{（上游漂移传播）}}\)$ 在局部 Lipschitz 与连续可微假设下，上游传播项可通过路径平均雅可比算子展开为 \(p_{i,\ell}(x) = A_{i,\ell}(x) e_{i,\ell-1}(x)\)，进而最终输出层的累积漂移可写为所有前序层局部不匹配项的传递复合：\(e_{i,L}(x) = \sum_{\ell=1}^L P_{i,\ell \to L}(x) m_{i,\ell}(x)\)。在带有残差跳跃连接的 Transformer 架构中，跳跃分支更会无衰减地直接将上游漂移 \(e_{i,\ell-1}(x)\) 叠加至当前输出。因此，若脱离前向顺序单独校准后层，深层模块所接触到的输入分布将与最终部署时脱节。FeatCal 强制采用前向逐层调度，确保每一层都在前缀网络更新后的真实输入分布 \(\mu_{i,\ell}^{\mathrm{dep}}\) 下进行匹配，从根本上杜绝了源特征与部署特征的分布漂移。
2. 目标特征插值：避免局部模块为历史遗留误差过度代偿
在前向逐层校准时，若直接将当前线性模块的拟合目标设定为专家完全无偏的原始输入特征，即要求 \(W X_{i}^{\mathrm{cal}} \approx W_i X_{i}^{\mathrm{exp}}\)，会导致优化目标中混入上游残存的未完全消除误差，强迫当前线性模块牺牲自身映射功能去强行拟合历史误差。为此，FeatCal 引入目标特征软插值机制： $\(X_{i}^{\mathrm{tgt}} = \alpha X_{i}^{\mathrm{exp}} + (1 - \alpha) X_{i}^{\mathrm{cal}}, \quad \alpha \in [0, 1]\)$ 通过适度的插值系数 \(\alpha\)（如实验中取 \(0.15 \sim 0.6\)），既有效注入了单任务专家的特征导向信号，又软化了跨层累积的分布断层，使每一层仅专注纠正本层的局部映射偏差，保证了逐层校准的平滑稳定。
3. 双锚点正则化：保留合并优势与泛化表征先验
模型合并的核心收益在于融汇了多个任务知识，而小规模校准集容易导致参数拟合过度偏向局部样本；同时，预训练基座模型包含了未经下游微调污染的宽泛通用特征。FeatCal 构造了一个兼顾合并模型权重 \(W^{\mathrm{mer}}\) 与基座模型权重 \(W^{\mathrm{base}}\) 的混合锚点： $\(W^{\mathrm{anc}} = \rho W^{\mathrm{mer}} + (1 - \rho) W^{\mathrm{base}}, \quad \rho \in \mathbb{R}\)$ 通过将权重更新约束在 \(W^{\mathrm{anc}}\) 的邻域内，可以在吸收任务专家特征特异性的同时，牢牢锚定在合并模型的多任务平衡点与基座模型的鲁棒表示空间中，有效抑制在微量样本上的过拟合。
4. 任务尺度归一化与闭式解优化：毫秒级完成免梯度权重更新
对于具体的线性模块权重 \(W \in \mathbb{R}^{m \times d}\)，不同任务在隐层特征空间的范数与激活尺度可能存在数量级差异，直接求和会导致大范数任务主导校准方向。FeatCal 计算各任务输入特征的二阶矩 \(G_i = \frac{1}{n} X_i^{\mathrm{cal}} (X_i^{\mathrm{cal}})^\top\) 以及交叉矩 \(C_i = \frac{1}{n} X_i^{\mathrm{tgt}} (X_i^{\mathrm{cal}})^\top\)，并引入基于 Frobenius 范数的自适应任务权重 \(\omega_i = (\max\{\|G_i\|_F, \epsilon\})^{-1}\)。由此构建加权正则化平方和优化问题： $\(\min_{W} \sum_{i=1}^N \frac{\omega_i}{n} \|W X_{i}^{\mathrm{cal}} - W_i X_{i}^{\mathrm{tgt}}\|_F^2 + \lambda \|W - W^{\mathrm{anc}}\|_F^2\)$ 对该凸二次函数令关于 \(W\) 的导数为零，可直接推导出唯一的矩阵闭式解析解： $\(W^\star = \left( \sum_{i=1}^N \omega_i W_i C_i + \lambda W^{\mathrm{anc}} \right) \left( \sum_{i=1}^N \omega_i G_i + \lambda I_d \right)^{-1}\)$ 整个过程仅涉及前向特征矩阵外积与 \(d \times d\) 维正定矩阵求逆，无需反向传播梯度计算、无学习率退火与早停调整，在几秒至几十秒内即可直接完成全模型权重的就地替换。
实验关键数据¶
主实验¶
论文在视觉多任务识别（FusionBench CLIP-ViT-B/32，8个任务）、文本生成（FusionBench FLAN-T5-base GLUE，8个任务）以及大语言模型专家合并（MergeBench Llama-3.2-3B-Instruct，6个任务）上与前沿后校准方法 Surgery 和 ProbSurgery 进行了严格对比。
| 模型与基线合并方法 | 评测基准 | 指标 | 未校准合并 | w/ Surgery | w/ ProbSurgery | w/ FeatCal (本文) |
|---|---|---|---|---|---|---|
| CLIP-ViT-B/32 (Simple Averaging) | 8-Task Vision | Top-1 Avg (%) | 66.3 | 77.3 | 79.7 | 83.2 (+16.9) |
| CLIP-ViT-B/32 (Task Arithmetic) | 8-Task Vision | Top-1 Avg (%) | 67.5 | 77.0 | 78.8 | 85.5 (+18.0) |
| CLIP-ViT-B/32 (AdaMerging) | 8-Task Vision | Top-1 Avg (%) | 82.7 | 85.5 | 85.9 | 88.1 (+5.4) |
| CLIP-ViT-B/32 (WUDI-Merging) | 8-Task Vision | Top-1 Avg (%) | 84.5 | 86.4 | 86.9 | 88.8 (+4.3) |
| FLAN-T5-base (Task Arithmetic) | 8-Task GLUE | Avg Score (%) | 78.9 | 83.7 | 82.2 | 85.2 (+6.3) |
| FLAN-T5-large (Task Arithmetic) | 8-Task GLUE | Avg Score (%) | 87.3 | 88.0 | 87.6 | 88.9 (+1.6) |
| Llama-3.2-3B (Task Arithmetic) | MergeBench 6-Task | Avg Pass (%) | 60.1 | 60.8 | 61.1 | 62.1 (+2.0) |
| Llama-3.1-8B (Task Arithmetic) | MergeBench 6-Task | Avg Pass (%) | 63.5 | 64.0 | 64.4 | 65.8 (+2.3) |
在 CLIP-ViT-B/32 8任务场景下，合并后性能最强的 WUDI-Merging 配合 FeatCal 达到了 88.8% 的平均准确率，极其逼近多任务联合训练参考基线（Traditional MTL 为 88.6%）以及单任务专家上限（Fine-tuned STL 为 90.3%）。
消融实验与稳健性分析¶
下表给出了在 CLIP-ViT-B/32 Task Arithmetic 设置下，不同校准数据损坏条件（高斯噪声、运动模糊、雾化）下的测试集准确率，以及与基线方法的校准运行效率对比（每任务校准样本量 \(n=256\)）：
| 实验项 / 配置 | 评估场景或指标 | Surgery | ProbSurgery | FeatCal (本文) | 说明 |
|---|---|---|---|---|---|
| 校准数据鲁棒性 | 纯净样本 (Clean) | 76.8% | 79.1% | 85.5% | 原始基准表现 |
| 校准数据鲁棒性 | 高斯噪声 (Gaussian) | 72.4% | 73.2% | 76.6% | 输入图像加噪 |
| 校准数据鲁棒性 | 运动模糊 (Motion Blur) | 67.5% | 65.8% | 74.2% | 特征高频失真 |
| 校准数据鲁棒性 | 雾化模拟 (Fog) | 69.4% | 68.2% | 75.6% | 特征低对比度失真 |
| 校准数据鲁棒性 | 损坏后宏平均 (Avg.) | 71.5% | 71.6% | 78.0% | FeatCal 展现高度抗噪韧性 |
| 计算开销对比 | 耗时 (Time) | 217s (1.0×) | 224s (1.0×) | 53s (4.1× 加速) | 纯闭式解求解无需多轮迭代 |
| 计算开销对比 | GPU 能耗 (GPU Energy) | 18.1 Wh | 18.3 Wh | 1.9 Wh (近 10× 节能) | 极大减少显卡连续空转与搬运 |
| 计算开销对比 | 内存峰值 (CPU RSS) | 69.3 GiB | 87.0 GiB | 22.8 GiB (节省 67%+) | 显存与系统内存占用显著精简 |
关键发现¶
- 样本效率极高：在 CLIP-ViT-B/32 任务中，每个任务仅使用 8 个无标注或少样本图像，FeatCal 即可使平均准确率飙升至 82.9%，大幅领先于同样本量下缓慢爬升的梯度型微调与外挂适配器基线。
- 特征余弦相似度与精度提升同向发展：诊断分析表明，FeatCal 成功将合并模型最终隐层与专家特征的宏平均余弦相似度由 0.785 提升至 0.850（在 Stanford Cars 上甚至自 0.60 升至 0.84），证明了特征对齐是性能恢复的核心驱动力。
- 参数空间并不趋向专家：深入分析发现，校准后主干网络与专家任务向量的余弦相似度反而低于未经校准的合并模型，说明 FeatCal 是在隐层表示的“输出流形”上完成校准，而非在参数空间简单倒退回单任务微调点。
亮点与洞察¶
- 闭式解替代迭代梯度：将复杂的网络特征匹配问题在固定前向层输入的前提下转化为局部岭回归，利用正定矩阵逆求得全局解析解，彻底免除了繁杂超参调优（如学习率、动量、warmup）和反向传播的算力开销。
- 目标插值破解误差累积悖论：敏锐地指出了前向逐层更新中“历史遗留漂移会导致当前层过度纠偏”的内在矛盾，通过 \(\alpha\)-插值将专家特异性与前序模型输入平滑结合，体现了极高的方法论精巧度。
- 保持推理零开销的纯净融合：与以往工作堆叠辅助网络、分类头或适配层不同，FeatCal 最终直接就地更新原生权重张量，部署时保持原本的延迟、内存占用与网络拓扑。
局限与展望¶
- 依赖少部分任务校准数据：尽管所需样本极少（如单任务 8~256 条），但在高度保密或流式不可存储的数据场景下，获取各任务的输入缓存仍具有一定的落地阻碍。
- 超参数目前依赖经验或验证集选取：正则化系数 \(\lambda\)、锚点权重 \(\rho\) 和插值比例 \(\alpha\) 目前仍需通过验证集进行轻量网格搜索，缺乏数据驱动的自适应解析确定规则。
- 模型规模与多模态模态边界：实验主要覆盖了 CLIP、FLAN-T5 与 8B 级大语言模型，对于万亿参数混合专家（MoE）架构或视频、具身控制等多模态大系统的扩展性有待进一步验证。
相关工作与启发¶
- vs Representation Surgery / ProbSurgery: 二者均尝试缓解合并后的表示偏移，但依赖于在网络末层或关键分支训练外挂适配模块，带来了推理延迟与复杂的端到端优化流程；FeatCal 通过前向逐层闭式更新原生线性权重，推理零代价且耗时仅为其 \(1/4\)。
- vs RegMean / RegMean++ / LOT Merging: 此类方法聚焦于“如何制定合并规则”本身（融合阶段），需要从零重定义合并公式；FeatCal 定位于“合并后（Post-Merging）的通用校准增强”，可即插即用地叠加在任何前沿权重合并方案之上，形成两阶段性能跃升。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 建立了严密的逐层特征漂移分解数学理论，并精巧推导出无梯度闭式校准方程。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖视觉、自然语言处理和 LLM 等 20 余个子任务，包含详尽的鲁棒性、能耗和隐层流形分析。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，实验图表信息量极其丰富，逻辑脉络流畅自洽。
- 价值: ⭐⭐⭐⭐⭐ 为轻量化、免微调的多专家模型合并落地提供了兼具坚实理论支撑与极致计算效率的实用工具。