DRIVE: Fine-tuning via Data Contribution- and Diversity-aware Weighting with Prior Regularization¶

会议: NeurIPS 2026
arXiv: 2610.32501
代码: https://github.com/luciabcd/DRIVE
领域: 优化/理论
关键词: 数据加权, 灾难性遗忘, 样本多样性, Shapley值, 先验正则化

一句话总结¶

DRIVE 提出了一个统一的可微数据加权框架，利用 Shapley 可加性解耦抗遗忘与新任务适应贡献，结合基于协方差行列式的可微样本多样性项与 KL 先验正则化，在无源预训练数据场景下实现稳定性与可塑性的最优权衡。

研究背景与动机¶

单阶段模型微调已成为深度学习和预训练大模型适配下游任务的标准范式。然而在实际工业与学术落地场景中，原始预训练数据由于体量庞大或隐私版权限制通常不可获取。在缺乏原始数据约束的单任务无源微调（data-oblivious fine-tuning）中，模型面临着严重的灾难性遗忘：适应新任务时极易破坏预训练模型中固有的泛化能力和通用技能。以往方法主要从参数空间施加限制（如正交更新、参数隔离或LoRA），而在样本空间中，通过对训练样本进行自适应加权成为调控样本影响力的有效途径。

然而，现存的数据加权策略往往陷入单一目标的局限性。大部分方法（如基于验证集损失或样本梯度的加权）仅关注对新任务的适应贡献，导致预训练特征严重退化；而像 FLOW 这样的抗遗忘方法则过度侧重保留旧知识，大幅压制了与预训练冲突但对新任务至关重要的难样本梯度，导致新任务欠拟合。更严峻的是，除了样本贡献度外，样本集合的多样性与样本内在复杂度（如熵、长度）对于提升泛化同样关键，但以往多样性策略通常依赖聚类、DPP 或子集选择等离散且不可微的启发式手段，无法与连续样本加权目标统一优化。

为了打破这种割裂，必须在一个端到端可微的统一目标函数中协调稳定性与可塑性，并显式引入集合级多样性和内在先验。本文的核心切入点是将样本效用分解为抗遗忘与新任务适应两个合作博弈，并借助 D-最优设计原理构建特征协方差行列式正则项。核心 idea：基于 Shapley 值可加性公理将样本贡献解耦为抗遗忘与新任务适应两部分，融合协方差行列式构建连续可微的多样性膨胀项，并以 KL 散度锚定样本特征先验，形成支持端到端定点迭代求解的统一样本加权目标。

方法详解¶

整体框架¶

DRIVE 在每个微调步骤中对当前批次及历史样本组成的局部支撑集联合推断最优非负归一化样本权重 $w_i^*$，再将加权损失反向传播更新模型参数。输入包括当前样本特征、预训练模型与当前模型下的损失值，输出为单纯形约束上的最优样本权重向量。整体流程包含三大协同模块：基于损失代理的 Shapley 贡献度估计、基于高斯随机投影协方差行列式的连续多样性度量，以及以均匀或质量先验为基准的 KL 散度正则化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据批次 + 局部FIFO支撑集"] --> B["1. Shapley 贡献度解耦<br/>抗遗忘收益与新任务适应收益"]
    A --> C["2. 协方差行列式多样性度量<br/>高斯投影与特征杠杆统计量"]
    A --> D["3. 样本特征先验锚定<br/>KL 散度近端正则化约束"]
    B --> E["统一可微加权目标优化<br/>J(w) 目标函数构建"]
    C --> E
    D --> E
    E --> F["对数空间定点不动点迭代<br/>收缩映射更新与单纯形归一化"]
    F --> G["加权损失计算与模型参数更新"]

关键设计¶

1. Shapley 贡献度解耦：公理化分解抗遗忘与任务适应收益

现有加权方法无法兼顾新任务学习与旧知识保留，本质在于缺乏原则性的效用量化机制。DRIVE 将微调样本效用形式化为全数据集上的两个独立博弈：度量预训练知识保留度的抗遗忘博弈 $v_{\text{pre}}$ 和度量目标任务表现的适应博弈 $v_{\text{task}}$。依据 Shapley 值的可加性公理（Additivity Axiom），复合博弈 $v_\lambda = \lambda v_{\text{pre}} + (1-\lambda) v_{\text{task}}$ 中样本 $x_i$ 的边际贡献必然满足线性组合： $$c_i = \mathcal{C}(a_i, t_i) = \lambda a_i + (1 - \lambda) t_i$$ 在无源微调严格缺乏保留验证集的约束下，传统验证集梯度内积不可行。DRIVE 证明交叉熵损失可作为优异代理，定义抗遗忘贡献 $a_i = -\ell(f(x_i, \theta_{\text{pre}}), y_i)$ 与适应贡献 $t_i = \ell(f(x_i, \theta), y_i)$。由于预训练模型上损失极小的样本代表与旧特征分布高度兼容，赋予更大 $a_i$ 能抑制表示漂移；而在当前模型下损失较高的样本则承载活跃学习信号。通过动态退火系数 $\lambda$（如从 $1$ 线性衰减至 $0$），模型实现了“先回忆巩固、后自适应学习”的渐进课程，理论上打破了传统方法压制冲突方向梯度的谱崩溃问题。

2. 协方差行列式多样性度量：构建连续可微的集合级体积增益

以往子集选择依赖离散聚类或行列式点过程（DPP），无法直接嵌入连续权重优化目标。DRIVE 借鉴统计学中的 D-最优试验设计原理（D-optimal design），将样本集多样性定义为加权特征协方差矩阵的对数行列式： $$\mathcal{D}(\bm{w}) = \log |\bm{\Sigma}_w|, \quad \bm{\Sigma}_w = \sum_{i=1}^N w_i \bar{\bm{x}}_i \bar{\bm{x}}_i^\top + \epsilon \mathbf{I}$$ 其中 $\bar{\bm{x}}_i$ 为当前模型倒数第二层提取的中心化特征。对数行列式度量了样本所张成特征椭球的广义几何体积。更为重要的是，该项关于权重 $w_i$ 具有简洁光滑的解析梯度： $$\frac{\partial \log |\bm{\Sigma}_w|}{\partial w_i} = \bar{\bm{x}}_i^\top \bm{\Sigma}_w^{-1} \bar{\bm{x}}_i$$ 该梯度恰为统计学中的样本杠杆率（leverage score）。当某个样本位于特征密集区、能被其余样本良好表征时，其杠杆率极低；反之，处于特征边缘或代表罕见语义的样本杠杆率极高，优化器会自动为其增加权重。为攻克高维特征矩阵求逆复杂度 $\mathcal{O}(d^3)$ 带来的计算瓶颈，DRIVE 引入满足 Johnson-Lindenstrauss 引理的高斯随机投影矩阵 $\mathbf{R} \in \mathbb{R}^{d \times k}$（取 $k=128 \ll d$），将特征降维至 $\tilde{\bm{x}}_i = \mathbf{R}^\top \bar{\bm{x}}_i$，并结合容量为 128 的 FIFO 缓存区构建局部支撑集，使求逆开销骤降至 $\mathcal{O}(k^3)$，实现了高效且鲁棒的流式连续多样性优化。

3. 样本特征先验锚定：KL 散度近端正则化与闭式不动点求解

若单纯最大化贡献度和多样性，易使权重严重偏向极个别离群边缘样本，破坏优化稳定性；反之，若盲目平均则陷入数据冗余。DRIVE 引入样本内在特征先验分布 $\bm{p} = \{p_i\}$，利用 Kullback-Leibler (KL) 散度作为近端正则项约束权重分布： $$J(\bm{w}) = \sum_{i=1}^N w_i c_i + \eta \log |\bm{\Sigma}_w| - \tau \text{KL}(\bm{w} \parallel \bm{p}), \quad \text{s.t.} \sum_{i=1}^N w_i = 1, w_i \ge 0$$ 在默认无信息先验下设定 $p_i = 1/N$，而在存在样本复杂度度量时可设定为预测熵先验 $p_i \propto \exp(-H_i)$。当 $\tau > 0$ 时，目标函数在概率单纯形上严格凹，存在唯一全局最优解。利用一阶平稳条件，其解对应如下不动点映射方程： $$w_i^{(t)} \propto p_i \exp \left( \frac{c_i + \eta \bar{\bm{x}}_i^\top (\bm{\Sigma}_w^{(t-1)})^{-1} \bar{\bm{x}}_i}{\tau} \right)$$ 在实际执行中，从均匀分布 $\bm{w}^{(0)}$ 出发，每次迭代利用上一步加权协方差更新杠杆率，仅需数次迭代（$T_{\max} \le 10$）即可线性收敛到高精度驻点，赋予加权流程类似于熵正则化镜像上升（entropic mirror ascent）的强收敛保障。

损失函数 / 训练策略¶

最终针对当前微调步 batch 内样本的加权优化目标为： $$\mathcal{L}_{\text{DRIVE}}(\theta) = \sum_{i \in \mathcal{B}} \tilde{w}_i^* \ell(f(x_i, \theta), y_i)$$ 其中 $\tilde{w}_i^*$ 为局部支撑集求解后在当前 batch 内重新归一化的最优权重。权衡超参数中，$\lambda$ 从 1 线性衰减至 0，$\tau$ 设为预训练损失的第 10 百分位数以自适应缩放温度，多样性强度 $\eta=1.0$，特征投影维度 $k=128$，阻尼系数 $\epsilon=10^{-5}$。

实验关键数据¶

主实验¶

在视觉基准（ResNet-18/50）与大语言模型数学代码推理基准（Gemma-2-2B, Llama-3.2-3B, Llama-3.1-8B）上，DRIVE 展现了显著超越现有 SOTA 的抗遗忘与新任务适应均衡能力。

模型	方法	CIFAR-10 Avg (IN-1K / Target)	CIFAR-100 Avg (IN-1K / Target)	Flowers102 Avg (IN-1K / Target)
ResNet-18	Standard FT	65.33 (34.53 / 96.13)	43.70 (3.28 / 84.12)	48.64 (5.28 / 92.00)
ResNet-18	Linear Probe	75.50 (69.76 / 81.24)	64.39 (69.76 / 59.01)	78.31 (69.76 / 86.86)
ResNet-18	WiSE-FT	72.48 (57.04 / 87.91)	55.75 (49.31 / 62.18)	62.65 (49.60 / 75.69)
ResNet-18	$\ell_2$-Reg.	66.70 (37.86 / 95.53)	55.84 (29.86 / 81.82)	55.73 (19.34 / 92.11)
ResNet-18	DEFT-UCS	67.41 (47.56 / 87.26)	64.63 (49.63 / 79.63)	75.20 (62.45 / 87.94)
ResNet-18	FLOW	78.64 (68.83 / 88.44)	65.06 (53.05 / 77.07)	78.56 (69.47 / 87.64)
ResNet-18	DRIVE (本文)	79.78 (67.17 / 92.38)	67.53 (54.66 / 80.39)	79.43 (68.20 / 90.65)
ResNet-50	Standard FT	63.59 (29.99 / 97.19)	44.30 (2.50 / 86.10)	49.70 (6.70 / 92.70)
ResNet-50	FLOW	82.17 (75.15 / 89.18)	70.80 (60.85 / 80.74)	80.69 (72.45 / 88.93)
ResNet-50	DRIVE (本文)	84.17 (73.89 / 94.45)	72.34 (61.64 / 83.03)	83.85 (75.02 / 92.67)

在大语言模型 MetaMathQA 上的评测中，DRIVE 在显著抑制通用能力遗忘的同时，在新任务 GSM8K 上逼近甚至超越 Standard FT：

模型	方法	通用能力均分 (CS / MMLU / MBPP)	目标准确率 (GSM8K)	综合均分 (Overall)
Llama-3.1-8B	Pre-trained	58.10 (61.59 / 65.32 / 47.40)	50.95	54.53
Llama-3.1-8B	Standard FT	49.51 (56.50 / 58.50 / 33.52)	76.91	63.21
Llama-3.1-8B	LoRA	56.90 (60.90 / 63.40 / 46.40)	74.50	65.70
Llama-3.1-8B	FLOW	57.00 (60.00 / 63.00 / 48.00)	73.90	65.45
Llama-3.1-8B	TALR	57.22 (60.82 / 63.36 / 47.48)	73.84	65.53
Llama-3.1-8B	DRIVE (本文)	57.51 (60.95 / 63.98 / 47.60)	77.03	67.27

消融实验¶

基于 Llama-3.1-8B 在 MetaMathQA 数据集上的各组件消融与对比实验：

配置 / 变体	通用能力均分 (%)	目标任务准确率 (%)	综合均分 (%)	说明
DRIVE (完整模型)	57.51	77.03	67.27	完整结合贡献解耦、多样性与先验
去除新任务适应 ($\lambda=1$)	58.42	73.19	65.81	退化为纯抗遗忘，目标准确率大幅下降 3.84%
去除抗遗忘 ($\lambda=0$)	52.24	79.83	66.04	通用能力崩溃 5.27%，发生严重灾难性遗忘
去除多样性正则 ($\eta=0$)	56.18	74.78	65.48	缺乏特征覆盖激励，综合均分下降 1.79%
去除 KL 散度先验	53.96	70.61	62.29	权重过度坍缩，综合均分骤降 4.98%
离散聚类替代 (DRIVE-Cluster)	55.20	74.80	65.00	用硬性聚类均衡替代协方差，比可微项低 2.27%
熵引导先验 (Entropy Prior)	58.07	76.94	67.51	利用预训练模型低熵作为质量先验，带来额外提升

关键发现¶

各组件协同至关重要：去除 KL 先验导致综合性能暴跌近 5%，说明先验约束避免了权重集中在极端高杠杆样本上；去除多样性项使准确率下降 1.79%，证实特征体积扩张能有效防止样本冗余导致的过拟合。
动态退火机制优于静态折中：在 $\lambda$ 敏感度分析中，静态最优值为 $\lambda=0.8$，而采用 $1 \to 0$ 的动态线性退火在 CIFAR-10 和 Flowers102 上分别达到 84.17% 和 83.85% 的最优表现，证明微调早期巩固抗遗忘、晚期专注新任务符合学习课程。
收敛加速与参数估计稳定性：多样性正则显著改善了优化地形与损失协方差的条件数，相对波动稳定时间大幅提前；同时将跨随机种子的参数欧氏几何距离方差减少了 43.46%，有效缓解了 FLOW 等模型对随机种子的过敏性。

亮点与洞察¶

将 Shapley 可加性公理与损失代理结合：巧妙利用 Shapley 值的线性加法公理为抗遗忘与适应性权衡建立了理论根基，并规避了昂贵的验证集梯度内积，实现无源微调下的极速估计。
D-最优设计赋能样本连续加权：首次将统计试验设计中的协方差对数行列式转化为样本加权的可微多样性正则项，以解析统计杠杆率直接驱动反向加权，摆脱了传统聚类离散不可微的沉重包袱。
高斯随机草图与局部缓存设计：采用随机投影将特征矩阵求逆复杂度压制在固定维度 $\mathcal{O}(k^3)$，配合 FIFO 缓冲队列解决了批内样本量不足导致协方差退化的问题，工程落地极其优雅。

局限与展望¶

样本粗粒度加权：当前 DRIVE 是在样本级别（sample-level）分配标量权重，对于长文本和大模型推理，无法精细化到 token 维度的重要性与多样性调控。
双重前向评估开销：在计算 $a_i$ 与 $t_i$ 时需分别基于预训练模型和当前模型前向传播获取损失，尽管无需验证集，依然比标准单次前向微调带来约 1.3 倍左右的时间开销。
未来方向：探索同时满足正向迁移（既抗遗忘又高度促进新任务）的双赢样本挖掘准则，并将协方差行列式机制拓展到自回归生成的 token 级加权。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将 D-最优设计协方差行列式引入样本连续加权，结合 Shapley 可加性解耦构建统一框架。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖视觉 9 个基准与大模型 3 个主流模型家族，理论推导严密且包含深入收敛性与鲁棒性验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨、数学建模自然、问题动机与求解闭环完备。
价值: ⭐⭐⭐⭐⭐ 为无源微调提供了即插即用的通用加权范式，能够无缝结合 LoRA 与权重衰减等参数空间方法。