Z0-Inf: Zeroth Order Approximation for Data Influence¶
会议: NeurIPS 2026
arXiv: 2510.11832
代码: https://github.com/facebookresearch/z0inf
领域: LLM预训练
关键词: 数据影响力, 零阶近似, 自影响力, 训练动态, 大语言模型
一句话总结¶
本文针对大语言模型数据影响力估计开销巨大且易失真的瓶颈，提出了完全绕过反向传播梯度的零阶近似方法 Z0-Inf，仅依赖中间检查点的损失评估值与模型权重构建有限差分方向梯度，在获得数量级显存与计算加速的同时，在自影响力及训练-测试影响估计上显著提升了与真实重训基准（SSRT）的相关性。
研究背景与动机¶
理解训练样本如何塑造模型的预测行为是现代机器学习系统中的核心问题。无论是为了清洗错误标注、识别离群异常值，还是评估模型记忆行为（Memorization）并进行高质量数据筛选，数据影响力（Data Influence）都提供了极具价值的归因视角。其中，自影响力（Self-influence，衡量训练样本对其自身预测的贡献）在数据质量审计与长尾样本发现中应用尤为广泛。衡量数据影响力的理论黄金标准是“剔除并重训”（Remove-and-Retrain），即通过在排除或包含特定样本的数据集上重新训练模型，观察测试损失的变化。然而，对于动辄数十亿参数的现代大语言模型而言，重训模型极其昂贵；即便使用采样重训（SubSample-and-Retrain, SSRT）这一实用基准，其巨大的计算代价依然无法直接部署于日常的数据归因。
现有加速数据影响力估计的技术主要分为两大学派，但在面对现代大模型时均面临严峻失效。第一类是以逆 Hessian 矩阵为核心的二阶近似方法（如经典影响函数及其扩展 EK-FAC、LoGra 等）。这类方法假设在最优点附近损失曲面具有局部凸性，通过低秩近似或克罗内克分解估算逆 Hessian 向量积（IHVP）。但大量近期研究表明，在深度神经网络的高度非凸损失曲面下，二阶近似严重偏离真实重训结果，且随着参数量激增极易遭遇显存溢出（OOM）。第二类是以 TracIn 为代表的一阶方法，它利用训练轨迹中的中间检查点，通过一阶泰勒展开将相邻检查点间的损失差异近似为梯度与权重更新量的内积。然而，作者通过实证发现了一个关键矛盾：随着模型规模和复杂度的增加，一阶梯度泰勒近似的精度急剧恶化，导致梯度内积与真实损失差之间的 Spearman 秩相关系数大幅下滑；同时，在每个检查点对所有训练和测试样本执行反向传播计算梯度，无论是计算耗时还是显存占用在数十亿参数规模下均不可承受。
针对这一困境，本文选择彻底打破对显式梯度的依赖，从训练轨迹的本质出发重构影响力估计逻辑：既然一阶梯度展开在大模型上既不准确又计算昂贵，为何不直接利用检查点前向传播得到的标量损失差，反向拟合有限差分方向梯度？核心 idea：彻底摒弃反向传播梯度，直接基于相邻检查点的标量损失有限差分构建零阶方向梯度，并证明在自影响力场景下该估计可严格上界化为检查点损失的经验方差，从而实现零反向传播、无显存压力且与真实重训高保真对齐的数据影响力估计。
方法详解¶
整体框架¶
Z0-Inf 的核心流程分为离线检查点损失评估、有限差分方向梯度（Finite Difference Directional Gradient）构建、以及影响力高效聚合三个阶段。给定模型在训练轨迹中保存的 \(T\) 个权重检查点序列 \(\{\theta_0, \theta_1, \dots, \theta_T\}\)，方法首先在前向传播中记录训练样本 \(x_s\) 和测试目标 \(x_t\) 在各检查点下的标量损失 \(\ell(\theta_i, \cdot)\)。随后，针对每个检查点 \(\theta_i\)，在距离阈值 \(\tau\) 内筛选相邻检查点集合 \(M_i\)，利用损失标量差与权重位移向量构造有限差分方向梯度 \(\bar{g}(\theta_i, \cdot)\)。最后，若评估训练-测试样本对影响，利用预先计算的权重 Gram 矩阵对内积展开进行快速求和；若评估自影响力，则直接调用无需计算高维权重方向的损失方差代理（ZSinf）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["训练轨迹检查点序列<br/>θ_0, θ_1, ..., θ_T"] --> B["阶段检查点采样与邻域筛选<br/>M_i = {j ∈ [T]: d(θ_i, θ_j) ≤ τ}"]
B --> C["有限差分方向梯度估计<br/>ḡ(θ_i, x) = 1/|M_i| ∑ Δℓ(θ_j, θ_i) Δθ / ||Δθ||²"]
C --> D{"影响力估计分支判断"}
D -->|"自影响力 xs = xt"| E["方差代理快速估计 (ZSinf)<br/>ZSinf(xs) = Var_i(ℓ(θ_i, xs))"]
D -->|"训练-测试影响 (xs, xt)"| F["Gram矩阵加速内积展开<br/>Zinf(xt, xs) = ∑ ⟨ḡ(θ_i, xs), ḡ(θ_i, xt)⟩"]
E --> G["输出数据影响力排序与归因结果"]
F --> G关键设计¶
1. 有限差分方向梯度构建：规避高维反向传播与一阶泰勒展开失效
传统 TracIn 方法假设相邻检查点间的损失变化可以通过一阶梯度紧密近似，即 \(\ell(\theta_{i+1}, x_t) - \ell(\theta_i, x_t) \approx \nabla \ell(\theta_i, x_t)^\top (\theta_{i+1} - \theta_i)\)。但在大模型非凸曲面下，该泰勒近似与真实差值的相关性大幅缩水，且反向传播梯度开销巨大。Z0-Inf 的核心设计是直接拟合一个最优向量 \(g(\theta_i, x_t)\)，使其直接最小化有限差分近似误差：
$\(g(\theta_i, x_t) = \arg\min_g \left( \ell(\theta_{i+1}, x_t) - \ell(\theta_i, x_t) - g^\top (\theta_{i+1} - \theta_i) \right)^2\)$
这是一个最小二乘回归问题，存在天然的闭式解析解：
$\(g(\theta_i, x_t) = \frac{(\ell(\theta_{i+1}, x_t) - \ell(\theta_i, x_t))(\theta_{i+1} - \theta_i)}{\|\theta_{i+1} - \theta_i\|^2}\)$
由此得到的向量即为有限差分方向梯度。该设计具备两大关键优势：首先，其通过构造完全吻合检查点实际步进方向上的损失差，理论近似精度直接优于通用局部梯度；其次，该公式完全不需要计算反向传播或激活值，仅依赖一次轻量级的前向损失推理和权重向量减法，使得计算与内存消耗下降一个数量级。
2. 邻近检查点鲁棒平滑：利用局部轨迹几何消除单步噪声
在随机梯度下降（SGD）或 Adam 优化过程中，单步迭代可能受到小批量（mini-batch）采样噪声的剧烈干扰，导致单个方向差分估计产生高频震荡。为了提升方向梯度的稳健性，Z0-Inf 在全部 \(T\) 个检查点中引入局部拓扑平滑机制。对于目标检查点 \(\theta_i\)，定义参数距离阈值 \(\tau\) 内的邻近检查点集合 \(M_i = \{j \in [T] \setminus \{i\}: d(\theta_i, \theta_j) \le \tau\}\)。平滑后的鲁棒方向梯度表示为邻域内的加权平均：
$\(\bar{g}(\theta_i, x) = \frac{1}{|M_i|} \sum_{j \in M_i} \frac{(\ell(\theta_j, x) - \ell(\theta_i, x))(\theta_j - \theta_i)}{\|\theta_j - \theta_i\|^2}\)$
在实际实现中，通常仅选取沿轨迹时间窗口内距离最近的 4 个检查点。这一设计在保留优化轨迹切线方向全局趋势的同时，平抑了特定步长抖动带来的估计漂移，使跨轮次累积的影响力信号更为平滑稳定。
3. Gram 矩阵预计算与内积展开：解耦模型权重与前向损失评估
当计算训练样本 \(x_s\) 对测试目标 \(x_t\) 的双样本影响力 \(\mathbf{Zinf}(x_t, x_s) = \sum_{i=0}^{T-1} \langle \bar{g}(\theta_i, x_s), \bar{g}(\theta_i, x_t) \rangle\) 时，若直接在数十亿维度的参数空间上计算点积，其在线复杂度极高。Z0-Inf 巧妙地利用内积双线性展开将权重几何与样本损失彻底解耦。记标量损失差 \(r_{ij}(x) = \ell(\theta_j, x) - \ell(\theta_i, x)\)，两梯度的内积可严格重写为：
$\(\langle \bar{g}(\theta_i, x_s), \bar{g}(\theta_i, x_t) \rangle = \frac{1}{|M_i|^2} \sum_{j \in M_i} \sum_{k \in M_i} \frac{r_{ij}(x_s) r_{ik}(x_t) \cdot \Big(\langle \theta_j, \theta_k \rangle - \langle \theta_i, \theta_j \rangle - \langle \theta_i, \theta_k \rangle + \langle \theta_i, \theta_i \rangle\Big)}{\|\theta_j - \theta_i\|^2 \cdot \|\theta_k - \theta_i\|^2}\)$
其中的分子权重内积项和分母模长项仅取决于模型检查点的静态参数，可以在离线阶段一次性预计算为检查点间的 Gram 矩阵。在实际评估时，针对任意新的测试集，系统仅需前向评估标量损失 \(r_{ik}(x_t)\) 并进行标量矩阵乘法，完全摆脱了高维向量检索的瓶颈。
4. 基于损失方差的自影响力上界代理（ZSinf）：纯标量运算实现零维度依赖
在自影响力设定中（\(x_s = x_t\)），算法需要度量样本对自身拟合的推动作用。根据 Cauchy-Schwarz 不等式，Z0-Inf 推导出自影响力的解析上界：
$\(\mathbf{Zinf}(x_s, x_s) = \sum_{i=1}^T \|\bar{g}(\theta_i, x_s)\|^2 \le c \sum_{i=1}^T \sum_{j \neq i} (\ell(\theta_i, x_s) - \ell(\theta_j, x_s))^2\)$
其中常数 \(c = \sum_{j \neq i} \frac{1}{\|\theta_j - \theta_i\|^2}\) 仅与权重轨迹的步长尺度相关。该上界本质上与样本损失在各个检查点之间的经验方差严格正比。由此，作者提出了极简的自影响力代理指标 ZSinf：
$\(\mathbf{ZSinf}(x_s) = \mathbf{Var}_{i}(\ell(\theta_i, x_s))\)$
该设计将高维自影响力估计简化为完全不需要读取模型权重矢量的纯标量统计计算。对于离群样本或低质量标注样本，由于模型在不同阶段难以稳定拟合，其跨检查点损失波动剧烈、方差极大；而普通样本损失单调收敛，方差较小。这赋予了 ZSinf 极强的异常检测物理意义，同时耗时与显存开销降为可忽略的常量级别。
一个完整示例¶
假设我们使用全参数微调 LLaMA-3.1 8B 解决数学推理任务（GSM8K），训练过程保存了 5 个关键检查点 \(\{\theta_0, \theta_1, \theta_2, \theta_3, \theta_4\}\)。现有一条训练样本 \(x_s\)（一道关于分配物品的算术题），我们希望评估其自影响力及对一条相似测试样本 \(x_t\) 的数据影响：
- 前向损失采集（离线）： 将样本 \(x_s\) 分别输入 5 个检查点进行前向推理，得到交叉熵损失序列为 \([2.40, 1.75, 1.20, 0.95, 0.85]\)。
- 极速自影响力计算（ZSinf）： 无需加载 8B 参数的权重差异向量，直接计算该损失序列的经验方差： \(\mu = 1.43\)，\(\mathbf{ZSinf}(x_s) = \mathbf{Var}([2.40, 1.75, 1.20, 0.95, 0.85]) \approx 0.382\)。 若另一条错误标注的噪声样本在各阶段损失剧烈震荡（如 \([2.5, 3.1, 1.8, 2.9, 3.4]\)，方差达 \(0.41\) 且均值高），其 ZSinf 显著处于前列，被直接识别为高质量数据清洗或离群目标。
- 测试样本影响计算（Zinf）： 测试样本 \(x_t\) 输入各检查点，记录损失序列 \([2.60, 1.90, 1.30, 1.05, 0.90]\)，计算各阶差分 \(r_{ij}(x_t)\)。结合离线预计算好的权重核矩阵 Gram\((\theta_i, \theta_j)\)，通过标量双重求和，秒级完成 \(\mathbf{Zinf}(x_t, x_s)\) 计算，而无需对测试集重复反向传播生成梯度。
损失函数 / 训练策略¶
- 检查点选择策略：实验表明，LLM 微调过程中最初的 5 到 10 个 epoch 是决定零阶影响力估计精度的黄金窗口，后续过拟合阶段的检查点对最终相关性增益极小。因此实际使用中仅需保留前 10–15 个早期检查点。
- 参数范围约束：为与基线 TracIn 公平对比（TracIn 在 8B 模型全量参数上求梯度会立即遭遇显存爆炸），对比实验中一阶与零阶方向梯度均作用于最后一层分类头参数；但在理论和工程实践中，Z0-Inf 仅需保存各检查点损失标量，天然支持全量甚至跨模块追踪。
- 离线与在线计算解耦：整个算法约 80%–90% 的耗时集中在各检查点前向评估训练集损失。这部分可以在微调保存检查点时同步以低开销记录完成；在线评估测试集时仅需单次测试集前向损失评估，实现极低延迟的数据归因。
实验关键数据¶
主实验¶
论文主要对比了在子采样重训基准（SSRT，100 次试验，每次随机抽样 0.7 训练数据作为 Gold Standard）下，各近似方法在线性数据建模分数（LDS）以及 Top 样本排序检索上的保真度表现。
| 模型架构 | 评估数据集 | TracIn (一阶梯度) | LoGra (二阶低秩投影) | Z0-Inf (本文零阶方法) | 相对优势与分析 |
|---|---|---|---|---|---|
| ConvNet | CIFAR-10 | 0.020 | 0.026 | 0.021 | 视觉小模型上各阶方法表现接近 |
| LLaMA-3.1 8B (全微调) | GSM8K | 0.0003 | -0.0030 | 0.0090 | 零阶相关性达一阶的 30倍，二阶为负相关 |
在定性与最具影响力训练-测试样本对检索上，各方法在真实测试用例上的 SSRT 基准排名如下表所示（排名越靠近 1 说明越吻合真实重训影响）：
| 数据集 | 样本任务与语义特征摘要 | SSRT 真实排名 | Z0-Inf (零阶) | TracIn (一阶) | LoGra (二阶) |
|---|---|---|---|---|---|
| GSM8K | 纸盘与纸杯数量计算题（近重复语义） | 1 | 35 | 1 | 280 |
| GSM8K | 牛奶与冰淇淋双重折扣计算 | 1 | 368 | 30 | 548 |
| GSM8K | 年龄倍数关系代数推理 | 1 | 12 | 4 | 852 |
| MATH-500 | 披萨配料选取（二项式系数组合题） | 1 | 1 | 1 | 1 |
| MATH-500 | 多项式除法与多项式次数求解 | 1 | 1 | 1 | 1 |
| MATH-500 | 双重平方根整数值计数定理 | 1 | 2 | 1 | 1 |
| Dolly | 国际象棋初学者开局建议（近重复指令） | 1 | 4 | 26 | 489 |
| Dolly | 成人自行车选购分类指南（近重复指令） | 1 | 1 | 1 | 780 |
| Dolly | 影视奖项 / 物理学家影响科学家问答 | 1 | 1 | 2 | 835 |
消融实验¶
针对自影响力（Self-influence）与计算资源开销的横向对比（基于单台 8 卡 A100 80GB 服务器，微调 LLaMA-3.1 8B）：
| 方法类别 | 核心算法 | 显存消耗峰值 | 相对计算耗时 (归一化) | SSRT 自影响力 Spearman 相关系数 | 显存/精度评价 |
|---|---|---|---|---|---|
| 黄金标准 | SSRT (100 次重训) | 80 GB (极高) | ~100.0× | 1.000 (基准) | 无法大规模实际应用 |
| 二阶逆 Hessian | LoGra (Rank=64) | 78 GB (易 OOM) | 3.2× | ~0.02 (极低相关) | 秩大于 64 时单卡直接 OOM，与重训严重失真 |
| 一阶梯度轨迹 | TracIn | 65 GB (高) | 5.8× | 0.35 - 0.45 (中等) | 反向传播梯度代价极高，大模型上一阶泰勒失效 |
| 本文零阶方向 | Z0-Inf (全算法) | < 20 GB | 1.0× (基准) | 0.55 - 0.68 (高) | Gram展开加速明显，对齐精度超越 TracIn |
| 本文零阶方差 | ZSinf (方差代理) | < 5 GB | 0.15× (极速) | 0.58 - 0.70 (最高) | 纯标量方差计算，无权重读取，自影响力首选 |
关键发现¶
- 大模型上一阶泰勒展开失效是传统方法的阿喀琉斯之踵：在简单线性模型和小型卷积网络上，一阶梯度内积能较好拟合检查点损失差异；但在参数规模扩大至数十亿的 LLaMA-3.1 上，损失曲面极度非凸，梯度方向与实际离散更新步长间的差异急剧放大，导致 TracIn 的有效性显著劣化。
- 二阶方法（LoGra）在 LLM 复杂场景下几乎完全丧失判别力：尽管 LoGra 运用低秩投影降低了 Hessian 逆矩阵计算成本，但由于强行假设二次型局部曲率，在非凸 LLM 损失曲面上与 SSRT 的 Spearman 相关系数接近 0 甚至为负，且 Rank>64 时依然遭遇显存溢出。
- 零阶方法成功剥离“表征输入相似性”的伪相关性：传统基于梯度的影响力方法，其梯度往往包含输入特征或激活项的乘性因子（如线性模型 \(\nabla_W L = (y-\hat{y})x\)），因而容易被表征与测试集高度重合的冗余样本误导。Z0-Inf 仅依赖损失标量响应，能更加忠实地捕捉具有独立因果消除效应的高价值样本。
亮点与洞察¶
- 跳出反向传播思维定势的范式突破：长期以来，学术界普遍认为高精度的模型内部归因必须依赖网络参数的一阶甚至二阶导数。本文明确证实，在检查点轨迹完备的前提下，基于标量损失的有限差分不仅计算开销大幅降低，而且比高维梯度展开更能抵抗非凸曲面上的截断误差。
- 自影响力方差代理（ZSinf）的极简优雅性：将复杂的参数空间点积积分，通过柯西-施瓦茨不等式一举化简为跨检查点标量损失的经验方差，不仅完全消除了参数维度依赖，还将自影响力评估成本压缩至几乎等同于一次前向校验。
- 广泛兼容非可微评估目标：由于 Z0-Inf 在数学形式上仅要求获取标量评估值，未来可天然拓展至强化学习中不可导的奖励函数（Reward）、离散准确率（Accuracy）以及基于规则的判别指标。
局限与展望¶
- 对检查点存储与回溯的依赖：Z0-Inf 的准确性高度依赖于训练过程中保存的早期高质量检查点序列。对于只提供最终权重、未开放中间训练轨迹的闭源或第三方模型，该方法无法直接实施。
- 单样本与群体影响力（Group Influence）的辨析差异：对于训练集中存在大量互为近重复的冗余样本群，单个样本的剔除对测试点影响可能被稀释。作者在文中指出，未来需进一步将零阶近似拓展至群体数据归因（Group Data Attribution），以更好消除混杂效应。
- 测试-训练影响力的整体相关性仍低于自影响力：在单样本粒度下，绝大多数训练样本对特定测试用例的影响本身微乎其微，导致训练-测试影响的总体 Spearman 相关性数值天然偏低，噪声较为明显。
相关工作与启发¶
- vs TracIn (Pruthi et al., 2020): TracIn 依赖相邻检查点的一阶反向传播梯度内积，而 Z0-Inf 使用损失有限差分方向梯度替代显式反向梯度；在 LLaMA-3.1 8B 上，Z0-Inf 运行速度提高数倍且避免了高维反向显存爆炸，且自影响力与 SSRT 的相关性更高。
- vs LoGra / DataInf (Choe et al., 2024; Kwon et al., 2023): 传统二阶方法试图对逆 Hessian 矩阵进行低秩投影或分解，但对显存依然敏感且在 LLM 上严重偏离重训基准；Z0-Inf 完全放弃 Hessian 假设，基于纯训练轨迹动力学实现了更优的保真度和更高的吞吐量。
- vs SubSample-and-Retrain (SSRT) (Feldman and Zhang, 2020): SSRT 是衡量影响力的黄金基准但需要重复训练上百次模型；Z0-Inf 仅需单次正常训练记录的轨迹，即可在数个数量级更低的开销下高保真还原 SSRT 的排序趋势。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 突破传统依赖梯度与 Hessian 的思维局限，提出首个面向大模型训练动态的零阶有限差分影响力估计范式。
- 实验充分度: ⭐⭐⭐⭐☆ 覆盖全参数微调 LLaMA-3.1 8B、视觉及合成数据集，并在 100 次重训 SSRT 基准下进行了扎实的保真度评测。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述清晰透彻，理论推导紧凑完备，对梯度展开与有限差分的本质差异辨析深刻。
- 价值: ⭐⭐⭐⭐⭐ 为数十亿参数大模型的低成本数据归因、离群样本清洗与高质量预训练/微调数据筛选提供了极其落地的实用工具。