Constraint-Aware Influence Estimation in Deep Constrained Learning¶

会议: NeurIPS 2026
arXiv: 2607.23388
领域: 学习理论
关键词: 约束学习, 数据归因, 影响函数, 变分不等式, 二次规划

一句话总结¶

针对约束深度学习中经典影响函数因破坏可行域约束及解不可微而失效的难题，本文提出方向影响函数（DIF），将 KKT 最优性条件转化为变分不等式并推导其一阶方向导数敏感度，最终转化为高效的二次规划求解以实现保约束的数据归因。

研究背景与动机¶

在现代机器学习中，理解训练样本对模型参数及预测结果的具体贡献（即数据归因）是解释模型决策、修正数据标注错误以及实施机器遗忘（Machine Unlearning）的关键手段。以 Hampel 稳健统计与 Koh-Liang 影响函数（Influence Function, IF）为代表的传统方法，通过对训练样本施加无穷小权重扰动并利用隐函数定理微分经验风险最小化（ERM）的一阶最优性条件，避免了计算成本极高的“留一重训练”（Leave-One-Out, LOO）。然而，随着安全强化学习、算法公平性保障、对抗鲁棒性以及物理信息神经网络（PINN）等具有显式可行域约束的学习任务迅速普及，传统无约束影响函数及其启发式惩罚代理项遭遇了根本性的失效。

这种失效的核心根源在于约束优化内在的几何与数学特性。首先，对训练集剔除或加权扰动不仅会改变主损失曲面，还会同步重塑或平移可行域边界；传统 IF 完全脱离约束曲面更新参数，导致估计得到的新参数直接跃出可行域。其次更关键的是，当某项或多项不等式约束处于激活状态时，由于可行域边界投影与激活集动态切换的刚性存在，模型最优解关于扰动参数的通常意义导数根本不存在，而仅仅满足方向可微性（Directional Differentiability）。单侧左导数与右导数的不一致，直接使得经典基于逆 Hessian 矩阵与梯度的乘积公式失去数学定义。虽然业界常尝试引入软惩罚（Penalty-IF）来近似约束，但罚因子的超参选取极度脆弱，且目标梯度与罚项梯度的剧烈冲突导致估计偏差巨大。

为了从根本上解决约束扰动的非光滑几何约束响应，本文跳脱出传统无约束光滑微积分框架，将约束学习的最优性条件提升到变分几何的高度。核心 idea：将约束优化问题的 KKT 最优性条件表述为变分不等式（Variational Inequality, VI），在法锥与临界锥几何空间中展开一阶局部敏感度分析推导方向影响函数（DIF），并严格将其等价转化为一个保约束的二次规划（QP），兼具严格可行性与极佳的计算收敛性。

方法详解¶

整体框架¶

本文考虑的一般化约束学习问题包含主经验目标与 $m$ 个显式不等式约束：在满足 $\frac{1}{N_j}\sum_{i=1}^{N_j} \ell_j(z_i^{(j)}, \theta) \le \tau_j$ 的约束下最小化主损失 $\frac{1}{N_0}\sum_{i=1}^{N_0} \ell_0(z_i^{(0)}, \theta)$。为了衡量剔除特定训练数据子集 $Z^r$ 对模型参数 $\theta$ 的因果影响，本文定义扰动约束学习（PCL）框架：引入扰动向量 $\varepsilon = [\varepsilon_0, \varepsilon_1, \dots, \varepsilon_m]$，将基准点 $\bar{\varepsilon}=\mathbf{0}$ 移动至 $\hat{\varepsilon} = [-1/N_0, -1/N_1, \dots, -1/N_m]$ 即精确对应于样本移除。

整体求解流程从参数与拉格朗日乘子的原对偶系统出发，建立变分几何表述，并通过临界空间投影将非光滑扰动响应映射为一个标准凸二次规划问题：

%%{init: {'theme': 'base', 'themeVariables': {'primaryColor': '#EEF2FF', 'primaryBorderColor': '#6366F1', 'lineColor': '#4F46E5', 'fontSize': '13px'}, 'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练样本扰动与拉格朗日原对偶系统<br/>主损失与约束损失统一加权"] --> B["最优性变分不等式紧凑建模<br/>结合闭凸集法锥约束与广义方程"]
    B --> C["临界锥空间一阶线性化与辅助 VI<br/>划分绑定与非绑定激活约束"]
    C --> D["保约束二次规划精确等价求解<br/>Krylov/K-FAC 矩阵无关化加速"]
    D --> E["输出方向影响估计 Δθ<br/>严格保持可行域切空间一阶可行性"]

关键设计¶

1. 最优性变分不等式紧凑建模：统一刻画原对偶约束响应

传统基于 KKT 系统的显式扰动求导极度繁琐且难以处理不等式互补松弛项的不连续突变。为消除不等式带来的系统割裂，本文将 PCL 问题的拉格朗日函数 $L(\varepsilon, \theta, \lambda)$ 的最优性条件紧凑地表示为凸分析中的变分不等式（Variational Inequality, VI）： $$f(\varepsilon, \theta, \lambda) + N_E(\theta, \lambda) \ni \mathbf{0}, \quad \text{其中 } f(\varepsilon, \theta, \lambda) = \begin{pmatrix} \nabla_\theta L(\varepsilon, \theta, \lambda) \\ -\nabla_\lambda L(\varepsilon, \theta, \lambda) \end{pmatrix}, \; E = \mathbb{R}^d \times \mathbb{R}_+^m$$ 其中 $N_E(\theta, \lambda)$ 为凸锥集合 $E$ 在当前点处的法锥（Normal Cone）。该表述不仅在数学上与 KKT 驻点条件完全等价，更将原本离散的互补松弛条件 $\lambda_j \ge 0, g_j \le 0, \lambda_j g_j = 0$ 凝练为几何包容式，使得原对偶变量 $(\theta, \lambda)$ 能够在统一的广义方程框架下接受外扰动敏感度分析。

2. 临界锥空间一阶线性化与辅助 VI：解构非光滑方向可微性

当对数据施加扰动方向 $\Delta\bar{\varepsilon} = \hat{\varepsilon} - \bar{\varepsilon}$ 时，解映射呈现非光滑性。本文在参考最优解 $(\bar{\theta}, \bar{\lambda})$ 处对非线性映射 $f$ 执行一阶泰勒展开，并利用凸集微积分中的约简引理（Reduction Lemma），将原始法锥 $N_E$ 局部约简为定义在临界锥（Critical Cone）上的法锥映射 $N_K$。根据参考乘子 $\bar{\lambda}_j$ 的取值，所有约束被严格划分为三类：不激活集 $I_{\text{Inactive}}$（严格不等式，对局部变化不施加方向限制）、绑定激活集 $I_{\text{Binding}}$（$\bar{\lambda}_j > 0$，微小扰动下切向扰动必须满足等式约束）、以及非绑定激活集 $I_{\text{Non-binding}}$（$\bar{\lambda}_j = 0$，处于退化边界，扰动允许向内部单侧松弛）。

基于此，本文构建了辅助变分不等式（Auxiliary VI）： $$\mu \Delta\bar{\varepsilon} + A \Delta\hat{\eta} + N_K(\Delta\hat{\eta}) \ni \mathbf{0}$$ 其中 $A = \nabla_{(\theta, \lambda)} f(\bar{\varepsilon}, \bar{\theta}, \bar{\lambda})$，$\mu = \nabla_\varepsilon f(\bar{\varepsilon}, \bar{\theta}, \bar{\lambda})$，且乘子扰动空间 $D$ 明确约束了非绑定方向 $\Delta\hat{\lambda}_j \ge 0$ 及不激活方向 $\Delta\hat{\lambda}_j = 0$。作者证明在满足线性无关约束准则（LICQ）与二阶充分条件（SOSC）下，逆映射 $(A + N_K)^{-1}$ 全局单值且具备利普希茨连续性，从而在理论上严格证明了解映射关于数据移除的方向导数 $D\theta(\bar{\varepsilon}; \Delta\bar{\varepsilon})$ 的存在性与唯一性。

3. 保约束二次规划精确等价求解：工程可计算的凸优化闭环

辅助变分不等式虽然具备优良的分析性质，但直接求解集合包容式仍不直观。本文建立核心定理，证明辅助 VI 的原对偶解与一个特定的二次规划（QP）问题的最优解 $(\omega^\star, \zeta^\star)$ 严格等价，即 $\Delta\hat{\theta} = \omega^\star$： $$\min_{\omega \in \mathbb{R}^d} \quad \langle \nabla_{\theta\varepsilon} L(\bar{\varepsilon}, \bar{\theta}, \bar{\lambda}) \Delta\bar{\varepsilon}, \omega \rangle + \frac{1}{2} \langle \omega, \nabla_{\theta\theta}^2 L(\bar{\varepsilon}, \bar{\theta}, \bar{\lambda}) \omega \rangle$$ $$\text{s.t.} \quad \nabla_\theta \ell_j(\bar{\theta})^\top \omega + \sum_{z_i^{(j)} \in Z^r} \Delta\bar{\varepsilon}_j \ell_j(z_i^{(j)}, \bar{\theta}) \begin{cases} = 0, & j \in I_{\text{Binding}} \\ \le 0, & j \in I_{\text{Non-binding}} \\ \text{free}, & j \in I_{\text{Inactive}} \end{cases}$$ 该 QP 的约束项精确包含了样本移除对约束边界造成的位移偏移量。在没有任何约束激活（$I_{\text{Active}} = \emptyset$）的特例下，该 QP 的最优性一阶条件立即退化为 $\nabla_{\theta\theta}^2 L \cdot \omega + \nabla_{\theta\varepsilon} L \Delta\bar{\varepsilon} = 0$，完美恢复经典影响函数公式 $\omega = -H^{-1} g_i$。而在约束激活时，QP 驱动更新量 $\omega$ 沿着切空间演进，彻底杜绝了约束违背。针对大规模深度网络，本文进一步引入基于舒尔补（Schur Complement）的原对偶内点法与 Hessian-向量积（HVP）的共轭梯度求解机制，并兼容 K-FAC / EK-FAC 矩阵无关分解，使得单步迭代复杂度仅随参数规模线性增长 $\mathcal{O}(C_{\text{hvp}} + N_c d)$。

实验关键数据¶

主实验¶

论文在带线性等式与不等式约束的回归任务、公平性约束下的深度 CNN（以 Springenberg 全卷积架构处理非独立同分布非均衡分配的 MNIST 数据集）、以及大规模 FairFace 属性预测任务上进行了全面实证。在 MNIST 场景中，模型设立了各客户端群组风险与全局平均风险的离散度约束；评估通过将移除样本预测的参数变化 $\Delta\theta$ 代入测试损失，测量与真实留一重训练（LOO Retraining）变化量的对齐程度。

任务与模型	评估指标	本文 (DIF)	经典 IF	软惩罚 IF (Penalty-IF)
约束线性回归 (LOO 预测)	参数估计一致性 (Pearson $r$)	0.999	0.412 (显著偏离 $y=x$)	0.683 (依赖罚项大小)
约束 CNN (MNIST 样本剔除)	诱导测试损失预测相关性 ($r$)	0.90	无法稳定收敛 (HVP 病态)	0.62 (最优调优参数下)
FairFace ResNet-50 (前 10% 样本)	误分类测试点损失下降幅度 ($\Delta\ell$)	0.004427	— (无约束基准)	0.003742 (TRAK 代理)

消融实验与反事实重训练分析¶

为了探究剔除最具危害性（Harmful）样本对模型在困难受限样本上泛化表现的因果影响，论文对比了 DIF、轨迹梯度约束 TracIn（Constrained TracIn）、基于铰链惩罚的 TRAK 以及随机移除策略，在重新训练受限 CNN 后的实际损失下降效果。同时在附录中评估了物理信息神经网络（PINN，在 NGSIM 交通流数据集上受 PDE 动力学方程约束）遗忘 10% 轨迹数据时的表现。

实验设置 / 模型对比	目标损失下降幅度 (Loss Drop)	数据损失 (MAE)	物理方程损失 (MAE)	相对 $L_2$ 误差 (%)
CNN: 移除 2% 最有害样本	0.0031 ± 0.0006 (TracIn: 0.0028, TRAK: 0.0007)	—	—	—
CNN: 移除 10% 最有害样本	0.0042 ± 0.0005 (TracIn: 0.0038, TRAK: 0.0009)	—	—	—
PINN: 原始未遗忘模型	—	4.156	0.471	21.65%
PINN: 全量重新训练模型 (LOO)	基准真实值	2.495	0.0112	14.24%
PINN: 本文 DIF 单步遗忘模型	近似恢复重训练	2.832	0.0037	16.68%

关键发现¶

在带约束优化中，普通 IF 完全失效，其计算出的解变化不仅破坏可行性约束（例如在玩具范例中使范数超出界限达 25%），且方向严重偏离真实重训练梯度；
软惩罚代理（Penalty-IF）表现对超参数 $\rho$ 和 $k$ 极其敏感。当处于强约束界限附近时，激活集非连续切换导致罚函数二阶曲率剧烈震荡，无法准确反映临界锥切空间的敏感度响应；
在反事实样本清除实验中，DIF 识别出的高影响力有害样本与约束轨迹梯度紧密结合，剔除后在重新训练时带来的目标测试样本损失下降显著超越 TRAK 与随机选择，并在 PINN 物理约束遗忘上将重训练耗时从 331.5s 骤降至 91.8s。

亮点与洞察¶

变分几何切入视角的创新性：将经典统计学影响函数的概念从平滑欧氏空间推广到带法锥约束的变分不等式系统，借助临界锥概念巧妙解决了约束边界导数不连续与单侧性的理论死结。
与经典理论的完美向下兼容：DIF 构造的二次规划在无激活约束时精确回退至经典的 Koh-Liang 逆 Hessian 影响函数，确立了其作为经典 IF 严格泛化形式的理论地位。
计算架构与现有深度学习基础设施高度契合：通过将主约束矩阵在舒尔补中消元，并引入 HVP/K-FAC 逆向量积，使得约束计算开销只与激活约束数量 $N_c$ 呈小常数倍关系，为大模型约束对齐与高效机器遗忘铺平了道路。

局限与展望¶

依赖局部凸性与二阶光滑性假设：虽然定理利用 SOSC 放宽了全局凸性，但在深度学习极度非凸的复杂损失曲面中，经验解附近的局部 Hessian 奇异性仍可能影响逆系统稳定性，且要求损失函数具备二阶连续可微性。
主动集预测的邻域半径受限：若移除单点所带来的扰动幅度过大，导致实际重训练后的激活集发生拓扑突变，一阶线性化的临界锥划分将产生局部截断误差。
超大规模约束集的扩展瓶颈：当显式约束数量 $m$ 达到数十万级别（例如半无限规划或逐样本对齐约束）时，舒尔补求逆中的 $N_c \times N_c$ 求解将面临维度灾难，需探索随机化激活集采样技术。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将变分不等式敏感度分析完整引入深度学习数据归因，理论推导严密且优雅。
实验充分度: ⭐⭐⭐⭐ 涵盖回归、CNN 公平性分类、大尺度 FairFace 及 PINN 物理遗忘，基线与消融完备。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，数学脉络清晰，从几何直觉到严谨证明衔接自然。
价值: ⭐⭐⭐⭐⭐ 彻底解决了受限深度学习领域数据归因无严格理论工具的空白，在 AI 安全、可信度与合规机器遗忘中极具应用潜力。

任务与模型	评估指标	本文 (DIF)	经典 IF	软惩罚 IF (Penalty-IF)
约束线性回归 (LOO 预测)	参数估计一致性 (Pearson \(r\))	0.999	0.412 (显著偏离 \(y=x\))	0.683 (依赖罚项大小)
约束 CNN (MNIST 样本剔除)	诱导测试损失预测相关性 (\(r\))	0.90	无法稳定收敛 (HVP 病态)	0.62 (最优调优参数下)
FairFace ResNet-50 (前 10% 样本)	误分类测试点损失下降幅度 (\(\Delta\ell\))	0.004427	— (无约束基准)	0.003742 (TRAK 代理)