Semiparametrically Efficient Inference for Kernel Measures of Noise Heterogeneity

会议: NeurIPS 2026
arXiv: 2605.27526
OpenReview: https://openreview.net/forum?id=1oJRGkThcD
领域: 模型压缩
关键词: 半参数推断, 希尔伯特空间一步估计器, 核协方差算子, 噪声异质性, HSIC

一句话总结

针对加性噪声模型中第一阶段非参数回归误差在残差核检验中引入伪相关性的难题，本文提出了基于希尔伯特空间有效影响函数的去偏一步核协方差算子估计器，在原假设下消除了标量 HSIC 的一阶退化效应，实现了校准的拟合优度检验与半参数高效置信区间。

研究背景与动机

在现代统计学习与因果发现（如加性噪声模型 ANM）的工作流中，研究人员普遍依赖拟合残差来检验模型是否充分捕获了数据结构。理想状态下，回归残差应与输入协变量完全独立，或者残差噪声分布在不同处理组间保持同质。核独立性度量（如希尔伯特-施密特独立性准则 HSIC）由于能够捕获超越均值与方差的高阶非线性依赖，成为了残差检验的黄金标准。然而在实际任务中，真实的回归函数往往未知，需要借助灵活的非参数机器学习模型进行第一阶段估计。

这种两阶段推断存在致命的统计缺陷：第一阶段的回归估计误差会不可避免地下游传递到残差中，诱发协变量与残差之间的伪相关性。若直接使用样本分割，训练折过小会导致残差估计方差过大、虚警率（Type I error）严重膨胀；训练折过大则会压缩检验折样本量、导致检验检验功效（Power）断崖式下跌。更严峻的是，传统针对有限维目标泛函的一阶半参数去偏技术无法直接作用于标量 HSIC，因为在独立性原假设下，核协方差算子为零，标量 HSIC 作为二次范数泛函在此处的一阶有效影响函数（EIF）恒等于零（即一阶退化），导致标量层面的线性去偏彻底失效。

为了打破标量泛函在原假设处退化的理论瓶颈，本文另辟蹊径将去偏操作前置到取范数之前。核心 idea：直接在希尔伯特空间层面推导协变量与残差互协方差算子的一步有效影响函数（EIF），通过向量值核岭回归估计冗余算子实现算子级去偏，再通过计算去偏算子的希尔伯特-施密特范数构建 Bootstrap 校准检验与渐近高效置信区间。

方法详解

整体框架

本文针对加性噪声模型的拟合优度检验以及协变量调整下的残差异质性推断，构建了一个端到端的去偏核推断流程。整体框架由样本分割与交叉拟合（Cross-fitting）、冗余函数非参数估计、算子级有效影响函数（EIF）修正以及下游统计推断四个核心阶段串联而成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据对 (X, W, Y)<br/>K 折交叉拟合分割"] --> B["阶段 1：第一阶段非参数回归<br/>估计回归函数 m(W) 并计算残差"]
    B --> C["阶段 2：向量值核岭回归估计<br/>估计特征导数期望算子 v(W)"]
    C --> D["阶段 3：算子级一步去偏估计<br/>构建希尔伯特空间修正项并求范数"]
    D --> E["阶段 4：双轨统计推断与检验<br/>原假设 Bootstrap 校准 / 备择假设 Delta 方法"]

在整体流程中，模型首先在训练折上通过非参数回归拟合回归均值函数，并生成初步残差；接着利用向量值核岭回归（vvKRR）拟合特征导数的条件期望；随后在评估折中，依据所推导的算子级影响函数构造修正特征向量，完成希尔伯特空间中的一步算子去偏；最后通过计算去偏算子的平方范数，在原假设下通过反向三角不等式结合 Bootstrap 分位数实施严格的拒绝域检验，在备择假设下借助泛函 Delta 方法提供达到半参数效率界的高效置信区间。

关键设计

1. 算子级去偏机制：克服标量 HSIC 的一阶退化

传统半参数推断试图直接对标量检验统计量 HSIC 进行去偏，但在独立性原假设下，真实互协方差算子 \(\Psi_0 = 0\)。标量泛函映射 \(T: \Psi \mapsto \|\Psi\|_{\mathcal{H}_{kl}}^2\) 在零点处的 Fréchet 导数恒为零，导致其标量 EIF 在原假设下彻底退化消失，无法抵消一阶段回归误差 \(m(W) - \widehat{m}(W)\) 引发的泰勒一阶漂移。本文的核心突破在于将去偏对象由标量提升为 \(\mathcal{H}_{kl} = \mathcal{H}_k \otimes \mathcal{H}_l\) 上的互协方差算子 \(\Psi(P) = \mathbb{E}_P[\widetilde{\varphi}_{k,P}(X) \otimes \widetilde{\varphi}_{l,P}(\xi_P(W,Y))]\)。通过对残差核特征映射展开一阶泰勒级数，精准识别出一阶偏置的核心来源，并推导出了 \(\mathcal{H}_{kl}\) 空间内的正则有效影响函数：

\[\phi_0(o) = \widetilde{\varphi}_{k,0}(x) \otimes \bigg[ \widetilde{\varphi}_{l,0}(\xi_0(w,y)) - \sum_{j=1}^{d_y} \xi_{0,j}(w,y) v_{0,j}(w) \bigg] - \Psi_0\]

该机制在取范数之前显式减去条件期望修正项 \(\xi_{0,j}(W,Y) v_{0,j}(W)\)，从根源上将第一阶段误差诱发的条件均值偏移彻底置零，使得剩余扰动退化为高阶无穷小。

2. 向量值核岭回归：平滑估计无穷维特征导数算子

在算子级 EIF 中，关键冗余参数包含了残差特征向量关于残差导数的条件期望：\(v_{0,j}(w) = \mathbb{E}_0[\partial_j \varphi_l(\xi_0(W,Y)) \mid W=w] \in \mathcal{H}_l\)。由于该冗余函数的值域是无穷维再生核希尔伯特空间 \(\mathcal{H}_l\)，传统的标量回归算法完全无法适用。本文引入可分离向量值核 \(Q(w_1, w_2) = q(w_1, w_2) \mathrm{Id}_{\mathcal{H}_l}\)，通过求解向量值核岭回归（vvKRR）显式获取其闭式表达：

\[\widehat{v}_j = \arg\min_{v \in \mathcal{H}_{ql}} \frac{2}{n} \sum_{i \in I_2} \| (\partial_j \varphi_l)(\widehat{\xi}_i) - v(w_i) \|_{\mathcal{H}_l}^2 + \lambda_{j,n} \|v\|_{\mathcal{H}_{ql}}^2\]

根据表示定理，\(\widehat{v}_j(w)\) 可表示为残差特征导数样本点的加权和。不仅如此，本文给出了内积层面的解析核技巧闭式展开，证明了只需评估标量核 \(k\)、\(l\) 及其一阶导数 \(\partial_{2,j} l\) 和混合二阶导数 \(\partial_{1,j} \partial_{2,r} l\)，即可完全闭式计算去偏算子范数，规避了直接显式构造无穷维特征的计算开销。

3. 双轨推断架构：反向三角不等式检验与 Delta 方法高效置信区间

在建立算子级估计器 \(\widehat{\Psi}_n\) 的渐近线性与弱收敛 \(\sqrt{n/2}(\widehat{\Psi}_n - \Psi_0) \rightsquigarrow \mathbb{H}\) 后，本文针对原假设与备择假设设计了互补的双轨推断结构。针对原假设检验，利用反向三角不等式 \(|\|\widehat{\Psi}_n\|_{\mathcal{H}_{kl}} - \|\Psi_0\|_{\mathcal{H}_{kl}}| \le \|\widehat{\Psi}_n - \Psi_0\|_{\mathcal{H}_{kl}}\)，在 \(\Psi_0=0\) 处该不等式严格取等，结合非参数 Bootstrap 估计的高斯极限定理分位数 \(\zeta_n\)，构造保守但严格受控的置信区间 \(\mathcal{I}_{\zeta_n}\) 并得出拒真率精准受控的检验；而针对 \(\Psi_0 \neq 0\) 的备择假设，基于泛函 Delta 方法证明了 \(\sqrt{n/2}(\|\widehat{\Psi}_n\|_{\mathcal{H}_{kl}}^2 - \|\Psi_0\|_{\mathcal{H}_{kl}}^2)\) 渐近服从正态分布，并达到了半参数效率界，据此构建具有最小渐近方差的高效紧致置信区间 \(\mathcal{I}_{\delta}^{1-\alpha}\)。

损失函数 / 训练策略

第一阶段非参数回归均值函数 \(\widehat{m}\) 采用标准核岭回归，在 Sobolev 平滑度假设下满足收敛速度；第二阶段向量值核估计器通过具有闭式解析解的核正则化经验风险极小化进行训练，采用 5 折交叉拟合（5-fold cross-fitting）策略消除样本依赖。检验水准标称设定为 \(\alpha=0.05\)。通过核参数的 Median 启发式准则自动选取高斯核带宽，并在交叉拟合各训练折内部通过交叉验证自适应确定岭回归正则化超参数 \(\lambda\)。

实验关键数据

主实验

论文在合成加性噪声模型 \(Y = m(X) + \sigma(X)Z\) 上对去偏反向三角不等式 Bootstrap 检验与传统置信区间覆盖率进行了全面评估。基准设置包含不同平滑度 \(s_m, s_\epsilon\) 及异质性强度 \(\rho\)。

异质性强度 \(\rho\)	样本量 \(n\)	本文反向三角置信区间覆盖率	标称水准 (1-\(\alpha\))	表现说明
\(\rho = 0.0\) (原假设)	\(n=250\)	0.930 (-0.050, +0.050)	0.950	严格校准，置信区间准确捕捉原假设
\(\rho = 0.0\) (原假设)	\(n=500\)	0.955 (-0.039, +0.039)	0.950	完美贴合标称 95% 水准，有效控制 Type I 错误
\(\rho = 0.0\) (原假设)	\(n=1000\)	0.916 (-0.053, +0.053)	0.950	渐近有效，置信区间界限精确
\(\rho = 0.1\) (微弱异质)	\(n=500\)	0.982 (-0.025, +0.018)	0.950	偏离原假设，三角不等式表现出天然保守性
\(\rho = 0.2\) (显著异质)	\(n=500\)	0.991 (-0.018, +0.009)	0.950	保守覆盖，拒真能力迅速增强
\(\rho \ge 0.3\) (强异质)	\(n=500\)	1.000 (-0.000, +0.000)	0.950	完全覆盖信号，检验功效达到 100%

在检验功效对比实验中，传统单次划分样本法在训练折占比为 20% 时检验水准严重膨胀至 15% 以上；而训练折占比达 80% 时检验水准虽校准，但备择假设下的功效比本文去偏检验低 30-50 个百分点。全样本交叉拟合置换检验由于忽略一阶估计偏置，在原假设下过度保守（显著低于 5% 水准），导致非零信号下的检出功效受到明显压制。

消融实验

论文在不同回归平滑度设置（\(s_m=1.0, s_\epsilon=0.75\)）下，对比了备择假设（\(\rho > 0\)）下去偏 Delta 方法置信区间与三角不等式区间的覆盖精度。

异质性强度 \(\rho\)	样本量 \(n\)	去偏 Delta 方法覆盖率	反向三角不等式覆盖率	对比结论
\(\rho = 0.1\)	\(n=500\)	0.973 (-0.037, +0.027)	0.982	Delta 方法区间宽度大幅缩窄且保持良好标称覆盖
\(\rho = 0.2\)	\(n=500\)	0.970 (-0.034, +0.030)	0.991	Delta 方法方差达到半参数效率界，区间更加紧致
\(\rho = 0.3\)	\(n=500\)	0.981 (-0.026, +0.019)	1.000	三角不等式过于保守（100%），Delta 方法更具信息量
\(\rho = 0.4\)	\(n=500\)	0.981 (-0.026, +0.019)	1.000	覆盖率紧贴标称置信水平
\(\rho = 0.5\)	\(n=500\)	0.963 (-0.036, +0.036)	1.000	渐近正态性充分发挥，估计精度极高

关键发现

• 传统样本分割方法面临无法兼顾的校准-功效权衡：小训练集偏置导致假阳性失控，大训练集减少测试样本导致漏报。
• 算子级一步去偏完全消除了对特定样本划分比例的依赖，使用交叉拟合即可在原假设下精确恢复 5% 的名义显著性水平。
• 在因果方向发现任务中，本文方法显著优于两向回归启发式残差检验，准确拒绝非因果反向关系的同时稳定接受真实因果方向。

亮点与洞察

• 提出「先算子去偏、后计算范数」的思想，巧妙避开了非参数统计中 U-统计量和标量 HSIC 在原假设下 EIF 恒为零的退化死结。
• 将无穷维向量值核岭回归（vvKRR）无缝融入半参数统计推断框架，并推导出了完全基于标量核导数评估的闭式计算形式。
• 建立了基于反向三角不等式（适于原假设检验）与泛函 Delta 方法（适于备择假设效率推断）的双轨推断理论，实现了拟合优度检验与信号强度估计的统一。

局限与展望

• 当前推断理论主要建立在渐近性质之上，缺乏有限样本条件下的非渐近误差界分析。
• 算子内积的计算复杂度随样本量呈二次方增长（\(O(n^2)\)），在大规模数据集上需要引入随机傅里叶特征（RFF）或 Nyström 快速低秩核近似技术。
• 当信号强度处于 \(\Psi_n \asymp n^{-1/2}\) 的局部备择漂移区时，Delta 方法的一阶项与二阶项处于同阶，需要进一步完善自适应判定诊断准则。

相关工作与启发

• vs Peters et al. (2013) ANM 独立性检验: 后者通过简单训练-测试分割拟合回归后直接运行置换 HSIC 检验，由于未对第一阶段机器学习估计误差去偏，在复杂非参数回归下存在显著假阳性或功效低下；本文提供了严谨的半参数算子级渐近无偏估计。
• vs Luedtke & Chung (2024) 希尔伯特值半参数推断: 后者确立了希尔伯特值参数路径可微性与一步估计的一般理论框架；本文针对残差检验中的非线性核复合结构推导出了具体的核算子 EIF，并攻克了二阶退化下的置信区间构造难题。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次提出希尔伯特空间核协方差算子级一步去偏理论，突破了标量 HSIC 在原假设下的退化难题。
• 实验充分度: ⭐⭐⭐⭐☆ 覆盖了加性噪声模型检验、协变量调整异质性推断与因果发现三大场景，包含深入的 QQ 正态校准与消融实验。
• 写作质量: ⭐⭐⭐⭐⭐ 测度论与算子代数数学推导极其严密，定理假设与直观动机阐述清晰透彻。
• 价值: ⭐⭐⭐⭐⭐ 为机器学习残差检验、因果发现和非均质性诊断提供了坚实的半参数推断统计理论基石。

相关论文

• [NeurIPS 2026] CRUMB: Efficient Prior Fitted Network Inference via Distributionally Matched Context Batching
• [NeurIPS 2026] A Unified Approach for Computing Wasserstein Barycenters of Discrete and Continuous Probability Measures
• [NeurIPS 2026] Colored Noise Diffusion Sampling
• [NeurIPS 2026] A Kernel Nonconformity Score for Multivariate Conformal Prediction
• [NeurIPS 2026] Near-Optimal Regret in Adversarial Kernel Bandits