Model-Agnostic FDR Control via Group Gaussian Mirror and Permutation SHAP¶
会议: NeurIPS 2026
arXiv: 2608.00989
论文: https://arxiv.org/abs/2608.00989
领域: 其他
关键词: 假发现率控制, 高斯镜像, 排列SHAP, 分组特征选择, 序列模型
一句话总结¶
针对序列与分组模型中一个原始特征对应多个滞后项或神经子特征导致单坐标推断失效的问题，本文提出基于矩阵扰动群高斯镜像与排列SHAP导数的模型无关FDR控制框架，实现了理论保证的分组特征精准选择与高检出力。
研究背景与动机¶
在现代高维特征选择中，控制假发现率（False Discovery Rate, FDR）对于筛选真正相关的输入变量、避免得出虚假科学结论具有不可替代的作用。从经典的 Benjamini-Hochberg（BH）过程、Knockoff 框架到高斯镜像（Gaussian Mirror）与数据分割（Data Splitting），现有方法多依赖于单坐标假设原型：即每一个输入特征仅对应一个标量权重或单维重要性得分，并针对单个坐标的原假设 \(H_{0,j}: \beta_j = 0\) 进行推断。高斯镜像方法因无需预先设定输入协变量的联合分布且统计检出力优异而受到广泛关注，但其推断机制本质上仍牢牢绑定在“一个特征对应一个权重”的范式上。
然而，在时序预测、循环网络与多通道注意力等序列或结构化场景中，这一抽象假设直接失效。例如在滞后时间序列模型中，原始特征在不同滞后阶数下拥有各自的权重向量，实际关心的科学问题绝非某个单一滞后项权重是否为零，而是该特征在整个滞后窗口内是否具备任何联合预测贡献，即分组原假设 \(H_{0,j}: \beta_{j,0} = \dots = \beta_{j,m-1} = 0\)。若直接将标量高斯镜像分别应用于每个子特征，推断目标会错配为并集坐标零假设；若采用拟合偏导数作为特征重要性，在子特征强共线性下极度震荡，更无法应对非线性黑盒网络中跨时间步与隐状态的多重交互。
针对分组零假设与复杂时序黑盒模型的双重阻碍，本文将高斯镜像理论从标量空间提升至矩阵扰动空间，并引入博弈论排列归因工具。核心 idea：在特征块级别引入满足块正交性与 RKHS 条件独立性的矩阵扰动构造群高斯镜像，结合排列 SHAP 导数捕获序列网络中分组子特征的平均协同边际效应，在无须假设协变量联合分布的前提下实现任意黑盒序列模型的分组 FDR 控制。
方法详解¶
整体框架¶
本文构建的框架覆盖线性分组模型与深度序列神经网络，贯穿“矩阵扰动镜像构造 \(\to\) 模型拟合与块重要性打分 \(\to\) 符号镜像统计量聚合 \(\to\) 镜像阈值截断”全流程。
对于输入设计矩阵 \(X = [X_1, \dots, X_p] \in \mathbb{R}^{n \times pm}\)（其中每个原始特征对应 \(m\) 维块 \(X_j \in \mathbb{R}^{n \times m}\)），框架首先为每个特征块注入矩阵化高斯噪声与摄动矩阵 \(G_j \in \mathbb{R}^{m \times m}\)，生成正负镜像分支 \(X_j^+\) 与 \(X_j^-\)。在线性设置下，\(G_j\) 取自残差块格拉姆矩阵的均方根以严格保证块正交性；在深度网络（如 LSTM、GRU、Transformer）中，\(G_j\) 则通过最小化再生核希尔伯特空间（RKHS）张量积交互范数进行凸优化求解。随后，模型在镜像增广数据上完成训练，提取块重要性向量——线性模型直接提取 OLS/GLS 拟合系数向量，序列神经网络则计算局部二次平滑的排列 SHAP 导数向量。最终利用正负重要性向量的内积符号与范数和构建关于零点严格对称的镜像统计量 \(M_j\)，通过镜像滤波阈值 \(\tau_q\) 精准筛选特征集合。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["分组时序输入<br/>X_j 包含 m 阶滞后/子特征块"] --> B["矩阵化群高斯镜像扰动<br/>生成正负对称镜像分支 X_j^+ 与 X_j^-"]
B --> C["RKHS条件独立性优化<br/>最小化张量积核相关性目标确定摄动矩阵 G_j"]
C --> D["模型无关排列SHAP导数<br/>计算子特征梯度并做局部二次平滑与时序平均"]
D --> E["块级符号镜像统计量聚合<br/>计算符号内积与范数和构造对零点对称统计量 M_j"]
E -->|自适应阈值截断| F["受控选出的关键特征子集 S_1"]关键设计¶
1. 矩阵化群高斯镜像扰动：打破标量限制实现块级完全正交
针对直接独立应用标量镜像导致零假设错配的问题，本文构建块级矩阵摄动 \(X_j^\pm = X_j \pm \widetilde{Z}_j G_j\)。其中对辅助独立高斯噪声块 \(Z_j \in \mathbb{R}^{n \times m}\) 施加关于去除该组后的设计矩阵 \(X_{-j}\) 及其残差块 \(R_j = M_{X_{-j}} X_j\) 的投影正交化，得到正交单位化噪声基 \(\widetilde{Z}_j\)。将摄动矩阵精确设为 \(G_j = (R_j^\top R_j)^{1/2}\)，使得残差镜像块 \(V_j^\pm = M_{X_{-j}} X_j^\pm = R_j \pm \widetilde{Z}_j G_j\) 满足严格的块交叉相消 \((V_j^+)^\top V_j^- = R_j^\top R_j - G_j^2 = 0_{m \times m}\)。由此在理论上保证零假设特征对应的正负拟合回归系数向量 \(\hat{\beta}_j^+\) 与 \(\hat{\beta}_j^-\) 在联合高斯分布下协方差严格为零、方差相等，为块级符号和镜像统计量的精确零对称性奠定了代数根基。
2. RKHS条件独立性优化：黑盒非线性网络中的无分布约束镜像标定
在非线性神经网络中，线性块正交性不足以保证镜像分支在给定其余特征时的独立性。本文将双镜像分支的条件独立性 \(U_j(G_j) \perp V_j(G_j) \mid W_j\)（其中 \(W_j = X_{-j}\)）映射至张量积再生核希尔伯特空间（RKHS），通过对对数密度分解提取包含双镜像交互的对立子空间似然比得分，导出可微的核矩阵准则函数。通过梯度下降以单位阵 \(I_m\) 为初值稳定优化摄动矩阵 \(\hat{G}_j\)，且在理论上严格证明：在线性核函数下该目标函数渐近等价于线性群高斯镜像的块正交 Frobenius 范数目标，打通了线性统计与黑盒深度网络之间的理论统一。
3. 模型无关排列SHAP导数：稳定解耦强相关滞后子特征的贡献归因
传统神经网络可解释性采用的一阶拟合输入偏导数在多重共线性滞后块下极易失真，且无法表征分组子特征的整体协同效应。本文提出排列 SHAP（Permutation SHAP）导数作为模型无关的重要性度量。通过在特征组间采样排列组合计算边际贡献期望 \(\Phi_j(x)\)，再对块内各个子特征 \(x_{j,k}\) 分别求偏导形成梯度向量 \(\psi_j(x) = \nabla_{X_j} \Phi_j(x)\)，并采用三次方核（Tricube Kernel）与局部二次平滑降低有限样本波动，最后在时序样本维度进行时间平均聚合 \(\hat{\psi}_j^\pm\)。在线性分组模型中，该 SHAP 导数退化即完全等价于回归真实系数向量 \(\beta_j\)；在黑盒网络中，该导数具备符号置换等变性（Swap-Equivariant），确保非相关特征的重要性估计严格围绕零点渐近对称。
4. 岭投影与两阶段两块筛分机制：高维时序下的对称性安全保障
当特征维度 \(pm > n\) 时，精确最小二乘残差算子失效，且 Group Lasso 的筛选事件在响应向量中呈现非多面体几何形态，导致传统的选择后推断失效。本文设计了双重机制以确保高维合法性：在线性模型中采用基于时间序列相依阻断的数据分割两阶段策略（Screen-then-Mirror），在第一块数据上通过 Group Lasso 进行确定性粗筛，在保留缓冲间隔的第二块独立数据上运行低维群高斯镜像，理论证明其完全继承零对称性；在深度网络中，引入无标签的线性岭投影算子 \(A_{j,\lambda}(X_j, W_j)\) 构建奇对称扰动基底，无须依赖严格正交即可满足对称安全（Symmetry-Safe）条件，彻底解决高维时序网络的维数灾难。
实验关键数据¶
主实验¶
论文在线性 AR 滞后分组设计与非线性深度序列模型（LSTM、GRU、Transformer 编码器）上开展了系统性数值模拟，并在真实时序水文因果发现基准 CausalRivers 上进行实证评测。模拟设置样本量 \(n=2500\)，分组尺寸 \(m=5\)，目标 FDR 水平设定为 \(q=0.1\)。主实验对比了群高斯镜像（GGM-OLS、GGM-GLS）、排列 SHAP 高斯镜像（PSGM）与偏 F 检验 BH 过程（Partial-F BH）、Group Lasso、自适应 Group Lasso（AGL）、注意力特征选择（AFS）及数据分割深度特征选择基线（Sawaya）。
| 场景 / 模型 | 维度与设定 | 评估指标 | 本文 (GGM/PSGM) | 次优基线 | 传统代表方法 (Group Lasso / AGL) |
|---|---|---|---|---|---|
| 线性 AR(1) 滞后 | \(pm=1500, \rho_w=0.5, \rho_b=0.1\) | FDR / Power | 0.020 / 1.000 | 0.053 / 1.000 (Partial-F BH) | 0.402 / 1.000 (Group Lasso) |
| 线性 AR(1) 滞后 | \(pm=3500, \rho_w=0.9, \rho_b=0.72\) | FDR / Power | 0.019 / 0.997 | 0.085 / 1.000 (Partial-F BH) | 0.455 / 0.992 (Group Lasso) |
| 序列 LSTM (高噪) | \(pm=1500, n=2500, \sigma_\varepsilon=1.0\) | FDR / Power | 0.161 / 0.879 | 0.448 / 0.007 (Sawaya) | 0.916 / 0.966 (AGL) |
| 序列 LSTM (低噪) | \(pm=1500, n=2500, \sigma_\varepsilon=0.3\) | FDR / Power | 0.145 / 0.958 | 0.276 / 0.029 (Sawaya) | 0.833 / 0.880 (AGL) |
| 序列 GRU (高噪) | \(pm=1500, n=2500, \sigma_\varepsilon=1.0\) | FDR / Power | 0.133 / 0.931 | 0.476 / 0.176 (Sawaya) | 0.837 / 0.899 (AGL) |
| 序列 GRU (低噪) | \(pm=1500, n=2500, \sigma_\varepsilon=0.3\) | FDR / Power | 0.162 / 0.979 | 0.600 / 0.203 (Sawaya) | 0.764 / 0.840 (AGL) |
| Transformer (高维低噪) | \(pm=3500, n=2500, \sigma_\varepsilon=0.3\) | FDR / Power | 0.283 / 0.900 | 0.432 / 0.619 (Sawaya) | 0.903 / 0.925 (AGL) |
| CausalRivers (真实水文) | 6 处目标站点平均真实响应 | Proxy-FDR / 预测 MSE | 0.576 / 0.333 | 0.616 / 0.332 (AFS) | 0.772 / 0.407 (AGL) |
| CausalRivers (半合成水文) | 已知真实因果上游图支撑 | 真实 FDR / Power | 0.258 / 0.897 | 0.320 / 0.452 (AFS) | 0.772 / 1.000 (AGL) |
消融实验¶
消融实验重点验证了重要性评估中“排列 SHAP 导数”相对于常规“输入拟合偏导数（Fitted Derivative）”的优越性，以及蒙特卡洛排列采样次数 \(M_n\) 对推断稳定性的影响。
| 模型与设定配置 | 评估指标 | 排列 SHAP 导数 (PSGM) | 输入拟合偏导数 (Fitted Derivative) | 结论与消融机制说明 |
|---|---|---|---|---|
| LSTM (\(pm=1500\), 弱信号 \(\sigma_\varepsilon=1.0\)) | FDR / Power | 0.161 / 0.879 | 0.213 / 0.842 | 拟合导数在滞后子特征强共线下失真，FDR 显著恶化 (+5.2%) |
| LSTM (\(pm=1500\), 强信号 \(\sigma_\varepsilon=0.3\)) | FDR / Power | 0.145 / 0.958 | 0.265 / 0.790 | 排列 SHAP 兼具博弈联盟边际效应，检出力大幅领先 16.8% |
| GRU (\(pm=1500\), 弱信号 \(\sigma_\varepsilon=1.0\)) | FDR / Power | 0.133 / 0.931 | 0.239 / 0.821 | SHAP 导数有效消除伪相关，FDR 降低 10.6% |
| GRU (\(pm=3500\), 强信号 \(\sigma_\varepsilon=0.3\)) | FDR / Power | 0.223 / 0.919 | 0.308 / 0.889 | 高维非线性长序列下拟合导数对称性遭到严重破坏 |
| Transformer (\(pm=1500\), 强信号) | FDR / Power | 0.116 / 0.887 | 0.232 / 0.893 | 拟合导数产生超一倍的伪发现，SHAP 导数保持可靠控制 |
| 采样抽数消融 (\(M_n=3 \to 316\)) | FDR / Power | 稳定维持在 0.12~0.18 / 0.81~0.95 窄幅区间 | — | 10 次排列抽取即足以支撑高精度估计，无需巨量计算开销 |
关键发现¶
- 在包含强自相关与特征间交叉相关的时序结构中，普通 Group Lasso 与 AGL 无法控制错误发现，其实际 FDR 高达 40% 至 95%，完全丧失统计有效性；而 GGM 与 PSGM 能在严苛的序列依赖下稳定守住目标名义水平。
- 排列 SHAP 导数相较于直接计算网络拟合梯度的消融优势显著：拟合梯度容易在高度平滑或非凸表面出现方向倾斜，导致非相关特征的符号对称性破缺；而经过局部二次平滑的排列 SHAP 导数兼具全局博弈边际贡献与局部灵敏度，使 FDR 平均降低 30%~50%，同时显著拉升检出力。
- 在 CausalRivers 真实河网因果挖掘实验中，PSGM 选出的上游特征使得未见测试集 MSE 达到 0.333，大幅领先全量特征模型（0.399），逼近仅含真实图连通上游的 Oracle 模型（0.345），证明了其在实际物理时序系统中过滤虚假关联的优越性。
亮点与洞察¶
- 首次将高斯镜像理论从一维坐标原假设扩展到具有矩阵扰动结构的分组原假设，推导出了低维与高维渐近零对称性的闭式充分条件与代数结构。
- 创新性地结合博弈论排列 SHAP 均值与输入空间导数，构建了模型无关的序列网络块重要性打分机制，严谨证明了其在线性场景退化为真实回归系数、在非线性黑盒下满足渐近符号对称性。
- 引入了基于 RKHS 张量积核的条件依赖度量优化摄动矩阵，成功将无分布假设（Distribution-Free）的高斯镜像优势原汁原味地嫁接到深度循环与自注意力模型中。
局限与展望¶
- 神经网络版本的零对称性理论依赖于拟合模型的泛化质量；若网络在极高噪声或有限数据下严重过拟合并记住伪相关模式，非相关特征的镜像统计量对称性可能受到扰动，导致 FDR 略微偏高（如高维强信号下升至约 0.28）。
- 计算开销随分组块尺寸 \(m\) 与特征总数 \(p\) 的增加而增长，尤其在深层 Transformer 上对全样本计算多轮排列 SHAP 及核矩阵梯度优化仍需较高 GPU 显存与算力。
- 未来工作可探索自适应早停核优化、轻量级 SHAP 替代方案，以及将该框架拓展到跨模态多视角因果推断与不规则非平稳连续时序中。
相关工作与启发¶
- vs Knockoff-based 系列 (Model-X / DeepPINK / DeepLINK-T): Knockoff 方法强依赖于预先精确获知或拟合协变量的联合分布 \(P_X\)，在高维非高斯序列中容易因模型误设导致不可逆的假发现爆炸；群高斯镜像与 PSGM 完全免除对协变量分布建模的苛刻依赖，更加稳健。
- vs 原生标量高斯镜像 (Gaussian Mirror / Neural Gaussian Mirror): 原版方法仅能针对单一权重进行独立假设检验，在面对时序滞后块或隐状态块时会割裂子特征间的强共线性；本文的块级矩阵扰动将推断目标与真实物理特征无缝对齐。
- vs 数据分割特征推断 (Sawaya Data-Splitting): 数据分割方法为了保留无偏性强行丢弃一半样本信息，在序列数据中小样本检出力断崖式暴跌（如在 LSTM 弱信号下检出力不足 1%）；PSGM 在全量样本上进行镜像重构与对称性聚合，在严格控制 FDR 的同时保持了极高的统计检出力。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出面向分组与序列原假设的矩阵群高斯镜像与排列SHAP导数统一推断理论。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖自回归线性、LSTM、GRU、Transformer、超高维数据及真实地理因果水文基准。
- 写作质量: ⭐⭐⭐⭐⭐ 理论推导严丝合缝，代数证明与核方法推导极其清晰自洽。
- 价值: ⭐⭐⭐⭐⭐ 为黑盒序列时序深度学习模型在金融、生物计算与工业传感中的可靠受控特征归因提供了坚实基石。