Robust Importance Sampling for Rare Events via Constrained Gaussian Mixtures¶

会议: NeurIPS 2026
arXiv: 2610.07485
代码: https://github.com/lorek/robust-cfi-is
领域: 优化/理论
关键词: 稀有事件概率估计, 重要性采样, 高斯混合模型, 协方差下界约束, 覆盖优先初始化

一句话总结¶

针对极小失效概率估计中优化冷启动与提议分布方差爆炸的双重瓶颈，提出解耦“覆盖优先初始化”与“协方差严格下界约束高斯混合拟合”的两阶段重要性采样框架，从理论上保证估计器有限方差，并在多模态及高维物理/深度网络扰动基准上实现高达上万倍的方差缩减。

研究背景与动机¶

在可靠性工程、金融风险控制以及深度神经网络的鲁棒性评测等场景中，核心挑战之一是计算极小概率的罕见事件 $I = \mathbb{P}(g(\mathbf{X}) > \gamma)$，其中名义输入服从高斯分布 $\mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$。当目标失效概率处于 $10^{-6}$ 至 $10^{-3}$ 甚至更低区间时，朴素蒙特卡洛（Crude Monte Carlo, CMC）需要抽取与 $1/I$ 同量级的海量样本才能捕捉到有效事件，计算开销完全不可承受。为了将采样质量集中到失效域，学术界长期依赖重要性采样（Importance Sampling, IS）、自适应交叉熵（Cross-Entropy, CE）以及变分推断（Variational Inference, VI）等自适应提议分布方法。

然而，现有方法在面对真实复杂的极稀有事件时常常遭遇系统性溃败，其根源在于两道无法回避的机制性阻碍。第一是冷启动屏障：当失效概率极小时，从名义分布抽样几乎无法触及目标事件集合，导致无论基于前向 KL（FKL/CE）还是平滑门控的反向 KL（RKL/VI），梯度更新都因缺乏有效信号而停滞或发散。第二是方差失控与协方差坍缩病态：传统优化仅以最小化提议分布与零方差理论目标之间的 KL 散度为目标，但这完全不能约束提议分布尾部的衰减速度。论文通过理论证明揭示，未受约束的高斯或高斯混合优化会自然匹配条件分布的局部协方差，当事件阈值变大时，提议分布的协方差特征值会迅速衰减直至局部坍缩；此时提议分布的尾部比名义分布更薄，导致重要性权重二次矩的发散积分爆炸，产生极其危险的“无限方差估计器”。

为了从根本上消除冷启动与方差爆炸，本文明确将自适应采样拆分为“先建立空间覆盖、再执行精细拟合”的两阶段范式，并在提议分布族中引入显式的协方差下界几何约束。核心 idea：将稀有事件重要性采样解耦为无权重精英更新的覆盖优先初始化（CFI）与带有 $\boldsymbol{\Sigma}_k \succ \frac{1}{2}\boldsymbol{\Sigma}$ 协方差底线约束的高斯混合精炼（及可选归一化流），在彻底规避冷启动的同时从理论上根除有限方差失效病态。

方法详解¶

整体框架¶

本文提出的两阶段重要性采样管线整体分为覆盖探索、约束拟合与表达力扩展三个串行环节。首先，针对冷启动难题，设计覆盖优先初始化（Coverage-First Initializer, CFI）机制，利用分位数逐步推进中间阈值，以无加权的最大似然方式拟合精英样本，引导提议分布可靠地迁移并覆盖稀有事件区域，期间引入自适应退火防止早熟收敛；其次，以 CFI 提议作为采样基底，在严格施加分量协方差谱下界约束的高斯混合模型（GMM）参数空间中，通过重要性加权评估前向或反向 KL 散度目标并进行梯度更新，得到具备有限方差理论保证的安全提议分布；最后，以训练好的约束 GMM 为底分布，可选地叠加 RealNVP 等轻量归一化流进行深度几何形变精炼，进一步逼近复杂的非凸非规则失效边界。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：名义高斯分布 N(μ, Σ) 与极限状态函数 g(x) > γ"] --> B["覆盖优先初始化 (CFI)<br/>分位数推进中间阈值 + 无加权精英拟合"]
    B --> C["退火协方差底线调节<br/>停滞期暂降 β、目标达成后恢复 β = 0.5"]
    C --> D["构建覆盖提议 p_CFI 确保失效域有效重叠"]
    D --> E["约束高斯混合精炼 (FKL-c / RKL-c)<br/>施加协方差下界 Σ_k ≻ 1/2 Σ"]
    E --> F["输出具有有限方差理论保证的提议分布 p_KL"]
    F -->|可选几何形变增强| G["归一化流精炼 (+F)<br/>RealNVP 以 p_KL 为基分布学习非线性形变"]
    F -->|直接使用| H["重要性采样估计器计算 I_hat 与方差评估"]
    G --> H

关键设计¶

1. 覆盖优先初始化（CFI）：通过无加权精英拟合突破冷启动障碍

标准自适应交叉熵在迭代推进中间阈值时，需要计算当前提议相对于名义分布的似然比权重 $f(\mathbf{X}_i) / p_{\boldsymbol{\theta}_{t-1}}(\mathbf{X}_i)$。但在极端稀有或高维空间中，提议分布稍有偏移就会导致似然比极度发散或退化，使得参数估计极不稳定甚至直接崩溃。CFI 针对这一痛点，彻底摒弃了自适应推进阶段的似然比加权机制。在每一轮迭代 $t$ 中，算法从当前提议 $p_{\boldsymbol{\theta}_{t-1}}$ 抽取 $M$ 个样本并计算响应值 $\eta_i = g(\mathbf{X}_i)$，按升序排序后选取经验 $(1-\rho)$ 分位数作为新的中间阈值 $\gamma_t = \eta_{(\lceil(1-\rho)M\rceil)}$。随后，CFI 仅对满足 $g(\mathbf{X}_i) \ge \gamma_t$ 的“精英样本”执行纯粹的最大似然拟合： $$\boldsymbol{\theta}_t' = \arg\max_{\boldsymbol{\theta}} \frac{1}{M} \sum_{i=1}^M \mathbb{I}(g(\mathbf{X}_i) \ge \gamma_t) \log p_{\boldsymbol{\theta}}(\mathbf{X}_i)$$ 参数更新引入动量平滑 $\boldsymbol{\theta}_t = \alpha \boldsymbol{\theta}_t' + (1-\alpha) \boldsymbol{\theta}_{t-1}$。为防止多模态搜索中过早出现局部收敛或梯度停滞，CFI 针对约束模型配备了自适应 $\beta$ 退火策略：当连续若干步中间阈值推进停滞时，动态降低协方差下界参数 $\beta$ 赋予模型更高的局部搜索自由度；一旦检测到收敛推进恢复，逐步将 $\beta$ 拉回 $0.5$。当阈值达到目标 $\gamma$ 后，模型在 $\beta = 0.5$ 下执行最终拟合，输出确保失效域重叠率达到 $1-\rho$ 的稳健初值 $p_{\text{CFI}}$。

2. 协方差正定下界约束：以理论保证杜绝提议分布方差爆炸

为什么单纯优化 KL 散度依然无法获得安全的重要性采样器？论文在 Proposition 1 中给出了严格的数学刻画：对于名义高斯分布 $\mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$，最小化前向 KL 散度等价于拟合失效条件分布 $\mathcal{L}(\mathbf{X} \mid g(\mathbf{X}) > \gamma)$，其最优参数必定精确匹配条件均值与条件协方差 $\boldsymbol{\Sigma}_{\text{opt}} = \operatorname{Cov}(\mathbf{X} \mid g(\mathbf{X}) > \gamma)$。然而在稀有事件区，随着阈值 $\gamma \to \infty$，失效域往往收缩到几何主导点或低维子空间切面上，导致条件协方差的最小特征值趋近于零 $\lambda_{\min}(\boldsymbol{\Sigma}_{\text{opt}}) \to 0$。这种协方差坍缩使得提议分布的尾部严重变薄，重要性采样权重平方的数学期望 $\int_{\{g(\mathbf{x})>\gamma\}} \frac{f(\mathbf{x})^2}{p(\mathbf{x})} d\mathbf{x}$ 发生发散，从而导致估计器方差变为无穷大。

为从机理上解决此病态，论文提出了多维高斯混合模型（GMM）下的有限方差充分条件（Theorem 1）：设名义密度为 $f(\mathbf{x}) = \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}, \boldsymbol{\Sigma})$，提议分布为 GMM $p(\mathbf{x}) = \sum_k \pi_k \mathcal{N}(\mathbf{x} \mid \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$。若对所有混合分量 $k$ 均满足严格的正定谱偏序约束： $$\boldsymbol{\Sigma}_k \succ \frac{1}{2} \boldsymbol{\Sigma}$$ 则重要性采样估计器 $\hat{I}_R^{\text{IS}} = \frac{1}{R} \sum_{i=1}^R \mathbb{I}(g(\mathbf{X}_i) > \gamma) \frac{f(\mathbf{X}_i)}{p(\mathbf{X}_i)}$ 的方差严格有限。在工程实现上，论文通过重参数化显式构造该约束：令每个分量的协方差表示为自由下三角矩阵 Cholesky 分解项与名义协方差底线之和，即 $\boldsymbol{\Sigma}_k = \mathbf{L}_k \mathbf{L}_k^\top + \beta \boldsymbol{\Sigma}$。当固定 $\beta = 0.5$ 且保证数值上 $\mathbf{L}_k \mathbf{L}_k^\top \succ 0$ 时，任何可导优化算法都无法穿透此安全底线，使最终提议天生免疫于协方差坍缩。

3. 约束提议下的 KL 散度精炼与归一化流扩展：平衡理论安全性与几何拟合表达力

在获得覆盖提议 $p_{\text{CFI}}$ 后，算法进一步利用目标函数优化提议分布参数以降低估计方差。论文推导了基于重要性重采样的约束优化目标，避免了名义分布无法采样的困难。对于约束前向 KL（FKL-c），以 $p_{\text{CFI}}$ 为采样器优化： $$\max_{\boldsymbol{\theta}} \mathbb{E}_{\mathbf{X} \sim p_{\text{CFI}}} \left[ \mathbb{I}(g(\mathbf{X}) > \gamma) \frac{f(\mathbf{X})}{p_{\text{CFI}}(\mathbf{X})} \log p_{\boldsymbol{\theta}}(\mathbf{X}) \right]$$ 对于约束反向 KL（RKL-c），为克服硬指示函数不可导的问题，引入基于 Logistic 变换的自适应平滑门控 $s_\tau(g(\mathbf{x}), \gamma) = \sigma((g(\mathbf{x})-\gamma)/\tau)$，其中温度系数通过当前采样响应的标准差自动自适应确定 $\tau_t = c \cdot \operatorname{Std}(g(\mathbf{X}) - \gamma)$，由此导出平滑变分下界： $$\max_{\boldsymbol{\theta}} \mathbb{E}_{\mathbf{X} \sim p_{\text{CFI}}} \left[ \frac{p_{\boldsymbol{\theta}}(\mathbf{X})}{p_{\text{CFI}}(\mathbf{X})} \left( \log s_\tau(g(\mathbf{X}), \gamma) - \log \frac{p_{\boldsymbol{\theta}}(\mathbf{X})}{f(\mathbf{X})} \right) \right]$$ 当失效边界呈现高度弯曲或分离结构时，混合高斯的超椭球面拟合能力可能面临上限。为此，论文引入基于 RealNVP 的仿射耦合归一化流作为可选精炼环节（+F），以训练完成的约束 GMM 为底分布 $p_{\mathbf{Z}} = p^{\text{KL}}$，通过多层可逆坐标变换学习复杂的几何翘曲。虽然加入归一化流后超出了定理 1 的解析证明范围，但由于流变换是以强稳健的约束 GMM 为基底进行微调，实验表明其在维持极高稳定性的同时能进一步斩获显著的方差削减。

一个完整示例¶

考虑经典的二维双模态“树叶”非线性极限状态函数 $g_1(\mathbf{X})$（名义分布为标准正态分布 $\mathbf{X} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$，失效阈值 $\gamma = 0$，真实概率约为 $4.79 \times 10^{-6}$，存在两个完全对称的分离失效模态）： 1. 初始化阶段：设置分量数 $K=2$ 的 GMM，初始均值置于原点，协方差初始化为名义协方差。 2. CFI 覆盖推进：在 $t=1$ 时抽取 $M=2000$ 个样本，计算所有响应值并取 90% 分位数（$\rho=0.1$），得到第一个中间阈值 $\gamma_1 < 0$；筛选出超过该阈值的 200 个精英样本，直接进行 GMM 最大似然拟合。随着 $t$ 逐步推进，两个高斯分量在无权重干扰下自发分离并分别向两个对称失效模态迁移。在此期间若遭遇停滞，$\beta$ 从 0.5 短暂下调至 0.2，待跨过鞍点后重新拉回 0.5。最终当 $\gamma_t \ge 0$ 时，输出覆盖分布 $p_{\text{CFI}}$。 3. 约束精炼阶段：从 $p_{\text{CFI}}$ 抽样计算重要性权重与梯度，在 $\boldsymbol{\Sigma}_k = \mathbf{L}_k \mathbf{L}_k^\top + 0.5 \mathbf{I}$ 约束下执行 FKL-c 更新。两个高斯分量准确锁定两个对称失效核，且特征值严格不小于 0.5。 4. 最终估算：使用训练完成的提议分布抽取 $R=10^5$ 个样本，计算重要性权重均值，得到高精度估计值 $\hat{I}_R = 4.80 \times 10^{-6}$，变异系数仅为 $7.24 \times 10^{-3}$，相比朴素蒙特卡洛实现了超过 $1.8 \times 10^5$ 倍的方差缩减。

损失函数 / 训练策略¶

CFI 阶段更新：无似然比权重的精英最大似然损失，通过指数滑动平均（EMA）平滑模型参数（对协方差矩阵仅平滑自由 Cholesky 项 $\mathbf{S}_k = \mathbf{L}_k \mathbf{L}_k^\top$，确保底线不受侵蚀）。
FKL-c 与 RKL-c 梯度优化：采用 Adam 优化器，学习率设为 $10^{-3} \sim 10^{-2}$。对于 RKL-c，梯度中包含基于对数导数机制（REINFORCE）并配有动量基线控制变量 $b_t$ 以降低梯度估计方差。
自适应平滑调度：反向 KL 中的门控温度自适应设为 $\tau_t = \text{clip}(c \cdot \operatorname{Std}(g(\mathbf{X})-\gamma), \tau_{\min}, \tau_{\max})$，消除了人工调参敏感性。

实验关键数据¶

主实验¶

实验在 7 个具有代表性的罕见事件基准上进行评测，涵盖低维非凸双模态/径向边界（$g_1, g_2, g_3$）、40维 Powell 非凸优化（$g_5$）、100维超高维线性可靠性（$g_6$）、62维 ResNet-18 深度网络扰动鲁棒性评测（$g_7$）以及10维金融对数正态资产组合尾部风险（$g_{10}$）。评估预算固定为 $R=10^5$ 次模拟采样，统计 20 次独立评估运行的均值、变异系数（CoV）与对数误差（log-err）。

基准问题	维度 $d$	真实失效概率 $I_{\text{true}}$	最优对比基线 (方法 / CoV)	本文有理论保证方法 (FKL/RKL-c) CoV	本文完整方案 (+F) CoV	方差缩减倍数 (vs CMC)
$g_1$ (Leaf, 双模态)	2	$4.79 \times 10^{-6}$	CMC / 3.92e-3 (log-err: 1.43)	CFI-c+RKL-c / 7.24e-3	CFI-c+FKL-c+F / 3.92e-3	$7.51 \times 10^5$
$g_2$ (Radial, 结构)	2	$2.23 \times 10^{-3}$	CMC / 2.46e-3 (log-err: 4.14e-2)	CFI-c+FKL-c / 4.85e-3	CFI-c+RKL-c+F / 1.86e-3	$1.29 \times 10^3$
$g_3$ (Anisotropic)	2	$4.21 \times 10^{-3}$	CMC / 3.31e-3 (log-err: 4.25e-2)	CFI-c+FKL-c / 4.35e-3	CFI-c+FKL-c+F / 3.31e-3	$2.07 \times 10^2$
$g_5$ (Powell 非凸)	40	$3.15 \times 10^{-5}$	fRKL-c / 3.19e-2	CFI-c+RKL-c / 4.30e-2	CFI-c+RKL-c+F / 2.99e-2	$3.15 \times 10^2$
$g_6$ (High-dim 线性)	100	$2.33 \times 10^{-4}$	fRKL-c / 6.08e-3	CFI-c+RKL-c / 6.12e-3	CFI-c+RKL-c+F / 5.43e-3	$1.42 \times 10^3$
$g_7$ (ResNet-18 扰动)	62	$6.00 \times 10^{-5}$	fRKL-c / 8.88e-3	CFI-c+RKL-c / 6.80e-3	CFI-c+RKL-c+F / 6.24e-3	$3.97 \times 10^3$
$g_{10}$ (Lognormal 资产)	10	$4.68 \times 10^{-4}$	fFKL-c / 6.01e-3	CFI-c+FKL-c / 6.80e-3	CFI-c+FKL-c+F / 6.22e-3	$4.02 \times 10^2$

消融实验¶

消融实验聚焦于探究未受约束提议的溃败机制，以及本文各组件在维持鲁棒性中的作用。下表展示了一维典型反例（$X \sim \mathcal{N}(0, 1), \mathbb{P}(|X|>4)$，真实值 $6.33 \times 10^{-5}$）的定量结果，以及在所有 7 个主要基准中 20 次评估运行的失败次数对比（估计值为 0 或非有限即视作失败）。

方法配置	定理1保证 (FG)	1D Toy 估计值	1D Toy 方差缩减比	1D Toy CoV	7大基准失败总次数 (20次评估/基准)	核心状态说明
Crude Monte Carlo (CMC)	否	6.55e-05	1.00	4.06e-01	17 / 140	极稀有区域多次抽样 0 命中
fRKL-u (无约束反向 KL)	否	6.30e-05	2.96e+02	2.37e-02	频发数值崩溃	协方差无约束导致局部过拟合
fFKL-u (无约束前向 KL)	否	0.00	崩溃 (✗)	崩溃 (✗)	频发数值崩溃	方差坍缩小于 0.5 导致积分发散
CFI-u (无约束覆盖初始化)	否	0.00	崩溃 (✗)	崩溃 (✗)	99 / 140	极度不稳定，高维全军覆没
fRKL-d (Hesterberg 防御式 IS)	否	4.77e-06 ($g_1$)	1.73e+03 ($g_1$)	7.53e-02 ($g_1$)	0 / 20	依赖固定名义基底，方差缩减有限
CFI-c (本文约束覆盖初始化)	是	6.34e-05	2.94e+03	7.44e-03	0 / 140	稳定突破冷启动，方差受控
CFI-c + FKL-c (本文完整约束)	是	6.33e-05	5.56e+03	5.42e-03	0 / 140	理论保证有限方差，指标高度平稳
CFI-c + FKL-c + F (流增强)	否	6.34e-05	5.81e+03	5.29e-03	0 / 140	经验性能最优，方差进一步压缩

关键发现¶

协方差约束是生死线而非锦上添花：无约束的基线方法（如 CFI-u）在 7 个基准测试中累计失败 99 次，在多模态（$g_1$）及高维（$g_6, g_7$）任务中 20 次运行全部失败（估计值为 0 或 NaN）。理论推导的 1D 反例证实，未约束优化的方差 $\sigma^2$ 会收敛到 0.0467（FKL）和 0.4306（RKL），均跌破有限方差阈值 0.5，数学上证明了无限方差的存在。施加 $\boldsymbol{\Sigma}_k \succ \frac{1}{2}\boldsymbol{\Sigma}$ 约束后，所有基准上的失败率均彻底归零。
两阶段解耦消除了梯度盲目搜索：单纯使用多重梯度上升重启来寻找失效模态在多模态或无界逃逸函数上会系统性丢失模式或发散；CFI 依靠分位数驱动与无似然比权重的精英拟合，以极小的计算开销建立了全面的失效域覆盖，使后续 KL 优化从一开始就具备强监督信号。
优于传统防御式重要性采样：与 Hesterberg 经典的防御式混合采样（fRKL-d，在提议中混合比例 $\lambda$ 的固定名义分布）相比，本文方法在 $g_1$ 上的方差缩减倍数高出 17 倍（$2.95 \times 10^4$ vs $1.73 \times 10^3$），变异系数降低 76%。这表明在所有可学习高斯分量上统一施加尾部谱约束，远比机械掺入不相关的名义分布更具采样效率。

亮点与洞察¶

将经典单高斯半方差临界条件拓展至任意维高斯混合模型：将一维与各向同性高斯的重要性质推导为通用的矩阵谱偏序约束定理 $\boldsymbol{\Sigma}_k \succ \frac{1}{2}\boldsymbol{\Sigma}$，并通过 Cholesky 自由项加底线矩阵的参数化技巧，使理论安全约束能够无缝嵌入现代反向传播优化框架。
冷启动与拟合阶段的解耦智慧：自适应交叉熵在极早期样本匮乏时极易被不稳定的似然比权重“带偏”，CFI 巧妙地在初期关闭似然比加权仅做纯分位数精英覆盖，后期再接入精确的加权变分目标，极大降低了极端稀有事件下的算法脆弱性。
兼顾理论可证性与实用表达力：在保持可证有限方差的高斯混合主干同时，允许外接 RealNVP 归一化流进行经验精炼，在保证数值稳定性的前提下大幅增强对非凸复杂几何流形的表达能力。

局限与展望¶

名义分布假设的局限：目前的有限方差定理严格依赖于名义分布为高斯分布的假设；对于非高斯、重尾或离散名义分布，保证有限方差所需的协方差或尾部充要条件尚需重新进行专门的测度论与渐近尾部分析。
全协方差高斯混合的参数复杂度：全协方差 GMM 在高维下每个分量包含 $\mathcal{O}(d^2)$ 个参数，当维度极大（如 $d > 1000$）且样本预算受限时，参数估计的样本复杂度仍然偏高，未来可探索因子分析（Factor Analysis）或块对角低秩协方差底线约束。
流增强的理论断层：叠加热力学/流模型（+F）虽然在实验中表现极其稳健且方差极小，但其概率密度变换后的雅可比行列式打破了高斯二次型的尾部衰减结构，目前尚缺乏对“流形变后提议”有限方差的严格数学证明。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次将多维 GMM 协方差下界定理与分位数覆盖初始化结合，系统性攻克稀有事件 IS 方差爆炸问题]
实验充分度: ⭐⭐⭐⭐⭐ [评测涵盖解析玩具、多模态、超高维、非凸优化及 62 维 ResNet 扰动网络，包含 20 独立种子失败率审计及消融验证]
写作质量: ⭐⭐⭐⭐⭐ [数学推导严密自洽，从 Proposition 1 动机到 Theorem 1 证明逻辑链极度清晰，图表完备详实]
价值: ⭐⭐⭐⭐⭐ [为工程可靠性仿真、金融尾部风控与大模型极端对抗扰动评测提供了极具工业实用价值且数学安全的基石工具]

基准问题	维度 \(d\)	真实失效概率 \(I_{\text{true}}\)	最优对比基线 (方法 / CoV)	本文有理论保证方法 (FKL/RKL-c) CoV	本文完整方案 (+F) CoV	方差缩减倍数 (vs CMC)
\(g_1\) (Leaf, 双模态)	2	\(4.79 \times 10^{-6}\)	CMC / 3.92e-3 (log-err: 1.43)	CFI-c+RKL-c / 7.24e-3	CFI-c+FKL-c+F / 3.92e-3	\(7.51 \times 10^5\)
\(g_2\) (Radial, 结构)	2	\(2.23 \times 10^{-3}\)	CMC / 2.46e-3 (log-err: 4.14e-2)	CFI-c+FKL-c / 4.85e-3	CFI-c+RKL-c+F / 1.86e-3	\(1.29 \times 10^3\)
\(g_3\) (Anisotropic)	2	\(4.21 \times 10^{-3}\)	CMC / 3.31e-3 (log-err: 4.25e-2)	CFI-c+FKL-c / 4.35e-3	CFI-c+FKL-c+F / 3.31e-3	\(2.07 \times 10^2\)
\(g_5\) (Powell 非凸)	40	\(3.15 \times 10^{-5}\)	fRKL-c / 3.19e-2	CFI-c+RKL-c / 4.30e-2	CFI-c+RKL-c+F / 2.99e-2	\(3.15 \times 10^2\)
\(g_6\) (High-dim 线性)	100	\(2.33 \times 10^{-4}\)	fRKL-c / 6.08e-3	CFI-c+RKL-c / 6.12e-3	CFI-c+RKL-c+F / 5.43e-3	\(1.42 \times 10^3\)
\(g_7\) (ResNet-18 扰动)	62	\(6.00 \times 10^{-5}\)	fRKL-c / 8.88e-3	CFI-c+RKL-c / 6.80e-3	CFI-c+RKL-c+F / 6.24e-3	\(3.97 \times 10^3\)
\(g_{10}\) (Lognormal 资产)	10	\(4.68 \times 10^{-4}\)	fFKL-c / 6.01e-3	CFI-c+FKL-c / 6.80e-3	CFI-c+FKL-c+F / 6.22e-3	\(4.02 \times 10^2\)