Adaptive Auditing of AI Systems with Anytime-Valid Guarantees¶

会议: NeurIPS 2026
arXiv: 2605.07002
代码: https://github.com/jjfenglab/safe-adaptive-testing
领域: 安全
关键词: 安全任意时间有效推断 (SAVI), e-过程, 适应性审计, 失败模式检测, 双重假设检验

一句话总结¶

本文针对生成式 AI 评估中样本极小且边测边选的适应性审计痛点，提出了基于安全任意时间有效推断（SAVI）与“通过下注检验”（Testing by Betting）的双重 e-过程检验框架，在任意停止规则下严格控制第一类错误，并证明了对一致性审计器而言双重检验渐近互补以提供全局稳健性认证。

研究背景与动机¶

现代生成式人工智能与智能体（Agent）系统在不同子群体或长尾输入模式下常常表现出极不规则的泛化能力断崖，即所谓的“锯齿状边界”（jagged frontier）。由于高质量的人工评测或多智能体评测成本高昂且耗时漫长，工业界与学术界在实践中普遍转向极小规模、强针对性的自适应测试（Adaptive Testing）套件（例如仅采集 10 到 50 个样本进行边界探查、红队对抗攻击或交互式调试）。测试人员在数据采集过程中根据过去的标注反馈实时决定下一个测试样本乃至何时终止测试。

然而，这种高度灵活的测试范式引发了根本性的统计推断危机。经典统计假设检验建立在预先指定的抽样方案（pre-specified sampling scheme）以及样本量趋于无穷的大样本渐近理论之上。若在边采样边窥探 p 值（p-hacking）的情况下应用传统推断工具，测试的第一类错误率（Type-I error）将被极度膨胀，在原假设下甚至会以概率 1 发生误拒。更深层的矛盾在于推断目标本身的模糊性：针对困难用例的伺机性自适应抽样，无法直接用来估计系统在全量分布上的平均损失，使得“测试未发现问题是否等于系统健壮”在数学上无法成立。

本文的切入角度是：将 AI 系统稳健性审计重构为模型视角与审计者视角的“博弈对决”，并依托安全任意时间有效推断（Safe Anytime-Valid Inference, SAVI）构建无偏财富累积过程。核心 idea：将自适应审计形式化为模型原假设与审计者原假设的双重假设检验，利用鞅论与下注博弈构造双重 e-过程（dual e-processes），在任意自适应采样和即时可选停止（optional stopping）下实现严格的有限样本 Type-I 错误控制，并在渐近一致审计器下证明两者的互补对偶性。

方法详解¶

整体框架¶

本文构建的自适应审计系统由“自适应审计策略（Auditor Strategy $\pi$）”、“模型原假设检验器（Model e-process $E_t^{\texttt{mod}}$）”和“审计者原假设检验器（Auditor e-process $E_t^{\texttt{aud}}$）”构成。

审计开始时，两类 e-过程初始化为 1。在每一轮时间步 $t$ 中，审计策略基于历史交互信息选择怀疑存在缺陷的子群体 $S_t^\pi$ 并从中抽取输入 $X_t$，经由 AI 评测获得系统得分 $Y_t$。模型检验器实时更新累积财富；一旦样本量达到预设探索预算 $m$（$t \ge m$），审计者检验器同步启动更新。只要任意一个 e-过程跨越阈值 $1/\alpha$，测试即刻安全终止并给出确定性结论。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入查询分布与审计预算 m"] --> B["双重假设形式化<br/>模型全称原假设 vs 审计者策略原假设"]
    B --> C["下注博弈与双重 e-过程构建<br/>LR / LR-UI / SR-LR / SR-LR-UI 财富积累"]
    C --> D["预算延迟审计者检验<br/>等待 t ≥ m 启动审计者原假设拒绝监测"]
    D --> E["双重随时有效停机判定<br/>Ville 不等式控制 FWER ≤ α"]
    E -->|Et_mod ≥ 1/α| F["检出失败模式：拒绝模型稳健性"]
    E -->|Et_aud ≥ 1/α| G["通过审计认证：在一致审计器下认证稳健"]
    E -->|未达阈值且达到最大样本| H["结论不确定（Inconclusive）"]

关键设计¶

1. 双重假设形式化：拆解非对称稳健性检验目标 在自适应审计中，复现一个缺陷用例即可证伪模型的全局稳健性，但通过一组测试用例却绝不能直接证明系统在未知分布上健壮。为将该非对称性纳入可检验框架，作者定义了两个对决的统计假设。设子群体集合 $\mathcal{S}_\epsilon = \{S \in \mathcal{F}: \mu(S) \ge \epsilon\}$，子群期望得分为 $V(S) = \mathbb{E}[Y \mid X \in S]$，目标合格阈值为 $q$。模型原假设 $H_0^{\texttt{mod}}$ 声明系统全域稳健： $$H_0^{\texttt{mod}}: \forall S \in \mathcal{S}_\epsilon, V(S) \ge q \quad \text{vs.} \quad H_1^{\texttt{mod}}: \exists S \in \mathcal{S}_\epsilon \text{ s.t. } V(S) < q$$ 与之对抗的审计者原假设 $H_0^{\texttt{aud},[m]}$ 则从审计者能力出发，声明审计者的自适应策略 $\pi$ 具备在预算 $m$ 步内收敛于失败模式的能力： $$H_0^{\texttt{aud},[m]}: \exists \tau \in [m], \text{ s.t. } \forall t \ge \tau, V(S_t^\pi) < q \quad \text{vs.} \quad H_1^{\texttt{aud},[m]}: \forall \tau \in [m], \exists t \ge \tau, \text{ s.t. } V(S_t^\pi) \ge q$$ 当审计者策略具备渐近一致性（Asymptotic Consistency，即只要全域存在失败模式，审计者选取的子群得分极限必低于 $q$）时，定理 1 严格证明了当 $m \to \infty$ 时，$\lim_{m\to\infty} H_1^{\texttt{aud},[m]} \iff H_0^{\texttt{mod}}$。这意味着在强大的红队审计者下，拒绝审计者原假设等价于给模型颁发全局稳健性证书。

2. 下注博弈与双重 e-过程构建：任意采样下的有限样本误差控制 由于评测人员在每一步的数据收集是高度条件依赖且随时可停的，传统似然比检验不再适用。作者引入安全任意时间有效推断（SAVI），将检验视为财富增长的博弈过程：构造关于自然域流 $\mathcal{F}_t$ 的非负检验超鞅（test supermartingale）$E_t$。在零假设成立时，超鞅的期望财富增长不大于 1。对于模型原假设，作者设计了四种逐步进阶的统计量：固定分离参数 $\delta$ 的普通似然比（LR）、利用通用推断（Universal Inference, UI）并借助在线指数加权平均预报器（EWAF）自适应学习备择分布参数 $\hat{\gamma}_{t-1}^{\texttt{mod}}$ 的 LR-UI，以及针对审计者存在前期探索延迟的 Shiryaev-Roberts 变点融合过程（SR-LR 与 SR-LR-UI）： $$E_t^{\text{SR-LR-UI},\texttt{mod}} = \sum_{j=1}^t w_j \prod_{k=j}^t \frac{p(Y_k; \hat{\gamma}_{k-1}^{\texttt{mod}})}{p(Y_k; q)}$$ 通过在所有可能的变点历史 $j$ 上分配先验权重 $w_j$，该统计量能够对冲审计者在探索初期的试错损耗，使得一旦锁定失败模式便能迅速积累财富。

3. 预算延迟审计者检验：规避提前下结论的不可识别性风险 对于审计者原假设 $H_0^{\texttt{aud},[m]}$，其内在结构是一个复合变点检验——原假设断言在 $m$ 步之内必定会出现性能滑坡且之后持续低于 $q$。定理 2 给出了一条核心不可能性定理：任何名义错误率为 $\alpha$ 的随时有效检验，在观测到第 $m$ 个样本之前（$t < m$），其检测功效不可能高于其第一类错误率 $\alpha$。这是因为在用尽预设探索预算 $m$ 之前，任何前期的良好表现都不能排除自适应审计者在第 $m$ 步瞬间攻破模型的可能。因此，作者设计了严格的预算延迟机制：在 $t < m$ 期间 $E_t^{\texttt{aud}} \equiv 1$；自 $t \ge m$ 起，启动监测检验统计量： $$E_t^{\text{LR-UI},\texttt{aud}} = \prod_{k=m}^t \frac{p(Y_k; \hat{\gamma}_{k-1}^{\texttt{aud}})}{p(Y_k; q)}$$ 当模型能够持续击败审计者的定向探测时，该似然比迅速膨胀，支持随时拒绝审计者原假设并宣告审计通过。

4. 双重随时有效停机判定：零代价的多重检验控制 在多重检验中，同时检验多个假说通常需要 Bonferroni 等校正手段以防范虚警膨胀。然而，定理 3 证明了双重审计框架具备天然的互斥性：在任意真实数据生成分布下，$H_0^{\texttt{mod}}$ 与 $H_0^{\texttt{aud},m}$ 至多只有一个为真（模型不可能既全域不低于 $q$ 又在 $t \ge m$ 上全域低于 $q$）。因此，整个检验过程无需任何错误率惩罚，对两端均设置阈值 $1/\alpha$ 即可保证全族错误率（FWER）严格不大于 $\alpha$： $$\mathbb{P}\left(\bigcup_{t \ge 1} \left\{E_t^{\texttt{mod}} \ge \frac{1}{\alpha}\right\} \cup \bigcup_{t \ge m} \left\{E_t^{\texttt{aud}} \ge \frac{1}{\alpha}\right\}\right) \le \alpha$$ 测试人员无需等待固定批次完成，任意时刻达到阈值即可停机，最大程度节省昂贵的标注算力与人力成本。

损失函数 / 训练策略¶

在该审计框架中，审计者（Auditor）自身包含在线学习器以持续逼近失败模式。实现中采用两级策略： 1. 子群选择器（Exploitation-Exploration）：将输入通过 SPECTER 模型提取文本嵌入，在线维护一个单隐层神经网络集成（隐层维度 $\in \{5, 10\}$，训练周期 $\in \{2, 4, 8, 16\}$）。审计者预测每个样本的得分，若存在预测均值低于 $q$ 且总体占比达到 $\epsilon=0.05$ 的子集，则贪心采样该子集；否则退回到基于 UCB 机制的探索模式，在预测下置信界（LCB）处于后 50% 的样本中进行探索。 2. 通用推断参数自适应（EWAF 算法）：对于 LR-UI 和 SR-LR-UI，备择概率空间离散化为网格 $\mathcal{Q}_1^{\texttt{mod}} = \{q_b \in (0, q): b \in [B]\}$，每一步根据观测到的对数似然比更新先验权重 $u_{t,b} \propto u_{t-1,b} \exp\left(\lambda \log \frac{p(Y_t; q_b)}{p(Y_t; q)}\right)$，动态生成下一时刻的最优下注概率。

实验关键数据¶

主实验¶

实验 1 基于 GPQA 科学问答基准（448 题，分化学、生物、物理及 4 个学历层次），以 $q=0.85, \epsilon=0.05, \alpha=0.05$ 模拟不同程度的退化模式（Large、Medium、Small、None）。下表展示了未标注数据池主动采样场景（Scenario a，100 次重复试验）下的检出率与判定样本量对比：

评估方法	审计策略	大退化 (Large) 检出率	中退化 (Med) 检出率	小退化 (Small) 检出率	无退化 (None) 认证通过率	平均停机样本数 (Large/Med)
SR-LR-UI (本文)	自适应在线神经网络	1.00	0.96	0.78	0.99	~24 / ~48
LR-UI (本文)	自适应在线神经网络	0.98	0.84	0.61	0.99	~35 / ~65
SR-LR (本文)	自适应在线神经网络	0.89	0.68	0.44	1.00	~42 / ~82
LR (本文)	自适应在线神经网络	0.88	0.66	0.42	1.00	~44 / ~85
LR (基线)	分层均匀采样 (Stratified)	0.38	0.19	0.09	0.98	>120 / >180
LR (基线)	预训练模型采样 (Pre-learned)	0.45	0.28	0.14	0.99	>110 / >165
LR (上限参考)	Oracle (完美已知失败子群)	1.00	1.00	0.94	1.00	~18 / ~32

实验 2 针对临床电子病历社会决定因素（SDoH）提取的真实大语言模型系统（81 份临床病历，28 个细分任务，共 2,268 个真实比对点，总体准确率 88%，在 11 个子类上低于目标阈值 $q=0.83$）。在 40 次独立模拟下各方法的表现如下表所示：

方法配置	审计策略类型	失败模式检出率 (Power)	误报通过率 (False Pass)	不确定比例 (Inconclusive)	平均判定样本数 (Median Steps)
SR-LR-UI (本文)	自适应 SPECTER+NN 集成	0.95	0.00	0.05	~38
LR-UI (本文)	自适应 SPECTER+NN 集成	0.82	0.00	0.18	~56
SR-LR (本文)	自适应 SPECTER+NN 集成	0.65	0.00	0.35	~84
LR (本文)	自适应 SPECTER+NN 集成	0.62	0.00	0.38	~90
LR (基线)	分层随机采样 (Stratified)	0.22	0.08	0.70	>250
LR (基线)	专家先验注入 (Informed Prior)	0.98	0.00	0.02	~28

消融实验¶

针对预设探索预算 $m$ 的取值敏感性，作者在 GPQA 基准上评估了 $m \in \{10, 40, 70\}$ 的影响：

预算参数配置	评估场景	大退化检出率 (Large)	中退化检出率 (Med)	无退化认证率 (None)	结论与机制分析
$m = 10$	Scenario (a) 未标注池	1.00	0.94	0.98	尽早开始检验审计者原假设，在弱审计者时更快终止
$m = 40$ (默认)	Scenario (a) 未标注池	1.00	0.96	0.99	兼顾自适应学习收敛期与早期发现效率
$m = 70$	Scenario (a) 未标注池	1.00	0.96	1.00	给予审计者充分探索时间，认证严格程度更高

关键发现¶

UI 与变点机制的双重增益：通用推断（UI）通过 EWAF 在线拟合真实退化幅度，大幅优于固定保守差值 $\delta$ 的经典 LR；引入 Shiryaev-Roberts 变点融合（SR-LR-UI）能够消除自适应集成在前期探索冷启动阶段的惩罚，使检出率比单纯 LR-UI 再提升 12–17 个百分点。
预设采样的虚假安全陷阱：经典的分层均匀或批量预训练采样在面对稀疏失败模式时检出率极低（常低于 30%），从而过早地触发了“通过审计”的判定。这证明弱审计策略极易沦为形式主义的安全幻象（Security Theater）。
极小样本判定的可行性：在真实医疗 SDoH 评测中，SR-LR-UI 平均仅消耗 38 个人工标注用例便能以严格受控的 95% 置信度捕获薄弱类别，相比传统离线方案节约了 80% 以上的昂贵专家标注量。

亮点与洞察¶

将“红队攻防”转化为“双重超鞅博弈”：巧妙地将机器学习系统中不可预测、动态变化的测试用例生成转化为统计学上的下注过程，绕开了传统推断对固定样本分布和固定抽样协议的苛刻假设。
预算延迟的不可行性证明（定理 2）：揭示了自适应审计中深层的认识论限制——在审计者用尽其预先声明的预算之前，任何试图判定“模型已通过审计”的即时检验必然失效（功效无法超越名义误拒率）。
零膨胀的对偶停机边界：由于系统要么存在缺陷、要么不存在缺陷，两项原假设不可能同时成立，因而完全免疫于多重比较校正带来的检验功效折损，赋予随时停机极致的数学优雅性。

局限与展望¶

审计者能力依赖性：尽管第一类错误率受有限样本严格保障，但能否给模型发放真正的全局健壮性通行证高度依赖审计者的搜索能力；面对极度复杂的生成空间，弱审计者给出的“通过”仅代表系统通过了当前水平的红队攻击。
生成空间与真实分布的概率漂移：在完全依赖大模型自动生成探针用例的场景下，生成器所诱导的样本空间与真实部署分布可能存在不可测的先验偏移，使得检出的“失误子群”在实际业务中的自然发生率难以精确标定为 $\ge \epsilon$。
离散连续扩展：当前实验重点落脚于离散二值评分，未来向大模型开放式文本相似度、多维对齐打分等连续测度的平滑推广值得进一步深入。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次为高度自适应、边测边停的黑盒红队审计建立随时有效的有限样本对偶假设检验理论]
实验充分性: ⭐⭐⭐⭐⭐ [覆盖科学问答半合成控制实验、真实临床 NLP 评测及鸟类图像分类，消融完备]
论文写作: ⭐⭐⭐⭐⭐ [逻辑层层递进，统计推导严密且紧扣大模型评估痛点，论证极具穿透力]
实用价值: ⭐⭐⭐⭐⭐ [直接适用于 LLM Evals 与自动化红队评估，百行代码即可大幅降低标注审计开销]

预算参数配置	评估场景	大退化检出率 (Large)	中退化检出率 (Med)	无退化认证率 (None)	结论与机制分析
\(m = 10\)	Scenario (a) 未标注池	1.00	0.94	0.98	尽早开始检验审计者原假设，在弱审计者时更快终止
\(m = 40\) (默认)	Scenario (a) 未标注池	1.00	0.96	0.99	兼顾自适应学习收敛期与早期发现效率
\(m = 70\)	Scenario (a) 未标注池	1.00	0.96	1.00	给予审计者充分探索时间，认证严格程度更高