Training ML Models with Predictable Failures¶

会议: NeurIPS 2026
arXiv: 2605.15134
OpenReview: https://openreview.net/forum?id=nbRdWENRb8
领域: AI 安全
关键词: 极值理论, 部署安全评估, 尾部失效预测, 可预测性损失, 对抗鲁棒性

一句话总结¶

针对有限评测集难以观测到部署规模罕见灾难性失败的困境，本文推导了极值理论外推预测误差的有限样本分解，并提出直接优化预测误差的可预测性损失（forecastability loss），使模型在保持主任务能力与安全性的同时，失效率具备高度准确的可预测性。

研究背景与动机¶

在机器学习模型正式发布前的安全性评估中，最致命的潜在失效往往极其罕见，实际可行的测试集规模远远无法捕捉到这些极端样本。然而，一旦模型进入大规模实际部署，极小概率的灾难性事件几乎必然会暴露。传统做法通常借助极值理论（EVT）对评测集中表现最差的少数样本（Top-\(k\) 失效分数）进行参数拟合，并假设分布尾部满足 Gumbel 极大值吸引域，从而向外推断数个数量级部署规模下的最坏风险。然而，这种外推依赖于两大强假设：尾部在对数生存概率下渐近线性，以及评测集样本具有充分代表性。当实际分布包含评测阶段难以抽样到、但在部署规模下必然浮现的罕见高危攻击或危险模式时，外推模型将产生严重的低估，给安全发布带来极大隐患。

现有研究多将评估对象视为不可变黑盒，仅在算法端尝试改进外推拟合器或借助重要性采样，但后者不仅需要构造精准覆盖未见失败区域的倾斜分布，更往往需要产生大量真实失败代价。另一类分布鲁棒优化（DRO）与条件风险价值（CVaR）方法虽然聚焦于最坏情况，但它们最小化的是风险大小本身，而非塑造分布尾部的可预测形态——一个具有优良预测形态的模型并不必然等同于低风险模型，反之亦然。

本文跳出传统将“被测模型作为静态输入”的思维定势，提出了评估感知型训练的新视角：既然风险评分关于模型参数可微，那么尾部外推预测误差本身亦可微，我们完全可以通过微调主动塑造模型，使其在面对未知极端场景时展现出“形态良态且可被精确预测”的失败尾部。核心 idea：推导 Gumbel 尾部外推误差在有限样本阶数下的解析分解，分离出由模型决定的曲率项与模式占有率间隙，并构建可预测性损失与仅向改善方向传播的梯度掩码，在元多任务框架下微调模型以消除未见部署场景的预测失真。

方法详解¶

整体框架¶

本文针对 Jones 等人的 Gumbel 尾部外推方法，建立起从理论分解到端到端微调的完整体系。给定模型部署在分布 \(\mathcal{D}\) 上的任务集合，评测阶段仅可观测样本量较小的拟合集 \(\mathcal{F}\)（大小为 \(M\)），部署集为大规模任务集 \(\mathcal{D}_{\text{deploy}}\)（大小为 \(N \gg M\)）。每个任务 \(x\) 给出标量风险评分 \(f(x)\)。外推方法通过拟合集得分最高的 Top-\(k\) 个样本拟合普通最小二乘法（OLS）直线，向外预测任意对数生存深度 \(y_j\) 处的风险分位数 \(\widehat{Q}_\theta(y_j)\)。

方法的核心执行流包含：(1) 在理论层对最深外推阶数误差进行有限-\(k\) 分解，剖析秩效应、曲率效应与罕见模式缺失项；(2) 构造覆盖外推区间的多阶加权可预测性损失；(3) 引入“仅向改善方向更新”的梯度掩码防止模型通过摆烂/增加风险来讨好预测直线；(4) 构建包含并集缓存与每步随机划分的元多任务微调框架，使得微调后的模型在未见任务分布上依然保持极高外推精确度。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["任务池输入<br/>良态样本 + 罕见高危样本"] --> B["元多任务随机划分<br/>动态拆解拟合集与部署集"]
    B --> C["并集缓存与阶数选择<br/>Top-C 高风险候选集过滤"]
    C --> D["极值外推与误差分解<br/>OLS 对数生存拟合与有限-k 分析"]
    D --> E["可预测性损失计算<br/>对数均匀加权外推残差"]
    E --> F["双侧仅向改善梯度掩码<br/>过滤劣化方向，强制实质安全提升"]
    F --> G["优化更新与正则约束<br/>LoRA 微调 + 主任务能力保持"]

关键设计¶

1. 预测误差的有限-\(k\) 解析分解：解耦可训练分量与内生偏差

针对逆向 OLS 拟合器 \(\widehat{Q}^{\text{inv}}_{m,k}(N)\) 与真实部署最值 \(Y^\downarrow_{1:N}\) 之间的预测差距，在平滑分位数曲线假设下推导出精确的渐近展开式：

\[\widehat{Q}^{\text{inv}}_{m,k}(N) - Y^\downarrow_{1:N} = q_\theta'(y)\big(\mathcal{I}_r(T_m) - (r+W_N)\big) + \frac{q_\theta''(y)}{2}\big(D\mathcal{I}_r(T_m)[T_m^{\odot 2}] - (r+W_N)^2\big) + \mathcal{R}_{m,N}\]

在包含罕见高风险隐变量混合成分时，该式进一步扩展为 \(T_\theta + C_\theta - G_\theta + o_p(q_\theta'(y_M))\)。这一分解揭示了三大结构项：第一项是秩效应项 \(T_\theta\)，其归一化期望值 \(\mathbb{E}[\xi] > 0\) 仅取决于 \(k\) 和外推比例 \(R=N/M\)，与模型参数无关，证明了 Gumbel 外推在典型超参下天然倾向于过预测（对安全发布有利）；第二项是曲率项 \(C_\theta \propto -q_\theta''(y_M)\)，直接受失效率（hazard rate）调控，是模型内在几何特性的体现；第三项是模式占有率间隙 \(G_\theta = (R_{L_N} - B_{N-L_N})_+\)，专门刻画评测集未采到罕见高危模式但部署集真实暴露导致的严重欠预测。这精准锚定了微调时模型能够实质优化的目标，即消除非线性曲率与缩小罕见模式占有率跳变。

2. 对数均匀加权的可预测性损失：跨多部署尺度的连续校准

为使模型不仅在单一极端阶数下可预测，而是在超越拟合范围后的整个部署规模量级上均保持线性可外推，本文定义了跨越所有真实外推阶数 \(j \in J\) 的加权均方损失：

\[\mathcal{L}_{\text{forecast}}(\mathcal{F}, D; \theta) = \sum_{j \in J} w_j \big(\widehat{Q}_\theta(y_j) - Y_\theta^{(j)}\big)^2\]

其中权重 \(w_j\) 对应于部署规模的先验分布。若采用均匀先验则损失过度受最深极端值主导，而简单均匀阶数先验又偏向拟合边界；本文采用部署对数均匀先验（deploy-log-uniform），让超越评测集的每一个部署数量级（如 \(10\times, 100\times, 1000\times\)）对损失产生均等贡献，使得 OLS 外推直线对多尺度拓展皆具备强泛化鲁棒性。

3. 双侧仅向改善梯度掩码：将预测一致性与底层安全强绑定

朴素可预测性损失存在一个病态解：模型为了拉平外推线与部署极值的差距，最简单的方式是通过在原本低风险的拟合样本上故意增加风险（破坏安全性）来契合上凸预测线。为了杜绝这种以牺牲安全为代价的“伪可预测性”，本文设计了严格的改善掩码机制（improving-only gradient mask）： - 在部署端，仅当拟合外推线当前处于欠预测（即模型实际更危险、外推低估了风险）时才向模型反向传播梯度，逼迫模型主动压低该高危部署样本的真实风险分数； - 在拟合端，通过闭式导数推导解析计算各拟合样本分数 \(\psi_i\) 变动对损失的梯度 \(\frac{\partial\mathcal{L}_{\text{forecast}}}{\partial\psi_i}\)，利用 straight-through 算子仅保留 \(\frac{\partial\mathcal{L}}{\partial\psi_i} > 0\) 的部分（即梯度下降能同时减小风险评分的良性方向）。该机制确保了模型降低预测误差的唯一可行路径就是消除极端风险。

4. 基于并集拓扑缓存的元多任务动态划分：防止拟合-部署非对称记忆

在元微调任务池 \(\mathcal{U}\)（包含 \(M+N\) 个任务）上训练时，若保持拟合集 \(\mathcal{F}\) 与部署集 \(D\) 划分固定，优化器会迅速拟合出特定的“抬高特定拟合样本、压低特定部署样本”的非对称方向，导致在全新测试任务上外推泛化崩溃。为此，训练阶段在每个 step 对 \(\mathcal{U}\) 动态抽取全新的均匀随机划分 \((\mathcal{F}_t, D_t)\)。针对频繁全量重打分的高昂开销，方法构建了容量为 \(C \ge B' + M\) 的并集顶级缓存（Union Top-\(C\) Cache）：缓存全集得分最高的 \(C\) 个样本并周期性刷新。在超几何分布统计保证下，由于并集高风险样本在动态划分下的置换不变性，每步仅需对这 \(C\) 个关键样本带梯度反向重算，并配合发生概率极低的懒惰回退补查（lazy-fit fallback），极大摊薄了动态外推的计算成本。

损失函数 / 训练策略¶

总体训练目标结合了元任务可预测性损失与主任务能力锚定正则项：

\[\min_\theta \mathcal{L}_{\text{meta}}(\theta) + \lambda \mathcal{L}_{\text{reg}}(\theta)\]

在语言模型密码保护任务中，以 LoRA（\(r=8, \alpha=16\)）适配 Qwen3-0.6B，针对 Adversarial Jailbreak / GCG 攻击模式，正则项为对未微调基座模型的单 Token KL 散度（\(\lambda = 0.05\)）；
在多任务强化学习网格世界（Gridworld）中，策略网络采用受 FiLM 调制的轻量 U-Net，以封闭式倒退价值迭代计算精确期望悔值（Regret）作为风险分，正则项采用预训练任务集上的平均回报（\(\lambda = -1.5\)）；
优化采用 AdamW，学习率在 LM 上为 \(10^{-5}\)，RL 上为 \(10^{-4}\)，外推窗口均采用 \(k=10\) 与 Weibull 作图位置。

实验关键数据¶

主实验¶

实验在单 Token 密码泄露对抗攻防（Qwen3-0.6B）与多任务带陷阱网格导航（8x8 Gridworld）两个受控基准上展开，对比未经微调模型的后验仿射校准（Cal.）、传统全量监督微调（SFT）以及本文方法（Ours），并测试叠加校准后的复合增益。

在语言模型密码游戏（Qwen3-0.6B，10 独立随机种子，针对未见 Held-out 密码目标）上的主要评测指标如下表所示：

方法	预测均方误差提升倍数 (Worst-rank Fold)	最坏提示词泄漏概率降低幅度 (Decades)	WildChat KL 散度漂移 (×10⁻³)	主任务能力保持
Pretrained 基线	1.0× (基准)	0.0 decades	0.00 (基准)	完整保留
后验校准 (Cal.)	约 16×	0.0 decades	0.00 (无微调)	完整保留
监督微调 (SFT)	约 18×	约 40 decades	约 38.0	显著漂移
SFT + 校准	约 19×	约 40 decades	约 38.0	显著漂移
Ours (可预测性微调)	约 60×	约 40 decades	< 0.35	近乎无损
Ours + 校准	约 75×	约 40 decades	< 0.35	近乎无损

在多任务强化学习网格世界（30 独立随机种子，评测集拟合 96、部署 1920，罕见陷阱率约 \(1.54 \times 10^{-3}\)）上的核心指标表现如下：

方法	预测精度提升倍数 (1/MSE vs Base)	最坏情况部署悔值 (Worst Regret Ratio)	预训练回报改善倍数 (Mean Return Fold)
Pretrained 基线	1.0×	1.0× (无改善)	1.00×
后验校准 (Cal.)	6.0×	1.0× (无微调)	1.00×
监督微调 (SFT)	15.0×	1/2.6 (降至 38.5%)	1.18×
SFT + 校准	26.0×	1/2.6 (降至 38.5%)	1.18×
Ours (本文方法)	14.0×	1/3.5 (降至 28.6%)	1.27×
Ours + 校准	52.0×	1/3.5 (降至 28.6%)	1.27×

消融实验¶

基于附录中的机制拆解、梯度掩码设定以及任务划分方案在预测质量与安全性维度的对比分析：

训练配置 / 掩码范围	外推对数误差方差	最坏部署安全提升	分裂错配项 \(S_\theta\)	核心机理解释
完整模型 (双侧改善掩码 + 动态划分)	最优 (低误差)	大幅改善 (3.5-40× 阶)	\(\approx 0\)	消除非对称过拟合，逼迫压缩罕见模式高危尾部
无改善掩码 (Naive Loss)	较低 (预测吻合)	严重劣化 (故意泄露/踩陷阱)	\(\approx 0\)	模型通过提升拟合集良性样本风险来迁就外推线
拟合端单侧掩码 (Fit-only)	较高	无显著改善	显著存在	仅能调整拟合线倾角，无法压制部署集未见极值
固定划分 (无每步重排)	训练极低 / 测试极高	泛化极差	巨大	优化器陷入拟合-部署特定样本点记忆的非对称死胡同
仅良态任务微调 (Benign-only)	高 (欠预测加剧)	零改善	显著负向	仅压缩良性分布导致罕见模式占有率跳变 \(G_\theta\) 进一步拉大

关键发现¶

纯监督微调无法替代尾部形态塑造：SFT 虽然也能压低风险数值，但它缺乏让拟合线与部署极值相平直的优化压力，其外推误差提升在 20× 以内即遭遇瓶颈；而经过可预测性微调后，尾部对数生存曲线与线性高度契合，此时再叠加热身简单的双参数后验仿射校准，预测精度获得乘数级爆发（RL 上飙升至 52×）。
改善掩码实现了“安全与预测”的双赢耦合：在被禁止人为抬高低风险样本的前提下，降低外推欠预测的唯一解析导数路径便是直接削减部署极端样本的绝对风险，从而使最坏泄露概率呈指数级（40 多个数量级）骤降。
通用能力漂移极小：得益于微调梯度严格聚焦于分布尾部的极少数关键阶数点，模型未在主体语料上承受破坏性参数更新，WildChat 上的 KL 散度漂移相较于 SFT 降低了两个数量级以上。

亮点与洞察¶

从“评估黑盒模型”到“训练可被评估的模型”：以往研究均把极限风险评估视作下游统计学家的被动估计，本文突破性地将模型自身转变为“评估感知型”（Evaluation-Aware）的主动参与者，把极值理论预测误差作为可微目标驱动参数演化。
理论推导发现了外推偏差的内生安全保护倾向：有限样本展开证明了只要在标准超参配置下，即使尾部完全满足严格指数分布，OLS 预测器天然具有正向超额估计（\(\mathbb{E}[\xi] > 0\)）的内在倾向，这在安全工程上属于“有利于提前预警”的良性偏向。
巧妙的并集缓存化解动态划分的计算瓶颈：面对元学习频繁重排划分带来的重打分灾难，借助高阶统计量的排列不变性构建并集缓存，在保证严格置换不变性的同时，将 95% 以上步数的反向重计算开销压缩至局部子集。

局限与展望¶

实验尺度的受限性：核心结论建立在 Qwen3-0.6B/8B 单 Token 密码保护以及 8x8 网格世界上，在更大规模的前沿基础模型、长文本复杂推理及开放域越狱攻防中的外推有效性仍需进一步验证；
可微风险评分的假设依赖：RL 实验严重依赖于有限状态马尔可夫决策过程中的精确倒退价值迭代以获取封闭可微的悔值，在连续动作空间或黑盒仿真器（需依赖蒙特卡洛采样估计）中，梯度的方差控制仍是未决难题；
合成混合分布与真实长尾的差异：虽然真实数据（如 WildChat 分析）呈现出向左/向右的显著极端效应，但人工构造的“良性大类 + 罕见恶意”两组分混合仍相对理想化，自然演化的开放长尾失效模式更为错综复杂。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将极值理论外推误差转化为模型微调目标，开辟了评估感知型安全训练的新路径。
实验充分度: ⭐⭐⭐⭐☆ 包含严谨的有限样本理论证明、百万次模拟数值验证、LM与RL双领域验证及WildChat真实数据诊断，唯大模型规模仍偏轻量。
写作质量: ⭐⭐⭐⭐⭐ 数学展开严密扎实，结构推导层次分明，理论与算法设计的对应关系极具说服力。
价值: ⭐⭐⭐⭐⭐ 为超大规模模型发布前的罕见极端灾难性风险量化与防护提供了全新范式。