Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy¶

会议: NeurIPS 2026
arXiv: 2605.01632
OpenReview: https://openreview.net/forum?id=vfloLQFqoN
代码: https://github.com/EtherealEq/perturb-and-correct
领域: 其他
关键词: 认知不确定性, 后验集成, 仿射冗余, 分布外检测, 最小二乘校正

一句话总结¶

针对单模型在分布外表征失效且传统深度集成训练成本高昂的困境，提出“扰动与校正”（P&C）框架，通过在隐藏层引入随机低秩扰动并在后续仿射层利用校准集求解岭回归补偿，以极低的后验构建开销实现分布内性能保持与分布外有效分歧。

研究背景与动机¶

现代深度神经网络具有高度过参数化的特征，许多截然不同的参数配置在训练分布内可以展现出近乎无差别的预测性能。这种灵活性支撑了现代一阶优化的高效收敛与双重下降等泛化现象，但同时也带来了严重的欠规范化（underspecification）问题：仅靠分布内（In-Distribution, ID）的经验风险最小化，无法唯一约束模型在数据支撑区之外的行为。当模型部署在具有分布偏移（Out-of-Distribution, OOD）的真实场景中时，这些在训练集上表现一致的模型往往会产生巨大且不可预测的预测分歧，因而认知不确定性（epistemic uncertainty）估计与 OOD 检测成为了可靠部署的关键前提。

传统解决认知不确定性的黄金准则通常是深度集成（Deep Ensembles），但独立训练多个全参数模型的计算与显存开销极大，难以扩展到大规模网络或需要动态构建多样化成员的场景；而后验贝叶斯近似方法（如 Laplace 近似、SWAG、子空间推断或线性化子网络）通常需要对参数空间施加复杂的先验或沿 SGD 优化轨迹采样，计算依然沉重且往往受限于局部的切空间线性化假设。

面对这一困境，本文提出了一个截然不同的几何切入视角：既然模型内部蕴含丰富的仿射冗余，与其在参数空间费力寻找复杂的后验分布，不如直接在隐藏层注入低维随机扰动，然后借助随后的仿射层在分布内校准数据上求解最小二乘闭式解进行局部“修复”。核心 idea：利用后续仿射层的富余自由度精确吸收并压制隐藏层随机扰动在分布内校准流形上的输出畸变，使集成成员在分布内保持高度共识，而在校准流形未能覆盖的分布外区域自然释放未被校正的表征残差，从而诱导出结构化的模型分歧。

方法详解¶

整体框架¶

Perturb-and-Correct（P&C）的作用对象是已经训练完成的冻结基础网络。对于给定的目标隐藏层，P&C 首先采样低维的正交高斯扰动注入到权重矩阵中，导致激活表征发生非线性漂移；随后，P&C 不改变下游网络的其他结构，而是将紧随其后的仿射层权重与偏置作为可补偿单元，以无标签的分布内校准数据为目标，求解一个岭回归二次优化问题，使得修复后的仿射输出尽可能逼近未扰动基础模型的预激活输出。

整个流程端到端前向流动，既支持单块（single-block）扰动修复，也支持级联多块（multi-block）前向推进。在推理阶段，P&C 将多个扰动校正得到的轻量副本组成均匀加权集成，分布内输入因处于校准空间而表征残差极小，各成员输出高度一致；一旦输入发生分布偏移，未被校准几何覆盖的“转移缺陷”凸显，成员间迅速产生分歧，以此输出高可信的认知不确定性分数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入样本 x<br/>(校准集 / 测试样本)"] --> FwdBase["前向传递至目标层 ℓ<br/>冻结主干特征提取"]
    FwdBase --> Perturb["低秩隐藏层随机扰动<br/>W_ℓ + σ·U z^(m)"]
    Perturb --> Nonlin["非线性激活变换<br/>生成扰动后表征 h~_ℓ^(m)"]
    Nonlin --> Correct["后继仿射层局部校正<br/>以基础模型预激活为目标的岭回归"]
    Correct --> Downstream["下游冻结层前向传递<br/>无须重新训练后续网络"]
    Downstream --> Ensemble["集成预测与不确定性评估<br/>ID 低方差 / OOD 高分歧"]

关键设计¶

1. 低秩随机参数扰动与共享正交基

为在参数空间引入可控且各向同性的探索方向，P&C 避免了复杂的曲率计算或优化轨迹缓存，直接在目标隐藏层权重矩阵 $W_\ell$ 上施加低秩高斯扰动。设目标层展平后的参数维度为 $d_\ell$，集成大小为 $M$，扰动秩为 $K$。方法首先抽取一次标准正交基矩阵 $U_\ell \in \mathbb{R}^{d_\ell \times K}$ 并在所有集成成员间共享；对于第 $m$ 个集成成员，独立抽取高斯系数向量 $z^{(m)} \sim \mathcal{N}(0, I_K)$，形成受控扰动项： $$ \Delta W_\ell^{(m)} = \sigma \cdot \operatorname{reshape}(U_\ell z^{(m)}), \quad \widetilde{W}\ell^{(m)} = W\ell + \Delta W_\ell^{(m)} $$ 这种设计在参数空间维持了极小的有效探索维度（例如 $K=20$），既足以激发模型在特征空间的探索多样性，又防止无约束的全秩噪声彻底摧毁网络的语义表征能力。

2. 预激活目标对齐的仿射岭回归校正

施加扰动后，后继神经元激活发生偏移。为了使扰动模型在分布内行为不发生退化，P&C 采用其紧邻的下一层仿射层 $(W_{\ell+1}, b_{\ell+1})$ 作为补偿器，利用分布内校准集 $\mathcal{D}_{\text{cal}}$ 计算修复权重。回归优化的监督信号直接采用基础模型原本输出的连续预激活（pre-activation），完全脱离分类真实标签，其显式增广形式优化目标为： $$ \min_{W, b} \sum_{x \in S_m} | W \widetilde{h}\ell^{(m)}(x) + b - (W) |} h_\ell(x) + b_{\ell+12^2 + \lambda | W - W |F^2 + \lambda | b - b |_2^2 $$ 引入以原始权重为中心的岭正则化项 $\lambda$，确保在校准样本量有限或协方差矩阵病态时解的数值稳定性。该问题具备解析正规方程闭式解，计算仅涉及矩阵乘法与求逆，几秒内即可并行求解数十个集成成员。

3. 后校正残差分解与转移缺陷几何分析

为了严格解释校正机制为何能在分布外产生有效分歧，论文推导出了校正后在测试点 $x$ 处产生的精确后校正残差 $r_S(x; v)$： $$ r_S(x; v) = \Theta \left[ \Delta \overline{y}v(x) - \Delta Y(x) \right] = \Theta g_S(x; v) $$ 其中 }^\top \alpha_{v, S$\Theta = [b, W]$ 为增广权重，$g_S(x; v)$ 即为转移缺陷（transfer defect），衡量了测试点表征变化量中无法被校准点变化量线性重建的部分。通过结合扰动特征的岭杠杆分数 $h_{v, S}^\lambda(x) = \overline{y}_v(x)^\top G_{v, S}^{-1} \overline{y}_v(x)$，证明了残差上界： $$ |r_S(x; v)|2 \leq |\Theta|_v(x)|}} \left[ |\Delta \overline{y2 + |\Delta Y|F \sqrt{h \right] $$ 这一界表明：当测试样本靠近校准几何区域时，杠杆分数较低且局部扰动可被校准样本有效重建，残差被强力抑制；一旦脱离校准流形，杠杆分数升高或转移关系破裂，输出端立刻释放出显著残差，驱动集成方差和熵激增。}^\lambda(x)

4. 自举校正与多架构适配（CNN 与 Transformer）

为了进一步增强成员间残差协方差的有效秩，P&C 支持有放回重采样子集 $S_m \subseteq \mathcal{D}_{\text{cal}}$ 进行自举校正（Bootstrapped Correction），使不同成员在细微不同的经验几何上拟合补偿器。针对卷积网络，P&C 将卷积核展开为逐 patch 线性算子，并在通道维度补充可学习偏置以吸收扰动均值漂移，利用分块累加外积矩阵解决显存受限问题；针对视觉 Transformer（ViT），P&C 作用于最终前馈网络（FFN）模块，利用其后无自注意力混合其他 token 的特性，仅对 CLS 向量进行投影校正，使算法无缝平替到大规模预训练模型中。

损失函数 / 训练策略¶

P&C 在构建阶段无需反向传播梯度计算，纯粹为前向特征提取与正规方程求解。对于每个集成成员 $m$： 1. 提取校准集 $S_m$ 在目标层的扰动前激活 $H$ 与扰动后激活 $\widetilde{H}$； 2. 构造增广特征矩阵并在显存中分块累积二阶充分统计量：$G = \overline{Y}^\top \overline{Y} + \lambda I$ 及交叉项 $B = \overline{Y}^\top T^{\text{orig}}$； 3. 通过 Cholesky 分解或直接求逆解出 $\widehat{\Theta}^{(m)} = G^{-1} B$； 4. 测试时所有成员共享前缀层与后续冻结层参数，仅在目标两层分别使用各自的 $(\widetilde{W}_\ell^{(m)}, \widehat{\Theta}^{(m)})$。

实验关键数据¶

主实验¶

论文在 MuJoCo 连续控制动力学预测（11 个环境，10 个随机种子，多块 P&C）和 CIFAR-10 分布外检测（OpenOOD v1.5 标准，ResNet-18，单块 P&C）上开展了核心评测。

表格 1：MuJoCo 11 个跨环境动力学不确定性综合排名（指标越低越优，排名越小越好）

方法	ID RMSE 平均排名 ↓	ID RMSE 胜场数	Far NLL 平均排名 ↓	Far NLL 胜场数	Far AUROC 平均排名 ↓	Far AUROC 胜场数	Far Spearman 秩相关 ↓
Deep Ensemble	3.27 ± 1.56	2 / 11	3.00 ± 1.18	1 / 11	2.64 ± 1.36	1 / 11	2.27 ± 1.35 (4胜)
MC Dropout	3.82 ± 1.40	0 / 11	3.45 ± 1.13	0 / 11	3.18 ± 1.72	1 / 11	4.18 ± 1.40 (0胜)
SWAG	4.55 ± 1.44	0 / 11	4.00 ± 1.55	1 / 11	4.64 ± 1.21	0 / 11	4.91 ± 0.70 (0胜)
Laplace	3.18 ± 1.47	1 / 11	3.09 ± 1.14	1 / 11	4.18 ± 0.87	0 / 11	2.91 ± 0.83 (0胜)
Subspace	3.00 ± 1.73	3 / 11	5.91 ± 0.30	0 / 11	5.09 ± 0.83	0 / 11	5.09 ± 1.38 (0胜)
P&C (本文)	3.18 ± 2.40	5 / 11	1.55 ± 1.21	8 / 11	1.27 ± 0.65	9 / 11	1.64 ± 1.03 (7胜)

表格 2：CIFAR-10 (PreAct ResNet-18) 在 OpenOOD v1.5 基准上的 OOD 检测表现

方法	准确率 Acc% ↑	Near AUROC ↑	Near FPR95 ↓	Far AUROC ↑	Far FPR95 ↓
Mahalanobis	95.74 ± 0.14	87.98 ± 0.11	66.30 ± 0.88	93.25 ± 0.26	38.30 ± 5.44
ReAct + Energy	95.77 ± 0.16	88.63 ± 0.15	54.39 ± 1.28	92.50 ± 1.20	29.78 ± 5.26
LLLA	95.77 ± 0.20	88.97 ± 0.69	54.12 ± 5.70	93.04 ± 0.95	28.44 ± 6.72
Epinet	95.76 ± 0.18	88.07 ± 0.04	63.37 ± 1.40	92.16 ± 1.02	35.10 ± 5.57
SWAG	95.37 ± 0.05	90.03 ± 0.15	44.71 ± 0.79	94.19 ± 1.03	22.09 ± 4.91
SCOD (同权重匹配)	95.74 ± 0.14	89.69 ± 0.09	39.40 ± 0.96	92.56 ± 0.37	21.41 ± 0.87
Deep Ensemble (5模)	96.56 ± 0.04	91.10 ± 0.03	40.39 ± 0.38	94.63 ± 0.14	19.49 ± 0.26
P&C (本文, 50成员)	95.59 ± 0.20	91.55 ± 0.13	33.08 ± 0.63	95.09 ± 0.50	18.15 ± 1.07

消融实验¶

表格 3：CIFAR-10 P&C 关键超参数敏感性消融与极端配置表现

因素	搜索范围	选定基准	关键观察与消融结论
扰动尺度 $\sigma$	6.25 ~ 100	25	$\sigma=25$ 时 Near AUROC 达峰值 91.55；$\sigma \geq 50$ 突破分布内保持界限，ID 精度骤降至 ~35%
扰动秩 $K$	1 ~ 40	20	对秩不敏感，当 $K \geq 5$ 时 Near AUROC 在 91.40 ~ 91.55 间平稳波动
岭正则 $\lambda$	0 ~ 1.0	$10^{-3}$	$\lambda=0$ 产生数值不稳定/奇异，$\lambda \in [10^{-3}, 1.0]$ 区间内性能高度稳健
作用网络层	前期/中期/后期 Block	后期 (s3b0)	各阶段均有效（Near AUROC 89.34~91.55），最终阶段首个残差块验证集 NLL 最优 (0.130)
自举采样率	0.05, 0.10, 0.20	0.05	0.05 采样率验证集 NLL 最低 (0.1305)，采样过少易接近插值过拟合阈值引发条件数恶化

表格 4：ImageNet-1K (ViT-B/16 86.6M) 有无仿射校正消融对比

配置	Top-1 准确率% ↑	验证集 NLL ↓	Near OOD AUROC ↑	Far OOD AUROC ↑	说明
Pretrained Base ViT	81.068	0.8482	73.52 (MSP)	86.04 (MSP)	原始未经扰动的单一模型基线
仅无约束扰动 (Uncorrected)	79.821	0.9120	72.53	84.40	施加相同尺度扰动但不执行仿射校正，破坏分布内表征
P&C (完整校正模型)	80.830	0.8045	76.49	87.89	相比无校正版本，Near/Far AUROC 显著恢复并提升 +3.96 / +3.49

关键发现¶

校正项是抑制分布内破坏并凸显分布外分歧的核心驱动力：单独的参数随机扰动会破坏表征流形，导致 ID 精度大幅下降；加入紧随其后的仿射岭回归校正后，ID 性能几乎无损（保持预算内仅降 <0.24%），而在分布外由于转移缺陷 $g_S(x; v)$ 激增，展现出极强的认知不确定性检测能力。
构建开销实现数十倍缩减：在 MuJoCo 动力学模型中，构建 50 个成员的 P&C 集成仅耗时 1.5~1.8 秒，相比重新训练 50 个模型的深度集成实现了 46.8× ~ 61.7× 的加速；在 CIFAR-10 上，深度集成需训练 50 个 ResNet（耗时超 110 小时），而 P&C 仅需单次前向校正（构建开销 $\leq 100$ 秒）。
扰动方向选择的鲁棒性：对比实验证明，纯随机高斯扰动方向的表现全面优于利用特征曲率定向搜索的低曲率方向（Low-P&C），说明不需要耗时复杂的参数几何搜索，简单的正交随机采样结合仿射校正即可有效覆盖未决变异度。

亮点与洞察¶

将过参数化冗余转化为后验不确定性估计的“负反馈调节器”：传统观点通常将过参数化视作训练欠规范化的根源，P&C 则巧妙地将其化为后验工程优势，利用局部相邻仿射算子的自由度作为缓冲池，将扰动严格限制在分布内流形正交的“死角”内。
解析残差理论与转移缺陷严格自洽：论文给出的后校正残差恒等式属于非线性摄动的全阶封闭分析，无需一阶泰勒展开即可刻画大扰动尺度下的特征漂移与杠杆界，为认知不确定性研究提供了清晰的几何图景。
高度解耦与跨模态通用性：从简单的连续控制 MLP，到卷积网络中的残差块，再到 ViT 的注意力末端 FFN 与 DistilBERT 语义漂移，P&C 只需确定“扰动层 + 紧随仿射层”即可即插即用，无须改动主干架构或重新微调网络。

局限与展望¶

推理时间复杂度仍为 $O(M)$：P&C 的计算与存储收益集中在构建阶段（几秒构建与极小增量权重存储），但在推理测试时，每个样本仍然需要分别通过各个扰动校正块计算前向传播，未从根本上消除多模型推理的时延开销。
对校准集覆盖与数值条件数敏感：若校准数据规模过小接近样本插值阈值，仿射回归的正规方程矩阵将出现严重的病态特征，引发数值发散；且若测试时的分布偏移恰好投影在校准样本已覆盖的表征子空间内，P&C 仍会将其当成已知区域，无法触发分歧。
在强结构纯表示度量下的局限性：在大规模 ImageNet 纯 OOD 排行榜中，特定针对 CLS 向量抽取的表征空间马氏距离（Mahalanobis）依然优于基于集成预测熵的通用指标，表明在某些纯判别任务中，几何度量比黑盒集成输出更直接。

评分¶

新颖性: ⭐⭐⭐⭐☆ 借助相邻仿射层对随机隐藏扰动进行局部最小二乘补偿以生成后验集成，思路简明而极具新意。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 MuJoCo 连续控制、CIFAR-10 图像分类、ImageNet 大规模 ViT 以及 NLP 迁移，包含严格的统计显著性检验与理论数值验证。
写作质量: ⭐⭐⭐⭐⭐ 理论推导清晰完备，从残差分解、杠杆上界到协方差核定义逻辑严密，图文对照极强。
价值: ⭐⭐⭐⭐☆ 为后验模型不确定性估计、轻量化集成以及大模型鲁棒部署提供了高实用价值的即插即用方案。

因素	搜索范围	选定基准	关键观察与消融结论
扰动尺度 \(\sigma\)	6.25 ~ 100	25	\(\sigma=25\) 时 Near AUROC 达峰值 91.55；\(\sigma \geq 50\) 突破分布内保持界限，ID 精度骤降至 ~35%
扰动秩 \(K\)	1 ~ 40	20	对秩不敏感，当 \(K \geq 5\) 时 Near AUROC 在 91.40 ~ 91.55 间平稳波动
岭正则 \(\lambda\)	0 ~ 1.0	\(10^{-3}\)	\(\lambda=0\) 产生数值不稳定/奇异，\(\lambda \in [10^{-3}, 1.0]\) 区间内性能高度稳健
作用网络层	前期/中期/后期 Block	后期 (s3b0)	各阶段均有效（Near AUROC 89.34~91.55），最终阶段首个残差块验证集 NLL 最优 (0.130)
自举采样率	0.05, 0.10, 0.20	0.05	0.05 采样率验证集 NLL 最低 (0.1305)，采样过少易接近插值过拟合阈值引发条件数恶化