Why Feature Magnitude Deceives OOD Detectors: An Angular Separation Perspective¶

会议: ECCV 2026
论文: ECCV 2026
代码: https://github.com/HAIV-Lab/ASL
领域: 安全
关键词: 分布外检测, 特征归一化, 角度分离学习, 马氏距离, 神经塌缩

一句话总结¶

揭示了基于马氏距离的 OOD 检测器极易受特征模长欺骗的本质缺陷（低范数异常样本因距离计算失真而伪装成分布内样本），进而提出仅在分类头前对特征施加 \(\ell_2\) 归一化的角度分离学习（ASL），以极简训练将模型诱导至超球面上进行角度对比学习并取得 SOTA 性能。

研究背景与动机¶

深度神经网络在开放环境中的高可靠部署依赖于分布外（Out-of-Distribution, OOD）检测机制，模型必须在面对未知分布输入时准确判断“自己不知道”，以避免自动驾驶误判路面异物或医疗诊断中对罕见疾病产生致命的高置信度误诊。现有 OOD 检测主要分为免重训的后处理（post-hoc）方法与基于训练的目标重构方法。在后处理方法中，基于特征空间几何性质的度量（如马氏距离 MDS）被广泛认为能有效捕捉表征分布；然而，这类方法的效果受制于标准交叉熵损失下学到的特征表征——交叉熵仅驱使网络学习足以区分已知闭集类别的最弱特征，往往造成特征空间松散，致使 OOD 样本在投影后落入高置信度区域。

为了解决这一缺陷，近期研究转向设计复杂的对比学习目标、合成离群点（如生成伪 OOD 样本）或复杂的损失重加权。然而，这些方法带来了昂贵的计算开销、超参数敏感性以及繁复的训练流程，且在最具挑战性的近分布外（near-OOD）任务中收益并不显著。深入剖析马氏距离的数学结构可以发现一个长期被忽视的核心矛盾：马氏距离在二次项中同时耦合了特征向量的模长（\(\ell_2\)-norm）与方向信息，而标准交叉熵的优化动力学倾向于通过增大特征模长这一“捷径”来快速降低训练损失。这种优化偏差导致特征模长出现巨大方差，进而产生病态失效——一个与任何已知类别均具有较大角度偏差的 OOD 样本，仅因其特征模长异常偏小，在马氏距离展开式中计算出的距离反而比真实的高范数 ID 样本更小，从而逃逸检测。

针对模长对度量机制的欺骗问题，本文的核心视角是：与其在检测阶段被动修补模长带来的扰动，不如在训练阶段主动剥离模长维度的干扰，强制网络纯粹在角度空间建立类别判别边界。核心 idea：提出角度分离学习（ASL），直接在网络特征提取器之后、线性分类器之前施加 \(\ell_2\) 归一化并搭配权重衰减，使交叉熵退化为纯角度空间的隐式对比学习，在不引入负样本挖掘或外挂正则项的前提下迫使特征在超球面上实现高内聚与大类间角距。

方法详解¶

整体框架¶

ASL 的核心思想是在网络表征学习中解耦特征幅度与角度方向，迫使特征判别完全建立在超球面几何上。给定输入样本 \(x\)，特征提取器 \(f(\cdot)\) 抽取 \(d\) 维特征向量后，不再直接送入带有偏置的线性分类层，而是先经过缩放的 \(\ell_2\) 归一化处理得到超球面特征 \(\tilde{f}\)，随后与去偏置的分类器权重矩阵（视作各类别原型向量）计算内积并送入交叉熵损失。整体流程如下所示：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入样本 x"] --> B["特征编码器 f(x)"]
    B --> C["特征模长归一化与缩放<br/>f~ = s * f(x) / ||f(x)||2"]
    C --> D["去偏置线性分类器<br/>logits = W^T * f~"]
    D --> E["交叉熵与权重衰减约束<br/>LASL = LCE + lambda * ||W||_F^2"]
    E --> F["超球面特征嵌入与判别评分<br/>测试期计算马氏距离或余弦相似度"]

在测试阶段，输入经过相同的归一化特征变换，利用在超球面上学习到的高纯度表征直接通过马氏距离（MDS）或最近类别均值余弦相似度（FeatCos）计算 OOD 判别分数。

关键设计¶

1. 特征模长归一化与缩放：阻断优化捷径并稳定梯度流动

标准交叉熵训练下，模型为了最小化损失倾向于无限放大易分类样本的特征模长，导致特征模长分布方差极大，在马氏空间展开式中形成模长压倒角度的假象。ASL 在特征送入全连接层前对其强制施加 \(\ell_2\) 归一化并引入固定超参数缩放因子 \(s\)（通常设为 10）：

\[\tilde{f} = s \cdot \frac{f(x)}{\|f(x)\|_2}\]

单纯的单位球归一化会导致反向传播梯度幅度过小，阻碍深层网络的收敛；引入缩放标量 \(s\) 有效补偿了特征梯度的尺度，确保优化稳定进行。去除了模长自由度后，网络失去了通过增加幅度降低损失的逃避途径，必须通过旋转特征方向使其向所属类别的权重原型靠拢。

2. 隐式超球面对比学习：无显式负采样的角度分离

ASL 将分类器最后一层的权重矩阵 \(W = [w_1, w_2, \dots, w_K] \in \mathbb{R}^{d \times K}\) 视为 \(K\) 个类别的原型向量，并移除线性层的偏置项（bias）。对于类别 \(j\)，其预测 logit 变为 \(w_j^\top \tilde{f} = \|w_j\|_2 \|\tilde{f}\|_2 \cos(\theta_j) = s \|w_j\|_2 \cos(\theta_j)\)，其中 \(\theta_j\) 为特征与原型间的夹角。当结合带权重衰减 \(\lambda\) 的交叉熵损失时，优化目标等价于：

\[\mathcal{L}_{\text{ASL}} = - \log \frac{\exp(s \cdot w_y^\top \tilde{f} / s)}{\sum_{j=1}^K \exp(s \cdot w_j^\top \tilde{f} / s)} + \lambda \|W\|_F^2 = - \log \frac{\exp(\tilde{f}^\top w_y)}{\sum_{j=1}^K \exp(\tilde{f}^\top w_j)} + \lambda \|W\|_F^2\]

该优化形式在数学上等价于以类别权重为原型的对比学习：一方面最小化样本特征与真实类别原型之间的夹角 \(\theta_y\)，另一方面最大化其与所有负类别原型的夹角 \(\theta_j (j \neq y)\)。此外，理论证明在收敛时类别原型范数具有显式上界 \(\|w_j\|_2 \le \frac{s}{2\lambda}\)。原型范数充当了动态反温度系数的角色，使得模型训练在初期具备自适应探索能力，而在后期实现超球面上类簇的高度紧致聚集与大类间裕度。

3. OOD 可分性理论下界保证与权重衰减调控

为揭示 ASL 对近分布外（near-OOD）检测提升的本质机制，理论分析基于积分概率度量（IPM）导出了 ID、协变量偏移（covariate shift）与 OOD 之间的特征分离度下界 \(\Delta\)：

\[\Delta \ge \frac{s}{2\lambda} \left( \|\hat{\mu}_P - \hat{\mu}_{ood}\| - \|\hat{\mu}_P - \hat{\mu}_{cs}\| \right) - \frac{2s^2}{\lambda} \sqrt{\frac{\log(8/\delta)}{2}} \left( \frac{1}{\sqrt{n}} + \frac{1}{\sqrt{m}} \right)\]

该下界表明，适度增大权重衰减 \(\lambda\) 能够强力约束假设空间，抑制统计估计误差对近邻边界的负面惩罚；同时在优化动态上促使网络捕获更高频细粒度的判别语义，迫使 OOD 样本的经验中心 \(\hat{\mu}_{ood}\) 远离 ID 中心 \(\hat{\mu}_P\)。这一理论结论与实验观察完全自洽：调整 \(\lambda\) 可显著强化 near-OOD 的分离能力，而对语义偏差原本就巨大的 far-OOD 任务则持续保持高水平的鲁棒性。

损失函数 / 训练策略¶

ASL 仅在标准分类流水线中增加一行特征向量的 \(\ell_2\) 归一化与标量乘法，并剔除最后一层线性分类器的偏置项，无需改动骨干网络结构。训练损失即为标准交叉熵加权重衰减：

\[\mathcal{L} = \mathcal{L}_{\text{CE}}(W^\top \tilde{f}, y) + \lambda \|W\|_F^2\]

超参数设置极为轻简：缩放系数默认取 \(s = 10\)，权重衰减系数 \(\lambda\) 在 CIFAR 上取 \(1 \times 10^{-4} \sim 5 \times 10^{-4}\) 之间均表现稳健。相比于合成离群点或复杂对比学习，ASL 无需生成负样本、维护外部记忆库或构建多对特征对比对，单轮训练耗时几乎与标准交叉熵持平。

实验关键数据¶

主实验¶

在 OpenOOD 标准测试基准下，对比了基于从头训练（train from scratch）的 ResNet-18 骨干在 ImageNet-200 上的 OOD 检测表现（表 1），以及在标准全量 CIFAR-10 和 CIFAR-100 上的综合表现（表 2）。

表 1: ImageNet-200 上从头训练 ResNet-18 的 OOD 检测性能（FPR95↓ / AUROC↑）

方法类别 / 方法	Near-OOD: SSB-hard	Near-OOD: NINCO	Near-OOD: Avg.	Far-OOD: Avg.	闭集精度 Acc.↑
标准交叉熵 (CE)	72.5 / 78.8	46.1 / 86.9	59.3 / 82.8	24.4 / 94.0	86.3%
CIDER (ICLR 2023)	71.0 / 75.5	45.3 / 85.3	58.1 / 80.4	21.5 / 94.4	84.2%
LogitNorm (ICML 2022)	66.7 / 78.4	46.6 / 86.4	56.7 / 82.4	26.1 / 93.1	86.4%
PALM (ICLR 2024)	70.1 / 75.7	50.3 / 84.8	60.2 / 80.2	21.3 / 94.5	83.8%
ReweightOOD (CVPR 2024)	67.2 / 80.5	41.8 / 86.8	54.5 / 83.7	21.9 / 94.5	84.0%
T2FNorm (CVPR 2024)	66.1 / 79.2	46.2 / 86.8	56.1 / 83.0	25.3 / 93.5	86.5%
ASL (本文)	65.7 / 81.5	39.1 / 88.6	52.4 / 85.1	20.4 / 95.0	86.8%

表 2: CIFAR-10 与 CIFAR-100 上的 OOD 检测性能综合对比（FPR95↓ / AUROC↑）

数据集 / 方法	Near-OOD: FPR95↓	Near-OOD: AUROC↑	Far-OOD: FPR95↓	Far-OOD: AUROC↑	全局平均: AUROC↑	闭集精度 Acc.↑
CIFAR-10
CE	40.2	88.8	30.6	91.0	89.9	95.2%
CIDER	31.4	90.1	22.5	93.4	91.7	92.8%
LogitNorm	28.9	92.5	15.8	96.3	94.4	94.5%
T2FNorm	25.8	93.0	15.2	96.5	94.8	94.7%
ASL (本文)	25.1	93.3	12.0	97.2	95.2	94.8%
CIFAR-100
CE	67.8	74.8	51.9	82.6	78.7	77.4%
NPOS	67.1	77.7	50.2	83.6	80.7	72.9%
LogitNorm	62.4	78.5	50.4	82.1	80.3	76.1%
PALM	64.7	77.2	37.8	86.7	82.0	75.7%
T2FNorm	58.2	79.9	49.5	83.3	81.6	76.3%
ASL (本文)	56.2	80.9	47.8	85.0	83.0	76.7%

消融与分析实验¶

表 3: ImageNet-200 训练效率与各训练型方法单轮耗时对比（秒/epoch）

方法	单轮耗时 (s/epoch)↓	相对标准 CE 的额外耗时	机制复杂度
标准交叉熵 (CE)	\(252 \pm 1.63\)	基线	仅交叉熵
LogitNorm	\(294 \pm 1.25\)	+16.7%	输出 Logit 归一化
T2FNorm	\(293 \pm 2.05\)	+16.3%	训练期特征归一化
PALM	\(381 \pm 2.36\)	+51.2%	原型混合优化
ReweightOOD	\(406 \pm 2.36\)	+61.1%	动态对加权对比损失
CIDER	\(657 \pm 4.55\)	+160.7%	互信息超球聚类
NPOS	\(874 \pm 2.16\)	+246.8%	非参数离群点合成
HamOS	\(3399 \pm 7.76\)	+1248.8%	哈密顿蒙特卡洛离群采样
ASL (本文)	\(277 \pm 1.70\)	仅 +9.9%	仅特征 \(\ell_2\) 归一化

表 4: CIFAR-10 上不同后处理检测器结合 ASL 特征前后的增益（FPR95↓ / AUROC↑）

基础检测器	原始 CE 特征: Near-OOD	+ ASL 特征: Near-OOD	原始 CE 特征: Far-OOD	+ ASL 特征: Far-OOD
MDS	49.2 / 85.2	25.1 / 93.3	33.3 / 89.0	12.0 / 97.2
RMDS	38.6 / 89.8	33.7 / 90.6	25.9 / 92.4	18.9 / 94.4
VIM	45.6 / 88.4	26.2 / 93.0	28.1 / 92.4	13.1 / 96.9
KNN	34.4 / 90.7	26.6 / 92.9	24.4 / 93.1	15.6 / 96.5
fDBD	35.5 / 90.6	30.3 / 92.1	24.3 / 93.4	15.5 / 96.3
NCI	48.7 / 88.6	34.1 / 91.3	33.8 / 90.8	14.7 / 96.4
MD++	40.2 / 88.8	25.1 / 93.3	30.6 / 91.0	12.0 / 97.2

关键发现¶

近分布外检测瓶颈取得突破：在极具挑战的 ImageNet-200 near-OOD 任务（SSB-hard 与 NINCO）上，ASL 的平均 AUROC 达到 85.1%，FPR95 降至 52.4%，相比表现次优的方法仍实现 1.4% 的 AUROC 纯增益，显著超越了此前依赖复杂采样机制的对比学习方法。
训练效率极高，帕累托前沿占优：ASL 单轮训练仅需 277 秒，相比标准交叉熵（252 秒）仅微增不到 10% 的开销，而相比 HamOS（3399 秒）提速超过 12 倍，打破了“提升 OOD 鲁棒性必须付出高昂计算代价”的固有模式。
全面赋能下游距离检测器：ASL 学得的超球面特征具备极高的一般性判别力。例如，将经典 MDS 检测器直接插在 ASL 特征上，其在 CIFAR-10 上的 near-OOD FPR95 从 49.2% 断崖式下降至 25.1%，AUROC 从 85.2% 飞跃至 93.3%，直接证明模长解耦对几何距离检测器的决定性作用。
超参数 \(\lambda\) 调控呈现理论自洽：权重衰减 \(\lambda\) 在 \(1 \times 10^{-4}\) 到 \(5 \times 10^{-4}\) 范围内单调提升 near-OOD 判别力，同时保持 far-OOD 的高可分性，与论文推导的理论下界中抑制定界误差项的机制高度契合。

亮点与洞察¶

解构马氏距离的病态失效机制：通过严格拆解白化空间下的马氏二次距离展开式，揭示了低范数 OOD 样本因抑制了样本二次项（SQT）而获得虚高置信度评分的根本漏洞，给出了直观且极富启发性的反例。
极简主义设计的降维打击：无需合成伪离群点、无需正负样本配对对，仅靠分类头前的一行 \(\ell_2\) 归一化和去偏置设计，就诱导网络在数学上自发完成了带有动态温度调节的原型对比学习，极大地优化了学术界对“方法复杂度/收益比”的认知。
天然跨骨干与跨任务的可迁移性：该方法在卷积架构（ResNet-18/50）、视觉 Transformer（ViT-B/16）以及高风险的 COVID-19/RSNA 医学图像（BIMCV 上的 FPR95 从 23.0% 压制到 12.4%）上均展现出跨架构的一致增益。

局限与展望¶

收敛尺度超参数的经验依赖：缩放因子 \(s\) 目前固定设定为 10，对于类别数量极端庞大（如万级类别）或极少类别的场景，固定尺度因子可能会影响梯度反传的饱和度，未来值得探索可学习或自适应的曲率放缩机制。
超球几何在长尾分布下的适应性：当训练集类别极度不平衡时长尾类的原型可能在超球面上被头部类挤压，角度分离空间是否存在边缘塌缩或少数类边界模糊仍待系统评估。
向跨模态视觉-语言大模型的扩展：当前实验主要集中在单模态视觉分类，未来可探索将类似的角度归一化机制深度注入多模态表征投影头（如 CLIP 视听/文本对齐层），以防范跨模态幻觉与域外漂移。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 深入剖析特征模长导致马氏距离失效的几何机理，立意深刻，提出的极简超球面对比学习框架优雅透彻。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 CIFAR、ImageNet-200/1K、ViT/ResNet、协变量偏移以及 BIMCV 医学全套基准，含大量效率与层级深入分析。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进严谨，从失败案例推导、理论命题证明到实验呼应一气呵成。
价值: ⭐⭐⭐⭐⭐ 为 OOD 检测树立了兼具高精度与极高训练吞吐量的强劲基线，具有显著的工程落地与学术指引价值。