Geometry over Density: Few-Shot Cross-Domain OOD Detection¶

会议: NeurIPS 2026
arXiv: 2605.03410
代码: https://github.com/lili0415/UFCOD
领域: 异常检测
关键词: 分布外检测, 扩散模型, 少样本学习, 跨域泛化, 轨迹能量

一句话总结¶

本文提出了 UFCOD 框架，从概率密度估计转向扩散轨迹的信息几何分析，利用固定预训练扩散模型提取反映得分函数幅度与平滑度的二维能量特征，结合设施选址参考集构建与最优传输温度缩放距离评分，仅凭约 100 个 ID 样本即在 12 个跨域基准上取得 93.7% 平均 AUROC。

研究背景与动机¶

分布外（Out-of-Distribution, OOD）检测旨在识别偏离模型训练分布的测试样本，防止机器学习系统在自动驾驶、医疗诊断与安全核验等高风险开放场景中发生高置信度的灾难性误判。传统的 OOD 检测方法主要依赖于单域设定下的判别器输出置信度、归一化流/变分自编码器的概率密度估计，或者在大规模 ID 数据集上训练特定的扩散去噪重建模型。这些方案在单一领域内部虽然取得了长足进展，但本质上都将检测能力强行绑定在特定的训练分布统计特征上。一旦迁移至全新的部署环境，系统必须耗费巨大代价重新收集数万至数十万（50k–163k）标注或无标注的域内样本并全量重训模型，严重制约了实际工程落地的灵活性。

这种强领域依赖性的核心矛盾在于：传统范式普遍假设 OOD 检测必须精确刻画目标领域的特定概率密度分布 $p(x)$，然而高维空间中的密度估计不仅样本复杂度极高，而且极易出现“似然悖论”（Likelihood Paradox）——即归一化流或生成模型往往会给高频或背景简单的 OOD 样本赋予比 ID 样本更高的似然值。与此同时，基于扩散模型的最新尝试（如 DDPM-OOD 或 DiffPath）虽然尝试分析反向轨迹或重构残差，却依然依赖全量数据微调或领域特定的判别阈值，无法实现“一次训练、到处可用”（Train-Once, Deploy-Anywhere）的范式跃迁。

本文提出打破“基于密度”的固有思维，转而从数据流形与反向去噪过程相互作用的“流形几何”视角切入。作者指出，区分 ID 与 OOD 样本的本质并非其在特定分布下的精确似然概率，而是样本在扩散反向演化动力学中表现出的流形对齐与得分函数稳定性差异。核心 idea：将单模型预训练扩散去噪过程解释为得分函数（对数密度梯度）向量场，提取度量场强度与时间平滑度的二维离散索伯列夫能量特征，并结合设施选址与最优传输软邻近度量，仅需约 100 个无标注参考样本即可免训练完成任意全新领域的跨域 OOD 检测。

方法详解¶

整体框架¶

UFCOD 的核心流程分为三个连续阶段：通用几何特征提取、少样本参考集紧凑量化、以及基于最优传输的校准评分。整个检测系统完全免于微调或重训，仅利用一个在单一基准域（如 CelebA 32×32）上离线预训练好的固定 DDPM 模型作为通用特征抽取器。对于任意全新到达的目标域任务，系统仅接收约 100 个未标注的 ID 样本作为支撑集，无需任何梯度回传。

首先，对于输入图像 $x_0$，模型按照预定加噪时刻序列注入高斯噪声，并通过冻结参数的去噪网络预测各时刻噪声向量序列，汇总计算反映得分函数轨迹模长与时间二阶差分的二维几何能量特征向量。其次，在离线阶段针对少样本 ID 集合，利用设施选址（Facility Location）优化准则在紧凑的二维特征空间中挑选出覆盖最均匀的核心参考子集，有效规避边界异常值的干扰。最后，在在线推理阶段，测试样本映射到二维特征空间后，系统计算其相对于参考集的温度缩放软最小值距离（等价于熵正则化最优传输代价），并通过基于参考集统计量的 Z-score 归一化输出跨域统一阈值的 OOD 异常分数。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入测试样本与少样本 ID 集<br/>~100 个无标注参考样本"] --> B["扩散轨迹能量特征提取<br/>冻结 DDPM 提取得分模长与变化率"]
    B --> C["设施选址分布量化<br/>子模优化最大化流形几何覆盖度"]
    C --> D["最优传输软邻近评分<br/>玻尔兹曼软最小值测度 + Z-score 跨域校准"]
    D --> E["跨域 OOD 判别输出<br/>统一阈值决策"]

关键设计¶

1. 扩散轨迹能量特征提取：基于信息几何与离散索伯列夫范数的紧凑表征

传统基于密度的检测器面临维度灾难与分布过拟合，而扩散去噪网络 $\epsilon_\theta(x_t, t)$ 本质上与数据边际分布的得分函数直接关联： $$ \nabla_{x_t} \log p(x_t) = -\frac{\epsilon_\theta(x_t, t)}{\sqrt{1 - \bar{\alpha}_t}} $$ 当输入为分布内样本时，得分函数提供了指向高密度流形的高精度引导方向，其去噪轨迹平滑且模长稳定；而对于分布外样本，模型从未见过类似输入，得分函数产生剧烈震荡且预测模长显著异常放大。为了以极低维度捕捉这一物理现象，UFCOD 沿扩散前向加噪步 $t=1,\dots,T$ 提取预测噪声 $\epsilon_t = \epsilon_\theta(x_t, t)$，并提取两个二阶能量标量： - 路径能量（Path Energy, $f_1$）：累积预测噪声平方和 $f_1 = \sum_{t, c, h, w} \epsilon_{t,c,h,w}^2 = \sum_{t=1}^T (1 - \bar{\alpha}_t) \|\nabla_{x_t} \log p(x_t)\|^2$，对应于沿扩散轨迹对得分函数平方范数的离散加权积分，度量了全局反向修正的能量强度。 - 动力学能量（Dynamics Energy, $f_2$）：时间差分平方和 $f_2 = \sum_{t, c, h, w} (\epsilon_{t+1,c,h,w} - \epsilon_{t,c,h,w})^2 \approx \sum_t \|\frac{\partial}{\partial t} \nabla_x \log p(x_t)\|^2 (\Delta t)^2$，度量了得分向量场随时间演进的平滑度与时间一致性。

两者线性组合 $f_1 + \lambda f_2$ 严格近似了得分函数在时间-空间上的离散索伯列夫范数 $\|\nabla \log p\|_{H^1}^2$。论文进一步通过克拉美-罗下界（Cramér-Rao Bound）从理论上严格证明，对于均值为零的高斯噪声预测过程，二阶统计量（方差/能量）是以最小估计方差捕捉方差漂移的充分统计量，其样本复杂度仅为 $\mathcal{O}(\sigma^2)$，在少样本限制下理论最优。

2. 设施选址分布量化：基于覆盖度最大化的无监督参考集构建

在仅有几十至上百个 ID 样本的极端少样本设定下，如何挑选能够代表未知真实 ID 几何支撑区域的参考点集至关重要。随机采样在小样本下具有较大的抽样方差，而常见的贪婪 K-Center 算法则倾向于挑选距离中心极远的边界孤立点，极易引入边界噪声或离群样本。

UFCOD 针对二维能量特征空间半径有界（实测半径 $R \approx 10$）且 ID 样本紧凑成簇的特性，将参考集构建严格建模为离散测度对连续 ID 概率分布 $P_{\text{ID}}$ 的最优量化误差最小化问题： $$ \mathcal{S}^* = \arg\min_{\mathcal{S}: |\mathcal{S}|=m} \mathbb{E}{\mathbf{f} \sim P_i|_2 \right] $$ 这一目标等价于次模函数最大化的设施选址（Facility Location）问题。与追求多样性的方法相反，设施选址优先选择能够最小化全域点到参考集最大距离的代表元，最大化几何区域的有效覆盖度。在 SVHN 等数字识别任务上，相比容易受伪影干扰退化至 80.43% 的 K-Center，设施选址稳定维持在 95.30%，为下游近邻评分提供了极其坚实的几何骨架支撑。}}} \left[ \min_{i \in \mathcal{S}} |\mathbf{f} - \mathbf{f

3. 最优传输软邻近评分与跨域 Z-Score 校准：兼顾局部平滑与全局阈值统一

得到参考集合 $\mathcal{S} = \{\mathbf{f}_i\}_{i=1}^m$ 后，针对待测样本特征 $\mathbf{f}_{\text{test}}$，直接采用最近邻距离（$k\text{NN}$）对小样本采样空隙过于敏感，而核密度估计又由于支撑点过稀疏而失效。UFCOD 从最优传输理论出发，将 OOD 评分严格定义为从测试样本点测度 $\delta_{\mathbf{f}_{\text{test}}}$ 传输至经验参考测度 $\hat{P}_m = \frac{1}{m} \sum_{i=1}^m \delta_{\mathbf{f}_i}$ 的熵正则化 Wasserstein-1 距离： $$ s_T(\mathbf{f}) = \min_{\gamma \in \Delta^m} \left{ \sum_{i=1}^m \gamma_i |\mathbf{f} - \mathbf{f}_i|2 - T \cdot H(\gamma) \right} $$ 其中熵正则项 $H(\gamma) = -\sum_i \gamma_i \log \gamma_i$ 促使质量耦合向多个临近参考样本弥散，而非孤立偏向单个最近邻，从而赋予评分极强的抗噪鲁棒性。该变分问题具备解析闭式解，其最优耦合系数服从玻尔兹曼分布，目标函数显式等价于温度缩放的软最小值（Soft-Min）距离： $$ s_T(\mathbf{f}) = -T \log \sum}^m \exp\left( -\frac{|\mathbf{f} - \mathbf{fi|2}{T} \right) $$ 当 $T \to 0$ 时退化为一阶最近邻距离，当 $T \to \infty$ 时退化为到所有参考点的算术平均距离。实验证明 $T=0.5$ 在保持局部敏锐度与弥散抗噪之间取得了最佳平衡。最后，为了消除不同下游领域的绝对能量数值尺度漂移（例如 CIFAR-10 的原始分数均值为 -2.17，而 SVHN 为 -2.45），模型利用参考集内部自身的距离分布均值 $\mu_\mathcal{S}$ 与标准差 $\sigma_\mathcal{S}$ 对分数执行标准 Z-score 仿射变换： $$ s'(\mathbf{f}) = \frac{s_T(\mathbf{f}) - \mu\mathcal{S}}{\sigma\mathcal{S}} $$ 将各域内的 ID 评分规范化为近似 $\mathcal{N}(0, 1)$ 分布，实现了无需针对新领域重调检测阈值的零样本跨域工程部署。

实验关键数据¶

主实验¶

论文在涵盖自然物体（CIFAR-10）、街景门牌数字（SVHN）、高分辨率人脸（CelebA 32×32）三个作为 ID 的源域，以及 CIFAR-100、Textures、CelebA、SVHN 等作为 OOD 域的 12 组跨域检测任务上进行了系统评估。所有全数据基线均使用完整的 50k–163k 训练集进行各域专属训练，而 UFCOD 仅使用一个在 CelebA 上训练完毕后永久冻结的 DDPM 模型，在各测试任务中仅抽取 80–150 个 ID 样本（CIFAR-10 抽取 150，SVHN 抽取 100，CelebA 抽取 80）。

方法	训练范式	C10 平均 AUROC	SVHN 平均 AUROC	CelebA 平均 AUROC	12 任务全局平均 AUROC
IGEBM (NeurIPS 2019)	全量数据训练	51.8%	43.0%	48.9%	47.9%
VAEBM (ICLR 2021)	全量数据训练	53.0%	31.2%	78.5%	54.3%
DoS (AISTATS 2021)	全量数据训练	44.0%	95.5%	36.0%	58.5%
NLL (似然估计基线)	全量数据训练	43.5%	95.2%	35.5%	58.0%
MSMA (ICLR 2021)	全量数据训练	54.4%	41.6%	49.0%	48.3%
DDPM-OOD (CVPRW 2023)	全量数据训练	38.5%	85.8%	35.2%	53.2%
LMD (ICML 2023)	全量数据训练	42.1%	95.6%	40.5%	59.4%
DiffPath (NeurIPS 2024)	全量数据训练	83.0%	96.3%	99.9%	93.1%
UFCOD (本文)	仅 80–150 样本免微调	83.6%	97.9%	99.6%	93.7%

注：基准方法基于 CIFAR-10 训练时的各列细分成绩见正文表 1，UFCOD 在 12 个任务中于 7 个取得绝对最优，并在 CelebA vs SVHN 上取得 1.000 满分，平均以 93.7% 超越包括需微调的全数据 SOTA 方法 DiffPath（93.1%），展现出超 500 倍的样本效率增益。

消融实验¶

1. 核心模块增量贡献消融 通过在基线架构（随机抽样 + 均匀未加权近邻距离）基础上逐级引入技术创新，验证各模块正交增益：

配置	平均 AUROC	相对前级提升	模块设计作用说明
随机采样 + 未加权距离（Baseline）	86.83%	—	基础少样本二维能量评分框架
+ 设施选址（Facility Location）	87.82%	+1.00%	优化空间均匀覆盖，消除随机抽样方差
+ 温度软加权评分（Soft-Min, $T=0.5$）	89.25%	+1.43%	最优传输熵正则扩散，提升对采样空隙的鲁棒性
+ Z-score 分布校准（Full Model）	89.25%	阈值统一	保持 AUROC 保序性同时将各域 ID 分数标准化为 $\mathcal{N}(0, 1)$

2. 统计阶数与特征几何消融（验证克拉美-罗下界最优性）

特征组合配置	特征维度	CIFAR-10 平均	SVHN 平均	全局平均 AUROC
一阶矩统计量 ($f_1, f_4$)	2	60.6%	60.6%	60.6%
二阶矩能量（$f_2, f_5$，本文所提）	2	83.5%	98.0%	90.8%
三阶矩统计量 ($f_3, f_6$)	2	50.1%	80.8%	65.5%
纯轨迹几何特征组 ($f_1 - f_3$)	3	77.1%	76.9%	77.0%
纯时间动力学特征组 ($f_4 - f_6$)	3	69.5%	91.9%	80.7%
全量高维特征（Full-6D）	6	80.8%	94.0%	87.4%

关键发现¶

二阶能量统计量的紧凑最优性：实验证明 2D 二阶能量特征以 90.8% 大幅击败全量 6 维特征的 87.4%，这与克拉美-罗理论完全契合——一阶统计量对零均值高斯噪声无判别力（仅 60.6%），而三阶及更高阶特征具有 $\mathcal{O}(\sigma^3)$ 的样本复杂度，在少样本下极易过拟合或引入采样噪声。
少样本饱和拐点约为 100 样本：样本效率曲线分析表明，当样本规模从 10 增加到 100 时性能跃升最快，达到 100 样本后已触及全量数据极限性能的 97%，继续增加样本呈现显著边际效应递减。
语义相似度决定检测难度（Near-OOD 局限）：跨域性能呈现明显非对称性与语义依赖，在面部（CelebA）与数字（SVHN）等语义距离极远的远域任务上可达 99.5%–100%，但在语义高度重合的近域（Near-OOD，如 CIFAR-10 vs CIFAR-100）上性能回落至 54.7%，说明未经微调的无条件扩散模型能量特征更敏感于宏观流形拓扑与低阶纹理异常。

亮点与洞察¶

范式转变：几何表征超越密度估计：巧妙地指出 OOD 检测失效的根源在于高维密度估计的“似然悖论”与高样本复杂度，将扩散反向轨迹升华解释为得分函数动力学，利用离散索伯列夫范数将复杂高维图像坍缩为具有坚实信息几何意义的 2D 标量。
极其彻底的极简主义与通用性：仅凭单一在 CelebA 人脸图像上预训练的 32×32 DDPM 卷积网络，完全不针对自然物体或数字域执行任何一步微调，即可利用通用物理得分场特性跨域泛化，打破了传统检测器必须在目标领域训练专有模型的思维定势。
优雅的离散测度与最优传输衔接：把少样本下的不确定性近邻判断转化为熵正则化 Wasserstein-1 距离求解，自然推导出具备玻尔兹曼软最小值的软加权打分，并辅以设施选址消除边界奇异点，体系严谨且闭环。

局限与展望¶

作者指出的 Near-OOD 性能瓶颈：在语义细粒度极其接近的 Near-OOD 分布（例如 CIFAR-10 对 CIFAR-100）中仅取得 54.7% AUROC，表明仅依赖无条件扩散模型的全局得分范数难以捕捉微小的类别级语义边界。
前向多次网络推理的时延开销：由于需要沿 $T$ 个扩散步长对测试图像计算反向噪声预测（即使采用步长压缩，仍需数十次 UNet 前向推断），其单样本特征抽取耗时显著高于单次前向传递的分类器级检测器。
潜在改进方向：可探索将类别条件引导或轻量级视觉语言对齐表征（如 CLIP 特征残差）融入得分函数，并在扩散轨迹特征提取中引入类似一致性模型（Consistency Models）的一步/少步快速轨迹估计技术。

评分¶

新颖性: ⭐⭐⭐⭐⭐（颠覆了传统 OOD 的单域全数据训练范式，将扩散模型成功重塑为少样本通用的信息几何特征抽取器）
实验充分度: ⭐⭐⭐⭐⭐（覆盖 12 组多尺度跨域配对、8 种全数据主流基线，配备严格消融、克拉美-罗下界论证与最优传输解析推导）
写作质量: ⭐⭐⭐⭐⭐（动机清晰透彻，数学推导与实验洞察层层递进，概念规范且极具说服力）
价值: ⭐⭐⭐⭐⭐（极具工程应用前景的“一次训练、到处使用”少样本 OOD 范式，为低资源开放环境下的模型安全防御提供了全新工具）

特征组合配置	特征维度	CIFAR-10 平均	SVHN 平均	全局平均 AUROC
一阶矩统计量 (\(f_1, f_4\))	2	60.6%	60.6%	60.6%
二阶矩能量（\(f_2, f_5\)，本文所提）	2	83.5%	98.0%	90.8%
三阶矩统计量 (\(f_3, f_6\))	2	50.1%	80.8%	65.5%
纯轨迹几何特征组 (\(f_1 - f_3\))	3	77.1%	76.9%	77.0%
纯时间动力学特征组 (\(f_4 - f_6\))	3	69.5%	91.9%	80.7%
全量高维特征（Full-6D）	6	80.8%	94.0%	87.4%