Out-of-Distribution Detection in Continual Learning¶
会议: NeurIPS 2026
arXiv: 2610.25901
OpenReview: https://openreview.net/forum?id=tUbhxJCUrN
领域: LLM 安全
关键词: 持续学习, 分布外检测, 柯尔莫哥洛夫-阿诺德网络, 任务自适应基函数, 几何引导流形约束
一句话总结¶
针对免重放持续学习中灾难性遗忘与缺乏历史数据导致的 OOD 判别失效问题，本文提出基于径向基柯尔莫哥洛夫-阿诺德网络（RBF-KAN）的任务自适应分类器（TA-KAN），通过依任务新旧程度动态调控激活局部性消除近期任务偏差，并引入基于 Prompt 空间的双层流形几何引导评分函数，在无需缓存历史样本的前提下实现了 ID 分类与 OOD 检测的双 SOTA。
研究背景与动机¶
持续学习旨在使模型能够从非平稳的数据流中序列化地汲取新知识，然而绝大多数现有方法都建立在封闭世界假设之上，即假定测试样本严格来自模型已经学习过的已知类别分布。在开放环境的实际部署中，模型不可避免会遇到未知的分布外（OOD）输入；若缺乏拒识能力，模型往往会给出高置信度的灾难性误判。为了构建可信赖的自适应系统，将 OOD 检测整合进持续学习框架（OOD-CL）至关重要。然而，OOD-CL 面临着双重严苛挑战：一方面，模型必须在学习一系列新任务的过程中克服灾难性遗忘，维持旧任务与新任务之间的精细决策边界；另一方面，在严格禁止访问历史任务训练数据（无重放缓冲区）以满足隐私与存储约束的前提下，模型必须可靠区分 OOD 样本与早期已知类，而传统的置信度评分方法在此类动态演化场景下极易退化。
近期，基于预训练模型与 Prompt 的微调范式在免重放持续学习中取得了主导地位，同时，引入具备局部神经可塑性（Local Neuroplasticity）的柯尔莫哥洛夫-阿诺德网络（KAN）作为分类器，被证明能通过局部参数更新极大缓解灾难性遗忘。然而，本文深入剖析发现，直接将标准 KAN 应用于开放世界 OOD-CL 时会遭遇严重的“近期任务偏差（Recency Bias）”：由于模型对新近学习的类别保持着更强烈的激活响应，使得早期任务所对应的 ID 样本极易被误判为 OOD，导致极高的假阳性率（FPR）。此外，为了对抗遗忘而对模型泛化能力的优化，往往会压低 ID 样本的输出置信度，使基于分类器置信度的经典 OOD 评分规则（如 MSP、MaxLogit）在 ID 与 OOD 之间的分数分布高度重叠，彻底失去判别效力；而传统的几何距离检测器（如 KNN、Mahalanobis）又必须依赖全量 ID 训练数据，在无重放持续学习中完全无法施行。
针对上述核心矛盾，本文的切入点是充分挖掘 RBF-KAN 中径向基函数核宽（Width）对激活局部性（Locality）的几何控制作用，并利用免重放 Prompt 结构本身所编码的高层任务语义构建轻量级几何先验。核心 idea：提出任务自适应分类器 TA-KAN，依据任务历史动态赋予 RBF 基函数差异化带宽——对早期任务收紧核宽形成高局部性锐利决策边界以抑制近期偏差，对新任务放宽核宽维持泛化能力，并结合 Prompt 空间的类与任务双层流形几何引导评分函数，在零历史样本重放条件下实现精准 OOD 判决。
方法详解¶
整体框架¶
本文提出的 OOD-CL 框架基于冻结主干网络（如 Vision Transformer）与任务 Prompt 架构构建，整体推理与判别流水线由输入特征提取、基于 Query-Key 相似度的任务亲和度估计、TA-KAN 局部性自适应分类扩展，以及结合分类器置信度与 Prompt 几何引导的双层流形 OOD 评分四个阶段组成。
输入样本 \(\boldsymbol{x}\) 首先送入冻结主干提取表征 \(g(\boldsymbol{x}) = \boldsymbol{z} \in \mathbb{R}^D\) 及查询向量 \(q(\boldsymbol{x})\)。系统通过将 \(q(\boldsymbol{x})\) 与各任务的可学习 Prompt 键值 \(\boldsymbol{k}_t\) 进行余弦匹配，自动估计样本的任务亲和度 \(\hat{t}(\boldsymbol{x})\)。该任务索引不仅反映了 ID 样本的归属任务，更揭示了 OOD 样本在已知特征流形中最易发生语义混淆的脆弱区域。随后，TA-KAN 分类器根据 \(\hat{t}(\boldsymbol{x})\) 动态选取单调递增的基函数缩放因子 \(\alpha_{\hat{t}(\boldsymbol{x})}\)，将隐层特征投影到局部性可控的 RBF 扩展空间并输出分类 logits。最后，OOD 检测模块将 TA-KAN 输出的分类置信度与基于 Prompt 键值最大匹配相似度的几何引导项相融合，施加类级别与任务级别的双层流形约束，判定样本是否属于分布外输入。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入样本 x<br/>冻结主干提取特征 z 与查询 q(x)"] --> B["任务亲和度匹配<br/>Query-Key 余弦对齐估计最邻近任务"]
B --> C["TA-KAN 局部性自适应分类扩展<br/>依任务新旧调度 RBF 核宽生成锐利边界"]
B --> D["Prompt 空间几何引导计算<br/>提取任务级原型最大相似度"]
C --> E["双层流形联合 OOD 评分判定<br/>类对齐置信度 × 任务对齐几何引导"]
D --> E
E --> F["输出：预测类别标签 / OOD 拒识裁决"]关键设计¶
1. 任务亲和度引导的激活区域定位：自适应捕捉最易混淆的流形区域
在无重放持续学习中，测试阶段无法获取样本的任务 ID 真实标签，若盲目分配参数会打破单模型类增量学习的简洁性假设。本文巧妙复用 Prompt-based CIL 模型内置的 Query-Key 匹配机制，利用样本的 \([CLS]\) 查询表征 \(q(\boldsymbol{x}) = g(\boldsymbol{x})[0]\) 与所有已学习任务的 Prompt 键向量 \(\boldsymbol{k}_t^i\) 计算余弦相似度 \(\gamma\)，通过贪心极大化估计输入样本的任务亲和度： $\(\hat{t}(\boldsymbol{x}) = \arg\max_{t \in \{1,\dots,T\}} \max_{i \in \{1,\dots,M\}} \gamma\big(q(\boldsymbol{x}), \boldsymbol{k}_t^i\big)\)$ 对于 ID 样本，\(\hat{t}(\boldsymbol{x})\) 能够高精度命中其所属的真实任务；而对于 OOD 样本，\(\hat{t}(\boldsymbol{x})\) 则精确揭示了该样本在已知类别流形中最邻近、最容易诱发决策模糊与误判的历史任务区域。通过这一免额外参数的设计，模型锁定了需要进行局部决策边界锐化的重点目标区域。
2. 任务自适应 RBF-KAN 分类器：单调核宽调度消除近期任务偏差
标准 KAN 采用径向基函数近似激活，其高斯核宽 \(\sigma\) 直接决定了网络响应的局部性（Locality）：核宽越窄，激活响应越尖锐且随空间距离衰减越迅速，反之则响应平滑宽广。为了消除早期任务面临的近期任务偏差，TA-KAN 设计了一种随任务新旧递进的确定性带宽调度策略： $\(\alpha_t = \alpha_{\min} + \frac{t - 1}{N - 1} (\alpha_{\max} - \alpha_{\min})\)$ 其中 \(0 < \alpha_{\min} \le \alpha_t \le \alpha_{\max} \le 1\)。在推理时，模型根据推断出的任务亲和度 \(\hat{t}(\boldsymbol{x})\) 调用对应缩放系数 \(\alpha_{\hat{t}(\boldsymbol{x})}\)，将特征维度 \(z_p\) 在中心点 \(c_i\) 上的高斯基函数定义为： $\(\phi\left(\|z_p - c_i\|; \alpha_{\hat{t}(\boldsymbol{x})}\right) = \exp\left(-\frac{(z_p - c_i)^2}{2(\alpha_{\hat{t}(\boldsymbol{x})} s)^2}\right)\)$ 早期任务（较小的 \(t\)）被分配更小的基函数宽度 \(\alpha_t s\)，构建出紧致封闭的超球状局部激活域，使得逼近旧类流形的 OOD 样本响应迅速衰减，彻底改善了旧类别的 ID–OOD 可分性；而新近任务（较大的 \(t\)）保留较宽的基函数以包容类内方差，维持泛化性能。全网络仅共享单一权重矩阵 \(\boldsymbol{W} \in \mathbb{R}^{C \times (D \times G)}\)，完全不增加任何可学习参数。
3. Prompt 空间几何引导评分：免重放的双层流形联合约束
传统的纯分类器置信度评分（如最大 Softmax 概率 \(S(\boldsymbol{x})\)）在持续学习中因遗忘抑制策略而面临过度自信或置信度整体受抑的双重缺陷，且传统特征空间几何方法因无法访问历史数据而失效。本文提出利用保留在各任务 Prompt 键值中的高级语义构建几何引导得分 \(\Gamma(\boldsymbol{x})\)。通过提取查询与所有已学键值的最大余弦相似度并归一化到 \([0, 1]\)： $\(\tilde{\Gamma}(\boldsymbol{x}) = \frac{\max_{t, i} \gamma(q(\boldsymbol{x}), \boldsymbol{k}_t^i) + 1}{2}\)$ 最终构建引导 OOD 得分 \(S_{\text{Guided}}(\boldsymbol{x}) = S(\boldsymbol{x}) \cdot \tilde{\Gamma}(\boldsymbol{x})\)。从流形几何视角，该得分等价于同时施加“类原型对齐”与“任务原型对齐”的双层流形约束： $\(S_{\text{Guided}}(\boldsymbol{x}) \approx \underbrace{\max_{c \in \{1,\dots,C\}} \boldsymbol{w}_c^\top \boldsymbol{z}}_{\text{类级别对齐}} \;\cdot\; \underbrace{\max_{t \in \{1,\dots,N\}} \boldsymbol{k}_t^\top \boldsymbol{z}}_{\text{任务级别对齐}}\)$ 样本必须同时与特定类别决策边界以及特定任务流形高度契合，才能获得高 ID 置信度；任何未能在类或任务任一流形上获得支撑的输入均会被有效抑制，从根源上消除了伪高置信度。
损失函数 / 训练策略¶
在学习任务 \(\mathcal{T}_t\) 的增量阶段，由于此时仅有当前任务的训练集 \(\mathcal{D}_t\) 可用，模型采用端到端联合优化目标： $\(\mathcal{L} = \mathcal{L}_{\text{CE}}\left(h_{\text{TA-KAN}}(g(\boldsymbol{x}); \alpha_t), y\right) + \lambda \mathcal{L}_{\text{match}}(\boldsymbol{x}, \boldsymbol{k}_t), \quad \boldsymbol{x} \in \mathcal{D}_t\)$ 其中第一项为基于真实任务索引 \(t\) 对应核宽参数 \(\alpha_t\) 的交叉熵分类损失 \(\mathcal{L}_{\text{CE}}\)；第二项为拉近查询表征与当前任务键值的匹配损失 \(\mathcal{L}_{\text{match}}(\boldsymbol{x}, \boldsymbol{k}_t) = \gamma(q(\boldsymbol{x}), \boldsymbol{k}_t)\)，\(\lambda\) 为平衡系数。训练过程完全不依赖任何过往任务的数据重放，亦无需在训练期间合成伪 OOD 离群样本。
实验关键数据¶
主实验¶
实验基于非重放类增量基准 CODAPrompt 进行评估，骨干网络采用 ViT-B/16。对比了线性分类头、余弦头、最近类均值（NCM）、标准 KAN 分类头以及当前最先进的专用 OOD-CL 方法（MORE、MSP-BC-CE、ProKT）。下表列出 CUB-200（5/10/20 任务）与 ImageNet-R（5/10/20/40 任务）上的关键性能对比，指标包括最终任务学习后的假阳性率（\(\text{FPR}_L\)，越低越好）、受试者工作特征曲线下面积（\(\text{AUC}_L\)，越高越好）以及最终 ID 准确率（\(\text{ACC}_L\)，越高越好）。
| 数据集 | 任务划分 | 指标 | TA-KAN+Guidance (本文) | KAN-Head (基线) | Linear-Head | MORE (带重放SOTA) | 相对基线提升 |
|---|---|---|---|---|---|---|---|
| CUB-200 | 5 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 48.73 / 86.42 / 80.86 | 59.65 / 83.48 / 81.55 | 66.16 / 79.30 / 73.85 | 66.96 / 80.06 / 74.47 | \(\text{FPR}-10.92\%\) / \(\text{AUC}+2.94\%\) |
| CUB-200 | 10 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 68.28 / 81.99 / 77.49 | 71.11 / 80.53 / 78.29 | 71.93 / 77.41 / 68.35 | 79.46 / 77.15 / 71.05 | \(\text{FPR}-2.83\%\) / \(\text{AUC}+1.46\%\) |
| CUB-200 | 20 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 50.48 / 84.77 / 75.70 | 59.69 / 81.86 / 75.24 | 67.91 / 79.56 / 61.69 | 65.87 / 79.29 / 70.90 | \(\text{FPR}-9.21\%\) / \(\text{AUC}+2.91\%\) |
| ImageNet-R | 5 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 39.72 / 85.92 / 78.83 | 42.52 / 84.81 / 79.25 | 42.74 / 85.44 / 77.96 | 45.82 / 80.74 / 78.63 | \(\text{FPR}-2.80\%\) / \(\text{AUC}+1.11\%\) |
| ImageNet-R | 10 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 39.98 / 86.87 / 77.76 | 43.04 / 85.64 / 78.76 | 45.69 / 86.26 / 76.51 | 49.21 / 80.12 / 74.29 | \(\text{FPR}-3.06\%\) / \(\text{AUC}+1.23\%\) |
| ImageNet-R | 20 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 42.61 / 86.10 / 77.03 | 44.00 / 85.40 / 77.42 | 53.49 / 85.28 / 73.90 | 53.67 / 80.31 / 71.82 | \(\text{FPR}-1.39\%\) / \(\text{AUC}+0.70\%\) |
| ImageNet-R | 40 Tasks | \(\text{FPR}_L \downarrow\) / \(\text{AUC}_L \uparrow\) / \(\text{ACC}_L \uparrow\) | 44.03 / 86.41 / 72.38 | 44.80 / 84.63 / 73.95 | 53.21 / 81.57 / 68.80 | 59.61 / 79.32 / 70.45 | \(\text{FPR}-0.77\%\) / \(\text{AUC}+1.78\%\) |
消融实验¶
在 CUB-200 数据集上跨所有任务设置平均评估各核心组件的贡献（指标含最终步与增量平均步）。
| 配置 | \(\text{FPR}_L \downarrow\) | \(\text{FPR}_A \downarrow\) | \(\text{AUC}_L \uparrow\) | \(\text{AUC}_A \uparrow\) | \(\text{ACC}_L \uparrow\) | \(\text{ACC}_A \uparrow\) | 说明 |
|---|---|---|---|---|---|---|---|
| MLP-Head | 77.46 | 64.09 | 71.16 | 77.72 | 54.82 | 70.49 | 参数量对齐的多层感知机分类头 |
| Linear-Head | 68.67 | 59.17 | 78.76 | 82.40 | 67.96 | 79.42 | 基础线性分类头 |
| Linear-Head + Guidance | 67.03 | 60.81 | 79.06 | 82.54 | 67.96 | 79.42 | 线性头叠加几何引导 |
| KAN-Head (Baseline) | 63.48 | 56.00 | 81.96 | 85.16 | 78.36 | 85.37 | 标准固定宽度 RBF-KAN 头 |
| KAN-Head \(\alpha_{\min}\) | 60.12 | 54.28 | 82.27 | 85.80 | 76.11 | 84.52 | 全局收紧窄宽度，泛化下降致 ACC 损失 2.25% |
| KAN-Head trainable \(\sigma\) | 64.69 | 56.30 | 81.53 | 85.04 | 78.16 | 85.36 | Free-KAN 风格的可学习基函数宽度，过拟合已知域 |
| KAN-Head + Guidance | 58.46 | 54.13 | 82.75 | 85.83 | 78.36 | 85.37 | 标准 KAN 叠加几何引导 |
| TA-KAN Head | 58.03 | 55.16 | 83.94 | 85.64 | 78.02 | 85.24 | 任务自适应宽度调度（无引导得分） |
| TA-KAN + Guidance (完整模型) | 55.83 | 52.18 | 84.39 | 86.18 | 78.02 | 85.24 | 完整模型：自适应局部性与几何引导深度协同 |
关键发现¶
- 局部性调控的决定性作用：单纯全局减小 RBF 核宽（
KAN-Head α_min）虽然略微改善了局部可分性，但导致 ID 分类准确率下降超过 2.25%；而将其设为可学习参数（trainable σ）则会因过度适配当前 ID 结构而使泛化性进一步退化。TA-KAN 依据任务先后实行动态度量调度，在维持 ID 分类高精度的同时，将平均 FPR 压低了 7.65%。 - 双层几何引导的高效互补：在 TA-KAN 已经大幅削弱近期偏差的基础上，引入基于 Prompt 键值的几何引导 \(\Gamma(\boldsymbol{x})\) 进一步将最终 FPR 降低了 2.20%（58.03% \(\to\) 55.83%），证明分类器输出的类决策边界与 Prompt 空间隐式编码的任务流形具备极强的正交互补性。
- 细粒度与多样风格下的难度差异：在具有精细语义重叠的 CUB-200 上，TA-KAN 的增益最为显著（平均 FPR 下降 12.57%，单项降幅高达 18.31%）；而在类内风格方差极大的 ImageNet-R 上，局部性收紧与风格不变性之间存在微弱权衡，但 TA-KAN 依然稳健优于包含回放机制在内的所有强基线。
亮点与洞察¶
- 将神经可塑性从防遗忘拓宽至拒识安全：传统认知仅将 KAN 的局部神经可塑性视作避免新知识覆盖旧参数的“防遗忘护盾”，本文首次揭示并系统解决了其在开放世界中的“近期任务偏倚”，利用确定性核宽调度将该物理特性转化为增强旧类与未知类边界隔离度的利器。
- 零开销挖掘 Prompt 空间的双层几何约束：不依赖外部辅助离群数据集，也不依赖被严格禁用的历史重放缓存，而是敏锐挖掘预训练模型冻结状态下已学 Prompt 键值所承载的任务流形，以近乎零计算开销的形式构造出高维几何引导，优雅克服了持续学习下的分类器过自信缺陷。
局限与展望¶
- 作者承认的局限：核宽缩放参数 \(\alpha_{\min}\) 仍需要针对不同数据集的类内方差特性进行粗略设定（如在细粒度数据集与大方差数据集上存在敏感度差异），且当前方法依赖于前端 Prompt 模型的 Query-Key 检索质量。
- 自身发现的局限：若 OOD 样本在语义特征上极其靠近早期任务的边缘分布，由于早期任务被赋予了极其严苛的局部激活范围，若其落在核宽覆盖范围之外虽能被正确标为 OOD，但在某些具有严重协变量偏移（Covariate Shift）的纯在域样本上可能会引起拒识误伤。
- 未来改进思路：可探索将测试时无监督分布自适应（Test-Time Adaptation）与 RBF 核宽的动态后验更新相结合，使局部性参数能够根据测试流的局部密度自适应伸缩。
相关工作与启发¶
- vs MORE / SOTA 缓冲方法：MORE 等方案依赖昂贵的样本重放缓冲区来维持历史决策面，违反数据隐私规范且存储开销随任务线性攀升；TA-KAN 完全免除重放缓冲区，却在 OOD 检测指标上全面击败了带回放机制的 SOTA 方法。
- vs 传统几何评分（KNN / Mahalanobis / NNGuide）：传统几何方法要求保存全部历史训练集的深层嵌入以计算邻域距离，在 CIL 场景中完全不可行；本文将邻域检索转移至极紧凑的 Prompt 键向量空间，提供了一种全新的无重放几何引导范式。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将 KAN 局部性控制与 Prompt 任务流形结合解决免重放 OOD-CL 的近期偏差。
- 实验充分度: ⭐⭐⭐⭐⭐ 跨 3 大基准、多达 4 种任务切分、覆盖全部最终步与增量平均步指标及全面消融。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，问题溯源清晰，数学建模精炼且物理直觉极强。
- 价值: ⭐⭐⭐⭐⭐ 为开放环境下的动态模型安全部署与免重放持续学习提供了极具实用价值的范式参考。