Leveraging Dark Knowledge for Intrinsic Multimodal Out-of-Distribution Detection¶

会议: ECCV 2026
论文: ECCV 原文
领域: AI 安全
关键词: 域外检测, 多模态学习, 知识蒸馏, 暗知识, 不确定性估计

一句话总结¶

提出自多模态 OOD 蒸馏框架（Self Multimodal OOD Distillation），将单模态专家在 Logit 层编码的暗知识转化为似然加权的不确定性软目标，并通过目标类与非目标类解耦蒸馏指导跨模态联合分类头，无需重新训练重型主干即可显著提升多模态系统内在的 OOD 检测能力。

研究背景与动机¶

在自动驾驶、具身导航和智慧医疗等安全关键应用中，深度神经网络不仅需要在已知训练分布（In-Distribution, ID）内给出精确预测，还必须具备可靠识别语义分布偏移（Out-of-Distribution, OOD）样本的能力。随着现实系统普遍从单模态走向多模态，研究重心逐步扩展至多模态 OOD 检测。现有代表性方法（如 A2D、AN、DPU、Feature Mixing）主要致力于通过设计复杂的重训策略改善跨模态特征表示，例如引入对比学习约束类内分布、最大化模态间针对异常样本的分歧度、或合成伪异常样本来优化特征嵌入空间，随后将拼接特征送入以 One-Hot 真实标签监督的联合分类头。

然而，这类范式未能充分释放模态间的协同增益，主要受限于两个核心矛盾。一方面，现有方案普遍对所有模态进行平权处理，忽略了不同输入模态在 OOD 检测判别力上的显著不均衡——例如在动作识别场景中，视频模态的检测性能通常远优于光流模态，不加辨别的同等对待极易受弱性能模态的过置信噪声拖累；另一方面，训练阶段仅能提供硬标签（One-Hot），使得模型在训练时对同类中无论典型还是非典型的样本均以均一的高确定性进行拟合，缺失样本级的不确定性先验，从而引发 OOD 区域严重的盲目过置信（Overconfidence）。更为关键的是，单模态专家网络在 Logit 输出中天然蕴含了对输入不确定性与类别相关性的丰富暗知识（Dark Knowledge），但在现有特征融合体系中完全处于未被激活的闲置状态。

针对上述瓶颈，本文摒弃对大规模骨干网络的昂贵重训，转而从单模态专家内在的暗知识切入：将单模态专家群体自发生成的 Logit 视作真实不确定性后验分布的贝叶斯近似，通过动态似然加权聚合消除弱模态影响，并解耦为目标类与非目标类知识蒸馏以对齐共享表征空间的联合分类器。核心 idea：利用单模态专家网络输出的 Logit 暗知识构建似然加权的不确定性感知软目标，并按任务难度解耦为目标类与非目标类蒸馏监督，在轻量冻结主干下激活联合分类头的内在多模态 OOD 检测协同效应。

方法详解¶

整体框架¶

本文提出的自多模态 OOD 蒸馏框架（Self Multimodal OOD Distillation）由一组预先训练好且参数冻结的单模态专家网络、以及一个轻量级跨模态联合分类头组成。输入多模态样本时，各模态数据首先输入对应的单模态特征提取器，抽取出单模态嵌入；一方面，多模态特征直接拼接作为联合分类头（扮演 Student 角色）的输入；另一方面，各单模态专家分别输出原始类别的预测概率分布。系统以各单模态在当前批次上的负对数似然（交叉熵损失）评估其预测可靠性，计算出模态权重后进行凸组合，生成兼顾模态差异的不确定性感知软目标分布（扮演 Teacher 角色）。最终，通过解耦知识蒸馏损失将软目标的不确定性暗知识传递给联合分类头，同时辅以标准硬标签交叉熵损失完成端到端优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入样本<br/>视频 / 光流 / 音频"] --> B["多模态特征抽取与拼接<br/>拼接各模态嵌入 z"]
    A --> C["单模态分类与预测分布<br/>生成各模态概率 p_m"]
    C --> D["似然加权模态不确定性聚合<br/>负对数似然评估模态权重 w_m"]
    D --> E["软目标先验分布构建<br/>加权混合教师分布 p_T"]
    B --> F["共享表征联合分类头<br/>输出学生预测分布 p_S"]
    E --> G["解耦暗知识蒸馏<br/>目标类 TCKD 与非目标类 NCKD"]
    F --> G
    F --> H["硬标签任务监督<br/>真实标签交叉熵损失 L_CE"]
    G --> I["多任务联合损失优化<br/>仅更新分类头 h 10轮收敛"]
    H --> I
    I --> J["推理期 OOD 置信度评分<br/>MSP / Energy / GEN 等即插即用"]

关键设计¶

1. 似然加权的模态不确定性聚合：自适应抑制弱模态负迁移 在多模态系统中，不同模态对 OOD 样本的感知灵敏度存在天然鸿沟，例如光流分支的独立 OOD 检测性能通常大幅落后于视频分支。若直接采用等权重平均，较弱模态会向融合系统灌入大量错误置信度。为此，本文从贝叶斯模型平均（BMA）视角出发，假设在先验无偏的情况下，后验预测分布可通过各个模型在训练数据上的似然度进行加权近似。在实际训练中，算法利用当前 mini-batch 上的平均交叉熵负对数似然动态度量每个单模态专家的置信可靠性，其归一化权重计算如下：

\[w_m = \frac{\exp(-\text{CE}(f^m, \mathcal{B}))}{\sum_{j=1}^M \exp(-\text{CE}(f^j, \mathcal{B}))}\]

通过在批次级动态赋予高表现模态更高权重、自发惩罚未校准或高误差的弱模态，聚合生成的综合教师目标 \(p^{\text{T}} = \sum_{m=1}^M w_m p^m\) 既保留了全模态的互补不确定性信息，又防止了弱模态在蒸馏过程中造成负迁移。

2. 解耦暗知识蒸馏：针对近域与远域 OOD 的差异化监督 传统 KL 散度蒸馏将教师分布与学生分布整体匹配，但对于 OOD 检测任务，近域 OOD（Near-OOD）与远域 OOD（Far-OOD）面临的置信度失效机理截然不同：近域 OOD 样本紧贴 ID 决策边界，根本难点在于边界处的模糊样本识别；远域 OOD 样本则远离 ID 样本簇，核心挑战在于模型在稀疏空白区域仍因 One-Hot 硬标签过度拟合而产生非目标类的虚高置信度。为此，本文将软目标蒸馏解耦为目标类二值蒸馏（TCKD）与非目标类相对关系蒸馏（NCKD）：

\[\mathcal{L}_{\text{KD}} = \alpha \, \text{KL}(\boldsymbol{b}^{\text{T}} \parallel \boldsymbol{b}^{\text{S}}) + \beta \, \text{KL}(\hat{\boldsymbol{p}}^{\text{T}} \parallel \hat{\boldsymbol{p}}^{\text{S}})\]

其中 \(\boldsymbol{b} = [p_t, 1-p_t]\) 代表目标类与所有非目标类集合构成的二元概率向量，承载样本识别“难易度”的不确定性监督；\(\hat{\boldsymbol{p}}\) 为排除真实类别后在非目标类别集合内重新归一化的条件概率分布，刻画类别之间的语义相关几何结构。在近域场景下，调高 \(\alpha\)（如 \(\alpha=0.8, \beta=0.2\)）强化决策边界样本的二值不确定性学习；在远域场景下，调高 \(\beta\)（如 \(\alpha=0.1, \beta=0.9\)）强化非目标类之间的相对概率平滑，有效压制特征空间空白区域的异常高置信度。

3. 共享表征空间的自提供式学生-教师学习：轻量免重训即插即用 以往多模态 OOD 增强技术（如基于对抗生成或对比学习的方法）通常需要端到端重新调整庞大的单模态骨干网络参数，带来巨大的计算开销与灾难性遗忘风险。本文设计的 Student 分类器直接建立在各冻结单模态特征提取器输出的拼接空间之上，而 Teacher 的软目标正是由共享该底层特征提取器的单模态输出自发供给，无须引入外部大型预训练教师或辅助感知分支。分类头仅需在拼接特征上执行轻量级训练（仅 10 个 Epoch），便可将 Logit 层的多模态协同暗知识完全注入联合判别边界，兼具极高的训练效率与跨模型兼容性。

损失函数 / 训练策略¶

联合分类头 \(h\) 的训练目标包含标准多类交叉熵任务损失 \(\mathcal{L}_{\text{CE}}\) 以及上述解耦蒸馏损失：

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{CE}} + \alpha \, \text{KL}(\boldsymbol{b}^{\text{T}} \parallel \boldsymbol{b}^{\text{S}}) + \beta \, \text{KL}(\hat{\boldsymbol{p}}^{\text{T}} \parallel \hat{\boldsymbol{p}}^{\text{S}})\]

在蒸馏计算中，温度超参数保持为自然的 \(\tau = 1\)，以完整保留单模态专家预测后验的多样性与概率分布几何结构。模型使用 Adam 优化器与余弦退火学习率调度器（初始学习率 \(10^{-4}\)），批次大小为 16，在单张 NVIDIA A100 GPU 上仅微调联合分类头 10 个轮次即可收敛。推理时保持完全零额外开销，直接在联合分类头输出上计算 MSP、Energy、GEN 或 VIM 等任意经典后验置信度分数即可执行 OOD 判别。

实验关键数据¶

主实验¶

论文在五大动作识别多模态基准（HMDB51、UCF101、Kinetics-600、EPIC-Kitchens、HAC）上评测了 Near-OOD 与 Far-OOD 检测性能。骨干模型统一采用 Kinetics-600 预训练的 SlowFast 双流/三流网络。

表 1：双模态（视频 + 光流）近域 OOD（Near-OOD）检测性能对比（6次随机运行均值）

方法基线	HMDB51 25/26 FPR95(↓)	HMDB51 25/26 AUROC(↑)	UCF101 50/51 FPR95(↓)	UCF101 50/51 AUROC(↑)	EPIC-Kitchens 4/4 FPR95(↓)	Kinetics600 129/100 FPR95(↓)
Base	38.78	88.83	10.10	98.06	75.00	64.61
Base + Ours	34.99	90.12	5.92	98.57	73.84	61.37
A2D	38.34	88.22	7.09	98.19	66.23	63.04
A2D + Ours	37.86	88.78	5.32	98.51	69.40	61.64
AN (A2D+NPMix)	33.77	88.80	7.96	98.24	67.16	62.91
AN + Ours	34.25	90.07	5.51	98.56	65.19	61.80
DPU	34.42	89.15	7.57	98.17	63.81	61.59
DPU + Ours	33.25	89.65	7.84	98.31	64.70	59.46
FM (FeatureMix)	45.10	87.29	8.06	97.92	71.83	64.10
FM + Ours	37.73	88.99	6.06	98.49	72.16	62.75

表 2：以 HMDB51 为 ID 的远域 OOD（Far-OOD）检测性能对比（6次随机运行均值）

方法基线	Kinetics-600 FPR95(↓)	UCF101 FPR95(↓)	EPIC-Kitchens FPR95(↓)	HAC FPR95(↓)	平均 FPR95(↓)	平均 AUROC(↑)	ID 准确率(↑)
Base	26.91	31.47	22.12	23.49	26.00	93.18	87.46
Base + Ours	22.17	28.60	16.01	20.75	21.88	94.31	88.12
A2D	20.18	33.87	12.43	15.85	20.58	94.44	87.34
A2D + Ours	17.40	27.55	8.73	16.47	17.54	95.04	87.69
AN	24.29	36.94	7.18	23.15	22.89	93.94	86.66
AN + Ours	19.98	29.35	10.40	19.38	19.78	94.49	86.96
DPU	20.75	28.39	4.33	20.64	18.53	95.41	87.34
DPU + Ours	19.11	25.25	6.50	18.15	17.25	95.16	87.94
FM	20.30	34.89	9.01	19.27	20.87	94.12	86.32
FM + Ours	16.88	27.99	12.03	16.88	18.95	93.92	86.26

消融实验¶

表 3：各组件在 Far-OOD（HMDB51 为 ID）任务中的消融对比（6次随机运行均值）

配置与方法变体	UCF101 FPR95(↓)	HAC FPR95(↓)	EPIC-Kitchens FPR95(↓)	Kinetics-600 FPR95(↓)	平均 FPR95(↓)	平均 AUROC(↑)	ID 准确率(↑)
仅光流 (Flow only)	50.20	69.92	38.86	64.68	55.92	79.55	75.14
仅视频 (Video only)	44.36	36.94	34.21	39.57	38.77	89.31	85.63
预测平均 (Ensemble w/o FF)	32.84	28.85	20.64	30.33	28.16	92.80	87.91
朴素特征融合 (Vanilla, \(\alpha=\beta=0\))	31.47	23.49	22.12	26.91	26.00	93.18	87.46
联合预测均值 (Ensemble w/ FF)	32.50	25.88	21.44	28.05	26.97	93.08	88.03
等权重蒸馏 (Uniform KD)	29.44	22.37	16.62	23.40	22.96	94.08	88.21
最优单模态蒸馏 (Best KD)	30.13	20.84	16.90	22.19	22.52	94.17	87.89
完整框架 (Ours)	28.60	20.75	16.01	22.17	21.88	94.31	88.12

关键发现¶

暗知识蒸馏的不可替代性：朴素的预测平均（Ensemble w/o FF 平均 FPR95 28.16%）或特征层拼接（Vanilla 26.00%）虽然优于纯单模态，但仍显著逊于本文方法（21.88%），说明 Logit 层编码的非硬标签类别关联和不确定性信息是降低 OOD 虚高置信度的核心。
似然自适应加权的稳健性：相比于均匀蒸馏（Uniform KD，平均 FPR95 22.96%），引入似然权重后 FPR95 进一步降低 1.08% 到 21.88%；在光流模态人为扰动破坏的极端实验中（Table 6），朴素 Ensemble 在 UCF101 上的 FPR95 恶化至 33.50%，而本文方法仅为 7.38%，证明加权机制能自发压制失真模态。
近域与远域的解耦特异性：消融实验清晰证明 Near-OOD 主要依赖目标类蒸馏 TCKD（单独使用 TCKD 在 HMDB51 25/26 达到 34.99% FPR95，优于传统 KD 的 34.81%），而 Far-OOD 主要依赖非目标类关系蒸馏 NCKD（单独使用 NCKD 在 EPIC-Kitchens 将 FPR95 从 22.12% 压降至 16.01%）。

亮点与洞察¶

激活模型内在潜能的即插即用范式：不同于以往方案依赖计算昂贵的骨干网络端到端重训或复杂的合成外点生成，本文仅通过重新微调最顶层的联合分类头，耗时极短即能在 Vanilla 模型上超越复杂的重训 SOTA，且与已有方法完全正交兼容。
暗知识对多模态不确定性失效的机理解释：深刻揭示了多模态 OOD 检测中弱模态干扰与硬标签过拟合两大根本诱因，巧妙利用单模态专家的 Logit 似然组合作为无监督不确定性标签的代理估计，理论逻辑高度自洽。
任务导向的暗知识解耦调控方法论：提出 Near-OOD 看边界（依赖 TCKD 强化难样本学习）、Far-OOD 看流形结构（依赖 NCKD 平滑非目标类概率）的分析维度，为后续 OOD 检测算法针对不同部署环境设计精细化目标提供了清晰范例。

局限与展望¶

作者承认的局限：在面对全新且完全未知的 OOD 场景时，确定最优的解耦超参数 \(\alpha\) 与 \(\beta\) 仍有赖于验证集的先验假设或代理 OOD 调优；尽管作者给出了普适推荐配置（\(\alpha=0.5, \beta=0.5\)），在极端偏置场景下的自适应机制仍有提升空间。
真实场景的潜在局限：实验主要集中于动作识别视频基准（Video、Optical Flow、Audio），在图文视觉语言模型（VLM）或跨度更大的多传感器融合环境（如激光雷达与毫米波雷达）中的表现仍待进一步系统验证。
未来改进思路：可探索将 \(\alpha\) 和 \(\beta\) 的选择设计为样本级的动态门控网络，根据输入样本特征的熵值或模态分歧度实时调整目标类与非目标类蒸馏的侧重程度。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将单模态 Logit 暗知识解耦引入多模态 OOD 联合训练，视角独到。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大数据集、近域与远域双任务、5 种基线兼容性测试及模态扰动消融，数据详实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学建模严谨，与直觉洞察高度呼应。
价值: ⭐⭐⭐⭐☆ 免重训特性极大降低了多模态大模型的安全部署门槛，具备极高实用价值。