Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition¶
会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/LarsDoorenbos/modality-aware-ood
领域: 视频理解
关键词: 多模态动作识别, OOD检测, 事后检测器, 模态相关性, 特征流形不变性
一句话总结¶
针对多模态动作识别中现有 OOD 检测方法仅在训练期施加正则化、而在推理期沿用单模态现成检测器导致跨模态信息丢失的缺陷，本文首次提出纯事后（post-hoc）多模态感知 OOD 检测器，通过量化单模态到多模态预测的线性映射残差、提取多模态联合特征流形的低方差线性不变性、并将其融入虚拟 logit 归一化评分，在 Multi-OOD 基准上显著超越现有 SOTA。
研究背景与动机¶
多模态动作识别系统通过融合 RGB 视频、光流与音频等互补信号，在封闭测试基准上取得了优异的识别精度。然而，当这些系统部署于开放世界时，极易受到分布外（Out-of-Distribution, OOD）样本的干扰，并以极高置信度将其误分为某一已知类别，带来严重的隐式失效风险。为了增强模型鲁棒性，现有研究主要探索了以 Agree-to-Disagree（A2D）、DPU 和 FM 为代表的多模态 OOD 训练期正则化方法，通过在训练阶段显式拉大非真值类别上的单模态预测差异来感知异常。
然而，现有方法存在一个被普遍忽视的根本矛盾：在训练阶段精心设计的跨模态关联机制，在推理阶段却被彻底弃置。所有现有多模态方法在推断时均直接沿用针对单模态网络设计的现成（off-the-shelf）检测器（例如 MSP、Energy、Mahalanobis 或 ViM），仅仅将多模态特征简单拼接或直接作用于多模态分类头，完全忽视了推理阶段不同模态输出之间的相对关系所蕴含的异常线索。
本文作者深入探究了 ID 与 OOD 样本在单模态与多模态预测之间的内在联系，发现了一个关键规律：对于 ID 样本，多模态输出分布可以高度精确地表示为各个单模态输出的线性组合（HMDB 数据集上 Pearson 相关系数高达 0.998）；而对于 OOD 样本，由于输入偏离了预训练表征共同收敛的语义空间，单模态与多模态预测之间的这种强线性对应关系被严重破坏。核心 idea：利用单模态到多模态预测的映射残差刻画跨模态语义失真，结合联合特征空间低方差线性不变性度量流形偏离，并将其作为虚拟 logit 引入多模态分类置信度归一化中，构建首个推理期免训练的多模态感知 OOD 检测器。
方法详解¶
整体框架¶
本文提出的方法是一个免训练的后处理（post-hoc）检测框架，无需重新训练多模态主干网络，能够无缝插入到任意采用单模态与多模态联合分类头的现有动作识别架构中。在推理阶段，输入多模态样本首先分别通过单模态编码器与分类头得到单模态 logits，并通过融合层得到多模态 logits；接着，框架从三个互补维度综合评估 OOD 程度：一是基于类条件线性映射计算单模态与多模态预测概率分布的残差距离；二是通过联合特征协方差矩阵的特征分解，提取表征数据流形法向的线性不变性并计算子空间马氏距离；最后将这两个距离指标经校准缩放后作为虚拟类别 logit，与原始多模态 logits 联合进行 Softmax 归一化，输出最终的 OOD 异常概率。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
IN["多模态测试输入<br/>RGB 视频 / 光流 / 音频"] --> ENC["单模态编码器群 & 融合网络"]
ENC --> LOGITS["单模态 Logits z(m) & 联合特征 (e1,...,eM)"]
LOGITS --> S_SCORE["模态感知预测残差评分<br/>类条件线性映射拟合多模态概率分布"]
LOGITS --> R_SCORE["特征流形低方差不变性评分<br/>Ledoit-Wolf 协方差分解与子空间马氏距离"]
S_SCORE --> CALIB["统计量对齐与缩放<br/>验证集最大 logit 均值与方差校准"]
R_SCORE --> CALIB
CALIB --> VIRTUAL["虚拟 Logit 融合与多模态归一化<br/>统一映射至 OOD 后验概率 g(x)"]
VIRTUAL --> OUT["输出 OOD 判定分数"]关键设计¶
1. 模态感知预测残差评分：基于单模态线性聚合误差捕获语义失真
针对推理期忽略模态间相对关系的痛点，本文利用训练良好的模型中单模态表征趋于共享向量空间的特性。在包含 \(N\) 个 ID 样本的验证集上，对每个类别 \(c\) 独立求解带截距的最小二乘回归：
$\(\tilde{\mathbf{w}}_c = \arg\min_{\tilde{\mathbf{w}}_c} \|\tilde{\mathbf{A}}_c \tilde{\mathbf{w}}_c - \mathbf{b}_c\|_2\)$
其中 \(\tilde{\mathbf{A}}_c = [\mathbf{A}_c, \mathbf{1}] \in \mathbb{R}^{N \times (M+1)}\) 包含 \(M\) 个模态在类别 \(c\) 的 logits 及偏置项，\(\mathbf{b}_c \in \mathbb{R}^N\) 为真实多模态 logits。测试时，利用学习到的权重矩阵估计多模态 logits \(\bar{\mathbf{z}}^{(f)} = [\tilde{\mathbf{z}}_1^\top \tilde{\mathbf{w}}_1, \dots, \tilde{\mathbf{z}}_C^\top \tilde{\mathbf{w}}_C]^\top\)。为了消除 ID 样本 logit 范数普遍偏大带来的尺度不均衡，本文对预测值与实际值分别取 Softmax 映射到概率单纯形，计算二者的 \(L_2\) 距离作为模态感知分数 \(s(x) = \|\text{softmax}(\bar{\mathbf{z}}^{(f)}) - \text{softmax}(\mathbf{z}^{(f)})\|_2\)。当遭遇 OOD 样本时，各模态特征退化导致跨模态协同映射关系破裂，残差显著增大。
2. 特征流形低方差不变性评分：正交低维子空间探测离流形样本
针对表征层面上仅靠多模态拼接无法灵敏捕捉跨模态流形偏离的问题，本文引入了线性数据不变性（Linear Invariants）理论。将所有模态的归一化特征拼接为 \(D\) 维多模态特征向量，利用无超参的 Ledoit-Wolf 收缩估计器构建高维小样本场景下良态的样本协方差矩阵 \(\mathbf{\Sigma} = \mathbf{Q}\mathbf{\Lambda}\mathbf{Q}^\top\)。选取方差贡献最小（累积解释方差小于超参 \(p=0.5\%\)）的后 \(k\) 个特征向量 \(\mathbf{Q}_k \in \mathbb{R}^{k \times D}\) 及其对应特征值对角阵 \(\mathbf{\Lambda}_k \in \mathbb{R}^{k \times k}\)，这些方向对应于 ID 训练数据近乎恒定的不变几何约束。进而计算测试样本偏离流形法向的子空间马氏距离：
$\(r(x) = \sqrt{(x - \mu)^\top \mathbf{Q}_k \mathbf{\Lambda}_k^{-1} \mathbf{Q}_k^\top (x - \mu)}\)$
该设计使狭窄低方差维度上的微小漂移被高权重视为离群扰动，从而对不符合 ID 模态共现规律的样本产生极强的敏感度。
3. 虚拟 Logit 融合与多模态归一化：多源异构异常信号的统一标定
为融合预测残差 \(s(x)\)、特征偏离 \(r(x)\) 与原始多模态 logits \(\mathbf{z}^{(f)}\)，本文采用虚拟 logit 机制并加入统计量校准。首先统计验证集上模型最高输出 logit 的均值与标准差 \((\mu_l, \sigma_l)\)，并将 \(s(x)\) 与 \(r(x)\) 标准化至同一量纲：
$\(s'(x) = \gamma_s \left( \frac{\sigma_l}{\sigma_s} s(x) + \mu_l - \frac{\sigma_l}{\sigma_s} \mu_s \right)\)$
同理得到 \(r'(x)\)。超参数 \(\gamma_s\) 与 \(\gamma_r\) 分别调控两部分的相对强度。最终将缩放后的分数作为对应于潜在 OOD 类别的虚拟 logits，与原始类别的 logits 联合计算归一化 OOD 后验概率：
$\(g(x) = \frac{e^{s'(x)} + e^{r'(x)}}{\sum_{c=1}^C e^{z_c^{(f)}} + e^{s'(x)} + e^{r'(x)}}\)$
当输入为确信的 ID 样本时，分类器极高的一致性 logits 会极大地压制分母，使 \(g(x) \to 0\)；一旦遭遇特征离流形或跨模态映射失真的 OOD 样本，分子中的指数项迅速主导并产生明确的 OOD 预警。
损失函数 / 训练策略¶
本文方法为纯推理期（post-hoc）算法，测试阶段不改变任何模型权重。在预训练和下游微调阶段，基础多模态网络采用标准的 \(M+1\) 路交叉熵联合优化： $\(\mathcal{L}_{cls}(x, y) = \mathcal{L}_{CE}(z^{(f)}, y) + \sum_{m=1}^M \mathcal{L}_{CE}(z^{(m)}, y)\)$ 主实验默认在采用 DPU（Dynamic Prototype Updating）正则化训练的多模态网络上运行。推断时仅需在验证集前向传播一次计算协方差与类回归系数，耗时可忽略不计；默认超参数设为 \(p = 0.5\%\), \(\gamma_s = 0.4\), \(\gamma_r = 1.25\)。
实验关键数据¶
主实验¶
论文遵循 Multi-OOD 基准评测规范，在 Kinetics-600（400 训练类为 ID，200 验证类拆分为 Near-OOD 与 Far-OOD）以及 HMDB51、UCF101、HAC、EPIC-Kitchen 等数据集上进行系统对比。评价指标采用 95% 真实阳性率下的假阳性率（FPR95 \(\downarrow\)）与受试者工作特征曲线下面积（AUROC \(\uparrow\)）。
下表展示了以 Kinetics-600 为 ID 数据集、视频+光流（Video + Optical Flow）双模态下的 Far-OOD 检测性能对比（基线模型均基于相同 SlowFast 骨干网络，重复 3 次实验）：
| 训练与后处理方法 | HMDB51 (FPR↓ / AUC↑) | UCF101 (FPR↓ / AUC↑) | HAC (FPR↓ / AUC↑) | EPIC-Kitchen (FPR↓ / AUC↑) | 平均 FPR↓ | 平均 AUC↑ | ID 分类 Acc (%) |
|---|---|---|---|---|---|---|---|
| A2D (概率型, A2Dp) | 61.7 / 80.6 | 57.0 / 78.0 | 42.0 / 87.0 | 40.1 / 85.1 | 50.2 | 82.7 | 73.7 |
| A2D (特征型, A2Df) | 63.7 / 79.1 | 62.2 / 75.3 | 46.5 / 85.2 | 36.1 / 88.7 | 52.1 | 82.1 | 72.5 |
| A2D (混合型, A2Dh) | 63.3 / 74.0 | 66.3 / 74.1 | 53.8 / 81.1 | 34.5 / 87.7 | 54.5 | 79.2 | 73.7 |
| FM (合成异常, FM) | 62.9 / 74.3 | 67.7 / 74.4 | 54.9 / 80.6 | 33.5 / 87.6 | 54.8 | 79.2 | 73.7 |
| DPU (概率型, DPUp) | 54.0±2.4 / 83.2±0.4 | 52.6±1.5 / 81.8±0.4 | 46.6±2.4 / 84.8±1.2 | 30.5±0.5 / 89.7±0.9 | 45.9 | 84.9 | 75.2 |
| DPU (特征型, DPUf) | 58.5±6.5 / 84.9±0.7 | 57.7±3.1 / 82.9±1.1 | 52.3±3.5 / 84.6±0.8 | 24.5±0.5 / 91.7±0.9 | 48.3 | 86.0 | 75.2 |
| DPU (混合型, DPUh) | 59.7±6.1 / 79.5±3.2 | 59.2±3.6 / 76.7±3.5 | 48.6±2.3 / 82.6±1.3 | 25.6±0.5 / 90.8±0.8 | 48.3 | 82.4 | 75.2 |
| 本文 (Ours) | 49.9±4.2 / 88.5±0.6 | 37.6±2.3 / 90.8±0.8 | 44.2±2.5 / 86.2±1.0 | 27.1±1.2 / 90.9±1.0 | 39.7 | 89.1 | 75.2 |
在以 HMDB51 为 ID 的 Far-OOD 设置下，本文方法同样取得了 10.1 FPR 与 97.0 AUC 的最佳综合指标（大幅优于 A2Dp 的 23.0 FPR 与 FM 的 20.0 FPR）。而在挑战性的 Near-OOD 设置中，本文平均 FPR 达到 43.1、AUC 达到 84.5，全面领先此前最优基准。
消融实验¶
为了验证混合检测器中三路信息源（预测残差 \(s(x)\)、不变性特征偏离 \(r(x)\)、多模态置信度 \(g(x)\)）的互补性，作者在 Kinetics-600 Near-OOD 与 Kinetics-600:HAC Far-OOD 上进行了组件剥离实验：
| \(s(x)\) (模态残差) | \(r(x)\) (特征不变性) | \(g(x)\) (输出Logit/能量) | Near-OOD FPR↓ | Far-OOD (HAC) FPR↓ | 说明 |
|---|---|---|---|---|---|
| ✓ | ✗ | ✗ | 64.1 | 57.1 | 单纯依赖模态映射残差 |
| ✗ | ✓ | ✗ | 71.6 | 52.7 | 单纯依赖特征流形不变性 |
| ✗ | ✗ | ✓† | 64.8 | 46.8 | 仅使用多模态 Energy 评分 |
| ✓ | ✓ | ✗ | 68.4 | 45.9 | 结合特征与跨模态残差 |
| ✗ | ✓ | ✓ | 64.8 | 41.7 | 经典特征+Logit混合结构 |
| ✓ | ✗ | ✓ | 64.6 | 47.5 | 预测残差与Logit结合 |
| ✓ | ✓ | ✓ | 64.0 | 41.6 | 完整模型（三源互补达到最优） |
注：(†) 仅使用 \(g(x)\) 时退化为标准 Energy 分数。
关键发现¶
- 三源互补效应显著：单纯使用特征不变性 \(r(x)\) 在 Near-OOD 上表现不佳（FPR 高达 71.6），而单独使用残差 \(s(x)\) 在 Far-OOD 上相对较弱（57.1）；三者结合后两项任务的 FPR 均取得最低值（64.0 与 41.6），证明多模态 OOD 空间需要多层次联合约束。
- A2D 模态差异假设的推理期局限性：A2D 假定 OOD 样本在单模态预测上不一致并据此做正则化，但实验表明在测试期直接计算单模态分布距离（或剔除预测类别后的差异）是极弱的 OOD 判别器；相比之下，本文计算单模态与多模态联合头的线性残差将 Kinetics:HMDB Far-OOD 的 FPR 降低了 16.0 个百分点。
- 三模态扩展收益：在 EPIC-Kitchens:Kinetics 三模态（视频+光流+音频）实验中，单音频 FPR 表现较弱（48.5 FPR / 86.7 AUC），但将其并入视频与光流后，整体指标从 12.8 FPR / 97.2 AUC 进一步提升至 10.8 FPR / 98.0 AUC，展现了检测器对微弱有效模态的吸收利用能力。
- 小样本验证集稳健性：类条件线性拟合 \(\tilde{\mathbf{w}}_c\) 每个类别仅需估计 \(M+1\) 个参数，即使将验证集降采样至仅剩 1%（甚至 0.5%），测试集 AUC 衰减仍小于 0.2 个百分点，极难过拟合。
亮点与洞察¶
- 将“共享语义空间收敛”转化为 OOD 判别准则：巧妙利用了多模态学习中单模态表征在 ID 上收敛到柏拉图式共享空间的经验规律，创造性地用低维线性回归残差来衡量多模态联合推断的“语义破裂”，为多模态 OOD 提供了全新视角。
- 免训练即插即用（Post-hoc）兼容性：不依赖特定训练正则化算法，既可作用于标准交叉熵模型，也可无损叠加至 A2D、DPU 或 FM 等 SOTA 训练策略之上，为实际工业级系统提供了极高的部署灵活性。
- 低方差特征不变性优于通用度量：相比于传统针对均值聚类的全局 kNN 或类别马氏距离，通过 PCA 截断提取最紧致的低方差方向（Off-manifold directions）能够放大细微异常模式，对细粒度分布偏移具有更强敏感性。
局限与展望¶
- 依赖暴露的单模态分类头：该方法要求网络架构中显式保留各个单模态的分类输出分支；若下游模型为端到端黑盒早期深度融合网络且未保留单模态 Head，则需要事后外接轻量分类头微调提取 logits。
- 离线批量统计依赖：协方差矩阵和类条件回归系数依赖于同分布的小规模验证集，对于完全无标签或数据流式在线变化的自适应场景仍需进一步扩展。
- 未来方向：探索在视觉-语言大模型（VLM，如 CLIP / Video-LLaVA）开放词表动作理解中的跨模态不对齐检测，以及将流形不变性扩展至非线性流形投影。
相关工作与启发¶
- vs A2D (Dong et al., NeurIPS 2024): A2D 首次提出多模态 OOD 基准，核心在于训练时惩罚非真值类的单模态预测一致性，但推理时仍回退到单模态通用检测器。本文证明了训练期模态差异不能直接用作测试分数，而单-多模态映射残差才是推理期区分 ID 与 OOD 的强特征。
- vs DPU (Li et al., CVPR 2025): DPU 通过动态原型更新提升了特征空间的紧凑性与辨识度，其成果集中在模型训练优化。本文方法可直接作为 DPU 的后处理增强器，在同等网络权重下平均将 Far-OOD FPR 降低 6.2 个百分点。
- vs ViM (Wang et al., CVPR 2022): ViM 在单模态视觉分类中开创了特征空间零空间与虚拟 Logit 融合的先河。本文将其扩展至多模态空间，并原创性地引入了第三个互补维度——“跨模态预测一致性残差”，显著提升了视频动作识别中的 OOD 检出率。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态感知推理期 OOD 检测器，开创性地利用单模态-多模态预测残差，打破了仅在训练期利用多模态特性的局限。
- 实验充分度: ⭐⭐⭐⭐⭐ 覆盖 Multi-OOD 基准的 5 大数据集、14 组对比实验，详尽探讨了双模态、三模态、早/中/晚融合以及超参和小样本敏感性。
- 写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，由浅入深分析模态相关性现象，数学推导与实验论证严谨自洽。
- 价值: ⭐⭐⭐⭐⭐ 作为即插即用的 post-hoc 工具，能无缝赋能自动驾驶、具身机器人与智能监控等安全敏感型多模态视频系统的可靠部署。