Bayesian Uncertainty Attribution-Guided Fine-Tuning for Open-Set Action Recognition¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5989
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/15152.pdf
作者: Shehan Senavirathna, Hongji Guo, Qiang Ji
领域: 视频理解
关键词: 开放集动作识别、认知不确定性、深度集成、不确定性归因、知识蒸馏

一句话总结¶

本文把集成模型的不确定性从测试时的拒识分数变成训练时的表征修正信号，通过三阶段微调和双阶段蒸馏，使 TPN 单模型在 UCF101/HMDB51 上取得 88.50 AUROC，而完整集成为 88.62。

研究背景与动机¶

开放集动作识别要求模型既能识别训练中出现过的动作，也能拒绝未见类别，而不是为任何视频强行选一个已知标签。问题不只在分类阈值：若模型用草地判断“打高尔夫”，就可能把同样发生在草地上的“修剪草坪”误认成高尔夫。训练得到的背景捷径，会让未知动作也产生很高置信度，事后调整拒识规则未必能挽救这种表征。

已有方法从不同方向处理这一问题。DEAR 使用证据学习构建不确定性，SOAR 结合场景去偏与重建，深度集成则借助多个模型的预测分歧估计认知不确定性。但一个样本的分数只能告诉我们“模型不确定”，无法直接指出应改变什么输入证据。本文因此先用运动信息减少静态背景偏置，再让已知样本上的集成预测更稳定，最后把不确定性的输入梯度变成训练注意力。

这里的不确定性归因也不是“越不确定越该删掉”。遮挡的手、细微动作和人与物体接触处可能同时具有高不确定性和高识别价值，直接抹除会损失证据。核心 idea：保留高不确定性归因区域的原始输入，温和增强低归因区域，并把精炼后的分类与拒识行为共同蒸馏到单个 RGB 模型。

方法详解¶

整体框架¶

训练数据只有已知动作。方法先训练 10 个独立初始化细节不同的视频识别器，通过运动先验对齐、认知不确定性正则、归因残差注意力依次精炼同一个集成；随后缓存教师的平均类别分布与认知不确定性，训练带分类分支和辅助不确定性头的学生。

最终部署只输入 RGB 视频，输出已知类别概率和一个用于拒识的标量。不需要测试时计算光流、Grad-CAM 或归因图，也不需要运行 10 个教师；论文仍单独报告完整集成结果，用来检验训练改进是否确实超出普通集成本身的收益。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["已知类 RGB 视频"] --> Motion["运动先验对齐<br/>RAFT 与 FlowI-SAM"]
    Motion --> Regularize["认知不确定性正则<br/>稳定已知样本预测"]
    Regularize --> Attention["归因残差注意力<br/>逐轮刷新后固定掩码"]
    Attention --> Distill["双目标分阶段蒸馏<br/>类别分布与不确定性"]
    Distill --> Output["单个 RGB 学生<br/>分类与未知拒识"]

关键设计¶

1. 运动先验对齐：让分类证据靠近运动区域，而不是增加测试模态

第一阶段先用 RAFT 估计光流，再由结合光流与 SAM 的 FlowI-SAM 得到运动物体分割。分割掩码归一化到 0 至 1，并调整到显著图分辨率，成为弱运动先验。与此同时，Grad-CAM 标出 RGB 分类器实际依赖的类别决策区域；训练用两张图的均方误差约束分类器，再保留标准交叉熵监督动作类别。

两张图不能互相替代：光流说明哪里在动，Grad-CAM 说明模型用哪里作判断。对齐二者是为了减少只看背景的捷径，并非让模型预测光流，也不是引入双流网络。运动先验仍可能被相机移动或背景运动污染，所以只能作为弱引导。集成成员通过不同随机种子、分类头初始化、批次顺序和随机增强维持差异，为后续估计预测分歧提供基础。

2. 认知不确定性正则：压低已知样本上的模型分歧，不把所有模糊都当成未知

每个成员输出已知类别概率，集成再对这些概率取均值。总不确定性来自平均预测分布的熵，偶然不确定性来自各成员预测熵的平均，认知不确定性则是二者之差。直观地说，多个模型都觉得视频模糊，与多个模型各自很自信但互相不同意，不是同一类问题；本文主要利用后者作为拒识和精炼信号。

缓存正文明确给出的核心关系是：

\[ U_e = U_t - U_a. \]

第二阶段在每个批次上计算当前集成的平均认知不确定性，将其与各成员交叉熵共同优化。训练样本全部属于已知类，因此希望模型对这些样本更一致，但并未直接规定未知样本应该有多高的不确定性。该目标也存在让集成失去差异性的风险，需要后续实验检查，而不能仅凭“压低已知不确定性”断言开放集性能必然提升。论文报告阶段二后已知验证样本的总、偶然、认知不确定性均下降，没有观察到仅把分歧转移到偶然不确定性的现象。

3. 归因残差注意力：不删掉难以解释的区域，而是增强更稳定的证据

第二阶段的标量正则没有空间定位能力。第三阶段在每个 epoch 开始时，用当前集成计算训练视频的认知不确定性，将其反向传播到输入空间，取梯度幅值并归一化，得到不确定性归因图。这里的“高归因”表示输入对该不确定性标量的局部敏感性强，不等于该区域一定属于背景，也不等于其具有经过校准的未知类别概率。

UAM-IA 用归因图构建平滑残差注意力：高归因区域保留接近原始尺度，低归因区域得到额外增强，注意力范围为 \([1, 1+\alpha]\)。这和直接抑制高归因区域不同，因为遮挡的手或细微交互也可能是有效动作证据；与增强高归因区域相比，又避免继续放大不稳定线索。注意力与视频逐元素相乘后，成员只用分类交叉熵微调，不需要在这一阶段继续叠加前两阶段的全部目标。

归因图不是每一步更新时都重新求导，而是在 epoch 开始统一刷新，在本轮内 detach 并固定。这样参数更新不必穿过生成归因图的计算过程，避免把训练变成对归因步骤反复求高阶梯度；下一轮重算又让掩码能够适应模型变化。测试时则直接输入原始 RGB，不再执行这套注意力流程，因此其作用是改变学到的表征，而非给每个测试样本额外做预处理。

4. 双目标分阶段蒸馏：分类分布之外，还要迁移用于拒识的标量

三阶段结束后，集成在训练集上生成两份缓存目标：平均类别分布和认知不确定性。学生第一阶段从 Kinetics 预训练权重初始化，以真实标签交叉熵和教师分布的 KL 蒸馏共同学习骨干及分类分支。这一步保留软标签中的类别关系，但平均类别分布本身不能唯一决定教师内部有多少预测分歧，因此单纯分类蒸馏不足以传递认知不确定性。

学生第二阶段冻结骨干与分类分支，只训练辅助不确定性头。该头接收学生特征与类别概率的拼接，回归教师标量，并联合约束三个方面：在 log(1+不确定性) 空间匹配数值、依据同一批次教师目标进行成对间隔排序、匹配批次均值和标准差。它既要避免只有排序正确但尺度漂移，也要避免均值正确但样本次序错误。这里得到的是对教师不确定性的学习近似，不是单网络内部重新计算出的集成分歧，更不是精确贝叶斯后验。

一个完整示例¶

以论文动机中的“打高尔夫”和未见“修剪草坪”为例，训练时只使用已知类视频。运动先验先把高尔夫分类器的关注点从草地拉向运动相关区域；正则阶段让多个成员对已知视频的判定更稳定；归因阶段保留可能因遮挡而难以解释的手部，同时增强更稳定的其他证据。

对 TPN，注意力强度为 \(\alpha=1.00\)，所以训练增强系数范围为 1 至 2，而不是把任何位置清零。蒸馏结束后，若新视频的学生不确定性超过已知验证集选出的 0.047 阈值，就进行未知拒识，否则输出已知类别。这个例子只解释信息流；论文没有提供这两个具体视频的逐步分数，不能据此声称某个修剪草坪样本一定被成功拒绝。

损失函数 / 训练策略¶

骨干包括 TPN、TSM、SlowFast 和 I3D，教师成员均从 Kinetics-400 预训练开始。使用 Adam，初始学习率 \(10^{-3}\)；教师三阶段分别训练 30、10、10 个 epoch，共 50 个 epoch。学生两个阶段各训练 15 个 epoch。

TPN 的运动对齐权重、认知正则权重、注意力强度依次为 0.65、0.55、1.00。论文将各阶段顺序应用，而非从头同时优化所有目标；这让不确定性归因建立在已经过运动引导与稳定化的集成之上。验证集只来自 UCF101 训练划分，并负责超参数和拒识阈值选择，未知来源仅用于最终评测。

缓存中的多个公式存在抽取损坏，包括注意力式的括号、蒸馏总目标的运算符及若干分式。本笔记依据相邻完整文字解释损失组成与注意力范围，不补造损坏公式；批次大小、蒸馏温度和权重、阈值具体选择规则等正文指向补充材料的细节，也不作猜测。

实验关键数据¶

主实验¶

UCF101 split 1 的训练分区有 9,537 个视频、101 类，从中分层留出验证集，官方测试分区作为已知测试集。去除与已知类语义重叠的类别后，未知来源为 HMDB51 的 41 类、1,230 个视频，以及 MiT-v2 的 277 类、27,700 个视频。

下表摘自原文表 1、表 3，均为 TPN。AUROC 衡量整条已知/未知分离曲线；FPR@95 为真阳性率达到 95% 时的假阳性率；TPR@10 为假阳性率达到 10% 时的真阳性率。open maF1 将未知合并成额外一类，再计算开放集宏平均 F1；准确率仅针对已知 UCF101。数值沿用原文百分制，越低越好的列已标明。

未知来源	方法	AUROC ↑	FPR@95 ↓	open maF1 ↑	已知准确率 ↑
MiT-v2	SOAR	91.45	30.96	74.48 ± 0.21	92.63
MiT-v2	本文学生	93.10	24.64	78.04 ± 0.18	95.98
HMDB51	SOAR	86.67	61.02	85.43 ± 0.14	92.63
HMDB51	PSL，同协议重跑	88.04	55.82	未报告	95.73
HMDB51	本文学生	88.50	53.85	88.97 ± 0.17	95.98

TPN 学生相对 SOAR 的 HMDB51 AUROC 增加 1.83 个百分点，FPR@95 降低 7.17 个百分点；相对同协议 PSL，AUROC 仅增加 0.46 个百分点。后者是更克制、也更接近当前视觉基线的比较。

消融实验¶

下表摘自表 4，均为 TPN 完整集成设置，已知集为 UCF101、未知集为 HMDB51，不应与上表单学生混为一谈。H 是已知与未知不确定性分布间的 Hellinger 距离，越大越分离；ECE 衡量置信度与经验准确率的偏差，NLL 是负对数似然，后两项在已知数据上越低越好。

启用阶段	AUROC ↑	FPR@95 ↓	已知准确率 ↑	H ↑	ECE ↓	NLL ↓
无，普通集成	84.39	62.64	93.24	0.67	0.025	0.19
仅阶段 1	84.78	61.44	94.33	0.69	0.023	0.17
阶段 2+3，无阶段 1	87.76	55.28	95.69	0.74	0.016	0.12
阶段 1+2	86.21	56.97	95.02	0.77	0.018	0.13
阶段 1+2+3	88.62	54.16	96.17	0.80	0.014	0.10

阶段 1 单独仅增加 0.39 个 AUROC 百分点，在阶段 1+2 后加入 UAM-IA 则增加 2.41 个百分点。去掉运动引导仍有 87.76，说明运动先验是有用初始化，但不能把主要收益归功于光流；上述增量受阶段顺序影响，不等于各模块独立贡献的严格分解。

表 6(a) 进一步固定阶段 1+2 的起点，检验注意力到底需要什么形式：

阶段 3 注意力形式	AUROC ↑	FPR@95 ↓	已知准确率 ↑
无掩码	86.21	56.97	95.02
帧差掩码	87.18	56.04	95.47
增强高归因区域	87.05	56.31	95.38
抑制高归因区域	87.42	55.71	95.61
UAM-IA	88.62	54.16	96.17

关键发现¶

UAM-IA 超过帧差掩码 1.44 个 AUROC 百分点，超过抑制高归因区域 1.20 个百分点，支持其收益不只是普通运动强调。在注意力强度消融中，\(\alpha=1.00\) 为 88.62，增至 2.00 降至 87.26，增强越强并非越好。
阶段二后已知数据的平均总不确定性由 0.391 降至 0.357，偶然不确定性由 0.355 降至 0.331，认知不确定性由 0.036 降至 0.026。表 5(a) 中认知正则得到 86.21 AUROC，高于总不确定性正则的 85.94 与偶然不确定性正则的 85.38。
部署开销由 10 成员集成的 322.525 ms / 505.42 GFLOPs，降到学生的 39.240 ms / 52.542 GFLOPs。这是论文所报测量条件下的结果，缓存正文未交代完整硬件与计时配置，不能直接视为任意平台的延迟承诺。
学生并非所有骨干都领先。HMDB51 上，TSM 学生 AUROC 为 84.24，低于 SOAR 的 85.96；SlowFast 为 88.38，低于 SOAR 的 90.72；I3D 为 86.31，低于 SOAR 的 88.10。完整集成优于匹配普通集成，不意味着蒸馏学生普遍优于所有单模型基线。

亮点与洞察¶

从标量诊断进入输入级训练。 将不确定性反向传播得到归因后，模型才知道该如何调整证据使用，而不只是改变一个拒识阈值；先稳定估计再做归因的顺序也具有实际意义。
残差保留比硬删除更适合动作细节。 高归因区域未必无用，保留原始信息同时增强低归因区域，是比“一律删除不可靠区域”更谨慎的归纳偏置。
蒸馏的目标应匹配部署决策。 分类软标签之外单独传递拒识分数，并同时约束尺度和排序，是可迁移到其他集成 OOD 系统的思路；但迁移后仍需验证未知域上的近似质量。

局限与展望¶

作者明确指出离线训练昂贵。 10 个成员、光流与显著图计算、每个 epoch 刷新归因，以及后续两个蒸馏阶段，把成本从部署侧转移到训练侧，并没有消除总成本。
注意力依据是局部梯度敏感性，不是因果相关性。 低归因区域也可能包含稳定但错误的背景捷径；残差增强能保留证据，但无法理论保证增强的是动作本体。相机运动和背景运动也可能污染第一阶段先验。
不确定性头只从已知样本学到教师行为。 未知域拒识依赖学生泛化，不能由已知集回归损失直接保证；部分骨干的 HMDB51 指标退步正说明需要分别检查排序、尾部误报和固定阈值表现。
评测规模与复现信息有限。 主要机制消融集中在 TPN/UCF101/HMDB51；类别过滤列表、阈值选择细节和失败样例在补充材料，当前缓存不含这些内容。本文尚未展示 Transformer 或基础视频模型上的大规模验证，作者也将其列为未来方向。

评分¶

新颖性: 4/5。各基础模块已有先例，但把认知归因、残差输入注意力与双目标蒸馏连成训练流程，有清晰的任务针对性。
实验充分度: 4/5。包含多骨干、匹配集成、PSL 重跑、阶段与注意力形式消融；主要控制实验仍集中于一个骨干及一组未知来源。
写作质量: 4/5。阶段角色与未知数据隔离说明清楚；复现依赖补充材料，缓存公式损坏另属文本抽取问题，不等于原稿公式错误。
价值: 4/5。提供了从训练期昂贵不确定性估计走向低成本 RGB 拒识的实用方案，但离线成本和跨骨干收益不均限制了普适性。