SphereVAD: Training-Free Video Anomaly Detection via Geodesic Inference on the Unit Hypersphere¶

会议: NeurIPS 2026
arXiv: 2605.08003
OpenReview: https://openreview.net/forum?id=Vx5NOUBXIF
代码: https://github.com/S1inetzz/SphereVAD
领域: 视频理解
关键词: 视频异常检测, 免训练推理, 单位超球面流形, 冯·米塞斯-费希尔分布, 测地线插值

一句话总结¶

针对预训练多模态大模型中间层特征呈现狭窄圆锥坍缩与跨域旋转偏差的问题，提出首个基于单位超球面黎曼测地线几何推理的完全免训练视频异常检测框架 SphereVAD，仅需极少量合成图像校准即可在三大基准上大幅刷新免训练 zero-shot SOTA。

研究背景与动机¶

视频异常检测（Video Anomaly Detection, VAD）旨在从未修剪的长视频监控流中精准定位偏离正常模式的偶发事件，在公共安全保障与智能交通监控中扮演着不可替代的角色。然而，现实场景中的异常行为具有极度开放、形式不可穷尽的长尾特性，导致对真实异常的大规模逐帧标注在实际应用中极其昂贵甚至不可行。现有主流方法无论是弱监督学习、自监督表征学习还是少样本微调，均不可避免地依赖特定下游任务的目标域数据驱动优化，面临计算开销高昂、跨场景迁移性能急剧退化以及必须重新微调的严重落地瓶颈。

近期多模态大语言模型（MLLMs）在常识与开放词表感知上的爆发式进展，为免训练（training-free）与零样本（zero-shot）异常检测带来了全新契机。然而，现有免训练方法普遍直接利用 MLLM 的自回归自然语言生成头输出异常描述或打分，面临严重的文本幻觉、概率校准偏差以及极慢的生成延迟。深入观察表明，冻结的 MLLM 中间隐藏层特征本身其实已经高度内嵌了丰富的细粒度异常判别语义，导致推理受限的根本原因在于现行方案完全依赖语言输出通道，而忽视了其深层几何表征的内在判别潜力。

直接利用 MLLM 隐藏层特征面临三个严峻的几何几何分布挑战：其一为特征的“圆锥坍缩”（Conical Collapse），高维欧氏空间中的原始特征高度聚集成仅约 $13^\circ$ 的狭窄圆锥，经 $\ell_2$ 归一化后仍挤压在小球面冠上（角标准差仅 $\approx 1.7^\circ$），导致欧氏距离指标极度脆弱，主导方向判别力严重退化；其二为跨数据源的域偏移，不同域提取的特征在球面上呈现系统性的旋转偏置（约 $5^\circ \sim 8^\circ$）；其三为决策边界附近的过渡模糊片段对微小扰动异常敏感，极易产生误判。核心 idea：将免训练视频异常检测重新形式化为单位超球面上的冯·米塞斯-费希尔（vMF）似然比测地线推理问题，通过统合弗雷歇均值球面中心化展开圆锥坍缩并消除域旋转偏置，结合全景场景注意力和自适应测地线拉动完成流形约束下的确定性判别。

方法详解¶

整体框架¶

SphereVAD 接收未修剪的连续测试视频流与极小规模（约 2000 张）用于方向校准的合成图像对作为输入，整个过程完全冻结 MLLM 权重且无任何梯度反向传播。首先，通过双流特征提取器从冻结主干特定层抽取表征全局语义的主特征与表征场景外观的视觉特征，并利用统合弗雷歇均值执行球面中心化，将狭窄锥形特征平铺展开到全超球面上以消除域偏置；其次，在中心化后的合成校准特征上执行球面 K-Means 聚类构建正负样本的 vMF 测地线方向原型；随后，借助视觉特征构建跨视频全景场景注意力（HSA）消除单视频孤立噪声；最后，对落入不确定模糊区间的片段，采用 vMF 指导的球面测地线拉动（SGP）机制在黎曼流形约束下动态调整特征方向，并通过 vMF 似然比闭式打分与高斯平滑输出逐帧异常概率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视频片段序列 / 合成校准图<br/>2×2 复合网格输入"] --> B["双流特征提取与投影<br/>主语义特征 fl 与场景外观特征 fv"]
    B --> C["统合弗雷歇均值球面中心化<br/>对数映射展开圆锥并消除旋转偏置"]
    C --> D["vMF 方向原型构建与初始打分<br/>球面 K-Means 聚类与测地距离似然比"]
    D --> E["全景场景注意力 HSA<br/>跨视频视觉先验聚合强化特征一致性"]
    E --> F["球面测地线拉动 SGP<br/>模糊区间判定与流形 SLERP 自适应校正"]
    F --> G["最终异常评分与时序平滑<br/>vMF 似然比计算与高斯核时序平滑"]

关键设计¶

1. 统合弗雷歇均值球面中心化：对数映射展开圆锥并消除跨域旋转偏置

针对 MLLM 中间特征在单位超球面上聚拢为狭窄球面冠（角标准差 $\approx 1.7^\circ$）以及真实监控域与合成校准域之间存在的 $\sim 5^\circ$ 固有旋转偏差，传统欧氏零中心化会破坏球面约束。本文通过黎曼几何中的 Karcher 迭代算法，将合成特征集与真实测试特征集联合池化，求解单位超球面 $\mathcal{S}^{D-1}$ 上的统合弗雷歇均值： $$\boldsymbol{\mu}_{\mathrm{unified}}=\operatorname{arg\,min}_{\boldsymbol{\mu}\in\mathcal{S}^{D-1}}\sum_{i=1}^{N}d_{\mathrm{geo}}^{2}(\boldsymbol{\mu},\mathbf{x}_{i}),\quad d_{\mathrm{geo}}(\boldsymbol{\mu},\mathbf{x})=\arccos(\boldsymbol{\mu}^{\top}\mathbf{x})$$ 随后以 $\boldsymbol{\mu}_{\mathrm{unified}}$ 为基点，通过黎曼对数映射将特征投影至切空间后重新 $\ell_2$ 归一化投影回超球面： $$\hat{f}=\frac{\mathrm{Log}_{\boldsymbol{\mu}_{\mathrm{unified}}}(\tilde{f})}{\|\mathrm{Log}_{\boldsymbol{\mu}_{\mathrm{unified}}}(\tilde{f})\|_{2}}\in\mathcal{S}^{D-1},\quad \mathrm{Log}_{\boldsymbol{\mu}}(\mathbf{x})=\frac{\theta}{\sin\theta}(\mathbf{x}-\cos\theta\,\boldsymbol{\mu})$$ 理论证明表明（命题 1 与命题 2），当两类服从 vMF 分布时，球面中心化操作严格保证类间测地角距离不缩减且在绝大多数情形下直接放大至对跖（Antipodal，测地角距离升至 $180^\circ$）；同时，统合弗雷歇均值恰好落在合成域与真实域均值的测地线中点上，以极小化最大域偏移的方式对称吸收了跨域旋转偏差，使真实特征的角标准差从 $1.7^\circ$ 展开至 $17.1^\circ$。

2. vMF 似然比测地线原型建模与评分：免训练方向先验的高效锚定

为了摆脱对真实异常训练标签的依赖，本文仅需生成约 2000 张由“相同背景、不同事件”成对构成的合成图像。由于成对设计剥离了环境光照、布景和人物外观等非本质干扰，特征方向差异高度纯化为正常与异常行为的语义对立。在中心化特征空间中，分别对正常与异常样本执行球面 K-Means 聚类，得到 $K_N$ 个正常原型 $\{\boldsymbol{\mu}_k^{\mathrm{norm}}\}$ 与 $K_A$ 个异常原型 $\{\boldsymbol{\mu}_k^{\mathrm{abn}}\}$。由于超球面上的冯·米塞斯-费希尔（vMF）分布参数估计仅依赖样本均值方向，具有极高的样本效率。对于任意测试片段的中心化特征 $\hat{f}$，分别计算其到正负原型集合的最小测地距离 $d_{\mathrm{norm}}(\hat{f})=\min_k \arccos(\hat{f}^\top \boldsymbol{\mu}_k^{\mathrm{norm}})$ 与 $d_{\mathrm{abn}}(\hat{f})=\min_k \arccos(\hat{f}^\top \boldsymbol{\mu}_k^{\mathrm{abn}})$，进而由 vMF 对数似然比推导出归一化异常得分： $$s=\sigma(\kappa(d_{\mathrm{norm}}-d_{\mathrm{abn}}))=\frac{\exp(-\kappa\, d_{\mathrm{abn}})}{\exp(-\kappa\, d_{\mathrm{norm}})+\exp(-\kappa\, d_{\mathrm{abn}})}$$ 其中集中度参数 $\kappa$ 充当测地距离边界的温度调节因子，天然抑制异常极端打分，提供具备有界概率意义的平滑判决。

3. 全景场景注意力（HSA）：跨视频视觉先验聚合强化表征一致性

独立片段特征容易受到局部瞬时视觉噪声的干扰，而同一监控视角或视觉相似场景下的行为特征应当具备统计一致性。为此，SphereVAD 提出解耦的双流特征架构：利用最后一层因果注意力充分融合指令与时序的主特征 $f^l$ 进行判别评分，同时抽取仅汇聚场景外观的视觉末标记隐藏特征 $f^v$ 计算跨视频场景相似度。在测试集全局计算视觉特征两两间的余弦相似度，经过阈值稀疏化、Top-$K_G$ 截断与行归一化 Softmax 构建稀疏注意力图 $\mathbf{A}$，对主特征进行跨视频平滑聚合： $$\hat{f}_{i}^{\,l,\mathrm{enh}}=(1-\alpha_{G})\,\hat{f}_{i}^{l}+\alpha_{G}\sum_{j}A_{ij}\,\hat{f}_{j}^{l},\quad \hat{f}_{i}^{\,l,\mathrm{enh}}\leftarrow \frac{\hat{f}_{i}^{\,l,\mathrm{enh}}}{\|\hat{f}_{i}^{\,l,\mathrm{enh}}\|_2}$$ 该设计使视觉环境相似的监控视频片段能够跨时空相互借力，有效抵消孤立光照突变和单帧伪影造成的误判。

4. 局部流形约束的测地线拉动（SGP）：基于不确定度自适应纠偏边界模糊片段

针对初测得分落在决策边界附近的模糊过渡片段，传统方法容易发生假阳性跳变。SGP 在单视频内部构建基于绝对中位差（MAD）的自适应模糊区间 $[\rho_{\mathrm{low}}, \rho_{\mathrm{high}}]$，将片段动态三分类为明确正常、模糊及明确异常。明确片段通过投票选定该视频的主导正常与异常原型（反映单视频内通常只发生一种特定类型异常的物理先验）；对于模糊片段，借助局部视频内视觉外观稀疏注意力 $\mathbf{A}_H$ 聚合邻域主特征形成共识表征 $\hat{g}_i$，判定其倾向于正常还是异常。随后，通过球面球面线性插值（SLERP）将模糊特征沿着大圆大弧测地线拉向目标主导原型： $$\hat{f}_{i}^{\,\mathrm{pulled}}=\mathrm{Slerp}(\hat{f}_{i}^{\,l,\mathrm{enh}},\;\boldsymbol{\mu}_{\mathrm{target}}^{c_{i}},\;\beta_{i})=\frac{\sin((1-\beta_i)\Omega_i)}{\sin\Omega_i}\hat{f}_{i}^{\,l,\mathrm{enh}}+\frac{\sin(\beta_i \Omega_i)}{\sin\Omega_i}\boldsymbol{\mu}_{\mathrm{target}}^{c_{i}}$$ 拉动步长 $\beta_i=\beta_{\mathrm{base}}\times (1-\frac{1}{2}\hat{d}_i)$ 与打分不确定度严格成正比，即最接近边界（$s\approx 0.5$）的片段获得最大步长 $\beta_{\mathrm{base}}$，而边界外侧片段平滑衰减。相比于欧氏插值再归一化（NLERP）存在的角速度畸变，SLERP 严格保持等角速度运动，确保校正过程完全贴合超球面流形且无表征漂移。

损失函数 / 训练策略¶

本方法为完全免训练（Training-Free）、零参数更新架构。 - 训练开销：无梯度下降，模型参数完全冻结。 - 离线校准数据：仅需约 2,000 张由大语言模型（Claude Sonnet 4.5）生成结构化场景配对文本、扩散模型（Gemini 2.5 Flash）渲染为 $2\times 2$ 连续时序网格图的合成数据，不包含任何真实监控视频与下游评测集真实标签。 - 层选择策略（DLSP）：在离线合成数据集上，通过动态层显著性探测（融合 KL 散度、对数密度比与信息熵的 Z-score 复合指标），自动确定主干最优表征层（如 Qwen3.5 的第 31 层），一次选定后全评测通用。 - 在线流式部署：支持仅基于合成先验中心化的纯在线单片段推理，推理时延 $<0.1\,\text{ms}$，端到端单卡吞吐量达 59.3 FPS，远超 24 FPS 实时监控要求。

实验关键数据¶

主实验¶

在三大通用视频异常检测公开基准 XD-Violence、UCF-Crime 和 UBnormal 上，SphereVAD 刷新了免训练零样本方法的性能上限，并缩小了与弱监督训练模型的差距。

数据集	指标	本文 (Offline)	之前最佳免训练SOTA	提升幅度	代表性弱监督SOTA (参考)
XD-Violence	AP (%)	86.99	70.16 (PANDA) / 70.54 (VERA)	+16.83 pp	85.37 ($\pi$-VAD) / 88.66 (RefineVAD)
XD-Violence	AUC (%)	95.74	91.34 (Unified-VAD)	+4.40 pp	94.02 (UR-DMU)
UCF-Crime	AUC (%)	86.38	84.89 (PANDA) / 86.55 (VERA, 弱标签)	+1.49 pp	90.33 ($\pi$-VAD) / 88.92 (RefineVAD)
UBnormal	AUC (%)	76.46	75.78 (PANDA)	+0.68 pp	64.94 (RTFM) / 63.98 (STPrompt)

消融实验¶

消融实验以模块逐步递进方式验证各几何组件对检测性能的边际增益（Qwen3.5 主干）。

配置编号	模型配置细节	XD-Violence AP (%)	UCF-Crime AUC (%)	UBnormal AUC (%)	说明
M0a	原始未中心化特征 + 欧氏距离比打分	80.19	75.42	71.13	原始锥形坍缩表征基线
M0b	+ 统合弗雷歇均值球面中心化	82.03 (+1.84)	81.20 (+5.78)	75.49 (+4.36)	展开圆锥，消除跨域旋转偏置（最大单一提升）
M1	+ vMF 对数似然比打分	82.51 (+0.48)	81.68 (+0.48)	75.98 (+0.49)	提供有界概率度量与最优平滑温度
M2	+ 全景场景注意力 (HSA)	85.16 (+2.65)	83.06 (+1.38)	76.46 (+0.48)	跨视频外观先验注入，XD 提升最显著
M3 (Full)	+ 球面测地线拉动 (SGP)	86.99 (+1.83)	86.38 (+3.32)	76.46 (—†)	纠偏决策边界不确定片段，UCF 提升显著

注：† UBnormal 视频平均仅约 12 秒（10~14 个片段），时序上下文过短无法稳定触发单视频内部三分类投票与邻域共识，故禁用 SGP，M3 表现与 M2 相同。

关键发现¶

球面中心化是最大单点性能引擎：在 UCF-Crime 和 UBnormal 上，仅加入弗雷歇均值球面中心化就分别带来了 +5.78 pp 和 +4.36 pp 的巨大飞跃。特征可视化分析证实，中心化后正常与异常特征的平均测地角距离差值由原始的 $\Delta \mu = 2.7^\circ$ 剧烈展开至 $27.8^\circ$，使原本被压缩在狭窄圆锥中的判别力完全释放。
超越语言输出路径的直连推理优势：跨模型主干对比显示，直接使用 Qwen3.5 语言生成头输出打分的传统免训练基线在三大数据集上仅得 58.70% AP、72.64% AUC 与 55.74% AUC；而基于其第 31 层特征构建 SphereVAD 后，指标暴涨 +28.29 pp、+13.74 pp 与 +20.72 pp，强力实证了“模型看见的（隐藏层表征）远比模型能说出的（文本解码）更精准丰富”。
极端高效与确定性计算：在提取特征后，几何推理全流程（中心化、聚类、HSA、SGP、打分）在纯 CPU 单核上运行 XD-Violence（9.7 万片段）仅需 15.89 秒，处理 UCF-Crime 仅需 4.48 秒；而基于 VLM/LLM 反复迭代推理的传统免训练方法（如 PANDA、VADTree）往往需要数十小时甚至数天 GPU 算力。

亮点与洞察¶

严格遵循黎曼流形内在几何约束：巧妙地将特征展开、域偏置对齐、不确定样本纠偏全过程严格限制在单位超球面流形上，无论是中心化中的指数/对数映射，还是 SGP 中的 SLERP 恒角速插值，杜绝了欧氏几何在球面特征上导致的畸变与分布漂移。
解耦“场景外观”与“异常判别”的双流交互机制：通过因果注意力序列特性，将吸收了提示推理结构的最后一项特征用于异常打分，而将未受判别指令污染的视觉视觉表征用于 HSA 和 SGP 的场景相似度权重计算，在不引入额外前向推理的前提下解决了表征目标冲突问题。
高样本效率的免微调方向标定范式：揭示了 vMF 原型估计仅需平均方向的内在优势，表明对于表征充分的大模型而言，少配合成数据不需要用作微调训练集，仅作为特征空间的方向校准锚点即可激活零样本判别力。该思想可轻松拓展至工业缺陷检测、医学异常定位等各类开集异常辨识场景。

局限与展望¶

性能上限受制于冻结基座表征：框架完全不学习新参数，因此判别能力的上限由预训练基座本身的视觉特征质量决定。实验表明若基座较弱（如 LLaVA-OV-1.5），指标会出现明显下滑。
极短视频对时序纠偏机制不友好：SGP 模块高度依赖长视频提供的中位绝对偏差（MAD）统计稳健性与邻近帧视觉共识，在平均时长仅 12 秒的 UBnormal 上无法发挥效用，未来需要探索跨视频测地线协同拉动或跨时序全局平滑机制。
单异常类型先验假设的制约：单视频 SGP 假定同一视频中仅发生一种主要异常行为。如果面对同时发生多类型复杂异常的极端监控场景，单一主导异常原型的投票机制可能无法覆盖次级异常。
HSA 全局注意力矩阵的二次复杂度：全景场景注意力对所有测试片段构建两两相似度矩阵，计算复杂度为 $\mathcal{O}(N_{\mathrm{total}}^2 D)$。在超大规模视频监控流（数百万级片段）的离线处理中，亟需引入近邻局部哈希或层次化稀疏注意力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从超球面黎曼流形与 vMF 测地线几何视角重构免训练视频异常检测，理论严谨，彻底突破传统语言通道推理的固有瓶颈。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖三大主流基准对比、逐层递进的组件消融、流形几何可视化、多大模型主干验证及在线流式评测，数据详实信服度极高。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密流畅，图表逻辑清晰，对黎曼几何、Karcher 迭代与 SLERP 机制的论述生动深入。
价值: ⭐⭐⭐⭐⭐ 为免训练、零样本视频理解与开放集异常检测提供了兼具极高精度、超低算力开销与严格流形约束的通用解决范式。