Rethinking the Readout: Unlocking Video Backbones for AI-Generated Video Detection¶

会议: NeurIPS 2026
arXiv: 2607.15321
OpenReview: https://openreview.net/forum?id=rXN1Faijz6
代码: https://anonymous.4open.science/r/PVP-81B3/
领域: 其他
关键词: AIGC检测, 视频骨干网络, 读出层瓶颈, 补丁速度画像, 时序一致性

一句话总结¶

针对视频预训练骨干网络在 AI 生成视频（AIGV）检测中反常落后于图像探测器的问题，本文发现瓶颈源于标准读出层（GAP/CLS）过度聚合导致的补丁间关联抹除与通道级速度抵消，提出仅含约 0.5M 参数的双流速度门控补丁速度画像（V-PVP）模块，在完全冻结骨干网络下取得 95.28% AUC 的 SOTA 性能。

研究背景与动机¶

随着 Sora、CogVideoX、HunyuanVideo 和 Wan 2.1 等先进视频生成模型的爆发式发展，合成视频逼真度急剧提升，由此引发的深度伪造与虚假信息传播风险越发严峻。鉴别真实视频与生成视频的核心线索多具时序特征，主要表现为帧间闪烁、抖动、漂移以及跨区域运动不协调等时序不一致伪影。直觉上，在大规模时序数据集（如 Kinetics-400）上预训练的视频骨干网络具备建模动态演变的能力，理应比单帧图像检测器更擅长捕捉这类帧间瑕疵。

然而，近期的 AIGV 检测基准却呈现出一个令人困惑的悖论：采用默认全局读出层（Readout）的强视频骨干网络（如 VideoMAE、TimeSformer、UniFormerV2）在跨生成器检测任务中，普遍落后于在单帧上运行的图像预训练探测器（如 NPR、UnivFD、DDA）。即使放开参数对视频骨干进行全量端到端微调，检测表现依然提升有限甚至加剧对训练源空间指纹的过拟合。这表明视频骨干预训练赋予的时序表征潜力并未在下游检测中被释放，整个检测管线的瓶颈另有所在。

本文经过系统的实证诊断指出，性能瓶颈既不在于骨干表征本身，也不在于时序信息的匮乏，而在于动作识别惯用的标准读出层（GAP 或 CLS Token）施加的过度空时语义聚合。动作识别任务旨在学习对局部微小抖动不敏感的全局稳定动作语义，因而将补丁级局部涨落视为噪声平滑掉；而 AIGV 检测恰恰依赖于各局部补丁细微的帧间差异以及补丁间的相对运动关系。这种任务目标的根本错配导致了双重结构性信息损失：其一是补丁间关联的抹除，生成视频具有异常均一的低秩补丁运动模式，但空间维度的直接坍缩使该协方差结构彻底消亡；其二是通道级速度幅度的抵消，不同补丁的局部速度向量方向各异，带符号的线性平均造成正负分量相互抵消。核心 idea：保持视频骨干网络完全冻结，仅替换其顶层读出聚合模块为双流速度门控补丁速度画像（V-PVP）机制，一路通过显式注入速度幅度的动态注意力保留跨补丁异质性，另一路通过聚合前非线性绝对值保真通道级速度能量，以仅 0.5M 可训练参数彻底激活冻结视频骨干的时序鉴伪潜能。

方法详解¶

整体框架¶

V-PVP 的整体处理流程建立在保持视频骨干网络完全冻结的前提下，仅对骨干输出的局部补丁时序标记（Patch Tokens）的聚合方式进行针对性重构。系统接收包含 $T$ 帧的视频片段（分辨率 $224 \times 224$），输入至预训练视频骨干（如 VideoMAE-Base）提取最后一层未归一化的补丁级表征张量 $Z \in \mathbb{R}^{P \times T \times D}$，其中 $P=196$ 为每帧的空间补丁数，$D=768$ 为隐藏维度。

整个读出流程针对连续相邻帧对计算补丁级速度场 $v_t^{(p)} = z_{t+1}^{(p)} - z_t^{(p)}$，并将其并行输入至两个互补的时序读出分支：第一分支为速度门控可学习聚合流（Velocity-Gated Learnable Aggregation），产生自适应加权表征 $\tilde{z}_t$ 以承载补丁间异质性；第二分支为通道保真速度流（Channel-Faithful Velocity Stream），通过元素级非线性操作保留未被抵消的通道能量 $r_t$。两路特征经独立投影对齐后拼接为时序序列 $x_t$，送入紧凑的时序卷积头平滑局部异常并输出整段视频的伪造概率。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入视频帧序列<br/>T=16 帧, 224x224 采样"] --> B["冻结视频骨干网络<br/>VideoMAE 提取 Patch Tokens Z"]
    B --> C["帧间补丁速度场计算<br/>vt(p) = zt+1(p) - zt(p)"]
    C --> D["速度门控可学习聚合<br/>MLP([zt, ||vt||]) 产生动态权重 αt 聚合得 z~t"]
    C --> E["通道保真速度流<br/>空间求和前逐元素绝对值 rt = 1/P ∑ |vt(p)|"]
    D --> F["独立线性投影与通道拼接<br/>ut=Wz z~t, wt=Wr rt 拼接为 xt=[ut; wt]"]
    E --> F
    F --> G["时序卷积头与判别输出<br/>Conv1D(k=3) 时序平滑 + 时序均值池化 → Logit"]

关键设计¶

1. 速度门控可学习聚合：携带跨补丁异质性解决结构丢失 标准全局平均池化（GAP）采用静态统一的 $1/P$ 权重，直接抹去了由补丁速度矩阵 $V_t \in \mathbb{R}^{P \times D}$ 协方差结构所表征的补丁间关联。诊断实验证明，生成视频的补丁运动相比真实视频具有系统性更高的光谱条件数（Spectral Condition Number $\kappa_{\text{spec}} = \log \sigma_1 - \log \sigma_{10}$，Cohen's $d \approx 0.64$），展现出明显的低秩均一性运动缺陷。为在空间降维后依然保留该判别性模式，本模块设计了一个轻量评分网络，动态为每个补丁赋予输入自适应的权重： $$s_t^{(p)} = \mathrm{MLP}_{\theta}\left(\left[z_t^{(p)},\; \|v_t^{(p)}\|_2\right]\right), \quad \alpha_t^{(p)} = \mathrm{softmax}_p\left(s_t^{(p)}\right), \quad \tilde{z}_t = \sum_{p=1}^P \alpha_t^{(p)} z_t^{(p)}$$ 评分网络采用两层 MLP（输入维度 $D+1 \to 128 \to 1$），关键机制在于显式拼接了补丁时序速度的标量范数 $\|v_t^{(p)}\|_2$。若仅依赖外观特征 $z_t^{(p)}$，注意力极易退化为过拟合训练生成器静态空间伪影的语义选择器；引入物理速度范数作为物理锚点，迫使模型聚焦于时序动态异常区域，将空间维度的异质分布形态有效压缩传递至 $\tilde{z}_t$ 的通道模式中。

2. 通道保真速度流：内化非线性消除通道抵消以保真能量 即使 $\tilde{z}_t$ 引入了自适应空间加权，它本质上仍属于补丁级信号的带符号线性组合。由于不同区域的补丁速度在各通道上的方向互有正负，直接线性相加会触发琴生不等式效应： $$\frac{1}{P}\sum_{p=1}^P \left\|v_t^{(p)}\right\|_2 \ge \left\|\frac{1}{P}\sum_{p=1}^P v_t^{(p)}\right\|_2$$ 导致真实与虚假视频之间的通道能量差距由池化前的 Cohen's $d \approx 0.69$ 大幅衰减至池化后的 $d \approx 0.41$。针对这一损失，通道保真流在执行空间均值汇总之前强制施加逐元素绝对值非线性变换： $$r_t = \frac{1}{P} \sum_{p=1}^P \left| v_t^{(p)} \right|$$ 将绝对值运算置于空间求和之内，彻底阻止了符号相反的局部微运动互相抵消，从而完整保真了每个特征通道上异常运动能量的真实幅度。采用均值而非最大值池化，保证了对广泛弥散在众多补丁中的微弱异常具有更强的积分敏感度与抗噪性。

3. 双流独立解耦投影与局部时序卷积头 经前两步计算得到的 $\tilde{z}_t$ 与 $r_t$ 具备截然不同的统计特性：$\tilde{z}_t$ 继承了层归一化后的零均值带符号分布，而 $r_t$ 属于严格非负且数值量级通常小一个数量级的物理能量。若采用共享线性层映射，尺度失衡会导致弱势信号被湮没。设计采用两组独立的可学习矩阵 $W_z, W_r \in \mathbb{R}^{(H/2) \times D}$（其中 $H=256$）分别将二者降维至 $128$ 维并沿通道拼接： $$u_t = W_z \tilde{z}_t, \quad w_t = W_r r_t, \quad x_t = [u_t; w_t] \in \mathbb{R}^H$$ 拼接后的特征序列 $\{x_t\}_{t=1}^{T-1}$ 经过一个核尺寸为 $3$ 的一维时序卷积块（GELU $\to$ Conv1D $\to$ GELU），将瞬时的单步帧间伪影关联至局部时序窗口，最后经时序均值池化、Dropout(0.3) 及线性分类器映射为视频片段级的伪造对数几率。这种非参数化的时序池化避免了在时域注意力机制上过拟合特定生成器的时序节奏。

损失函数 / 训练策略¶

整个架构在训练阶段保持底层视频骨干参数完全冻结，仅更新读出层与时序头的 492,674 个参数（约占 VideoMAE 骨干参数量的 0.57%）。模型在整段视频剪辑预测概率上采用带正样本加权的二元交叉熵损失函数（Binary Cross-Entropy Loss）： $$\mathcal{L} = - w_{\text{pos}} y \log \sigma(\mathrm{logit}) - (1 - y) \log (1 - \sigma(\mathrm{logit}))$$ 其中正类别权重 $w_{\text{pos}} = N_{\text{neg}} / N_{\text{pos}}$ 用于平衡训练集中真实样本与合成样本的比例不平衡。优化器选用 AdamW，基础学习率为 $10^{-3}$，权重衰减为 $10^{-4}$，采用余弦退火学习率调度策略，批次大小为 192，开启混合精度训练直到训练损失收敛。

实验关键数据¶

主实验¶

在涵盖 20 类生成器（横跨 T2V、I2V、V2V 任务）的 AIGVDBench 基准以及测试源完全不相交的 GenVidBench-143k 跨源基准上，V-PVP 均取得所有方法中的最优检测性能。

模型类别	方法	骨干网络	可训练参数量	AIGVDBench 平均 AUC (%)	GenVidBench-143k 平均 AUC (%)
图像检测器	NPR (CVPR 2024)	ResNet-50	全量微调	89.90	50.26
图像检测器	UnivFD (CVPR 2023)	CLIP-ViT	探测头训练	90.03	78.76
图像检测器	Effort (2024)	ResNet-50	探测头训练	90.29	79.08
图像检测器	DDA (2025)	ViT-B	全量微调	92.85	92.79
视频专用检测器	DeMamba (2024)	Mamba	全量微调	—	90.03
视频专用检测器	ReSTrav (2025)	ViT	全量微调	—	90.28
传统视频分类全微调	TimeSformer	TimeSformer	~121M	85.41	91.18
传统视频分类全微调	SlowFast	ResNet-50 3D	~34M	92.70	92.95
传统视频分类全微调	UniFormerV2	UniFormerV2	~115M	76.46	69.87
传统视频分类全微调	VideoMAE (标准读出)	VideoMAE-B	~87M	88.34	88.59
本文方法	V-PVP (Ours)	VideoMAE-B (全冻结)	~0.5M	95.28	93.75

消融实验¶

在固定的 5-epoch 严格受控训练预算下，对 V-PVP 内部各组件以及不同空间读出替代方案进行深入消融（以 VideoMAE-K400 为骨干，报告 4 个随机种子的均值与标准差）。

实验分组	配置变体	核心变动说明	AIGVDBench AUC (%)
双流拆解	单独 $r$ 流 (MLPMean)	移除 $\tilde{z}_t$，仅使用通道保真绝对值速度流	79.10 ± 0.16
双流拆解	$\bar{z} + r$ (无门控速度画像)	$\tilde{z}_t \to$ 传统均匀 GAP，保留 $r_t$ 流	90.23 ± 0.21
双流拆解	单独 $\tilde{z}$ 流 (无 $r$)	移除通道保真流 $r_t$，仅保留速度门控流	93.07 ± 0.35
双流拆解	$\tilde{z} + r$ (评分器无 $\\|v\\|_2$)	移除评分网络输入中的速度范数（纯外观评分）	92.08 ± 1.84
双流拆解	完整 V-PVP ($\tilde{z} + r$)	双流互补完整架构	94.34 ± 0.32
读出机制对比	均值基线 (Sanity Check)	输入补丁能量图 $E_t^{(p)} = \\|v_t^{(p)}\\|_2$ 线性均值	54.34 ± 4.39
读出机制对比	Conv2D Head	能量图 $E$ 上应用二维卷积头	68.61 ± 0.70
读出机制对比	Conv3D Head	能量图 $E$ 上应用三维卷积头	64.66 ± 0.92
读出机制对比	SpatialAttn Head	能量图 $E$ 上应用自由空间注意力头	67.37 ± 0.98
读出机制对比	PatchMLP Head	原始补丁标记 $z$ 上应用大容量 MLP 头	91.70 ± 0.12
读出机制对比	V-PVP 结构先验读出	物理速度约束下的显式解耦流	94.34 ± 0.32

关键发现¶

读出层是决定性瓶颈而非骨干参数容量：在 VideoMAE 上，完全冻结骨干的 V-PVP（0.5M 参数）AUC 达到 95.28%，大幅超越投入 87M 参数进行全量微调的标准读出 VideoMAE（88.34%，提升 +6.94%）。进一步将 V-PVP 作用于全量微调时性能更攀升至 97.21%（相比标准微调提升 +8.9%），证明了标准池化对骨干容量表达能力的严重压制。
物理先验比大容量空间头更具泛化性：在替代读出对比中，Conv2D 和 SpatialAttn 虽然在训练集上能迅速逼近 100% AUC，但测试 AUC 仅有 68.61% 和 67.37%；自由参数拟合了训练生成器的特定空间指纹，而 V-PVP 通过显式速度物理量锚定判据，展现出强大的域外泛化鲁棒性。
跨骨干通用性强：在 TimeSformer、VideoMAE、UniFormerV2 以及超大规模 Qwen3-VL-8B 视觉大模型上，V-PVP 相比默认线性探针和骨干微调均取得一致显著的增益，并在 UniFormerV2 上成功规避了微调带来的指纹过拟合陷阱。

亮点与洞察¶

精准的瓶颈病理诊断：打破了以往盲目归咎于“视频骨干预训练域不匹配”或“需要更重检测头”的惯性思维，从信息论与数学几何角度精确形式化了 GAP/CLS 带来的“补丁间关联抹除”与“通道级幅度正负抵消”双重信息损耗。
极度轻量且即插即用：无需修改任何骨干权重，仅替换最顶层的池化算子，以约 0.5M 参数和极小的 GPU 开销（单卡数小时）即可激活数百兆甚至数十亿级视频骨干的潜在判别力。
物理锚定防止伪影过拟合：在门控打分机制中强制引入速度范数 $\|v\|_2$，有效制约了注意力机制退化为记忆训练集局部外观瑕疵的倾向，为通用虚假检测提供了极具启发性的物理约束范式。

局限与展望¶

对抗性高频伪影补偿的脆弱性：若生成模型有意引入帧间抖动或刻意模仿真实视频的统计分布，补丁速度范数的跨补丁区分度可能被压缩，导致速度门控趋于退化为均匀分布。
极短剪辑时序方差偏大：当输入片段帧数极短（如 $T < 4$）时，相邻帧对采样的速度场数量过少，会导致均值池化和时序卷积的统计方差增加。
卷积骨干网络的收益衰减：在基于纯 CNN 的视频骨干（如 SlowFast/I3D）中，骨干浅层固有的局部感受野卷积在送入读出层前已提前完成了部分空间平均，使得补丁级微动信号有所平滑，其性能增益略低于纯 ViT 架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从读出层（Readout）的信息瓶颈切入重新审视视频骨干在鉴伪任务中的价值，数学形式化严谨，模块设计极其简明巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20+ 款最新生成器、两大跨源基准、4 款代表性骨干（含 8B 多模态大模型）及详尽的单/双流控制变量消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进环环相扣，从问题悖论、数学剖析、双流设计到跨骨干验证，论证极其清晰有力。
价值: ⭐⭐⭐⭐⭐ 为 AI 生成视频检测社区指明了轻量化利用海量预训练视频模型的全新技术路径，兼具极高实用工程价值与理论启发性。

实验分组	配置变体	核心变动说明	AIGVDBench AUC (%)
双流拆解	单独 \(r\) 流 (MLPMean)	移除 \(\tilde{z}_t\)，仅使用通道保真绝对值速度流	79.10 ± 0.16
双流拆解	\(\bar{z} + r\) (无门控速度画像)	\(\tilde{z}_t \to\) 传统均匀 GAP，保留 \(r_t\) 流	90.23 ± 0.21
双流拆解	单独 \(\tilde{z}\) 流 (无 \(r\))	移除通道保真流 \(r_t\)，仅保留速度门控流	93.07 ± 0.35
双流拆解	\(\tilde{z} + r\) (评分器无 \(\\|v\\|_2\))	移除评分网络输入中的速度范数（纯外观评分）	92.08 ± 1.84
双流拆解	完整 V-PVP (\(\tilde{z} + r\))	双流互补完整架构	94.34 ± 0.32
读出机制对比	均值基线 (Sanity Check)	输入补丁能量图 \(E_t^{(p)} = \\|v_t^{(p)}\\|_2\) 线性均值	54.34 ± 4.39
读出机制对比	Conv2D Head	能量图 \(E\) 上应用二维卷积头	68.61 ± 0.70
读出机制对比	Conv3D Head	能量图 \(E\) 上应用三维卷积头	64.66 ± 0.92
读出机制对比	SpatialAttn Head	能量图 \(E\) 上应用自由空间注意力头	67.37 ± 0.98
读出机制对比	PatchMLP Head	原始补丁标记 \(z\) 上应用大容量 MLP 头	91.70 ± 0.12
读出机制对比	V-PVP 结构先验读出	物理速度约束下的显式解耦流	94.34 ± 0.32