BusterX: MLLM-Powered AI-Generated Video Forgery Detection and Explanation¶
会议: NeurIPS 2026
arXiv: 2505.12620
代码: https://github.com/l8cv/BusterX
领域: AIGC检测与水印
关键词: AI生成视频检测, 多模态大模型, 强化学习, 视觉长链推理, 可解释性取证
一句话总结¶
本文构建了首个包含超 20 万高质量视频的双轴渐进式评测基准 GenBuster 与基线模型 BusterX,抛弃黑盒二分类范式,通过防熵塌缩强化学习(DAPO)直接激发多模态大模型的自发时空物理长链推理,实现了高精度且具备司法解释力的视频伪造取证。
研究背景与动机¶
随着视频生成模型(如 Seedance 2.0、HunyuanVideo、Sora 等)的突破性演进,合成视频在逼真度与时空连贯性上已逼近真实摄制视频,这为虚假信息传播、政治欺诈和法律取证带来了极大的安全风险。早期的视频伪造检测多沿用传统的 3D CNN(如 3D ResNeXt)或视频 Transformer(如 ViViT、VideoMAE),将其形式化为黑盒二分类问题;近年来虽有研究尝试引入多模态大模型(MLLM),但大多仅将 MLLM 作为二分类的辅助特征提取器,或在输出分类标签后被动生成事后解释,从未将逐步的物理与时空逻辑推理内化为检测的核心机制。
更深层次的研究困境源于现有数据与评测生态的严重滞后。现存基准(如 GVD、GenVideo 等)普遍依赖早期生成模型,画面充满明显的低级几何畸变与伪影,不仅无法模拟前沿生成器的视觉保真度,且由于缺乏人口统计学约束,存在严重的性别、年龄及种族分布偏见。与此同时,现有评测大多将模型置于混杂的聚合测试集上计算单一分类准确率,这既掩盖了模型在跨生成器领域迁移(OOD)和真实社交媒体降质(In-the-Wild)中的致命短板,又完全忽略了对取证解释质量的客观度量。在法庭调查与内容安全审核中,一份缺乏合理解释链条的黑盒判定几乎毫无参考价值。
为了打破“过时数据-黑盒分类-不可解释”的恶性循环,本文将视频伪造检测重新表述为纯粹的视觉推理任务。核心 idea:构建解耦领域偏移与代际跃迁的百万级高画质公平基准,并利用无需文本标注的纯强化学习(DAPO)训练多模态大模型,以生成的端到端物理推理思考链作为检测器本身,实现高泛化、抗退化的可解释视频取证。
方法详解¶
整体框架¶
BusterX 摒弃了监督微调(SFT)和外挂解释器流程,直接以多模态大语言模型(Qwen3.5-4B)为基座,通过强化学习驱动模型对输入视频帧序列展开多步因果时空推导。输入视频经由统一的时空采样(2.0 FPS,约 256×256 分辨率)转换为视觉序列后,模型直接在 <think> ... </think> 标记内展开深度的时空连续性分析与物理常识校验,最终输出真实的真伪判定与条理清晰的司法取证报告。
整体研发流程由三大支柱构成:首先是兼顾高画质、多样性与人口统计公平性的基础数据集 GenBuster-200K,采用统一的 HEVC/H.265 编码规范消除编解码偏置;其次是覆盖代际跃迁(2024 至 2026 纪元)的双轴分级基准 GenBuster-Bench 与解耦预测准确率的 MLLM-as-a-Judge 取证质量评估协议;最后是基于直接优势策略优化(DAPO)的无标注强化学习训练机制,通过格式、准确率与软性长度复合奖励实现策略稳定探索。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入视频与时空均匀采样<br/>2.0 FPS / 256×256 分辨率"] --> B["高画质公平性数据构建<br/>GenBuster-200K 与统一 HEVC 编码"]
B --> C["视觉推理链驱动的伪造探测<br/>Qwen3.5-4B 生成 think 思考轨迹"]
C --> D["防熵塌缩强化学习优化<br/>DAPO 策略更新与复合奖励对齐"]
D --> E["输出判定与可解释性取证报告<br/>二分类结果与时空物理异常阐释"]
关键设计¶
1. 高画质公平性数据构建与统一编码:根除生成器特定偏置与人口统计偏差
现有取证数据集往往充斥卡通夸张场景,且存在对特定职业、性别或人种的刻板偏见,使模型极易过拟合于人口学特征而非合成伪影。GenBuster-200K 从真实源 OpenVid-1M 精选 10 万条高质自然视频,并利用 HunyuanVideo、LTX-Video 等最新模型生成 10 万条合成视频。构建管线分为三阶段:第一阶段实施公平感知种子生成,强制要求以 49:49:2 的比例平衡女性、男性与非二元性别,并按正态分布采样年龄段与全球多元族裔,消除交叉属性偏差;第二阶段利用涵盖 DeepSeek-V3、LLaMA 等超 20 种开源大模型组成的提示词池,在高温采样下生成富含物理与美学约束的描述;第三阶段经受过专业培训的 5 位专家严格审计,滤除渲染失败、不安全内容与文化刻板印象。
为了防止取证模型投机取巧地依赖底层容器格式或压缩算法的指纹,团队对所有真实与合成视频进行了标准化后处理:强制对齐为 1024×1024 分辨率、5 秒时长和 24 FPS 帧率,并统一采用 x265 编码器生成 yuv420p10le(10-bit)格式的 HEVC 视频。这彻底切断了传统检测器依赖 x264 与 x265 编码伪影进行走捷径式判别的可能。
2. 视觉长链推理驱动的伪造探测:以思考轨迹作为检测器本身
传统检测方法将 MLLM 局限于分类特征提取或事后解释生成,无法利用大模型的通用物理世界常识展开主动取证。BusterX 将伪造检测重新定义为时空因果推理任务。模型不再直接吐出 Real 或 Fake,而是强制在 <think> 和 </think> 标签内展开显式的时间轴追踪与物理合理性排查。
在思考轨迹中,模型自发执行三重取证验证:其一是细粒度时空定位(Spatiotemporal Grounding),比对特定时间戳之间(如 0.0s 至 2.0s)的流体动力学演变、刚体运动轨迹和高频纹理的一致性;其二是长程逻辑与物体持久性校验(Object Permanence),识别在复杂动态场景下突兀出现或消失的实体(如站台上凭空涌现的人群);其三是结合真实世界常识(World Knowledge)进行情境反思,核验光照投射角度、材质物理属性以及生活常识逻辑(如特定烹饪手法的合理性)。这种将推理链作为判别核心的机制,使得即使面对最隐蔽的高保真合成样本,模型也能依据多处微小物理破绽推断出合成性质。
3. 防熵塌缩强化学习优化:基于 DAPO 与复合奖励激发自发探索
如果仅依赖昂贵的人工标注推理文本进行监督微调(SFT),模型不仅标注代价极高,且极易固化于有限的解释模板之中。BusterX 完全跳过 SFT,仅依赖视频样本与二分类标签(真实/伪造)进行强化学习探索。针对标准 GRPO 算法在复杂长序列推理中极易出现的策略熵骤降(Entropy Collapse),导致模型过早收敛于浅层模板化回答的问题,本文引入了直接优势策略优化(DAPO)。通过在策略比率剪裁中引入非对称边界 \([\varepsilon_{\text{low}}, \varepsilon_{\text{high}}]\),有效维持了策略分布的探索活力,促使模型持续在更深层次的因果推导空间中寻找解。
为了兼顾格式合规、分类正确性与推理冗余抑制,模型设计了复合奖励函数:
$\(R = r_{\text{format}} + r_{\text{accuracy}} + r_{\text{soft\_overlong}}\)$
其中格式奖励 \(r_{\text{format}}\) 要求严格遵循 <think>...</think>\n\n... 结构,违规即扣 \(-1\) 分,合规为 \(0\);准确率奖励 \(r_{\text{accuracy}}\) 在格式正确且最终分类与标签一致时赋予 \(+1\),否则为 \(0\);针对大模型容易产生无意义重复 token 的“过长膨胀”现象,引入平滑的软性长度惩罚:
$\(r_{\text{soft\_overlong}} = \begin{cases} 0, & L_{\text{gen}} \le L_{\text{max}} - L_{\text{cache}} \\ \frac{(L_{\text{max}} - L_{\text{cache}}) - L_{\text{gen}}}{L_{\text{cache}}}, & L_{\text{max}} - L_{\text{cache}} < L_{\text{gen}} \le L_{\text{max}} \\ -1, & L_{\text{max}} < L_{\text{gen}} \end{cases}\)$
该惩罚在生成长度超过安全缓冲区 \((L_{\text{max}} - L_{\text{cache}})\) 后线性递减,直至达到最大长度上限 \(L_{\text{max}}\) 触发极限制动,既防止了显存爆炸,又避免了硬截断对未完成推理链的破坏。
一个完整示例¶
以一段由 2026 前沿模型生成的海岸激浪合成视频为例,商业旗舰模型 GPT-5.2 与 Claude-Sonnet-4.6 均被岩石上逼真的高频粗糙纹理和波浪表层的高光反射所迷惑,判定该视频为真实拍摄。BusterX 的推理流程如下:
- 输入与时空表征:输入 5 秒视频经均匀抽样获得关键帧序列,输入 Qwen3.5-4B。
- 思考链自发生成:模型进入
<think>阶段,逐帧排查物理一致性。首先确认岩石受光面与远景天空光源方向基本一致;随后沿着时间轴进行流体动力学跟踪,在 0.0s 至 2.0s 处发现异常:海面原本处于近乎静止的微波状态,但没有任何外部风力增强或远海涌浪推进的过渡,在 1.2s 处突然瞬时激化为高达数米的巨浪并撞击礁石;接着观察飞溅水花,发现浪花边缘在 2.0s 时出现局部高斯模糊样态的结构塌缩,缺乏表面张力所决定的液滴破裂过程。 - 闭环结论判定:模型在思考链中得出流体非物理突变与微观水滴生成破损的结论,跳出
<think>后输出分类结论Fake,并列出关于时空演变突兀与水动力学失真的司法取证理由。
损失函数 / 训练策略¶
模型采用基于 DAPO 的策略优化目标。对于每个查询问题 \(q\),旧策略 \(\pi_{\theta_{\text{old}}}\) 采样包含 \(G=8\) 条轨迹的候选集 \(\{o_i\}_{i=1}^G\),由奖励函数评估后计算归一化优势值 \(\hat{A}_{i,t} = \frac{r_i - \text{mean}(\{r\})}{\text{std}(\{r\})}\)。DAPO 的优化目标函数为: $\(\mathcal{J}_{\text{DAPO}}(\theta) = \mathbb{E}_{(q,a)\sim\mathcal{D}, \{o_i\}_{i=1}^G\sim\pi_{\theta_{\text{old}}}} \left[ \frac{1}{\sum_{i=1}^G |o_i|} \sum_{i=1}^G \sum_{t=1}^{|o_i|} \min\left( r_{i,t}(\theta)\hat{A}_{i,t},\; \text{clip}\left(r_{i,t}(\theta), 1-\varepsilon_{\text{low}}, 1+\varepsilon_{\text{high}}\right)\hat{A}_{i,t} \right) \right]\)$ 其中重要性权重比率为 \(r_{i,t}(\theta) = \frac{\pi_{\theta}(o_{i,t}\mid q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}\mid q, o_{i,<t})}\)。优化中约束非等价回答数量 \(0 < |\{o_i \mid \texttt{is\_equivalent}(a, o_i)\}| < G\),剪裁阈值设置为 \([0.8, 1.28]\)。训练采用 AdamW 优化器,学习率为 \(1 \times 10^{-6}\),开启 DeepSpeed ZeRO 架构与 bfloat16 混合精度;最大完成 token 长度设为 4,096,借助 vLLM 实现高吞吐 Rollout 采样。
实验关键数据¶
主实验¶
GenBuster-Bench 设立三级进阶赛道:ID 评估已知生成器(2024 纪元,1000 真 / 1000 伪);OOD 评估 8 款未见商业模型(2025 纪元,1000 伪);Wild 评估社交平台真实传播的极端硬负例与降质视频(2026 纪元,150 伪)。解释能力评分采用 Gemini 3 Flash Preview 解耦准确率后进行 1-5 分审计并归一化至 \([0, 100]\)。OOD 与 Wild 的整体准确率按其伪造准确率与 ID 真实准确率的宏平均计算。
| 方法类型 | 方法 | ID Real | ID Fake | ID ACC | OOD Fake | OOD ACC | Wild Fake | Wild ACC | Wild Rationale |
|---|---|---|---|---|---|---|---|---|---|
| 传统检测器 | 3D ResNeXt | 84.4 | 60.8 | 72.6 | 44.7 | 64.6 | 39.3 | 61.9 | - |
| 传统检测器 | ViViT | 92.9 | 64.1 | 78.5 | 60.6 | 76.8 | 46.7 | 69.8 | - |
| 传统检测器 | VideoMAE | 93.3 | 64.9 | 79.1 | 59.5 | 76.4 | 50.7 | 72.0 | - |
| 传统检测器 | DeMamba | 93.8 | 70.2 | 82.0 | 66.9 | 80.4 | 48.0 | 70.9 | - |
| 闭源商业 MLLM | GPT-5.2 (High) | 93.3 | 61.8 | 77.6 | 54.5 | 73.9 | 50.7 | 72.0 | 48.9 |
| 闭源商业 MLLM | Grok-4.1-fast | 76.1 | 77.5 | 76.8 | 79.6 | 77.9 | 35.3 | 55.7 | 81.0 |
| 闭源商业 MLLM | Claude-Haiku-4.5 | 84.7 | 58.7 | 71.7 | 53.5 | 69.1 | 19.3 | 52.0 | 74.5 |
| 闭源商业 MLLM | Claude-Sonnet-4.6 | 61.6 | 83.2 | 72.4 | 83.9 | 72.8 | 63.3 | 62.5 | 78.3 |
| 开源通用 MLLM | Qwen3.5-4B | 83.1 | 48.9 | 66.0 | 52.4 | 67.8 | 29.3 | 56.2 | 70.0 |
| 开源通用 MLLM | Qwen3.5-27B | 76.3 | 54.8 | 65.6 | 58.0 | 67.2 | 38.0 | 57.2 | 79.7 |
| 开源通用 MLLM | Qwen3.5-122B-A10B | 79.4 | 54.7 | 67.1 | 65.7 | 72.6 | 42.0 | 60.7 | 80.0 |
| 本文专用 MLLM | BusterX (4B) | 83.0 | 90.4 | 86.7 | 92.5 | 87.8 | 72.0 | 77.5 | 84.7 |
消融实验与鲁棒性分析¶
下表汇报了思考链机制与强化学习目标对检测性能的影响,以及模型在面对常见社交媒体传输退化(随机抽帧丢弃、JPEG 压缩)时的稳定性表现。
| 实验组别 | 评估配置 / 变体 | ID ACC (%) | OOD ACC (%) | Wild ACC (%) | 表现分析 |
|---|---|---|---|---|---|
| 核心模块消融 | BusterX 完整模型 | 86.7 | 87.8 | 77.5 | DAPO 驱动的长链推理基线 |
| 核心模块消融 | w/o Thinking (直接输出) | 69.4 | 79.9 | 70.0 | 去除思考链后各赛道断崖式下跌,ID 暴跌 17.3% |
| 核心模块消融 | w/ GRPO Loss (标准 GRPO) | 85.9 | 85.1 | 70.9 | 策略熵严重塌缩,Wild 赛道急剧下滑 6.6% |
| 鲁棒性扰动压力 | 原始视频 (None) | 86.7 | 87.8 | 77.5 | 基准性能 |
| 鲁棒性扰动压力 | 50% 随机帧丢弃 | 84.8 | 86.2 | 76.0 | 跨帧时序严重破损下精度仅轻微下浮 1.5% |
| 鲁棒性扰动压力 | 25% 随机帧丢弃 | 83.7 | 85.5 | 76.2 | 仅保留四分之一帧仍维持高泛化鉴别力 |
| 鲁棒性扰动压力 | JPEG 80 质量压缩 | 86.0 | 87.8 | 76.8 | 对高频空间噪声与轻度模糊极具鲁棒性 |
| 鲁棒性扰动压力 | JPEG 70 质量压缩 | 85.4 | 87.3 | 77.1 | 重度压缩伪影下 Wild 准确率依然超过 77% |
关键发现¶
- 商业大模型普遍存在系统性判定偏置:Qwen3.5-122B 表现出严重的保守偏见(真实视频准确率 79.4%,但合成视频仅 54.7%),倾向于将一切视为真实;而 Claude-Sonnet-4.6 则极度激进,存在严重的“过度伪造判定(Over-forgery Bias)”,在真实视频上的准确率暴跌至 61.6%。BusterX 在真实(83.0%)与伪造(90.4%)子集上保持高度均衡。
- 思考链是防伪鉴别力的生命线:去掉
<think>过程强制直接输出时,ID 准确率从 86.7% 骤降至 69.4%。多步推理使模型有足够容量排查微弱物理破绽,这是参数规模增加无法单凭浅层拟合所弥补的。 - DAPO 避免了强化学习的熵崩溃:监控表明标准 GRPO 在训练中后期策略熵骤降至接近 0,模型陷入简短模版化输出;而 DAPO 成功维持了健康的策略熵,促使模型持续在长程时空空间进行高维度特征推理。
- 解释质量与法医专家高度一致:人类法医专家盲测评分达到 78.7,与 Gemini 3 Flash 评估分数的斯皮尔曼等级相关系数达 \(0.64\) (\(p < 0.01\)),证实了模型解释的严谨性与非幻觉性。
亮点与洞察¶
- 将取证机制与可解释性统一为同一实体:以往工作将检测与解释分离,BusterX 创造性地将思考链视作分类器本身,解释不再是推演结果的注脚,而是驱动最终决策的推演基石。
- 无须稠密文本标签的 RL 探索闭环:完全规避了繁琐的人工司法解说文本标注,仅依赖真实/伪造标量奖励,配合 DAPO 和长度控制,即可自发涌现出对流体动力学、光源反射与物体持久性的深度物理审查能力。
- 双轴分级评测树立了视频取证的新标杆:明确将模型能力的考察解耦为已知分布(ID)、跨生成器代际鸿沟(OOD)与真实社交退化(Wild),彻底扭转了过去靠聚合测试集一叶障目的混乱评估局面。
局限与展望¶
- 模态范围局限于纯视觉流:当前框架仅针对视频画面的时空帧进行判别,未整合音频音轨及声画同步语义矛盾分析(如音唇不同步、环境音场物理矛盾),而多模态深伪攻击在现实中越发常见。
- 极端几何小目标的时空追踪受限于抽样分辨率:因计算成本考虑,视频帧被统一重采样至约 256×256 分辨率与 2.0 FPS,对于微小面部肌肉颤动或远处细微光栅伪影的捕获仍存在物理分辨率瓶颈。
- 后续演进方向:未来可探索音视频联合跨模态对抗强化学习,并引入动态时空感兴趣区域(RoI)变焦机制,针对可疑区域自适应提高抽样帧率与解析度。
相关工作与启发¶
- vs DeMamba / VideoMAE 等传统视频分类模型:传统方法依赖密集的 3D 卷积或时空注意力进行黑盒端到端训练,虽在已知数据集(ID)上表现尚可,但在面对 2026 前沿生成器(Wild 赛道)时全部崩溃(Fake 准确率跌破 50%),且无法提供任何人类可读解释;BusterX 凭借 MLLM 的开放物理世界常识,在 Wild 伪造检测上领先传统 SOTA 超 24%。
- vs GPT-5.2 / Claude-Sonnet-4.6 等通用商业多模态大模型:通用大模型未经专业取证策略对齐,易受逼真纹理蒙蔽,或因提示词暗示产生极端偏置;BusterX 通过专用 RL 奖励校准,以 4B 的轻量参数量在各赛道全面超越百亿级通用商业旗舰。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将强化学习思考链形式化为视频伪造检测器,提出首个公平、双轴进阶的高清取证基准。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 20 万规模数据、3 级进阶赛道、多维度消融、扰动鲁棒性验证以及专家盲测。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密,动机清晰,对传统黑盒分类弊病的剖析切中要害。
- 价值: ⭐⭐⭐⭐⭐ 为生成式人工智能取证领域开辟了基于大模型因果物理推理的新范式,具备深远的司法与内容安全应用价值。