SynthForensics: Benchmarking and Evaluating People-Centric Synthetic Video Deepfakes¶
会议: NeurIPS 2026
arXiv: 2602.04939
OpenReview: https://openreview.net/forum?id=mzDFqKFToa
代码: https://github.com/iCTLab/SynthForensics
领域: 安全
关键词: 深度伪造检测, 视频合成基准, 人脸取证, 文本到视频, 图像到视频
一句话总结¶
针对新一代开源扩散模型合成逼真人脸导致现有伪造检测器全面失效的严峻挑战，论文构建了首个包含 20,445 篇超两万段配对生成视频的大规模以人物为中心的评测基准 SynthForensics，系统揭示了现有取证检测器泛化断崖与多级压缩脆弱性。
研究背景与动机¶
近年来文本到视频（T2V）与图像到视频（I2V）生成技术从早期基于 U-Net 的扩散模型快速演进至扩散变压器（Diffusion Transformer, DiT）架构，开源生成器如 Wan2.1、SkyReels-V2、CogVideoX 等已能够在消费级硬件上直接合成高度逼真的人脸与肢体动作。然而，数字取证社区的检测手段与评测基准却严重滞后。经典的 Deepfake 数据集（如 FaceForensics++、DFD、Celeb-DF）主要针对人脸替换（Face-Swap）与表情驱动重演（Reenactment），其几何拼接痕迹和融合边界与现代 DiT 全局合成的生成指纹存在本质差异；而新兴的 AI 生成视频基准（如 GenVideo、GenVidBench）往往盲目追求百万级规模，大量混杂了动漫、游戏片段及自然风光，未能保证人物子集达到高水平的逼真度与法庭级评测标准。
这种评估脱节的核心矛盾在于：现代生成伪造能够直接凭空捏造虚拟人物或仅凭单张静态照片通过 I2V 动画驱动，完全规避了传统局部篡改的面部融合接缝；但在没有高质量配对基准的情况下，检测器评测容易被场景、光照等高级语义混淆变量干扰，无法精确剥离底层生成伪造伪影。现有检测器在面对纯生成人脸时泛化能力究竟如何、能否通过微调修复、以及特征空间是否与传统篡改兼容，此前均缺乏严谨可信的实证依据。
本文的切入角度是：通过严格受控的「配对源（Paired-Source）」协议将真实人脸视频解构为结构化提示词并重新驱动最前沿的 8 款 T2V 和 7 款 I2V 开源生成器，结合两阶段全流程人工质检与过滤，建立高置信度的人物视频伪造基准。核心 idea：以 FaceForensics++ 与 DFD 的真实视频为语义锚点，构建包含 20,445 段两阶段人工精选视频、覆盖 15 款先进生成器与 4 种压缩规格的以人为中心基准 SynthForensics，全面量化现有检测模型在零样本迁移、微调修复与跨生成架构泛化上的性能断崖与特征正交性。
方法详解¶
整体框架¶
SynthForensics 构建了一套高度受控且兼顾伦理安全的配对合成与质量把控管线。整个管线以 1,363 段来自 FaceForensics++（1,000 段）与 DFD（363 段）的真实视频为正样本源头，经由视觉语言模型（VideoLLaMA 3）抽取 8 维结构化描述并经双重安全筛查后，分别构建模型定制化的正负提示词；针对 I2V 模式，由标注员精选第一关键帧作为参考帧。随后，8 款前沿 T2V 和 7 款 I2V 开源模型在适配的超参数下完成合成，再由 5 位独立评审员进行严格的伪影与伦理质检，不合格视频触发多轮迭代修正，最终输出包含全流程元数据及四种标准化压缩梯度的基准数据集。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实视频源<br/>FF++ (1000) + DFD (363)"] --> B["1. 结构化解耦提示词工程<br/>VideoLLaMA 3 抽取 8 维元描述 + LLM 安全过滤"]
B --> C["2. 先进生成器矩阵配置<br/>8 款 T2V + 7 款 I2V DiT 异构架构峰值驱动"]
C --> D["3. 两阶段人机协同质检<br/>解剖/时序/渲染/语义/伦理五维闭环迭代"]
D --> E["4. 多级压缩标准化<br/>Raw / Canonical (CRF0) / CRF23 / CRF40"]关键设计¶
1. 结构化解耦提示词工程：消除跨模型语义失配与混淆变量 在跨生成器横向对比中，不同模型对提示词的偏好和分布敏感度截然不同（例如 SkyReels-V2 偏好开篇电影级镜头描述，而 Wan2.1 依赖风格与构图优先）。若直接采用统一非结构化文本，会导致部分模型因提示词失配而表现逊色。作者采用 VideoLLaMA 3 对原始真实视频进行 8 维语义属性解构，显式提取：简短描述、稠密动作描述、背景环境、媒体风格、景别、运镜方式、光照属性和情绪氛围。根据各模型预训练分布重排字段组合，并为每款模型定制负向提示词以抑制模糊与畸变。所有结构化提示词必须通过人工逐字段审核及 Llama 3 针对 7 大安全维度的对抗性筛查，确保语义精确对齐且消除敏感合规隐患。
2. 先进生成器矩阵配置：涵盖前沿 DiT 与自回归视频架构 以往基准多滞留在早期预 DiT 时代的 U-Net 扩散模型（如 ModelScope、SVD、AnimateDiff），其原生生成长度一般不超过 2 秒（≤25 帧）。SynthForensics 聚焦具备高保真长时序生成能力的现代 DiT 范式，在测试筛选中设定了 25% 的严格人工淘汰阈值，剔除了解剖结构严重畸变的 Step-Video-T2V、存在色彩过饱和的 CausVid 以及纹理沸腾的 OpenSora 2.0。最终入选的 8 款 T2V 模型包括 Wan2.1 (14B)、CogVideoX (5B)、SkyReels-V2 (14B)、Self-Forcing (1.3B)、MAGI-1-Distilled (24B)、LTX-2.3 (22B)、Helios-Distilled (14B) 和 daVinci-MagiHuman-Distilled (15B)，其中 7 款同时部署为 I2V 模式（Self-Forcing 因纯自回归因果架构无图像前缀接口除外），全面覆盖了标准双向 DiT、自回归分块、扩散强制（Diffusion Forcing）及音视频联合注意力架构。
3. 两阶段人机协同质检：以闭环迭代保障法庭级物理真实度 扩散采样过程中的随机性常引发偶发性伪影。为确保合成视频具备极强的对抗欺骗性，所有生成的候选视频均交由 5 名独立标注员进行盲审质检。质检标准严厉覆盖五大维度：解剖结构一致性（杜绝多指、融脸、瞳孔异常）、时序动态连续性（抑制高频闪烁、纹理沸腾与主体冻结）、VAE 编解码渲染缺陷、提示词/参考帧语义吻合度、以及潜在伦理违规风险。任何单一评审员否决的样本均触发分级迭代：轻度瑕疵追加负向提示词，语义偏离重写正向描述，动态崩溃则微调 CFG 引导尺度与步数。反复迭代直至全员一致通过，最终收敛为 20,445 段精选样本。
4. 多级压缩标准化：模拟现实社交网络分发与鲁棒性度量 在实际法庭取证与虚假信息传播中，视频极少以原始渲染格式存在。为全面评测检测器对有损编码的敏感度，SynthForensics 统一构建了四级压缩标准：Raw（生成器原生无损输出）、Canonical（统一采用 H.264 CRF=0、YUV420p、BT.709 色域进行格式规整，消除编码封装副效应）、CRF23（中度压缩，模拟主流网络点播平台画质）以及 CRF40（重度有损压缩，模拟低带宽社交即时通讯转发）。全套基准共产生 81,780 个视频文件，并为每个视频配备包含种子、超参、环境哈希及软硬件运行耗时的 JSON 元数据侧车文件，保证法庭级复现溯源能力。
损失函数 / 训练策略¶
作为评测基准论文，核心目标在于检验现有取证算法的泛化能力与重训机制。作者基于 SynthForensics 构建了三种标准化评估协议： - Zero-Shot 协议：直接使用检测器在传统篡改数据集（FF++ 等）上的预训练权重，在统一视频级 AUC 指标下评估其在配对测试集（SF-FF++、SF-DFD、SF-CDF）上的性能衰减； - Fine-Tuning 协议：固定学习率 \(10^{-5}\)、权重衰减 \(10^{-4}\)，在 SynthForensics-Train 上进行最高 25 个 epoch 的保守微调，以 SF-Val 提前终止，探究在获得生成伪影学习机会后对传统 Deepfake 检测能力的遗忘代偿（Backward Transfer）； - Training from Scratch 协议：将生成器划分为同分布 In-Domain（CogVideoX、Wan2.1、LTX-2.3、MAGI-1）与完全未见的新范式 Out-of-Domain（SkyReels-V2、Self-Forcing、Helios、daVinci-MagiHuman），从标准预训练视觉骨干从头训练检测器，探究纯生成特征与局部篡改特征的交集。
实验关键数据¶
主实验¶
在 15 种涵盖人脸帧级别、人脸视频级及通用视频级检测器的主实验中，传统人脸篡改检测器在 SynthForensics 上遭遇灾难性性能崩塌，人脸方法平均跌落 27 个 AUC 百分点。
| 检测器类型 | 代表检测算法 | 训练源数据 | FF++ 传统基准 (AUC %) | SF-FF++ 零样本 (AUC %) | SF-CDF 跨分布 (AUC %) | 相对跌幅 (pp) |
|---|---|---|---|---|---|---|
| 人脸帧级别 | CFM | FF++ | 99.56 | 73.54 | 66.03 | -26.02 |
| 人脸帧级别 | RECCE | 多基准混合 | 99.15 | 79.50 | 72.92 | -19.65 |
| 人脸帧级别 | UCF | FF++ | 99.50 | 75.41 | 75.39 | -24.09 |
| 人脸帧级别 | GenD | FF++ | 98.97 | 82.35 | 68.83 | -16.62 |
| 人脸视频级 | AltFreezing | FF++ | 98.60 | 56.12 | 50.12 | -42.48 |
| 人脸视频级 | FTCN | FF++ | 99.70 | 44.76 | 53.69 | -54.94 |
| 人脸视频级 | GenConViT | 多基准混合 | 99.60 | 83.61 | 65.74 | -15.99 |
| 人脸视频级 | DFD-FCG | FF++ | 99.57 | 86.57 | 77.05 | -13.00 |
| 通用生成检测 | MM-Det | DVF (纯生成) | — | 49.17 | 41.26 | 接近盲猜 |
| 通用生成检测 | NSG-VD | K400 / Pika | — | 58.95 | 70.58 | 泛化极差 |
| 通用生成检测 | D3 | 无需训练 | — | 48.85 | 61.80 | 接近盲猜 |
消融实验与基准质量对比¶
基准质量通过 2DFAN4 关键点完整度 \(\text{Comp}_{\tau=0.7}\)、TOPIQ-NR-Face 无参考人脸感知质量 \(Q\) 以及双盲人类主观评测进行多维交叉验证：
| 基准数据集 | 关键点完整度 (\(\text{Comp}_{0.7}\)) | 人脸感知质量 (\(Q\)) | 人类偏好胜率 (Q1 质感 %) | 人类真实度胜率 (Q2 逼真度 %) | 被标记为 Fake 比例 (Q3 %) |
|---|---|---|---|---|---|
| GenVideo | 0.509 | 0.369 | 5.2 | 4.6 | 92.3 |
| AIGVDBench | 0.502 | 0.371 | 19.0 | 12.9 | 88.9 |
| GenVidBench | 0.424 | 0.401 | 8.5 | 5.7 | 91.8 |
| DVF | 0.376 | 0.311 | 16.3 | 12.7 | 86.0 |
| LOKI | 0.345 | 0.505 | 33.1 | 25.3 | 72.7 |
| SynthForensics (本文) | 0.886 | 0.471 | 71.5 (对各基准平均) | 76.5 (对各基准平均) | 37.5 |
| FF++ (真实参考) | 0.932 | 0.442 | — | — | 13.1 |
| DFD (真实参考) | 0.891 | 0.601 | — | — | 31.6 |
在微调与多级压缩鲁棒性消融中： - 微调代偿效应：微调后检测器在 SF-FF++ 上的 AUC 普遍回升至 96%~99%（如 AltFreezing 从 56.12% 暴涨至 99.12%）；然而在传统 FF++ 上，时序模型 AltFreezing 发生灾难性遗忘，性能断崖下跌至 65.52%（跌落 33.08 pp），FTCN 跌至 57.07%，仅有基于 ViT/CLIP 骨干的帧级别模型（如 DFD-FCG 保持 99.37%、GenD 保持 98.23%）表现出较好的表征留存。 - 压缩损毁消融：在 SF-FF++ 测试集上，当视频编码从 Raw/Canonical 渐进降级至 CRF40 时，15 种检测器的平均 AUC 从 68.4% 暴跌至 45.4%（低于随机盲猜）。依赖高频微小纹理的顶级检测器受创最深（CFM 从 73.5% 跌至 37.5%，RECCE 从 79.5% 跌至 40.5%）。
关键发现¶
- 时序依赖陷阱：在传统人脸篡改上表现几近完美的时序卷积/循环网络（如 FTCN 达 99.70%、AltFreezing 达 98.60%）在纯生成视频上崩塌最为彻底（FTCN 零样本仅 44.76%）。其核心原因在于这些模型过拟合了人脸拼接带来的帧间时序跳跃，而现代 DiT 生成的人脸动作在时序上具备内在连续性，彻底瓦解了纯时序模型的判别假设。
- 纯生成与局部篡改特征正交：从头训练（From Scratch）实验表明，仅在合成视频上训练的模型在传统篡改基准上的跨域迁移全面失效（平均 AUC 跌至 50%~65%）。这实证揭示了全合成伪造特征与人脸替换/重演特征在表征流形上高度互不重叠。
- 感知真实度与检测难度脱节：人类评测中被认为最逼真的生成器（SkyReels-V2 胜率超 90%）在检测器评估中反而相对容易被识别（检测 AUC 达 79%~94%）；相反，Helios-Distilled 与 LTX-2.3 虽在人类视觉中偶有瑕疵，但由于其高频频谱平滑度高，导致多数检测器在零样本下仅有 50% 左右的盲猜水平。
亮点与洞察¶
- 法庭级严密度的配对受控基准：通过将真实人脸视频解构为 8 维语义提示词驱动异构生成器，排除了场景、光照等高级语义混淆项，真正实现了面向现代 DiT 视频伪造的因果可比评测。
- 深刻揭示「时序检测神话」的破灭：以往认为时序一致性是深伪检测的灵丹妙药，本文首次以详实数据证明，高保真生成模型的时序一致性甚至能够欺骗依赖帧间扰动的时序检测器，为下一代伪造取证模型的特征选择敲响了警钟。
- 启发跨伪造范式的统一取证表征设计：微调后向遗忘和从头训练跨域失效的实验现象，证明单纯扩充训练集无法自然弥合局部篡改与整体合成的表征鸿沟，未来迫切需要探索多尺度、结构解耦的双支路通用取证架构。
局限与展望¶
- 作者承认的局限：出于代码开源、权重可归档、杜绝商用显式水印干扰以及避免平台安全风控拦截等多重考量，评测模型均来自开源生态，尚未覆盖闭源黑盒模型（如 Sora 2、Veo 3.1、Kling 3.0）；同时源视频主要继承自 FF++ 与 DFD 的欧美/公开视频分布，文化多样性存在先验边界。
- 深入分析的局限：编码格式消融目前集中于主流的 H.264 标准，尚未覆盖社交网络前沿的 AV1、HEVC 以及多轮有损转发（Transcoding）级联失真场景。
- 可改进方向：探索动态滚动的评测排行榜，引入基于频域不变量或隐空间连续性先验的基础大模型取证方法，攻克 CRF40 等极低比特率下的抗压缩取证难题。
相关工作与启发¶
- vs FaceForensics++ / DFD: 传统基准聚焦人脸替换与驱动重演，依赖接缝与形变，而 SynthForensics 针对现代 DiT 端到端生成人脸，填补了全合成人物视频的基准空白。
- vs GenVideo / GenVidBench: 早期生成视频基准偏重百万量级与广义场景覆盖，但在人脸质量上严重粗糙（关键点稳定度仅 40%~50%）；SynthForensics 聚焦人物核心威胁，人脸几何与质感对标真实人类视频（关键点稳定度 88.6%）。
- vs DeMamba / UNITE: 相比于提出专用检测模块，本文以极其详尽的矩阵评测证明了通用视频生成检测算法在人物高保真场景下的疲软，为多任务取证学习提供了坚实的数据地基。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [填补了全合成视频领域以人物为中心的高保真法庭级评测基准空白]
- 实验充分度: ⭐⭐⭐⭐⭐ [跨 15 种检测器、8 款 T2V/7 款 I2V 生成器、4 级压缩及全维度主客观实验]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，协议定义清晰，实验拆解透彻且洞察深刻]
- 价值: ⭐⭐⭐⭐⭐ [直接揭示了现代深伪取证的严峻隐患，为跨架构、抗压缩检测技术指明了方向]