VI-Bench: Benchmarking Prompt Inversion from AIGC Videos¶

会议: NeurIPS 2026
arXiv: 2609.08079
OpenReview: https://openreview.net/forum?id=qxmiHSNcG9
代码: https://github.com/Wulin-Xie/VI-Bench
领域: AIGC检测
关键词: 提示词反演、视频生成、基准评测、重放保真度、视觉语言模型

一句话总结¶

针对当前视频理解基准仅关注表面描述而忽视生成控制反演的问题，本文提出了首个 AIGC 视频提示词反演评测基准 VI-Bench，通过涵盖主体、动作、场景、风格和相机的五维控制体系与重放执行双重评测，系统揭示了前沿 VLM 在提示词忠实度与视频重放保真度之间的显著断层。

研究背景与动机¶

随着视频生成技术的快速突破，基于文本提示词的精细控制已成为文生视频模型的核心范式。用户输入的提示词不仅定义了视频“呈现什么”（如主体外观、动作进程与背景环境），还精准控制着“如何呈现”（如视觉艺术风格、运镜轨迹与分镜头叙事节奏）。在实际创作场景中，创作者常希望复现高质量 AIGC 视频的视觉风格与运镜逻辑以供二次剪辑；同时，在商业与安全层面，提示词已演化为具有独立交易价值的数字资产，生成视频潜在的提示词泄露（Prompt Leakage）风险亟需被客观量化与审计。这引出了一个基础问题：AI 生成的视频究竟在多大程度上暴露了其背后的提示词控制信号，现有视觉语言模型（VLM）能否反向还原出可被视频生成器实际执行并精确复现的提示词？

然而，现有的视频多模态理解与视频字幕基准（如 Video-MME、VidCapBench）完全无法衡量这种能力。视频描述任务的核心目标是解答“人类能看到什么”，输出的是自由文本的客观外在解说；而提示词反演要求模型推断出“生成器需要执行什么生成控制指令”。这种本质差异导致简单的文本语义相似度无法有效评估反演质量——两个字面完全不同的提示词可能生成高度一致的画面，而字面极其接近的提示词却可能因生成器的强先验或敏感关键词差异而渲染出完全脱节的视频。以往在文本生成图像（T2I）领域的反演攻击与优化方法，又无法直接泛化到具有复杂时间序列、运动连续性、运镜动态与多镜头叙事结构的视频领域。

为了填补这一评测空白，本文系统构建了面向 AIGC 视频提示词反演的首个基准 VI-Bench。核心 idea：将视频提示词反演形式化为兼具“文本提示词忠实度”与“生成器重放保真度”的双重视角任务，构建覆盖 3 个难度梯级、5 项关键生成控制因子的 900 条多生成器高保真视频基准，并引入解耦的内存-裁判双智能体机制实现客观回放评测。

方法详解¶

整体框架¶

VI-Bench 的系统流水线涵盖从真实世界海量提示词提炼、可控分级视频合成与人工校验，到 VLM 反演生成、视频生成器重放执行，再到双重视角量化评测的完整闭环。整体流程输入为参考 AIGC 视频，反演模型推断出生成控制提示词后，将其重新输入原始生成器进行生成重放，最终由评测模块计算五维控制因子上的综合反演得分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["真实提示词库 (16.1M)<br/>清洗过滤与主题挖掘"] --> B["分级提示词构建<br/>Easy / Medium / Hard"]
    B --> C["高保真视频合成与人工双检<br/>Wan2.2 & HunyuanVideo 1.5"]
    C --> D["VLM 视频提示词反演<br/>输入参考视频推断生成指令"]
    D --> E["生成器重放执行<br/>固定参数与种子生成重放视频"]
    E --> F["双重保真度量化评测<br/>文本提示词对齐 + 视频重放保真"]

关键设计¶

1. 基于主题池的分级控制合成：构建兼顾真实意图分布与可控难度梯级的提示词空间

以往基准直接随机抽样真实提示词容易造成语义覆盖失衡与控制难度不可控。针对该问题，VI-Bench 首先聚合 DiffusionDB、VidProM 与 TIP-I2V 共 16.1M 真实用户提示词，经规则过滤保留 3.9M 高质量文本。利用 Qwen3-Embedding-4B 编码与 BERTopic 挖掘主题，并结合 GPT-4o 归纳为人物角色（Character）、事件（Event）、风格（Style）、环境（Environment）、相机（Camera）五大核心控制主题池，各保留约 800 个去重主题。在此基础上，通过 GPT-4o、Claude 3.7 Sonnet 与 Gemini 2.5 Flash 联合采样构建三级难度阶梯： - Easy（单镜头语义锚定）：仅包含角色、事件与环境主题，考察基础的视觉主体与时空内容反演； - Medium（单镜头风格与相机控制）：在此基础上引入风格修饰词与运镜参数控制，要求模型剥离生成敏感控制词； - Hard（多镜头组合叙事反演）：包含 2、3、4 个镜头的连续分镜视频，要求模型解析分镜头转折并在保持时序连贯性的同时分别还原分镜提示词。

视频由前沿开源视频生成模型 Wan2.2 与 HunyuanVideo 1.5 在固定参数下渲染，并经过双人独立人工核验，严格剔除生成失真或因子遗漏的样本，最终锁定 900 个高质量基准样本（每难度各 300 条）。

2. 文本与重放解耦的综合反演评分：兼顾生成意图与执行有效性的双视角度量

传统评估依赖单一文本相似度，极易误判生成有效性。VI-Bench 提出兼顾提示词保真度与视频重放保真度的综合反演评分机制（Inversion Score）。设目标控制维度集合为 $D = \{\text{Subject}, \text{Action}, \text{Scene}, \text{Style}, \text{Camera}\}$。

对于提示词保真度，利用大语言模型（GPT-4o）将模型推断的提示词 $P_{\mathrm{inv}}$ 与真实提示词 $P_{\mathrm{gt}}$ 在各维度 $d \in D$ 进行对齐打分，打分区间 $\hat{s}^{p}_{d} \in [1, 5]$，线性归一化为 $s^{p}_{d} = (\hat{s}^{p}_{d} - 1) / 4$，提示词得分为： $$S_{\mathrm{prompt}} = \frac{1}{|D|} \sum_{d \in D} s^{p}_{d}$$

对于重放视频保真度，将推断提示词 $P_{\mathrm{inv}}$ 输入原生成器 $G$ 渲染出重放视频 $V_{\mathrm{inv}} = G(P_{\mathrm{inv}})$，在各维度得到归一化重放得分 $s^{v}_{d} \in [0, 1]$，视频得分为： $$S_{\mathrm{video}} = \frac{1}{|D|} \sum_{d \in D} s^{v}_{d}$$

最终反演得分取两者算术平均： $$S_{\mathrm{inv}} = \frac{1}{2} (S_{\mathrm{prompt}} + S_{\mathrm{video}})$$ 该设计防止了“生成器默认偏好碰巧画对但提示词完全丢失控制”以及“提示词词藻华丽但生成器无法执行”的双重评测退化。

3. 解耦的 Memory-Judge 视频评估智能体：消除长视频直接比对失真的评测架构

长视频直接送入多模态模型进行两两端到端打分容易产生注意力漂移、首尾偏见以及不可控的评分方差。VI-Bench 设计了双阶段评估智能体：首先由内存智能体（Memory Agent，采用 Qwen3-VL-8B）独立通读各个参考视频与重放视频，沿五个指定控制维度结构化提取显式视觉特征摘要；随后由裁判智能体（Judge Agent，采用 Qwen3.5-9B）对照两份结构化记忆文本，逐维度严格给出 1 至 5 分的对比打分。人类偏好对齐实验表明，该双智能体方案与人类打分的相关系数达 Pearson $r = +0.6864$，显著超越直接输入双视频 API 对比方案（+0.6806）与单帧 CLIP 图像特征相似度方案（+0.3416）。

实验关键数据¶

主实验¶

在 18 款代表性前沿 VLM（包括 2 款商业闭源模型与 16 款开源模型）上的主评测结果如下表所示。评测展现了各模型在不同难度梯度下的提示词得分（Prompt）、视频重放得分（Video）与最终反演得分（Inv.）。

模型	参数量	Easy (Inv.)	Medium (Inv.)	Hard (Inv.)	Overall (Prompt)	Overall (Video)	Overall (Inv.)
Doubao-Seed-2.0-pro	–	0.751	0.617	0.529	0.674	0.591	0.632
GPT-4o	–	0.731	0.570	0.441	0.635	0.527	0.581
OmniVinci	7B	0.722	0.556	0.450	0.633	0.519	0.576
Qwen2.5-VL-72B	72B	0.723	0.557	0.426	0.614	0.524	0.569
Qwen3-VL-8B	8B	0.733	0.571	0.366	0.592	0.522	0.557
Qwen3-VL-30B	30B	0.720	0.564	0.365	0.588	0.512	0.550
LLaVA-Video	7B	0.712	0.523	0.409	0.602	0.494	0.548
Qwen3-VL-4B	4B	0.718	0.555	0.359	0.580	0.508	0.544
Qwen2.5-VL-32B	32B	0.715	0.556	0.352	0.583	0.499	0.541
Qwen2.5-VL-7B	7B	0.697	0.497	0.379	0.581	0.468	0.524
Qwen3.5	9B	0.713	0.549	0.296	0.574	0.464	0.519
VideoLLaMA3	7B	0.670	0.462	0.362	0.550	0.446	0.498
Keye-VL	8B	0.704	0.529	0.216	0.537	0.429	0.483
Qwen2.5-VL-3B	3B	0.652	0.441	0.285	0.510	0.408	0.459
InternVL3	8B	0.549	0.388	0.236	0.311	0.471	0.391
InternVL2.5	8B	0.543	0.390	0.192	0.294	0.457	0.375
PyVision-Video	7B	0.563	0.332	0.252	0.472	0.242	0.357
LongVideoAgent	7B	0.555	0.343	0.133	0.364	0.323	0.343

消融与细分分析¶

为深入探究反演失败的内部根源，论文分析了代表性模型在各控制维度（原始 1-5 分量纲）上的文本对齐与视频重放表现：

评估维度	Doubao-Seed-2.0-pro (Prompt / Video / Inv)	GPT-4o (Prompt / Video / Inv)	OmniVinci (Prompt / Video / Inv)	Qwen2.5-VL-72B (Prompt / Video / Inv)	维度均值差距特征
主体 (Subject)	3.57 / 2.80 / 3.18	3.41 / 2.46 / 2.94	3.40 / 2.45 / 2.95	3.37 / 2.49 / 2.93	提示词显著高于视频（掉点达 0.8-1.0）
动作 (Action)	3.16 / 2.84 / 3.00	2.83 / 2.54 / 2.68	2.82 / 2.53 / 2.66	2.81 / 2.55 / 2.68	中等均衡，绝对分值偏低
场景 (Scene)	3.49 / 3.22 / 3.36	3.33 / 2.92 / 3.13	3.43 / 2.85 / 3.10	3.32 / 2.83 / 3.07	保持度较好，背景语义相对容易还原
风格 (Style)	3.99 / 3.09 / 3.54	3.62 / 2.78 / 3.20	3.68 / 2.71 / 3.15	3.59 / 2.69 / 3.14	提示词极高但视频重放断崖式下跌
相机 (Camera)	3.51 / 3.21 / 3.36	3.13 / 2.90 / 3.01	3.06 / 2.88 / 2.97	2.94 / 2.89 / 2.92	文本反演较弱，重放受生成器先验补偿

关键发现¶

最强模型整体得分仅 0.632，反演能力普遍受限：即使是商业表现最好的 Doubao-Seed-2.0-pro，在综合归一化反演分上也仅达到 0.632，GPT-4o 仅为 0.581。随着控制因子从单镜头基础语义扩展到高阶风格、运镜与多镜头叙事，所有模型的性能均出现剧烈下滑（GPT-4o 从 Easy 的 0.731 断崖式跌落至 Hard 的 0.441）。
视频理解能力并不等价于提示词反演能力：通用视频理解基准（Video-MME、MVBench 等）的综合表现与 VI-Bench 在 Easy/Medium 难度下呈弱至中等相关，而在 Hard 难度下相关性几乎完全消失；将字幕提示替换为反演指令后，整体平均得分从 0.292 飙升至 0.503，表明“描述可见内容”与“提供生成器可执行的生成控制词”存在本质分野。
主体与风格呈现严重的“虚假描述”鸿沟：在五大维度中，主体和风格展现出最大的文本-视频得分落差（Prompt 显著高于 Video）。模型常能写出看似丰富华丽的描述，但因缺乏具体的物理渲染控制关键词，生成器在重放执行时出现严重的主体外观漂移和艺术氛围失真。
多镜头叙事构成显著能力边界：单镜头向双镜头拓展时，额外视觉线索曾短暂带来增益；但镜头数增加至 3 镜及以上时，绝大多数模型反演质量严重恶化，尤其是动作维度得分持续低迷（从 2.79 降至 2.53），凸显现有 VLM 在组织跨镜头时间连续控制上的严重短板。

亮点与洞察¶

将反演任务从图象拓展至多维动态时序视频：首次明确提出了 AIGC 视频可重放提示词反演的完整基准框架，跳出了单张图像逆向工程的局限，揭示了视频在时间连续性、镜头语言与风格演化维度的独特反演瓶颈。
文本对齐与物理重放解耦评测范式：指出了仅评估提示词文本相似度的欺骗性，提出将反演文本作为代码重新编译执行的重放评估机制，有力避免了生成器随机先验与模型幻觉带来的虚高评估。
多智能体解耦记忆对比评测工具：Memory-Judge 双智能体评测架构有效规避了超长视频端到端对比评测时的上下文压缩与偏见问题，为复杂长视频的保真度自动化评测提供了高人类一致性的落地范式。

局限与展望¶

生成器闭源覆盖与白盒特征探索受限：受制于视频重放生成的高昂计算与 API 成本，基准目前主要由 Wan2.2 与 HunyuanVideo 1.5 支撑，尚未集成专有闭源商业视频生成引擎（如 Sora、Gen-3 等），且当前采用端到端黑盒生成重放，未结合隐空间注意力引导等白盒机制。
仅聚焦于视觉层面的控制反演：当前版本的视频仅评估画面视觉通道，尚未将伴随 AIGC 视频发展的音效、旁白语音（Audio/Speech）以及文本字幕（Text Overlays）等多模态同步控制词纳入反演范围。
改进方向：未来可探索结合局部特征反演的迭代式优化算法（如在线反馈控制优化），并在数据构建上引入音画一体的全模态提示词重放评测。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立 AIGC 视频全流程提示词反演评测基准与重放执行度量范式。
实验充分度: ⭐⭐⭐⭐⭐ 评测 18 个主流 VLM，涵盖 3 个难度梯级、5 大控制维度并包含详尽的人类对齐验证。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络清晰严密，理论定义与实验设计自洽。
价值: ⭐⭐⭐⭐⭐ 对 AIGC 视频二次创作、商业提示词版权保护与大模型跨模态生成控制具有重要的指导意义。