Meta Inverse Prompting for Video Generative Models¶

会议: NeurIPS 2026
arXiv: 2610.24965
OpenReview: https://openreview.net/forum?id=iRDtcVU7O0
论文: https://arxiv.org/abs/2610.24965
代码: https://ueriniuno.github.io/mvip-page/
领域: 视频生成
关键词: 视频逆向提示词, 元学习, 视频生成模型, 文本条件反演, 提示词优化

一句话总结¶

提出首个实用的视频逆向提示词框架 MVIP，将基于重构的提示词搜索形式化为元学习问题，学习跨视频共享的软提示词初始化，无需测试时耗时优化即可快速推断兼顾时间动态与保真度的可重用提示词。

研究背景与动机¶

视频生成模型（如基于扩散模型、Transformer 架构与流匹配模型的方法）近年来取得了长足进展，不仅能合成高保真度、时序连贯的动态视频，还广泛支持文本到视频、图像到视频及参考引导生成等条件合成管线。然而，现有视频生成工作流本质上是“单向”的：用户可以凭借文本提示词或条件帧引导视频生成，却缺乏一种从已有视频反推出精细控制提示词的有效逆向机制。在复杂的媒体制作与交互式编辑场景中，创作者往往希望重现或微调一段视频（例如在保留主体与场景构图的前提下微调运动轨迹或光影风格），但原始生成提示词通常缺失，且提示词与视频之间存在高度多对一及模型依赖的映射特性，导致用户不得不依赖盲目的试错式提示词工程。

视频逆向提示词的核心痛点在于：直接将图像逆向提示词技术迁移至视频域会遭遇计算开销与表征维度的双重瓶颈。图像逆向提示词主要依赖基于梯度的离散或连续优化（如 PEZ），但在长视频序列生成模型上，反复执行前向与反向传播的单视频测试时优化计算开销过大，根本无法实用化。另一方面，基于通用视觉语言模型（VLM）的迭代描述生成（如 ARPO）虽然效率较高，但往往生成语义宏观合理却缺乏生成重构约束的粗粒度字幕，无法精确捕捉复杂的时序动态、多主体动作序列与摄像机运动轨迹，导致视频重构保真度显著下降。

这构成了高保真重构与推理效率之间的核心矛盾：梯度优化具有精确的重构导向性但计算昂贵，而通用字幕生成快速却缺乏重构意识。本文的切入角度是：将视频生成重构驱动的优化过程与 VLM 的提示词生成空间在元学习范式下统一，使模型学会跨视频分布共享的时空重构先验。核心 idea：将视频逆向提示词形式化为初始化元学习问题，在冻结的 VLM 与视频生成器之间引入少量可学习的软提示词，通过元训练学习捕获时空动力学重构先验的共享初始化，在测试时实现免迭代优化的快速重构感知提示词推断。

方法详解¶

整体框架¶

MVIP 的核心目标是给定目标视频 $v$ 及其首尾帧条件 $v_{\mathrm{cond}}=(f_1^v, f_T^v)$，寻找一个离散文本提示词 $c$，使得固定黑盒视频生成器 $G$ 生成的视频 $\hat{v} = G(c, v_{\mathrm{cond}})$ 最大化与目标视频的重构相似度 $S(\hat{v}, v)$。为克服逐视频从头优化的计算瓶颈，MVIP 冻结了作为提示词生成器的 VLM $M_\psi$ 和底层视频生成器 $G$，仅在 VLM 指令输入端引入一组可学习的软提示词参数 $\Phi$。

整体管线分为基于 Reptile 的元训练阶段与快速测试时推断阶段。在元训练时，系统采样一组视频任务构成批次；在任务内循环中，VLM 依据当前软提示词和视频采样帧生成若干候选提示词，通过生成器评测选出重构得分最高的最优候选，引导软提示词进行内循环似然优化；外循环则聚合各任务的软提示词位移，执行一阶元更新得到共享的软提示词初始化。在推断阶段，直接使用元训练收敛的共享软提示词引导 VLM，输入测试视频帧即可单次前向输出具备强重构约束的文本提示词。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["目标视频片段 v<br/>采样帧 x 与首尾帧条件 v_cond"] --> B["软提示词空间参数化<br/>冻结 VLM 输入端注入软标记 Φ"]
    B --> C["重构引导的任务内循环自适应<br/>Best-of-N 候选生成与生成重构相似度评测"]
    C --> D["伪目标引导的软提示词似然更新<br/>在冻结 VLM 上最大化最优提示词对数似然"]
    D --> E["跨视频任务的一阶元更新<br/>聚合任务参数位移更新共享初始化 Φ"]
    E --> F["测试时推断与下游控制<br/>单次前向推断提示词并驱动视频生成/编辑"]

关键设计¶

1. 软提示词空间参数化：解耦黑盒生成器与连续优化空间

直接在离散文本空间优化难以利用梯度信息，而若微调整个 VLM 或视频生成器，不仅训练开销巨大，还会破坏基础模型原有的语言建模能力与生成先验。为此，MVIP 保持 VLM 模型参数 $\psi$ 与视频生成器 $G$ 完全冻结，仅在 VLM 的固定硬指令 $h$（如描述物体、动作与时间变化）前缀拼接长度为 $|\Phi|=16$ 的可学习连续软提示词嵌入向量 $\Phi$。

对于特定视频片段任务 $\tau$，VLM 基于从视频 $v_\tau$ 中均匀采样的帧集合 $x_\tau$、文本指令 $h$ 以及软提示词 $\Phi$ 自回归生成离散文本提示词 $c_\tau(\Phi) \sim p_\psi(\cdot \mid x_\tau, h, \Phi)$，随后输入视频生成器 $G$ 结合首尾帧条件 $v_{\tau,\mathrm{cond}}$ 合成重构视频 $\hat{v}_\tau = G(c_\tau(\Phi), v_{\tau,\mathrm{cond}})$。该设计将离散搜索提升为连续参数流形的调控，既保证输出提示词对下游任意黑盒视频生成器完全兼容，又为元学习优化提供了平滑的优化载体。

2. 重构引导的 Best-of-$N$ 内循环自适应：黑盒评测下的伪目标构造

由于视频生成模型 $G$ 是复杂的黑盒扩散/流匹配模型，无法通过其反向传播端到端优化 VLM 的软提示词。为解决重构信号向 VLM 传递的难题，MVIP 在内循环设计了重构引导的候选筛选与自训练微调机制。

在内循环步骤 $k$，模型基于前一步的软提示词 $\Phi_\tau^{(k-1)}$ 采样 $N$ 个候选文本提示词 $\{c_{\tau,i}^{(k)}\}_{i=1}^N$。通过生成器分别合成候选视频，并利用预定义的视频相似度评分函数 $S(\cdot, \cdot)$ 选取重构效果最佳的提示词作为伪目标： $$i^* = \arg\max_{i=1,\ldots,N} S\left(G(c_{\tau,i}^{(k)}, v_{\tau,\mathrm{cond}}), v_\tau\right), \quad c_\tau^{*,(k)} = c_{\tau,i^*}^{(k)}$$ 随后，固定 VLM 权重，仅沿该伪目标的对数似然梯度更新软提示词： $$\Phi_\tau^{(k)} = \Phi_\tau^{(k-1)} + \alpha \nabla_{\Phi_\tau^{(k-1)}} \log p_\psi\left(c_\tau^{*,(k)} \mid x_\tau, h, \Phi_\tau^{(k-1)}\right)$$ 这一机制巧妙地将黑盒视频生成评估转化为 VLM 的有监督似然更新，使软提示词快速向“能够诱导生成高保真重构文本”的流形方向偏移。

3. 一阶元更新初始化学习：摊销逐视频优化开销

若每个测试视频都需进行多轮生成与梯度迭代，推理成本仍难以承受。为实现类似普通字幕生成的即时单次前向推断，MVIP 借鉴 Reptile 元学习算法，避免对内循环优化轨迹计算代价极高的高阶 Hessian 矩阵，直接采用一阶位移聚合进行元更新。

在一个包含 $B$ 个视频任务的批次中，每个任务从当前外循环初始点 $\Phi_t$ 出发，经 $K$ 步内循环自适应得到任务特定软提示词 $\tilde{\Phi}_{t,b} = A_{\tau_b}^K(\Phi_t)$。外循环更新将共享初始化拉向这些任务自适应参数的平均位置： $$\Phi_{t+1} = \Phi_t + \eta \left[ \frac{1}{B} \sum_{b=1}^B \left(\tilde{\Phi}_{t,b} - \Phi_t\right) \right]$$ 该元更新将跨多样化视频片段所学到的时空动态捕获模式与生成器重构偏好内化至共享软提示词 $\Phi$ 中。在测试时，模型可以直接置 $K=0$（零步自适应），仅凭前向推理即可直接输出具有重构感知能力的高质量逆向提示词。

损失函数 / 训练策略¶

元训练超参数设置如下：内循环自适应步长 $\alpha = 10^{-3}$，外循环元学习率 $\eta = 0.1$，总外循环步数为 100 步。每个任务采样 $N=4$ 个候选提示词进行 Best-of-$N$ 筛选。软提示词长度 $|\Phi|=16$，使用描述性自然文本词嵌入进行初始化。为兼顾训练吞吐量，内循环评测时采用轻量级首帧条件 Wan2.2-TI2V-5B 生成器计算重构损失，而测试时直接泛化至包含首尾帧条件的 Wan2.2-Fun-5B 甚至 CogVideoX 生成器，展现出极强的生成器迁移性。

实验关键数据¶

主实验¶

在由合成视频（VideoCrafter2、ModelScope、Pika、Wan 2.2）和真实世界视频（ActivityNet、MSR-VTT）构成的测试集上，全面对比首尾帧条件基线（FLF-Only）、图像逆向提示词（PEZ）、VLM 直接描述（Qwen2.5-VL）及测试时迭代优化（Captioning+Refine）。评价指标涵盖视频相似度（ViCLIP V-V、VideoMAE）、光流动力学距离（RAFT Dist.）以及帧级视觉相似度（DINOv2、DreamSim、CLIP-I）。

数据集	方法	ViCLIP V-V ↑	VideoMAE ↑	RAFT Dist. ↓	DINOv2 ↑	DreamSim ↓	CLIP-I ↑
合成视频 (VidProM)	FLF-Only	0.9424	0.9878	0.3777	0.8678	0.0667	0.9272
	PEZ (图像反演多帧拼接)	0.9381	0.9860	0.3820	0.8583	0.0747	0.9255
	Qwen2.5-VL Captioning	0.9284	0.9828	0.3802	0.8505	0.0897	0.9233
	Captioning + Refine (ARPO)	0.9327	0.9880	0.4288	0.8576	0.0775	0.9261
	MVIP (本文, K=0)	0.9460	0.9905	0.3530	0.8785	0.0636	0.9335
真实视频 (ActivityNet/MSR-VTT)	FLF-Only	0.6992	0.9474	0.5772	0.5116	0.3421	0.7324
	PEZ	0.7883	0.9536	0.5857	0.5710	0.3166	0.7643
	Qwen2.5-VL Captioning	0.7977	0.9488	0.5955	0.5705	0.3300	0.7668
	Captioning + Refine	0.8047	0.9489	0.6040	0.5618	0.3295	0.7712
	MVIP (本文, K=0)	0.8328	0.9523	0.5738	0.5848	0.3121	0.7825
未见数据集 (Kinetics-400)	FLF-Only	0.8808	0.9807	0.4880	0.7483	0.1620	0.8598
	PEZ	0.8963	0.9776	0.5058	0.7659	0.1619	0.8678
	Qwen2.5-VL Captioning	0.9007	0.9803	0.4932	0.7753	0.1533	0.8712
	MVIP (本文, K=0)	0.9186	0.9829	0.4897	0.7933	0.1419	0.8804
未见数据集 (DAVIS-2017)	FLF-Only	0.9364	0.9617	0.4320	0.8018	0.1374	0.9074
	PEZ	0.9451	0.9669	0.4097	0.8132	0.1411	0.9152
	Qwen2.5-VL Captioning	0.9525	0.9651	0.4105	0.8278	0.1348	0.9210
	MVIP (本文, K=0)	0.9568	0.9790	0.3412	0.8364	0.1282	0.9234

消融实验¶

在 MSR-VTT 真实视频基准上对元更新与 Best-of-$N$ 策略进行组件消融，并在元提示词长度及自适应步数上进行深入分析。

配置	Meta-Update	Best-of-N	ViCLIP V-V ↑	DINOv2 ↑	CLIP-I ↑	说明
MVIP 完整配置	✓	✓	0.8434	0.6516	0.8091	完整模型，综合表现最佳
无 Best-of-N ($N=1$)	✓	×	0.8389	0.6174	0.8081	失去多候选筛选，重构引导信号噪声增加
无元更新 (仅内循环优化)	×	✓	0.8314	0.6303	0.8057	缺乏跨任务共享初始化，泛化能力受限
标准 Captioning 基线	–	–	0.8021	0.6214	0.7872	无重构优化目标，反演保真度最低

此外，针对元提示词设计的消融表明： 1. 初始化方式：采用自然语言文本嵌入初始化的软提示词（ViCLIP 0.9193）显著优于高斯随机初始化（0.9064），有意义的先验为元学习提供了优质起点。 2. 提示词长度：$|\Phi|=16$（ViCLIP 0.9193）优于 $|\Phi|=4$（0.9129）与 $|\Phi|=8$（0.9045），说明适度长度即可提供充分的时空重构先验表达容量。 3. 测试时自适应步数：零步推断（$K=0$）已显著超越基线；$K=1$ 时取得最高重构分数（ViCLIP 0.8392，CLIP-I 0.7861），但耗时增加至 3.96 倍；$K=2$ 出现轻微性能饱和与过拟合。

关键发现¶

重构感知优于纯文本详尽描述：与使用更强模型（Qwen3.5-9B）或人工设计更长、更复杂提示词模板的 Baseline 相比，MVIP 的优势依然显著（0.8434 vs 0.8123 ViCLIP V-V）。这证实单纯增加语言模型的容量或提示词长度无法自发习得视频生成器所需的时空重构偏好。
卓越的时间与计算效率：在单卡 B200 上的推理耗时测算中，MVIP ($K=0$) 耗时仅为 273.1 秒/视频秒，而基于反馈重写的 Captioning+Refine 耗时达 1060.0 秒/视频秒（3.88倍）且指标全面落后；图像优化 PEZ 耗时 342.7 秒/视频秒。MVIP 实现了精度与速度的最佳帕累托平衡。
跨生成器零样本迁移：将训练时使用的 Wan2.2 替换为架构截然不同的 CogVideoX 模型时，MVIP 依然将 ViCLIP V-V 从基线的 0.8222 大幅提升至 0.8709，证实所学元软提示词捕获的是普适的时空运动语义，而非过拟合特定生成器权重的对抗扰动。

亮点与洞察¶

将反演提升至提示词空间的元学习范式：巧妙地将计算昂贵的梯度反演优化过程转化为元学习中软初始化的离线聚合，使得在线测试时能够以单次前向字幕生成的低廉成本，获得媲美甚至超越测试时迭代优化的重构保真度。
无缝衔接下游指令驱动视频编辑：反演出的文本提示词高度结构化且具备自然语言可读性，通过结合大语言模型（如 GPT-4o）对动作词或局部属性的微调重写，能够在无需额外训练的情况下，在 IVEBench 基准上取得优于专用编辑方法（RF-Edit、Wan-Edit）的指令满足度（3.25）与内容忠实度（3.95）。
可复用的跨模态重构接口设计：通过首尾帧确定宏观空间边界、软提示词注入连续先验、Best-of-$N$ 构造离散重构监督信号的三元协同设计，为黑盒生成模型的逆向工程与可控交互提供了一套通用的方法论范式。

局限与展望¶

依赖首尾帧条件约束：当前框架依赖首尾帧作为视觉锚点，以消除视频重构中的严重不适定性。对于无起始与终止帧引导的纯文本完全逆向反演，仍有待更深入的理论与结构创新。
极端动态与非刚体大运动建模上限：当视频中存在剧烈的相机视角切换或复杂的多物体拓扑形变时，VLM 仅凭 8 个采样帧可能遗漏关键帧间物理交互细节，导致反演描述出现运动断层。
未来展望：探索结合分层元学习（Hierarchical Meta-Learning），分别对宏观场景结构、局部实体轨迹与摄像机运动轨迹学习模块化的软提示词组合；此外，将生成过程中的隐空间轨迹反馈纳入内循环，有望进一步收敛反演逼真度。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对视频生成模型的元逆向提示词框架，将高开销的时序重构优化摊销为即时推断。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖合成、真实及未见数据集，包含完备的定量指标、跨生成器泛化评测、下游编辑应用及详细消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，数学公式与算法设计条理清晰，动机与实验证据自洽。
价值: ⭐⭐⭐⭐⭐ 为视频生成的可控反演、复现与交互式编辑提供了兼顾高保真度与高效率的极佳解决方案。