Video-Zero: Self-Evolution Video Understanding¶

会议: NeurIPS 2026
arXiv: 2605.14733
OpenReview: https://openreview.net/forum?id=aoXXt7fcDl
代码: https://github.com/Zzz99999/Video-Zero
领域: 视频理解
关键词: 视频理解, 自我演化, 时序定位, 强化学习, 多模态大模型

一句话总结¶

针对视频自演化中全视频生成易依赖静态偏置与语言先验的问题，Video-Zero 提出以局部时序证据为核心的提问者-求解者协同演化框架，无需人工标注即可大幅提升视频时序定位与长程推理能力。

研究背景与动机¶

多模态大语言模型（VLM）在推理能力上的快速突破，很大程度上得益于以强化学习与自我对弈为代表的自演化（Self-Evolution）机制。在理想的自演化闭环中，模型分别扮演“提问者”（Questioner）与“求解者”（Solver）：提问者基于无标注数据自动构造具有挑战性的问答监督，求解者则在此类信号下持续学习并提供反馈。尽管这一范式在纯文本数学和静态图像领域已取得显著成效，但将其迁移至视频理解时却面临极为特殊的结构性阻碍。视频本质上具有长时程、高动态和强时空冗余的特征，而完成高层推理所需的关键信息往往高度稀疏并仅存在于极短的时序片段中。

现有自演化方法在拓展到视频时暴露了核心矛盾：盲目依赖全视频上下文和单一的“问题难度”指标。当提问者从未经约束的完整视频中直接生成问答对时，产生的问题往往缺乏细粒度的时序视觉锚定；模型只需依靠静态视觉线索、场景背景常识或语言先验就能蒙对答案。更严重的是，以往方法单纯通过难度奖励来规避过易或过难样本，但在视频场景下，一个对当前模型而言“困难”的问题完全可能是因为歧义或语言伪相关性导致的困难，并不代表其真正考察了视频的时序动态变化。盲目追求题目难度不仅无法激发时序感知，反而诱导模型学习投机取巧的捷径。

为了打破这一困局，自演化的监督构造必须从“全视频发散生成”转向“局部时序证据锚定”，让提问与解答都围绕真实发生的关键时序片段展开。核心 idea：构建以局部化时序证据为核心纽带的提问者-求解者双角色协同演化闭环，由提问者显式定位信息证据片段并生成证据锚定问题，配合可学习性、视频依赖度与证据质量三维综合效用奖励；求解者则通过采样共识建立时序目标，在答案正确性与时序对齐奖励的联合驱动下实现自监督对齐与能力协同演进。

方法详解¶

整体框架¶

Video-Zero 维护提问者策略 $\pi_Q$ 与求解者策略 $\pi_S$，两者均由同一预训练视频多模态大模型初始化，并在无人工标注的原始视频上交替协同演化。整个系统包含证据发现、证据锚定问答构造、多维效用打分、求解者共识自标注以及时序对齐强化学习五个核心阶段，形成端到端的闭环迭代优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["无标注原始视频输入"] --> B["证据驱动的局部化生成策略<br/>先定位关键时序片段再生成问答"]
    B --> C["三维效用引导的提问者奖励设计<br/>可学习性 + 视频依赖度 + 证据质量"]
    C --> D["共识伪标签与时序对齐学习<br/>求解者采样共识目标与时序IoU奖励"]
    D --> E["双角色闭环协同演化<br/>GRPO交替迭代提升"]

关键设计¶

1. 证据驱动的局部化生成策略：从全视频模糊感知到显式片段锚定 传统视频问答生成直接以完整视频为条件，极易使问题游离于关键事件之外。本文将提问者的生成分布显式因式分解为两阶段条件概率： $$\pi_Q(e, q, a^Q \mid v) = \pi_Q(e \mid v) \pi_Q(q, a^Q \mid v, e)$$ 在接收时长为 $T$ 的无标注视频 $v$ 后，提问者必须首先从视频中挖掘并输出一组结构化的时序证据跨度 $e = \{[t_k^s, t_k^e]\}_{k=1}^K$（满足 $0 \le t_k^s < t_k^e \le T$）以及对应的关键事件描述。只有在时序证据明确确立之后，提问者才以视频和该局部证据为双重约束，生成紧扣该片段动态变化的问题 $q$ 与参考答案 $a^Q$。这种显式因式分解强制生成过程立足于局部事件与状态转换，从源头上杜绝了脱离视频画面的空中楼阁式问题。

2. 三维效用引导的提问者奖励设计：兼顾学习边界、视觉必需性与证据质量 针对“高难度不等于高质量”的痛点，Video-Zero 提出了包含格式规范、可学习性、视频依赖度与证据质量的三维效用评估体系 $U_Q$，引导提问者探索最有价值的监督样本： $$r_Q = r_{\text{format}} + \underbrace{\left(r_{\text{learn}} + r_{\text{dep}} + r_{\text{evid}}\right)}_{U_Q}$$ - 可学习性奖励（$r_{\text{learn}}$）：衡量问题是否处于当前求解者的“最近发展区”。利用当前求解者对带视频输入进行 $m$ 次 Rollout 采样，统计众数答案 $\hat{a}$ 的一致性比例 $c = \frac{1}{m}\sum_{j=1}^m \mathbf{1}[a_j = \hat{a}]$，设定 $r_{\text{learn}} = \min(c, 1-c)$。当一致性居中时奖励最大，鼓励生成当前模型能力边界处非平凡但可掌握的样本。 - 视频依赖度奖励（$r_{\text{dep}}$）：检验问题是否必须依赖视频内容才能解答。分别在“有视频输入”与“去除视频输入（仅文本）”两种条件下采样求解者答案，计算与提问者参考答案 $a^Q$ 的匹配率之差： $$\Delta_{\text{video}} = \frac{1}{m}\sum_{j=1}^m \mathbf{1}[a_j^{\text{with}} = a^Q] - \frac{1}{m}\sum_{j=1}^m \mathbf{1}[a_j^{\text{without}} = a^Q], \quad r_{\text{dep}} = \max(\Delta_{\text{video}}, 0)$$ 正向差值越大，说明不看视频越无法作答，有效惩罚了依赖语言先验或静态选项偏差的伪难题。 - 证据质量奖励（$r_{\text{evid}}$）：由片段有效性 $s_{\text{span}}$、显著事件度 $s_{\text{event}}$ 和时序线索丰富度 $s_{\text{temp}}$ 构成，并对覆盖整段视频的退化全局片段进行惩罚，确保所挑时序片段聚焦且边界清晰。

3. 共识伪标签与时序对齐学习：约束求解器在正确时空证据上推理 在缺乏人工真值的情况下，求解者容易通过错误的时序依据偶然答对题目（捷径解法）。为此，Video-Zero 构建了证据对齐的伪监督与奖励机制。对于生成的候选问题，当前求解者独立 Rollout 采样 $n_{\text{pl}} = 10$ 次，每次输出预测答案与支撑该推理的时序跨度 $[t_s, t_e]$。系统通过多数投票确定伪标签答案 $\hat{y}$ 及其置信度 $s$，并仅在 $s \in [0.3, 0.8]$ 的适度区间保留样本，过滤掉过于简单或极不稳定的噪声样本。对于支持 $\hat{y}$ 的采样结果，取其时序起止点的中位数构建共识时序目标 $\hat{\tau} = [\text{median}(t_s), \text{median}(t_e)]$。在策略优化阶段，求解者预测答案 $\hat{a}^p$ 与时序跨度 $\tau^p = [t_s^p, t_e^p]$，接受联合强化奖励： $$r_S = \mathbf{1}[\hat{a}^p = \hat{y}](1 + \alpha r_{\text{align}}), \quad r_{\text{align}} = \operatorname{IoU}(\tau^p, \hat{\tau}) \prod_{b \in \{s, e\}} \left[1 - \frac{|t_b^p - \hat{t}_b|}{T}\right]_{+}$$ 其中 $\alpha = 0.5$。乘法结构确保仅在答案正确时才激活时序对齐奖励，同时结合时序 IoU 与边界绝对误差惩罚，迫使求解者不仅要给出正确判断，还必须精确指出支持该结论的真实时间区间。

损失函数 / 训练策略¶

Video-Zero 采用交替迭代的协同演化方案。在第 $t$ 轮迭代中，固定的求解者 $S_t$ 作为评估环境优化提问者获得 $Q_{t+1}$；随后由 $Q_{t+1}$ 在无标注视频池上生成包含时序证据的训练集 $\mathcal{D}_{t+1}$，通过求解者 Rollout 共识提取伪标签后，对求解者进行时序对齐训练得到 $S_{t+1}$。优化算法采用群体相对策略优化（GRPO），对每个输入采样 $G$ 个候选响应并计算组内归一化优势值： $$A_i = \frac{r_i - \mu_g}{\sigma_g + \epsilon}$$ 学习率设为 $1 \times 10^{-6}$，KL 散度约束系数为 0.01，在 8 卡 NVIDIA H20 上每个迭代周期耗时约 7 小时。整个训练仅使用从 Open-o3-Video 中随机抽取的 600 条未标注原始视频，完全舍弃所有自带文本和时间标签。

实验关键数据¶

主实验¶

论文在 13 项基准上全面评估了 Video-Zero，涵盖时序动作定位、长视频理解以及高难度视频推理。下表展示了在 Qwen3-VL 两个尺寸底座上的时序定位主实验结果（指标为 mIoU 及召回率 R@K）：

模型底座	方法	ANet-RTL (mIoU)	ANet-RTL ([email protected])	ActivityNet (mIoU)	Charades (mIoU)	NExT-GQA ([email protected])	NExT-GQA ([email protected])
Qwen3-VL-4B-Instruct	Base Model	16.86	15.72	22.86	37.52	23.09	15.40
	VisPlay (Iter 4)	16.58	13.97	22.89	37.59	23.14	15.33
	V-Zero (Iter 4)	15.85	13.97	22.81	37.10	22.82	15.22
	Video-Zero (Iter 1)	20.86	20.09	24.23	38.75	31.66	20.80
	Video-Zero (Iter 4)	29.75	28.82	32.12	41.85	38.29	23.00
	Video-Zero (Peak)	29.75	28.82	32.59	41.85	38.29	23.25
	Peak Δ 提升	+12.89	+13.10	+9.73	+4.33	+15.20	+7.85
Qwen3-VL-8B-Instruct	Base Model	21.95	21.83	26.56	36.70	35.93	21.83
	VisPlay (Iter 4)	21.83	20.09	26.74	36.65	35.87	22.19
	V-Zero (Iter 4)	22.77	20.52	26.69	36.43	35.73	22.11
	Video-Zero (Iter 4)	26.19	24.45	29.87	37.34	39.60	24.26
	Video-Zero (Peak)	26.19	24.45	29.87	37.34	39.96	25.10
	Peak Δ 提升	+4.24	+2.62	+3.31	+0.64	+4.03	+3.27

长视频与复杂视频推理基准上，Qwen3-VL-4B 的 LongVideoBench 从 57.70 升至 59.60，VideoMMMU 从 57.56 升至 61.56，VideoMathQA 从 19.05 升至 22.62；在跨架构迁移实验中，InternVL3.5-4B 在 VideoMathQA 上取得 +11.19 的飞跃，MMVU 提升 +4.80，展现了优秀的通用泛化能力。

消融实验¶

在 Qwen3-VL-4B 底座上统一于 Iteration 4 对各模块进行剥离验证：

实验配置	ANet-RTL (mIoU)	ActivityNet (mIoU)	Charades (mIoU)	NExT-GQA ([email protected])	Video-MME-L (Acc)	VideoMMMU (Acc)	说明
Video-Zero (完整)	29.75	32.12	41.85	38.29	53.60	61.56	完整模型各指标均处于最高水平
仅文本描述提问者	17.70	23.59	37.85	20.94	52.70	57.89	缺失时序跨度引导，时序定位断崖式下跌
去掉视频依赖度奖励	23.19	30.32	40.00	38.23	51.90	58.78	产生可用语言先验破解的问题，削弱视觉对齐
去掉证据质量奖励	28.24	31.28	38.38	38.59	52.00	58.78	产生边界模糊的退化时序跨度
去掉可学习性控制	22.80	29.64	39.33	36.50	52.90	60.11	题目难度脱离模型能力边界，训练效率降低
去掉时序对齐奖励	14.72	20.91	36.88	26.44	52.30	57.00	导致整体性能最大退化，模型依赖时空捷径
冻结提问者策略	26.95	30.28	40.24	37.42	51.40	57.67	缺乏协同递进机制，落后于端到端共进化

关键发现¶

时序对齐奖励是求解者学习的基石：消融实验中，去掉求解者的时序对齐奖励（w/o Temporal Reward）导致 ANet-RTL mIoU 从 29.75 骤降至 14.72（甚至低于原始基座的 16.86），证明如果仅奖励最终答案正确性而不对齐证据时间段，模型极易退化并利用非时序捷径学习。
协同演化带来渐进式自适应难度跃迁：随着迭代推进，提问者生成的样本展现出更高的视频依赖度（$\Delta_{\text{video}}$ 从第 1 轮的 +7.5 持续增至第 5 轮的 +19.0）；同时基座求解者在各代问题上的答题准确率从 59.0% 跌落至 33.0%，表明提问者在自适应逼近并推高求解者的能力边界。
数据与帧数预算具备强鲁棒性：仅需 600 条无标注视频即可稳定闭环演化；扩展到 2K 条视频时平均时序定位得分进一步提升至 36.44；同时在 32 帧、64 帧与 128 帧输入设置下均显著击败原始基座。

亮点与洞察¶

将时序证据作为自演化的组织单元：以往多模态自演化（如 V-Zero、VisPlay）大多沿袭文本领域“唯难度论”的设计，忽视了视频时序维度的局部稀疏性。本文将证据时序片段显式前置为生成条件，从根源上纠正了“难题偏离视频”的病态倾向。
正反 Rollout 剥离文本捷径：设计了利用“有视频”与“无视频（盲答）”准确率差值作为依赖度奖励的简洁机制，用极低的计算开销客观衡量了题目的“视觉必需性”。
不依赖外部强教师模型的自校验共识：通过当前求解者的多次 Rollout 获取答案多数投票与时序中位数，并施加适中置信度过滤，成功在零标注前提下自举出高质量的时序定位监督信号。

局限与展望¶

计算资源限制下的模型规模边界：作者指出由于计算开销昂贵，未能验证 32B/72B 及更大规模超大模型在自演化下的表现，大参数量模型是否会表现出更为强大的证据挖掘与自举能力仍待探究。
深层迭代中的伪标签噪声累积：在演化进入第 4、5 轮后期时，由于题目难度激增，模型无监督共识产生的伪标签准确率从第 1 轮的 64.5% 下滑至 37.5%，导致部分基准出现饱和或轻微震荡。未来需探索更为精准的自我反思（Self-Reflective）或时空交叉验证机制以压制噪声。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次揭示视频自演化的核心瓶颈在于时序证据锚定而非单纯难度，提出了优雅的局部证据驱动共进化范式]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 13 个主流基准、涵盖 4 种不同模型架构，消融与诊断分析异常深入扎实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑层层递进，问题动机清晰，公式与符号表达规范精炼]
价值: ⭐⭐⭐⭐⭐ [为视频多模态大模型的无标注持续后训练与自学习提供了极具启发性的标准范式]