CAC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating¶

会议: NeurIPS 2026
arXiv: 2605.11723
领域: 多模态VLM
关键词: 视频奖励模型, 稀疏时空异常定位, 层次化两轮聚焦, 强化学习, GRPO

一句话总结¶

针对生成视频中微弱且在时空上高度稀疏的结构、物理与运动异常，提出基于视觉语言模型的粗到细两轮聚焦奖励模型 CaC，配合三阶段渐进式训练与过程级时空 IoU 奖励，并在下游生成对齐中将视频异常率降低 11.7%。

研究背景与动机¶

随着视频生成模型在全局画面逼真度上的迅速提升，传统粗粒度的生成缺陷（如整体画面模糊、严重的文本-视频语义不匹配或极低的审美质量）在先进架构中已逐渐减少。然而，在合成复杂动态场景时，生成模型仍然频繁出现局部幻觉，包括精细的人体结构畸变、反常识的物理规律违反、短暂的运动闪烁与不自然突变，以及文字渲染崩溃。当前视频对齐领域对奖励模型提出了极为严苛的要求：既需要维持对全局偏好的评估，更需要稳定捕获这些微弱且关键的异常缺陷。

然而，现有的视频奖励模型绝大多数依然将重点放在整体视觉质量评分和文本对齐上，缺乏针对局部结构变形与物理异常的细粒度诊断能力。生成视频中的异常在时间和空间上通常表现出极高的稀疏性——可能仅在数秒视频中的几帧内、或者仅占画面微小的局部区域（如扭曲的手指、悬空的物件或瞬时的形变）。直接采用全局固定帧率输入的大模型推理，微弱的局部异常信号极易被大量占主导地位的正常背景与时序上下文彻底淹没，导致模型对异常漏报严重或产生过敏偏置。

要攻克时空高度稀疏异常难以检测的难题，关键在于赋予多模态模型类似人类专家的“主动聚焦”机制。本文的核心切入点是将复杂的全视频时空联合搜索解耦为两阶段的逐层放大认知链条。核心 idea：提出粗到细两轮时空聚焦的奖励模型 CaC（Concentrate and Concentrate），先全局时序粗扫定位异常时间窗口，再局部密采样深层空间定界，结合三阶段渐进训练与可验证的时空/归因 IoU 过程奖励，引导 VLM 进行稳健、可解释且可直接赋能下游生成的细粒度异常反馈。

方法详解¶

整体框架¶

CaC 的核心机制围绕“粗到细的时空层次化聚焦”与“结构化思维链（CoT）推理”展开。在推理阶段，模型接收用户提示词与待评测视频，第一轮以稀疏帧率（4 fps）进行全局时序扫描，锚定潜在的可疑异常时间窗口与初步类型；随后将该异常区间剪切并以更高帧率（8 fps）进行局部密采样，在第二轮输入中执行高精度的空间边界框（bounding box）定位与最终置信度裁决。若第二轮未确认异常，则保守判定为正常视频。模型输出的置信度被平滑转换为标量奖励，为下游生成模型提供连续反馈信号。

为支撑这种两轮聚焦能力，论文构建了包含逐帧框级时空标注与多轮验证 CoT 的大规模生成视频异常数据集，并提出了“单帧热身预训练 $\to$ 多帧时空 SFT $\to$ 双轮交互式 GRPO 强化学习”的三阶段渐进式训练范式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：生成视频与提示词"] --> B["阶段一：单帧异常认知与空间定界预训练"]
    B --> C["阶段二：全局时序扫描与局部片段联合 SFT"]
    C --> D["阶段三：双轮交互 GRPO 强化学习微调"]
    D --> E["粗到细双轮推理与时空聚焦定位"]
    E --> F["结构化判别至标量奖励映射"]
    F --> G["下游生成模型强化对齐 (Flow-GRPO / BoN)"]

关键设计¶

1. 阶段一：单帧异常认知与空间定界预训练 现有的预训练多模态大模型大多缺乏对生成视频中特有伪影和局部解剖/物理畸变的理解先验，直接在整视频上进行长程时空搜索会导致严重的注意力耗散。为此，第一阶段首先提取单帧异常图像与文本提示，通过 LoRA 微调让模型学习异常识别与目标边界框（bbox）回归的基本能力。训练样本引入包含判别结论、归因剖析和目标受损区域归一化坐标（$[0, 1000]$ 空间）的结构化 CoT 序列，为模型打下稳固的局部缺陷感知与坐标定界基础。

2. 阶段二：全局时序扫描与局部片段联合 SFT 建立单帧感知后，模型必须适应视频动态时序上下文中的异常演化。第二阶段采用全参数微调，混合训练两类视频格式以匹配后续双轮交互：一类是全长视频在 4 fps 均匀下采样后的全局序列，目标是让模型从全貌中捕捉时序跳跃并定位异常发生的时间区间 $\mathcal{F}_{\mathrm{pred}}$；另一类是小于 1 秒且在 8 fps 密集采样下的局部纯异常/正常切片，强迫模型在局部高帧率上下文里学习瞬时物理违背与局部运动闪烁的精细定位格式，使得模型能够输出严格遵循两轮交互模式的规范化思维链。

3. 阶段三：双轮交互 GRPO 强化学习微调 仅依靠监督微调容易使模型在面对复杂负样本时产生置信度偏差或格式幻觉。第三阶段采用群组相对策略优化（GRPO）直接在两轮轨迹上联合优化策略 $\pi_\theta$。对于输入视频，策略采样一组 $G$ 条完整双轮轨迹 $\{y_i\}_{i=1}^G$，第一轮输出时间窗口 $y_i^1$，系统据此自动裁剪片段并密采样喂回模型生成第二轮空间框与最终归因 $y_i^2$。优势值通过组内归一化计算： $$\hat{A}_i = \frac{R(y_i) - \text{mean}(\{R(y_j)\}_{j=1}^G)}{\text{std}(\{R(y_j)\}_{j=1}^G) + \epsilon_A}$$ 优化目标结合 PPO 式的概率比率截断 $J_{\mathrm{clip}}(\theta)$ 与针对未微调参考模型 $\pi_{\mathrm{ref}}$ 的无偏估计 KL 散度约束： $$J_{\mathrm{GRPO}}(\theta) = \mathbb{E}_{(c,f) \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}}\left[ J_{\mathrm{clip}}(\theta) - \beta D_{\mathrm{KL}}(\pi_\theta \parallel \pi_{\mathrm{ref}}) \right]$$ 该目标避免了训练外部复杂的 Critic 价值网络，极大地节省了显存开销，同时稳定提升了长链多模态推理能力。

4. 粗到细双轮推理与时空聚焦定位 在推理执行层面，针对高帧率长视频全量推理显存与计算开销过大的问题，CaC 采用两轮层级推进。首轮输入 4 fps 全局视频，快速扫描排查是否存在对象畸变、人体畸变、运动异常、物理违规或字符乱码等 5 类预定义异常；若首轮判定异常，输出粗粒度时间边界并自动触发第二轮；第二轮对候选时间窗口以 8 fps 密采样放大，重点审查高频细节与微小几何形变并输出最终决策和空间定界。两轮过滤机制大幅降低了假阳性，并让推理计算集中于真正存疑的关键区间。

5. 结构化判别至标量奖励映射 为了使异常判别模型能无缝作为强化学习或拒绝采样的奖励函数，必须将离散的诊断文本转化为平滑连续的标量。CaC 避开单标量黑盒回归的不稳定性，直接利用大语言模型在输出裁决词元时的词表概率分布，提取模型在“正常（normal）”与“异常（abnormal）”词元上的未归一化对数几率 $P_{\mathrm{norm}}$ 与 $P_{\mathrm{abn}}$，构建归一化标量奖励： $$R_{\mathrm{CaC}}(v, p) = \frac{P_{\mathrm{norm}}}{P_{\mathrm{norm}} + P_{\mathrm{abn}}}$$ 结合预测输出的时空边界与结构化理由，生成下游既能获取高置信度的连续奖励梯度，又能随时追溯可视化定位证据。

损失函数 / 训练策略¶

在 Stage 3 GRPO 的奖励函数设计中，为了引导模型生成真正在视觉上可验证的推理过程而非盲目猜中标签，论文提出了包含格式、判决状态与过程级时空重合度的复合奖励函数： $$R(y_i) = w_1 R_{\mathrm{fmt}}(y_i) + w_2 \bar{\gamma}_i R_{\mathrm{stat}}(y_i) + m_i \big( w_3 \widetilde{R}_{\mathrm{type}}(y_i) + w_4 \widetilde{R}_{\mathrm{temp}}(y_i) + w_5 \widetilde{R}_{\mathrm{spa}}(y_i) \big)$$ 其中权重分配为 $(w_1, w_2, w_3, w_4, w_5) = (1, 2, 2, 2, 5)$。具体各分项定义如下： - 格式奖励 $R_{\mathrm{fmt}}$：两轮中每轮输出符合预设 JSON 模式得 0 分，否则罚 $-1$ 分。 - 状态奖励 $R_{\mathrm{stat}}$：预测正常/异常状态与真实标签一致得 0 分，不一致罚 $-1$ 分；对于异常视频，必须两轮全部判别正确方可过关。 - 归因类型 IoU 奖励 $R_{\mathrm{type}}$：计算预测异常类别集合与真实类别集合的 Jaccard 相似度：$R_{\mathrm{type}} = \frac{1}{2} \sum_{t=1}^2 \frac{|\mathcal{T}_{\mathrm{pred}}^t \cap \mathcal{T}_{\mathrm{gt}}|}{|\mathcal{T}_{\mathrm{pred}}^t \cup \mathcal{T}_{\mathrm{gt}}|}$。 - 时间 IoU 奖励 $R_{\mathrm{temp}}$：评估首轮锚定的帧索引集合与标注异常区间的重叠度：$R_{\mathrm{temp}} = \frac{|\mathcal{F}_{\mathrm{pred}} \cap \mathcal{F}_{\mathrm{gt}}|}{|\mathcal{F}_{\mathrm{pred}} \cup \mathcal{F}_{\mathrm{gt}}|}$。 - 空间 IoU 奖励 $R_{\mathrm{spa}}$：在两轮重合的异常帧集合上，计算第二轮预测边界框与标注边界框的平均框级 IoU：$R_{\mathrm{spa}} = \frac{1}{M} \sum_{m=1}^M \text{IoU}(b_m^{\mathrm{pred}}, b_m^{\mathrm{gt}})$。 - 显著性衰减机制：引入显著性折扣因子 $\gamma(s_n)$（非显著异常为 0.5，显著异常为 1.0），对难样本适当放宽惩罚，避免难例的过度梯度震荡；掩码 $m_i$ 在正常样本上将所有 IoU 项屏蔽为 0。

实验关键数据¶

主实验¶

评估在专门构建的基准 CaC-Bench-Main（500 正常 + 500 异常视频）上进行，涵盖通用 MLLM、视频奖励模型与鉴伪检测器。

模型	异常视频召回率	异常视频精确率	异常 F1	正常视频召回率	正常视频精确率	正常 F1	整体准确率 (Acc.)
Gemini-2.5-Pro	0.854	0.530	0.654	0.244	0.626	0.351	0.549
Gemini-3.1-Pro	0.537	0.692	0.605	0.583	0.476	0.524	0.560
GPT-4o	0.364	0.454	0.404	0.562	0.469	0.511	0.463
Qwen3-VL-8B	0.108	0.574	0.182	0.920	0.508	0.654	0.514
Qwen3-VL-32B	0.066	0.702	0.121	0.972	0.510	0.669	0.519
UnifiedReward (UR)	0.538	0.563	0.550	0.582	0.557	0.569	0.560
UnifiedReward-Think	0.428	0.504	0.463	0.578	0.503	0.538	0.503
VR-Thinker	0.382	0.554	0.452	0.692	0.528	0.599	0.537
Skyra-RL	0.982	0.500	0.663	0.018	0.500	0.035	0.500
VideoVeritas	0.414	0.539	0.468	0.646	0.524	0.579	0.530
CaC (本文方法)	0.910	0.767	0.833	0.724	0.889	0.798	0.817

在极度严苛的 CaC-Bench-Hard（按异常持续时长 $<1$s / $\ge 1$s，空间面积占比 $<20\%$ / $\ge 20\%$ 划分的 4 档稀疏难度）中，CaC 在持续时间 $<1$s 且面积 $<20\%$ 的最难切片上达到 70% 召回率，相比次优模型（UnifiedReward 的 32%、VR-Thinker 的 23%、Gemini-3.1-Pro 的 21%）实现了 38% 的绝对领先。

在下游对齐实验中，基于 Wan-2.1-1.3B 生成模型结合 Flow-GRPO 进行优化：

评测维度 / 指标	原始基准模型	BoN (UR)	BoN (UR + CaC)	Flow-GRPO (UR)	Flow-GRPO (UR + CaC)
动态程度 (Dynamic Degree) $\uparrow$	0.347	0.542	0.514	0.597	0.583
主体一致性 (Subject Consistency) $\uparrow$	0.949	0.959	0.965	0.947	0.970
成像质量 (Imaging Quality) $\uparrow$	0.633	0.637	0.648	0.640	0.667
专家标注异常率 (Anomaly Rate) $\downarrow$	0.290	0.253	0.216	0.241	0.173

消融实验¶

论文在 CaC-Bench-Main 上对渐进式训练的各阶段、两轮推理策略以及各过程奖励分项进行了完备消融：

配置 / 变体	异常视频召回率	异常视频精确率	正常视频召回率	正常视频精确率	整体准确率 (Acc.)	核心说明
完整 CaC 模型	0.910	0.767	0.724	0.889	0.817	包含完整三阶段与所有 IoU 过程奖励
① 基座模型 (Qwen3-VL-8B)	0.108	0.574	0.920	0.508	0.514	未经针对性微调，对异常几乎无感知
② 移除 Stage 1 单帧预训练	0.706	0.699	0.696	0.703	0.701	缺少局部框定位基础，准确率跌 11.6%
③ 移除 Stage 2 多帧 SFT	0.506	0.713	0.796	0.617	0.651	跨帧时空格式紊乱导致 RL 不稳定，准确率跌 16.6%
④ 移除 Stage 3 两轮 GRPO	0.600	0.704	0.748	0.652	0.674	缺少策略强化探索，准确率暴跌 14.3%
⑤ 基座直接加两轮推理	0.102	0.785	0.972	0.520	0.537	无专门微调时两轮策略增益微弱
⑥ 改为单轮端到端训练	0.802	0.706	0.666	0.771	0.734	无法密采样放大，细微异常定位下降 8.3%
⑦ 移除时间 IoU 奖励	0.484	0.682	0.774	0.600	0.629	影响最大：首轮定界脱靶导致第二轮全错，跌 18.8%
⑧ 移除空间 IoU 奖励	0.610	0.774	0.822	0.678	0.716	空间感知粗糙，准确率跌 10.1%
⑨ 移除归因类型 IoU 奖励	0.668	0.729	0.752	0.694	0.710	缺乏细分类型驱动，准确率跌 10.7%

关键发现¶

时间 IoU 奖励是整个过程监督的核心枢纽：在移除各项奖励的消融中，去除时间 IoU 奖励导致模型准确率从 81.7% 跌至 62.9%（暴跌 18.8 个百分点），表明第一轮如果无法精准截取异常时间窗，第二轮的局部放大重采样将完全在错误的时空切片上做无用功。
三阶段渐进式训练缺一不可：缺乏单帧预训练（掉点 11.6%）限制了空间定界基础，缺乏多帧 SFT（掉点 16.6%）导致时空交互格式无法向 GRPO 稳定过渡，而缺乏 GRPO（掉点 14.3%）则无法激活基于可验证奖励的深层长链推理能力。
两轮设计在性能与成本间取得帕累托最优：相比于单轮端到端模型，两轮策略显著提升了 8.3% 的准确率。在训练系统级延迟分析中，单次视频生成去噪采样耗时达 272 秒，而 CaC 双轮评估仅需 33.2 秒，额外验证开销远低于视频生成本身的耗时，完全适配高效视频强化学习流程。

亮点与洞察¶

将长视频异常搜索转化为分层时空变焦：先用低采样率对长序列做时间层面的粗筛，锁定后再针对不足 1 秒的局部窗口提高两倍采样率做逐帧定界，优雅解决了细粒度感知精度与长序列计算复杂度之间的冲突。
过程级可验证奖励破除 MLLM 奖励作弊：不仅基于最终正误打分，而是利用空间 IoU、时间 IoU 与归因分类交叠对推理轨迹施加显式梯度激励，迫使 VLM“因为看清了真正畸变的区域而做对”，彻底根除了 CoT 生成中的敷衍与虚假归因。
双模组合策略规避生成对齐中的 Reward Hacking：将专精于“抓微弱虫子”的 CaC 标量与评估整体审美与文本匹配的通用奖励（UnifiedReward）结合，使生成模型在异常率大幅骤降 11.7% 的同时，避免了生成静止画面来讨好异常检测器的模式坍塌。

局限与展望¶

反向传播尚未下钻至像素时空反演：当前 CaC 输出的标量奖励虽然能通过 Flow-GRPO 驱动扩散模型参数更新，但其预测出的精准时空 bounding box 尚未直接作用于去噪过程中的特定局部潜变量区域，未来可探索框级空间掩码加权的时空局部偏好损失。
极端长视频的扩展成本：当前两轮机制在 5 秒级别短视频中表现极佳，但若扩展到数十秒或分钟级超长视频生成，第一轮的 4 fps 扫描依然可能超出单次推理上下文窗口，需要融合时序层级记忆或滑动窗口注意力。
对重度跨帧物理常识逻辑的判断仍有空间：从分类召回率来看，人体畸变（0.492）与运动异常（0.414）相比静态对象畸变（0.704）与字符异常（0.724）仍有提升余地，多主体复杂交互中的微妙物理规律仍需更高质量的物理仿真先验注入。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出针对生成视频高度稀疏异常的粗到细两轮时空聚焦奖励框架与过程级 IoU GRPO 优化。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖自建基准、极限稀疏难度划分、跨域外部评测、完备模块消融以及真实的 Flow-GRPO 视频对齐实验。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严谨，问题定义清晰，机制公式完备，实验图表信息密实。
价值: ⭐⭐⭐⭐⭐ 为视频生成模型突破物理与解剖微弱畸变瓶颈提供了极具落地实效的奖励建模技术路线。

评测维度 / 指标	原始基准模型	BoN (UR)	BoN (UR + CaC)	Flow-GRPO (UR)	Flow-GRPO (UR + CaC)
动态程度 (Dynamic Degree) \(\uparrow\)	0.347	0.542	0.514	0.597	0.583
主体一致性 (Subject Consistency) \(\uparrow\)	0.949	0.959	0.965	0.947	0.970
成像质量 (Imaging Quality) \(\uparrow\)	0.633	0.637	0.648	0.640	0.667
专家标注异常率 (Anomaly Rate) \(\downarrow\)	0.290	0.253	0.216	0.241	0.173