DeltaVid: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences¶
会议: NeurIPS 2026
arXiv: 2607.02551
代码: https://github.com/Kuaishou-Auto-Research/DeltaVid
领域: 视频理解
关键词: 视频多模态大模型, 跨视频差异, 细粒度时空感知, 规则强化学习, 代理任务监督
一句话总结¶
针对视频多模态大模型对微弱局部与时序变化感知迟钝的瓶颈，DeltaVid 将跨视频“找茬”（spot-the-difference）构建为可自动验证的代理任务，通过可控扰动合成与规则奖励强化学习（GRPO），显著提升模型定位时空证据的能力并泛化至通用视频理解。
研究背景与动机¶
视频多模态大语言模型（Video MLLM）在开放式问答、长视频总结和全局叙事推理方面取得了长足进步，但在处理高精度、局部的细粒度时空感知时依然脆弱。当两段视频共享几乎完全相同的全局语义与背景脉络，仅在数秒时间窗口内发生微小区域的模糊、短暂停留物体的增删、局部的色彩偏转或局部的运动加减速与倒放时，主流模型往往无法稳定捕捉这些微弱变化，更难以输出精确的时间边界与空间定位证据。这种失效表明，现有的基于粗粒度图文对齐与指令微调的预训练范式，主要建立了高层语义层面的泛化能力，却缺乏对局部动态和精确时空界线的直接监督信号。
这一瓶颈的核心矛盾在于：提升细粒度时空感知极度依赖高质量的时空证据级标注（如密集的边界框轨迹与精确时间戳），但真实世界中的像素级与时间戳级人工视频标注成本极高且极易产生主观分歧，限制了训练规模与数据多样性；若直接利用特定下游定位任务微调，又容易陷入任务过拟合而损失通用视频理解的泛化性。此外，近期的强化学习（RL）后训练方法大多依赖规则奖励优化答案格式或最终问答正确率，较少提供针对底层视觉证据（在哪、何时、发生了什么变化）的直接、可量化连续反馈。
本文的切入角度是：跨视频的“找茬”对比天然具有确定性与可比性，若利用程序化、可控的局部扰动作用于真实视频背景，就能零人工成本合成成对的 A/B 视频，并自动沉淀出严格对齐的时间区间、空间边界框与变化属性真值。核心 idea：将跨视频差异识别转化为可自动验证的代理感知信号，构建包含空间、时序与时空扰动的三维控制任务，结合连续定位奖励（Grounding）与闭集属性判别奖励（MCQ）开展基于规则的强化学习（GRPO），直接约束模型推理背后的时空证据链。
方法详解¶
整体框架¶
DeltaVid 的整体架构由数据合成、双任务构建与规则强化学习三大部分构成。系统首先以真实网络视频切片为基底，通过向原视频（Video A）注入可控的局部扰动生成对比视频（Video B），自动记录包含变化类型、时间区间 \(\tau=[t^s, t^e]\) 与空间区域边界框 \(b=[x_1, y_1, x_2, y_2]\) 的真值元数据；随后将差异元数据分别转化为直接约束连续时空坐标的定位任务（Grounding）和考察细粒度属性判别的多项选择题（MCQ）；最后通过难度感知的数据组织，采用组相对策略优化（GRPO）将时空 IoU 与离散属性匹配作为规则奖励进行端到端优化，全面拉升时空证据对齐精度。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["真实视频采样<br/>Video A 基底"] --> B["真实视频差异扰动合成<br/>空间/时序/时空可控扰动"]
B --> C["双任务结构化表征<br/>Grounding定位 + MCQ属性判别"]
C --> D["难度感知分级训练<br/>单差异→双差异→混合多差异"]
D --> E["双奖励强化学习优化<br/>时空IoU乘积 + 格式/选项规则奖励"]
E --> F["输出：细粒度时空证据与差异判别"]关键设计¶
1. 真实视频差异扰动合成：在自然背景分布中构建多维可控差异
纯合成场景或空白背景无法模拟真实世界中的光影演变、动态纹理与相机剧烈晃动，导致模型学到的感知模式无法迁移。DeltaVid 严格选用经过筛选的高质量现实视频片段（时长 3–60 秒）作为 Video A，并在其上施加局部扰动生成 Video B，共设计了涵盖三大维度的 13 种扰动算子：空间维度包含局部形状插入、区域高斯模糊、马赛克像素化和色相偏移，扰动局限在随机采样的时间窗口与局部画幅内；时序维度包含局部片段加速/减速（0.5×/1.5×/2.0×）、片段倒放、定格帧、片段删除和片段循环；时空联合维度则包含物体渐变出现、物体中途消失、物体轨迹移动以及定时局部模糊。为避免多重扰动相互干扰，算法严格限制多个编辑区域的空间重叠率，并在时序与空间编辑复合时优先应用时序编辑，确保时间戳元数据的严格对齐。该机制构成了包含 8,200 对视频与 10,743 个真实差异实例的基底，沉淀为高质量训练集 DeltaVid-10K。
2. 双任务结构化表征：连续定位与闭集判别的互补监督
直接依靠开放式文本描述往往使强化学习陷入匹配歧义与奖励作弊。DeltaVid 将每个扰动元数据同时投射为两类互补的任务形态：其一是定位任务（Grounding），强制模型在 <think> 推理后于 <answer> 中输出带有 <diff> 标签的结构化坐标，空间任务预测归一化空间框 \(b\in [0, 1000]^4\)，时序任务预测以秒为单位的时间跨度 \(\tau=[t^s, t^e]\)，时空任务则联合预测二者；其二是选择题（MCQ），围绕变化类型、几何形状、颜色、发生时间段、空间九宫格位置和播放倍速构造选项。在 MCQ 中，DeltaVid 特别设计了抗捷径机制，负样本干扰项均由视觉近邻词（如圆形的干扰项为椭圆/圆环，红色的干扰项为珊瑚色/橙色）严格混淆，迫使模型必须细致审视画面细节而不能仅凭语义先验猜答。
3. 难度感知分级训练：平抑强化学习初始阶段的奖励稀疏
跨视频差异识别任务在训练初期极易遭受奖励稀疏困境：当模型尚未建立跨视频的时间对准与局部空间搜索能力时，直接要求其在多目标混合长视频中同时命中正确的时间边界和精准边界框，几乎会输出全零奖励导致梯度坍塌。DeltaVid-10K 并不孤立依赖最复杂的多差异样本，而是显式编排样本分布：首先引入从视频中抽取的单帧图像配对（2,000 组）专攻纯空间边界框定位，建立基础的局部感知映射；接着输入单差异样本（空间单差异 2,331 条、时序单差异 2,071 条）使模型掌握单一维度的时序或空间对齐；最后循序渐进混合双差异（1,183 条）与混合多差异（1,794 条），训练模型分离并抑制显著性偏差。这种渐进的数据结构保证了策略优化在初期即可捕获有效的正向梯度反馈。
4. 联合双奖励强化学习优化：无偏规则驱动的时空证据对准
为彻底摆脱对神经判别器（Reward Model）或人类偏好模型的依赖，DeltaVid 采用完全基于数学规则的强化学习方案，依托组相对策略优化（GRPO）进行参数更新。对于 Grounding 任务，时空联合奖励严格定义为时序交并比与空间交并比的乘积：
$\(r_{\mathrm{st}} = \mathrm{IoU}_{t}(\hat{\tau}, \tau^{\star}) \cdot \mathrm{IoU}_{s}(\hat{b}, b^{\star})\)$
该乘积公式施加了强硬的联合约束：即使时间戳判断完全正确但空间框错配，或空间框命中但时间区间错位，总体奖励都会直接归零，彻底杜绝了模型在单一维度上“刷分”的投机倾向。对于包含多个差异的多目标样本，系统采用二分图贪心匹配算法将预测值与真值进行一对一绑定，多余预测不奖励，漏检则摊薄均分。最终奖赏函数结合任务奖励与轻量级格式奖励：
$\(r = 0.9 \, r_{\mathrm{task}} + 0.1 \, r_{\mathrm{fmt}}\)$
其中格式奖励 \(r_{\mathrm{fmt}}\) 确保模型稳定输出 <think> 思考链与合规的坐标标签。通过在每组采样中计算奖励均值 \(\mu(\mathbf{r})\) 与方差 \(\sigma(\mathbf{r})\) 标准化优势函数 \(\hat{A}_i\)，驱动模型参数在无人工标注偏见的前提下自发收敛至细粒度时空证据链。
损失函数 / 训练策略¶
训练采用 GRPO 算法，对输入提示采样 \(G=8\) 个候选回答。基础模型选用 Qwen3-VL-8B，使用 LoRA 进行轻量级参数高效微调（rank=64, \(\alpha=128\), dropout=0.05）。优化器为 AdamW，学习率设为 \(1 \times 10^{-6}\)，KL 散度惩罚系数 \(\beta=0.02\)。在有效批大小 64、bfloat16 与 DeepSpeed ZeRO-2 支持下，单节点 8 张 H800-80GB GPU 耗时约 24 小时即可完成全量训练。
实验关键数据¶
主实验¶
评估分为两大部分：首先在专设的诊断基准 DeltaVid-Bench（500道经人工严格校验无歧义的跨视频对比题）上评估差异感知与定位本领；随后在多个权威通用视频理解基准上验证该能力的零样本迁移效果。
| 基准 / 评估维度 | 指标 | Qwen3-VL-8B (基线) | DeltaVid-Qwen3-VL-8B (本文) | 性能对比与涨幅 |
|---|---|---|---|---|
| DeltaVid-Bench (选择题) | MCQ Acc (%) | 65.00 | 69.00 | +4.00% |
| DeltaVid-Bench (时序定位) | T-IoU (%) | 40.57 | 64.00 | +23.43% (超 GPT-5 55.43) |
| DeltaVid-Bench (空间定位) | S-IoU (%) | 69.78 | 69.33 | -0.45% (保持高位稳定) |
| DeltaVid-Bench (综合总分) | Overall (%) | 58.60 | 67.40 | +8.80% (超 235B 模型的 65.20) |
| TempCompass (时序推理) | Acc (%) | 69.38 | 76.76 | +7.38% (泛化验证时序能力) |
| VideoMMMU (多学科视频) | Acc (%) | 57.00 | 64.56 | +7.56% |
| MMVU (专业视频理解) | Acc (%) | 60.80 | 65.40 | +4.60% |
| Video-MME (通用视频理解) | Acc (%) | 66.89 | 67.41 | +0.52% |
| MLVU (多任务长视频) | Acc (%) | 74.20 | 75.10 | +0.90% |
| MVBench (精细动作/时序) | Acc (%) | 63.75 | 64.08 | +0.33% |
| LVBench (长视频基准) | Acc (%) | 45.64 | 46.20 | +0.56% |
| LongVideoBench (长上下文) | Acc (%) | 63.80 | 64.20 | +0.40% |
| 通用基准平均表现 | General Avg. (%) | 60.56 | 63.06 | +2.50% |
消融实验¶
消融实验深入剖析了扰动空间维度、任务表征形态、防捷径设计及数据构成对最终表现的独立影响：
| 配置 / 消融项 | DeltaVid-Bench 总分 (%) | 通用基准平均分 (%) | 说明 |
|---|---|---|---|
| DeltaVid (完整方案) | 67.40 | 63.06 | 完整结合三大扰动、双任务与抗捷径策略 |
| 仅保留空间扰动 (Spatial only) | 64.80 | 61.84 | 缺失时序与时空约束，T-IoU 大幅下滑 |
| 仅保留时序扰动 (Temporal only) | 65.20 | 61.97 | 缺乏局部空间框的直接反向监督 |
| 仅保留时空扰动 (Spatiotemporal only) | 65.60 | 62.30 | 缺失纯粹单一维度的渐进解耦训练 |
| 仅保留定位任务 (Grounding only) | 63.40 | 61.40 | 缺少闭集属性分类，属性辨析能力下降 |
| 仅保留选择题任务 (MCQ only) | 62.80 | 61.45 | 缺乏连续坐标反馈，定位精度严重崩塌 |
| 移除防捷径设计 (w/o shortcut control) | 65.00 | 61.70 | 模型倾向于走视觉显著性捷径 |
| 移除高强度编辑子集 (w/o Large-Edit) | 64.40 | 62.10 | 缺乏大形变与复杂编辑样本，泛化性受损 |
关键发现¶
- 时序证据定位迎来质的突破：在 DeltaVid-Bench 上，8B 模型在经过 DeltaVid 训练后，时序定位 T-IoU 从 40.57% 暴涨至 64.00%（提升幅度高达 23.43%），不仅远超大参数量的 Qwen3-VL-235B（58.86%），更是击败了 GPT-5（55.43%），表明对比式的时序差异扰动是激发细粒度时间切片对准能力的强效催化剂。
- 跨视频证据感知向通用单视频理解无损迁移：在完全不接触通用评测集下游任务微调的情况下，模型在 TempCompass（强调时序动作与因果）、VideoMMMU 及 MMVU 等外部评测上表现出全面提升（通用平均表现提升 2.50%），证明强化学习习得的不是对 A/B 视频模板的单纯“拟合”，而是泛化到了单视频底层的时空注意力聚焦与因果证据捕捉能力。
- 连续 Grounding 与离散 MCQ 缺一不可：任务消融显示，单纯依赖 MCQ 或单纯依赖 Grounding 分别会导致基准总分下降 4.6% 和 4.0%，证实连续定位坐标（提供精确空间与时序边界）和离散属性推理（提供几何、色彩与动作维度的语义辨别）构成了细粒度感知的双轮驱动。
亮点与洞察¶
- 将“找茬”转化为零人工成本的自监督强化学习代理任务：巧妙绕开了昂贵、主观且质量参差不齐的真实视频细粒度标注困境，利用可控的数字图像与视频扰动引擎，在真实视频底座上低成本制造出具备绝对精确数学真值的训练信号。
- 时空 IoU 乘积设计根治了模型投机：通过 \(r_{\mathrm{st}} = \mathrm{IoU}_{t} \cdot \mathrm{IoU}_{s}\) 的严格惩罚机制，堵死了模型“靠碰巧猜中全局时间段获取部分分”或“盲目输出全屏大框套取空间分”的漏洞，强制模型将视觉注意力与时间戳牢固绑定。
- 可复用的通用感知增强范式：该框架证明不仅逻辑数学推理（如 DeepSeek-R1 范式）可以通过规则强化学习被唤醒，底层的纯视觉与时空感知能力同样可以通过构建可验证的代理几何/时序任务，在无人工微调的情况下实现自主演化与提升。
局限与展望¶
- 差异合成的程序化痕迹依然存在：当前的扰动算子（如高斯模糊、色相偏移、几何形状插入）仍属于经典的图像处理规则，未能完全模拟现实世界中更自然的物理交互与语义级变化（例如人手拿起杯子、水流倾倒、表情微变等连续动作差异）。
- 长视频多目标匹配的计算开销：随着视频时长增加与并发差异增多，二分图贪心匹配与多轮跨视频采样对显存与计算资源提出了更高要求。
- 未来演进方向：未来可探索借助可控视频生成模型（Video Diffusion Model）来生成遵循物理世界因果律的局部语义编辑视频对，进一步消除合成扰动与自然语义变化之间的域差异。
相关工作与启发¶
- vs VidDiff / ViDiC: 早期工作将视频差异局限于纯粹的诊断式测试集或文本差异描述任务（Video Difference Captioning），仅停留在“评价与度量”层面；DeltaVid 则将差异对齐重塑为后训练（Post-Training）阶段的大规模强化学习监督信号，实现了从“评测工具”到“训练引擎”的跨越。
- vs Video-R1 / VideoZoomer: 现有的视频强化学习主要关注复杂问答推理与长视频关键帧检索，依赖稀疏的最终文字答案匹配奖励；DeltaVid 则聚焦底层的时空局部感知，引入基于时空 IoU 的连续规则奖励，直接塑造基础多模态特征的时空证据分辨率。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将跨视频“找茬”构建为可自动验证的自监督规则强化学习代理任务，切入视角极具创新性]
- 实验充分度: ⭐⭐⭐⭐⭐ [涵盖专门设计的诊断基准及 9 个权威通用基准，主实验、注意力可视化与多维消融极其详实]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严谨清晰，问题定义数学化，图表排版与工程复现细节详尽完整]
- 价值: ⭐⭐⭐⭐⭐ [为视频 MLLM 摆脱人工密集标注、实现细粒度时空感知与通用推理能力的自进化提供了极具启发性的技术路线]