ViDiC: Video Difference Captioning¶

会议: NeurIPS 2026
arXiv: 2512.03405
领域: 其他
关键词: 视频差异描述, 细粒度多视频对比, 双清单评估基准, 多模态大模型, 视频编辑评估

一句话总结¶

针对传统图像差异描述无法建模时间动态及多视频比较缺乏客观基准的瓶颈，本文提出视频差异描述任务 ViDiC，构建包含 1,000 对视频与 3,720 项双清单问答的高质量评测基准 ViDiC-1K、60k 规模训练集以及大模型裁判评估协议，大幅揭示并改善了现有多模态大模型在时序变化与镜头运镜感知上的缺陷。

研究背景与动机¶

理解与描述视觉输入之间的差异是人类感知和高级视觉推理的核心基石。随着图像差异描述（Image Difference Captioning, IDC）研究的发展，多模态模型已经能够在静态成对图像之间准确阐述语义变化。然而，现实世界中的动态场景具有内在的时间连续性与时序演变特性，许多关键差异并非存在于孤立的静态切片中，而是跨越时间维度显式展开——例如物体行为动作的演变、复杂事件的先后发生、连续的运镜机位调度以及跨时段的风格过渡。

目前以单视频或静态图像为核心的多模态大语言模型（MLLMs）在面对实际视频编辑验证、内容取证或智能安防等真实场景时暴露出显著不足：现有评测基准要么只关注单一粗粒度相似度打分，要么聚焦于生成保真度（Edit Fidelity）等任务完成指标，无法定量衡量模型对成对视频细粒度时序差异的语言描述与理解能力。更严重的是，视频对比标注面临巨大的歧义性与高昂成本，单纯依赖人工自由文本打分不可扩展，而传统文本相似度指标（如 BLEU、CIDEr）仅能衡量词法重合度而非事实正确性。

本文的切入角度是将成对视觉差异推理从静态切片拓展至时空全维度，系统化拆解视频编辑与对比中的七大语义要素。核心 idea：提出视频差异描述任务 ViDiC，通过构建包含相似性与差异性双清单的 ViDiC-1K 基准及 LLM-as-a-judge 无视觉事实核验协议，并结合 60k 样本微调打破现有模型在动作、运镜与播放技巧等时序动态属性上的感知瓶颈。

方法详解¶

整体框架¶

ViDiC 任务要求模型输入两个相似或相关的视频片段（参考视频 \(V_A\) 与对比视频 \(V_B\)），生成涵盖两者视觉内容与时空演变差异的连贯自然语言描述。为建立标准化、可复现且无信息泄漏的评估流程，本文提出了 Dual-Checklist（双清单）评估体系，将对比维度细化为包含 35 个细粒度子类的分类体系，并配合两阶段标注清洗流程和基于冻结大模型裁判的无视觉间接打分范式。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入成对视频 (Video A, Video B)"] --> B["多源视频采集与可控合成<br/>学术开源集 / 画面拼接生成 / CV与渲染编辑"]
    B --> C["双清单构建与专业人工校验<br/>多模型草拟初始项 + 6位专家交叉筛除83.68%"]
    C --> D["待测多模态模型开放生成<br/>输入双视频生成相似性与差异性描述"]
    D --> E["无视觉裁判事实核验<br/>裁判模型 GPT-5-Mini 基于文本回答二元核查清单"]
    E --> F["输出细粒度评估指标与错误归因"]

关键设计¶

1. 七维时空差异分类体系与多样化视频对构建 为全面覆盖视频编辑与日常视频对比的核心诉求，本文构建了一套结构化的七大核心语义维度，涵盖主体（Subject，如类型、数量、外观、姿态、服装、OCR）、风格（Style，限定风格描述词）、背景（Background，场景地点、氛围、光照、天气等）、镜头调度（Camera Work，景别、运镜、机位角度、景深等）、主体动作（Motion，动作类型、交互、方向、速度、轨迹）、位置关系（Position，主体间及主体与物体空间排列）以及播放技巧（Playback Technique，慢动作、快进、倒放）。在数据收集阶段，为突破自然界无法轻易采集连续天气突变等极限变化的瓶颈，团队结合了真实网络视频截断、基于 Veo3 的上下分屏垂直拼接扩散生成（确保时序动态同步但视觉属性受控变换）以及基于 ReCamMaster、SAM-2 局部重绘与 Unreal Engine 渲染的多维 CV 编辑技术，打造出 1,000 对涵盖 2 至 12 秒的高质量评测视频对。

2. 相似-差异双重清单机制（Dual-Checklist）与两阶段专家校验 针对单一数值打分缺乏可解释性以及自由文本标注主观漂移的问题，本文设计了由二元（Yes/No）判断构成的细粒度问答清单 \(\mathcal{Q}\)。清单严格解耦为两大类：相似性清单（982 项）与差异性清单（2,738 项），共计 3,720 项验证问题。在初稿生成阶段，调用 GPT-5、Gemini-2.5-Pro、Qwen3-VL-plus 等多样化 MLLMs 提取高层语义差异草稿，由 Gemini-2.5-Pro 与 DeepSeek-V3 聚合成清单。在专家校验阶段，6 位受训专业标注员对事实错误、逻辑矛盾及细微不可见扰动执行双盲复审与三人仲裁。初稿中仅有 16.32% 的条目被原样保留，其余 83.68% 均被大幅修改或直接丢弃，彻底清除了大模型生成的幻觉与模糊项。

3. 无视觉接触的大模型裁判事实核验协议（LLM-as-a-Judge） 在评测执行时，待测多模态模型 \(\mathcal{M}\) 仅接收开放式的对比 Prompt 并生成自然语言描述 \(D\)（对具体问题清单 \(\mathcal{Q}\) 完全盲态，根除测试集泄漏）。随后，独立的冻结裁判大模型 \(\mathcal{J}\)（选定 GPT-5-Mini）在不接触原始视频画面的情况下，仅依赖模型生成的描述文本 \(D\) 逐一回答清单 \(\mathcal{Q}\) 中的二元问题，得到预测答案集 \(\mathcal{A}_{\mathcal{J}}\)。最终根据预测答案与人工标注真值 \(\mathcal{A}_{GT}\) 的一致性计算整体事实准确率：

\[\text{Accuracy}=\frac{1}{|\mathcal{Q}|}\sum_{i=1}^{|\mathcal{Q}|}\mathbb{I}\big(\mathcal{A}_{\mathcal{J},i}=\mathcal{A}_{GT,i}\big)\]

在此机制下，针对相似性问题，若模型描述确认了相似性或选择不提及未改变的属性，则均判定为正确，专一惩罚虚构不存在变化的幻觉；针对差异性问题，模型必须明确陈述真实存在的差异命题，遗漏关键差异或陈述错误均被惩罚。该打分策略与人类评审取得了高达 95.22% 的一致性。

4. 60k 规模监督训练集与全参数微调模型 ViDiC-Qwen 为弥补现有开源模型在双视频对比推理上的架构与先验缺失，研究团队基于 Ditto-1M、LMArena、Miradata、Ego-Exo4D、MultiCamVideo 及 Vript 六大来源构建了包含超过 60,000 对视频的训练数据集。在通过拉普拉斯方差（模糊度过滤）与光流幅值（动态筛选）剔除低质样本，并由 Qwen3-VL-32B 完成语义清洗与双视频结构化标注后，对 Qwen2.5-VL-7B-Instruct 执行全参数微调（DeepSpeed ZeRO-3、最大序列长度 10,240 tokens、峰值学习率 1e-5），生成了专精于视频差异分析的 ViDiC-Qwen 模型。

损失函数 / 训练策略¶

在训练阶段，模型接收双视频输入与格式化对比指令，被监督输出涵盖主体、风格、背景、运镜、动作、位置和播放技巧七维度的严格结构化 JSON 格式分析。优化采用标准自回归因果语言建模交叉熵损失：

\[\mathcal{L}_{\text{SFT}} = - \sum_{t=1}^{T} \log P_\theta(y_t \mid y_{<t}, V_A, V_B, \mathcal{I})\]

其中 \(\mathcal{I}\) 为对比任务指令，\(V_A, V_B\) 分别为参考与对比视频。训练在多卡 GPU 集群上采用 BFloat16 精度、全参数梯度检查点与余弦学习率衰减调度（3% 预热，最小学习率 1e-6），共训练 3 个 epoch。

实验关键数据¶

主实验¶

评测涵盖人类上限、前沿商业闭源模型（Gemini 系列、GPT-5）以及主流开源模型（Qwen、InternVL、Mimo-VL、Keye-VL 等共 17 种模型）。

模型	参数量	平均分 Avg. (%)	差异分 Diff. (%)	相似分 Sim. (%)	主体 Subject (%)	动作 Motion (%)	运镜 Cam. (%)	风格 Style (%)	播放技巧 Tech. (%)
Human (人类基线)	-	94.46	92.99	98.57	96.36	94.36	92.90	82.31	97.18
Gemini-2.5-Pro	-	69.33	66.84	76.27	71.95	61.71	60.41	79.27	66.20
Gemini-3.0-Flash	-	65.81	60.04	81.87	66.17	57.78	63.88	77.44	61.97
GPT-5	-	62.26	62.03	62.90	62.63	56.79	49.75	61.18	40.62
Qwen3-VL	32B	63.90	62.75	67.11	66.64	55.38	58.20	62.20	45.07
InternVL-3.5 (Thinking)	38B	53.62	47.64	70.26	54.48	43.42	49.21	54.27	26.76
Qwen2.5-VL-Instruct	72B	46.22	38.04	69.01	45.00	35.10	45.34	62.80	23.94
Qwen2.5-VL-Instruct (基准)	7B	38.68	25.90	74.31	35.95	32.53	43.44	57.32	22.54
ViDiC-Qwen (本文训练)	7B	50.43	41.72	74.69	50.37	38.70	48.73	68.10	26.76
LLaVA-v1.6-Vicuna	7B	25.19	0.58	93.79	17.89	25.98	43.69	49.39	22.54

消融实验与分析¶

针对大模型裁判的一致性验证（表 3）以及微调模型在细粒度长视频理解基准 LVBench 上的泛化对比（表 4）：

裁判模型 (LLM Judge)	平均一致率 (%)	相似性一致率 (%)	差异性一致率 (%)	评定状态
GPT-5-mini	95.22	95.90	94.97	选定为基准标准裁判
DeepSeek-V3	89.37	90.84	88.84	一致性良好
Qwen3-32B	87.23	88.98	86.60	开源备选

模型版本 (LVBench)	实体识别 Entity Rec.	时序定位 Temp. Ground.	视频摘要 Summarization	关键信息检索 Key Info Retr.
Qwen2.5-VL-7B (基线)	32.35	31.36	31.03	36.77
ViDiC-Qwen-7B (本文微调)	37.96 (+5.61)	36.82 (+5.46)	34.48 (+3.45)	39.18 (+2.41)

关键发现¶

时序与运镜维度性能严重坍塌：所有模型在静态属性（风格 70~80%、主体 60~70%）上表现相对稳健，但在运镜（Camera Work）与播放技巧（Playback Technique）上大幅掉点，多款开源模型在播放技巧差异判断上甚至不足 25%，暴露出当前多模态架构对时序因果与相机几何变化的盲区。
相似性与差异性的权衡悖论：多数基线模型（如 LLaVA-v1.6 差异分仅 0.58%，相似分高达 93.79%）倾向于输出笼统套话以迎合相似性，极度缺乏捕捉细粒度微小变动的感知敏锐度。
微调数据收益显著：ViDiC-Qwen-7B 仅通过在 60k 视频对上微调，平均分即由 38.68% 跃升至 50.43%（净胜 +11.75%），不仅显著提升了差异捕获能力（Diff 提高 15.82%），还在外部单视频基准 LVBench 上全面取得正向迁移。
帧率依赖强于分辨率：敏感性实验表明，提升帧率（FPS）带来的收益显著陡峭于提升分辨率；模型在低于 0.5 fps 时出现崩塌，表明视频差异对比本质依赖运动连续性而非纯静态像素细节。
视频输入顺序敏感性：InternVL3.5 与 Keye-VL 等模型存在显著的输入次序依赖（调换视频顺序后掉点 3~4%），反映出注意力机制存在对首尾视频的偏置分配问题，而 Qwen 系列模型表现出更强的次序对称鲁棒性。

亮点与洞察¶

双清单反向判分消解标注悖论：在相似性问题上容忍未提及属性、仅惩罚虚构差异，在差异性问题上强制精确指认，巧妙化解了视频中海量不变背景无法穷尽枚举的评测难题。
无视觉 LLM 裁判阻断信息跨模态作弊：通过让裁判模型仅阅读描述文本去核对事实问答清单，既杜绝了待测模型直接针对选项作答的泄题风险，又避免了直接用文本相似度对比参考答案时的同义改写误判。
数据反哺视频编辑生态：通过将细粒度对比能力落地为全参数微调模型，ViDiC 能够充当自动验证器和编辑指令反求器，为后续可控视频生成与指令微调数据提纯提供关键技术支撑。

局限与展望¶

作者承认的局限：目前 1,000 对测试集虽然经过高强度清洗，但在包含极端多主体密集交互与极速运镜场景下的长视频中，人工清单的穷尽覆盖仍存在边界。
独立观察到的局限：测试集时长主体集中在 2~12 秒，尚未完全触及数十秒至数分钟级别的超长镜头复杂叙事性差异对比；此外，评估框架仍重度依赖顶尖闭源 LLM（GPT-5-Mini）作为仲裁节点。
未来改进方向：可进一步探索将时空对比奖励直接整合进端到端强化学习对齐（RLHF/DPO），并在视频生成与编辑模型中引入 ViDiC 判别器形成对抗闭环。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统化定义视频差异描述任务，建立了兼顾空间与时序演变的 7 维全方位基准。
实验充分度: ⭐⭐⭐⭐⭐ 评测横跨 17 个商用及开源代表性多模态大模型，涵盖消融、扰动、时序帧率敏感度及人工一致性分析。
写作质量: ⭐⭐⭐⭐⭐ 动机清晰、分类学设计严密，图表详实且错误模式分类深入。
价值: ⭐⭐⭐⭐⭐ 为多模态视频理解、视频编辑自动化质量审计及合成数据清洗提供了不可或缺的关键基础设施。