Conditional Multi-Event Temporal Grounding in Long-Form Video¶
会议: NeurIPS 2026
arXiv: 2606.15320
代码: https://alexco1d.github.io/comet/
领域: 视频理解
关键词: 视频时序定位、多事件时序定位、长视频理解、多模态智能体、时序图推理
一句话总结¶
针对长视频中带时空复合条件的全部事件检索与计数难题，本文构建了首个基准 CoMET-Bench 与防作弊评测指标 Rejection-F1，并提出无需训练的搜索-聚合智能体框架 CoMET-Agent，显著提升多事件时序定位精度。
研究背景与动机¶
视频时序定位（Video Temporal Grounding, VTG）旨在根据自然语言查询在视频中精确定位对应的时间片段，是视频编辑、精彩瞬间剪辑和长视频分析的核心技术。然而，真实世界中的视频查询往往具有复合条件与多事件属性，例如体育分析师会询问“在一次防守犯规的同时球员成功投篮并造成‘加罚（and-one）’的次数是多少”，视频剪辑师会检索“在特定解说之后画面切换回主播的所有片段”。这类复杂需求要求模型不仅具备长时上下文理解能力，还必须在时空复合条件的约束下穷举所有符合条件的事件实例，并输出精确的起止时间戳与严格匹配的计数。
然而，现存的视频基准在多事件、时空条件与联合评测三个维度上均存在严重割裂。主流时序定位基准（如 Charades-STA、QVHighlights、THUMOS14）几乎全被设计为单目标匹配，假设每个查询仅对应单一黄金时间片，查询本身也偏向物体级线索而缺少时序修饰约束；周期性动作计数基准（如 RepCount、Countix）则局限于开闭合重复物理动作（如俯卧撑、深蹲），无需复杂的语义时序逻辑；而长视频理解基准（如 Video-MME、MLVU）虽包含部分条件判断，却退化为多选题或无时间戳的数值回归，缺乏事件实例级的定位依据。此外，现有基准缺乏系统性的负样本查询（Negative Queries）设计，难以防范模型通过输出全空（Always-Empty）或盲目猜测来钻评测漏洞的幻觉问题。
为了填补这一空白，本文系统构建了面向长视频复合条件多事件时序定位的基准数据集 CoMET-Bench，并配套提出了联合度量检索覆盖率与负样本拒绝能力的 Rejection-F1 指标。面对现有单次前向多模态大模型在长视频与复合时序逻辑下的崩溃，本文进一步提出了无需训练的智能体框架 CoMET-Agent。核心 idea：将长视频时序建模为分层时序图（事件图与动作图），将多事件时序定位重构为「结构化搜索-局部验证-全局记忆聚合」的无训练智能体流程，通过局部拓扑邻域上下文扩展与全局记忆库排重实现全视频条件实例的精准召回。
方法详解¶
整体框架¶
CoMET-Agent 旨在解决长视频中逐帧或稠密前向推理的计算爆炸与时序线索稀释问题。整个系统由单一多模态大语言模型（如 Qwen3-VL-8B、GPT-5 或 Gemini 3 Flash）统领四大专用智能体角色（Planner、Filter、Verifier、Aggregator），配合冻结的轻量视觉特征提取器（DINOv2、RAFT 和视频嵌入模型），串联执行四个关键阶段：自适应规划、分层时序图构建、迭代图验证与全局记忆聚合。
系统输入长视频 \(V\) 与复合自然语言查询 \(Q\)。在第一阶段，规划智能体（Planner Agent）解析查询语义并提取显式时间窗口约束，同时自适应匹配图构建超参数配置；在第二阶段，系统利用外观特征变化点检测生成粗粒度事件节点，经由过滤智能体（Filter Agent）剪枝后，对保留事件利用光流变化点划分出细粒度动作节点，建立带时空亲和权重的分层时序图；在第三阶段，验证智能体（Verifier Agent）沿图拓扑结构扩展候选动作节点的感知邻域，判定时空条件并更新带置信度与实体摘要的全局记忆库（Global Memory Bank）；在第四阶段，聚合智能体（Aggregator Agent）结合跨片段摘要与实体追踪解决身份一致性，最终输出完整的时间戳集合与事件计数。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["长视频 V + 复合自然语言查询 Q"] --> B["自适应视频规划<br/>Planner Agent 解析时间窗与自适应配置 Profile"]
B --> C["分层时序图构建<br/>外观/光流变点检测生成事件图与动作图"]
C --> D["相关事件粗筛过滤<br/>Filter Agent 剔除无关背景并保留候选事件"]
D --> E["迭代图拓扑验证与在线排重<br/>Verifier Agent 扩展邻域上下文并写入记忆库"]
E --> F["全局记忆库跨片段聚合<br/>Aggregator Agent 跨时段实体对齐并输出时间戳与计数"]
F --> G["输出：事件预测集合 {(s_i, e_i)} 与精确计数 N"]关键设计¶
1. 自适应视频规划与时间窗裁剪：依据查询时空约束与视频动态性动态锁定搜索配置
针对传统固定步长采样在长短视频与快慢动作之间泛化性极差的痛点，Planner Agent 首先对自然语言查询 \(Q\) 进行符号级语义解析。若查询包含显式的时序边界（如“在 00:16:00 至 00:34:00 之间”），系统直接执行时间切片，截取预分割视频片段 \(\mathcal{V}_{\mathrm{trim}}=\{f_{t}\in\mathcal{V}_{\mathrm{full}}\mid T_{\mathrm{start}}\leq t\leq T_{\mathrm{end}}\}\)，将后续全流程计算严格限定在有效时空窗内，从物理层面规避非目标区域的幻觉与计算浪费。对于视频图构建过程中的变点检测阈值与采样率，模型并不直接自由生成脆弱的数值浮点数，而是自适应地从预定义的专家配置集（Short、Medium、Long 配置文件）中匹配最适 Profile。例如，针对短于 10 分钟的高动态视频启用高帧率（2.0 fps）与严格事件边界阈值，而在长于 30 分钟的长视频中放宽阈值至 0.82 并降采样至 0.5 fps，在长视频探索广度与计算预算间达成自适应平衡。
2. 分层时序图构建：双层外观-运动变点检测与时序衰减亲和力拓扑
针对单层时序建模在“粗粒度语义检索”与“细粒度起止边界对齐”之间的内在矛盾，方法建立了事件图（Event Graph \(\mathcal{G}_{E}\)）与动作图（Action Graph \(\mathcal{G}_{A}\)）构成的分层时序结构。在粗粒度事件层，系统提取冻结 DINOv2 视觉特征，计算相邻帧间余弦相似度曲线并通过 Daubechies-4 小波软阈值平滑，将其局部极小值作为场景切分点得到事件节点 \(\mathcal{V}_{E}\)；随后 Filter Agent 结合查询对事件节点抽样帧进行相关性判别，剔除背景噪音。在保留的事件节点内部，系统利用冻结 RAFT 提取稠密光流场并计算运动模长，经由最大最小逆归一化构建运动平稳度曲线 \(s^{\mathrm{a}}_{t}\)，运用带 RBF 核惩罚的 PELT 变点检测算法进一步细分出运动同质的细粒度动作节点 \(\mathcal{V}_{A}\)。为在图结构中编码时序演进与跨片段关联，任意两节点 \(v_{i}, v_{j}\) 间的边权重 \(w(e_{i,j})\) 采用多模态语义嵌入与离散时序步长指数衰减相结合的公式：
$\(w(e_{i,j}) = \frac{\mathbf{z}_{i}^{\top}\mathbf{z}_{j}}{\|\mathbf{z}_{i}\|\,\|\mathbf{z}_{j}\|} \cdot \exp\left(-\frac{|i-j|}{\sigma}\right)\)$
该机制既允许直接邻接节点传递连续动作线索，也允许在跳步衰减因子 \(\sigma\) 约束下连接非相邻的高相似节点，为复合时序推理建立拓扑通路。
3. 迭代邻域扩展验证与在线时序排重：动态上下文拓扑推理与置信度更新
针对单个动作节点时序感受野狭窄、无法判定“因果前后”“同时发生”等复合上下文的缺陷，系统设计了基于邻域扩展的迭代验证算法。在每次迭代中，从未验证集合 \(\mathcal{U}\) 中抽样候选动作节点 \(v_{i}\)，沿图拓扑结构检索所有权重大于阈值 \(\tau\) 的 \(K\)-跳可达邻居，合并构成局部感知上下文 \(\mathcal{C}(v_{i})=\{v_{i}\}\cup\mathcal{N}_{K}(v_{i};\tau)\)。Verifier Agent 综合分析 \(\mathcal{C}(v_{i})\) 中的采样关键帧与复合查询条件，严格判定该动作是否满足时序因果与空间属性。若通过验证，智能体生成结构化元组 \(m=\langle\mathcal{S},(t^{\mathrm{start}},t^{\mathrm{end}}),c\rangle\)。为避免同一事件内相邻节点重复触发检测，系统引入在线时序非极大值抑制（Temporal NMS）：将新元组与已有记录计算时间交并比 \(\mathrm{tIoU}\)，当重叠度超过阈值 \(\gamma\) 时仅保留自评置信度 \(c\) 更高者；若重叠度未超过阈值则作为独立新实例追加，并将已覆盖的上下文节点从待探索集合 \(\mathcal{U}\) 中彻底剔除，极大压缩了验证复杂度。
4. 全局记忆库与跨片段聚合：多片段长程线索沉淀与全局实体一致性解歧
针对涉及“贯穿全视频的特定人物（Identity 属性）”等需要跨越数十分钟间隔比对实体的难题，系统维持一个持久化的全局记忆库 \(\mathcal{M}\)。每个验证通过的事件元组不仅保留时间范围 \((t^{\mathrm{start}}, t^{\mathrm{end}})\)，还包含一段密集的语义实体描述 \(\mathcal{S}\)。在最终阶段，Aggregator Agent 负责对记忆库中所有时序不相交的片段进行全局多模态审视：通过交叉对比实体外观细节与交互记录（例如辨别出哪一位是“整场比赛中首次出示黄牌的主裁判”），完成全局实体一致性裁决，最终将有效事件条目汇总为预测集合 \(\mathcal{P}(V,Q)\) 并得出最终计数值 \(\hat{N}\)。
一个完整示例¶
以体育视频中的复合查询“在红牌出示之后，主队前锋射门击中立柱的所有次数”为例：
1. 规划与粗筛：Planner Agent 识别出“红牌出示之后”构成的时序依赖（Sequential 属性），未设硬性时间窗，选择 Medium Profile；分层图构建首先利用 DINOv2 生成 18 个粗事件节点，Filter Agent 结合查询过滤掉开场介绍与中场休息等 11 个非比赛事件，保留 7 个候选事件。
2. 动作切分与图构建：在保留的 7 个事件内部，RAFT 进一步划分出 34 个动作节点；通过嵌入余弦相似度与时序距离衰减计算边权重，构建动作图 \(\mathcal{G}_{A}\)。
3. 迭代拓扑验证：遍历候选动作节点，当检查到某次“射门”动作时，算法顺着图结构聚合其前后相邻的 \(K\)-跳邻域节点（涵盖射门前红牌发生的历史上下文与立柱反弹细节），Verifier Agent 确认该时刻满足在红牌之后且足球击中门柱，输出置信度 \(c=0.92\) 的记忆条目。后续相邻的另一动作节点检测到同一射门过程，但由于重叠度 \(\mathrm{tIoU}=0.78 > 0.5\) 且置信度仅为 \(0.65\)，被在线 NMS 过滤。
4. 全局聚合：Aggregator Agent 遍历记忆库中沉淀的 2 个射门中柱事件，核对主队前锋的球衣号码与面部特征一致性，最终输出 2 个精确时间戳区间 [[00:34:12, 00:34:18], [01:12:05, 01:12:12]]，并判定总计数为 2。
实验关键数据¶
主实验¶
论文在 CoMET-Bench 全量 2,789 个复杂查询（涵盖 600 个平均 33.8 分钟的长视频）上，全面对比了通用视频多模态大模型、主流智能体方法以及时序定位专用微调模型。
| 方法分类 | 评测模型 | 计数 MAE↓ | 计数 OBO↑ (%) | 计数 Pearson↑ | 定位 mIoU↑ (%) | 定位 [email protected]↑ (%) | 定位 [email protected]↑ (%) | 负样本 Rej.-F1↑ (%) | 负样本 FPR↓ (%) |
|---|---|---|---|---|---|---|---|---|---|
| 视频 MLLM | GPT-5 | 3.2 | 56.8 | 9.0 | 9.7 | 9.5 | 10.1 | 60.6 | 5.3 |
| Gemini 2.5 Pro | 3.3 | 53.6 | 4.8 | 10.8 | 9.9 | 10.1 | 60.8 | 37.3 | |
| Gemini 3 Flash | 3.4 | 54.2 | 6.6 | 16.5 | 15.8 | 14.6 | 61.5 | 51.7 | |
| LLaVA-Video-7B | 3.5 | 55.3 | 2.4 | 0.7 | 0.3 | 0.4 | 48.9 | 58.5 | |
| LLaVA-OV1.5-7B | 3.7 | 47.7 | 3.9 | 0.3 | 0.2 | 0.2 | 9.3 | 2.6 | |
| Qwen3-VL-8.3B | 4.8 | 51.7 | 9.8 | 5.1 | 3.9 | 3.4 | 52.1 | 5.3 | |
| Qwen3-VL-30B | 3.6 | 51.5 | 3.4 | 3.3 | 3.0 | 3.1 | 47.2 | 5.9 | |
| InternVL3.5-38B | 4.0 | 48.3 | 13.4 | 2.6 | 1.8 | 1.3 | 40.3 | 9.1 | |
| 智能体基线 | VideoMind (7B) | 4.4 | 14.8 | -0.5 | 7.6 | 4.8 | 2.3 | 1.2 | 99.4 |
| Vgent-adapted (Qwen2.5-VL) | 6.23 | 51.9 | 12.4 | 2.9 | 2.6 | 2.0 | 48.5 | 5.4 | |
| T*-adapted (GPT-4o) | 3.80 | 44.2 | 16.3 | 1.2 | 1.0 | 1.4 | 34.3 | 0.0 | |
| TimeSearch-R (Qwen2.5-VL) | 3.30 | 48.4 | -0.3 | 8.4 | 5.5 | 5.0 | 26.1 | 83.7 | |
| VideoARM (GPT-4.1 & o3) | 3.6 | 52.1 | 14.5 | 13.5 | 12.8 | 13.0 | 61.0 | 9.5 | |
| 时序定位专用 | TRACE (7B) | 3.2 | 60.9 | 1.0 | 4.0 | 3.3 | 3.8 | 2.5 | 98.8 |
| DisTime (7B) | 3.3 | 60.0 | -0.6 | 2.7 | 0.5 | 0.5 | 12.1 | 93.5 | |
| TimeLens (7B) | 3.3 | 60.7 | 0.0 | 6.2 | 5.0 | 5.4 | 0.0 | 100.0 | |
| LITA (13B) | 3.7 | 58.4 | 0.2 | 1.8 | 0.4 | 0.4 | 1.7 | 99.1 | |
| CoMET-Agent | Ours (Qwen3-VL-8B) | 3.9 | 54.5 | 11.0 | 9.2 | 8.5 | 8.8 | 57.4 | 8.0 |
| Ours (GPT-5) | 2.8 | 61.4 | 13.7 | 17.5 | 17.6 | 16.2 | 66.5 | 6.4 | |
| Ours (Gemini 3 Flash) | 2.7 | 62.0 | 12.0 | 19.3 | 19.5 | 19.0 | 68.1 | 5.8 |
消融实验¶
在固定使用开源 Qwen3-VL-8B 底座的受控条件下，逐一剔除核心组件进行消融分析（如表 8）：
| 模型配置 | 计数相关性 Pearson↑ | 定位 [email protected]↑ (%) | 负样本 Rej.-F1↑ (%) | 关键退化分析说明 |
|---|---|---|---|---|
| Qwen3-VL 原始基线 (8.3B) | 4.8 | 3.4 | 52.1 | 单次端到端前向推理，缺乏结构化图检索与时序排重 |
| w/o 自适应配置 (Adaptive HP) | 9.2 | 7.5 | 56.3 | 固定超参配置导致长视频与短视频边界切分次优 (-1.3% F1) |
| w/o 分层时序图 (采用平铺切分) | 7.7 | 6.5 | 54.9 | 缺失分层拓扑与边权重引导，长距离时序跳跃定位受损 |
| w/o 迭代邻域验证 (Iterative Verif.) | 6.2 | 4.2 | 52.1 | 缺失拓扑邻域上下文扩展，负样本拒识能力崩塌至基线水准 |
| w/o 全局记忆库 (Global Memory Bank) | 6.0 | 4.0 | 53.8 | 丧失跨时段实体一致性核对与排重机制，掉点最为剧烈 (-4.8% F1) |
| 完整 CoMET-Agent (Qwen3-VL-8B) | 11.0 | 8.8 | 57.4 | 各模块协同，相比单次前向底座实现定位性能成倍提升 |
关键发现¶
- 专用微调模型全线崩溃与严重幻觉：专为单瞬间定位微调的 SOTA 模型（TRACE、TimeLens、DisTime）在复合多事件基准上完全失效，定位 [email protected] 普遍低于 5.4%，且负样本上的假阳性率（FPR）高达 93.5%~100%，暴露出监督微调拟合了单一目标偏置，在开放性负样本下产生无节制幻觉。
- 参数缩放规律出现“计数与定位脱节”：将 Qwen3-VL 从 8.3B 扩展至 30B 时，计数误差 MAE 虽从 4.8 降至 3.6，但定位 [email protected] 却从 3.4% 跌落至 3.1%，Rejection-F1 也由 52.1% 下滑至 47.2%。这表明纯粹堆叠参数规模无法替代对长时序空间的系统性图结构遍历。
- Rejection-F1 成功识别“全空作弊”模型：LLaVA-OV1.5 和 MiMO-VL 取得了看似极佳的超低误报率（FPR 分别仅为 2.6% 和 3.8%），但在正负联合度量的 Rejection-F1 指标上惨遭暴击（分别仅为 9.3% 和 8.8%），精准惩罚了无视正样本、一律输出空集的消极应答行为。
- 智能体结构化推理的跨模型泛化优势：CoMET-Agent 纯粹依靠结构化推理框架设计，将 GPT-5 的 [email protected] 从 10.1% 拔高至 16.2%，将 Gemini 3 Flash 从 14.6% 拔高至 19.0%，且在时序因果（Sequential、Causal）及长达 90 分钟以上的极长视频上提升尤为显著。
亮点与洞察¶
- 防钻空子的 Rejection-F1 联合评估机制：定义了负样本拒识率与正样本非空覆盖率的调和平均数，一举粉碎了基线模型靠“一律返回空集合”在传统拒识率上刷分的投机策略。
- 外观变点与光流变点的两阶段粗细解耦：利用 DINOv2 场景变点建立事件级检索索引，再利用 RAFT 运动幅度变点挖掘细粒度动作边界，以仅引入 0.3B 冻结参数的极低代价实现了长视频高效分割。
- 边权重衰减驱动的邻域动态验证：在时序距离上引入高斯衰减因子，限制了单节点验证时的无序长程爆炸，既保证了因果上下文的充沛感知，又杜绝了计算冗余。
局限与展望¶
- 作者承认的局限：
- 当前 CoMET-Bench 仅关注视觉模态，尚未纳入音频流，无法处理“在笑声/掌声之后”等强依赖音视频对齐的多事件检索；
- 人工多轮复核导致标注成本昂贵（791 人时），难以自动拓展到数十万量级；
- 细粒度实体追踪依然存在挑战，当短时间内出现大量外观高度相似的实体时，文本摘要易发生身份混淆导致漏检；
- 视频中后段检索存在位置衰减倾向，复杂因果判断（如假摔与真实犯规的因果区分）仍需显式的因果注意力机制。
- 独立发现的局限：
- 框架依赖多轮大模型调用（Qwen2.5-VL 下每查询需 27.5 秒），虽然比 T*（178.3 秒）大幅加速，但在工业级实时或亚秒级视频检索系统中仍存在吞吐瓶颈；
- 光流变点检测在剧烈运镜、低照度或画面压缩伪影严重的视频中可能产生运动噪声，导致细粒度动作节点切分碎片化。
- 具体改进思路：
- 将 SAM 2 / SAMURAI 等多目标跟踪器输出的统一时空轨迹（Tracklets）挂载为图节点属性，将定位基元由纯时间片段升维至“时间片段 + 实体轨迹”；
- 在 Verifier 内部构建显式的因果对比头（Cause-Effect Cross-Attention），成对建模因果起止；
- 引入时间轴覆盖率正则化遍历策略，抑制后半段检索的置信度衰减。
相关工作与启发¶
- vs 单瞬间时序定位（QVHighlights, Charades-STA）：传统基准假定查询与单一黄金区间一一对应，CoMET-Bench 突破为不确定数量的复合多实例检索，并引入带时空条件的负样本。
- vs 重复动作计数（RepCount, Countix）：传统计数依赖物理运动的周期性傅里叶频域检测，无法解析包含因果、相继、同步与身份判别的语义级多样化事件，且不提供精准时间戳。
- *vs 长视频智能体（T*, VideoMind, Vgent）**：现有智能体框架多针对自然语言回答的 VideoQA 设计，固定流水线缺乏对集合型时间戳的排重与聚合能力；CoMET-Agent 提出分层时序图与全局在线去重记忆库，推理速度较 T 提升 8.4 倍，全面胜任时空定位。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首创复合条件多事件长视频定位基准，提出的 Rejection-F1 指标与分层时序图智能体思路极具前瞻性。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 600 个长视频、2,789 个复杂查询，横跨十余个主流大模型与智能体基线，消融与开销分析详实。
- 写作质量: ⭐⭐⭐⭐⭐ 概念清晰、数学表述严谨、动机与技术方案脉络清晰、附录评测统计完备。
- 价值: ⭐⭐⭐⭐⭐ 弥补了视频定位与长视频理解评测的结构性空白，为大模型向精确物理时序推理演进提供了关键路标。