CTEPM: Continuous-Time Event Process Memory for Long-Video Language Models¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5848
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/13548.pdf
领域: 视频理解
关键词: 长视频问答、连续时间、标记时间点过程、事件记忆、时间算子

一句话总结¶

CTEPM 把长视频表示成带语义标记与条件强度的连续时间事件过程，让时间算子先计算证据、语言模型再组织回答，在相同 64 帧预算下将 LongVideoBench 准确率从 46.0% 提升到 49.2%。

研究背景与动机¶

长视频问答不仅要识别画面中的动作，还要回答“喝水发生了几次”“后半段是否更频繁”“开门后多久坐下”等跨时间聚合问题。均匀抽帧可能遗漏短事件，片段检索擅长寻找相关位置，却不保证收齐一次计数所需的全部事件；自由文本摘要则可能保留语义而丢掉精确时序。把这些表示交给语言模型后，计数、比较频率与估计间隔仍主要依赖隐式推理。

增加帧数只能缓解观察不足，不能自动补上时间计算机制。MA-LMM 式记忆库扩大历史信息的保留范围，FastVID 等剪枝方法降低视觉 token 成本，但它们主要改变“能送进模型多少证据”。CTEPM 选择改变证据本身：保存稀疏事件及其发生强度，让模型能够查询某段时间内的事件数量、发生顺序和等待时间，而不是每次重新阅读一长串片段。

这种表示也有代价：识别出的事件不等于完整的真实事件，过程积分给出的统计量也不等于确定性的观察计数。论文的目标是在紧张输入预算下提供更有结构的时间证据，而不是凭空恢复所有未采样画面。核心 idea：将视频记忆从可检索的事件记录升级为可执行时间算子的连续时间事件过程，把数值推理与语言表达分开。

方法详解¶

整体框架¶

输入是一段具有实际时间戳的视频特征序列和自然语言问题，输出是文本答案。事件提议先选出少量事件中心并聚合局部语义；事件过程记忆再建模不同事件类型的时间趋势与历史相互作用；时间查询执行器根据问题调用算子，最终只把紧凑结构化证据交给回答模型。

这里的“非生成”指不生成视频，并不排斥最终的文本生成。默认视觉输入上限为 \(F=64\) 帧，事件预算为 \(N=32\)，两者分别控制视觉观察与事件级推理规模。论文预算实验明确说明 CTEPM 从同样的 \(F\) 帧建立记忆，因此不能把架构中的“稠密特征”理解为可以免费读取全部视频帧。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视频与时间戳特征"] --> B["连续时间事件提议"]
    B --> C["交互式事件过程记忆"]
    C --> D["时间查询执行器"]
    Q["自然语言问题"] --> D
    D --> E["结构化证据与问题"]
    E --> F["语言模型生成答案"]

关键设计¶

1. 连续时间事件提议：用带时间与语义的稀疏事件替代长 token 序列

事件提议模块给每个带时间戳的特征预测 eventness 分数，经带温度的 softmax 构造选择分布，再通过 Gumbel-Top-N 无放回松弛或确定性 soft top-N 近似选出 \(N\) 个中心。围绕每个中心，对局部时间邻域做注意力池化和投影，得到事件的语义标记；另一分类头输出事件类型的软分布，训练使用软分配，推理可以取最大概率类型。由此，每个事件同时携带“什么时候”“大致是什么”和比离散标签更丰富的语义信息。

需要特别理解“连续”的含义：原文 Eq. 5 是从选中中心查表得到实际时间戳 \(t_i=\tau_{c_i}\)，没有给出亚帧偏移回归。因此事件中心仍受输入采样分辨率约束，真正连续的是后面的强度函数及时间查询，而不是任意精度的视频定位。局部池化缓解单个中心特征不足，稀疏性与排斥正则则用于避免事件过密或集中在极近位置；它们都不能保证一个峰恰好对应一次完整动作。

2. 交互式事件过程记忆：让历史事件改变后续发生强度

事件类型的条件强度表示给定历史时，单位时间内该类型发生的倾向。模型使用时间嵌入及 MLP 表示全局趋势，用历史事件表示局部到长程的触发或抑制，并通过 softplus 保证最终强度非负。全局趋势刻画“某类事件更常在视频后段出现”，历史作用则刻画“某个事件刚发生后，另一类事件的倾向如何变化”。原文 Eq. 8 的缓存文本丢失了项间运算符，这里不擅自把它补成完整强度公式。

历史作用项在 Eq. 9 中是明确的：

\[ h_k(\mathcal H_t)=\sum_{t_j<t}\sum_{k'=1}^{K}A_{kk'}\kappa_\theta(t-t_j)\pi_{k'}(\mathbf m_j). \]

其中 \(A_{kk'}\) 可以为正或负，分别表达触发与抑制；\(\pi_{k'}(\mathbf m_j)\) 是历史事件属于类型 \(k'\) 的软概率，避免过早把不确定语义压成硬标签。非负时间核使用指数混合，默认 \(R=8\) 个分量，让不同衰减速度共同表示短期与长期影响，并支持增量计算。这里学习的是时间依赖，不是从观察视频中识别出的干预因果关系。

语义标记还受历史条件高斯分布约束：一个小型历史编码器，例如因果 Transformer，预测标记分布的均值与对角方差，使相邻事件的语义演化更一致。原文将这一项定位为正则，在类型或标记监督较强时可换成判别式损失。因此记忆不只是时间戳列表，还包含事件类型强度、跨类型作用及语义一致性约束。

3. 时间查询执行器：先算证据，再让语言模型回答

轻量问题解析器可以是小语言模型头或分类器，负责识别算子族、目标事件类型和时间范围。计数算子对指定类型的条件强度积分，频率算子再除以区间长度；默认使用 \(J=64\) 个均匀时间样本做 Monte Carlo 求积。下面保留论文 Eq. 12–13 的计算形式，\(\tilde t_j\) 从查询区间均匀采样：

\[ z_{\mathrm{count}}(k;[t_a,t_b])=\int_{t_a}^{t_b}\lambda_k(t\mid\mathcal H_t)\,dt\approx\frac{t_b-t_a}{J}\sum_{j=1}^{J}\lambda_k(\tilde t_j\mid\mathcal H_{\tilde t_j}),\qquad z_{\mathrm{rate}}=\frac{z_{\mathrm{count}}}{t_b-t_a}. \]

原文将该积分称为期望计数。更严格地说，对历史相关的随机强度，沿给定历史积分得到补偿量，若要解释成无条件期望计数，还需对历史分布取期望；因此它不是直接数观察峰值，更不保证输出整数。这一区分对重复动作识别很重要：过程可以表达不确定性，但笔记不能把统计估计包装为精确事实。

顺序算子从过程采样，统计目标类型首次到达时间中哪一个更早，默认 \(S=32\) 次；间隔算子只保留后续事件晚于前置事件的配对，再估计等待时间。持续时间则需要把状态拆成进入与退出事件，以采样匹配或最近可行提议配对计算差值。由此，“谁先发生”“之后多久发生”和“状态持续多久”使用不同计算对象，不能统一当作两个任意时间戳相减。

这些输出通常只是计数、概率和时间估计等少量标量或向量，序列化为紧凑文本或固定嵌入后，与问题一起交给语言模型。语言模型负责表达，时间执行器负责可检查的计算；但这一接口仍依赖问题解析正确、事件类型与问题语义对齐，以及进入/退出事件可配对，论文没有给出所有异常情况的处理细节。

一个完整示例¶

以论文提出的“后半段动作是否更频繁”为例，这里只演示流程，不虚构某段视频的实验答案。在默认 \(64\) 帧输入中选出 \(32\) 个事件后，语义标记帮助解析器定位被问及的动作类型，记忆模型则根据整段事件历史给出其时间强度。

执行器把时间轴分为前后两半，分别对该类型的强度积分，并各自除以区间时长得到平均频率；最后把两段频率和比较关系交给回答模型。即使某半段出现多个语义相似事件，也不需要把这些事件全部展开成自然语言再让模型心算。若观察遗漏了动作，输出仍只是已学过程支持的估计，不能声称记忆恢复了未见事件的真实次数。

损失函数 / 训练策略¶

点过程负对数似然同时包含三部分：奖励观察事件处较高的相应类型强度，惩罚全时间轴上过大的总强度，以及拟合历史条件下的语义标记分布。积分惩罚阻止模型仅靠把所有时刻的强度抬高来解释事件。问答使用标准 token 级交叉熵，提议正则包含 eventness 的稀疏惩罚与近距离事件的软排斥。

\[ \mathcal L=\mathcal L_{\mathrm{qa}}+\alpha\mathcal L_{\mathrm{pp}}+\beta\mathcal L_{\mathrm{prop}}. \]

论文描述端到端目标，实验采用冻结主干、LoRA 轻量适配与 AdamW，主实验主干标为 LLaVA-NeXT-Video-7B。方法中的新模块参与学习，但其具体优化配置、损失权重和训练数据配方未在当前缓存中完整展开，不能据此补写学习率、训练轮数或 LoRA 秩。

实验关键数据¶

主实验¶

以下为原文 Tables 1–3 的同主干、同 \(64\) 帧对照；Video-MME 使用字幕。LongVideoBench 与 Video-MME 为 Top-1 准确率，MLVU 报告 M-Avg 及 AO/AC 子任务。表中差值均为相对均匀采样的百分点或分数点，不是相对百分比。

数据集 / 指标	均匀采样	片段检索	FastVID	CTEPM	差值
LongVideoBench 总体	46.0	46.8	46.5	49.2	+3.2
LongVideoBench 900–3600 秒	41.0	41.8	41.3	45.6	+4.6
Video-MME 总体（含字幕）	52.5	52.9	52.7	55.0	+2.5
Video-MME 长视频	46.5	47.1	46.8	49.9	+3.4
MLVU M-Avg	34.0	34.6	34.3	37.8	+3.8
MLVU Action Order	16.0	16.6	16.2	21.5	+5.5
MLVU Action Count	21.0	22.0	21.6	27.8	+6.8

消融实验¶

当前缓存未包含论文指向的补充材料 Sec. C，无法核实 \(N\)、\(R\) 的敏感性或去除触发/抑制、算子、标记正则的模块消融。以下是原文 Table 1 的真实帧预算分析和 Table 4 的记忆机制对照，不冒充逐模块消融。

配置	帧数	LongVideoBench 总体	900–3600 秒	超过 30 分钟
均匀采样	64	46.0	41.0	40.8
More-Frames	128	47.1	42.0	未在对应表报告
片段检索	64	46.8	41.8	41.6
MA-LMM-style Memory	64	47.5	未在对应表报告	42.4
CTEPM	64	49.2	45.6	45.9

关键发现¶

抽帧从 64 增至 128 时，总体只提高 1.1 点；CTEPM 在 64 帧下比 128 帧基线高 2.1 点。这支持“计算结构不只是输入长度”的判断，但没有证明各模块分别贡献多少。
对同预算 MA-LMM-style，CTEPM 总体高 1.7 点，超过 30 分钟子集高 3.5 点。这个对照是作者在同主干上实现的记忆基线，不等同于直接复现全部原始 MA-LMM 系统。
MLVU 的计数与顺序增益比总体增益更大，符合显式算子的目标；但不能据这些相关结果断言某个具体算子独立造成全部提升。
原文 Fig. 3 分析把 \(F=64\) 的 LongVideoBench 增益写成 +3.1，Table 1 的 49.2−46.0 则为 +3.2；本笔记采用可直接核算的表格值，并保留这一报告不一致。

亮点与洞察¶

把记忆变成可计算对象。 事件记录只回答“存了什么”，强度与算子进一步回答“在给定时间范围如何聚合”。这对跨片段重复事件比单次检索更贴近问题本身。
语义与时间分工明确。 连续标记保留视觉语义，类型强度提供时间统计接口，回答模型无需承载全部计算。可迁移的是这种接口设计，而不是假设所有任务都适合点过程。
区分帧预算与事件预算。 两个预算分别决定观察量和推理表示规模，使实验能够检验增加记忆结构是否优于单纯加帧。真正部署时仍应把事件提议、求积和采样开销一起计入。

局限与展望¶

复现证据边界： 正文把完整训练设置和超参数消融指向补充材料，但当前缓存止于参考文献；也没有可用的代码链接。不能确认训练数据、随机种子、学习率及模块级增益，后续复现应先补齐这些信息。
定位分辨率与漏检： 事件时间来自采样中心查表，短动作或密集重复动作可能在提议前就丢失。连续强度不能消除这一观测瓶颈，可进一步研究边界监督、提议召回率与计数校准。
统计量不是观测事实： 顺序使用首次到达概率，间隔和持续时间依赖事件配对；事件缺失、多次交替或状态重叠时如何处理并不充分明确。需要把估计不确定性、无有效配对与拒答条件显式返回。
比较不能扩大为全面领先： Table 2 中参考模型 Long-LLaVA 总体为 57.1，高于本文 55.0；这些不同系统并非受控主干对照。论文支持的是本文主干在匹配预算下改善，而不是所有视频模型上的绝对最优。
计算效率尚未闭环： 少量证据降低回答上下文占用，不等于已证明端到端延迟、显存和能耗更低。应补充完整运行成本、多次采样方差以及问题解析错误的分层评估。

评分¶

以下是基于当前可读正文的主观评分，满分 5 分。

新颖性: 4/5。把连续时间点过程与视频时间算子相连，区别于单纯事件检索，但底层过程工具已有成熟基础。
实验充分度: 3/5。有多数据集和匹配预算对照，模块消融、训练细节与成本证据在当前缓存中不足。
写作质量: 3/5。整体逻辑清楚，但期望计数的概率语义和增益报告需要更严谨，部分公式缓存存在提取缺损。
价值: 4/5。为长视频的重复事件与时间聚合提供可复用接口，实用性仍依赖事件召回和算子可靠性。