title: >- [论文解读] Em-Garde: A Propose-Match Framework for Proactive Streaming Video Understanding description: >- ECCV 2026 主动流式视频理解论文：Em-Garde 在查询时生成可感知视觉提案，在流内以轻量短窗嵌入匹配触发回答；其 OVO-Bench 平均 F1 达 30.99，StreamingBench 主动响应准确率达 38.0%。 tags: - ECCV2026 - 视频理解 - 主动流式视频 - 多模态大模型 - 提案匹配 date: 2026-09-16

Em-Garde: A Propose-Match Framework for Proactive Streaming Video Understanding¶

会议: ECCV 2026
论文: https://eccv.ecva.net/virtual/2026/poster/3478
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/1609.pdf
代码: https://air-embodied-brain.github.io/Em-Garde/
领域: 视频理解 / 主动流式视频理解
关键词: 主动响应、视觉提案、流式匹配、多模态嵌入、触发决策

一句话总结¶

Em-Garde 把每帧都要完成的复杂“是否回答”推理改写为查询时一次性的视觉提案生成与流内轻量匹配，在 OVO-Bench 上取得 30.99 平均 F1、在 StreamingBench 上取得 38.0% 主动响应准确率，并以约 13 fps 维持恒定长度的流式计算。

研究背景与动机¶

主动流式视频助手不是等用户看到事件后再提问，而是先接收指令，再持续观察无限视频，并在目标事件出现时主动开口。例如用户说“水烧开时提醒我”，系统此后每个时刻都必须判断当前画面是否已满足指令。VideoLLM-Online、Dispider 等方法把它建模成逐帧的回答/沉默决策，OVO-Bench 一类方案则反复询问 VideoLLM 目标事件是否发生。无论采用哪种形式，视觉识别、事件转折检测与指令相关性判断都被塞进高频流式循环。

问题在于，流式循环至少要跟上每秒 5--10 帧，而细粒度视觉语义推理又依赖较大的模型和足够丰富的上下文。缩小模型或激进压缩历史虽然能提速，却会损害视觉粒度与触发质量；采用长上下文规划或强化学习决策虽然更准确，计算量又随视频延长。这里真正重复的并不是视觉观测本身，而是对同一条用户指令的语义解释：系统每帧都重新理解“什么情况值得回答”。

Em-Garde 注意到，查询到达时就可以先把“值得回答的情况”翻译成短视频可辨认的证据，例如把“水烧开”展开为“持续冒出蒸汽”或“水面剧烈起泡”。后续高频循环只需检测这些证据，不必再从头解释指令。核心 idea：把主动触发拆成查询时的指令引导视觉提案生成与流式阶段的轻量提案匹配，将昂贵语义推理移出高频循环。

方法详解¶

整体框架¶

系统在查询时刻接收指令和查询前 5 秒的视频历史。指令引导提案解析器（Instruction-Guided Proposal Parser, IGPP）调用 Qwen2.5-VL-7B，把抽象指令一次性改写成一组短视频能够定位的视觉线索。进入流式阶段后，轻量提案匹配模块（Lightweight Proposal Matching Module, LPMM）不断编码最近 2 秒的视频窗口，与预先编码的各条提案计算相似度；当某条提案的相似度出现足够大的上升，系统才唤醒下游多模态大模型生成并检查回答。

这条流水线把低频但昂贵的语义解析、高频但便宜的视觉匹配和低频回答生成分开。流式循环只处理恒定长度窗口，重叠帧的视觉编码还能复用，因此视频再长也不会线性增加每步推理时间。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["用户指令 + 查询前视频"] --> B["指令引导提案解析<br/>IGPP"]
        B --> C["可定位视觉提案集"]
        C --> D["轻量提案匹配<br/>LPMM"]
        V["流式短视频窗口"] --> D
        D --> E["相似度跃升触发<br/>与编码缓存"]
        E --> F["回答模型生成并检查"]

关键设计¶

1. 指令引导提案解析：把回答条件变成短窗口可见的证据

IGPP 的任务不是直接预测触发时间，而是定义之后的感知目标。它接收指令以及查询附近的视频历史，输出多条简短陈述式提案。合格提案同时满足三点：只在确实应该回答时出现，能够仅凭短视频片段完成匹配，并允许用多条互补线索覆盖同一事件的不确定外观。因而面对“从货架拿了什么杂志”，解析器可以并列描述“手拿彩色封面的杂志”和“男子拿着杂志离开货架”，而不必赌单一表述。

作者为此整理 Parse2Prop-1K：数据实际包含 92 个 COIN、Ego4D 和 BEHAVIOR 视频上的 668 条查询及主动响应，其中约一半样本带有人类或 GPT-5 编写的提案标注；每个查询平均 3.99 条视觉线索，每条平均 13.5 个词。先用监督微调学习提案格式和预设解析方式，再用下游触发结果做强化学习，使提案逐渐适配实际采用的感知模型，而不只是语言上合理。

2. 轻量提案匹配：用相似度变化代替逐帧语义决策

LPMM 使用无需额外训练的 Ops-MM-V1-2B 多模态嵌入模型。每条文本提案只编码一次；流式阶段则以 2 秒、2 fps 的窗口生成视频表示，并与每个提案做余弦相似度。对第 \(i\) 条提案在时刻 \(t\) 的分数为：

\[ s_i^t=\cos\left(e_v^t,e_{p_i}\right). \]

系统不直接对绝对相似度设阈值，而观察相邻时刻的分数增量；只要任一提案出现超过阈值 \(\theta\) 的跃升，就触发回答：

\[ D_t=\mathbb{1}\!\left[\max_i\left(s_i^t-s_i^{t-1}\right)>\theta\right]. \]

变化量比绝对值更能抵消不同视频的相似度基线差异。\(\theta\) 也成为清晰的部署旋钮：降低它可提高召回但会增加误触发与下游验证，升高它则更保守但可能漏掉事件。论文默认设为 0.04，并验证 0.03--0.04 的训练/测试组合仍保持较强表现。

3. 相似度跃升触发与编码缓存：让无限视频保持常数级单步开销

提案生成和最终回答都可以低频异步执行，真正持续运行的只有短窗嵌入匹配。相邻滑窗高度重叠，作者缓存已有帧的视觉编码，使每个新时刻只编码一帧；这一优化将视觉编码进一步加速 2--3 倍。由于输入窗口固定、没有不断增长的 KV cache，也无需用高压缩率牺牲历史语义，A100 上最大吞吐达到 10--15 fps，性能-吞吐图中的实际比较点约为 13 fps。

这个设计的边界同样清楚：LPMM 只负责检测“当前短片段是否像某条提案”，不承担长程推理；回答内容仍由可插拔的下游多模态大模型根据指令和截至触发时刻的视频生成并检查。模块化降低了触发成本，却没有声称用 2B 嵌入模型替代完整的视频问答模型。

损失函数 / 训练策略¶

IGPP 以 Qwen2.5-VL-7B 初始化，在 8 张 A100 上先进行约 1 小时 SFT，再进行约 5 小时 GRPO。强化学习按真实事件开始后的 4 秒容差窗匹配预测触发：窗内命中计正确触发，窗外响应计误触发。设正确触发数为 \(n_c\)、误触发数为 \(n_{fp}\)、真实事件数为 \(n\)，误触发惩罚和总奖励为：

\[ r_{fp}=1-2^{-n_{fp}/n},\qquad r=\frac{(1-\lambda r_{fp})n_c}{n}. \]

\(\lambda\) 控制事件召回与误触发抑制。默认 \(\lambda=1\)；消融显示不惩罚误触发会把 OVO-Bench F1 从 31.0 降到 27.7，而过强的 \(\lambda=1.5\) 又降至 19.3，说明提案必须既覆盖目标事件，又不能变成随处可匹配的宽泛描述。LPMM 本身不训练，部署时 IGPP 看 5 秒、1 fps 历史，LPMM 按 2 秒、2 fps 窗口以 2 fps 处理流。

实验关键数据¶

主实验¶

基准与指标	代表性此前最佳	此前结果	Em-Garde	提升
OVO-Bench FAR，平均 F1	MMDuet-2	20.51	30.99	+10.48
StreamingBench PO，准确率	MMDuet-2（1 fps）	34.6	38.0（2 fps）	+3.4
OVO-Bench Real-time VP	StreamAgent	61.3	63.0	+1.7
OVO-Bench Backward Tracing	StreamForest	52.0	52.2	+0.2

OVO-Bench FAR 还按 CRR、SSR、REC 三类任务报告在线召回率和精确率；Em-Garde 对应 F1 分别为 26.40、23.40、43.16，平均 30.99。StreamingBench 的 38.0 是主动响应 PO 任务准确率，不应与其在线理解任务 76.7 混为同一指标。ProactiveVideoQA 上结果则更混合：Em-Garde 在 EGO 的 PAUC 为 52.3，高于 MMDuet-2 的 33.6；WEB 为 44.3，低于 53.3；VAD 为 27.4，低于 28.9，因此论文只主张“有竞争力”，没有宣称全面领先。

模块与训练消融¶

配置	OVO-Bench FAR F1	StreamingBench PO 准确率	相对完整模型的含义
Em-Garde 完整模型	31.0	38.0	IGPP + LPMM
去掉 IGPP	24.0	28.8	以 Qwen2.5-VL-7B 直接改写提示
去掉 LPMM	14.6	23.2	以 Qwen2-VL-2B 逐窗做 Yes/No 判断
同时去掉 IGPP 与 LPMM	18.6	17.2	不再采用 propose-match 分解
朴素滑动窗口	21.0	26.8	同一底模直接看查询与 2 秒窗口
仅 SFT 提案器	23.4	34.8	未用触发反馈对齐提案
GRPO，\(\lambda=1\)	31.0	38.0	误触发惩罚适中

关键发现¶

LPMM 不是可有可无的加速器：去掉它后 OVO-Bench 从 31.0 降至 14.6，降幅大于去掉 IGPP 的 7.0 分，说明专门的嵌入匹配比让同规模 VLM 每窗回答 Yes/No 更适合高频触发。
朴素滑窗使用相同底层模型仍只有 21.0 / 26.8，排除了收益仅来自预训练容量的解释，真正有效的是先提案、后匹配的任务改写。
阈值训练与测试都取 0.04 时 OVO-Bench 为 30.99；论文测试的 0.03--0.04 组合最低仍为 26.59，但不同安全代价的应用仍应重新选择阈值，而不是照搬默认值。
在线理解结果为 StreamingBench 76.7、OVO-Bench Real-time VP 63.0、Backward Tracing 52.2，说明触发框架基本保留下游 7B 回答模型的问答能力；这些数字不代表 2B LPMM 独立完成长程问答。

亮点与洞察¶

最关键的创新不是把每帧模型再缩小，而是改变计算发生的时机。对于同一指令，把稳定语义条件提前编译成视觉提案，比在每帧重复自然语言推理更符合流式系统的负载结构。
用相似度“跃升”而非绝对相似度触发是一个可迁移技巧。它把重点从“当前画面与文本有多像”转为“目标证据是否刚刚出现”，可减少场景本身长期含有相关物体造成的常驻高分。
Parse2Prop-1K 的规模只有 668 条查询，但下游触发奖励能让解析器学习感知模型真正认得的说法。这提示模块接口不应只靠语言监督定义，还可以用接收模块的成败反向校准接口表示。
固定短窗加重叠编码缓存让单步成本与会话长度解耦，比持续压缩越来越长的历史更容易预测延迟和显存；这一系统设计可迁移到异常检测、可穿戴提醒和机器人事件监控。

局限与展望¶

作者明确指出，相似度跃升阈值会受流视频不确定性影响。突然切镜或视觉相关但语义无关的转场也可能制造分数突增；负提案实验受限于现有嵌入模型，尚不能稳定区分细微文本差别。
方法专注“何时回答”，没有解决长程在线理解。短窗口无法独立判断需要跨很长历史才能成立的条件，触发后回答质量仍取决于下游模型保存和检索历史的能力。
提案解析依赖 7B MLLM，虽然只在查询时运行且可异步，但多用户、高频改写指令或端侧部署仍要支付其首轮延迟与算力成本；论文没有给出端侧设备上的端到端延迟和能耗。
Parse2Prop-1K 覆盖 92 个视频，提案标注约半数由人类或 GPT-5 提供。对医疗、监控等高风险领域，开放世界事件的视觉表达和误触发代价可能与三个训练来源差异很大，需要领域数据与代价敏感校准。
更稳健的后续方向包括学习式时序变点检测、多提案联合证据、显式负证据建模，以及联合优化触发与回答生成；安全关键场景还应报告按应用代价加权的漏报/误报，而不只给平均 F1。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 将逐帧决策改写为查询时 propose、流内 match，问题重构清晰且具有普适系统价值。
实验充分度: ⭐⭐⭐⭐☆ 覆盖三类主动响应基准、两类在线理解基准、吞吐与多组消融，但缺少端侧延迟、能耗和高风险领域测试。
写作质量: ⭐⭐⭐⭐☆ 动机、模块边界和消融关系清楚，个别公式排版与数据集命名说明仍略粗糙。
价值: ⭐⭐⭐⭐⭐ 同时提升触发准确率和恒定时延吞吐，为长时运行的视频助手提供了可落地的架构范式。