IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams¶

会议: NeurIPS 2026
arXiv: 2605.27074
论文: https://arxiv.org/abs/2605.27074
代码: https://lijinzhao30.github.io/IPIBench/
领域: 多模态VLM
关键词: 连续视频流, 主动式智能, 交互式多轮评测, 交互控制策略, 时间门控机制

一句话总结¶

本文提出了首个面向连续视频流下多模态大语言模型（MLLMs）交互式主动智能的评测基准 IPIBench，并构建了包含交互控制策略与时间门控机制的免微调框架 IPI-Agent，显著提升了模型在流式环境下的触发稳定性与多轮协调能力。

研究背景与动机¶

现有大部分多模态大语言模型（如 GPT-4o、Gemini 2.5/3 Pro、Qwen2.5/3-VL 等）在被动式指令问答（Reactive VQA）任务中表现出优异的跨模态理解能力。然而，随着可穿戴具身设备（如智能眼镜）和家庭助手机器人的普及，AI 助手需要摆脱“问一句答一句”的局限，在连续输入的长视频流中自主感知环境并适时提供主动辅助。尽管近期已有工作开始探索流式多模态模型的主动行为，但现有的评测基准主要将主动性限定在静态的单轮触发设定下，无法反映真实交互环境中动态演化的需求。

在现实场景中，用户的主动监测请求并非一成不变，而是伴随着持续的多轮调整——用户可能会在中途修改监测目标、取消已有监测，或者在持续监测的过程中穿插即时性的被动提问。目前业界缺乏能够同时承载“主动监测”、“动态任务管理”以及“主动-被动交织请求”的交互式流式评测平台。同时，现有主流 MLLM 在面对连续视频输入时，往往因缺乏统一的交互决策机制而出现大量早报、漏报或跨轮次目标遗忘。

本文填补了这一关键空白，系统性构建了首个交互式主动智能评测基准 IPIBench，涵盖包含时间定位、属性理解、重复主动触发的单轮任务，以及任务取消、修改、多任务并行的管理任务，和主动被动相互穿插的复杂交互场景。核心 idea：通过构建三维交互主动性基准 IPIBench 揭示现有模型在触发稳定性和交互协调上的双重瓶颈，并提出结合交互控制策略（Intent Router + Dual Memory）与时间门控（Temporal-Gating）的免微调框架 IPI-Agent 彻底解决流式交互中的早报、迟报与状态漂移问题。

方法详解¶

整体框架¶

IPI-Agent 是一个完全免微调（training-free）的智能体架构，专门用于在 1 FPS 连续视频流中统一管理用户指令并规范多模态模型的输出时机。系统由双工作流驱动：“查询到达（Query Arrival）”与“持续监测（Continuous Monitoring）”。在用户输入时刻，系统通过交互控制策略（Interaction-Control Policy）解析指令意图并更新记忆；在持续监测过程中，系统则利用时间门控机制（Temporal-Gating Mechanism）抑制未成熟的主动触发并挽回滞后遗漏。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["流式多模态输入<br/>滑动窗口视频帧 + 用户输入"] --> B["交互控制策略<br/>意图路由与双重记忆管理"]
    B -->|被动查询| C["即时响应工具<br/>结合历史交互输出结果"]
    B -->|管理指令| D["主动任务记忆更新<br/>任务修改 / 取消 / 增补"]
    B -->|主动指令| E["任务提案生成<br/>提取多重文本候选项"]
    E --> F["时间门控机制<br/>跨模态相似度增量过滤"]
    F -->|门控激活| G["主动响应触发<br/>抑制早报并补回漏报"]

关键设计¶

1. 交互控制策略：基于双重记忆的动态意图协调 为了解决多模态大模型在多轮对话中容易遗忘进行中的主动任务、或者混淆被动问题与主动监控指令的痛点，IPI-Agent 设计了包含意图路由器（Intent Router）与记忆工具（Memory Tool）的交互控制策略。记忆工具明确解耦为两大存储结构： - 主动记忆（Proactive Memory）：维护当前活跃的目标任务集合 \(\mathcal{T}_t = \{\tau_1, \tau_2, \dots, \tau_N\}\)，存储各任务的触发判定条件与生命周期状态。 - 交互记忆（Interaction Memory）：记录历史对话与交互日志，为后续带有代词指代（如“把它换成刚才那个”）或时序依赖的被动查询提供消歧上下文。

当用户输入到达时，意图路由器将输入分类为三类路径：若为被动查询（Reactive Query），检索交互记忆并调用响应工具结合近期帧直接回答；若为主动指令（Proactive Instruction），则结构化解析为新任务 \(\tau\) 存入主动记忆；若为管理指令（Management Instruction），则对主动记忆中的既有任务执行精准修改（Modify）或终止（Cancel）。这种设计保证了主动监控目标在数分钟的长流式交互中始终保持活性，且不受即时穿插问答的干扰。

2. 时间门控机制：抑制早报与挽救迟报的双阈值动态过滤 基座 MLLM 在连续视频流中极易受到不完全视觉线索的误导产生“抢跑早报”，或者在关键事件转瞬即逝时未能及时产生输出。针对该问题，IPI-Agent 引入了轻量级跨模态特征时序差分门控。对于主动记忆中的每一个活跃任务 \(\tau_i\)，系统预先展开生成 \(M\) 个候选文本提案 \(\mathcal{P}_i = \{p_i^1, \dots, p_i^M\}\)，并利用多模态文本编码器获得嵌入向量 \(\mathbf{e}_i^m = E(p_i^m)\)。在流式推理的每个时刻 \(t\)，系统提取滑动窗口帧的视觉嵌入 \(\mathbf{v}_t = E(\mathbf{x}_{t-K:t})\)，计算各个提案的余弦相似度 \(s_{i,t}^m = \text{sim}(\mathbf{e}_i^m, \mathbf{v}_t)\) 及其相对上一时刻的动态变化量 \(\Delta s_{i,t}^m = s_{i,t}^m - s_{i,t-1}^m\)。任务 \(\tau_i\) 的最终时间变化特征定义为最大增量池化：

\[\Delta_i(t) = \max_{m} \left( s_{i,t}^m - s_{i,t-1}^m \right)\]

设响应工具（基座模型）在时间步 \(t\) 对任务 \(\tau_i\) 的原始触发布尔信号为 \(r_i(t) \in \{0, 1\}\)。门控工具利用双向阈值 \([\theta_{\text{low}}, \theta_{\text{high}}]\) 进行时序干涉： - 早报抑制：若基座模型尝试触发 \(r_i(t) = 1\)，但视觉特征变化增量低于下限 \(\Delta_i(t) < \theta_{\text{low}}\)，表明画面并未发生显著的目标状态跃迁，门控强制静音拦截该响应，杜绝虚假幻觉。 - 迟报补救：若基座模型出现漏检 \(r_i(t) = 0\)，但外部视觉嵌入增量剧烈跳变 \(\Delta_i(t) > \theta_{\text{high}}\)，表明目标动作正以极高置信度发生，门控主动唤醒并激活响应工具，实现关键时序事件的零延迟召回。

实验关键数据¶

主实验¶

IPIBench 涵盖 1,831 个长短视频与 3,738 个评测实例。实验在 1 FPS 流式设定下进行，主动触发在基准时刻窗口 \([t^* - 1, t^* + 1]\) 内判定正确。下表呈现了典型商用模型、开源模型以及结合 IPI-Agent 后的全套性能对比（指标均为百分比正确率 %）：

模型	主动监控 (Timing)	主动监控 (Under.)	主动监控 (Repeat.)	监控均分	任务管理 (Cancel)	任务管理 (Modify)	任务管理 (Multi)	管理均分	交互 (R2P)	交互 (RuP)	交互 (RaP)	交互均分
Human Level	98.00	94.00	92.00	94.67	98.00	92.00	98.00	96.00	96.00	96.00	98.00	96.67
Gemini 3 Pro (Base)	43.49	24.90	18.40	28.93	19.44	21.84	19.39	20.22	24.76	17.68	26.69	23.04
GPT-5.4 (Base)	54.64	23.52	8.96	29.04	38.43	24.50	7.57	23.50	27.04	15.06	29.28	23.79
Qwen3.5-Plus (Base)	35.25	24.35	7.89	22.50	12.96	31.54	10.87	18.46	32.25	22.01	30.57	28.28
Qwen3-VL-8B (Base)	43.12	24.51	4.25	23.96	1.39	17.45	9.22	9.35	24.43	19.75	23.05	22.41
VideoLLM-online-8B	14.63	0.14	1.82	5.53	7.87	1.68	6.62	5.39	0.00	1.10	1.55	0.88
IPI-Agent (Gemini 3 Pro)	56.27	35.67	28.30	40.08	51.85	35.23	29.08	38.72	30.62	22.38	29.53	27.51
IPI-Agent (Qwen3-VL-8B)	46.62	25.37	15.09	29.03	44.91	23.49	11.82	26.74	27.36	23.62	30.57	27.18

消融实验¶

基于 Qwen3-VL-8B 基座模型对 IPI-Agent 各功能模块剥离效果的消融分析如下表所示：

配置	监控均分 (Avg.)	任务取消 (Cancel)	任务修改 (Modify)	管理均分 (Avg.)	交互均分 (Avg.)	说明
Full IPI-Agent	29.03	44.91	23.49	26.74	27.18	完整智能体架构
w/o 交互控制策略	29.03	3.96 (-40.95)	18.79 (-4.70)	11.20 (-15.54)	25.36 (-1.82)	取消意图路由与结构化记忆，多轮管理直接崩溃
w/o 时间门控机制	23.96 (-5.07)	37.96 (-6.95)	18.12 (-5.37)	22.08 (-4.66)	25.13 (-2.05)	移除跨模态增量过滤，单轮时序触发精度大幅回退
纯相似度触发基线	15.62 (-13.41)	-	-	-	-	仅靠特征检索无高层推理无法支撑长流式交互

关键发现¶

大模型倾向于“早报”，小模型倾向于“漏报”：在 Proactive Timing 错误案例分析中，Gemini 3 Pro 与 Qwen3.5-Plus 的错误触发中分别有 92.66% 与 93.42% 属于“提前误触发”（Early）；相反，参数较小的端到端开源模型（如 LLaVA-OneVision-7B 与 InternVL3-8B）的错误中分别有 91.61% 与 70.18% 属于“滞后/未触发”（Late）。这证明大模型具备敏感的语义关联但缺乏时序证据确认阈值，小模型则受制于基础视觉对齐能力。
任务管理（Task Management）是全场景最大盲区：在无外置记忆控制策略的情况下，几乎所有主流模型在收到用户“取消任务（Cancel）”指令后均会发生灾难性失误（如 Qwen3-VL-8B 得分仅 1.39%），在后续视频帧中依然对已取消事件持续产生幻觉响应。IPI-Agent 引入交互记忆后，Cancel 准确率直接跃升至 44.91% ~ 51.85%（净增超 40 个百分点）。
穿插提问严重破坏监控延续性：在 Reactive-under-Proactive (RuP) 任务中，仅在被动问答后补发一句“请注意原任务是否需要触发”的简单提示词，模型表现便能提升 1.5 ~ 4.8 个百分点，证实主流模型在单上下文窗口中极易被穿插提问冲淡长期时序注意力。

亮点与洞察¶

从静态离散 VQA 推进至动态连续流交互：以往的主动评测仅考核“在视频哪一秒说话”，IPIBench 首次将真实智能助手不可避免的“增删改查”任务生命周期（Cancel、Modify、Multi-task）与突发性即时交互（Interleaved）纳入统一基准，定义了连续流式评测的新标准。
双向阈值动态门控的轻量可复用性：将大模型的高层推理决策与轻量跨模态向量的时序一阶导数 \(\Delta s(t)\) 结合，无需重训 MLLM 即可在运行时压制 90% 以上的大模型激进早报，并利用高激增挽救漏报，为端侧边缘设备提供了低算力损耗的防护网。
免微调 Agentic 架构实现降本增效：完全通过结构化 Prompt 路由与外部任务队列，令现成的通用开源/商用模型无需在昂贵的流式长视频数据上重新 SFT，即能达到超越原生微调流式模型（如 VideoLLM-online）数倍的交互表现。

局限与展望¶

依赖滑窗导致的长期视觉回溯受限：由于主流模型不支持原生无限长 KV 缓存，基准评测与 Agent 实现均受限于 16 帧短滑动窗口，在面对相隔数分钟以上的超长跨度因果依赖时，仍需依赖文本摘要，容易丢失局部视觉细节。
提案生成的领域泛化成本：时间门控机制要求针对监控指令生成多个文本提案以提升嵌入覆盖率，若用户提出的需求极度抽象或表述模糊，提案生成的发散性可能会降低 \(\Delta_i(t)\) 的判别能力。
未来方向：探索端到端训练具备原生记忆槽（Memory Slot）与主动动作发射头（Action Head）的流式模型，摆脱离散双模型轮询架构，实现真正微秒级的极低延迟在线流式处理。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次建立完整的交互式主动视频流评测框架，填补了多轮动态监控基准的空白。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 11 个公开视频集、近 4000 个细粒度样本，横跨多代商用旗舰与开源流式模型并提供详尽消融。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学定义与时序架构图严谨，实验分析切中模型时序弱点。
价值: ⭐⭐⭐⭐⭐ 为智能眼镜、家庭机器人等实体 AI 助手的在线流式落地提供了极具参考价值的评估方法与系统设计。