StreamGaze: Gaze-Guided Temporal Reasoning and Proactive Understanding in Streaming Videos¶

会议: NeurIPS 2026
arXiv: 2512.01707
代码: https://github.com/daeunlee98/StreamGaze
领域: VLM 推理
关键词: 流式视频理解, 视线引导, 时序因果推理, 前瞻性主动理解, 多模态大模型

一句话总结¶

针对流式视频中多模态大模型缺乏人类注意力感知信号的瓶颈，本文提出首个结合人眼注视点动态的流式评测基准 StreamGaze，涵盖过去、当前与前瞻性三大维度 10 项任务，揭示了前沿 MLLM 与人类水平（0.535 vs 0.827）在时序注意力转移与主动意图推理上的巨大差距。

研究背景与动机¶

随着多模态大语言模型在动态视觉环境中的突破，流式视频理解（Streaming Video Understanding）成为了具身智能、机器人与增强现实（AR）眼镜助手的核心技术底座。在真实的在线流式交互场景中，智能体无法窥探未来帧，必须在时间推进的因果约束下，仅依据历史和当前时刻的画面作出近实时的感知、推理与决策。现有流式视频基准（如 StreamingBench、OVO-Bench、SVBench 等）虽然评测了时序记忆与对话交互，但大多仅聚焦于对过去或当前画面的被动问答，且完全剥离了人类现实决策中最关键的感知线索——人眼视线（Eye Gaze）。视线不仅是人类视觉系统分配认知带宽的最直接信号，更是推断用户当前注意力焦点、认知负荷以及下一步操作意图的最可靠依据。

然而，将视线信号引入流式视频理解面临着严峻的时空表征与数据构建屏障。第一人称（Egocentric）视频伴随着佩戴者频繁且剧烈的头部晃动与相机转动，导致画面背景剧烈位移；与此同时，原始眼动追踪数据极其嘈杂，包含高频且不稳定的眼跳（Saccades）与微震颤，使得确定“用户在看什么”本身就是一个极度棘手的时空对齐难题。在仅能单向观察视频流的因果设定下，如何从连续注视轨迹中提炼出稳健的语义目标转移序列，并构建具备长程时间一致性与主动前瞻性的多轮问答，以往基于短视频片段或静态单帧注视点的离线数据集（如 GazeVQA、EgoGazeVQA）完全无法满足需求。

本文的切入角度是：利用生理学中的中央凹视野约束与时空稳定性过滤，将高频嘈杂的人眼视线轨迹重构成连续的扫描路径（Scanpaths），并据此构建首个全时态流式视线基准。核心 idea：通过空间聚集度、微眼跳容忍与色彩直方图场景一致性三阶段过滤提取稳定注视点，并利用中心凹视野与外周视野的空间解耦提示词提取语义目标序列，构建覆盖过去反思、当前感知与未来主动预警的全时态流式视频问答基准 StreamGaze。

方法详解¶

整体框架¶

StreamGaze 构建了一套半自动化的视线引导流式视频问答生成流水线。整体框架接收第一人称连续视频帧序列 \(\mathcal{V}=\{I_t\}_{t=1}^T\) 与同步采集的眼动追踪轨迹 \(\mathcal{G}=\{(x_t, y_t)\}_{t=1}^T\) 作为输入。系统首先通过几何投影与稳定性准则提取高质量注视点区间集合 \(\mathcal{F}\)；随后以人眼注视点为中心，解耦出中心注视视野（FOV）与外周背景视野（out-of-FOV），利用多模态大模型分别提取区域内的语义目标及描述；进而将时间轴上的连续注视目标串联为结构化扫描路径（Scanpath）；最后依据扫描路径在过去、当前与前瞻三个因果时间窗口生成多维度的选择题与主动预警任务，并辅以严格的人工校验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["第一人称视频流 + 原始视线轨迹<br/>Egocentric Video & Gaze Stream"] --> D1["注视点提取与稳定化<br/>空间聚集度约束 + 微眼跳容忍 + HSV场景一致性过滤"]
    D1 --> D2["视野解耦与区域目标提取<br/>15°中心视野圆形补丁 vs 视野外全黑掩码提示"]
    D2 --> D3["扫描路径构建与流式问答生成<br/>时序注视转移链 ➔ 过去/当前/前瞻十项基准任务"]
    D3 --> Out["StreamGaze 流式评测与主动监控<br/>多模态大模型时序因果推理与介入响应"]

关键设计¶

1. 注视点提取与稳定化：从高频抖动轨迹中滤除眼跳与镜头突变

原始第一人称视线信号充满噪声与剧烈抖动，如果对每一帧的离散坐标直接进行语义关联，会导致严重的注意力错位。针对这一痛点，该模块基于人类视觉认知特性，将连续轨迹离散化为稳健的注视区间（Fixation）集合 \(\mathcal{F}=\{f_i=(\bar{x}_i, \bar{y}_i, t_i^s, t_i^e)\}_{i=1}^N\)。算法引入了三道严密的物理与视觉过滤机制：首先是空间稳定性约束，要求候选区间内所有采样点与均值中心 \((\bar{x}_i, \bar{y}_i)\) 的欧氏距离不超过归一化门槛半径 \(r_{\text{thresh}}\)；其次是时间稳定性约束，区间持续时长必须满足 \(t_i^e - t_i^s \ge \tau_{\text{dur}}\)；特别地，为了防止人类生理上的微眼跳（Microsaccades）或瞬时漂移导致注视区间被错误截断，设计了短时中断容忍机制，当视线偏离阈值但在 \(\Delta t \le 200\text{ms}\) 内迅速恢复时，依然保持该注视区间连续。最后，为防止头部快速转动或剪辑带来的视角跳变，在 HSV 色彩空间计算相邻帧 Hue-Saturation 直方图的 Pearson 相关系数，要求最小相关度 \(S_{\min} = \min \rho(H_t, H_{t+1}) \ge \tau_{\text{scene}} \approx 0.9\)，仅保留视觉连贯的稳定注视片段。

2. 视野解耦与区域目标提取：基于生理视野几何的注意力与背景解绑

视频问答的难度与辨识度高度依赖于“用户看了什么”与“用户没看什么”的精细区分。该设计借鉴视觉心理学中中央凹（Foveal）与副中央凹（Parafoveal）的生理视野跨度，根据相机焦距与水平视场角（HFOV）计算角分辨率，将角半径 \(r_{\text{deg}}=15^\circ\) 映射为像素半径 \(\tau_{\text{fov}} = r_{\text{deg}} \times \frac{W_{\text{pixels}}}{\text{HFOV}_{\deg}}\)。以此为半径，将每一帧划分为注视区 \(\mathcal{R}_{i, t}^{\text{fov}}\) 与视野外背景区 \(\mathcal{R}_{i, t}^{\text{out}} = I_t \setminus \mathcal{R}_{i, t}^{\text{fov}}\)。为了让视觉语言模型能够零样本、高质量地解耦两类目标，设计了差异化的视觉提示策略：对注视区域，裁剪出以注视中心为圆心的圆形补丁并标注中心红点，促使 InternVL-3.5-38B 集中解析焦点目标及其属性；对视野外区域，则用实心黑色圆盘将中心注视区域彻底遮蔽，迫使模型仅从周边背景上下文中检测未被注视的目标。这一设计消除了目标混淆，自动产出高精度的正负候选目标池与细粒度语义描述。

3. 扫描路径构建与流式问答生成：全时态因果推理与主动式介入

在获得各注视点的焦点与外周目标集后，算法按时序组装成全局扫描路径 \(\mathcal{S}=\{(\mathcal{O}_i^{\text{fov}}, \mathcal{O}_i^{\text{out}})\}_{i=1}^N\)。为彻底评测流式因果推理能力，StreamGaze 围绕时间轴设计了 10 项任务体系，严格受控于因果可见性： - 过去任务（Past Tasks，输入 \([0, t_q]\) 全历史）：包括非注视可见目标识别（NFI，从视野外出现但从未被注视的目标中选正例，以注视目标为干扰项）、目标转移预测（OTP，根据当前注视预测下一步将要转移注视的目标）、注视序列匹配（GSM，对连续 3 步注视链进行打乱排序辨析）、场景记忆回溯（SR，回忆前序注视期间出现过的背景物体）。 - 当前任务（Present Tasks，输入 \([t_q - 60\text{s}, t_q]\) 滑动窗口）：包括简单与困难模式的当前注视目标识别（OI-E/OI-H，困难模式下干扰项直接来自同一帧的视野外区域）、细粒度目标属性识别（OAR，识别注视目标的颜色、材质、状态等），以及未来动作预测（FAP，根据最近注视动态推测佩戴者下一步的人类动作）。 - 前瞻性主动任务（Proactive Tasks，模拟实时监控）：摆脱被动问答，要求模型在线判断“何时介入”。包括视线触发警报（GTA，目标物体被佩戴者注视的瞬间发出提示）与目标出现警报（OAA，特定目标首次进入外周视野时发出主动预警）。评测采用多检查点时间戳协议，严密衡量模型在流式环境下的及时性与误报抑制能力。

一个完整示例¶

以烹饪场景中的“切洋葱并找调料”为例，说明 StreamGaze 的流式评测流程： 1. 输入与注视稳定：用户佩戴 AR 眼镜在操作台前移动，原始眼动仪记录到一组高频坐标点。系统在 \(t \in [12.4\text{s}, 14.1\text{s}]\) 检测到一处稳定注视，中心位于操作台上的洋葱，微眼跳扰动被平滑滤除，直方图相似度 0.94，判定为有效注视点 \(f_1\)。 2. 解耦与描述生成：系统以洋葱为中心圈定 \(15^\circ\) 圆形区域，提示 InternVL-3.5 提取得到注视目标 \(\mathcal{O}_1^{\text{fov}}=\{\text{切成半块的紫洋葱}\}\)；同时对中央打黑码，从外周背景中提取得到 \(\mathcal{O}_1^{\text{out}}=\{\text{左侧砧板}, \text{右上角酱油瓶}, \text{远处刀架}\}\)。随后的注视点 \(f_2\) 转移到菜刀，形成扫描路径链 \(\mathcal{S}\)。 3. 因果流式提问： - 过去时态（OTP）：在 \(t=14.1\text{s}\)，向模型输入 \([0, 14.1\text{s}]\) 视频，提问“用户接下来将把视线转移到哪件物品上？”，正确选项为“菜刀”，干扰项为全局随机物体。 - 困难当前态（OI-Hard）：提问“当前时刻用户正在注视什么？”，正确答案为“紫洋葱”，干扰项为同一帧背景中的“酱油瓶”与“砧板”，检验模型是否真正理解注视红点而非盲目识别整帧最显眼物体。 - 主动前瞻态（OAA）：设定监控目标为“酱油瓶”，当佩戴者头部转动使酱油瓶在 \(t=25.0\text{s}\) 刚进入外周视野边缘时，模型必须在无显式用户指令的前提下主动触发警报输出“Yes”，而在 \(t<25.0\text{s}\) 时保持沉默输出“No”。

损失函数 / 训练策略¶

虽然 StreamGaze 主要作为零样本与微调评测基准，但作者探索了通过有监督微调增强流式模型视线感知能力的方案。针对流式模型 ViSpeak（基于 Qwen2.5-Instruct 与 InternViT-300M 视觉编码器），采用 LoRA 微调（秩 \(r=128\), \(\alpha=256\)），学习率设为 \(1 \times 10^{-5}\)，最大序列长度 5500 tokens。针对主动预警任务的时机决策，提出了正负采样训练策略：在目标物体首次被注视或出现的时间戳之前的所有历史时刻，样本标签均设为空文本（Silent/No-op），训练模型在不满足触发条件时抑制响应；而在目标进入注视或视野的临界时间戳，输入单轮正样本提示（如 “You are now gazing at the screen”），迫使多模态投影层学会从时空注视流中精准捕捉“从静默到介入”的状态转移边界。

实验关键数据¶

主实验¶

StreamGaze 评测了包含人类专家、前沿闭源 MLLM、视线专用模型、开源常规 MLLM 以及开源流式 MLLM 在内的 14 类代表性方案。过去与当前任务采用准确率（Accuracy），主动任务采用查准率/判定准确率（Accuracy）。

模型类别	代表模型	参数量	输入帧数/采样率	过去任务 (Past)	当前任务 (Present)	主动任务 (Proactive)	全局平均 (Overall)
人类基准	Human Oracle	-	连续视频	0.800	0.880	0.773	0.827
闭源模型	GPT-4o	-	16 帧	0.541	0.606	0.373	0.535
闭源模型	Claude Sonnet 4	-	16 帧	0.451	0.539	0.443	0.474
闭源模型	Claude Opus 4	-	16 帧	0.348	0.412	0.478	0.399
视线专用	AssistGaze	26M	32 帧	0.257	0.222	N/A	0.223
开源常规	Qwen2.5-VL	7B	自适应	0.450	0.522	0.447	0.478
开源常规	InternVL-3.5	8B	自适应	0.481	0.537	0.212	0.444
开源常规	EgoGPT	7B	32 帧	0.479	0.491	0.222	0.436
开源常规	VITA 1.5	7B	16 帧	0.391	0.404	0.309	0.384
开源常规	MiniCPM-V	8B	32 帧	0.364	0.374	0.348	0.365
开源常规	Kangaroo	7B	64 帧	0.331	0.438	0.220	0.351
开源流式	ViSpeak	7B	1 fps	0.428	0.467	0.547	0.467
开源流式	Dispider	7B	1 fps	0.344	0.337	0.257	0.323
开源流式	Flash-VStream	7B	1 fps	0.252	0.190	0.330	0.243
开源流式	VideoLLM-online	8B	2 fps	0.000	0.004	0.396	0.080

注：Past 综合了 NFI、OTP、SR、GSM；Present 综合了 OI(Easy)、OI(Hard)、OAR、FAP；Proactive 包含 GTA 与 OAA。

消融实验¶

表 1：视线信号有效性与反事实对比实验（基于 Qwen2.5-VL-7B） 检验视线线索是否真正带来信息增益，还是模型仅依赖普通画面的视觉先验。

实验配置	转移预测 (OTP)	困难识别 (OI-Hard)	未来动作 (FAP)	出现警报 (OAA)	平均表现 (Avg.)	相对增益
无视线信号 (w/o Gaze)	0.432	0.479	0.457	0.250	0.405	基准
真实视线信号 (w/ Gaze)	0.471	0.530	0.540	0.276	0.454	+12.3%
随机伪造视线 (w/ Random Gaze)	0.281	0.383	0.395	0.121	0.295	-27.2%

表 2：GPT-4o 多模态推理策略消融（Text / Gaze / Visual Reasoning） 检验在思维链提示中分别显式引入文本思维、视线落点估算与目标检测框视觉锚定的效果。

文本推理 (Text CoT)	视线显式推理 (Gaze)	视觉检测推理 (Visual)	未注视识别 (NFI)	场景回忆 (SR)	目标识别 (OI-Easy)	未来动作 (FAP)	平均准确率 (Avg.)
✘	✘	✘	0.520	0.600	0.640	0.410	0.542
✔	✘	✘	0.100	0.620	0.680	0.470	0.467
✔	✔	✘	0.360	0.620	0.720	0.400	0.525
✔	✔	✔	0.440	0.660	0.720	0.440	0.565

关键发现¶

人类与模型存在巨大断层：人类专家综合准确率达 0.827，而最强的闭源通用大模型 GPT-4o 仅为 0.535，领先开源模型 Qwen2.5-VL（0.478）与流式模型 ViSpeak（0.467）。模型在注视时序转移（OTP 0.449 vs 人类 0.889）与场景外周记忆（SR 0.535 vs 人类 0.903）上存在致命弱点，说明 MLLM 缺乏从视线运动中推断认知逻辑的能力。
静态视线模型在流式环境彻底失效：传统的专用视线问答模型 AssistGaze 仅取得 0.223 的准确率（接近随机猜测），证实了针对静态图片或短视频过拟合的浅层网络完全无法适应长程流式时序动态。
流式对话模型的对齐陷阱：对话型流式模型（如 VideoLLM-online）在四选一选择题上几乎完全崩溃（准确率接近 0.000），原因是其指令微调数据极度倾向于生成口语化开放性描述（例如机械回答“你正看着镜头”），无法遵从结构化输出指令；相比之下非对话流式模型 ViSpeak 在主动预警任务中表现更优（GTA 达 0.635）。
视线信号是不可替代的因果强先验：反事实实验（表 1）清晰证明，引入真实视线使模型在未来动作预测上暴涨 18.2%，困难目标识别上涨 10.6%；而若注入随机视线，性能急剧跌落至 0.295（比完全没有视线还低 27.2%），直接粉碎了“模型并未真正在看视线指示点”的质疑。

亮点与洞察¶

从被动问答迈向主动介入的流式范式：以往基准多停留在“问什么答什么”的被动感知阶段，StreamGaze 创新性地结合人眼注视与外周视野动态，提出了 GTA（注视即警报）与 OAA（出现即警报）主动任务，确立了智能助手“无需指令、自发预警”的评测标准。
软硬件协同的视线噪声解耦启发：直接将原始眼动轨迹送入大模型往往带来灾难性的注意力漂移；论文通过巧妙的 \(15^\circ\) 中心/外周视野几何变换，结合实心黑色遮罩与显著图提示，将复杂的连续空间物理信号降维为离散的高信噪比语义块，这一范式对未来 AR 端侧轻量化模型部署具有极高的工程复用价值。
多维度推理策略的互补与相克：GPT-4o 消融实验揭示，单一的文本 CoT 反而会导致 NFI 任务暴跌（从 0.52 跌至 0.10，因过度关注语言先验而产生幻觉），必须同时协同视线坐标预测与视觉边界框定位才能拉回整体性能（0.565），证明了复杂多模态推理中不同模态思维链的脆弱平衡。

局限与展望¶

注视点过滤对动态眼动的保守性筛除：为了基准的可重复性与稳定性，流水线采用了相对严格的静态注视点阈值（平滑追踪 SP 与前庭眼反射 VOR 的丢弃率分别高达 82.3% 与 50.2%），这忽略了人类在剧烈交互与高速运动中的动态追踪视线模式。
视觉提示对原始画面的侵入性遮挡：在输入端通过叠加红绿圆点或热力图作为注视提示，会不可避免地破坏局部图像像素的原始纹理与边缘，未来更优雅的方案应当是研发能够原生内嵌视线连续空间坐标或高斯热图注意力的原生流式网络架构。
实时端侧延迟与在线推理权衡：当前主流 7B+ 模型在逐帧甚至 1 fps 连续推理下的显存与计算开销巨大，如何在微秒级视线采样与秒级 LLM 推理之间构建异步分层记忆流，是迈向消费级 AR 眼镜落地必须攻克的难题。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将视线动态与流式长视频推理深度结合，定义了主动式介入评测新维度。
实验充分度: ⭐⭐⭐⭐⭐ 覆盖 14 类主流闭源、开源与流式模型，消融实验涵盖反事实视线、提示策略与错误类型分布。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，公式与数据图表详实，任务分类学定义严谨且具有高度实用指导意义。
价值: ⭐⭐⭐⭐⭐ 为 AR 智能眼镜、具身助手与人机协作提供了兼具挑战性与真实性的高质量测评基准。