跳转至

EgoArgus: Benchmarking VLMs as Situational Assistants for Modality-Grounded User Supports

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/NYCU-NLP-Lab/EgoArgus
领域: LLM Agent
关键词: 第一人称助手、视觉语言模型、模态仲裁、情境干预决策、模态偏差

一句话总结

EgoArgus 针对第一人称真实场景构建了包含 6,978 条真实视频多项选择题与 789 条合成情境干预片段的双轨基准,评估视觉语言模型在五类音视频对话交互场景下的情境理解、后续动作预测与适时干预决策能力,揭示了当前模型在面临图文冲突时严重倾向文本而忽视视觉真实线索的系统性缺陷。

研究背景与动机

随着多模态大语言模型与视觉语言模型(VLM)在端侧可穿戴设备和具身智能体中的广泛应用,研究界正逐步将多模态智能体定位为全天候感知第一人称物理环境、实时聆听并参与用户对话、并在关键时刻提供主动协助的日常情境助手。在第一人称(Egocentric)视角下,助手需要从佩戴者自身的视线动态捕捉周围客观世界,理解正在进行的复杂日常操作,并协同处理伴随对话所蕴含的用户意图与外部交互。然而,现有的以第一人称视频理解或被动问答为核心的基准(如 Ego4D、EgoPlan-Bench2、QaEgo4D 等)主要在孤立的无干扰视频或纯视觉规划任务中测试模型能力,普遍忽略了真实部署环境下持续并行的多路模态输入——尤其是当用户口头对话与第一人称视频画面同时涌入时,模型是否能够合理权衡不同模态的可信度。

真实动态环境中的第一人称日常助手始终处于充满噪声和不确定性的多模态交互场域中。来自佩戴者或同伴的口头语言信号与来自第一人称头戴相机的视觉感知流往往并非理想的完美互补:对话内容可能是对场景关键线索的有效补充(如指明烹饪意图),也可能完全脱靶、无关痛痒(如闲聊琐事),甚至可能存在严重的认知失误或与事实直接冲突(如用户以为自己已经关闭炉火或水龙头,但画面中水流依旧未关)。当语言线索与客观物理世界发生对抗时,一个可靠的情境助手必须具备鲁棒的跨模态仲裁机制,不仅能够精确识别哪一个模态承载真实依据、辨别何时应该完全忽略误导性言辞,而且还要能够在普通日常状态下保持克制静默,在真正出现安全或操作隐患的关键时间窗口内果断介入报警,避免不当催促或虚假警报沦为日常干扰。

现有基准缺乏对第一人称视频与多轮对话间细粒度关系、干预时机判定以及静默不干预负样本的联合控制与系统评测。为了填补从静态被动多模态理解向动态、交互式第一人称日常助手演进的评估空白,本文系统构建了双轨基准 EgoArgus。核心 idea:将第一人称日常助手能力系统拆解为情境理解、后续动作预测与主动干预决策三层进阶维度,构建覆盖多模态互补、图文冲突、视频主导同主题、视频主导无关及纯文本主导五种典型交互场景的受控评估基准,系统诊断视觉语言模型在动态跨模态仲裁与主动干预时机判断上的可靠性边界。

方法详解

整体框架

EgoArgus 的评估体系由理解轨(Understanding Part)与决策轨(Decision Part)两大部分有机结合而成,完整覆盖从被动情境推断到主动决策介入的三层核心能力谱系。整体架构处理流程自上而下包含:真实视频与对话语义控制、多模态受控场景实例化与多轮人类审核、合成可控干预情节生成(VISTA 框架)、以及跨层级多模态表示与干预行为评估。

在输入端,模型接收佩戴者视角的第一人称连续视频流、时间同步的用户与环境多轮对话历史以及对应的时间戳。在理解部分,基准通过引入不同语义偏置的话语,考察模型能否在情境理解(Context Understanding)中准确认知客观状态,以及在后续动作预测(Next Action Prediction)中避免因错误言辞偏航。在决策部分,模型必须在无外界先验提示的前提下,自主输出是否需要介入(Intervention Decision)、最佳干预时间戳、关键风险识别及补救行动步骤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入输入流<br/>第一人称视频 + 佩戴者多轮对话 + 时间戳"] --> B["五类受控场景建模与语料重构"]
    B --> C["双轨评估基准与人类在环验证"]
    C --> D["情境理解与后续动作多项选择评测<br/>MCQA: 6,978 条真实视频题目"]
    C --> E["VISTA 主动干预情节决策与时机评测<br/>Assist-Step: 789 场第一人称情境"]
    D --> F["跨层线性探针与模态分离诊断"]
    E --> G["五维干预失败分类学与对齐审计"]
    F --> H["情境助手可靠性边界诊断报告"]
    G --> H

关键设计

1. 五类受控场景建模与语料重构:针对对话与视觉信息之间语义关系混杂、难以归因模型失败源头的痛点,提出系统化的五类交互关系分类学与解耦构造方法

真实人机交互中语言与视觉的语义重合度差异极大。EgoArgus 严格形式化了五种典型的模态关系:(1) 多模态互补(Multimodal Grounded),对话提供属性、抽象意图或约束,视频承载具体的空间对象与动作,两者缺一不可;(2) 图文冲突(Contradictory),视频呈现客观真实世界,而对话故意包含虚假、认知偏误或事实冲突的叙述,模型必须压制文本偏置并完全依托视频进行纠错;(3) 视频主导同主题(Video-Grounded On-Topic),对话属于当前任务同一范畴但缺乏答案信息,仅作背景干扰;(4) 视频主导无关(Video-Grounded Off-Topic),对话为随机闲聊或无关寒暄;(5) 纯文本主导(Text-Grounded),答案完全取决于对话意图,视频仅作为无关背景。

在构造理解轨数据时,研究团队复用了来自真实第一人称视频理解基准 EgoPlan-Bench2、长视频问答数据集 QaEgo4D 以及多模态意图识别数据集 MIntRec。利用 Gemini-3.1-Pro 针对固定视频问题生成受控偏置对话,并严格执行“固定视频与候选集、仅变换对话语义关系”的对照实验设计;同时在纯文本主导测试中,从 MIntRec 抽取意图对话并随机配对无关第一人称视频背景,从而确保各场景在统计检验上的隔离度。

2. 双轨评估基准与人类在环验证:针对现实世界中真实危险介入样本极度稀疏、且传统单模态 QA 无法检验主动介入策略的难题,构建真实 MCQA 与 VISTA 合成情节互补的双轨体系

在第一人称真实日常录像中,严重的危险操作(如将金属器具放入微波炉、幼儿落后走失、炉灶着火等)具有极高的采集成本与安全伦理隐患,难以密集获取;同时,判断“何时何地主动发声”需要极高精度的动作起始时间戳。为此,EgoArgus 构建了双轨验证基准: 第一轨为理解部分,包含 6,978 条真实第一人称视频多项选择题(3,000 条 EgoPlan-Bench2、3,000 条 QaEgo4D 与 978 条 MIntRec 衍生样本),重点覆盖客观情境理解与下一步动作规划。为了消除大模型自动化生成的幻觉与逻辑漂移,组织了 16 位经过严格培训的人类标注员开展独立双盲审查(每道题独立分配 3 名标注员),对场景契合度、唯一金标有效性执行多数表决与改写修正。 第二轨为决策部分,采用可控第一人称物理生成与仿真平台 VISTA(Liu et al., 2026a),生成 789 场第一人称情节。该部分不仅涵盖相同的五类交互场景,还首次系统性注入了 239 场无需协助(No-Assistance)的纯良性日常基准情节。通过记录神谕(Oracle)干预时间戳 \(t_{\text{oracle}}\)、隐患摘要、目击证据与干预动作步,并经过 2,917 次多阶段人工审核过滤(剔除视点穿模、身份漂移等),为评测助手是否介入、介入时机早晚与动作建议质量提供高精度真值。

3. 跨层线性探针与模态分离诊断:针对黑盒大模型在冲突模态下因何失足、以及模态表征何时完成选择决策的机制机理黑箱,提出基于内部隐状态的层级探针追踪

为了从表征内部剖析 VLM 究竟是“未能感知视觉证据”还是“在决策层屈从于语言先验”,研究引入了逐层线性探针(Layer-wise Linear Probe)诊断机制。针对模型的解码器各层,提取最终预测 token 位置处的 L2 归一化隐藏状态向量 \(h_l \in \mathbb{R}^d\)(Qwen3.5-2B 为 24 层,InternVL3.5-4B、Cosmos-Reason2-8B 与 Molmo2-8B 为 36 层)。探针以 \(h_l\) 为输入,以模型自身在输出层对选项 (A, B, C, D) 的软概率分布作为软交叉熵回归目标: $\(\mathcal{L}_{\text{probe}} = -\sum_{i \in \{A, B, C, D\}} P_{\text{VLM}}(y=i \mid X) \log \left(\text{Softmax}(W_l h_l + b_l)_i\right)\)$ 该探针不以外部金标为目标,而是用于诊断“模型的最终决策在第几层被线性确定”。实验发现所有模型均在解码器中深层(约 67%~69% 的相对深度,如 24 层的第 16 层、36 层的第 25 层)出现探针准确率从 ~50% 突跃至 >94% 的相变式跃迁。配合对视觉 token 与对话 token 在投影权重子空间上的奇异值分解(SVD)可视化,证实浅层模态混合在深层虽已解耦,但模型在决策汇合处却系统性忽视了清晰分离的视觉表征,盲目跟随虚假文本。

4. 五维干预失败分类学与对齐审计:针对单一 F1 综合指标掩盖模型病态干预行为的不足,建立全周期细粒度错误归因机制

模型在介入任务上的失败往往源于异质因素。论文建立了细粒度五维错误分类学:(1) 物理对齐错误(Grounding Error),无法正确识别场景或对话中蕴含的关键实体证据;(2) 建议动作缺陷(Step Error),虽识别需要帮助,但给出的建议步骤空泛、不可行或有害;(3) 干预时机偏离(Timing Error),介入时刻显著早于关键证据出现时刻或晚于危险发生时刻;(4) 遗漏干预(Missed Intervention / False Negative),在安全或任务受阻情形下保持沉默;(5) 虚假报警(No-assist False Alarm / False Positive),在良性无害日常操作中频繁打扰。通过引入有符号时间偏移 \(\Delta t = t_{\text{pred}} - t_{\text{oracle}}\) 与时间平均绝对误差(MAE),精准量化模型的时间校准能力,并审计现有注意力重加权与偏好对齐算法在跨模态动态决策中的局限性。

评估基准与实验设计

基准评估了 7 款代表性视觉语言模型:Molmo2-8B、Qwen3.5-2B、InternVL3.5-4B、Gemini-3.1-Flash-Lite、Cosmos-Reason2-8B、Qwen3.5-Plus (02-15) 和 MiMo-V2-Omni(并在部分分析中引入 Gemini-3.1-Pro 作为强基线参考)。 评估分为两组核心指标: - 理解轨(MCQA Accuracy):计算多选题整体精度,并按任务来源(EgoPlan-Bench2、MIntRec、QaEgo4D)和五类场景(Multimodal、Contradictory、Off-topic、On-topic、Text-grounded)分别统计。 - 决策轨(VISTA Assistance Decision):评估模型端到端的情节分析能力,考察综合介入判定 F1、时机绝对平均误差 MAE(秒)、有符号时差 \(\Delta t\)、六类子场景(含 No-assistance)的 F1 分数,以及三类核心模式错误:安全遗漏率(Safety FN)、非安全遗漏率(Non-safety FN)与无协助误报率(No-assist FP)。

实验关键数据

主实验

在 EgoArgus 的 VISTA 决策轨评估中,各大代表性 VLM 的主动介入判定性能、时间同步误差及错误分布如表 1 所示(数据严格遵循论文表 2 报告之实测指标):

模型 输入格式 综合 F1 ↑ MAE ↓ (秒) \(\Delta t\) (秒) 多模态互补 F1 图文冲突 F1 视频同主题 F1 视频无关 F1 纯文本 F1 无需协助 F1 安全遗漏率 FN ↓ 非安全遗漏 FN ↓ 无需协助误报 FP ↓
Gemini-3.1-Flash-Lite 全视频输入 0.8117 2.7420 -2.4970 0.9395 0.9042 0.8049 0.7431 0.9463 0.3885 0.1445 0.2443 0.3173
MiMo-V2-Omni 全视频输入 0.7500 2.6340 -2.3420 0.9194 0.8681 0.8171 0.7046 0.7031 0.3051 0.1992 0.3969 0.2620
Qwen3.5-Plus 02-15 全视频输入 0.7232 2.5050 -1.9280 0.9340 0.9101 0.7249 0.6087 0.4444 0.4418 0.3008 0.4695 0.1144
InternVL3.5-4B 均匀抽帧 0.5979 3.7030 -0.4040 0.9091 0.8587 0.8571 0.1935 0.0909 0.2483 0.4141 0.5687 0.3506
Cosmos-Reason2-8B 均匀抽帧 0.5572 2.7840 -1.7310 0.7283 0.7577 0.6131 0.5165 0.1897 0.3095 0.4023 0.7595 0.1070
Molmo2-8B 均匀抽帧 0.5375 4.0190 -3.9950 0.8265 0.8603 0.7655 0.0854 0.1251 0.1961 0.4922 0.6107 0.3985
Qwen3.5-2B 全视频输入 0.1920 3.7840 -3.7840 0.3459 0.1509 0.2095 0.0854 0.2203 0.0000 0.8438 0.9237 0.0037

消融与诊断实验

为了检验模型精度下降是否由干扰模态所主导,论文在 1,000 个严格场景平衡子集(每类场景 200 条)上开展了神谕干扰消除诊断实验(Oracle Distractor Removal);并在理解轨上测试了均匀视觉注意力重加权(Attention Reweighting)与噪声感知偏好优化(NaPO)对跨模态决策的影响,如下表所示:

表 2A:全输入与去除干扰模态后的真实视频 MCQA 准确率对比 (%)

模型 输入配置 多模态互补 图文冲突 视频无关 视频同主题 纯文本主导 平均准确率
Qwen3.5-2B 全输入 (Full) 64.0 16.0 48.5 50.5 73.5 50.5
去除干扰 (Drop Distractor) 64.0 57.0 (+41.0) 49.5 (+1.0) 49.5 (-1.0) 73.0 (-0.5) 58.6 (+8.1)
InternVL3.5-4B 全输入 (Full) 73.5 13.0 50.0 49.5 76.0 52.4
去除干扰 (Drop Distractor) 73.5 56.0 (+43.0) 49.0 (-1.0) 49.0 (-0.5) 77.0 (+1.0) 60.9 (+8.5)
Cosmos-Reason2-8B 全输入 (Full) 77.0 10.5 49.0 54.5 81.0 54.4
去除干扰 (Drop Distractor) 77.0 51.5 (+41.0) 50.0 (+1.0) 50.0 (-4.5) 82.5 (+1.5) 62.2 (+7.8)
Molmo2-8B 全输入 (Full) 81.5 27.5 54.5 56.0 79.5 59.8
去除干扰 (Drop Distractor) 81.5 61.5 (+34.0) 56.5 (+2.0) 56.5 (+0.5) 81.0 (+1.5) 67.4 (+7.6)

表 2B:基于 Qwen3.5-2B 的注意力重加权 (\(\epsilon\)) 与偏好优化 (NaPO) 消融 (%)

评估场景 原始基准 (Base) 注意力 \(\epsilon=-10\) 注意力 \(\epsilon=5\) 注意力 \(\epsilon=10\) NaPO 偏好对齐 变动幅度 \(\Delta\) (NaPO vs Base)
多模态互补 69.4 67.5 68.2 36.8 67.6 -1.8
图文冲突 18.4 15.9 16.5 18.5 15.7 -2.7
视频无关 48.4 44.4 44.2 26.6 44.4 -4.0
视频同主题 50.7 47.7 46.8 27.6 47.5 -3.2
纯文本主导 73.7 74.1 72.6 38.7 75.4 +1.6
整体平均 51.3 - - - 48.9 -2.5

关键发现

  • 图文冲突诱发模型系统性崩溃且击穿随机基线:在理解轨的图文冲突场景下,所有评测模型的平均准确率从多模态互补的 63.0% 暴跌至 18.5%。除 Molmo2-8B 仅获 24.9%(四选一随机猜测水平)外,其余所有模型均显著低于 25% 的随机概率。这表明用户言辞的错误诱导并非简单的注意力分散,而是主动导致模型发生对抗性语义翻转。
  • 跨模态偏差具有显著的非对称性(Text Dominance):模型在纯文本主导场景下的平均准确率高达 71.0%,展现出在完全无关视频下依然能凭借语言常识推断用户意图的能力;然而当图文冲突且答案由视频唯一主导时,模型却极难调用视觉证据纠正错误文本。
  • 神谕诊断证明消模态具备高度特异性:去除冲突对话可立即使模型准确率回升 34.0~43.0 个百分点;但若简单地对所有场景过滤文本,在视频同主题场景下反而会导致精度回退(最多降低 4.5 个百分点),证明无答案同主题闲聊仍具备关键的场景常识先验。
  • 深层表征呈现突然相变(Late-layer Phase Transition):线性探针证实,多模态模型的最终选项偏好在解码器前 60% 深度几乎不可线性分离,而在 67%~69% 相对深度(如 Qwen3.5-2B 第 16 层、InternVL3.5 第 25 层)突然飙升至 94% 以上,表明决策成型极其滞后,早层干预难以起效。
  • 主动干预决策存在严重的精度-召回权衡与时间早熟倾向:强模型(如 Gemini-3.1-Pro)在安全介入上具备高召回,但无需协助场景下的误报率(FP)高达 56.8%;中等模型(Qwen3.5-Plus)保持了低误报(11.4%),但显著漏检非安全隐患;此外,所有模型的平均干预时差 \(\Delta t\) 均为负值(提前 0.4 至 4.0 秒介入),暴露出在动作尚未充分展开时仓促发声的盲目早熟问题。

亮点与洞察

  • 提出首个解耦多模态语义关系的日常情境助手评测标准:通过精细划分五类模态相关性并引入良性无协助控制流,打破了以往“多模态即互补”的简单假设,精准捕捉到 VLM 在日常交互中的盲目跟从漏洞。
  • 揭示了通用去偏与注意力微调方法的无效性甚至负作用:实验证明,无论是在推理阶段粗暴施加常数注意力偏置 \(\epsilon\) 还是在微调阶段引入 NaPO 偏好对齐,均因无法动态感知“当前何种模态具有决定性”而导致全场景性能下滑(总体掉点 2.5%),揭示了开发上下文自适应模态仲裁路由器的紧迫性。
  • 为端侧具身智能提供了关键架构指导:探针实验证实,表征在深层虽已解耦但决策层仍偏向文本,提示未来轻量级穿戴设备(如 4B/8B 端侧模型)应在晚期跨模态融合前建立独立的视觉忠实度验证通道。

局限与展望

  • 理解轨受限于封闭式多选题形态:MCQA 四选一格式虽然为严格对比和随机猜测率计算提供了可解释框架,但无法完全覆盖真实第一人称开放式对话的语言自由度。
  • 决策轨依赖于 VISTA 仿真环境的视觉表征:虽然合成情节极大丰富了高风险与长尾负样本的多样性,但在动态光照、极端抖动、真实社交隐私遮挡及复杂传感器噪声方面,与物理世界实拍仍存在分布漂移。
  • 未来方向与演进路径:后续工作可进一步将动态模态置信度估计模块集成进轻量级自适应解码器中,并联合眼动追踪(Gaze Tracking)信号来校准主动干预的毫秒级决策时机。

相关工作与启发

  • vs Ego4D / EgoPlan-Bench2 / QaEgo4D: 传统第一人称视频基准专注于视频序列的动作定位、长视频检索与具身动作规划,假定视频是唯一的环境输入;EgoArgus 首次将并行的用户对话及其多义关系作为一等公民,重点评估多模态仲裁与信任决策。
  • vs HoloAssist / Ego-EXTRA: HoloAssist 等主要从真人示教与徒弟指导对话中收集互动,但缺乏对抗性、冲突性与负样本(无需干预)的受控扰动,无法诊断模型是否存在文本盲从;EgoArgus 通过五类解耦构建系统度量了模态偏见。
  • vs ProactiveVideoQA / OVO-Bench: 现有主动视频基准偏重于流式处理或纯视觉场景下的发声判断;EgoArgus 全面补齐了第一人称视角、用户伴随对话、介入判定、动作规划、毫秒级时机对齐与良性静默控制六大关键维度。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ 首次提出多模态真实第一人称情境助手评测基准,并形式化定义了包含对抗冲突在内的五类图文交互关系。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7 款开源与商用前沿 VLM,结合 6,978 条真实 MCQA、789 条合成情节、细粒度错误分类学、逐层探针与去偏消融。
  • 写作质量: ⭐⭐⭐⭐⭐ 论文逻辑清晰严谨,实验统计图表完整,分析深刻揭示了多模态表征决策的相变过程。
  • 价值: ⭐⭐⭐⭐⭐ 为推动下一代第一人称多模态 Agent、端侧可穿戴智能眼镜(Smart Glasses)的安全可靠落地提供了不可替代的评测基准与方法学洞见。