EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents¶

会议: NeurIPS 2026
arXiv: 2605.27820
代码: https://github.com/Wind-Flipped/EgoBench
领域: 多模态VLM
关键词: 第一人称基准, 工具使用智能体, 动态用户交互, 多跳推理, 确定性联合验证

一句话总结¶

提出了首个结合第一人称动态视频、多跳工具调用与动态多轮用户交互的多模态 Agent 评测基准 EgoBench，涵盖五大生活场景的 1,590 个任务，并建立了基于调用过程与数据库状态等价性的确定性评测机制。

研究背景与动机¶

随着多模态大模型（MLLM）被广泛部署于智能眼镜、可穿戴设备以及移动终端，AI 智能体正从封闭的文本沙盒与静态桌面环境逐步迈入开放复杂的真实物理世界。在第一人称（Egocentric）视角下，智能体不再是被动回答视觉问答题的观测者，而是需要根据用户的主观意图、视线所指以及时序操作，主动协同调用外部工具并与用户动态交互以解决复杂现实任务。然而，现有的 Agent 评测基准往往割裂了这些核心能力：如 BFCL、ToolBench 和 \(\tau^2\)-bench 等仅评测纯文本环境下的函数调用或对话交互，缺乏多模态视觉感知；而 VisualWebArena、GTA 与 M3-Bench 等多模态基准大多采用静态单轮指令或孤立的感知评测，忽略了用户动态反馈和任务执行过程对真实数据库状态的持续影响。

构建一个同时涵盖多模态视觉感知、复杂多跳逻辑推理与动态用户交互的评测基准面临三重关键挑战：第一是能力严格耦合的保证，以往基准中模型常利用文本捷径或单独依赖单模态能力蒙混过关，难以迫使模型必须将视频感知与工具调用强绑定；第二是真实自然且受控的用户模拟，在多轮人机交互中，被测智能体的输出行为难以预测，模拟用户既要保持日常交互的自然生动与干扰抗性，又必须严守任务约束，不发生角色颠倒或意图漂移；第三是动态交互下的客观评测标准，传统基于 LLM-as-a-Judge 的评分受主观偏见和提示词波动影响严重，难以形成定量、可复现且同时验证执行过程与终态一致性的客观指标。

针对上述瓶颈，本文的核心 idea 是构建一个以第一人称视频为锚点、引入“视觉-数据信息差”的三阶段任务生成管线，配合带有评估修正机制的 Actor-Evaluator-Summarizer 拟人交互模拟器，并采用覆盖工具调用过程与数据库哈希终态等价性的双重确定性验证体系。该体系确保了任务必须联合使用视频感知、工具检索、逻辑分支与写操作方能完成，为真实生活助理智能体设立了高难度的全面评测环境。

方法详解¶

整体框架¶

EgoBench 将交互决策任务形式化为部分可观测马尔可夫决策过程（POMDP）架构 \((S, A, O, T, V)\)，其中 \(S\) 为数据库与模拟用户状态，\(A\) 为文本回复或工具调用动作，\(O\) 为观察空间，\(T\) 为状态转移，\(V\) 为第一人称短视频。评测管线由三大核心支柱驱动：基于“视觉-数据信息差”的三阶段任务生成管线、基于多 Agent 协同的模拟用户系统，以及过程与结果双重把关的联合验证框架。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["第一人称视频输入<br/>10-30s 时空动态线索"] --> B["三阶段协同任务生成<br/>视觉-数据信息差 + 4阶段强耦合"]
    B --> C["场景化工具库与数据库<br/>CRUD API + 模糊匹配 + 复合参数"]
    C --> D["Actor-Evaluator-Summarizer 拟人模拟用户<br/>动态反馈 / 纠错 / 3种交互模式"]
    D <-->|多轮交互 / 工具调用执行| E["被测视频 MLLM 智能体<br/>感知 / 多跳推理 / 数据库写入"]
    E --> F["确定性联合验证体系<br/>过程覆盖 ToolSucc + 终态等价 ResultSucc"]

关键设计¶

1. 三阶段协同任务生成：引入视觉-数据信息差强迫能力耦合

为彻底消除模型跳过视觉感知或仅凭文本常识完成任务的捷径，任务生成管线严格遵循三阶段递进设计。阶段 1 采集具备显著空间特征（颜色、几何、相对方位）与清晰动作时序的第一人称视频（10–30 秒），涵盖厨房、零售、餐厅、仓库、家庭五大场景。阶段 2 构造场景专用工具库与结构化数据库，刻意引入“视觉-数据信息差”——视频中仅展现部分外观属性（如商品名、外观标签），而决策关键信息（如营养成分、致敏原、保质期、折扣策略）隐藏在数据库中，必须通过工具检索。阶段 3 构造强耦合任务逻辑链，每个任务强制包含四重递进环节：① 依赖视频动态与时空关系的多模态指称消歧；② 调用读工具检索视频不可见的属性；③ 基于检索结果执行条件多属性逻辑比较与分支筛选；④ 触发状态改变的写工具更新数据库。这一链条确保缺失任何单一能力都会导致后续步骤级联崩溃。

2. Actor-Evaluator-Summarizer 拟人模拟用户：保障长程多轮交互一致性

针对传统模拟用户易受 Agent 误导、产生角色漂移或幻觉的问题，提出三 Agent 协同闭环架构。Actor 负责在当前对话摘要和智能体回复引导下生成下一轮用户表达；Evaluator 则基于四大二值硬性指标（角色一致性、指令遵循性、抗诱导韧性、上下文鲁棒性）进行实时审计，一旦检测到违规即刻生成修正反馈并触发 Actor 重新生成；Summarizer 在每轮交互结束时压缩历史对话并显式维护已完成子目标与当前任务进度。同时，模拟器支持三种交互模式以测试不同维度的智能体能力：Dynamic Easy 模式按多轮渐进释放未完成步骤；Dynamic Hard 模式引入用户缺乏耐心、夹杂场景相关但任务无关的冗余闲聊，并在输出不规范时主动打断；Static 模式则单轮一次性给出全部条件，剥离交互扰动以直接压测长程规划能力。

3. 双重确定性联合验证体系：消除模型评判主观偏见

为实现绝对客观、确定且可复现的评测，废弃了基于大模型作为裁判的传统范式，建立了兼顾执行过程与执行终态的双重验证指标。过程维度上，定义必需工具集合覆盖率 \(\text{ToolSucc} = N(\{d \in \mathcal{D} : \tau_d^* \subseteq \tau_d\}) / N(\mathcal{D})\) 与细粒度工具调用召回率 \(\text{MicroAcc} = \sum |\tau_d^* \cap \tau_d| / \sum |\tau_d^*|\)；结果维度上，通过比对智能体执行后数据库状态与标准轨迹执行后的变量哈希值，计算结果成功率 \(\text{ResultSucc} = N(\{d \in \mathcal{D} : s_d(\tau_d^*) \equiv s_d(\tau_d)\}) / N(\mathcal{D})\)。最终以两项同时达标的联合成功率作为主要基准指标：

\[\text{JointSucc} = \frac{N(\{d \in \mathcal{D} : \tau_d^* \subseteq \tau_d \ \text{and} \ s_d(\tau_d^*) \equiv s_d(\tau_d)\})}{N(\mathcal{D})}\]

该指标既能惩罚未执行必要读操作的猜测行为，又能拦截因多余或错误写操作污染数据库的越界行为。

4. 级联优先级的层级错误归因：精准定位系统性能力短板

为了将失败轨迹归因到具体的技术模块，提出五层级联优先分类器（Cascading Priority Classifier），按照严格依赖拓扑从上至下判定且仅分配唯一的根因标签：首先判定语法格式错误（\(c_1\)：无工具输出或参数字段缺失）；其次判定多模态感知错误（\(c_2\)：查询类工具未能命中视频中目标实体的视觉指称集合 \(\mathcal{V}\)）；再次判定幻觉错误（\(c_3\)：虚构或写错用户身份标识 user_id）；随后判定逻辑推理错误（\(c_4\)：工具调用缺失数 \(\Delta = G - M \ge 1\)）；最后判定过度操作错误（\(c_5\)：工具调用虽全匹配但数据库终态校验失败）。这种互斥判定机制避免了下游错误对上游根因的双重计数。

一个完整示例¶

以零售场景任务为例，真实用户输入：“我是一名预算敏感的学生（user_id: bill_donk_143），正在对比手上的两瓶酒。请先帮我查这两瓶酒的价格并计算各买一瓶的总价；接着帮我找和金盖那瓶同产地且价格在150元以下的葡萄酒。如果存在，将其中最便宜的一款加入购物车（同价则全加）；若不存在，将我手中的两瓶加入购物车；最后计算购物车税费。”

在 Dynamic Easy 模式下： 1. 多模态指称解析：被测 Agent 观察视频，通过双手动线与瓶盖颜色锁定手持的两瓶酒及“金盖酒”的视觉实体标签。 2. 读工具检索：Agent 调用 get_price 查询两瓶酒单价，调用 get_equipment_country_of_origin（或零售的 find_products_by_country_of_origin）与 find_products_by_price_range 检索符合产地与价格区间的候选集。 3. 多跳逻辑推理与数值计算：Agent 发现满足条件的候选集非空，比较候选酒价格找到最低价酒，并提取该酒的类别、单价、税率与折扣属性。 4. 写工具状态变更：Agent 收集完整参数后调用 add_to_cart 写入购物车，随后调用 compute_total_tax 输出税费。 5. 联合校验：验证系统检查日志是否包含所有查询与加购工具（\(\text{ToolSucc}\)），并比对 user_carts 中最终的物品列表哈希（\(\text{ResultSucc}\)）。

实验关键数据¶

主实验¶

在八款顶尖视频 MLLM 上的核心评测结果如下表所示（五大场景加权平均，涵盖 Easy、Hard、Static 三种交互模式）：

模型	Easy MicroAcc (%)	Easy JointSucc (%)	Hard MicroAcc (%)	Hard JointSucc (%)	Static MicroAcc (%)	Static JointSucc (%)	平均 JointSucc (%)
Gemini-3.1-Pro	71.35	36.21	66.01	27.03	66.43	41.60	34.95
Doubao-Seed-2.0-Pro	59.59	24.68	55.15	15.93	58.78	26.00	22.20
Qwen3.5-397B-A17B	53.92	24.03	43.03	16.60	35.67	16.79	19.14
Kimi-K2.6	50.30	22.26	43.70	15.04	37.49	18.86	18.72
Qwen3.6-Plus	55.43	24.84	46.20	17.23	24.71	8.30	16.79
GLM-5V-Turbo	43.71	11.23	47.33	11.95	48.04	16.94	13.37
MiMo-V2.5-Omni	42.92	12.52	26.77	5.03	23.92	4.59	7.38
Qwen3-VL-235B	27.90	3.27	7.05	0.44	20.39	0.82	1.51

消融实验¶

针对模拟用户系统在不同模型底座及单/多智能体协同架构下的四维可靠性评测（采用严苛的轨迹级全乘积通过率 All Success，即单条轨迹中任意一轮未通过即判定该轨迹失败）：

模拟用户模型与配置	角色一致性 (Role)	指令遵循 (Instr)	抗诱导韧性 (Resil)	上下文鲁棒 (Ctx)	轨迹全通过率 (All Success)
Single-agent (Qwen3-32B)	0.9822	0.7122	0.8567	0.8040	0.6685
SFT+RL-tuned (Qwen3-32B)	0.9962	0.9002	0.9916	0.9461	0.8502
Single-agent (Qwen3.5-397B)	0.9869	0.9105	0.9509	0.9656	0.8935
Multi-agent (Qwen3.5-397B, 本文)	0.9894	0.9871	0.9810	0.9942	0.9772
Single-agent (GPT-5.6-luna)	0.9886	0.9533	0.9982	0.9885	0.9403
Multi-agent (GPT-5.6-luna)	0.9993	0.9679	0.9983	0.9966	0.9676

关键发现¶

整体性能存在严重天花板：即使是表现最佳的商业模型 Gemini-3.1-Pro，在三模式平均下的联合成功率也仅有 34.95%，而开源顶尖模型 Qwen3.5-397B-A17B 仅达 19.14%，证明真实物理世界中的多模态动态工具使用对当前大模型构成了严峻挑战。
动态交互对规划能力的代偿效应：对比 Easy 与 Static 模式，多数模型（如 Qwen3.6-Plus 的 JointSucc 从 24.84% 骤降至 8.30%）在单轮给出全部指令的 Static 模式下反而表现变差。原因在于动态交互中，用户逐轮下达子目标实质上为模型分担了任务分解规划，且用户能够实时纠错反问；而 Static 模式下模型必须一次性完成长程状态空间规划，导致认知负荷过载。
错误根因高度集中于感知与逻辑：层级错误归因表明，格式语法错误极少，各模型的失败主要由多模态感知误读（无法将视觉指称映射到正确实体）和逻辑推理错误（条件判断错误或工具调用缺失）引起。
场景复杂度与视觉杂乱度直接相关：五大场景的平均成功率呈现 Household (22.86%) > Retail (21.38%) > Kitchen (16.66%) > Warehouse (13.31%) > Restaurant (9.05%)。仓库因堆叠杂乱和冷门工业设备导致视觉定位极难；餐厅则因菜单密集、同类菜品繁杂且叠加致敏/营养复杂过滤而成为最难场景。

亮点与洞察¶

视觉-数据信息差（Visual-Data Gap）设计：将可见的物理外观线索与不可见但任务必须的数据库属性刻意分离，彻底杜绝了模型依赖单模态捷径蒙混过关的漏洞，使得工具调用成为完成视觉任务不可或缺的认知桥梁。
Actor-Evaluator-Summarizer 拟人交互闭环：通过实时引入 Evaluator 针对四大维度的二值化评判与反馈修正，将模拟用户的轨迹级全成功率推至 97.72%，解决了以往 LLM 用户模拟器容易角色倒错、被 Agent “带偏”跑题的通病。
过程与终态联合的确定性评测：摒弃不稳定的大模型裁判，同时要求工具调用覆盖率（防猜测）与数据库哈希一致性（防越界与滥操作），为 Tool-using Agent 领域树立了高置信度的客观评估范式。

局限与展望¶

场景覆盖与模态维度的扩展空间：当前仅覆盖 5 个室内日常场景，且多模态数据集中在智能眼镜和手机拍摄的短视频与文本。未来可拓展至户外导航、社交或教学等场景，并整合环境音频与可穿戴生理传感信号。
真实交互延迟未纳入评分惩罚：当前实验通过 API 异步调用，受网络与服务端排队波动影响，未将响应延迟与实时交互流程度纳入量化评分。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将第一人称视频理解、动态人机交互与多跳工具调用深度融合，构建了完备的真实世界评测基准。
实验充分度: ⭐⭐⭐⭐⭐ 评测了 8 款主流闭源与开源 MLLM，覆盖 3 种交互模式与 5 大场景，提供详实的细粒度层级错误归因与资源消耗分析。
写作质量: ⭐⭐⭐⭐⭐ 架构逻辑严密，POMDP 数学形式化清晰，实验分析深入透彻。
价值: ⭐⭐⭐⭐⭐ 为未来可穿戴 AI 助手与第一人称多模态 Agent 的研发设立了极具挑战性且评估客观的标准测试集。