FindingDory: A Benchmark to Evaluate Memory in Embodied Agents¶

会议: ECCV2026
论文: ECCV 原文
领域: 机器人/具身智能
关键词: 具身记忆、长时序推理、视觉语言模型、目标导航、程序化评测

一句话总结¶

FindingDory 在 Habitat 中用 60 个任务模板把物体搬运历史转化为需要记忆才能执行的导航指令，并通过分层指标揭示：冻结 VLM 中 GPT-4o 的高层成功率也只有 27.3%，而记对目标仍不等于能高效到达目标。

研究背景与动机¶

家庭机器人面对的记忆问题，不只是从录像中找出一张有苹果的图片，而是要知道苹果是否被搬过、从哪里搬到哪里，以及现在应去哪个位置。物体状态随交互改变后，过去看见的画面可能已经失效；“去找昨天没有动过的物体”还要求区分看见、接近和真正交互这几种经历。长视频问答能考察部分信息回忆，但不少问题依靠少数关键帧就能回答，选择题也不要求模型把答案落实为可执行的空间目标。

另一方面，直接把机器人放入陌生房间测最终成功率，又会混合探索、视觉识别、记忆和控制等多种能力。失败可能只是从未见过目标，未必是遗忘；成功也可能来自重新搜索，而非利用过去经验。 FindingDory 因而先用可控的 oracle 智能体制造搬运经历，再把相同的历史交给不同被测模型，使它们面对共同的信息来源和动态环境。

这套设计利用仿真器提供的对象身份、状态和位姿，把自然语言任务与可自动检查的目标条件绑定起来，既降低人工标注成本，也能增加交互次数来扩展难度。它并非提出一种新的通用记忆网络，而是定义“应该记住什么、如何使用、怎样判定失败”的评测协议。 核心 idea：以可复用的动态交互历史作为共同输入，让智能体通过真实导航兑现记忆，并分别检查目标选择、空间定位和执行效率。

方法详解¶

整体框架¶

FindingDory 的输入包括先前经历中的第一人称图像、位姿和动作记录，以及一条依赖这些经历的任务指令；输出是智能体在经历结束后的环境中执行任务的结果。流程分为经历采集和评测两个阶段：先由脚本化 oracle 抓取、搬运和放置物体，再让被测智能体根据历史确定应访问的对象或位置。论文的基线用高层 VLM 选择历史目标帧，低层策略根据该图像或对应坐标导航，但这一目标帧接口不是基准对所有未来方法的强制限制。

环境采用 Habitat 2.0 和 HSSD，训练/验证分别覆盖 107/30 个场景、1,478/100 段经历，最终生成 79,213/5,876 个任务实例。这里的 60 是指令模板数量，不是验证问题总数；同一经历可通过不同实体绑定生成多条任务。场景中训练/验证物体实例为 839/247 个，类别为 84/72 种，承载物类别为 17/16 种。机器人采用 Stretch 形态，使用 640 × 480 的 RGB-D 和 GPS+Compass；评测导航动作是前进 0.25 m、左右转动 10°以及停止。采集时机器人还会操作机械臂，因此动态搬运是记忆输入的来源，不应把本文成绩读成被测 VLM 的端到端抓取成功率。

关键设计¶

1. 双阶段动态经历：让不同模型基于相同历史作决策

采集阶段不是任意漫游录像，而是 oracle 在指定承载物之间搬运物体，主动制造“之前在哪里、后来在哪里”的状态变化。作者先生成候选经历，对物体放置进行物理检查，再丢弃不稳定放置或 oracle 执行失败的轨迹，减少把数据生成错误误当记忆错误的风险。主文第 3.1 节给出的经历长度为 400–3500 帧，包含 2–11 次抓放交互。评测时模型获得这些记录，不能仅凭当前观察理解“之前交互过”“第二个拿起”等限定词；这使过去经验真正参与目标定义。

把采集与被测策略分开，控制的是经历获取差异，而非消除所有感知和导航困难。例如，同样记住“苹果被搬到桌上”，仍须从历史中辨认可用的目标视角，并在当前场景中接近它。增加交互次数和历史长度可以延长记忆依赖；作者还在采集阶段注入噪声，测试不完美经历下的鲁棒性。这两类扩展分别改变记忆负荷和输入可靠性，不应混为单纯的上下文窗口长度测试。

2. 模板化任务与状态验证：把记忆需求转成可判定目标

任务覆盖空间、时间和多目标三个维度下的 11 个类别，包括物体回忆、交互与否、条件交互、物体属性、空间关系、房间访问、交互顺序、时间点、持续时间，以及有序和无序重访。 “找到交互过的任意物体”允许多个答案，却要求选择合理的目的地；“重访所有交互过的物体”则必须保留完整集合，指定顺序时还要正确恢复事件先后。属性类任务通过颜色、材质、形状等间接指代目标，考查记忆是否保留了超出类别名称的视觉细节。这让固定文本摘要可能遗漏什么变得可测，而不是只评价摘要是否流畅。

每个模板用 PDDL 描述实体、属性和目标条件：对象类别、交互顺序、起始与最终承载物约束实体绑定，谓词对应可在仿真状态上检查的函数。采样合法绑定后，再用存在或全称等量词组合目标条件，得到实例化的指令和自动验证器，无需为每个具体房间单独写答案。物体属性来自 GPT-4o 对多视角图像生成的描述，并经人工检查；五个属性模板只在验证集使用，因此也检验对训练中未出现模板的泛化。自动化来自可访问的仿真状态，而不是用另一个语言模型主观判断机器人是否完成任务。

3. 分层记忆基线：统一目标接口，暴露不同信息压缩方式的代价

直接视频基线为历史帧附上索引和时间标记，让 VLM 根据指令输出可作为导航目标的帧索引。输出虽然只是一个数字，推理可能要跨越多段历史：先确定谁在某个事件后被拿起，再找到它的最终位置，而不是检索最像指令的单帧。文本记忆基线把视频切块，由 VLM 生成摘要，再由 LLM 在摘要上选择目标；3D-Mem 则用信息丰富的快照构造结构化三维记忆。这些表示分别保留不同类型的信息，FindingDory 用统一任务观察其丢失的时间、属性或空间线索是否会影响行为。

低层采用基于 OVRL-v2 的 LSTM 图像目标导航策略，或利用全局地图、按目标帧坐标确定性导航的策略。二者分别检验视觉目标能否被控制器识别，以及高层目标在更强几何支持下是否仍然有效。但若某个未交互物体从未被足够接近，历史中可能根本没有满足导航条件的目标帧；这属于基线接口限制，不代表基准任务自身不可解。作者因此以“最优历史帧选择加完美传送”计算可解性上界，避免把一个先天不完整的动作接口误当作满分标准。

4. 分层诊断指标：区分记对、靠近、看见和走得高效

高层成功率 HL-SR 检查选出的目标帧是否对应可完成任务的目标状态；低层成功率 LL-SR 则检查实际导航执行后的任务结果。 HL-SPL 和 LL-SPL 分别对高层目标选择与低层执行引入路径长度加权：不仅要选到合法实体，还要避免选远处的等价目标或执行冗长路线。对允许多个合法实体的指令，成功率相同的两个模型可能因选择不同目的地而具有很不同的 SPL，因此不能只把目标索引匹配率当作全部记忆能力。多目标任务还要求满足目标集合及相应次序，主文基线采用一次提示输出所有目标，未进行逐目标重新推理。

作者另外用 DTG-SR 放宽“目标必须可见”的要求，保留距离条件；用 SC-SR 忽略空间接近要求，检查语义目标覆盖。若 SC-SR 很高、正常成功率仍低，意味着模型可能看见了大桌子，却选了距离过远的视角；小物体则很难在远处仍清晰可见。这组诊断能避免把“识别出了桌子”和“找到了可执行的近距离目标”混为一谈。本文缓存未附 Appendix B.3，因而此处只给出主文支持的指标含义，不自行补写完整 SPL 公式、聚合规则或逐类别成功阈值。

损失函数 / 训练策略¶

基准本身没有新损失函数；SFT 基线训练高层 VLM 根据任务和历史预测目标帧，将所有可接受的目标帧列表用于监督，因为相邻多个视角都可能有效。测试时从预测列表选取一帧，检查其是否属于合法目标，避免把唯一标注帧当作唯一正确解。主文对训练策略的说明不足以确定完整优化器配置和各模型最佳帧预算，这些细节位于未随缓存提供的附录，笔记不据此补写超参数。

跨基准实验另外将 40,000 个 FindingDory 样本加入 Video-R1-CoT-165k，构造思维链监督，并比较 SFT 及 GRPO 后训练在 VSI-Bench 上的表现。该实验考查仿真记忆监督能否迁移到真实第一人称视频推理，不等同于真实机器人部署测试。

实验关键数据¶

主实验¶

表 1 摘录主文第 5 节及图 2 的 FindingDory 高层结果，HL-SR 越高越好，不能当成完整机器人任务的 LL-SR。标准验证集含 100 段经历和 5,876 个任务实例；各视频 VLM 使用各自经验最优的抽帧预算，并非严格等计算量比较。

表 1：高层基线	HL-SR	实验条件与口径
GPT-4o	27.3%	冻结模型，直接视频输入
Gemini-2.0-Flash	25.7%	冻结模型，直接视频输入
GLM-4.1V-Thinking	23.5%	冻结模型，直接视频输入
文本记忆基线	9.45%	视频分块摘要后选择目标
3D-Mem	6.9%	仅 95 段验证经历，记忆构建每段限时 6 小时
Qwen SFT	约 50%	图 2 的近似总体描述，使用任务监督训练

3D-Mem 的评测子集与其余结果不完全一致；Qwen SFT 也不是与冻结模型同训练条件的零样本比较。主文称 SFT 的平均改善为 25%，但未在这句文字中清楚区分相对比例与百分点，故不据此推算精确的总体成功率。

消融实验¶

表 2 是原文表 3 的训练数据加入分析，指标均为 VSI-Bench 上的百分数，而不是 FindingDory 导航成功率。这里比较是否加入上述 40,000 个样本；由于同时增加了训练数据量，不能视为完全控制数据规模的纯内容消融。

表 2：训练配置	MCQ Acc.	Num. Acc.
Zero-Shot	33.69	21.47
Video-R1-Only SFT	33.33	32.67
Video-R1 + FindingDory SFT	35.06	32.35
Video-R1-Only GRPO	33.57	33.9
Video-R1 + FindingDory GRPO	35.42	34.82

SFT 加入 FindingDory 后 MCQ 准确率提高 1.73 个百分点，但数值题准确率下降 0.32 个百分点；收益不是所有指标均增加。 GRPO 条件下，MCQ 与数值题分别提高 1.85 和 0.92 个百分点，这比笼统说“所有设置一致提升”更准确。

关键发现¶

图 5 显示冻结 VLM 增加输入帧数后通常没有明显收益，有时反而退化；SFT 模型能从更长的训练视频中获益，但主文图像的具体曲线数值未在缓存文本中给出。
多目标任务中冻结 VLM 往往接近零成功，SFT 约为 20%，而相应可达到的上界约为 99%；这三个数针对多目标分析，不是总体平均。
图 3d 的 Qwen2.5-VL-7B 分层实验只在高层正确时触发低层导航；ImageNav 在自身验证任务上达 78%，转到搬运视角后明显下降，地图策略仍有约 25% 的相对成功率降幅。

亮点与洞察¶

动态经历使对象身份与对象位置必须分开保存。只记“看见过苹果”或存一张旧地图，不足以回答搬运前后的位置与交互顺序。
目标帧上界将表示能力和推理能力分开。若历史根本没有合适视角，扩大 VLM 规模也无法修复这个接口缺口。
放宽距离与可见性得到不同诊断结果。这样的指标拆分可迁移到其他具身任务，用来定位语义记忆到可执行空间目标之间的误差。

局限与展望¶

作者指出：历史帧目标接口不能表达所有任务的合法目的地；多目标单次输出也限制了交互式修正。这些是当前基线限制，不能直接归因于所有记忆架构。
作者报告：噪声经历会显著降低零样本和 SFT 表现，理想 oracle 日志下的成绩更接近真实复杂条件的乐观参照，而非已证明的部署性能。
本笔记的判断：验证集只有 30 个场景、100 段经历，五类属性模板又采用特定生成和人工检查流程，仍需更广泛的物体、语言表达与传感噪声验证。
本笔记的判断：各模型抽帧预算不同、3D-Mem 子集不同、跨基准训练数据量增加，均限制了单一因素归因；后续可报告等预算比较、逐事件状态更新和闭环多目标重规划。
阅读边界：所给缓存包含完整主文与参考文献，但不含文中引用的附录；附录实验、精确阈值、优化器设置与帧预算未独立核验。

评分¶

新颖性: 4/5。将动态交互经历、可验证任务和分层记忆诊断组合成清晰的评测问题。
实验充分度: 4/5。覆盖多类基线、上下文长度、控制器与迁移分析，但若干比较条件并不统一。
写作质量: 4/5。主线明确，能区分基准与基线的限制；复现细节较依赖附录。
价值: 4/5。适合作为具身记忆研究的诊断平台，尚不能替代真实机器人长期运行验证。