HitMem: Hierarchical Temporal 3D Memory with Multi-Modal Context-Aware Retrieval for Dynamic Environments¶

会议: ECCV 2026
论文: ECCV 2026
领域: 机器人
关键词: 动态3D记忆, 多模态上下文检索, 具身智能, 空间时序衰减, 目标重定位

一句话总结¶

HitMem 针对动态环境中物体常因人类等外部智能体扰动而发生位移的问题，构建了结合载体-承载物拓扑与时序衰减机制的分层 3D 记忆，并在目标丢失时结合外部智能体历史轨迹与语义类别亲和度实施两阶段上下文感知检索，大幅降低了无效探索代价并提升了长程任务成功率。

研究背景与动机¶

具身智能体在现实物理环境中执行长期复合任务时，依赖持续构建的 3D 场景表征来支持物体定位、路径导航与交互操作。然而，现有的 3D 场景记忆框架（如密集 3D 重建、开放词表场景图等）几乎普遍建立在「静态世界假设」之上。在实际家庭或办公场景中，人类或其他外部智能体的频繁活动会导致物体位置随时发生改变。当机器人依循陈旧记忆移动到目标初始坐标却发现物体凭空消失时，往往遭遇严重的记忆-观测冲突；此时现有方法要么需要重新进行代价极其昂贵的几何聚类与关系重构，要么因缺乏时序失效机制而反复依赖过期信息，甚至退化为全局盲目随机探索。

这一困境的核心矛盾在于：动态环境中的物体位移具有局部性与因果性，但传统记忆系统将动态扰动与整体重建割裂开来，既无法高效维护记忆的时效活性，也无法在目标位移后利用环境中的多模态动态上下文进行溯源。人类在寻找遗失物品时绝非全局盲搜，而是自然地结合时空轨迹因果（「谁在什么时间经过了这里、又走向了何处」）与语义常识（「餐桌上消失的碗更可能出现在水槽或冰箱，而非卫生间」）进行定向排查。

本文的切入点正是将人类认知的寻物启发融入具身机器人的 3D 记忆检索闭环中。核心 idea：构建轻量化载体-承载物分层拓扑与角色感知时序衰减的 3D 记忆图，在检测到目标位移冲突后，主动激活「基于外部智能体轨迹约束剪枝物理搜索空间 + 基于语义类别亲和度概率排序候选载体」的两阶段上下文感知检索策略。

方法详解¶

整体框架¶

HitMem 的系统流程由两大部分组成：在线感知的「分层时序 3D 记忆构建与维护」和任务驱动的「多模态上下文感知闭环检索」。输入为机器人的连续 RGB-D 视频流与相机位姿，输出为导航与操作所需的目标 3D 坐标及执行反馈。系统首先利用开放词表检测分割与 CLIP 提取物体点云及视觉嵌入，依空间支撑关系建立分层拓扑图，并结合场景尺寸实施时序衰减；在接收到自然语言指令后，系统执行自顶向下的分层检索与主动视觉验证。一旦发现目标缺失，系统立即剔除陈旧节点，并启动结合外部智能体轨迹与语义亲和度的两阶段重定位流程。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续 RGB-D 观测与位姿输入"] --> B["分层语义拓扑图构建<br/>载体-承载物轻量拓扑与双向 ICP 融合"]
    B --> C["角色感知的自适应时序衰减<br/>载体恒定与承载物场景尺度衰减"]
    C --> D["分层语义查询与主动视觉验证<br/>活跃度加权初筛与到场观测对齐"]
    D -->|目标存在| E["输出 3D 坐标并执行下游操作"]
    D -->|检测到目标位移| F["陈旧记忆节点主动剪枝"]
    F --> G["外部智能体轨迹约束剪枝<br/>推断运动位移矢量并扇区过滤载体"]
    G --> H["语义类别亲和度扫描排序<br/>常识先验/VLM相似度 Softmax 概率重定位"]
    H --> I["按优先级探索高概率候选载体"]

关键设计¶

1. 分层语义拓扑图与轻量级支撑关系抽象：避免全局重构的高效动态表征 针对传统 3D 场景图在动态环境下频繁重新计算几何聚类和边关系所带来的高计算负担与结构不稳定性，HitMem 放弃了繁冗的全连通实例图，转而构建聚焦于「载体（Carriers $\mathcal{C}_r$）」与「承载物（Carried Objects $\mathcal{C}_d$）」的双层拓扑图 $\mathcal{G}_t = (\mathcal{V}_t, \mathcal{E}_t)$。通过开放词表识别模型（RAM-Grounded-SAM2）与 CLIP 提取实例点云和特征后，系统先将家具或放置平台识别为载体 $\mathcal{C}_r$；对于其余物体节点 $v_j$，通过综合空间临近度 $R_p$、水平覆盖率 $R_c$、垂直支撑 $R_v$ 及高度一致性 $S_h$ 计算几何支撑得分： $$S_{support}(v_i, v_j) = \omega_1 R_p + \omega_2 R_c + \omega_3 R_v + \omega_4 S_h$$ 当最大支撑得分超过阈值 $\theta_{sup}$ 时，建立单向有向边 $E(v_i, v_j) \in \mathcal{E}_t$；暂未关联的节点归入未分配集合并在后续探索中动态重估。在多帧融合时，系统引入要求前向与后向对齐得分同时达标的双向 ICP 匹配，有效防止小尺寸物体点云被错误吸纳进大型家具。这种轻量拓扑使物体的增删与位移可在局部载体节点下完成，无需昂贵的全局图重建。

2. 角色感知的自适应空间时序衰减：抑制过期信息与幽灵条目 在动态环境中，长时间未被观测的物体极有可能已被移走，若赋予所有历史记忆同等的置信度，会导致机器人反复前往已失效的旧坐标浪费算力与步数。HitMem 为每个记忆节点 $v_i$ 分配随时间单调指数衰减的动态活跃度得分（Activeness Score）： $$\mathcal{A}(v_i, t) = \exp\left(\lambda(v_i) \cdot (t - T_{last})\right)$$ 其中衰减率 $\lambda(v_i)$ 紧密结合对象的空间结构角色与环境规模：固定大型家具（载体 $\mathcal{C}_r$）位置稳定，其衰减率设为 $\lambda = 0$ 以维持长期结构记忆；而易移动的承载物 $\mathcal{C}_d$ 分配基准衰减率 $\lambda_{base}$，并通过环境面积或房间数因子 $\eta(S_{scene})$ 进行自适应缩放（$\lambda(v_i) = \eta(S_{scene}) \cdot \lambda_{base}$），确保机器人在大场景多房间探索中不会过早遗忘关键线索。该机制自然形成了「新观测高优先、旧记忆自动降权」的自愈能力。

3. 外部智能体运动轨迹建模与位移矢量约束剪枝：第一阶段物理空间降维 当目标物体位移时，单纯依靠语义搜索容易退化为盲搜。HitMem 观察到现实世界中物体的非自发性位移往往由人类或其他外部智能体的活动引起。感知系统在移动过程中将检测到的外部智能体记录为节点集 $\mathcal{V}_{agent}$，并按活跃度时序重构外部智能体的运动轨迹 $\mathcal{T}$。当在预期位置确认目标物体丢失时，系统触发重定位第一阶段：在轨迹 $\mathcal{T}$ 中检索距离目标最后已知坐标欧氏距离最近的交互点 $P_{closest}$，截取其后连续 $k$ 个轨迹点的局部子序列 $\tau_{local}$，结合活跃度差异加权计算外部智能体的宏观运动位移矢量 $\vec{D}$： $$\vec{D} = \sum_{m=1}^{k} \left[ \mathcal{A}(v_{c+m}^{agent}) - \mathcal{A}(v_{c+m-1}^{agent}) \right] \cdot \left( \text{pos}(v_{c+m}^{agent}) - \text{pos}(v_{c+m-1}^{agent}) \right)$$ 沿矢量 $\vec{D}$ 方向划定开角为 $\theta_R$ 的扇形区域，仅将该扇区内的载体选入候选探索集合 $\mathcal{C}_{cand}$。这一设计从物理因果层面上排除了完全相反方向的无关空间，直接剪除超过 70% 的无关探索范围。

4. 语义类别亲和度扫描与概率重定位：第二阶段常识引导定向排查 经过物理轨迹剪枝后的候选载体集合 $\mathcal{C}_{cand}$ 依然包含多个潜在放置点，HitMem 在第二阶段引入语义常识以决定探索优先级。针对目标物体类别 $Cat_t$，系统利用具身常识提示词模板（如“放置 [目标类别] 最常见的容器/平台”）获取上下文文本嵌入，或直接调用大模型推断先验，与各候选载体 $v_j \in \mathcal{C}_{cand}$ 的视觉特征计算余弦相似度 $A_{affinity}(Cat_t, v_j)$，并通过 Softmax 归一化为空间探索的概率分布： $$P(v_j \mid Cat_t) = \frac{\exp(A_{affinity}(Cat_t, v_j))}{\sum_{v_k \in \mathcal{C}_{cand}} \exp(A_{affinity}(Cat_t, v_k))}$$ 机器人依照概率降序依次导航至排位最高的载体进行视线扫描。若最高概率载体处未见目标，则顺延至下一候选载体，直至完成重定位或确认失踪。该策略将广泛的物理遍历转变为依据语义契合度由高到低的精准抽检。

一个完整示例¶

以「在厨房找到苹果并放入水槽」指令为例： 1. 初始检索：LLM 解析指令生成子目标，系统在记忆图 $\mathcal{G}_t$ 中通过载体初筛锁定「餐桌」，随后在餐桌的子节点中检索到苹果（综合特征相似度与活跃度得分第一）。 2. 到场冲突与主动剪枝：机器人导航至餐桌旁进行局部视觉校验，发现苹果已不存在（由外部人类移走）。系统立即从拓扑图中注销该苹果节点。 3. 轨迹反推（Stage 1）：系统调取外部人员轨迹，检索到其曾在餐桌旁驻留，随后的连续时序轨迹朝向厨房备餐台与水槽区域延伸（位移矢量 $\vec{D}$ 指向西南方向），扇区空间滤波将客厅沙发、茶几等载体剔除，候选集收敛至 {厨岛, 备餐台, 橱柜} 3 个载体。 4. 常识打分（Stage 2）：计算苹果与 3 个候选载体的类别亲和度，得出备餐台概率为 0.62、厨岛为 0.28、橱柜为 0.10。机器人直奔备餐台，在台面上成功视觉重检出苹果，并顺利衔接后续放水槽操作，整个过程比全局遍历节省了 64% 的行动步数。

实验关键数据¶

主实验¶

论文在所提出的动态具身基准 Dyna-THOR 上开展了评测，涵盖厨房、客厅、卧室、浴室 4 种房间类型下的长程复合任务。对比指标包括任务成功率（SR %）、路径长度加权成功率（SPL %）以及指令级真值完成率（GCR %）。

方法	Kitchen (SR / SPL / GCR)	Living-room (SR / SPL / GCR)	Bedroom (SR / SPL / GCR)	Bathroom (SR / SPL / GCR)	Overall (SR / SPL / GCR)
DELTA [19]	0.00 / 0.00 / 15.56	6.67 / 5.63 / 22.22	0.00 / 0.00 / 31.89	6.67 / 5.24 / 23.89	3.33 / 2.72 / 23.39
ConceptGraph [6]	6.67 / 2.32 / 23.89	13.33 / 8.19 / 28.89	13.33 / 6.95 / 36.89	13.33 / 10.71 / 17.78	11.67 / 7.04 / 26.86
DovSG [32]	13.33 / 8.03 / 32.22	13.33 / 10.94 / 38.89	26.67 / 18.89 / 50.22	20.00 / 14.50 / 37.22	18.33 / 13.09 / 39.64
DynaMem [17]	33.33 / 14.78 / 43.33	40.00 / 17.29 / 52.22	40.00 / 17.20 / 58.00	26.67 / 18.16 / 37.22	35.00 / 16.86 / 47.69
HitMem (Ours)	40.00 / 24.97 / 56.67	53.33 / 36.80 / 65.56	66.67 / 46.32 / 73.00	46.67 / 28.86 / 61.11	51.67 / 34.24 / 64.08

消融实验¶

论文在 Dyna-THOR 上对 HitMem 的各个核心子模块进行了系统的剥离验证：

配置	SR (%) ↑	SPL (%) ↑	GCR (%) ↑	说明
w/o 分层拓扑结构 (MH)	46.67	26.71	61.43	丧失载体层级过滤，直接在扁平实例池匹配导致搜索路径冗长
w/o 时序衰减机制 (MD)	43.33	20.45	52.97	无法抑制过期记忆，机器人屡次前往失效幽灵坐标导致步数激增
w/o 检索策略 & 时序衰减	31.67	12.66	42.97	退化为纯静态盲目探索，面对动态位移任务几乎无法在步数限制内完成
HitMem (完整模型)	51.67	34.24	64.08	各模块高度协同，综合指标达到最优

关键发现¶

两阶段检索策略是跨越式性能提升的核心支柱：消融掉两阶段上下文感知检索策略与衰减机制后，SPL 出现断崖式下跌（从 34.24 骤降至 12.66，降幅达 63%），这表明盲目全局搜索是导致执行超时超限失败的主要元凶；而外部轨迹剪枝与语义亲和度的结合直接切中了动态重定位的痛点。
时序衰减机制有效消除了「幽灵记忆」：移除时序衰减机制后，SPL 显著下降 13.79 个绝对百分点，证实了活跃度指数惩罚在规避陈旧假阳性目标上的关键作用。
环境尺度与衰减因子的鲁棒性折中：在多房间（1 到 5 间房）扩展实验中，过大的衰减率 $\lambda=0.3$ 会导致机器人在远距离回溯时过早遗忘有效目标；而过小的 $\lambda=0.05$ 在单房间中又缺乏时效敏感度。通过将 $\lambda$ 与场景尺度 $\eta(S_{scene})$ 反比自适应调节，HitMem 在扩展至 5 个房间时仍维持了显著高于静态 baseline 的任务成功率。

亮点与洞察¶

将外部智能体轨迹视为一种可利用的物理上下文先验：不同于绝大多数具身系统将人类活动简单视作感官遮挡或负面扰动噪声，HitMem 创造性地将检测到的人类历史运动轨迹重构为推断物体去向的隐式因果引导，变被动承受为主动利用。
结构角色解耦的非对称时序衰减设计：对不动的大型载体保持永久持久性（$\lambda=0$），仅对承载物实施动态衰减，既稳固了全局空间几何骨架，又赋予了局部物体高度灵活的动态感知。
轻量拓扑规避重计算陷阱：利用载体-承载物支撑关系代替复杂的高阶图网络，节点的增删仅影响局部子树，使具身智能体在面对高频环境变动时摆脱了全图二次计算的延迟瓶颈。

局限与展望¶

依赖外部智能体轨迹的连续性与可见性：当人类在智能体视野盲区或完全脱离感官记录时移动了物体，轨迹位移矢量推断将失效，两阶段检索只能退化为纯常识语义扫描。
多智能体复杂交互下的轨迹归属挑战：在多个家庭成员或机器人频繁交叉穿梭的复杂场景中，单纯依靠外观跟踪划分独立轨迹链条极易发生身份漂移与因果混淆。
缺乏多步连锁位移与容器内遮挡处理：当前模型假设位移物体仍暴露在开放载体表面，尚未覆盖被放入密闭抽屉或经过多次接力转运的更复杂高阶动态情况。

评分¶

新颖性: ⭐⭐⭐⭐☆ (巧妙地将人类行为轨迹转化为空间位移约束，结合分层支撑图与时序衰减，构思新颖)
实验充分度: ⭐⭐⭐⭐⭐ (自建 Dyna-THOR 动态交互基准，跨 4 类典型房间、5 种任务、对比 4 大强 Baseline 并配有多尺度消融)
写作质量: ⭐⭐⭐⭐⭐ (问题定义清晰锐利，系统架构图与动态寻物示意生动，公式表述规范克制)
价值: ⭐⭐⭐⭐☆ (为动态家庭/服务机器人面对真实人类交互扰动时的长期稳健运行提供了极具参考价值的解决范式)