EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation¶

会议: ECCV2026
论文: ECCV 官方页面
领域: 机器人/具身智能
关键词: 移动操作、陈述性记忆、场景记忆、情景记忆、扩散策略

一句话总结¶

EchoVLA把“环境中有什么、在哪里”的体素场景记忆与“刚才做过什么”的情景记忆分开维护，经粗细粒度检索共同引导底盘和机械臂扩散策略，在RoboCasa移动操作上取得0.31平均成功率，高于同表π0.5的0.20。

研究背景与动机¶

桌面操作通常可以从当前图像判断手臂下一步该往哪里走，但移动操作把问题拉长了：机器人要先接近工作区域，再伸手操作，随后可能还要离开或跨房间移动。视角变化会让目标暂时消失，底盘移动又会改变机械臂与目标的相对位置；即使画面相似，“尚未抓取”和“已经完成抓取、正在转移”也可能需要完全不同的动作。因此，视觉语言动作模型（VLA）不仅需要识别当前物体，还要保留可复用的空间结构和有顺序的交互经历。

简单堆叠历史帧并不能自动解决这两个问题。环境布局是缓慢变化、值得跨交互积累的信息，任务进度却是随每一步动作变化、容易过期的信息；把两者混成一个缓存，会让长期地图与短期动作线索争夺容量。论文据此借鉴陈述性记忆的空间与经验分工，但实现不是神经科学脑区的精确模拟：一侧是带三维坐标索引的体素特征库，另一侧是保留最近多模态状态的有限队列。相比只缓存感知特征，这种分工显式规定了信息的存储形式、更新时间和检索对象。

EchoVLA希望让机器人既不会因转动视角而忘记环境，也不会因看到熟悉场景就重复已经做完的子任务。与此同时，作者构建MoMani数据流程，为需要底盘与机械臂配合的任务生成和筛选示范，避免只从静止桌面轨迹学习移动控制。核心 idea：用慢更新的三维场景记忆承载空间上下文，用快更新的时间索引情景记忆承载近期任务进度，再让同一组检索上下文同时条件化底盘和机械臂动作生成。

方法详解¶

整体框架¶

每个决策时刻，模型接收自然语言指令、多视角RGB-D观测和机器人本体状态，输出连续的底盘与机械臂动作。当前观测不是直接交给一个无历史策略：它先被编码，用于更新和查询两个记忆库，再把检索结果与当前状态一起提供给两个动作去噪分支。

冻结的SigLIP文本塔编码指令，冻结的视觉塔分别编码三个视角的RGB图像，视觉特征随后拼接并投影到共享嵌入空间。深度观测融合为点云，由可训练的PointAttn提取几何特征；小型MLP把本体状态转换为配置token。语言、视觉、点云和本体状态共同组成当前多模态token序列，既保留“要做什么”，也保留“当前身体与物体是什么关系”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    INPUT["指令、RGB-D<br/>本体状态"] --> ENCODE["多模态编码"]
    ENCODE --> SCENE["场景记忆<br/>体素特征与慢更新"]
    ENCODE --> EPISODE["情景记忆<br/>历史token与快更新"]
    SCENE --> RETRIEVE["粗细粒度记忆检索"]
    EPISODE --> RETRIEVE
    ENCODE --> RETRIEVE
    RETRIEVE --> POLICY["分部扩散动作生成"]
    POLICY --> ACTION["底盘动作 + 机械臂动作"]
    DATA["MoMani示范轨迹<br/>仅训练时监督"] -.-> POLICY

图中的场景记忆与情景记忆是并行信息源，不是先把地图压成一段文字、再把文字写入历史。MoMani则位于离线训练侧，其规划器并不是部署时替机器人逐步规划的在线模块；运行时的动作来自记忆条件化的策略。

关键设计¶

1. 场景记忆：用变化驱动的体素更新保留空间结构

场景记忆以三维坐标作为键，以聚合后的PointAttn特征作为值，维护环境相关的持久体素表示。新环境中的地图从空网格开始，随着交互逐步补充，而不是每一步从当前图像重新猜完整布局。新的深度观测经过PointAttn成为局部三维特征体，再与对应区域已有记忆经MLP解码后的表示比较。只有重建差异超过阈值的区域才更新，未明显改变的区域保留原值；这样可以避免把所有传感波动都当成环境变化写回地图。

论文采用更新阈值0.5和指数移动平均系数0.2。这里的0.5是特征重建误差阈值，不是以米为单位的距离；0.2控制新观测写入的比例，而非保留20%的体素。全局地图服务于持续空间积累，但下游检索还会限制在当前局部相机视锥内选择相关项，以避免每次读取整张地图。因而“持久全局记忆”不等于“每一步都能任意检索远处所有物体”；其实际收益与局部可见区域、定位一致性和地图覆盖程度都有关。

2. 情景记忆：保存近期原始状态而非抽象任务摘要

情景记忆保存带时间索引的历史多模态token序列，用固定容量的先进先出队列更新。它保留的是编码后的状态细节，而不是语言模型生成的“已完成第一步”一类摘要，因此末端执行器的近期配置、物体是否已抓起、抽屉是否刚打开等线索仍有机会被后续查询利用。这里的“原始”指未经进一步摘要压缩的编码token，不是无损存储相机像素。

这条分支主要消除视觉相似但进度不同的状态歧义。它与场景地图的区别不仅在于输入模态，还在于时效：地图希望稳定积累，队列则主动淘汰过旧经历。作者在敏感性实验中选择长度为8的窗口；这是有限近期历史，不能据此认为模型拥有完整的整段任务记录或跨任务经验数据库。时间索引被保存在缓冲区中，但正文没有充分展开它在注意力计算中的具体编码实现。

3. 粗细粒度记忆检索：先筛相关内容，再用交叉注意力读取

两路检索都分为相似度匹配和交叉注意力交互。场景分支以当前体素化三维特征为查询，通过余弦相似度挑选相关场景记忆，再进行粗粒度交叉注意力；情景分支以当前多模态状态token为查询，在历史状态中选择相关子集，再进行细粒度交叉注意力。因此，“粗到细”首先描述两种记忆的语义粒度，并不意味着必须先输出一个粗动作、再在动作附近搜索精细动作。

检索先于注意力有一个具体作用：固定队列或地图中并非每条记录都与当前指令和动作阶段有关，直接把所有记忆输入策略会增加成本，也可能引入过时上下文。场景特征提供空间参照，情景特征提供近期交互参照，两者的输出再与当前状态构成策略条件。正文说明了这种融合用途，但缓存中的相关公式存在明显抽取损坏，因此这里不把它强行解释成某个确定的拼接、求和或门控算子，也不补造检索数量。

4. 分部扩散动作生成：共享上下文，分别学习两类运动

底盘平移旋转与机械臂接触操作的动力学和精度要求并不相同。EchoVLA为两者设置独立的扩散去噪过程，每个分支读取相同的记忆增强上下文，但分别生成自己的动作子空间。共享条件让它们依据同一个空间与任务状态行动，分开的动作建模则避免要求单一输出头用完全相同的表征方式覆盖两类运动。

训练时，各分支接收加噪后的示范动作，预测注入噪声，并最小化噪声预测的平方误差；总目标把底盘与机械臂的去噪损失相加。推理时没有示范动作作为输入，而是利用当前观测和检索记忆逐步去噪得到动作。这样的结构可以支持协调控制，但共享上下文本身并不是碰撞安全保证；论文没有给出保证两个独立生成分支始终满足联合可行性的理论约束。

一个完整示例¶

以“把台面上的物体放到炉灶旁”为说明性例子：机器人从离目标较远的位置出发，先从RGB-D和本体状态形成当前编码。场景记忆逐步保留台面、炉灶及附近几何结构，情景记忆则记录最近的观测与身体配置。这个例子解释机制，不是论文额外提供的一条定量实验轨迹。

当底盘接近台面、机械臂开始抓取时，地图分支仍提供目标区域的空间参照，历史分支则帮助区分“正在接近物体”和“已经拿起物体”。同一画面中仍然可见台面，并不意味着策略应该重新抓取；近期状态提供了动作阶段发生变化的证据。检索结果进入两个去噪分支，分别生成接下来需要的底盘移动与机械臂动作。

进入放置阶段后，新的状态继续推入长度为8的队列，旧状态逐步被移除，变化明显的体素区域也按阈值更新。由此可见，两种记忆都不是静态附件：一个在空间上保持连续性，一个在时间上保持近期连贯性。如果位姿漂移把同一物体写入错误坐标，历史线索可能缓解决策错误，但不能从机制上保证修复地图。

损失函数 / 训练策略¶

训练采用上述两分支去噪目标，冻结SigLIP视觉与文本编码器，PointAttn则参与训练。作者报告使用8张NVIDIA A100，输入包括多视角RGB-D和机器人状态；正文未充分给出模型参数量、优化器、学习率、训练时长、扩散步数和动作块长度，不能据此推算训练成本或闭环控制频率。缓存的公式1至10有不同程度的缺失和错排，本笔记仅保留可由正文明确支持的机制与超参数，不将修复猜测写成作者公式。

MoMani仿真数据先经多模态大语言模型引导生成候选：对齐目标采样、安全导航、连续导航与操作衔接，并支持底盘和机械臂同时执行。候选必须通过硬质量门槛，包括零碰撞、位置误差小于0.05米、姿态误差小于5度以及任务成功；通过后再按路径长度和规划成本进行字典序排序，选出Top-K候选并进行场景与相机审计。这里的“100%任务成功”是入选候选的过滤条件，不是训练出来的策略达到100%成功率。

数据总量为7,889条仿真episode和1,200条真实episode。仿真中57.0%是纯导航，其余主要来自四类移动操作；真实数据来自TidyBot++式全向底盘与Kinova Gen3七自由度机械臂，通过30 Hz遥操作记录，再分段并回放核验，失败尝试被丢弃。30 Hz是示范采集频率，不是EchoVLA报告的推理频率。论文展示了数据生成与真实采集，但没有充分说明训练/测试场景划分和跨episode地图复用协议，这是解释泛化结果时的重要边界。

实验关键数据¶

主实验¶

SR表示任务成功比例，以下均用0到1的小数，数值越高越好。仿真基于RoboCasa，正文报告三个随机种子、每任务50个评估episode；真实实验在7米×7米场地使用TidyBot++平台，每任务报告20次随机初始底盘位置试验。下表汇总原文表2和表5，各行是不同任务集合，不能把它们当作同一测试集。

评估范围	EchoVLA平均SR	π0.5平均SR	Diffusion Policy平均SR	相对π0.5绝对增益
仿真：四项操作 + 纯导航，原文表2	0.52	0.32	0.01	+0.20
仿真：四项移动操作，原文表2	0.31	0.20	未列出	+0.11
真实：六项移动操作，原文表5	0.44	0.33	0.32	+0.11

仿真移动操作通过拉远初始底盘位置或要求操作后的追加导航增加难度。四项任务为台面到炉灶放置、水槽到台面放置、打开水龙头和打开炉灶，EchoVLA对应SR为0.17、0.34、0.29、0.43。表中增益是绝对成功率差，例如+0.11即11个百分点，并非相对提高11%。

消融实验¶

下表对应原文表3的台面到炉灶放置任务，Mobile需要移动配合，Static为静态版本，SR按50个episode汇总。PC为点云，EM为情景记忆，SM为场景记忆；各行只移除标注组件，其余保持开启。

配置	Mobile SR	Static SR	相对完整模型的Mobile差值
完整模型	0.17	0.21	0.00
去掉RGB	0.02	0.13	-0.15
去掉PC	0.08	0.15	-0.09
去掉SM	0.09	0.16	-0.08
去掉EM	0.14	0.13	-0.03

原文表4在同一Mobile任务上还比较了窗口和更新阈值：窗口长度2、4、8、16的SR分别为0.08、0.12、0.17、0.15；阈值0.1、0.3、0.5、0.7的SR分别为0.11、0.14、0.17、0.13。窗口更长或地图更新更频繁都不是单调更好。

关键发现¶

两类记忆的收益依赖任务版本：Mobile中去掉SM损失0.08，去掉EM损失0.03；Static中去掉EM损失0.08，去掉SM损失0.05。这个结果支持空间与进度线索的分工，但不等于在所有任务上证明严格协同效应，因为没有同时去掉两类记忆的对照。
真实长程EnP任务的EchoVLA成功率仅0.10，虽高于π0.5的0.00，仍不能称为可靠跨房间执行；开冰箱门OR为0.40，低于π0.5的0.50。作者将后者归因于门体运动和动态遮挡破坏显式几何记忆。
原文存在统计表述不一致：表5中Diffusion Policy的EnP为0.03，与“每任务20次”下单组成功比例应为0.05整数倍不符，额外平均协议未说明；正文称RK基线仅0.10，但表5的π0.5为0.40，0.10只对应Diffusion Policy。这里保留表值，不替作者修正。

亮点与洞察¶

记忆的关键是更新语义，而非仅增加缓存容量。将慢变几何与快变交互分开，让“保持稳定”和“尽快忘掉过期状态”不必由同一规则承担。
检索发生在动作生成之前，记忆不是供读者查看的附加日志。它实际成为两个去噪分支的共同条件，使空间和时序上下文直接进入连续控制。
数据质量控制针对完整导航与操作衔接。硬过滤负责可行性、离线排序负责选择更合适的轨迹，两者职责清楚；不过示范安全不自动转化为部署策略安全。

局限与展望¶

作者明确承认对高质量深度和位姿流的依赖。累计里程计漂移会造成地图错位或“重影”，后续计划加入回环检测或视觉SLAM，并以主动探索或生成式三维先验缓解新环境冷启动。
作者报告动态遮挡的失败，但短期历史只能提供补充参照，不能保证显式地图始终正确。把可动门体与静态背景分开更新，是由失败机制引出的改进方向，不是本文已实现的模块。
本笔记的实验解读限制：未见清晰的跨场景划分、地图重置协议、检索延迟和完整训练预算；主表也未提供误差条。优势应限定在所报告设置，不能直接外推为开放环境泛化或统计显著性结论。
本笔记认为还应增加联合移除双记忆、参数量匹配的长历史基线，以及固定数据预算的对照，以拆分记忆结构、输入模态和MoMani数据带来的收益。

评分¶

新颖性: 4/5。空间与时间记忆的分工及其对移动操作策略的接入具有针对性，但各基本组件并非全新。
实验充分度: 3/5。包含仿真、真实机器人、输入与记忆消融，仍缺地图协议、误差条及更严格协同对照。
写作质量: 3/5。主线清晰，但部分统计叙述不一致；本地全文的公式抽取损坏也限制了精确复现。
价值: 4/5。提供了面向移动操作的可借鉴记忆组织方式和数据流程，同时诚实暴露动态几何与冷启动问题。