VLA-Pro: Cross-Task Procedural Memory Transfer for Vision-Language-Action Models¶
会议: NeurIPS 2026
arXiv: 2605.29562
OpenReview: https://openreview.net/forum?id=8GvqvSyg1S
领域: 机器人/具身智能
关键词: 视觉-语言-动作模型、具身智能、程序性记忆、跨任务迁移、LoRA融合
一句话总结¶
针对现有 VLA 模型在未见任务中泛化受阻且易产生高频动作执行偏差的问题，本文提出 VLA-Pro，构建包含结构化程序状态与任务 LoRA 适配器的可检索程序性记忆库，并在推理阶段动态检索并加权融合记忆参数以实现即插即用的跨任务经验迁移。
研究背景与动机¶
近年来，视觉-语言-动作（Vision-Language-Action, VLA）模型通过在大型视觉-语言骨干上接入动作预测头，展现了令人瞩目的通用端到端具身控制能力。然而，现有 VLA 在面对包含未见物体和陌生场景的新任务时，往往表现出脆弱的跨任务泛化瓶颈。即使新任务在物理交互或语义结构上与训练任务高度相似，模型也极易受训练集高频分布的干扰而产生执行偏差（Execution Bias），例如在需要横向抓取横置瓶子时，由于训练数据中包含大量竖直抓取样本而错误地默认执行竖直抓取动作。
人类在解决未知交互情境时，很大程度上依赖于隐式的“程序性记忆（Procedural Memory）”。例如抓取横放水杯时，人会自发提取以往握持横置圆柱体（如手电筒或折叠伞）的动作触感与力控经验，并将这一特定运动先验灵活套用到当前操作中。现有尝试增强 VLA 泛化能力的工作主要分为结构预设与提示增强两类：前者（如 AtomicVLA 采用原子技能 MoE、MemoryVLA 引入感知认知缓存）依赖固化的网络结构先验，缺乏对交互经验的参数化重用；后者（如 X-ICM 等上下文提示方法）通过拼接文本化轨迹演示进行条件引导，并未将动作经验内化为可执行的模型参数，且增加了推理上下文负担。
解决这一瓶颈的核心矛盾在于：如何在无需对下游未见任务重新训练的前提下，将源任务中丰富的精细操作经验转化为结构化、可检索且能即插即用的模型参数。本文的核心 idea 是：将见过的训练任务沉淀为由“结构化程序状态序列”与“任务专属轻量 LoRA 参数”构成的程序性记忆库，在推理执行每一动作块时通过动作感知几何匹配动态检索最相关的 Top-k 经验并完成参数加权融合，在执行后即刻卸载，实现无缝的零样本动作先验注入。
方法详解¶
整体框架¶
VLA-Pro 的核心是将具身操作的执行过程建模为序贯的程序阶段（Procedural Stages），并在执行每一步时引入外部程序性记忆库的检索与动态参数融合。系统主要由三个阶段构成：离线程序性记忆构建、在线动作感知跨任务记忆检索、以及动作块级别的动态 LoRA 参数融合与执行恢复。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>当前观测帧 + 任务指令 + 交互历史"] --> B["程序状态提取器<br/>多模态大模型抽取四元组"]
B --> C["动作感知匹配检索<br/>动作引导加权计算相似度并筛选 Top-k"]
subgraph MEM["程序性记忆库 (Memory Bank)"]
direction TB
M1["源任务记忆 1<br/>状态序列 + 任务 LoRA"]
M2["源任务记忆 i<br/>状态序列 + 任务 LoRA"]
end
MEM -.-> C
C --> D["参数加权融合与执行<br/>Softmax 归一化权重并在动作块内加载"]
D --> E["机器人动作块输出<br/>执行完毕即刻卸载恢复基座"]在离线阶段，首先在全部可见训练任务上联合微调一个通用 Base LoRA 捕捉通用操作知识，随后在各个独立任务分支上进一步微调得到各任务专属的 LoRA 适配器，并联合多模态提取的结构化程序状态序列存入记忆库。在线推理时，针对当前动作块（Action Chunk），多模态模型提取当前程序状态作为检索 Query，在记忆库中通过动作感知的余弦相似度度量选出最具参考价值的源任务经验，按相似度完成参数融合并装载到预训练 VLA 骨干上，待动作块执行完毕后即刻卸载，以轻量开销保持策略的高稳定度。
关键设计¶
1. 结构化程序性记忆表示与解耦存储：兼顾语义可查性与动作可执行性
针对直接利用非结构化文本或连续图像特征作为检索索引时容易引入表面特征漂移与语义模糊的问题，VLA-Pro 为每个已知任务 \(T_i\) 构建两元组形式的程序性记忆： $\(\mathcal{M}_i = (D_i, \Delta \theta_i)\)$ 其中 \(\Delta \theta_i\) 是从全任务通用基础适配器 \(\Delta \theta_{\mathrm{base}}\) 进一步微调得到的任务专属 LoRA 适配器，负责承载高度特化的物理交互与动作先验；\(D_i = \{z_i^{(1)}, z_i^{(2)}, \dots, z_i^{(m_i)}\}\) 为任务执行过程中的结构化程序状态序列。每个程序状态 \(z\) 被形式化为一个四元组 \(z = \{a, o, e, p\}\)，分别显式涵盖动作类型（Action Type, \(a\)）、物体几何属性（Object Shape/Property, \(o\)）、末端执行器姿态方向（End-Effector Orientation, \(e\)）以及目标交互点（Target Interaction Point, \(p\)）。该表示剥离了无关视觉背景与具体物体身份干扰，使运动模式具备跨任务对齐的通用基础。
2. 动作感知的跨任务程序匹配与检索：自适应加权关键交互属性
在在线执行阶段，由于不同动作类型对几何属性的敏感度截然不同（例如“抓取”动作极端依赖物体横竖朝向与末端姿态，而“轻敲”或“按压”动作则更关注目标表面触点），简单的全局均匀语义相似度会导致关键物理约束被稀释。VLA-Pro 首先利用多模态大模型根据当前观测 \(O_t\)、指令 \(l\) 和历史交互 \(H_{<t}\) 抽取出当前程序状态查询 \(\hat{z}_t = \{\hat{a}_t, \hat{o}_t, \hat{e}_t, \hat{p}_t\}\)。在计算与记忆条目 \(z_i^{(m)}\) 的相似度时，引入动作条件引导的权重分配机制： $\(\operatorname{Sim}(\hat{z}_t, z_i^{(m)}) = \sum_{f \in \{a, o, e, p\}} w_f(\hat{a}_t) \operatorname{Sim}_f(\hat{z}_{t,f}, z_{i,f}^{(m)})\)$ 其中 \(\operatorname{Sim}_f\) 为对应属性文本嵌入的余弦相似度，权重向量 \(w_f(\hat{a}_t)\) 随当前动作类别动态切换重点。整个源任务 \(T_i\) 与当前状态的最大匹配相似度定义为 \(s_i = \max_{m} \operatorname{Sim}(\hat{z}_t, z_i^{(m)})\)。系统最终保留相似度最高的 Top-\(k\) 个任务索引构建候选集合 \(\mathcal{K}_t\)。
3. 动作块动态参数融合与即插即用执行机制：隔离任务冲突并保证零样本稳定性
如果将多个候选任务参数永久融合或固定在整个轨迹周期中，机器人面对多阶段连续长程任务时极易发生阶段间动作冲突。VLA-Pro 在动作块粒度上实施临时的参数级加权插值融合。对检索到的 Top-\(k\) 个任务，通过 Softmax 计算归一化贡献系数 \(\alpha_j\)： $\(\Delta \theta_t^{\mathrm{fused}} = \sum_{j \in \mathcal{K}_t} \alpha_j \Delta \theta_j\)$ 所生成的合成适配器 \(\Delta \theta_t^{\mathrm{fused}}\) 在当前动作块推理前被临时载入到 VLA 预训练骨干网络中，直接调整动作输出分布。在当前动作块被机器人硬件平滑执行完毕后，该融合参数立即被卸载，模型重置回底座参数，确保每个操作阶段均能精确调取该瞬间所需的动力学先验，有效抑制了历史强动作偏置的负迁移。
一个完整示例¶
以未见测试任务“抓取并放置横置水瓶（place_lyingb_stand）”为例： 1. 状态提取：机器人面对台面上的横置瓶子，VLM 提取当前状态 \(\hat{z}_t = \{\text{action: "pick"}, \text{entity\_shape: "lying\_cylindrical"}, \text{ee\_orientation: "vertical"}, \text{target\_point: "center"}\}\)； 2. 动作感知检索：由于动作类型为 "pick"，匹配机制对实体形状与末端姿态赋予更高权重。此时记忆库中虽然有同名的竖直水瓶任务（place_uprightb_stand），但因其朝向为 horizontal 而相似度较低；相反，横置麦克风抓取任务（place_mic_stand）因几何形状同为卧置圆柱且需垂直夹爪姿态，以显著高分被选为 Top-1 匹配项； 3. 参数注入与执行：系统将来自横置麦克风任务的 LoRA 权重动态加载至 \(\pi_{0.5}\) 骨干，指导机械臂采用垂直姿态对准水瓶中部平稳闭合夹爪；抓取完成进入下一步后，融合参数立即卸载，根据新的放置状态重新检索放置记忆。
损失函数 / 训练策略¶
训练过程分为两步解耦进行： 1. 基础适配器（Base LoRA）联合训练：在所有可见训练任务演示数据上，对预训练 VLA 骨干的特定层（如注意力和前馈层）微调基础 LoRA \(\Delta \theta_{\mathrm{base}}\)，损失函数为标准动作块条件流匹配或重构损失； 2. 任务专属适配器（Task LoRA）增量微调：以 \(\Delta \theta_{\mathrm{base}}\) 为初始权重，针对每个可见任务独立利用各自 50 条专家演示进行少步数（1,000~3,000 步）参数微调，保存为轻量任务记忆模块； 3. 测试期零样本推理：推理阶段模型权重完全冻结，状态提取器（如 Gemini-3-Flash）与嵌入模型预先提取并缓存，无需任何微调或梯度更新。
实验关键数据¶
主实验¶
评估在 RoboTwin 仿真基准（9 个未见测试任务，每项 30 次试验）、RLBench 仿真基准（9 个非零未见测试任务，每项 25 次试验）以及真实物理世界 UR7e 机械臂系统（6 个未见测试任务，每项 20 次试验）上进行。
表1：RoboTwin 仿真基准未见任务成功率（%）¶
| 骨干模型 | 策略配置 | 放置苹果 (apple) | 放置魔方 (rcube) | 放置水杯 (cup) | 横置瓶 (lying) | 竖置瓶 (upright) | 门后响铃 (bell) | 关微波炉 (micro.) | 关橱柜 (cab.) | 叠双碗 (bowls) | 平均成功率 (Avg.) |
|---|---|---|---|---|---|---|---|---|---|---|---|
| X-VLA | Base LoRA | 0.0 | 3.3 | 23.3 | 0.0 | 30.0 | 0.0 | 43.3 | 53.3 | 0.0 | 17.0 |
| X-VLA | VLA-Pro | 3.3 | 23.3 | 46.7 | 0.0 | 46.7 | 0.0 | 50.0 | 96.7 | 3.3 | 30.0 (+76%↑) |
| RDT | Base LoRA | 16.7 | 13.3 | 30.0 | 13.3 | 0.0 | 0.0 | 10.0 | 13.3 | 3.3 | 11.1 |
| RDT | VLA-Pro | 26.7 | 23.3 | 40.0 | 16.7 | 6.7 | 6.7 | 70.0 | 80.0 | 36.7 | 34.1 (+207%↑) |
| \(\pi_{0.5}\) | Base LoRA | 20.0 | 6.7 | 16.7 | 73.3 | 46.7 | 0.0 | 96.7 | 76.7 | 26.7 | 40.4 |
| \(\pi_{0.5}\) | VLA-Pro | 33.3 | 16.7 | 33.3 | 86.7 | 66.7 | 100.0 | 70.0 | 96.7 | 30.0 | 59.3 (+47%↑) |
表2：RLBench 零样本测试任务成功率（%）对比¶
| 方法 | 关冰箱 | 合笔记本 | 开烤箱 | 放马桶圈 | 浇花 | 关微波炉 | 拔U盘 | 揭盖 | 蜂鸣测试 | 平均成功率 (Avg.) |
|---|---|---|---|---|---|---|---|---|---|---|
| RDT | 20.0 | 12.0 | 0.0 | 16.0 | 0.0 | 12.0 | 32.0 | 0.0 | 0.0 | 10.2 |
| \(\pi_{0.5}\) (Base) | 24.0 | 0.0 | 0.0 | 28.0 | 0.0 | 0.0 | 72.0 | 0.0 | 0.0 | 13.8 |
| AtomicVLA | 64.0 | 4.0 | 12.0 | 16.0 | 0.0 | 0.0 | 36.0 | 0.0 | 0.0 | 14.7 |
| VLA-Pro (\(\pi_{0.5}\)) | 40.0 | 4.0 | 8.0 | 32.0 | 4.0 | 4.0 | 88.0 | 4.0 | 4.0 | 20.9 (+51%↑) |
在真实物理环境的 6 个测试任务中，采用 \(\pi_{0.5}\) 作为底座的 VLA-Pro 将平均成功率从基准的 5.8% 跃升至 65.0%（提升约 59.2 个百分点），充分验证了模拟与真实世界中程序性经验迁移的有效性。
消融实验¶
表3：参数集成模块与 Top-\(k\) 检索数量消融分析¶
| 实验维度 | 实验配置 | 评测基准 / 场景 | 关键指标（成功率 %） | 分析说明 |
|---|---|---|---|---|
| 参数分支角色 | 仅 VLM 骨干 LoRA | RoboTwin 未见任务 | 偏高（如苹果/水杯高泛化） | 负责高层语义理解与宏观物理几何推理，跨任务鲁棒性强 |
| 参数分支角色 | 仅动作专家 LoRA | RoboTwin 未见任务 | 偏低（但在高相似任务优异） | 负责底层轨迹与末端位姿微调，极度相似任务精度高但跨域易过拟合 |
| 参数分支角色 | 全参数融合 (Full) | RoboTwin 已见任务 | 达最优上限 (100%) | 协同调整感知推理与精细运动控制在已知领域效果最佳 |
| 检索候选数 \(k\) | \(k=0\) (Base 无融合) | RLBench 零样本集 | 13.8 | 缺乏先验经验注入，受限于基础多任务策略 |
| 检索候选数 \(k\) | \(k=1\) (单候选) | RLBench 零样本集 | 17.8 | 引入关键相似经验，但单一来源对复合步骤鲁棒性略显不足 |
| 检索候选数 \(k\) | \(k=2\) (最佳候选) | RLBench 零样本集 | 20.9 | 适当集成互补的相似经验，达到最佳平衡与稳定性 |
| 检索候选数 \(k\) | \(k=3\) (多候选) | RLBench 零样本集 | 18.2 | 引入了弱相关噪声记忆，轻微稀释核心有效经验 |
关键发现¶
- 打破高频执行偏置：在 RoboTwin 的
place_bell_behind（将响铃放到展示架后方）任务中，基础 \(\pi_{0.5}\) 成功率为 0.0%（过度拟合了大量“放置在展示台上”的高频模式），而 VLA-Pro 通过检索空间几何一致的记忆经验，实现了 100.0% 的完美执行。 - 检索准确率与任务相似度正相关：采用更强 VLM 状态提取器（Gemini-3-Flash 的 MRR 显著优于 Qwen2.5-VL-7B）能够显著提升物理执行成功率；同时未见任务与源任务的程序匹配度越高，迁移增益越显著。
- 推理时延极小：得益于离线状态嵌入缓存与动作块级别的 LoRA 动态挂载，单次检索与参数组合的开销在整体动作块生成时延中占比微乎其微（单次嵌入比对仅约 0.235s），完全契合在线闭环控制的实时性需求。
亮点与洞察¶
- 将程序性记忆实体化为模型可执行权重：区别于传统仅在上下文提示层堆砌 demonstration 或固定死板的 MoE 门控，VLA-Pro 创造性地将具身操作的“肌肉记忆/动作感”打包为任务 LoRA 参数，实现了“检索即可执行”。
- 动作感知的条件化相似度设计：打破了过去无差别均等计算文本或视觉相似度的局限，将动作类别作为权重先验，使检索注意力精准聚焦于决定动作成败的关键几何属性（如夹爪朝向、物体摆放姿态）。
- 解耦基座能力与任务特异经验：Base LoRA 维护通用操作基底，Task LoRAs 形成可随时扩展的外挂记忆库，新任务的经验沉淀无需重训全模型，为终身具身学习提供了优雅范式。
局限与展望¶
- 依赖上游多模态状态提取质量：若视觉观测出现严重遮挡、多义性或者历史交互上下文解析错误，可能导致检索出不适配的记忆条目，造成次优参数注入。
- 记忆库规模与多样性仍有待扩展：当前实验的可见源任务规模较为有限（8~18个），对于完全跳出当前动作与物体几何范畴的强未知任务，相似度上限较低。
- 未来方向：探索连续自适应记忆扩增机制（Continual Memory Expansion），以及在长程动态操作任务中引入带置信度与不确定性评估的自适应记忆回退机制。
相关工作与启发¶
- vs AtomicVLA / Chameleon: 既有具身记忆工作通常在网络内部设计复杂的时序缓存或固定技能 Expert 拓扑，架构修改侵入性大且扩展成本高；VLA-Pro 采用完全即插即用的外部记忆库形式，可无缝移植于多种不同 VLA 骨干（X-VLA, RDT, \(\pi_{0.5}\)）。
- vs X-ICM: X-ICM 依赖于在上下文中拼接相似任务的文本轨迹，不仅增加长文本推理负担，且无法直接赋予模型精确的底层关节位姿控制直觉；VLA-Pro 将经验沉淀在参数空间，直接通过前向计算输出适配动作。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次将程序性记忆以“结构化状态+任务LoRA”的形式引入 VLA，动态检索参数并融合执行。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 3 种主流骨干、两大权威仿真基准与真实 UR7e 机械臂系统，实验设计详实严密。
- 写作质量: ⭐⭐⭐⭐⭐ 概念阐述清晰，形式化表述严谨，动静解耦机制与图表对应完整。
- 价值: ⭐⭐⭐⭐⭐ 为解决通用具身智能体的跨任务零样本迁移与灾难性执行偏置提供了极具实用价值的工程参考。