PriorVLA: Prior-Preserving Adaptation for Vision-Language-Action Models¶

会议: NeurIPS 2026
arXiv: 2605.10925
论文: https://arxiv.org/abs/2605.10925
代码: https://priorvla.github.io/
领域: 机器人 / 具身智能
关键词: 视觉语言动作模型, 具身智能, 下游微调适应, 预训练先验保持, 专家查询接口

一句话总结¶

提出了保留并利用预训练先验的 VLA 适应框架 PriorVLA，通过冻结先验专家与可训练适应专家的双动作专家解耦，并设计专家查询（Expert Queries）接口捕获与整合场景和运动先验，仅更新全量微调 25% 的参数即在 OOD 泛化与少样本真机操作中取得显著性能跃升。

研究背景与动机¶

大规模预训练使视觉-语言-动作（Vision-Language-Action, VLA）模型成为通用机器人操作极具前景的基座策略，通过在海量跨机器人与仿真数据集上预训练，模型学习到了广泛的具身控制先验，能够将自然语言指令与视觉观测对齐并泛化到跨任务与跨具身形态中。然而真实世界操作环境与交互任务的极端复杂性与多样性，决定了任何预训练模型都无法覆盖全部下游场景，模型向具体新任务、特定机械臂平台的适应与微调仍然必不可少。

在当前学术界与工业界的实际部署中，下游适应通常采用全参数微调（Full Fine-Tuning）。这种范式本质上将大尺度预训练模型仅仅视作一个权重初始化，并通过在有限的特定下游任务示范数据上更新全部参数来拟合训练分布。这种做法容易导致广义预训练先验发生灾难性遗忘与偏移，将其收缩为狭隘的训练集分布模式，从而在遭遇未见过的场景变化（如光照骤变、背景杂物、物体位置偏移及桌面高度改变）等分布外（OOD）评估时表现严重退化。为了弥补这种退化，传统微调范式不得不收集成倍增长的丰富示范数据来覆盖扰动空间，极大违背了大规模基座模型预训练的初衷。

上述困境的核心矛盾在于：预训练 VLA 模型所内含的高价值资产，不仅仅是初始权重点，更在于其前向传播过程中动态涌现出的结构化场景表征与平滑连续的动作生成规律；然而全量微调通过强行梯度覆写破坏了这一前向生成动态，现有参数高效微调或特征桥接方法又未能显式保留前向先验并建立适配机制。核心 idea：将下游适应从“单向拟合下游数据”重构为“解耦保持并主动调用预训练先验”，通过引入冻结的先验专家与下游特化的适应专家构成双动作专家架构，并利用专家查询（Expert Queries）分别从 VLM 与先验专家的前向通路中抽取场景与运动先验，只以 25% 可更新参数在下游流匹配目标下学会高效调用预训练结构。

方法详解¶

整体框架¶

PriorVLA 基于主流的前沿 VLA 架构（以 $\pi_{0.5}$ 为基座，包含 SigLIP 视觉编码器、Gemma-2B 语言骨干网络以及基于流匹配的 Gemma-300M 动作专家）构建，整体流水线解耦为两大核心组件：双动作专家（Dual Action Experts, DAE）与专家查询（Expert Queries, EQ）。在面对当前多视角视觉观测 $o_t$、语言指令 $l$ 和本体感知状态 $s_t$ 时，系统旨在生成长度为 $H$ 的未来动作块 $\mathbf{a}_{t:t+H-1}$。模型在前向去噪时保留完全冻结的先验专家作为“只读先验源”，同时训练一个参数量相同的适应专家专门驱动下游动作去噪，并通过定制掩码注意力的专家查询机制实现多模态场景先验与流形运动先验的定向捕获与融合。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入数据<br/>多视角视觉观测 + 语言指令 + 本体状态"] --> B["预训练 VLM 前向感知<br/>冻结 Gemma-2B 主干 + 可训练视觉编码器"]
    A --> C["去噪轨迹噪声块<br/>当前去噪步 τ 噪声动作块"]
    B --> D["场景查询<br/>从 VLM 自注意力中抽取结构化场景先验"]
    C --> E["双动作专家解耦分支<br/>接收相同去噪动作轨迹输入"]
    E --> F["先验专家 (只读)<br/>冻结动作专家前向去噪通路"]
    E --> G["适应专家 (可训练)<br/>初始化自先验专家并特化下游"]
    F --> H["运动查询<br/>单向只读抽取先验去噪表征"]
    D --> I["动作查询<br/>在适应专家内部汇聚场景与运动先验"]
    H --> I
    I --> G
    G --> J["流匹配动作更新<br/>单步流匹配更新噪声块驱动下游去噪"]
    J --> K["最终输出<br/>预测连续多步末端动作块序列"]

关键设计¶

1. 双动作专家架构：通过结构分离彻底解耦先验保持与下游特化 针对全量微调覆写预训练动作去噪动态并导致先验遗忘的痛点，PriorVLA 将原先单一的动作专家拆解为结构对称的双动作专家系统。原始预训练动作专家被完全冻结，保留为“先验专家（Prior Expert, PE）”，其作用绝非直接输出最终控制动作，而是在整个推理去噪期间提供稳定的动作先验特征前向图谱；同时，引入一个权重初始化完全相同的可训练“适应专家（Adaptation Expert, AE）”用于专门拟合下游控制任务。在流匹配的每一个去噪步 $\tau$（从 $1$ 到采样步数），两个专家接收完全相同的当前加噪动作块 $\tilde{\mathbf{a}}^{\tau}$： $$\tilde{\mathbf{a}}_{\mathrm{PE}}^{\tau} = \tilde{\mathbf{a}}_{\mathrm{Ada}}^{\tau} = \tilde{\mathbf{a}}^{\tau},\qquad \tilde{\mathbf{a}}^{\tau+1} = \mathrm{FM}\!\left(\tilde{\mathbf{a}}^{\tau}, f_{\mathrm{Ada}}^{\tau}\right)$$ 先验专家计算出的去噪动作预测被直接舍弃，仅其隐藏层表征被外部查询抽取；只有适应专家的去噪速度场输出 $f_{\mathrm{Ada}}^{\tau}$ 通过流匹配算子 $\mathrm{FM}(\cdot)$ 推动动作轨迹演化。由于两专家共享一条由适应专家驱动的动作演化轨迹，先验专家得以在当前实际去噪状态下实时响应，为适应专家提供高价值的流形正则与运动先验支持。

2. 专家查询与掩码信息流设计：实现多尺度先验的高效提取与稳定整合 仅有模型架构的物理分离并不能使下游策略自主利用深层特征，若直接将先验专家的原生动作 key-value 缓存暴露给适应专家，会导致极度不稳定的跨网络注意力和梯度干扰。为此，PriorVLA 创新性地提出了三组功能解耦的“专家查询（Expert Queries）”，并通过严格的分块注意力掩码（Block-Attention Mask）确保单向信息交互： - 场景查询（Scene Queries, SQ）：作为一组可学习 Token 拼入 VLM 的输入序列，直接参与 VLM 的双向自注意力机制： $$\mathbf{h}_{sq}^{l+1} = \mathrm{Attn}\!\left(\mathbf{Q}_{sq}^l,\; [\mathbf{K}_{obs}^l \parallel \mathbf{K}_{sq}^l],\; [\mathbf{V}_{obs}^l \parallel \mathbf{V}_{sq}^l]\right)$$ 它们层层提炼 VLM 对空间几何与任务意图的隐式理解，形成一个紧凑且不受多视角海量视觉 Token 淹没的场景先验接口。 - 运动查询（Motor Queries, MQ）：追加到冻结先验专家的输入序列中。设计关键在于设置严格的单向掩码：先验专家的带噪动作 Token 绝对禁止关注 MQ 或 VLM 前缀，从而严格确保先验专家完全沿着无扰动的预训练固有轨迹前向推理；MQ 仅单向读取先验专家的动作层隐藏状态： $$\mathbf{h}_{mq}^{l+1} = \mathrm{Attn}\!\left(\mathbf{Q}_{mq}^l,\; [\mathbf{K}_{mq}^l \parallel \mathbf{K}_{\tilde{a}^{pe}}^l],\; [\mathbf{V}_{mq}^l \parallel \mathbf{V}_{\tilde{a}^{pe}}^l]\right)$$ 这一单向设计将动作去噪动态紧凑沉淀至 MQ 的逐层 KV 缓存中，且杜绝了海量视觉 Token 对运动特征的干扰。 - 动作查询（Action Queries, AQ）：嵌入在适应专家的带噪动作序列旁，负责统筹来自场景查询与运动查询的跨模态先验： $$\mathbf{h}_{aq,\tilde{a}^{ae}}^{l+1} = \mathrm{Attn}\!\left(\mathbf{Q}_{aq,\tilde{a}^{ae}}^l,\; [\mathbf{K}_{aq,\tilde{a}^{ae}}^l \parallel \mathbf{K}_{obs}^l \parallel \mathbf{K}_{sq}^l \parallel \mathbf{K}_{mq}^l],\; [\mathbf{V}_{aq,\tilde{a}^{ae}}^l \parallel \mathbf{V}_{obs}^l \parallel \mathbf{V}_{sq}^l \parallel \mathbf{V}_{mq}^l]\right)$$ AQ 自身并不解码为具体控制量，而是作为适应专家内部的专用先验编织器，将粗粒度语言场景与细粒度动作动力学规律无缝融合成高阶指导信号，赋能适应专家精准输出末端位姿与夹爪动作。

损失函数 / 训练策略¶

在训练阶段，PriorVLA 的优化目标极其简洁，完全沿用下游示范轨迹的标准流匹配均方误差（MSE）损失函数，只对适应专家的去噪预测施加监督： $$\mathcal{L} = \mathbb{E}_{t, \mathbf{a}, \epsilon, \tau} \left[ \| v_\tau(\mathbf{a}, \epsilon) - f_{\mathrm{Ada}}^\tau(\tilde{\mathbf{a}}^\tau, o_t, l, s_t) \|^2 \right]$$ 先验专家的输出与中间层均不承担任何额外辅助正则化损失。在参数更新策略上，先验专家及 VLM 的语言骨干完全冻结，仅更新适应专家、三组专家查询以及 VLM 的视觉编码器。这种配置使得总体可训练参数量仅占全量微调的约 25%（约 0.85B 参数 vs 全量微调的 3B+）。在超参数配置上，为使专家查询能够快速学会与冻结基座对接，对 Scene Queries 赋予 2.0 倍学习率乘子，对 Motor Queries 与 Action Queries 赋予 4.0 倍学习率乘子，其余可训练参数保持 1.0 倍基准学习率，在 AdamW 优化器与余弦退火下实现稳定高效的策略训练。

实验关键数据¶

主实验¶

在仿真基准 RoboTwin 2.0（覆盖双臂 13 个任务，Easy 表示分布内 ID，Hard 表示随机化背景、杂物干扰与光照变动的分布外 OOD）以及 LIBERO（四大测试集：Spatial、Object、Goal、Long）上进行详尽评测，同时对比了真实双臂与单臂机械臂操作。

评估基准与设置	评估指标 / 难度	Diffusion Policy	RDT	$\pi_0$	$\pi_{0.5}$ (全量微调)	PriorVLA (本文)	提升幅度
RoboTwin 2.0 (13 任务标准数据)	Easy 模式 (ID 成功率 %) Hard 模式 (OOD 成功率 %)	36 0	44 17	62 22	67 42	77 53	+10% +11%
RoboTwin 2.0 (少样本 Few-shot)	Easy 模式 (ID 成功率 %) Hard 模式 (OOD 成功率 %)	- -	- -	- -	29 20	41 31	+12% +11%
LIBERO 基准 (4 套件平均)	Spatial 成功率 (%) Object 成功率 (%) Goal 成功率 (%) Long 成功率 (%) 全套件平均成功率 (%)	78.3 92.5 68.3 50.5 72.4	- - - - -	96.8 98.8 95.8 85.2 94.1	98.8 98.2 98.0 92.4 96.9	99.4 99.8 99.4 97.6 99.1	+0.6% +1.6% +1.4% +5.2% +2.2%
真实机器人 (8 任务标准数据)	ID 平均成功率 (%) OOD 平均成功率 (%)	- -	- -	- -	69 41	81 57	+12% +16%
真实机器人 (8 任务仅10条示范)	ID 平均成功率 (%) OOD 平均成功率 (%)	- -	- -	- -	24 10	48 32	+24% +22%

消融实验¶

在 RoboTwin 2.0 代表性任务子集上对先验专家的保留方式以及三组专家查询的有效性进行系统消融（训练参数量与成功率对照）：

实验组别 / 变体	可训练参数量	Easy 模式成功率 (%)	Hard (OOD) 模式成功率 (%)	说明 / 机制失效分析
PriorVLA 完整模型 (Full)	0.85B	77	49	包含冻结先验专家及三组专家查询完整系统
w/o PE (去除先验专家)	0.85B	75	42	切断先验专家到适应专家通路（等价于去除 MQ）
Random PE (随机初始化先验专家)	0.85B	75	43	将先验专家替换为随机冻结权重，证明并非单纯增加模型容量
Trainable PE (先验专家可训练)	1.28B	73	44	解冻先验专家使其随下游微调，证明先验漂移会破坏泛化
w/o All Queries (去除全部查询)	0.85B	61	28	去除三组查询，缺乏有效交互接口导致性能严重崩溃
w/o SQ (去除场景查询)	0.85B	70	30	仅保留 MQ 与 AQ，缺少紧凑场景先验致使 OOD 剧烈掉点 19%
w/o MQ (去除运动查询)	0.85B	75	42	仅保留 SQ 与 AQ，缺失冻结运动先验降低了轨迹鲁棒性
w/o AQ (去除动作查询)	0.85B	71	43	仅保留 SQ 与 MQ，缺乏内部统筹整合使得双重先验无法高效吸收

关键发现¶

OOD 场景下预训练先验展现压倒性优势：在 RoboTwin 2.0 Hard 模式下，全量微调的 $\pi_{0.5}$ 相比 Easy 模式成功率从 67% 骤降至 42%（掉点 25%），而 PriorVLA 取得了 53% 的成功率（超出 11 个百分点）。在真实机器人联合施加光照暗化、背景杂乱、物体位移及桌面抬高的极端 OOD 扰动下，PriorVLA 在少样本下超越 $\pi_{0.5}$ 达 22 个百分点（32% vs 10%），证明冻结前向先验是抵抗环境扰动的核心护城河。
数据匮乏场景下先验复用价值最为显著：如数据规模对比所示，当每个任务仅有 10 条真实示范时，$\pi_{0.5}$ 发生严重过拟合与先验退化，真机 ID 成功率仅 24%；而 PriorVLA 凭借冻结运动流形先验直接翻倍至 48%。当数据规模扩展至大规模（250 条演示）时，ID 表现逐渐饱和（88% vs 89%），但 OOD 泛化性能依然保持 +6% 优势，表明先验保护机制在全数据规模下均有净收益。
随机冻结与解冻微调均失效，证实先验本身是关键：消融实验中，给模型添加未经预训练的随机冻结分支仅取得 43% OOD 成功率，与彻底去除先验专家（42%）无统计差异，排除了“双分支架构带来集成增益”的偶然性；而将先验专家解冻共同训练反而使 OOD 降至 44%，且训练耗时与显存开销显著增大，坐实了“保持只读不漂移的先验源”是防止泛化坍塌的核心。

亮点与洞察¶

解耦“先验保持”与“任务特化”的双专家设计：传统自适应方法往往在“全量更新导致遗忘”与“轻量 LoRA 容量不足”之间妥协；PriorVLA 极具启发性地将先验专家退化为只读的隐式动态生成器，动作轨迹由特化专家全权接管，既保全了完整预训练动作分布，又赋予了下游策略足够的特化自由度。
精妙的单向注意力掩码设计：在长序列多模态交互中，朴素的跨网络全注意力极易被高维视觉 Token 反客为主，导致运动先验被冲淡。通过设置单向信息流阻断，让 Motor Queries 只单向嗅探先验动作去噪内部状态，确保了动作流形纯净度的无损传递。
极高算力性价比与绿色微调潜力：仅需微调 25% 的参数量，无缝兼容现有端到端流匹配扩散框架，且在训练壁钟时间上相比全量微调缩短约 18%（RoboTwin 训练时间从 6.8 小时缩短至 5.6 小时），具备在机械臂边端或工作站快速部署迁移的巨大实用价值。

局限与展望¶

作者承认的局限：在推理时，由于冻结的先验专家必须与适应专家在前向去噪过程中同步前向推理，引入了一定的额外计算开销与显存占用；此外，真实世界的 OOD 评估是将光照、背景、位移和台面高度联合施加，未能细粒度解耦单一扰动因素的独立影响。
独立观察的局限：模型依赖在动作级别对齐良好的流匹配架构，若先验专家与适应专家采用不同维度的动作空间（例如从单臂扩展到包含复杂灵巧手的多指操作），单纯依靠相同噪声块驱动与专家查询的机制将面临维度失配，需要额外的投影适配层。
未来改进方向：探索先验特征的离线缓存与稀疏推理策略（例如仅在去噪前几步或关键转折步调用先验专家），以抹平双专家前向推理的时间开销；进一步研究如何将该先验保持范式无缝迁移至非动作专家类型的纯自回归 VLA 模型中。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次在 VLA 领域提出解耦先验保持与下游特化的双动作专家与专家查询机制，视角颠覆且极具针对性]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖仿真双臂/单臂大规模基准以及两种实体机械臂平台的少样本与 OOD 极端扰动评测，消融严谨深刻]
写作质量: ⭐⭐⭐⭐⭐ [问题提出切中要害，数学公式与注意力流向阐述条理清晰，实验分析逻辑完备]
价值: ⭐⭐⭐⭐⭐ [为大规模具身基础模型在工业与服务机器人领域的低成本、强鲁棒自适应微调树立了全新标杆]