Continually Evolving Skill Knowledge in Vision Language Action Model¶
会议: NeurIPS 2026
arXiv: 2511.18085
论文: https://arxiv.org/abs/2511.18085
代码: https://stellarvla.github.io/
领域: 机器人
关键词: 视觉语言动作模型, 持续模仿学习, 狄利克雷过程, 专家混合架构, 技能演化
一句话总结¶
提出了无需参数增长的持续模仿学习框架 Stellar VLA，通过狄利克雷过程构建自演化任务/技能知识空间，并利用知识后验引导的 MoE 专家路由，在仅 1% 数据回放下实现了卓越的跨任务持续具身操作能力。
研究背景与动机¶
视觉-语言-动作（Vision-Language-Action, VLA）模型通过大规模多任务机器人数据的预训练，展现出强大的动作生成与跨任务泛化能力，成为通用具身智能代理的重要基石。然而在现实终身学习场景下，机器人需要不断按顺序学习新技能与新任务。传统机器人持续模仿学习（Continual Imitation Learning, CIL）通常依赖持续扩展的特定任务模块、递增 Adapter 或外部检索库；当迁移到参数量动辄超过 1B 的大尺度 VLA 模型时，这些架构扩展方法会引发严重的显存膨胀与不可承受的存储/训练开销。虽然近期研究表明大规模经验回放（Replay）可在一定程度上缓解灾难性遗忘，但维持高比例的历史数据缓存与大规模回放不仅代价高昂，而且缺乏对任务间技能共性与差异的显式解耦。
在少样本回放下避免灾难性遗忘的核心矛盾在于：既需要参数共享来促进前向迁移与多任务知识重用，又需要参数隔离以防止新任务梯度干扰破坏已有任务的策略表征。传统 VLA 模型的隐空间表征缺乏显式的任务层次结构，且多任务专家混合（MoE）路由多依赖去噪时间步等底层特征，无法感知高层任务上下文与可重用原子技能，导致策略在新旧任务交替训练时产生剧烈的预测漂移。
为破解这一矛盾，本文尝试将非参数贝叶斯聚类引入多模态表征空间，将任务与技能的抽象关系组织为能够自主分化和演化的紧凑分布。核心 idea：构建基于狄利克雷过程（DP）的自演化任务/技能知识空间，利用变分推断交替更新任务表征与高层知识后验，并通过关系与语义知识双重后验引导 MoE 去噪专家动态特化，在参数量完全固定的前提下仅靠 1% 数据回放实现高效持续学习。
方法详解¶
整体框架¶
Stellar VLA 旨在使具身策略在顺序到来的流式任务序列中持续吸纳新技能，同时保留已学知识。系统由三部分协同构成：多模态输入编码器（语言 CLIP 编码器与 FiLM 条件化视觉 ResNet）、任务-知识自演化模块（变分自编码器 VAE 与非参数狄利克雷过程知识库 Θ），以及基于知识后验引导的扩散式专家混合动作预测头（MoE Action Head）。整个推理与训练流程从底层感知、高阶潜变量推断，到高层知识聚类，再由后验引导策略专家参数分配。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["多模态输入<br/>语言指令 + 视觉观测 + 噪声动作"] --> B["多模态表征编码<br/>CLIP 语言特征 + FiLM 视觉编码"]
B --> C["1. 狄利克雷过程知识空间建模<br/>DPMM 任务级空间 / HDP 层次化技能空间"]
C --> D["2. 任务隐变量与知识空间自演化协同学习<br/>VAE 变分重构 + DP 知识感知 KL + memoVB 增量更新"]
D --> E["3. 知识后验引导的 MoE 专家路由机制<br/>关系嵌入 fR + Top-K 语义嵌入 fS 引导分配"]
E --> F["扩散动作去噪输出<br/>预测连续末端位姿与夹爪状态序列"]关键设计¶
1. 狄利克雷过程知识空间建模：通过非参数贝叶斯解耦任务与层次化技能分布 针对固定模型容量下如何区分并表征无限扩展的任务序列这一痛点，本文引入能够自适应扩展聚类簇的狄利克雷过程（Dirichlet Process, DP）先验 \(G \sim \mathrm{DP}(\alpha, G_0)\)。为了适应不同的操作层次结构，提出了两种模型变体：面向任务级结构的 T-Stellar（基于狄利克雷过程混合模型 DPMM），以及面向跨任务可复用子技能的 TS-Stellar（基于分层狄利克雷过程 HDP）。 在 TS-Stellar 中，每个任务 \(j\) 被建模为跨任务技能池上的分布。技能隐变量 \(z_{ji}\) 依条件生成： $\(z_{ji} \sim F_{\mathrm{skill}}(\theta_{ji}),\quad \theta_{ji} \sim G_j,\quad G_j \sim \mathrm{DP}(\gamma, G),\quad G \sim \mathrm{DP}(\alpha, G_0)\)$ 在对角高斯假设下，每个基元技能参数化为 \(\theta_i^{\mathrm{skill}} = (\boldsymbol{\mu}_i^{\mathrm{skill}}, \boldsymbol{\sigma}_i^{\mathrm{skill}})\)。任务 \(j\) 的总体分布参数 \(\theta_j^{\mathrm{task}} = (\boldsymbol{\mu}_j^{\mathrm{task}}, \boldsymbol{\sigma}_j^{\mathrm{task}})\) 通过其包含技能的加权混合聚合得到： $\(\boldsymbol{\mu}_j^{\mathrm{task}} = \sum_{i \in \text{task } j} \pi_{ji} \boldsymbol{\mu}_i^{\mathrm{skill}},\quad \boldsymbol{\sigma}_j^{\mathrm{task}} = \sqrt{\sum_{i \in \text{task } j} \pi_{ji} \left[ (\boldsymbol{\sigma}_i^{\mathrm{skill}})^{\odot 2} + (\boldsymbol{\mu}_i^{\mathrm{skill}} - \boldsymbol{\mu}_j^{\mathrm{task}})^{\odot 2} \right]}\)$ 通过让任务测度 \(G_j\) 共享全局原子测度 \(G\) 的原子组件并赋予任务专属权重 \(\pi_{ji}\)，TS-Stellar 实现了跨任务共享原子动作能力并支持全新技能原语的涌现。
2. 任务隐变量与知识空间自演化协同学习：建立表征推断与全局统计的交替更新闭环 为避免传统 CIL 依赖手工标注阶段或外置记忆库的弊端，算法设计了 VAE 潜变量学习与 DP 知识空间更新的交替闭环。编码器 \(q_\phi(z \mid \boldsymbol{l}, \boldsymbol{o})\) 提取以任务为中心的表征，重构损失保证视觉-语义对齐，而知识感知 KL 散度约束隐变量向现有知识簇对齐。 在 TS-Stellar 中，该目标被拆分为任务与技能双层隐变量：任务隐变量 \(z_j^{\mathrm{task}}\) 用于解码语言目标 \(\boldsymbol{l}_j\)，技能隐变量 \(z_j^{\mathrm{skill}}\) 用于解码当前视觉观测 \(\boldsymbol{o}_j\)，总目标为： $\(\mathcal{L}_{\mathrm{recon}}^{\mathrm{TS}} = \mathcal{L}_{\mathrm{recon}}(z_j^{\mathrm{task}}, \boldsymbol{l}_j) + \mathcal{L}_{\mathrm{recon}}(z_j^{\mathrm{skill}}, \boldsymbol{o}_j)\)$ $\(\mathcal{L}_{\mathrm{KL}_j}^{\mathrm{TS}} = \mathcal{L}_{\mathrm{KL}_j}(z_j^{\mathrm{task}}, \theta^{\mathrm{task}}) + \mathcal{L}_{\mathrm{KL}_j}(z_j^{\mathrm{skill}}, \theta^{\mathrm{skill}})\)$ 在全局知识空间更新侧，每隔固定迭代步数 \(N_{\mathrm{dp}}\)，从紧凑的知识回放池 \(\mathcal{B}_{\mathrm{know}}\) 采样隐变量，并使用记忆变分贝叶斯（memoized Variational Bayes, memoVB）高效在线逼近后验 \(p(\Theta, G \mid \{z_j\})\)。这种交替优化形成了正反馈：任务表征提供丰富多模态特征更新全局聚类，而演化后的全局知识簇反过来正则化局部表征，防止潜在空间在新任务到来时漂移塌陷。
3. 知识后验引导的 MoE 专家路由机制：平衡固定容量下的参数共享与特化隔离 常规 MoE 扩散策略（如 MoDE）仅根据扩散时间步噪声嵌入进行路由，无法针对具体操作任务与动作语义进行专家特化。Stellar VLA 将提取到的全局知识空间后验转化为连续几何距离与离散语义标识两类向量，共同指导专家动态分配。 由于非参数聚类产生簇数量 \(K_c\) 是动态可变的，无法直接喂给固定维度的门控网络。因此设计了两种紧凑表征： 第一种是知识关系嵌入（Knowledge Relation Embedding）\(\mathbf{f}_{\mathrm{R}}\)，量化当前隐变量 \(z\) 到所有聚类中心 \(\boldsymbol{\mu}_k\) 的距离加权和： $\(\mathbf{f}_{\mathrm{R}} = \sum_{k=1}^{K_c} p_k |z - \boldsymbol{\mu}_k|\)$ 其中 \(p_k\) 是知识分布输出的后验归属概率，该嵌入刻画了输入状态与全局已有任务的相对拓扑位置，帮助路由器判断当前操作是复用已有知识还是激发全新模式。 第二种是Top-K 语义嵌入（Top-K Semantic Embedding）\(\mathbf{f}_{\mathrm{S}}\)，聚合概率最高的前 \(K\) 个聚类索引的可学习语义向量： $\(\mathbf{f}_{\mathrm{S}} = \sum_{k \in \mathcal{I}_T} p_k \cdot \mathrm{Embed}(k),\quad \mathcal{I}_T = \mathrm{TopKIndice}(\{p_1,\dots,p_K\}, z)\)$ 最终将隐表征、关系嵌入与语义嵌入拼接为引导标记 \(\mathbf{f}_{\mathrm{know}} = [z \parallel \mathbf{f}_{\mathrm{R}} \parallel \mathbf{f}_{\mathrm{S}}]\)，与噪声时间步嵌入一起送入门控路由器。相似子任务被路由至同一批专家实现正向迁移，而差异较大的任务则被分流至不同专家子集，彻底消除负迁移。
一个完整示例¶
以机器人执行双臂任务从“向袋子中放棒子”顺序切换到“双手协作递送玩具（Handover Toy）”为例： 1. 输入与表征推断：双目相机与腕部相机捕获观测 \(\boldsymbol{o}\)，语言指令输入“Handover Toy”。编码器推断出任务级意图向量 \(z^{\mathrm{task}}\) 和即时视觉技能隐变量 \(z^{\mathrm{skill}}\)。 2. 知识空间匹配与后验计算：隐变量与全局 HDP 知识空间进行高斯混合匹配。由于先前任务已学习过“抓取物体”与“双臂协同移动”等原子技能，HDP 迅速在共享技能簇中激活对应中心，计算出归属后验概率向量 \(p\)（例如在第 2 号抓取簇与第 5 号交接动作簇上权重显著较高）。 3. 知识引导路由分发：根据后验 \(p\) 计算关系嵌入 \(\mathbf{f}_{\mathrm{R}}\) 和 Top-K 语义嵌入 \(\mathbf{f}_{\mathrm{S}}\)，拼接生成引导向量 \(\mathbf{f}_{\mathrm{know}}\) 传至 MoE 路由器。路由器精准激活负责抓取协调的专用专家网络（保持对已学动作轨迹的复用），同时隔离与“单臂装袋”相关的非相关专家。 4. 动作去噪执行：选中的专家网络协同对初始噪声动作序列进行去噪，输出精准的末端执行器轨迹与夹爪协同状态，既没有发生因持续训练导致的双臂动作失步，又完美执行了复杂的多阶段递送任务。
损失函数 / 训练策略¶
系统的整体训练分为两个交互阶段： 1. 表征学习与知识演化：优化 VAE 的负证据下界（ELBO），最小化视觉/语言重构损失 \(\mathcal{L}_{\mathrm{recon}}\) 与知识对齐散度 \(\mathcal{L}_{\mathrm{KL}}\)。每隔 \(N_{\mathrm{dp}}\) 个 mini-batch，调用 memoVB 更新知识库 \(\Theta\) 的超参数与聚类后验。 2. 动作去噪策略优化：在选定专家网络上计算流匹配或扩散去噪损失，根据地面真值专家演示动作序列进行均方误差优化。 在持续学习推进过程中，回放缓冲区 \(\mathcal{B}\) 仅保留已学任务中 1% 的演示数据进行重放训练，模型参数总规模保持恒定（约 1B 参数），无任何结构扩展或后验显存泄漏。
实验关键数据¶
主实验¶
在 LIBERO 基准（包括 LIBERO-goal、LIBERO-long 以及 30 任务子集 LIBERO-30*）上对模型进行从头训练（Scratch）及跨具身预训练（Pretrained）设置下的评估。对比基线包括前沿多任务/持续 VLA 模型（MoDE、UniVLA、\(\pi_0\)、\(\pi_{0.5}\)）以及代表性持续学习算法（ER、SeqLoRA、LoTUS、IsCiL）。主要指标包括前向迁移度（FWT \(\uparrow\)）、负向后向迁移度/遗忘度（NBT \(\downarrow\)）、学习曲线下面积（AUC \(\uparrow\)）以及最终任务平均成功率（Final SR \(\uparrow\)）。
| 任务集与设置 | 评估指标 | MoDE | UniVLA | \(\pi_0\) | \(\pi_{0.5}\) | T-Stellar (本文) | TS-Stellar (本文) |
|---|---|---|---|---|---|---|---|
| LIBERO-goal (Scratch) | FWT (↑) NBT (↓) AUC (↑) Final SR (↑) |
71.0±2.1 36.2±2.8 39.7±1.0 33.1±2.4 |
3.1±0.7 3.1±0.7 0.4±0.2 0.0±0.0 |
82.9±3.9 49.0±1.0 45.5±3.1 35.7±0.5 |
- - - - |
81.4±0.2 20.7±2.8 61.7±2.2 67.9±0.5 |
80.2±2.3 22.2±3.3 60.7±1.2 64.2±1.5 |
| LIBERO-long (Scratch) | FWT (↑) NBT (↓) AUC (↑) Final SR (↑) |
71.6±3.6 46.3±1.6 34.3±4.2 20.2±2.9 |
6.1±0.1 6.0±0.1 0.9±0.0 0.0±0.0 |
57.3±3.1 48.7±3.7 22.2±1.0 12.0±2.2 |
- - - - |
76.3±4.0 41.6±4.1 41.2±0.7 34.2±2.1 |
75.5±0.6 37.3±2.1 43.6±1.9 35.0±3.2 |
| LIBERO-goal (Pretrained) | FWT (↑) NBT (↓) AUC (↑) Final SR (↑) |
69.7±1.8 23.2±2.9 46.8±2.9 41.6±4.8 |
87.5±0.1 65.7±6.1 35.2±4.7 20.5±4.7 |
74.9±2.7 25.6±1.0 55.6±3.3 41.1±1.1 |
84.5±2.5 38.4±3.7 55.4±4.9 43.8±3.8 |
76.6±3.4 19.1±3.6 57.5±1.1 57.0±2.0 |
73.6±4.1 28.0±3.7 48.1±2.2 44.1±5.2 |
| LIBERO-long (Pretrained) | FWT (↑) NBT (↓) AUC (↑) Final SR (↑) |
71.1±1.5 46.4±1.1 32.9±1.4 19.9±1.4 |
70.3±5.6 31.3±4.0 43.6±2.4 17.1±2.0 |
60.5±2.6 34.4±5.5 35.6±3.7 24.3±5.1 |
55.5±3.3 34.8±1.9 29.8±5.9 21.6±5.6 |
80.3±1.6 38.0±2.5 48.6±2.6 32.2±4.4 |
81.9±4.1 37.6±4.4 50.8±1.5 41.7±3.0 |
| LIBERO-30* (Pretrained) | FWT (↑) NBT (↓) AUC (↑) Final SR (↑) |
52.9 11.9 43.0 40.3 |
87.9 57.7 36.5 29.6 |
70.3 33.5 40.8 34.5 |
75.0 41.7 37.9 35.3 |
43.8 4.1 38.3 35.8 |
84.8 37.2 50.8 41.0 |
在真机双臂操作 7 项长程与协作任务评测中（5% 回放），Stellar VLA 同样大幅领先前沿基准：
| 评估指标 | 经验回放 (ER) | MoDE | UniVLA | \(\pi_0\) | \(\pi_{0.5}\) | T-Stellar (本文) | TS-Stellar (本文) |
|---|---|---|---|---|---|---|---|
| FWT (↑) | 97.1 | 15.7 | 70.0 | 98.6 | 95.7 | 98.6 | 98.6 |
| NBT (↓) | 21.9 | 3.2 | 37.1 | 34.6 | 25.8 | 12.4 | 7.4 |
| AUC (↑) | 79.9 | 13.0 | 43.6 | 72.6 | 75.6 | 89.6 | 93.4 |
| Final SR (↑) | 70.0 | 10.0 | 21.4 | 57.1 | 72.9 | 84.3 | 90.0 |
消融实验¶
在 LIBERO-long 任务上对知识空间设计组件、路由机制以及回放比例进行消融验证：
| 实验组别 / 变体 | FWT (↑) | NBT (↓) | AUC (↑) | Final SR (↑) | 机制说明 |
|---|---|---|---|---|---|
| w/o VAE | 70.8±6.2 | 47.3±5.5 | 31.0±3.0 | 18.9±1.1 | 移除任务隐表征学习（退化为标准 MoE 基线） |
| w/o KS (知识空间) | 72.3±2.3 | 45.3±1.8 | 34.3±3.6 | 21.4±1.3 | 用标准各向同性高斯替换 DP 知识空间（等价于 ER） |
| LEGION-style 调节 | 75.4±4.0 | 44.6±3.0 | 37.9±0.3 | 23.0±2.1 | 仅使用任务级 DPMM 调节策略，无后验路由特征 |
| T-Stellar (无 \(\mathbf{f}_{\mathrm{R}}+\mathbf{f}_{\mathrm{S}}\)) | 75.4±4.0 | 44.6±3.0 | 37.9±0.3 | 23.0±2.1 | 移除门控知识引导向量 |
| T-Stellar (单 \(\mathbf{f}_{\mathrm{R}}\)) | 73.5±1.8 | 41.5±2.5 | 38.1±2.1 | 24.4±2.8 | 仅加入连续几何距离关系嵌入 |
| T-Stellar (单 \(\mathbf{f}_{\mathrm{S}}\)) | 78.3±2.3 | 49.9±1.3 | 37.6±1.3 | 23.9±1.9 | 仅加入离散 Top-K 语义嵌入 |
| T-Stellar (完整引导) | 76.3±4.0 | 41.6±4.1 | 41.2±0.7 | 34.2±2.1 | 包含关系嵌入与 Top-K 语义嵌入的完整任务级模型 |
| TS-Stellar (完整引导) | 75.5±0.6 | 37.3±2.1 | 43.6±1.9 | 35.0±3.2 | 包含 HDP 层次化技能与完整知识后验路由的模型 |
此外，在回放预算分析中，TS-Stellar 在 5% 回放比例下的 Final SR 达到 73.2%，超越了 ER 在 10% 回放下的 70.4%，展示出极高的数据复用效率。
关键发现¶
- 分层技能建模对长程任务至关重要：在单任务相对单一的 LIBERO-goal 上，任务级聚类的 T-Stellar 取得最高的 Final SR（67.9% vs. TS-Stellar 的 64.2%）；然而在包含长程多阶段操作的 LIBERO-long 与双臂真机任务上，TS-Stellar 表现出压倒性优势（真机 Final SR 达 90.0%，NBT 仅 7.4%）。子技能 TV 距离分析证明，TS-Stellar 在无轨迹切分监督下自发学会了跨任务复用相同的“放锅”动作。
- 知识后验路由是抑制遗忘的核心使能器：直接在骨干上使用 DPMM 进行条件化（LEGION-style）仅能取得 23.0% 的最终成功率，而引入由关系嵌入与语义嵌入构成的后验门控后，成功率跃升至 34.2% 以上。关系嵌入提供了新旧任务相关性的几何拓扑度量，语义嵌入则提供了精准的激活偏置。
- 打破参数增长陷阱：在仅使用 1% 回放的极端设定下，拥有固定 1B 参数的 Stellar VLA 战胜了拥有 3B/7B 规模的 \(\pi_0\)、\(\pi_{0.5}\) 和 UniVLA，并显著战胜了需要动态扩展网络参数的 LoTUS 与 IsCiL。
亮点与洞察¶
- 将非参数贝叶斯与扩散 MoE 架构深度咬合：巧妙规避了 DPMM 聚类数量可变与神经网络固定输入维度之间的矛盾，提出利用连续距离关系嵌入与离散 Top-K 语义嵌入桥接后验概率与门控路由，兼具数学严谨性与工程可行性。
- 端到端自演化与无需人工分段：传统技能发现往往需要启发式切分轨迹或聚类伪标签，TS-Stellar 依靠分层狄利克雷过程与双通道 VAE，在多模态端到端训练中自然解耦出原子技能簇，实现了真正无监督的技能级结构演进。
- 对大模型持续学习范式的启示：这一机制证明了大型具身基座模型不需要无限追加 Adapter 或重放海量历史数据集，利用高层抽象知识空间指导底层专家稀疏特化，即可在参数量固定时实现极低成本的终生技能累积。
局限与展望¶
- 作者承认的局限：目前高斯组件与分层先验假设在极端复杂、高度非结构化的多模态分布上表达能力可能受限；未来需探索更大规模的技能表征空间以及超参数的动态自适应机制。
- 独立观察的局限：memoVB 在每次任务交替时的聚类更新频率和采样开销在更大规模数据集（如涵盖数百种技能时）可能面临扩展瓶颈；此外，在 LIBERO-30* 等多任务场景中，前向迁移度出现了一定程度的波动，反映出大规模连续任务下专家资源可能发生容量争抢。
- 改进方向：可考虑将非参数贝叶斯聚类与神经符号表征结合，或者在 MoE 结构中引入自适应专家扩容与合并策略，以兼顾零参数增长与极限任务容量。
相关工作与启发¶
- vs UniVLA：UniVLA 依靠预训练潜动作表征提升多任务泛化，但在顺序 CIL 场景下缺乏抗遗忘机制，导致在从头训练中最终成功率崩溃为 0%；Stellar VLA 引入了自演化知识空间与参数隔离路由，抗遗忘表现大幅胜出。
- vs \(\pi_0 / \pi_{0.5}\)：\(\pi\) 系列依赖数十亿参数与海量跨具身预训练，但在没有针对性任务隔离机制的情况下仍展现出明显的性能退化与负迁移；Stellar VLA 以约 1B 参数量实现了更优的持续适应稳定性。
- vs LEGION：LEGION 在状态输入强化学习中探索了 DP 知识空间，而 Stellar VLA 将其系统性拓展至多模态视觉-语言-动作空间，并独创了分层 HDP 技能建模与后验 MoE 路由分发机制。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ [将分层狄利克雷过程与扩散 MoE 门控路由优雅结合，提出了免参数增长的多模态持续具身操作新范式]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖仿真与真实双臂机器人实验，横跨 Scratch 与预训练设置，包含详尽消融与子技能可解释性分析]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑推导严密清晰，问题切入直击痛点，数学表述与实验细节详实自洽]
- 价值: ⭐⭐⭐⭐⭐ [为大规模 VLA 基础模型的终身学习与跨具身知识复用提供了极其重要的低成本实现路径]