NestedVLA: Learning to Consolidate and Generate Skills for Vision-Language-Action Models¶

会议: NeurIPS 2026
arXiv: 2610.23271
代码: https://github.com/WanyuGroup/NeurIPS2026-NestedVLA
领域: 机器人/具身智能
关键词: 视觉-语言-动作模型、具身智能、技能整合、超网络、模型合并

一句话总结¶

NestedVLA 针对具身视觉-语言-动作（VLA）模型在多基准微调后参数爆炸及传统模型合并严重冲突的难题，开创了从“参数聚合”向“参数生成”的范式跃迁：通过在模型内部嵌入轻量级任务条件超网络动态生成动作专家权重更新，结合分立保存的压缩 VLM 残差，在完全不接触原始训练数据的条件下以 1.5 倍单模型存储开销实现三大闭环操作基准的高保真技能整合，平均任务成功率达 66.7%（超越最强动态模型合并基线 41.1 个百分点）。

研究背景与动机¶

视觉-语言-动作（Vision-Language-Action, VLA）模型通过将预训练视觉语言大模型（VLM）与机器人连续动作控制流深度融合，在开放世界具身操作中展现出强大的通用泛化潜力。在主流实践中，研究者通常在统一的预训练通用骨干（如 3.61B 参数的 $\pi_{0.5}$）上，针对不同的机器人操作基准或物理硬件平台独立进行强化学习或行为克隆微调。然而，若为每个特定的操作基准（如 MetaWorld、ManiSkill、CALVIN）分别维护一份完整的模型检查点，存储与服务开销将随着技能数量线性激增，冗余复制了绝大多数共享权重。由于真实机器人场景下数据所有权分散、平台异构及通信限制等“数据孤岛”现实，往往无法将所有下游任务的原始交互轨迹集中起来进行昂贵的多任务联合再训练。

面对去中心化训练的后处理（post-hoc）技能整合需求，最直观的路线是采用无数据模型合并（Model Merging）技术，将各微调策略的任务向量（Task Vector）静态平均或进行符号冲突消解。然而，权重空间诊断显示，VLA 模型对权重层面的扰动展现出极强的脆弱性：静态参数平均仅取得 14.8% 的平均成功率，即使引入符号冲突选举（TIES）、白化去干扰（WUDI）或奇异向量压缩（TSV-Merging），也普遍发生灾难性性能崩塌，甚至使长程链式任务 CALVIN 的连贯完成率彻底归零；即便采用保留每任务掩码、标量或低秩残差的动态合并方法（如 TALL-Mask、EMR-Merging、Twin-Merging、Free-Merging），平均成功率最高也仅止步于 25.6%。这种崩塌的根源在于：强化学习在动作专家（Action Expert）层引入的参数调整呈现极弱的空间对齐与尖锐的方向冲突，依赖于从固定参数池中插值或掩码选择的传统合并范式，根本无法调和控制策略在同一组物理参数上的本质对立。

本文的切入视角是跳出“参数聚合”的固有框架，转向“条件参数生成”。针对 VLM 主干对合并微调极度敏感（合并 VLM 会使 MetaWorld 掉点超 60 pp），而动作专家主导连续运动控制且参数冲突最为集中的结构特性，本文设计了一种非对称整合架构。核心 idea：将动作专家的参数选择转变为条件参数生成，在 VLA 内部嵌入一个基于二维权重补丁分块的轻量超网络（Hypernetwork）按任务 ID 生成稀疏动作专家增量，配合独立存储的 Top-K 压缩 VLM 残差，在不改动推理前向架构的前提下实现高效无冲突的技能重构。

方法详解¶

整体框架¶

NestedVLA 整体流程涵盖三个解耦阶段：技能获取（Skill Acquisition）、技能整合（Skill Consolidation）与推理期技能生成（Skill Generation）。在获取阶段，针对各异构任务环境使用 FlowSDE 独立微调基座模型 $\Theta_0$ 获得全量任务向量 $\tau_m = \Theta_m - \Theta_0$，并利用模块级丢弃与重缩放算子将其压缩为高能稀疏技能目标；在整合阶段，VLM 部分的压缩残差被独立留存，而动作专家部分的稀疏目标被汇入一个统一嵌套在 VLA 体系内的超网络 $\mathcal{G}_\phi$ 中，通过补丁化参数表示与掩码回归完成参数学习；在推理阶段，给定目标任务标识，超网络单次前向输出动作专家更新，与检索出的 VLM 残差共同叠加至冻结基座，无缝实例化为对应任务的完整 VLA 策略，全程无任何专家路由或混合开销。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["独立微调策略 {Θ_m}"] --> B["模块级丢弃与重缩放压缩<br/>提取 Top-K 稀疏目标 z_m"]
    B --> C["分立提取目标<br/>VLM 压缩残差 z_m^V 与动作专家目标 z_m^A"]
    C --> D["补丁化权重切分与条件超网络<br/>2D 补丁索引 + 任务特征广播 + 多头输出"]
    D --> E["掩码多任务回归与域外零惩罚优化<br/>仅对保留位置优化带权 MSE"]
    E -.->|训练收敛| D
    D -->|任务 ID 查询生成| F["完整 VLA 策略重构<br/>Θ̂_m = 冻结基座 + 生成动作更新 + 压缩 VLM 残差"]
    C -->|加载 VLM 残差| F

关键设计¶

1. 模块级丢弃与重缩放压缩：以极低稀疏度保全高能控制信号 针对全量任务向量 $\tau_m$ 维度达数十亿浮点数、直接拟合会导致显存溢出与多任务收敛崩溃的困境，本文分析发现强化学习微调的 VLA 任务向量具有高度显著的“稀疏幅度主导”特性，即极少部分大绝对值权重承载了绝大部分能量，其余绝大多数为探索噪声。研究对比了 1-bit 量化、SVD 低秩分解与丢弃重缩放三种压缩算子，发现 1-bit 量化因无法刻画零均值近各向同性的 RL 扰动而导致任务成功率骤降 71~81 个百分点。NestedVLA 采用模块级 Top-$K$ 机制（预算设为 $K=10\%$），按功能模块自适应在各层间非均匀分配稀疏预算（例如动作接口层自适应保留达 44%~64%，而 embedding 层几乎全被丢弃），并辅以全局重缩放标量 $\alpha=1.1$ 弥补能量损失： $$z_m^{(p)} = \alpha \cdot \tau_m^{(p)} \odot M_m^{(p)}$$ 该操作无需任何标定数据，在 VLM 侧与动作专家侧相对重构误差分别低至 0.30 与 0.19，且在下游 ManiSkill 与 CALVIN 上保留了原始独立微调 96% 以上的表现。

2. 补丁化权重切分与条件超网络：解耦多任务动作专家权重空间 直接将任务 ID 回归至动作专家（0.40B 参数，包含 18 个 Transformer Block 与 9 类权重张量共 162 个张量）由于输出空间过于庞大而难以训练。为此，NestedVLA 将所有权重张量在空间上统一平铺并切分为固定大小为 $256 \times 256$ 的二维补丁网格（小张量补零对齐，大张量网格分块），使每个补丁由唯一的四维坐标所寻址：参数类型 ptype、网络层号 layer 以及块内坐标 patch_h、patch_w。超网络 $\mathcal{G}_\phi$ 包含五大精心设计的子结构以化解跨任务冲突： - 任务特异性补丁嵌入：通过可学习查表操作将四维坐标映射为补丁表征，支持不同任务具备差异化的有效参数寻址； - 轻量 2D 卷积任务编码器：将任务 ID 查表得到的 512 维向量重塑为 $16 \times 16$ 特征图，经 3 层步长与通道渐增的 2D 卷积（核大小 5）与全局平均池化抽取单一任务特征 $f_{\text{task}} \in \mathbb{R}^{512}$； - 特征广播拼接：将 $f_{\text{task}}$ 广播至所有补丁并与对应补丁坐标特征拼接，作为任务先验与网络结构信息交汇的唯一枢纽； - 共享 FC 主干：隐层宽度 $h=2048$，负责在补丁间传递通用的几何分布与结构映射知识； - 任务专用多头输出：每个任务配置独立的完全连接投影层，将 $h$ 维隐层直接解码为 $256 \times 256 = 65,536$ 维展平补丁预测。消融表明，为各任务分配独立的输出投影头是规避多任务负迁移的决定性支柱，避免了低秩共享头强制拟合冲突数值分布时的拟合瓶颈。

3. 掩码多任务回归与域外零惩罚优化：聚焦高收益参数的训练准则 训练目标的核心痛点在于：若在拟合保留权重的同时对未激活位置（$M_m=0$）强加趋零惩罚，会强行迫使超网络耗费巨大的参数容量去拟合推理期根本用不到的空值。NestedVLA 提出纯粹基于有效掩码的加权均方误差损失： $$\mathcal{L}(\phi) = \sum_{m=1}^{M} w_m \cdot \frac{1}{|M_m^A|} \big\| (\mathcal{G}_\phi(m) - z_m^A) \odot M_m^A \big\|_2^2$$ 其中完全剔除了域外正则项（$w_{\text{out}}=0$），虽然掩码外输出在标准化尺度下自然漂移至约 20，但在推理阶段直接被前向掩码截断，从而为关键权重预测释放了充足的容量，单此一项设置便为最终性能带来 +2.4 个百分点的直接增益。此外，针对 ManiSkill 任务向量范数过大容易主导多任务梯度的现象，损失函数引入经验任务权重 $(w_{\text{MW}}, w_{\text{MA}}, w_{\text{CA}}) = (1.0, 0.4, 1.0)$，有效平衡了三大异构环境的拟合动态。

一个完整示例¶

以实例化 MetaWorld 操作策略（$m=\text{MW}$）为例：系统输入任务标识 $m$，任务编码器提取 512 维向量 $f_{\text{task}}$；动作专家的 162 个权重张量被切分为 $T=6{,}480$ 个 $256 \times 256$ 补丁；每个补丁的四维坐标查表后与 $f_{\text{task}}$ 拼接送入共享主干，并通过 MW 专用输出头投影回 65,536 维向量并还原为二维权重补丁；超网络单次输出与预存掩码 $M_{\text{MW}}^A$ 及缩放因子 $\alpha=1.1$ 相乘，累加至冻结的 $\Theta_0^A$（0.40B）；同时解压加载 MW 专属的 VLM 残差 $z_{\text{MW}}^V$ 叠加至 $\Theta_0^V$（3.21B）。全流程仅在策略初始化或技能切换时执行一次，生成后的模型直接以原生 $\pi_{0.5}$ 架构执行闭环推理，单步控制延迟完全不变。

损失函数 / 训练策略¶

超网络采用 AdamW 优化器，在单个 NVIDIA A6000 GPU（48GB 显存，开启 PyTorch 动态段内存管理）上训练 6,000 步（batch size 设为 3，每步包含 3 个任务各 1 个样本），总耗时约 10 小时。学习率采用基础值 $3 \times 10^{-4}$，LoRA 分支倍率设为 3.0，包含 600 步线性预热与 1,500 步余弦退火收尾；非 LoRA 参数施加 0.1 权重衰减。超网络训练期间基座模型 $\Theta_0$ 保持完全冻结，总可训练参数量约为 430M。

实验关键数据¶

主实验¶

实验基于 $\pi_{0.5}$（3.61B）骨干网络，整合经 FlowSDE 强化学习微调后的 MetaWorld（32 任务）、ManiSkill（25 任务）与 CALVIN（96 条长程序列）三大基准。主结果在 3 个测试随机种子下平均评测（标准差约 $\pm 2.7\%$），对 MetaWorld 和 ManiSkill 汇报单次成功率（success_once %），对 CALVIN 汇报完成全部 5 步子任务链的长程连贯成功率（success_at_end %）。

方法分类	方法	存储开销 (相对单检查点)	MetaWorld (%)	ManiSkill (%)	CALVIN (%)	平均成功率 (%)
参考上限 (无合并)	Per-task FlowSDE (独立微调)	3.0×	72.3	88.1	81.3	80.5
静态合并基线	参数平均 (Averaging)	1.0×	3.1	41.3	0.0	14.8
静态合并基线	TIES-Merging (NeurIPS 2023)	1.0×	2.0	37.2	0.0	13.1
静态合并基线	WUDI-Merging (2025)	1.0×	2.7	32.8	0.0	11.8
静态合并基线	TSV-Merging (CVPR 2025)	1.0×	3.9	36.3	0.0	13.4
动态合并基线	TALL-Mask (ICML 2024)	2.09×	8.1	53.8	6.0	22.6
动态合并基线	EMR-Merging (NeurIPS 2024)	2.89×	8.2	54.4	6.3	23.0
动态合并基线	Twin-Merging (NeurIPS 2024)	2.25×	10.4	56.9	8.7	25.3
动态合并基线	Free-Merging (2024)	2.16×	9.4	58.3	9.1	25.6
本文方法	NestedVLA (Ours)	1.5×	37.9	87.2	75.0	66.7

消融实验¶

超网络架构核心路径消融（训练 2,000 步，汇报掩码内标准化损失，越低越好）：

架构变体	训练参数量	MetaWorld 损失 ↓	ManiSkill 损失 ↓	CALVIN 损失 ↓	配置说明
移除多头输出 (w/o Multi-head path)	161 M	1.33	1.71	1.36	退化为共享全连接输出头 + 任务 LoRA
移除补丁嵌入 (w/o patch path)	430 M	1.02	1.14	1.05	仅使用共享补丁坐标嵌入表
移除 LoRA 分支 (w/o LoRA path)	417 M	0.91	0.92	0.89	仅保留共享 FC 主干与独立多头
缩小隐层宽度 (narrow, h=1024)	221 M	1.43	1.56	1.55	将共享 FC 维度减半
默认完整配置 (Default, h=2048)	430 M	1.08	1.17	1.14	包含补丁路径、LoRA 与多头输出

技能压缩算子在各任务上的保真度与性能代价对比：

压缩算子	相对存储	VLM 相对重构误差	动作专家相对重构误差	平均成功率降幅 (vs FlowSDE)
1-bit 量化 (逐张量标量)	~6%	0.60 ~ 0.96	0.60 ~ 0.96	-71 至 -81 pp
丢弃重缩放 + SVD 低秩残差	~15%	0.295	0.187	-3 至 -5 pp
丢弃重缩放 (Drop-and-rescale, K=10%)	10%	0.300	0.190	-3 至 -5 pp

关键发现¶

生成范式绝对占优：NestedVLA 平均成功率达到 66.7%，相比最强动态合并基线 Free-Merging（25.6%）高出 41.1 个百分点。在 ManiSkill 上达到 87.2%，与独立微调上限（88.1%）差距不足 1 个百分点；在 CALVIN 长程序列上达到 75.0%，而所有静态合并基线在该任务上全部为 0%。
多头投影是抗干扰核心：移除独立输出头导致各任务损失剧烈恶化 0.2~0.5，证实各基准动作更新的参数值分布存在本质不相容，必须在输出端显式解耦；反之，共享主干上的 LoRA 分支在输出端解耦后甚至显得冗余。
MetaWorld 差距根源于稀疏预算：理论分析揭示，在 $K=10\%$ 理想掩码重建下（不经过超网络），MetaWorld 的理论上限仅为 48.4%（NestedVLA 达到 37.9%，保持了上限的 78%）；若将保留率提升至 $K=20\%$，理想上限可跃升至 60.2%。这表明 MetaWorld 的性能差距主要由压缩阶段的稀疏预算受限所致，而非超网络拟合容量不足。

亮点与洞察¶

从参数选择到参数生成的范式转换：传统模型合并受困于凸组合与静态掩码空间，无法表达跨域技能的对立梯度；NestedVLA 将超网络作为技能参数的“神经生成器”，从根本上跨越了权重干扰的理论天花板。
非对称的结构敏感型容量分配：论文通过实验确立了“VLM 语义对合并极度脆弱须独立留存残差、动作专家主导具身控制须由超网络统一生成”的关键洞察，把 430M 的训练容量全部精准聚焦在仅占 11% 参数但最难整合的动作专家上，以四两拨千斤的方式平衡了性能与存储。
端侧部署即插即用且前向零延迟：超网络前向计算仅在切换任务环境时触发一次，生成后的参数直接并入基座，控制循环中的策略推演完全复用原生 $\pi_{0.5}$ 结构，彻底免去了 MoE 动态门控带来的额外推理延迟与显存抖动。

局限与展望¶

多技能扩展规模待验证：当前实验仅在 $M=3$ 个闭环基准上进行了验证，当技能数量扩展至数十个乃至上百个时，超网络的参数容量需求、收敛难度与扩展定律（Scaling Laws）仍有待进一步探究。
缺乏增量学习式的新技能热插拔：若要在已整合的模型中引入全新的第 $M+1$ 个技能，当前仍需扩展补丁嵌入表与输出头投影，并对超网络进行全量再训练，尚未实现轻量化的参数模块即插即用。
VLM 侧仍依赖线性增长的残差存储：在当前的 v1 系统中，VLM 仍需为每个任务保存 10% 的 Top-$K$ 残差（占总预算的 0.35×），尚未实现全模型统一超网络生成（v2 扩展）；若能将超网络拓展至 VLM 侧，总存储开销有望逼近真正的常数级别。
真机具身闭环尚未实测：所有实验均在仿真环境（MetaWorld、ManiSkill、CALVIN）下开展，物理机器人真实传感器噪声与动力学差异下的参数生成稳定性仍待实物验证。

评分¶

新颖性: ⭐⭐⭐⭐⭐ (首次突破参数选择框架，提出针对具身 VLA 技能整合的条件超网络参数生成范式)
实验充分度: ⭐⭐⭐⭐⭐ (评测覆盖三大主流闭环操作基准，对比 8 种静态与动态合并基线，并提供详实的权重诊断、切分消融与理论上限分析)
写作质量: ⭐⭐⭐⭐⭐ (动机切入犀利深刻，实验逻辑与归因严密自洽，附录细节披露极为详尽)
价值: ⭐⭐⭐⭐⭐ (为打破机器人异构数据孤岛、实现低存储成本的多技能统一具身大脑部署提供了极具前景的落地范式)