NoTVLA: Semantics-Preserving Robot Adaptation via Narrative Action Interfaces¶
会议: NeurIPS 2026
arXiv: 2510.03895
代码: https://github.com/ZJU-Semantic-Robot/NoTVLA
领域: 机器人
关键词: 具身智能 / 机器人微调 / 叙事动作接口 / 语义保留 / 视觉语言动作模型
一句话总结¶
NoTVLA 提出了一种语义保留的机器人微调接口，通过将高频密集控制替换为稀疏语义航路点、2D锚点引导的深度解耦表征以及确定性B样条反标记化，在阻断灾难性遗忘的同时显著提升了语义分布外泛化与跨视角鲁棒性。
研究背景与动机¶
近年来，视觉-语言-动作（VLA）模型通过在大规模多模态大模型（VLM）底座上引入动作预测头，展现了强大的少样本操作潜力。然而，现有的机器人微调范式存在一个根深蒂固的核心矛盾：对专家轨迹的端到端模仿学习通常要求模型预测密集、高频且高度特异于机械臂本体运动学统计特性的低级动作增量。这种密集的运动监督信号在微调过程中产生剧烈的表征漂移，迅速瓦解了预训练底座中原本具备的丰富开放词表语义结构、多步组合推理能力以及跨视角空间不变性。实践中，许多 VLA 在学会特定机位下抓取特定物体的同时，丧失了对指令词义反转、未见颜色/属性组合乃至微小视角扰动的理解能力，沦为脆弱的固定轨迹记忆器。
针对这一问题，学界主流思路大致分为两派：一派致力于强化动作生成头（如引入 Flow Matching、Diffusion Policy 或双系统动作专家），但这进一步割裂了高层语义与底层运动，未从根本上改变骨干网络承受的运动学压力；另一派则尝试通过参数隔离（如 LoRA 或 MAPS 的模块级正则化距离调度）或将控制动作文本化（如 Actions-as-Language / VLM2VLA），但将每一步密集的数值坐标直接翻译为字符串不仅效率低下，且未解决底层控制节奏与语言自回归预测之间的本质粒度错位。
本文的切入视角是重新审视机器人自适应的监督接口：与其逼迫 VLM 底座去拟合百毫秒级的微观物理位移，不如让其维持在最擅长的高层语义自回归闭环中，仅预测承载关键任务决策的稀疏航路点与几何锚点，而将连续运动平滑与高频轨迹渲染解耦给透明且确定性的插值阶段。核心 idea：用「任务锚点引导的稀疏语义航路点序列」取代密集底层控制监督，构建语言友好的叙事动作接口，配合确定性样条反标记化与异步闭环融合，以最低微调整损耗最大化保留预训练 VLM 的通用语义结构与分布外泛化能力。
方法详解¶
整体框架¶
NoTVLA 的核心思想是不改变预训练自回归 VLM 的自回归预测架构，仅改变机器人的监督目标与动作解耦粒度。整个系统包含三个串联阶段：首先通过运动学跃变与接触事件检测，将长程专家演示压缩为固定长度的稀疏语义航路点；随后由 VLM 自回归预测 2D 任务交互锚点与结合外部深度感知的语义动作 Token 序列；最后通过确定性样条插值将离散 Token 投射回机器人基座坐标系，并利用异步闭环融合机制在不中断底层 80Hz 执行的前提下实现平滑动态重规划。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入：RGB图像 I + 任务语言指令 l"] --> B["语义关键帧稀疏化与定长航路点重采样<br/>检测运动突变与夹爪跃变，提取关键位姿"]
B --> C["锚点与深度解耦的叙事动作自回归生成<br/>预测2D锚点定位与深度，自回归生成动作Token序列"]
C --> D["确定性样条反标记化与闭环异步重规划融合<br/>B样条与SLERP插值生成80Hz轨迹，异步切线融合重规划"]
D --> E["输出：机械臂底层连续执行控制指令"]关键设计¶
1. 语义关键帧稀疏化与定长航路点重采样：消除密集电机统计扰动并保留事件级决策 传统 VLA 对每个控制周期（如 10Hz–50Hz）均施加均方误差或分类交叉熵监督，迫使多模态骨干网络将注意力耗费在本体电机加减速与颤动噪声的拟合上。NoTVLA 认为，机器人轨迹中真正承载语言语义与几何约束的只有接触形成、物体离地、逼近与释放等关键拓扑事件。算法首先对原始轨迹 \(\boldsymbol{T}(t) \in SE(3)\)（含平移 \(\boldsymbol{p}(t) \in \mathbb{R}^3\) 与夹爪状态 \(G(t) \in \{0, 1\}\)）进行物理特征扫描： $\(\|\ddot{\boldsymbol{p}}(t_{k})\|_{2} > \alpha \quad \lor \quad \lim_{\epsilon\to 0^{+}}G(t_{k}-\epsilon) \ne \lim_{\epsilon\to 0^{+}}G(t_{k}+\epsilon)\)$ 其中 \(\alpha\) 取 \(1.0\text{ m/s}^2\) 作为平移加速度阈值。在关键帧之间，系统根据局部曲率自适应采样 \(N\) 个辅助子关键帧以保留局部避障几何特征，最后通过固定弧长等间距重采样，将变长轨迹统一归一化为固定的 5 点稀疏航路点格式 \(\mathcal{T}_{sparse} = \{\boldsymbol{T}_0, \boldsymbol{T}_1, \dots, \boldsymbol{T}_M\}\)。这使得自回归模型只需输出极短的语义词元块即可表达整段操作意图。
2. 锚点与深度解耦的叙事动作自回归生成：以语言式自回归预测实现图像级空间对齐 直接让单目 RGB 骨干网络回归绝对 3D 空间轨迹会迫使模型同时承担图像语义解析与复杂的度量单目测距压力，容易引发灾难性漂移。NoTVLA 提出了锚点预测（APP）与深度外挂机制：模型首先根据当前图像 \(\mathbf{I}\) 和语言提示 \(\mathbf{l}\) 输出一个任务交互核心的 2D 像素坐标 \((u_a, v_a) \in [0, W) \times [0, H)\)（例如物块中心或把手接合点），并从外接深度源（如机载 RealSense D435 或单目深度估计器）查询对应的标定深度 \(d_a\)，构成深度增强锚点 \(a = (u_a, v_a, d_a)\)。紧接着，模型将锚点作为上下文标记注入自回归输入序列： $\(\mathbf{S} = [\text{CLS}, \mathbf{I}_{\text{emb}}, \mathbf{l}_{\text{emb}}, \text{ANCHOR}(a), B_{1}, \dots, B_{M}, \text{EOS}]\)$ 每个航路点块 \(B_i = (\mathcal{D}_i, \mathcal{U}_i, \mathcal{G}_i, \mathcal{R}_i)\) 包含归一化深度、图像离散坐标、夹爪开合以及经欧拉角离散化的旋转分量。整个微调完全保持因果掩码语言建模格式，仅通过交叉熵计算动作 Token 的负对数似然损失。
3. 确定性样条反标记化与闭环异步重规划融合：解耦低频语义决策与高频实时电机控制 为了彻底摆脱对二次学习底层控制策略（如额外训练 Policy Head 或扩散控制器）的依赖，NoTVLA 设计了纯数学规则的确定性反标记化器。反量化出的三维路点通过相机内参 \(\mathbf{K}\) 与外参 \(\boldsymbol{T}_c^w\) 反投影至机器人基座坐标系，位置维度采用三次 B 样条插值 \(\hat{\boldsymbol{P}}(t)\)，姿态维度采用基于四元数的球面线性插值 \(\hat{\boldsymbol{q}}(t) = \text{SLERP}(\boldsymbol{q}_i, \boldsymbol{q}_{i+1}, \tau(t))\)，直接生成 80Hz 的高频光滑轨迹。在闭环执行中，高层 VLM 以 0.25–0.5Hz 的低频异步刷新规划序列 \(\mathcal{P}'\)。当新航路点序列到达时，算法在未来时间点 \(t_2 = t_1 + \Delta t\) 处检索与当前末端位姿欧氏距离最近的最佳衔接索引 \(k^*\)： $\(k^{*} = \arg\min_{1\le i\le n'} \|\boldsymbol{p}_{w,i}' - \boldsymbol{p}_0(t_2)\|_2, \quad \gamma = (\boldsymbol{p}_{w,k^*}' - \boldsymbol{p}_0(t_2))^\top \hat{\boldsymbol{v}}_{\text{path}}\)$ 通过沿局部切线方向 \(\hat{\boldsymbol{v}}_{\text{path}}\) 的投影标量 \(\gamma\) 过滤回溯与陈旧路点，构造无缝平滑的过渡样条，实现了在有限计算延迟下对抓取滑落或扰动的高效闭环修正。
一个完整示例¶
以机器人执行「将红色积木放到印有旗帜的底盘上（Place block flagpad）」任务为例： 1. 状态感知与锚点定位：相机捕获单帧 RGB 画面，VLM 输入包含指令与图像 Token。模型首先预测 2D 锚点 \((u_a, v_a) = (324, 215)\)，对应红块质心；外挂 RealSense 查询得到 \(d_a = 0.58\text{m}\)。 2. 生成稀疏叙事序列：VLM 自回归生成 5 个航路点块 \(B_1 \dots B_5\)（约 50 个离散 Token），依次对应：逼近预备点（夹爪开）、下探贴近红块（夹爪开）、接触并抓取闭合（夹爪闭）、抬升至安全平面（夹爪闭）、运移至旗帜底盘正上方并释放（夹爪开）。 3. 轨迹生成与异步重规划：反标记化模块以相机标定矩阵反求基坐标系 3D 点，插值输出 80Hz 控制流驱动机械臂以 \(52.3\text{s}\) 完成稳定堆叠；在运动途中若红块发生轻微滑移，下一周期（2 秒后）重新生成的航路点自动切线接入当前末端位置，平滑拉回正确装配姿态。
损失函数 / 训练策略¶
NoTVLA 的微调目标与经典自回归语言模型完全一致，仅在动作序列部分计算因果负对数似然： $\(\mathcal{L}_{\text{VLA}} = -\sum_{t=1}^{|\mathbf{S}|} \log P(s_t \mid s_{<t}, \mathbf{I}, \mathbf{l})\)$ 模型在 4 张 A100 GPU 上采用 AdamW 优化器微调 3 个 epoch，学习率为 \(1\times 10^{-5}\)，权重衰减为 \(1\times 10^{-6}\)，批大小为 32。相较于需要庞大动作扩散先验或多阶段交替优化的模型，NoTVLA 无需微调视觉编码器，仅端到端微调自回归权重，训练显存占用峰值约为硬件显存的 96%，推理峰值显存仅约 13GB。
实验关键数据¶
主实验¶
论文在双臂灵巧操作基准 RoboTwin 2.0（官方 50 任务 Clean/Random 评测设置，分别对应 Easy/Hard）以及真实跨机位评测标准 SimplerEnv（WidowX Visual Matching 协议）上进行了全面对比。
| 基准 / 评测协议 | 评测方法 | 架构 / 动作接口形式 | 成功率 (Easy / Hard 或 平均) |
|---|---|---|---|
| RoboTwin 2.0 (50 任务官方设置) | \(\pi_0\) | VLA + Flow 动作专家解码器 | 46.42% / 16.34% |
| RoboTwin 2.0 (50 任务官方设置) | DP3 (3D Diffusion) | 3D 点云扩散策略 (无语言底座) | 55.24% / 4.96% |
| RoboTwin 2.0 (50 任务官方设置) | Qwen-OFT | Qwen3-VL-4B + 分块连续动作预测 | 50.38% / — (仅评测 Easy) |
| RoboTwin 2.0 (50 任务官方设置) | NoTVLA (Ours) | Qwen2.5-VL-7B + 稀疏叙事动作接口 | 63.28% / 28.40% |
| SimplerEnv (WidowX Visual Matching) | RT-1-X | 大规模 Transformer 离散动作 | 1.1% |
| SimplerEnv (WidowX Visual Matching) | OpenVLA | Llama-2-7B 动作 Token | 4.2% |
| SimplerEnv (WidowX Visual Matching) | \(\pi_0\) | 连续 Flow-matching Policy | 27.1% |
| SimplerEnv (WidowX Visual Matching) | \(\pi_0\)-FAST | 离散化 FAST Tokenizer | 48.3% |
| SimplerEnv (WidowX Visual Matching) | SpatialVLA | PaliGemma2 + 3D 空间编码 | 42.7% |
| SimplerEnv (WidowX Visual Matching) | StarVLA-OFT | Qwen3-VL-4B + 分块连续回归 | 64.6% |
| SimplerEnv (WidowX Visual Matching) | NoTVLA (Ours) | Qwen3-VL-4B + 稀疏叙事动作接口 | 65.7% (抓取率 82.2%) |
语义保留与分布外泛化分析¶
为验证机器人自适应是否破坏了多模态大模型的语言常识，作者构建了包含 960 个任务级 QA 测试题的语义保留探针（覆盖目标识别、颜色、次序与阶段识别），并在 9 项组合分布外（Semantic OOD）任务（包含指令次序反转、未见颜色组合、目标二选一放置及新概念迁移）上展开严格对比。
| 模型 / 检查点 | 语义探针 (Step 0) | 语义探针 (Step 100) | 语义探针 (Step 4000) | 见过任务均分 | 次序反转 (Inverse) | 新颜色组合 (Novel Color) | 候选抉择 (Choice) | 新概念 (Novel Concept) | OOD 平均成功率 |
|---|---|---|---|---|---|---|---|---|---|
| Qwen-PI-30k | 97% | 68% | 0% (完全崩溃) | 61.5% | 0.0% | 35% | 23% | 44% | 25.5% |
| \(\pi_0\)-30k | — | — | — | 56.5% | 0.0% | 30% | 25% | 32% | 21.8% |
| \(\pi_{0.5}\)-30k | — | — | — | 64.0% | 0.0% | 48% | 60% | 57% | 41.3% |
| NoTVLA-30k | 97% | 88% | 76% (稳定保留) | 57.5% | 63% | 62% | 49% | 84% | 64.5% |
| NoTVLA-5k | 97% | 88% | 76% | 55.0% | 70% | 69% | 62% | 78% | 69.8% |
消融实验：锚点引导、深度注入与轨迹拟合质量¶
为解构叙事接口中的具体贡献，论文对比了直接预测像素UVD坐标、仅预测锚点不给深度（Anchor-only）以及完整 NoTVLA（APP + Depth）的表现，并在精密抓卡（Card-grasping）与轨迹渲染保真度上进行了系统诊断。
| 模块变体 / 渲染配置 | 物体识别任务均分 | 长程操作任务均分 (Long-Horizon) | 综合任务均分 (Overall) | 精密插卡 (Sim Card Hard) | 轨迹拟合 Cover F1 \(\uparrow\) | 动态时间规整 DTW \(\downarrow\) | 终点误差 Endpoint \(\downarrow\) |
|---|---|---|---|---|---|---|---|
| 直接预测 UVD (Direct UVD) | 30.3% | 52.3% | 42.9% | 16% | — | — | — |
| 仅预测 2D 锚点 (APP only, 无预测深度) | 32.7% | 46.3% | 40.4% | — | — | — | — |
| HAMSTER (分层分段) | — | — | — | — | 0.9451 | 0.7945 | 0.1181 |
| Magma (多模态轨迹基座) | — | — | — | — | 0.9282 | 0.8353 | 0.1784 |
| NoTVLA 5-pt (完整接口) | 38.3% | 65.3% | 53.7% | 56% | 0.9546 | 0.4564 | 0.0739 |
| NoTVLA 10-pt (高密路点变体) | — | — | — | — | 0.9567 | 0.4554 | 0.0729 |
真实机器人部署结果¶
在搭载 Intel RealSense D435 的 Franka Emika Panda 机械臂上测试了 5 项真实操作（按按钮、放方块至旗帜、双积木堆叠、插花瓶、夹水果进碗），尽管高层重规划频率仅为 0.25–0.5Hz，执行时间却与密集策略持平，且成功率最高。
| 方法 | 评测任务数 | 平均成功率 | 成功试验平均用时 | 按按钮 | 积木放旗帜 | 双积木堆叠 | 插花 | 水果放碗 |
|---|---|---|---|---|---|---|---|---|
| DP3 | 5 | 44% | 45.3s | 80% | 40% | 30% | 5% | 65% |
| Qwen-PI | 5 | 49% | 54.7s | 85% | 70% | 25% | 10% | 55% |
| NoTVLA (直接 UVD) | 5 | 45% | 37.5s | 75% | 55% | 30% | 5% | 60% |
| NoTVLA (完整) | 5 | 53% | 52.3s | 90% | 60% | 50% | 10% | 55% |
关键发现¶
- 语义灾难性遗忘的断崖式发生：基于密集流匹配的 Qwen-PI 在机器人数据上仅微调 500 步后，QA 语义探针准确率便从 97% 骤降至 0%，模型彻底丧失了基本的视觉常识与指令辨析能力；而 NoTVLA 稳定维持在 76%，使得其在「次序反转（Inverse）」任务上取得了 63%–70% 的惊人表现（Qwen-PI 与 \(\pi_0\) 系列全部为 0% 零分）。
- 锚点机制带来抗畸变与长程增益：相比直接回归三维 UVD，解耦的 2D 锚点能充分复用预训练视觉主干对物体部件的注意力先验，长程堆叠任务成功率从 52.3% 跃升至 65.3%；在轻度鱼眼相机扰动下，锚点机制平均取得 27.8% 成功率，大幅优于直接 UVD 的 19.8%。
- 5 点稀疏足以保真轨迹：相比 10 点路点，5 点航路点的 Cover F1（0.9546 vs 0.9567）与 DTW 距离（0.4564 vs 0.4554）极为接近，但节省了半数以上的生成 Token 开销，使模型单次推理在 50 个 Token 内快速完成。
亮点与洞察¶
- 将机器人微调重新定义为语言式自回归任务：不依赖复杂的扩散动作头，利用少量关键几何航路点把动作对齐问题拉回多模态预训练的原生空间，极大保护了通用语义表征。
- 低频叙事规划与高频物理渲染的优雅解耦：将 80Hz 级别的低级动力学平滑交还给轻量级三次 B 样条和 SLERP，使大算力 VLM 仅负责宏观事件决策，不仅计算开销大幅降低（推理仅需 13GB 显存），更兼顾了解释性与闭环可纠错性。
- 揭示了 VLA 评测的核心盲区：证明了单纯在已知演示分布内追求微调任务成功率会导致对语义退化的漠视，强调在评估具身大模型时必须同步考察分布外语义辨析与泛化韧性。
局限与展望¶
- 深度传感器的强依赖性：NoTVLA 将 3D 度量建立在外接深度获取之上。抗噪实验表明，当深度锚点噪声达到 10cm 时，平均任务成功率从 42% 骤降至 11%；在透明、强反光或极端遮挡等深度相机失效场景下，系统缺乏从单目 RGB 隐式补全深度的鲁棒机制。
- 高动态接触交互能力受限：由于运动轨迹由固定样条插值生成，该方法难以处理需要极高频力控反馈（Force-torque regulation）或复杂接触滑动的精细工业装配场景。
- 重规划周期的系统瓶颈：当前端侧自回归大模型推理仍需 2–4 秒刷新一次航路点，面对高速动态障碍物时反应迟滞，未来需探索轻量化量化（如 4-bit 运行时或投机采样）以将叙事规划提升至 2–5Hz 水平。
相关工作与启发¶
- vs OpenVLA / \(\pi_0\): OpenVLA 与 \(\pi_0\) 均采用密集的动作 Token 化或连续 Flow Matching 头，在训练时迫使骨干网络记忆底层电机统计量，导致严重语义遗忘；NoTVLA 采用稀疏 5 航路点与确定性反标记化，兼顾了任务成功率与常识保留。
- vs Actions-as-Language (VLM2VLA): VLM2VLA 尝试将高频数值直接转写为自然语言数字串，带来了极长的上下文消耗与频繁的语法解析错误；NoTVLA 仅转写事件级稀疏航路点，序列极短且配合闭环切线样条拼接。
- vs HAMSTER: HAMSTER 依赖学习型的层级控制器与 3D 点云策略来下行细化轨迹；NoTVLA 证明了无需学习第二阶段低层控制器，仅靠确定性数学样条与异步轨迹融合即可达成卓越的操作精度。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙跳出动作头军备竞赛，提出以叙事稀疏接口保护语义底座这一极具洞察力的范式。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 50 个任务的仿真基准、960 题的语义探针、极端深度/相机扰动压力测试及真实 Franka 部署。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，动机与理论表述极其清晰，自洽性强。
- 价值: ⭐⭐⭐⭐⭐ 为具身智能大模型克服灾难性遗忘并真正融入复杂智能体规划体系提供了关键路径。