DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation¶

会议: NeurIPS 2026
arXiv: 2601.22153
代码: https://haozhexie.com/project/dynamic-vla
领域: 机器人
关键词: 具身智能, 视觉-语言-动作模型, 动态物体抓取, 延迟感知控制, 异步流式推理

一句话总结¶

针对动态物体操作中推理延迟导致的感知-执行时空错位难题，DynamicVLA 提出了 0.4B 紧凑架构结合非阻塞连续推理与延迟感知动作流（LAAS），并构建了包含 200K 仿真与 2K 免示教真机数据的 DOM 基准，在移动物体抓取与放置任务中大幅超越主流 VLA。

研究背景与动机¶

动态物体操作是机器人具身智能迈向非结构化现实环境的核心瓶颈。现实物理世界中的人机协作与日常交互普遍伴随着物体的持续运动（例如递送物品、接取掉落物或稳定滑动容器），这要求机器人策略在感知、推理和执行的全链路中具备毫秒级的闭环响应能力。长期以来，机器人领域针对移动目标的抓取主要依赖专门设计的反应式控制器或人工启发式感知算法，且多局限于规则传送带等简单轨迹。尽管近期的通用视觉-语言-动作（VLA）模型在静态桌面上取得了显著的泛化成功，但当面对动态场景时，由于大模型前向推理的固有耗时，现有方案往往面临严重失败。

这种失败的核心矛盾在于：VLA 模型的推理计算需要时间，而在物理世界中目标物体的 6D 位姿与运动状态却在持续演化。在传统的块式（chunk-based）动作执行中，策略通常在当前 chunk 全部执行完毕后才触发下一次推理，产生严重的块间等待（inter-chunk waiting）；即使采用简单的异步执行，模型根据观测 $t$ 预测出的动作块也只能在延迟 $m$ 步之后（即物理时间 $t+m$）才生成完毕。此时如果直接从动作序列的首帧开始下发，相当于把针对过去时刻 $t$ 规划的动作套用到已经演化到 $t+m$ 的动态物体上，产生严重的感知-执行时间索引错位（Perception–Execution Mismatch）。

针对这一瓶颈，本文从轻量化架构与时间对齐执行两个维度切入：既要极力压低多模态推理本身的物理延迟，又要从调度机制上使生成的控制流与物理时钟严格保真。核心 idea：设计参数量仅 0.4B 的轻量级卷积-语言 VLA 骨干，结合计算与控制重叠的非阻塞连续推理调度，并通过延迟感知动作流（LAAS）在线截断并丢弃已被物理时间淘汰的过期动作前缀、仅流式下发时间有效后缀，从机制上彻底消除动态操作中的感知-执行时空错位。

方法详解¶

整体框架¶

DynamicVLA 针对动态物体操作中的延迟敏感特性，建立了一套涵盖端到端快速推理、异步流水线调度与动作时间对齐的完整控制系统。系统输入为稀疏时间窗口内的多视角视觉观测、自然语言任务指令以及机器人末端本体状态，输出为 25 Hz 的末端位姿与夹爪动作块序列。整体架构由紧凑的视觉-语言特征提取主干、基于流匹配的动作专家网络，以及在线自适应动作流控制器共同组成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>稀疏双帧多视角 RGB + 语言指令 + 本体状态"] --> B["高效视觉-语言主干<br/>FastViT 卷积压缩 + 16层 SmolLM2-360M"]
    B --> C["流匹配动作专家<br/>以视觉-语言缓存 KV 为条件去噪生成动作块"]
    C --> D["非阻塞连续推理调度<br/>推理与物理控制重叠，最新预测在线覆写旧动作"]
    D --> E["延迟感知动作流 LAAS<br/>在线测算实际延迟，动态丢弃过期前缀并下发有效后缀"]
    E --> F["实时机器人末端执行<br/>保持物理动作与动态物体运动严格时间对齐"]

关键设计¶

1. 紧凑型卷积-语言骨干与流匹配动作专家：兼顾多视角空间压缩与毫秒级推理 传统 VLA 多采用基于 Transformer 的视觉编码器（如 SigLIP 或 ViT），在处理多视角、多时间步的多帧输入时会产生二次方膨胀的视觉 token 序列，导致推理延迟高达数百毫秒，难以满足动态闭环控制。为此，DynamicVLA 采用层级化卷积视觉编码器 FastViT，通过大步长下采样与结构重参数化 RepMixer 模块实现极具侵略性的空间压缩，将输入的双视角、双时间步共 4 张图像快速压缩为仅 36 个维度为 960 的视觉 token。语言主干采用 SmolLM2-360M，并遵循浅层截断策略仅保留前 16 层 Transformer，总参数量压缩至约 0.4B。动作生成则交由专用的轻量级流匹配 Transformer 专家网络 $\mathcal{E}_\theta$，直接复用主干缓存的键值（KV）表征进行条件去噪，在避免重复感知编码的同时预测长度为 $n=20$（覆盖 0.8 秒）的动作块 $\mathbf{A}_t$，单块端到端推理时间在单张 RTX A6000 上仅需 0.226 秒（约 6 个控制步）。

2. 非阻塞连续推理调度：消除块间停顿与实现动作无缝重叠 在常规的块式控制中，机器人必须等待一个 chunk 的全部动作执行完毕才触发下一次推理，导致机器人动作在块衔接处频繁顿挫，对于持续移动的目标物体极易造成跟踪丢失。DynamicVLA 引入贪婪异步执行模式，在当前推理一经完成时立刻无条件启动下一轮环境观测捕获与推理前向，使模型的认知计算过程与底层机器人的物理轨迹执行完全并行重叠。当新一轮推理生成的动作块就绪时，它所包含的最新预测会直接在对应时间步上覆写上一轮旧动作块中尚未执行的剩余动作，从而保证了动作流的完全连续无阻塞。

3. 延迟感知动作流（LAAS）：在线动态剔除失效前缀以恢复时间一致性 单纯依靠异步推理只能保持动作流不停顿，却无法修复时间索引偏移带来的感知滞后：当模型在物理时间 $t$ 捕获环境状态 $\mathbf{s}_t$ 并开始推理时，经过 $m$ 步的推理延迟，该动作块到达执行器时物理时间已经前进到 $t+m$，此时环境中的物体早已运动至状态 $\mathbf{s}_{t+m}$。如果按照传统逻辑从动作块的首个动作 $\mathbf{a}_t$ 开始顺序执行，执行器实质上是在用过时的状态观测指导当前行动。LAAS 实时测量每一轮推理的实际控制步延迟 $\hat{m}_t$，在动作块就绪的瞬间果断剔除其在时间轴上已经失效的前缀序列 $\{\mathbf{a}_t, \dots, \mathbf{a}_{t+\hat{m}_t-1}\}$，仅提取并下发时间戳有效的位置后缀序列 $\{\mathbf{a}_{t+\hat{m}_t}, \dots, \mathbf{a}_{t+n}\}$。因为系统的动作预测视界满足 $n \ge 2\hat{m}_t$（$20 \ge 12$），剔除前缀后的有效后缀长度仍足以无缝衔接下一次推理的交付，彻底保证了每个下发到电机的指令都与当前物理时间的物体状态精准对齐。

4. DOM 基准与免示教全自动数据飞轮：突破动态操作数据采集瓶颈 针对动态数据采集时因人类反应迟钝导致遥操作示教极易失败的核心痛点，本文提出了 Dynamic Object Manipulation (DOM) 基准及全自动示教生成管线。在仿真端，利用 Isaac Sim 获取实时的 6D 物体位姿与线/角速度，驱动基于短时轨迹预测与残差运动补偿的四阶段自动演示器（接近、抓取提升、放置、复位），低成本生成了包含 2.8K 场景、206 种日常物体的 200K 条高质量轨迹。更关键的是，在真机端构建了由两台同步 Azure Kinect 构成的“现实世界模拟器”，通过 EfficientTAM 实时分割与双目几何三角测量提取物体 3D 质心，结合短时最小二乘拟合与曲率外推估计物体运动速度，使同一套自动演示器能在完全脱离人工遥操作的情况下以约 10 秒/条的速度自动抓取移动物体，在 Franka 与 PiPER 上高效采集了 2K 条真机动态演示数据。

损失函数 / 训练策略¶

DynamicVLA 采用三阶段渐进式训练方案： 1. 预训练阶段：FastViT 视觉编码器与 SmolLM2-360M 语言主干初始化预训练权重后，采用从 COYO-700M 中抽取的 150M 英文图文对进行大规模视觉-语言表征对齐； 2. 中期训练阶段：固定稀疏观测窗口 $\mathbf{O}_t = \{\mathbf{o}_{t-2}, \mathbf{o}_t\}$（双视角共 4 帧），在 200K 条合成 DOM 数据集上端到端训练全模型。动作专家网络 $\mathcal{E}_\theta$ 采用流匹配目标进行回归优化： $$\ell^\tau(\theta) = \mathbb{E}_{p(\mathbf{A}_t|\mathbf{f}_t), q(\mathbf{A}_t^\tau|\mathbf{A}_t)} \left[ \lVert \mathcal{E}_\theta(\mathbf{A}_t^\tau, \mathbf{O}_t) - \mathbf{u}(\mathbf{A}_t^\tau|\mathbf{A}_t) \rVert \right]$$ 其中插值状态 $\mathbf{A}_t^\tau = \tau \mathbf{A}_t + (1-\tau)\epsilon$（$\epsilon \sim \mathcal{N}(0, \mathbf{I})$），网络学习拟合去噪向量场 $\mathbf{u}(\mathbf{A}_t^\tau|\mathbf{A}_t) = \epsilon - \mathbf{A}_t$； 3. 后期微调阶段：在真机采集的 2K 动态演示上进行特定机械臂与传感器构型的快速迁移微调。模型在 32 张 NVIDIA A100 GPU 上采用 AdamW 优化器（学习率 $1\times 10^{-4}$，余弦退火配合 1000 步预热）训练约两周。

实验关键数据¶

主实验¶

在 DOM 仿真评测基准中，所有方法均在完全相同的 10 个测试场景、9 大子维度（交互、感知、泛化各 3 项）、共 1,800 次独立实验中进行评测。评测指标为任务成功率（Success Rate, %）与平均完成时间（Time, 秒）。

方法	模型类型 / 特点	闭环反应 (CR)	动态适应 (DA)	长程时序 (LS)	视觉理解 (VU)	空间推理 (SR)	运动感知 (MP)	视觉泛化 (VG)	运动泛化 (MG)	扰动鲁棒 (DR)	平均成功率 (↑)	平均耗时 (↓)
Diffusion Policy	纯行为克隆扩散策略	0.50	0.50	0.00	1.00	0.00	0.00	1.00	0.50	0.00	0.38%	10.89s
ACT	块式 Transformer 策略	2.50	1.50	0.00	1.00	1.50	0.50	2.50	2.50	0.00	1.33%	10.80s
OpenVLA-OFT	7B 大规模自回归 VLA	3.50	0.50	0.50	0.00	1.50	0.50	3.50	2.00	0.00	1.33%	10.83s
$\pi_{0.5}$	Flow-matching VLA (3B)	9.50	17.50	3.50	5.00	12.50	9.00	5.00	19.50	18.00	11.06%	10.62s
RTC	实时修复异步执行	12.00	15.00	4.00	7.50	13.50	8.50	6.50	14.00	20.00	11.22%	10.63s
SmolVLA	轻量级自回归 VLA	18.50	17.50	5.50	1.50	14.50	11.50	14.50	13.50	17.00	12.67%	10.65s
GR00T-N1.5	具身通用基础模型	10.50	12.00	4.00	9.50	13.50	14.00	14.50	19.50	20.00	13.05%	10.56s
VLA-Adapter-Pro	轻量化适配器策略	21.00	15.50	6.00	6.50	16.50	10.50	15.00	18.50	13.00	13.61%	9.98s
VLASH	未来感知异步 VLA	9.00	20.50	7.50	6.50	7.50	12.00	7.00	21.00	20.00	12.33%	10.60s
DynamicVLA (本文)	0.4B + CI + LAAS	60.50	38.50	40.50	51.50	48.00	33.50	59.50	65.00	26.50	47.06%	8.53s

在 16 项真机操作任务（覆盖直线滑动、非对称旋转及碰撞偏折轨迹，共 960 次评测）中，DynamicVLA 同样取得了压倒性优势，展现出极强的动态轨迹捕捉与稳定抓放能力。

消融实验¶

针对视觉编码架构（FViT）、连续推理调度（CI）以及延迟感知动作流（LAAS）三大核心设计的严格控制变量消融结果如下表所示：

配置编号	FastViT (FViT)	连续推理 (CI)	延迟感知动作流 (LAAS)	DOM 成功率 (%)	平均耗时 (s)	机制说明
[1]	✓	✗	✗	30.27	-	标准块式推理基线，存在块间停顿与前缀错位
[2]	✓	✗	✓	36.11	-	仅加入 LAAS 剔除过期前缀，显著减少动作过时失误 (+5.84%)
[3]	✓	✓	✗	39.72	-	仅加入非阻塞连续推理，消除了块间等待但保留了错位前缀
[4]	✗ (SmolVLM ViT)	✓	✓	28.89	-	替换为 Transformer 视觉编码器，延迟从 0.226s 暴增至 0.523s
[5]	✓	✓	✓	47.06	8.53	完整模型：轻量骨干 + 非阻塞连续推理 + LAAS 时间对齐

此外，在动作块重叠区域的处理策略对比中，朴素异步覆写、Time Ensemble 平滑与 RTC 修复策略的成功率分别为 39.72%、39.72% 与 39.83%（加加速度 Jerk 分别为 165.22、160.69 与 155.36）。这表明重叠动作的单纯平滑不能解决前缀过时问题，LAAS 才是跨越至 47.06% 的核心关键。

关键发现¶

轻量级视觉编码是实时闭环的先决条件：将 FastViT 替换为基于 Transformer 的 SmolVLM 编码器后，单块推理时间从 0.226 秒剧增至 0.523 秒（约 13 个控制步）。过长的推理耗时直接破坏了非阻塞重叠条件 $n \ge 2m$（$20 < 26$），即使搭载 CI 与 LAAS，成功率依然从 47.06% 暴跌至 28.89%。
CI 与 LAAS 呈现高度互补的正交增益：CI 解决的是“由于等待推理而停顿”的物理间隙问题，LAAS 解决的是“由于物理时钟流逝导致旧动作失效”的语义对齐问题。两者同时启用时成功率由 30.27% 跃升至 47.06%，缺一不可。
动态操控极度依赖跨时间步的运动线索：时间视觉窗口消融显示，单帧输入 $\{o_t\}$ 成功率仅为 38.22%，而引入包含 2 个间隔步的稀疏窗口 $\{o_{t-2}, o_t\}$ 成功率达到 47.06%；相比之下，紧邻前一帧 $\{o_{t-1}, o_t\}$ 仅为 43.39%，说明具有一定物理时间跨度的稀疏观测更有利于模型内隐推断物体的运动速度。

亮点与洞察¶

直击大模型具身控制中被遮蔽的物理时滞假说：指出了静态桌面操作研究中长期忽视的“感知-执行时空错位”失效根因，通过极其干净的数学建模将“推理耗时”转化为可精确测量的“无效前缀切除”，为高延迟神经网络介入高动态物理控制提供了极富启发性的极简方案。
免示教全自动数据飞轮：巧妙将仿真环境中特权状态驱动的自动演示器迁移至现实世界，利用高效视觉跟踪算法实时重构 3D 质心与速度场，构建出免遥操作的真机动态采集系统，彻底规避了人类遥控在高速动态场景下的生理延迟极限。
泛化至其他 VLA 的即插即用潜力：跨模型实验表明，将 CI 与 LAAS 作为纯推理时插件直接套用到现成的 SmolVLA 上，在不微调权重的情况下即可使其成功率从 12.67% 提升至 25.56%，展示出该时间对齐协议优异的模块通用性。

局限与展望¶

作者指出的局限：当前 DynamicVLA 与 DOM 基准主要针对刚体运动（如滚动、滑动或碰撞反弹）；对于可形变物体、铰接机构、流体或颗粒物等具有更复杂接触物理与非刚性自由度的动态交互，仅靠几何外推与速度估计尚难以精确应对。
外在约束与性能瓶颈：LAAS 能够发挥优势的前提是底层主干的推理耗时满足 $n \ge 2m$ 的非阻塞判据。在参数量较大的基座（如 3B 的 $\pi_{0.5}$）上，单次推理延迟过长导致有效动作后缀极短，无法形成正向增益。此外，在真机遭受剧烈不可预测外力扰动（DR 子项）时，模型的自适应恢复能力仍有明显局限。
未来演进方向：探索具备自适应 Token 稀疏化与动态计算视界分配的新型轻量 VLA 架构；将闭环控制拓展至长程多阶段、强动态接触以及柔性物体的非确定性交互场景。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [敏锐指出动态 VLA 中的感知-执行时钟错位难题，并提出 LAAS 与非阻塞连续推理的优雅解法]
实验充分度: ⭐⭐⭐⭐⭐ [建立全套 DOM 仿真与真机免遥操作基准，涵盖 1,800 次严谨仿真评估与 960 次真机多轨迹测试]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑环环相扣，问题定位明确，公式推导与实验消融极为详尽透彻]
价值: ⭐⭐⭐⭐⭐ [为机器人大模型走向高速非结构化动态交互场景奠定了兼具数据基座与控制机制的关键基础]