跳转至

Realtime-VLA FLASH: Speculative Inference Framework for Diffusion-based VLAs

会议: NeurIPS 2026
arXiv: 2605.13778
论文: https://arxiv.org/abs/2605.13778
项目页: https://dexmal.github.io/realtime-vla-flash
领域: 多模态 VLM
关键词: 具身智能、视觉语言动作模型、投机推理、流匹配、机器人实时控制

一句话总结

针对基于流匹配的扩散型视觉-语言-动作模型推理延迟高、难以满足高频闭环控制的瓶颈，本文提出 Realtime-VLA FLASH 投机推理框架，利用单层 Gemma 草稿模型快速生成候选动作块，结合流匹配插值轨迹在动作专家上做免序列去噪的低开销并行验证，并辅以夹爪状态触发的相位感知回退机制，在 LIBERO 仿真与真实传送带分拣任务上实现了 3.04 倍的端到端推理加速且几乎无损成功率。

研究背景与动机

基于扩散与流匹配机制的视觉-语言-动作模型（dVLAs，如 \(\pi_0\)）因能够有效建模连续多模态动作分布，在复杂机器人操作领域展现出巨大潜力。然而，这类模型在实体机器人部署时面临根本性的频率失配问题：物理机械臂底层的伺服控制循环通常运行在数十至上百赫兹，而包含视觉编码器、多模态大模型 Prefill 以及多步迭代去噪的完整 dVLA 推理耗时常高达数十毫秒甚至更长。现有系统普遍采用开环动作块（Action Chunking）策略来缓解这一矛盾，即单次推理生成包含数十步动作的时间窗口，仅在执行完前数步动作后发起重规划。但在动态或反应式任务中，昂贵的重规划延迟会导致动作更新严重滞后，使机器人错失操作时机。

投机推理（Speculative Inference）在大型语言模型与自回归 VLA 中已取得显著成功，其核心在于用轻量级草稿模型提出推测，再由主模型并行验证，从而大幅减少昂贵的全量生成开销。然而，将投机推理迁移到连续流匹配 dVLA 面临严峻挑战：自回归模型依赖离散 Token 的概率分布完成判定，而 dVLA 是通过连续空间下的常微分方程积分进行多步逐步去噪；连续动作缺少显式似然函数，既不存在直接可用的验收概率准则，多步去噪在本质上也天然抗拒低延迟并行校验。若无法以极低开销对连续动作块进行一致性检验，投机机制便会退化回串行去噪，丧失加速意义。

研究团队的关键洞察在于：流匹配模型在训练时学习的是高斯噪声与真实动作端点之间线性插值路径上的局部速度场约束，这意味着无需运行完整的 10 步串行积分，只需将草稿动作加噪插值并评估少数中间时刻的局部流速度，即可反向重构端点并衡量其局部流场一致性。核心 idea：利用流匹配线性插值路径构建动作专家并行端点重构验证器，配合轻量级草稿模型与夹爪开关相位感知回退机制，将绝大多数昂贵的完整重规划轮次转化为仅需数毫秒的高效投机轮次。

方法详解

整体框架

Realtime-VLA FLASH 构建了一个双路径自适应推理架构：由原有完整路径（Full Path）与轻量级快速路径（Flash Path）协同运作。在完整路径中，系统顺序执行主视觉编码器、VLM Prefill 构建多模态前缀 KV Cache，以及动作专家（Action Expert）的 10 步 ODE 序列积分去噪；而在快速路径中，系统利用当前图像特征与单层草稿模型在数毫秒内预测全量候选动作块，随后动作专家复用上一轮完整推理保留的视觉 KV Cache，在少数流匹配时间步上并行评估速度场并重构端点，计算动作级别的一致性距离并截断出最长安全可执行前缀。若验证失败或检测到夹爪动作等敏感相位转移，系统立即无缝回退至完整路径刷新上下文。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入观测<br/>当前图像 + 语言指令 + 本体状态"] --> B{"路径路由决策<br/>上一轮结果 / 回退标志"}
    B -->|常规重规划轮次| C["轻量级草稿模型<br/>单层Gemma块与动作槽位并行预测"]
    C --> D["多步并行一致性验证<br/>流匹配插值端点重构"]
    D --> E{"一致性校验 & 夹爪检测<br/>判断可执行前缀与相位"}
    E -->|前缀长度 L > 0 且无夹爪突变| F["执行最长安全前缀<br/>动态调整执行窗口"]
    E -->|校验失败 L=0 或夹爪状态切换| G["主模型全量重规划路径<br/>完整VLM Prefill与10步序列去噪"]
    B -->|周期性强制刷新| G
    G --> H["输出高精度动作块<br/>刷新视觉KV Cache"]
    F --> I["机器人执行闭环"]
    H --> I

关键设计

1. 单层 Gemma 草稿模型与动作槽位查询：并行解耦前向预测

在重规划循环中，若生成候选动作的代价与主模型相当，投机加速便无从谈起。为此，FLASH 设计了一个参数量仅为约 110M 的极轻量草稿模型（相比主模型 2.7B VLM 缩减了 95% 以上的计算负担）。草稿模型结构严格复用单个 Gemma Transformer 块并搭配轻量线性动作输出头。为在单一前向传播中并行输出未来 \(H\) 步连续动作，模型引入了 \(H\) 个可学习的动作槽位查询 \(Q = [q_1, q_2, \dots, q_H]\)。通过分块注意力掩码（Blockwise Attention Mask），状态 Token 与动作查询可全面自注意力交互并单向关注视觉与文本前缀，最终各槽位的隐层表征通过共享线性投影层直接映射到连续位姿与夹爪动作：

\[\hat{a}_{t+h-1}^{d} = W_{\mathrm{act}} z_h + b_{\mathrm{act}}, \quad h=1, \dots, H\]

这种设计使草稿生成仅需约 3.5 ms（Triton 优化后仅 0.9 ms），不仅大幅压缩了延迟，而且输出空间和动作格式与主模型完全对齐，为后续校验提供了零适配成本的候选动作。

2. 基于流匹配插值路径的多步并行验证：免迭代端点一致性检验

针对连续动作空间缺乏离散 Token 概率与迭代去噪抗拒并行的根本瓶颈，FLASH 充分利用流匹配算法的线性路径几何特性。在流匹配中，模型学习的是从高斯噪声 \(\epsilon \sim \mathcal{N}(0, I)\) 沿直线演化至目标动作 \(A_t\) 的瞬时速度场 \(v_\theta\)。给定草稿动作块 \(\hat{A}_t^{(d)}\)，算法无需从 \(\tau=0\) 串行模拟到 \(\tau=1\)，而是选取少量离散验证时间步集合 \(\mathcal{T} = \{\tau_1, \dots, \tau_K\}\)，直接基于线性插值构建中间含噪状态：

\[\tilde{A}_{\tau_k}^{(k)} = \tau_k \hat{A}_t^{(d)} + (1-\tau_k)\epsilon\]

随后，动作专家以批处理并行方式在这些时刻同时评估局部速度场 \(v^{(k)} = v_\theta(\tilde{A}_{\tau_k}^{(k)}, \tau_k \mid c_t, s_t)\)，其中 \(c_t\) 为复用的上轮视觉 KV Cache，\(s_t\) 为当前刷新的机器人本体状态。由于直线流的剩余演化区间长度恰为 \(1-\tau_k\)，单步外推重构出的目标端点为：

\[\hat{A}_t^{(k)} = \tilde{A}_{\tau_k}^{(k)} + (1-\tau_k) v^{(k)}\]

若草稿动作在流场意义下高度可信，各验证时间步重构出的端点应当与草稿端点彼此高度吻合。算法在连续位姿与旋转通道上计算单步距离 \(d_h^{(k)} = \mathrm{Dist}_{\mathrm{cont}}(\hat{a}_{t+h-1}^{(d)}, \hat{a}_{t+h-1}^{(k)})\)，并采取保守交集准则确定最终可执行的前缀长度 \(L = \min_{k=1,\dots,K} L^{(k)}\)，将原本耗时 20.0 ms 的 10 步串行去噪压缩为仅需 2.2~3.4 ms 的单次并行矩阵运算。

3. 保守可执行前缀判定与相位感知回退：精细操作阶段的漂移抑制

在机器人长程操控轨迹中，不同阶段对动作精度的容忍度极不对称：在自由空间大范围移动阶段，微小的草稿偏差可被高频闭环自动吸收；但在夹爪开闭、接触对齐等精细调节阶段，累积的误差极易引发抓取滑脱或碰撞。为此，FLASH 引入了双重保障机制：首先采用逐步连续距离门限约束，只要候选动作块在第 \(h\) 步超出阈值 \(\delta\)，后续动作即刻截断；若前缀长度 \(L=0\)，系统断定缓存上下文已失效，即刻回退至完整路径。

其次，针对离散语义通道，FLASH 监控标准化后的夹爪控制信号。由于夹爪开闭以零点为分界，一旦在候选动作块的任一验证分支中检测到夹爪控制值跨越零点（即发生模式切换），表明机器人即将进入极其敏感的高精度抓取或释放关键相位。系统此时主动中断投机执行并触发强制回退，调用主模型重新计算完整 ODE 流场与 VLM 前缀，从而有效杜绝关键接触瞬间的误差累积。

损失函数 / 训练策略

草稿模型采用端到端有监督回归训练，其监督信号直接来源于冻结主模型生成的教师动作块而非原始人类演示，以确保草稿动作紧密贴合主模型的行为先验。训练目标采用加权 Huber / Smooth L1 损失：

\[\mathcal{L}_{\mathrm{draft}} = \sum_{h=1}^H w_h \ell\left(\hat{a}_{t+h-1}^d, a_{t+h-1}\right)\]

为了让草稿模型优先保证近期动作的精确性，权重设计赋予前缀更高关注度：对前 16 步（或实机 20 步）采样衰减因子 \(\gamma_{\mathrm{prefix}} = 0.9\)，远端尾部动作则分配固定的较小权重 0.1。模型采用 AdamW 优化器，学习率设为 \(2 \times 10^{-3}\)，在 4 块 NVIDIA RTX 4090D 上训练 100 轮仅需约 6 小时，训练开销极其低廉。

实验关键数据

主实验

主实验在标准化机器人操作基准 LIBERO 上进行系统评估，涵盖 Spatial、Object、Goal 以及长程复杂的 LIBERO-10 四个测试套件，每套件 10 个任务，单任务独立评测 50 次（总计 2000 次评测）。动作块大小设为 \(H=50\)，每执行 12 步动作发起一次重规划。对比基线包括 PyTorch 原生 \(\pi_0\)、算子优化的 Triton-\(\pi_0\) 以及引入 FLASH 机制的对应配置。

方法 Spatial 成功率 (%) Object 成功率 (%) Goal 成功率 (%) LIBERO-10 成功率 (%) 平均成功率 (%) 重规划延迟 (ms) 单动作均摊延迟 (ms) 加速比
Torch-\(\pi_0\) [1] 96.8 98.8 95.8 85.2 94.1 58.0 5.0 1.00×
Triton-\(\pi_0\) [19] 96.4 98.8 95.0 86.6 94.2 39.7 3.5 1.46×
FLASH-\(\pi_0\) (本文) 96.4 99.2 94.6 83.4 93.4 34.9 3.0 1.66×
FLASH+Triton-\(\pi_0\) (本文) 96.8 99.2 94.4 84.6 93.8 19.1 1.9 3.04×

在引入 Triton 内核优化后，FLASH 单轮投机耗时仅需 7.8 ms（草稿 0.9 ms + 验证 2.2 ms + 图像编码 4.7 ms），全任务平均重规划延迟从原始 58.0 ms 大幅压缩至 19.1 ms，实现 3.04 倍整体端到端加速，单步动作平均耗时降至 1.9 ms，且在四个套件上的平均成功率维持在 93.8%（仅波动 -0.3%），几乎无损任务完成能力。

消融实验

消融实验重点针对最敏感、易发生误差累积的 LIBERO-10 长程任务套件，深入剖析了周期性全量刷新（Periodic Refresh, PF）与夹爪相位感知回退（Phase-aware Fallback, FB）对于抑制复合误差的决定性作用。

配置 成功率 (%) 平均重规划延迟 (ms) 说明
纯快速路径基线 (Flash-path only) 58.4 13.3 无回退机制，长程轨迹严重累积漂移
+ PF = 2 (每2轮投机强制1轮完整刷新) 80.6 21.0 周期性刷新显著遏制轨迹漂移
+ PF = 3 (每3轮投机强制1轮完整刷新) 82.0 18.6 成功率提升明显，但偶发精细操作失败
+ PF = 4 (每4轮投机强制1轮完整刷新) 75.4 17.2 刷新间隔过长导致累积误差失控
+ FB (仅加入相位感知回退) 66.8 17.7 针对抓取点精准纠错，但缺乏全局校准
+ FB & PF = 2 (完整运行时配置) 84.6 24.1 精细相位保护结合周期校准，性能近乎无损
+ FB & PF = 3 81.6 21.9 延迟略降，但在部分精细装配任务中有微小跌落
+ FB & PF = 4 78.4 20.2 依然受制于长距离累积漂移

此外，在实体 UR5 机械臂传送带高速动态分拣任务中（传送带速度最高达 15 m/min），各方法在同步控制循环下的表现进一步印证了延迟敏感性：

方法 中速 (10 m/min) 小狗 / 毛刷 高速 (13 m/min) 小狗 / 毛刷 极速 (15 m/min) 小狗 / 毛刷
JAX-\(\pi_0\) [1] 20.0% / 50.0% 0.0% / 0.0% 0.0% / 0.0%
Triton-\(\pi_0\) [19] 80.0% / 40.0% 30.0% / 10.0% 0.0% / 0.0%
FLASH+Triton-\(\pi_0\) (本文) 80.0% / 90.0% 50.0% / 30.0% 20.0% / 10.0%

关键发现

  • 投机高命中率与高前缀覆盖率是加速的核心源泉：统计显示，在 LIBERO 任务中高达 66.8% 的重规划轮次成功由快速投机路径承接，平均接受的前缀长度覆盖了重规划窗口的 69.7%，极大摊薄了全量推理的高昂算力开销。
  • 传送带实机实验表明，基线方法的失败绝大多数并非由于策略理解错误，而是源自“过时的动作块（Stale Action Chunks）”——因推理延迟高达近 60 ms，机械臂闭合时目标早已随传送带移出抓取包络；而 FLASH 使得系统在 15 m/min 的极限动态速度下成为唯一具备抓取能力的方案。
  • 验证步数与门限的权衡呈现出明确的 Pareto 边界：\(K=2\) 个验证时刻与 \(\delta=0.15\) 的距离门限提供了最佳的延迟-准确率折中；过度增加验证时刻会显著推高并行张量开销，而门限过严则会过早触发回退。

亮点与洞察

  • 将流匹配数学特性无缝转化为投机验证机制：巧妙地将流匹配反向求解的“ODE 积分瓶颈”逆向转变为“线性插值速度单步外推优势”，避开了传统扩散模型无法并行验证连续状态的死穴。
  • 架构级 KV Cache 高效复用与异构算力解耦：将主要算力瓶颈（Compute-bound 的视觉与 VLM Prefill）通过跨轮 Cache 复用绕过，将 Memory-bound 的去噪环节通过小维度批处理并行打满带宽，充分压榨硬件执行效率。
  • 物理先验注入控制流安全门控：不仅依赖纯数学距离门限，更将机器人末端夹爪开闭动作作为状态相变的物理先验标志，以极简逻辑实现了对精细操作阶段的零开销保护。

局限与展望

  • 作者承认的局限：当前的验证时间步 \(K\)、距离阈值 \(\delta\) 以及夹爪回退逻辑仍依赖经验超参数设定，无法随轨迹局部曲率或动态环境自动调节。
  • 潜在优化空间：目前复用的视觉 KV Cache 在剧烈相机运动或视点发生大范围转移时可能引入残差偏差；若能引入自适应的视觉特征漂移感知模块，可进一步提升验证鲁棒性。
  • 未来改进思路：将 FLASH 与实时动作分块重叠执行（Real-Time Chunking, RTC）相结合，开发面向可变延迟与动态前缀长度的轨迹平滑优化控制算法，并向算力受限的边缘嵌入式端侧设备迁移。

相关工作与启发

  • vs \(\pi_0\) / \(\pi_{0.5}\): 原版流匹配 VLA 依赖固定的 10 步 ODE 求解器，每次重规划均需全量计算；本文在其之上搭建投机推理双路径，保持原有模型权重冻结不变，免去破坏性重训。
  • vs Triton-\(\pi_0\) / VLA-Perf: 现有系统级加速聚焦于底层 GPU 算子优化与层剪枝，未触碰算法层面的重规划调用逻辑；FLASH 处于控制回路决策层，二者可完全正交叠加。
  • vs Spec-VLA / EAGLE: 传统投机解码仅适用于基于离散 Token 自回归建模的具身大模型；FLASH 首次将投机范式成功拓展至连续流匹配动作空间。

评分

  • 新颖性: ⭐⭐⭐⭐⭐ [首次在基于流匹配的连续空间 dVLA 中建立免迭代并行投机验证范式]
  • 实验充分度: ⭐⭐⭐⭐⭐ [LIBERO 四大套件 2000 次评测加 UR5 实体机械臂高速动态分拣，消融极为详实]
  • 写作质量: ⭐⭐⭐⭐⭐ [动机剖析清晰，数学机制推导严谨，系统工程与硬件分析结合紧密]
  • 价值: ⭐⭐⭐⭐⭐ [极大拓宽了复杂扩散型 VLA 在高频物理世界闭环控制与边缘端部署的现实可行性]

相关论文