Towards More Efficient Decoding for Autoregressive Vision-language-action Models¶

会议: ECCV 2026
论文: ECCV 2026 论文主页
领域: 机器人/具身智能
关键词: 视觉语言动作模型 / 雅可比并行解码 / 一致性蒸馏 / 自适应早退解码 / 机器人高频控制

一句话总结¶

针对自回归视觉语言动作（VLA）模型高频推理受限的瓶颈，提出 CEED-VLA 框架，通过雅可比轨迹的一致性蒸馏打破序列依赖，并结合自适应早退解码消除尾部冗余迭代，在保证操作成功率的同时实现高达 4 倍以上的推理加速。

研究背景与动机¶

端到端视觉语言动作（Vision-Language-Action, VLA）模型已成为具身智能与机器人操作的核心范式。虽然近期部分工作引入流匹配（Flow Matching）与连续扩散策略以实现精细连续控制，但以 OpenVLA、π0-FAST、UniVLA 为代表的自回归（AR）架构凭借离散 Action Tokenization 方案，在训练样本效率、指令遵循以及视觉-语言-动作联合世界建模方面展现出不可替代的优势。然而，标准自回归解码固有的逐 Token 串行前向传播机制严重制约了模型的推理频率，成为高频末端控制和灵巧操作任务（如倒水、折毛巾等需要实时闭环反馈的场景）落地的核心瓶颈。

为打破自回归串行解码的吞吐上限，学术界尝试引入雅可比解码（Jacobi Decoding），将序列生成重构为非线性不动点方程系统的并行求解，期望在单次前向中同时预测多个 Token。然而在实际部署中，直接在自回归 VLA 上运行标准雅可比迭代仅能取得约 1.28× 的微弱加速。根本原因在于：传统自回归模型完全基于真实前缀（Teacher Forcing）训练，对历史错误 Token 极其敏感。在雅可比迭代的前期，前序 Token 往往尚未收敛，模型无法在错误前缀下正确预测后续 Token，导致单轮迭代通常只能确定一个正确的 Token，退化为伪并行。更为严重的是，雅可比解码要求前后两次迭代输出严格全等（$Y^{(k)} = Y^{(k-1)}$）的苛刻收敛条件，引发了大量长尾冗余迭代；在最差情况下其推理速度甚至显著低于原生自回归解码（最低速度从 30.87 tokens/s 暴跌至 19.50 tokens/s），造成不可预测的控制延迟与机械臂抖动。

针对上述自回归依赖与长尾收敛瓶颈，本文的核心切入点是将雅可比解码由“测试时被动求解”转变为“训练-推理协同优化”。核心 idea：提出 CEED-VLA 框架，先利用教师模型的雅可比轨迹进行一致性蒸馏，使学生模型具备从任意中间迭代状态一步映射到收敛不动点的自一致能力；并在推理阶段引入基于最小置信度阈值的自适应早退解码与 KV 缓存复用，消除尾部冗余迭代，实现高达 4 倍以上的自回归 VLA 推理加速。

方法详解¶

整体框架¶

CEED-VLA 针对自回归 VLA 解码效率低下的全链路进行系统重塑，主要包含四个阶段：预训练自回归教师模型初始化、离线雅可比求解轨迹采集、一致性蒸馏优化、以及测试时自适应早退与前缀状态复用推理。

整个流程始于给定的预训练自回归 VLA 教师模型 $P_\gamma$。在离线数据收集阶段，算法利用教师模型在机器人操作轨迹数据集上执行标准雅可比不动点求解，记录从随机初始 Token 序列演变到完全收敛不动点的完整状态轨迹 $\mathcal{J}$。在训练阶段，初始化具有相同架构参数的学生模型 $Q_\theta$，利用采集的雅可比轨迹构建一致性蒸馏目标，强迫学生模型直接将轨迹中任意扰动或未收敛状态一步投影至目标不动点，同时辅以自回归损失维持精准动作分布。在最终推理部署时，模型结合 Token 置信度评估机制，在达到预设置信水平时即刻早退退出循环，并结合不变前缀的注意力键值缓存，实现极简高效的控制输出。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：多视角图像观测 + 语言任务指令"] --> B["雅可比轨迹采集<br/>教师模型运行不动点迭代记录演化轨迹"]
    B --> C["一致性蒸馏学习<br/>强迫学生模型从任意中间点映射到收敛不动点"]
    C --> D["自适应早退解码<br/>动态监测最小置信度并放宽硬收敛截断冗余"]
    D --> E["前缀注意力状态复用<br/>固定任务指令与视觉提示的KV缓存"]
    E --> F["输出：高频流畅的连续动作Token序列"]

关键设计¶

1. 雅可比轨迹采集：挖掘多 Token 并行求解动力学轨迹 针对自回归 VLA 缺乏在错误历史上下文下并行纠错能力的问题，本设计系统收集了雅可比定点迭代生成的轨迹分布。对于给定的多模态输入（当前观测 $s_t$ 与语言指令 $l$）构成的提示前缀 $x$，传统自回归生成 $n$ 个动作 Token 需要执行 $n$ 次前向传播：$y_i = \arg\max_y p(y \mid \mathcal{Y}_{i-1}, x)$。雅可比解码将其转化为联立非线性方程组： $$y_i^{(j+1)} = \operatorname*{arg\,max}_{y}\;p\left(y \mid \mathcal{Y}_{i-1}^{(j)}, x\right), \quad i=1,\dots,n$$ 从均匀随机采样的初始序列 $Y^{(0)} = \{y_1^{(0)}, \dots, y_n^{(0)}\}$ 出发，每一轮前向并行更新全部变量，直至满足前后两轮完全一致的收敛条件 $Y^{(k)} = Y^{(k-1)}$，得到不动点 $Y^*:= Y^{(k)}$。将迭代全过程序列归档为轨迹集合 $\mathcal{J} = \{Y^{(0)}, Y^{(1)}, \dots, Y^*\}$，构造出覆盖非收敛噪声分布的蒸馏数据集 $\mathcal{D}$，为后续训练提供了显式的多步求解动力学先验。

2. 一致性蒸馏学习：建立从任意中间状态到收敛不动点的直连映射 传统 Jacobi 解码收敛缓慢的根源在于模型未见识过中间扰动状态。本设计借鉴生成模型的一致性模型（Consistency Models）思想，要求学生模型 $Q_\theta$ 具备内在自一致性（Self-Consistency）：无论输入处于雅可比轨迹 $\mathcal{J}$ 上的哪一个中间迭代点 $Y$，模型均能跳过漫长的多轮演变，直接一步预测出对应的收敛不动点 $Y^*$。具体而言，算法从轨迹 $\mathcal{J}$ 中随机采样一个中间状态 $Y$，将其与前缀拼接作为学生模型的输入，计算学生预测分布与停止梯度后的目标不动点分布之间的前向 KL 散度（Forward KL Divergence）： $$\mathcal{L}_{\text{C}} = \mathbb{E}_{(s_t, l, \mathcal{J})\sim \mathcal{D}, Y\sim \mathcal{J}}\left[\sum_{i=1}^n \mathrm{KL}\left(Q_{\theta^-}(\cdot \mid \mathcal{Y}_i^*, s_t, l) \,\parallel\, Q_\theta(\cdot \mid \mathcal{Y}_i, s_t, l)\right)\right]$$ 其中 $\theta^- = \text{stopgrad}(\theta)$。通过这种自一致性约束，模型在单次前向中产生所谓“固定 Token（Fixed Tokens）”的概率大幅跃升——即即使前置 Token 存在偏差，后续的关键控制 Token 也能被高置信度一次性预测正确，从根本上缩短了收敛路径。

3. 自适应早退解码：基于最小置信度放宽硬收敛条件 严苛的完全收敛判据（$Y^{(k)} = Y^{(k-1)}$）导致尾部迭代耗时极长，而在实际机械臂控制中，微小维度的细微翻转对最终控制量影响微乎其微。本设计在推理阶段引入基于模型自身输出置信度的自适应早退机制。定义在第 $j$ 次迭代中第 $i$ 个 Token 的置信度得分为输出分布的最大候选概率： $$c_{j,i} = \max_r Q_\theta\left(r \mid \mathcal{Y}_{<i}^{(j)}, s_t, l\right)$$ 并在当前序列维度上提取全局最脆弱维度的最小置信度：$c_{\min}^{(j)} = \min_{0 \le i \le n} c_{j,i}$。引入自适应阈值 $\sigma$（实验表明 $\sigma=0.5$ 处于最优平衡点），一旦当前迭代满足 $c_{\min}^{(j)} \ge \sigma$，解码器立即提前终止迭代循环，直接将当前中间序列 $Y^{(j)}$ 作为最终动作输出。这直接消除了长尾慢迭代，将解码器的最低吞吐速度从 19.50 tokens/s 激增至 62.07 tokens/s，确保了高频控制的周期确定性。

4. 前缀注意力状态复用：消除多轮迭代的视觉语言重复计算 由于在整个雅可比迭代过程中，包含第一视角图像、第三视角图像及文本任务指令的多模态前缀 Prompt 保持恒定，重复编码这些长上下文会导致严重的显存带宽与算力浪费。CEED-VLA 在首次迭代时将视觉编码器提取的 Patch 特征与文本 Token 的 Key-Value 向量进行静态锁定与缓存（KV Cache Reuse），在后续所有雅可比更新迭代中仅对动作 Token 部分进行轻量化注意力计算与隐藏状态更新，进一步压榨出端到端的运行频率。

损失函数 / 训练策略¶

为了防止模型在纯一致性学习中发生策略分布漂移、退化动作精度，训练目标融合了经典的自回归行为克隆监督： $$\mathcal{L}_{\text{AR}} = \mathbb{E}_{(s_t, l, \mathcal{J})\sim \mathcal{D}}\left[-\sum_{i=1}^n \log Q_\theta\left(\mathcal{Y}_i^* \mid \mathcal{Y}_{<i}^*, s_t, l\right)\right]$$ 模型的总体优化目标定义为两者的加权组合： $$\mathcal{L}(\theta) = \mathcal{L}_{\text{C}} + \omega \mathcal{L}_{\text{AR}}$$ 其中超参数 $\omega$ 平衡加速倍率与控制成功率，默认设为 $1.0$。在训练效率方面，以 8 张 NVIDIA A100 GPU 为基准，基础模型微调需 48 小时，而 CEED-VLA 仅需 2 小时完成轨迹收集、12 小时完成一致性蒸馏，轨迹数据更可跨实验重复复用，具有极高的工程实用价值。

实验关键数据¶

主实验¶

论文在模拟基准 CALVIN（ABC→D 连续长程评估）和 LIBERO（Long 10 任务长程套件）上，针对 LLaVA-VLA、OpenVLA、π0-FAST 及统一世界模型架构 UniVLA 展开全方位验证。

基准与底模配置	动作分块大小	解码方法	推理速度 (Tokens/s)	任务指标 (Avg Len / SR %)	控制频率 (Hz)
CALVIN (LLaVA-VLA)	- (单步)	标准自回归 (AR)	39.6 (1.0×)	2.01	2.23 (1.0×)
CALVIN (LLaVA-VLA)	Chunk 5	标准自回归 (AR)	39.6 (1.0×)	3.70	4.33 (1.9×)
CALVIN (LLaVA-VLA)	Chunk 5	FastV (视觉剪枝)	28.7 (0.7×)	2.54	1.87 (0.8×)
CALVIN (LLaVA-VLA)	Chunk 5	SparseVLM (稀疏化)	32.4 (0.8×)	2.83	2.01 (0.9×)
CALVIN (LLaVA-VLA)	Chunk 5	PD-VLA (传统并行解码)	52.8 (1.3×)	3.69	5.43 (2.4×)
CALVIN (CEED-VLA, 本文)	Chunk 5	自适应早退并行解码	79.0 (2.0×)	3.68	7.26 (3.3×)
LIBERO-Long (OpenVLA)	- (单步)	标准自回归 (AR)	54.4 (1.0×)	53.2%	5.95 (1.0×)
LIBERO-Long (OpenVLA)	Chunk 3	标准自回归 (AR)	54.4 (1.0×)	60.4%	7.08 (1.2×)
LIBERO-Long (OpenVLA)	Chunk 3	PD-VLA (传统并行解码)	85.0 (1.6×)	62.4%	10.79 (2.4×)
LIBERO-Long (CEED-VLA, 本文)	Chunk 3	自适应早退并行解码	225.2 (4.1×)	62.3%	25.62 (4.3×)

在新型动作分词器与多架构适配性评测中，CEED-VLA 在 LIBERO 四个任务集上的表现同样保持了极高保真度：

评估基线与模型	空间任务 (Spatial) SR% / 速度	物体任务 (Object) SR% / 速度	目标任务 (Goal) SR% / 速度	长程任务 (Long) SR% / 速度	全局平均 (Avg) SR% / 速度
π0-FAST (基线)	96.4% / 105.3	96.8% / 108.1	88.6% / 109.2	60.2% / 107.5	85.5% / 107.5 (1.0×)
π0-FAST + CEED-VLA	96.6% / 419.4	96.2% / 422.1	89.4% / 421.6	59.9% / 419.3	85.5% / 420.6 (3.9×)
UniVLA (基线)	97.0% / 50.2	99.0% / 50.6	92.6% / 50.4	90.8% / 51.1	94.8% / 50.6 (1.0×)
UniVLA + CEED-VLA	96.8% / 200.4	98.2% / 199.6	92.0% / 198.7	90.6% / 202.4	94.4% / 200.3 (4.0×)

真机实验在双臂 AgileX PiPer 机械臂上展开（20 轮/任务，共 80 轮评测）： - 基础任务：按按钮（Push button）成功率从 LLaVA-VLA 的 65% 跃升至 CEED-VLA 的 85%；抓取木块（Lift block）从 40% 提升至 70%。 - 高频灵巧操作：倒水（Pour water）从 15% 激增至 80%；折毛巾（Fold towel）从 5% 激增至 75%。整体平均成功率从 33.25% 翻倍至 77.50%，控制频率由 3.3 Hz 提升至 13.0 Hz（3.9× 加速）。

消融实验¶

针对 OpenVLA 在 LIBERO-Long 上的核心组件拆解分析：

雅可比解码 (Jacobi)	一致性蒸馏 (Consistency)	自适应早退 (Early-exit)	推理加速比 (Speedup)	任务成功率 (%)
✓	✓	✓	4.1×	62.3%
✓	✓	✗	2.5×	61.2%
✓	仅 AR 微调	✗	2.3×	54.2%
✓	✗	✗	1.6×	62.4%
✗	✗	✗ (标准 AR)	1.0×	60.4%

自适应早退阈值 $\sigma$ 的敏感性测试（不同平台权衡分析）：

置信度阈值 $\sigma$	CALVIN ABC→D (速度 / 均长)	LIBERO-10 (速度 / 成功率)	Real-world (速度 / 成功率)	结论与分析
$\sigma = 0.7$	1.3× / 3.72	1.5× / 61.3%	1.8× / 81.0%	收敛条件偏严，加速提升受抑
$\sigma = 0.6$	1.5× / 3.68	2.4× / 60.5%	2.5× / 79.0%	中度加速，成功率基本无损
$\sigma = 0.5$ (本文默认)	2.0× / 3.67	3.9× / 59.9%	3.9× / 77.5%	全局帕累托最优平衡点
$\sigma = 0.4$	3.2× / 3.63	4.6× / 58.3%	4.4× / 72.5%	加速极高，但灵巧控制精度出现衰减

解码速度极值分布对比： - AR 解码：平均速度 39.64 tokens/s，最低 30.87，最高 49.10。 - 传统 Jacobi 解码：平均速度 57.57 tokens/s，最低 19.50，最高 82.64（证实冗余迭代导致最低速度恶化）。 - 自适应早退解码（CEED-VLA）：平均速度 79.24 tokens/s，最低 62.07，最高 93.53（全面消除掉速瓶颈）。

关键发现¶

一致性蒸馏是并行能力涌现的基石：实验显示 LLaVA-VLA 在原生状态下单步产出的“固定 Token”（Fixed Tokens）数量为 0，而 PD-VLA 提升至 8.75，CEED-VLA 则激增至 13.5。若直接截断未经一致性训练的中间迭代状态，当迭代步数截断至 8 步时，CALVIN 成功均长从 3.70 断崖式下跌至 1.44；而经过一致性蒸馏后仍可稳定保持在 3.34 以上。
高频闭环执行是灵巧操作成功的关键使能因素：在轻量级机械臂（AgileX PiPer）上，传统低频 AR 推理带来的延迟会诱发周期性停顿与机械抖动，导致布料滑脱或液体泼洒。CEED-VLA 将端到端运行频率拉升至 13.0 Hz 以上后，动作平滑度质变，使得高难灵巧任务成功率暴涨数倍。
数据与算力开销极小：蒸馏仅需 60K 雅可比轨迹即可达成性能饱和，单卡训练时间仅需数小时，展现出极高的工业落地潜力。

亮点与洞察¶

训练-推理联合协同重塑解码动力学：不同于常规仅在推理端打补丁的启发式并行策略，CEED-VLA 创新性地引入生成模型中的一致性蒸馏思想，主动重塑了 VLA 面对中间残缺前缀时的预测分布。
极具实操价值的早退置信度截断：敏锐捕捉到雅可比解码中“尾部细微翻转对机器人末端动作无实质贡献”这一物理事实，以极轻量的最小置信度早退机制，彻底治愈了传统并行迭代速度抖动的长尾顽疾。
完全正交且可即插即用的通用适配性：该方案无需更改主干网络权重维度，与动作分块（Action Chunking）、频域 Token 压缩（FAST）、VQ 图像离散化（UniVLA）天然解耦，可无缝叠加其他模型压缩加速技术。

局限与展望¶

依赖预训练教师模型的轨迹质量：一致性蒸馏的上限严格受制于教师模型本身的动作规划水平；若教师模型本身存在幻觉或失败轨迹，蒸馏过程可能会放大次优行为。
离散动作空间的内在约束：当前框架主要立足于自回归离散 Tokenization 架构；对于完全基于连续扩散或 Flow Matching 头的 VLA 模型（如原始 π0、GR00T 等），该解码机制无法直接平移应用。
动态阈值有待深化：目前早退阈值 $\sigma$ 在动作各维度上采用统一固定标量；未来若能根据机械臂不同自由度（如大臂粗略平移 vs 手爪精细开合）自适应分配差异化置信度阈值，有望进一步压榨解码极速。

评分¶

新颖性: ⭐⭐⭐⭐☆ [创造性地将一致性蒸馏迁移至具身动作并行解码动力学优化]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖仿真与真实双臂灵巧操作，包含细致的消融实验与速度极值分析]
写作质量: ⭐⭐⭐⭐⭐ [动机叙述丝丝入扣，公式推导严谨，图表表达信息密度极高]
价值: ⭐⭐⭐⭐⭐ [攻克了离散自回归具身智能体工业化实机部署的实时性核心瓶颈]

置信度阈值 \(\sigma\)	CALVIN ABC→D (速度 / 均长)	LIBERO-10 (速度 / 成功率)	Real-world (速度 / 成功率)	结论与分析
\(\sigma = 0.7\)	1.3× / 3.72	1.5× / 61.3%	1.8× / 81.0%	收敛条件偏严，加速提升受抑
\(\sigma = 0.6\)	1.5× / 3.68	2.4× / 60.5%	2.5× / 79.0%	中度加速，成功率基本无损
\(\sigma = 0.5\) (本文默认)	2.0× / 3.67	3.9× / 59.9%	3.9× / 77.5%	全局帕累托最优平衡点
\(\sigma = 0.4\)	3.2× / 3.63	4.6× / 58.3%	4.4× / 72.5%	加速极高，但灵巧控制精度出现衰减