Fast-dVLA: Accelerating Discrete Diffusion VLA to Real-Time Performance¶

会议: ECCV2026
论文: ECCV 原文
领域: 机器人/具身智能；VLM 推理效率
关键词: 视觉语言动作模型、离散扩散、分块因果注意力、扩散强制、非对称蒸馏

一句话总结¶

Fast-dVLA 把离散扩散 VLA 改造成可缓存前缀、可跨块并行去噪的模型，以少量非对称蒸馏完成适配，在 LIBERO 上将 Dream-VLA 的解码吞吐从 98.8 提高到 313.1 tokens/s，并在实机任务报告 30 Hz 执行频率。

研究背景与动机¶

视觉语言动作模型（VLA）要把相机观测和语言指令转成机器人控制。离散扩散 VLA 把动作编码为离散 token，通过反复预测被掩码的位置生成动作序列，既不必逐 token 自回归，也不需要另接连续流匹配动作头。这有利于把视觉、语言和动作放进统一的表示与生成过程，但“每次能预测多个 token”并不等于整条动作序列生成得快：双向注意力使前面已经生成的 token 仍受后方变化影响，其 Key-Value（KV）状态随去噪迭代改变，无法像自回归模型那样稳定缓存。

直接换成普通 block diffusion 可以恢复缓存，却把不同动作块严格串行化：必须等当前块完全生成，下一个块才能开始。作者在 Dream-VLA 上观察到，即使使用双向注意力，动作去掩码仍大体从较早时间步向较晚时间步推进。作者将其解释为自回归初始化的残留特性与动作时间依赖共同作用；这是一项经验观察，而不是所有离散扩散模型都必然满足的定理。它提示可以保留块级时间顺序，却不必强迫后面的动作等到前面完全确定才开始预测。

关键因此不只是减少前向次数，还要让每次前向少算已经稳定的部分，同时允许多个尚未完成的块共享一次计算。核心 idea：用分块因果注意力保证已完成前缀的 KV 不再变化，用扩散强制训练模型依赖尚未完全去噪的前驱，再用非对称蒸馏和分阶段激活的流水线把这种依赖关系落到高效推理。

方法详解¶

整体框架¶

输入是视觉观测、语言指令和待生成的动作 token 序列；对于 UD-VLA，还包含用于未来视觉预测的离散 token。模型按时间把输出划成若干块，块内并行预测，块间只允许向前缀读取信息。训练先适配注意力和噪声分布，推理再维护一个不断增长的活跃块流水线，最后把生成的动作 token 解码成机器人可执行的控制。

下面实线区分训练数据流和在线解码流，虚线只表示蒸馏后参数的交付。在线推理不调用教师，也不需要真实未来动作；教师读取的全局含噪序列只用于训练监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["训练动作序列"] --> B["分块因果注意力"]
    B --> C["扩散强制"]
    C --> D["非对称蒸馏"]
    T["双向教师<br/>全局含噪上下文"] -->|掩码位置分布监督| D
    D -.->|学生参数| E["流水线并行解码"]
    I["在线观测与指令<br/>全掩码输出块"] --> E
    E --> O["动作 token 与控制"]
    E -->|缓存已完成前缀并继续去噪| E

关键设计¶

1. 分块因果注意力

普通双向注意力的问题不是 token 值有没有固定，而是它的表示仍会读取未来变化的内容。Fast-dVLA 让一个块只能看到提示前缀、之前的块和自己，不能读取后面的块；同一块内部仍保留双向交互。这样，已完成前缀不会再受到后续块去噪的影响，稳定的 KV 就可以保存下来，后续前向只计算尚未完成的部分。准确地说，可安全复用的是已完成且前驱也稳定的前缀，而不是任意一个碰巧先填满的后方块。

块边界也不是任意切分。对于 Dream-VLA 和 DD-VLA，默认块大小为 7，即一个时间步完整动作的 token 数；把同一时刻的动作维度留在一起，能让它们在块内同时协调，而不把一个控制向量拆成额外的因果限制。对输出长达 625 tokens 的 UD-VLA，作者改用 32 的倍数作为块大小。这说明动作维度对齐是针对表示形式的设计原则，不意味着所有模型都固定用 7-token 块。

2. 扩散强制

有了块级因果约束，最直接的解码方式仍是一个块接一个块地完成。Fast-dVLA 进一步改变训练时各块的噪声状态：较早块使用较低掩码比例，较晚块使用较高掩码比例，形成单调递增的损坏程度。学生因此学到的是“根据不完全干净的前驱预测当前块”，而不是只会在前面所有动作都已确定时预测后面动作。块内还没揭开的 token 由模型预测，已经揭开的 token 保持不变。

这使块间并行成为与训练分布相容的行为：前块接近完成时，后块就可以利用其已有信息开始去噪；同一次前向既推进前块，也给后块积累可靠预测。这里的并行并没有恢复全局双向注意力，后块依然不能反过来改变前块。扩散强制负责让模型能适应不同块的不同噪声水平，分块因果注意力则负责让已经稳定的前缀可缓存，两者解决的是不同瓶颈。

3. 非对称蒸馏

作者不从头训练一个新的机器人基础模型，而是从已经完成任务微调的离散扩散 VLA 出发。教师维持双向注意力，学生使用分块因果注意力，两者架构相同，并接收同一套单调噪声日程。对于同一个被掩码的位置，教师能够参考整条含噪序列，学生只能参考当前块及其前缀；通过对这些位置的预测分布施加 KL 散度约束，学生学习用受限上下文逼近教师的预测。

“非对称”指的是可见上下文不同，而不是让教师在推理时帮助学生补全未来。这样可以利用已微调模型的动作知识，把新增训练集中在适应新的注意力与噪声组合上。缓存中的式（1）至式（4）存在明显 PDF 抽取损坏，因此这里不补写成声称精确的作者公式，也不据残片断言 KL 的实现方向；可确认的是对掩码位置聚合分布差异，并以非对称蒸馏作为默认适配目标。

4. 流水线并行解码

推理不一次强行揭开所有块，而是根据前驱块完成程度逐步增加并行度。完成比例指一个块中已经解除掩码的 token 数占该块 token 总数的比例。当前驱超过添加阈值时，下一个块进入半激活状态，只接受预测置信度超过阈值的 token；当前驱进一步超过激活阈值，后继进入全激活状态，除置信度筛选外，还按置信度排序保证每步至少解码剩余 token 的一定比例。论文写为 \(1/n\)，但本地正文没有充分说明该参数的具体设定，不能据此补造默认值。

半激活阶段相当于只提前提交比较可靠的预测，避免后继在前驱仍不确定时被迫大量定值；全激活阶段则防止一直等不到高置信 token 而停滞。生成结束的稳定前缀转为缓存状态，后续块继续共享前向计算。这不是对动作提前终止，也不是减少机器人必须执行的动作数，而是在保持同一输出任务的前提下重排计算。正文图 6 的阈值分数在文本缓存中粘连，故不将其抄成可直接运行的数值配置。

一个完整示例¶

以默认 7-token 动作块为例，设机器人要根据当前画面执行“把物体放入托盘”。初始动作块都是掩码，第一个活跃块先预测若干动作维度；它尚未完成，但可靠信息积累到添加条件后，第二块就被加入同一次前向。第二块此时只提交高置信预测，不强迫一次确定完整动作。

随后第一块更加完整，第二块进入全激活状态；第二块又可以为第三块提供逐渐清晰的前驱上下文。第一块及其前缀稳定后，其 KV 被缓存，后面只继续计算活跃块。这个例子解释的是状态转换，不是论文实测的一条 token 轨迹；它也说明为什么“跨块并行”与“块级因果缓存”并不冲突：允许同时处理，不等于允许前块读取后块。

损失函数 / 训练策略¶

原始 dVLA 使用被掩码动作位置上的交叉熵重建目标；Fast-dVLA 的默认后训练改为上述非对称分布蒸馏。论文还对比了从已微调权重继续做块扩散训练，以及从预训练 dVLA 开始适配块扩散的方案。这里的“从头”比较起点仍与预训练模型有关，不能理解为从随机初始化训练整个 VLA。

实验设置中，Dream-VLA 和 DD-VLA 各蒸馏 4k 步，分别约为原任务微调预算的 1/5 和 1/8；UD-VLA 蒸馏 3k 步、batch size 为 12，约为其原微调步数的 1/8，其余训练超参数沿用原模型。另一个 Dream-VLA/LIBERO 收敛分析显示蒸馏约 2,000 步即可收敛，这是图 8 的效率观察，不应把它与正式实验使用的 4k 步混成同一配置。

论文对 UD-VLA 的半激活置信度阈值选择为 0.5。它控制是否提前接受 token，不是任务成功率阈值，也不决定注意力是否因果；部署时需要与添加、激活条件一起考虑。

实验关键数据¶

主实验¶

表 1 整理原文表 1 的 LIBERO 结果，成功率是 Spatial、Goal、Object、Long 四组的平均值，以下转成百分数；速度为离散输出解码吞吐 tokens/s，不等于闭环控制频率。本文缓存正文未给出这些速度测试的 GPU 型号、完整计时边界和推理 batch size，因此它们应被视为作者实验设置下的比较，而不是跨硬件保证。

基础模型	解码策略	平均成功率（%）	速度（tokens/s）
Dream-VLA	原始离散扩散	85.6	98.8
Dream-VLA	Fast-dLLM	82.8	183.2
Dream-VLA	Block Diffusion	85.8	181.7
Dream-VLA	Fast-dVLA	87.0	313.1
DD-VLA	原始离散扩散	96.3	152.1
DD-VLA	Fast-dLLM	93.5	312.5
DD-VLA	Block Diffusion	96.7	322.1
DD-VLA	Fast-dVLA	96.6	402.7

加速口径必须区分：Dream-VLA 相对自身为 313.1/98.8，约 3.17×；DD-VLA 相对自身为 402.7/152.1，约 2.65×。原文表 1 把最后一项标为 4.1×，对应的是 402.7/98.8，即共同的 Dream-VLA 基准；不能把它直接写成 DD-VLA 自身提升 4.1×。DD-VLA 的完整方法也不是表中成功率最高者，其 96.6% 略低于 Block Diffusion 的 96.7%。

原文表 2 的 CALVIN ABCD→D 评测中，UD-VLA 的速度从 67.3 增至 186.7 tokens/s，约 2.8×；平均连续完成任务数从 4.64 降至 4.54，五任务全部完成率从 0.840 降至 0.812。这里平均长度指机器人连续完成的任务数，不是语言句长，提速也并非完全无损。

原文表 4 的 SimplerEnv WidowX 四任务中，Dream-VLA 平均任务成功率从 51.0% 增至 59.3%，速度从 100.1 增至 366.4 tokens/s。抓取成功率与最终任务成功率是两个指标；这里引用的是后者，不把抓到物体等同于完成放置或堆叠。

消融实验¶

表 2 对应原文表 5，基础模型是 Dream-VLA，评测为 LIBERO-Long；作者在 7 到 14 的块大小范围内比较多种选择并求平均。“动作维度倍数”不是新动作编码器，而是块边界与现有动作表示对齐。

块大小选择	成功率（%）	原文报告加速比
动作维度的倍数	74.7	4.01×
随机块大小	73.3	3.95×

两组相差 1.4 个百分点，支持动作对齐分块的价值。但原文表 5 的加速比分母未在该表明确重述，不应直接与表 1 的平均吞吐相除核算。图 9 还表明降低半激活置信度阈值可以提速但损害性能，作者选择 0.5；正文所称约 2% 性能下降没有清楚交代度量口径，因此不将其换算成成功率百分点。

关键发现¶

原文图 8 中，蒸馏约 2,000 步收敛，相比从微调权重继续块扩散训练约快 5×，相比从预训练起点适配约少一个数量级的步数；这比较的是收敛步数，不是实测总训练时长。
实机采用 AgileX 双臂、每臂 6 自由度加夹爪、一个俯视相机和两个腕部相机；三项任务各收集 100 条专家示范、各评测 40 次，图 7/第 5.4 节报告 30 Hz 执行频率。
传送带抓取按每分钟成功抓取数评估，作者描述效率接近翻倍；图中精确柱状数值未被文本缓存保留，这里不猜读。另两项蔬菜任务完成时间下降，但成功率相对基线略有损失。

亮点与洞察¶

加速对象是注意力依赖与解码日程的组合。只缓存会引入陈旧状态，只按块串行会损失并行度，二者需要通过训练共同适配。
对动作时间结构的利用比一般语言序列切块更具体。把同一时刻的控制维度留在同块，能在局部双向交互与全局时间顺序之间建立有实际语义的边界。
全局教师向局部学生传递预测分布，是一种低成本改变生成依赖结构的方法。它不是简单删掉双向注意力后沿用原权重，而是让新可见范围得到专门训练。

局限与展望¶

作者报告的实际代价：UD-VLA 的 CALVIN 长程成功表现有所回落，实机两项语义任务也有轻微成功率损失，不能概括为所有设置完全无损。
阅读判断：正文未完整披露推理硬件与端到端计时边界，tokens/s 和机器人执行 Hz 不可互换；仅凭 30 Hz 不能确定感知、规划、通信各环节的尾延迟。
阅读判断：块大小、半激活阈值和动作离散方式有关，跨机器人、动作维度或更长视觉序列时仍需要调参和复测，并非无需训练的即插即用缓存。
可改进方向：补充不同硬件上的端到端延迟分位数、动作块长度敏感性和动态扰动评测，才能更完整检验实时控制收益与安全边界。

评分¶

新颖性: 4/5。将动作结构、扩散强制和缓存流水线结合，构件有前作基础，但适配目标明确。
实验充分度: 4/5。覆盖三类 dVLA、三套仿真基准与实机任务，硬件和尾延迟披露仍不足。
写作质量: 3/5。机制解释清楚，但部分加速比分母与性能下降口径容易混淆。
价值: 4/5。为保留离散统一生成能力的机器人策略提供了有实机证据的加速路径。