CondenseVLA: Learnable History Condensation for Efficient Multi-Frame VLA¶
会议: NeurIPS 2026
arXiv: 2610.25927
代码: https://github.com/FeiyangHong/CondenseVLA
领域: 多模态VLM
关键词: 视觉语言动作模型 (VLA), 多帧时序建模, 可学习历史压缩, 槽位注意力, 具身智能
一句话总结¶
CondenseVLA 在多帧 VLA 的扩散动作解码器前引入可学习历史压缩（LHC）模块，利用可学习槽位查询跨注意力将 FIFO 缓存的变长多帧特征浓缩为固定数量的上下文槽位，并配合注意力多样性与特征去相关正则，在保持极低延迟的同时大幅提升机械臂多阶段与部分可观测任务的成功率。
研究背景与动机¶
机器人操作任务（尤其是长时程与部分可观测操作）高度依赖瞬时时序线索，例如短暂的物体接触、局部遮挡以及物体的中间转移状态。单帧观测在这些关键节点上往往存在歧义——例如在连续两次抓放任务中，当前单帧图像仅显示机械爪正抓着物体，却无法分辨这是刚完成第一次放置准备返回，还是正在前往第二个目标盘。现有的单帧视觉语言动作（VLA）模型（如 OpenVLA、RT-2）缺乏显式的历史观测输入，极易在任务推进中遗忘子目标进度。然而，若直接通过堆叠更多历史帧来扩充时序上下文，不仅会使前向传播的计算开销与推理延迟急剧攀升（如相关研究显示仅增加 4 帧过去观测就会使模型推理耗时增加约 35%），而且由于相邻帧之间存在大量高度重复的冗余视觉信息，固定间隔的机械采样甚至可能引入无关噪声、漏掉瞬时关键事件，导致策略性能不升反降。
这暴露出多帧 VLA 建模的核心矛盾：长时程与接触敏感型操作迫切需要短期时序信息来消解状态歧义，但原始视觉历史的高冗余度与高计算代价严重制约了窗口扩展。现有的折中方案要么通过平均池化将历史强行压缩为单一上下文 token（损失了细粒度线索），要么依赖密集的目标检测与 3D 点追踪（引入过重的额外感知管线），缺乏兼具轻量性与任务自适应能力的表征机制。
本文的切入角度是：解耦单帧语义编码与时序特征聚合，在冻结的 VLM 骨干网络之后、扩散动作解码器之前构建一个轻量级的解码器侧压缩接口。核心 idea：提出可学习历史压缩（LHC）机制，通过固定数量的可学习槽位查询对 FIFO 缓存的历史特征执行跨注意力浓缩，配合注意力多样性与槽位去相关正则化消除冗余，以固定且紧凑的 token 预算为动作解码器注入关键时序证据。
方法详解¶
整体框架¶
CondenseVLA 的整体架构分为三个紧密协作的阶段：单帧语义特征提取与缓存、可学习历史压缩（LHC）、以及基于扩散 Transformer 的动作解码。在每个环境决策步 \(t\)，系统只对当前 RGB 观测图像与语言指令运行一次冻结的 VLM 骨干网络（由 SigLIP、DINOv2 视觉编码器与 LLaMA2 语言模型组成），通过可训练的多模态投影层得到当前帧特征 \(f_t \in \mathbb{R}^D\)（其中 \(D=4096\)）。历史帧特征则从容量为 \(M\) 的先进先出（FIFO）缓存队列中直接读取复用，无需重复前向推理。接着，LHC 模块利用 \(K\) 个可学习槽位查询（\(K \ll M\)）对缓存中的 \(M\) 个历史特征执行多头跨注意力，提炼出固定数量的压缩时序槽位 \(\tilde{F}_t \in \mathbb{R}^{K \times D}\)。最后，压缩历史槽位与当前帧特征拼接形成固定长度的条件序列 \(Z_t = [\tilde{F}_t; f_t] \in \mathbb{R}^{(K+1) \times D}\)，驱动扩散动作解码器预测未来的动作块（action chunk）。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
In["当前观测 (o_t, x)"] --> Enc["单帧 VLM 编码器<br/>(冻结 SigLIP + DINOv2 + LLaMA2)"]
Enc --> Ft["当前帧特征 f_t"]
Ft --> FIFO["FIFO 历史特征缓存<br/>(F_t: 最近 M 帧特征)"]
FIFO -->|stop-gradient 截断| LHC["可学习历史压缩 (LHC)<br/>K 个可学习查询跨注意力聚合"]
LHC --> Slots["压缩历史槽位 F~_t<br/>(K 个紧凑向量)"]
Slots --> Cat["时序特征融合<br/>Z_t = [F~_t ; f_t]"]
Ft --> Cat
Cat --> DiT["扩散动作解码器<br/>DiT-style 噪声预测"]
DiT --> Out["输出动作块 a_{t:t+Ta-1}"]关键设计¶
1. 解码器侧可学习历史压缩：以固定槽位预算动态汇聚长时序线索 针对简单拼接历史帧带来的显存与计算暴涨问题，CondenseVLA 将时序浓缩置于动作解码器接口处。LHC 维护 \(K\) 个槽位向量，每个槽位 \(i\) 由基础可学习查询 \(q_i^{\text{base}}\)、槽位嵌入 \(e_i^{\text{slot}}\) 以及打破置换对称性的固定相对标量 \(r_i = \frac{i-1}{K-1}\) 组合而成，经过两层 SiLU MLP 变换得到查询向量： $\(q_i = \mathrm{MLP}([q_i^{\text{base}}; r_i]) + e_i^{\text{slot}},\quad i=1,\dots,K\)$ 查询向量 \(q \in \mathbb{R}^{K \times D}\) 与缓存历史特征 \(F_t \in \mathbb{R}^{M \times D}\) 计算多头注意力。为感知时序先后顺序，模型在值路径（Value）上叠加了仅注入值向量、带可学习零初始化缩放因子的位置表 \(E_{\text{time}} \in \mathbb{R}^{M \times D}\)，而键路径（Key）不注入时间偏置，从而让注意力权重完全由视觉内容和指令相关性自适应驱动。该设计使得解码器输入 token 数固定为 \(K+1\)（展开后为 \(K+6\)），完全与历史窗口大小 \(M\) 解耦，实现了即使将历史帧扩展至 \(M=20\) 或 \(M=30\)，扩散解码开销也几乎恒定。
2. 辅助正交正则化：惩罚重叠并消除槽位表征冗余 若缺乏对槽位学习过程的约束，多个槽位容易收敛到相似的历史帧或高度相关的特征模式上，导致有效容量退化。为此，CondenseVLA 引入了两种轻量级的辅助正则化损失。首先是注意力多样性损失 \(\mathcal{L}_{\mathrm{div}}\)，对多头与局部批次平均并经行归一化的注意力图 \(\bar{A} \in \mathbb{R}^{K \times M}\) 计算与单位阵的距离： $\(\mathcal{L}_{\mathrm{div}} = \frac{1}{K^2} \|\bar{A}\bar{A}^\top - I\|_F^2\)$ 其中非对角线惩罚不同槽位之间的注意力分布重叠，对角线则激励每个槽位形成尖锐聚焦的注意力模式。其次是槽位去相关损失 \(\mathcal{L}_{\mathrm{slot}}\)，通过最小化特定槽位对之间嵌入表示的余弦相似度平方，促使槽位捕获互补的动态信息。
3. 中间槽位掩码去相关机制：保留两端锚点并约束内部槽位分工 在槽位去相关策略上，论文没有对所有槽位对施加无差别的惩罚（All-pairs），而是创新地提出了中间槽位掩码（Middle-only）规则：仅惩罚内部槽位对 \(\mathcal{P} = \{(i,j): 2 \leq i < j \leq K-1\}\) 之间的余弦相似度： $\(\mathcal{L}_{\mathrm{slot}} = \frac{1}{Z} \sum_{b=1}^B \sum_{2 \leq i < j \leq K-1} \cos^2(\tilde{f}_{b,i}, \tilde{f}_{b,j}),\quad Z = \max\left(\sum_{b=1}^B \sum_{i<j} w_{b,ij}, \varepsilon\right)\)$ 可视化分析表明，边界槽位通常自发承担起锚定“较早历史起始状态”与“最近过渡状态”的角色，而中间槽位负责抓取复杂的中间操作细节。固定内部槽位去相关既解除了对端点槽位的过度约束，又迫使中间槽位探索多元化的动作线索，实验证明其表现显著优于全局惩罚或样本自适应动态掩码。
损失函数 / 训练策略¶
微调阶段冻结了 7.47B 的 VLM 主干权重，仅优化多模态投影器（71.4M）、LHC 模块（100.8M）与扩散动作解码器（134.7M）。送入 LHC 的历史特征通过梯度截断（stop-gradient）阻断反向传播，仅保留当前帧特征的梯度来更新多模态投影器，极大降低了显存消耗。模型整体训练目标为： $\(\mathcal{L} = \mathcal{L}_{\mathrm{diff}} + \lambda_{\mathrm{div}} \mathcal{L}_{\mathrm{div}} + \lambda_{\mathrm{slot}} \mathcal{L}_{\mathrm{slot}}\)$ 其中 \(\mathcal{L}_{\mathrm{diff}}\) 是扩散过程的标准动作块均方误差噪声预测损失；超参数设置 \(\lambda_{\mathrm{div}} = 0.06\)，\(\lambda_{\mathrm{slot}} = 0.001\)。优化器采用 AdamW，恒定学习率 \(2 \times 10^{-5}\)，梯度裁剪范数设为 1.0。推理时采用 10 步 DDIM 采样快速生成动作序列。
实验关键数据¶
主实验¶
在真实到仿真迁移基准 Simpler-WidowX（4 个视觉匹配任务）、仿真基准 LIBERO（4 个任务套件共 40 个任务）以及真实机械臂 Galaxea R1 Lite 平台上进行了全面评估。基线模型 CronusVLA 采用相同的密集多帧架构，CondenseVLA 在各评测场景均显著领先。
| 评估基准 / 任务 | 评估指标 | CondenseVLA (本文) | CronusVLA (同协议基线) | 相比基线提升 | 外部参考方法与结果 |
|---|---|---|---|---|---|
| Simpler-WidowX (Spoon on Towel) | 成功率 (%) | 80.6 | 66.7 | +13.9 pp | HAMLET: 75.0% / MemoryVLA: 75.0% |
| Simpler-WidowX (Carrot on Plate) | 成功率 (%) | 66.7 | 51.4 | +15.3 pp | HAMLET: 62.5% / ContextVLA: 56.0% |
| Simpler-WidowX (Stack Cube) | 成功率 (%) | 33.3 | 22.2 | +11.1 pp | ContextVLA: 41.3% / SpatialVLA: 41.7% |
| Simpler-WidowX (Eggplant in Basket) | 成功率 (%) | 98.6 | 94.4 | +4.2 pp | HAMLET: 100.0% / MemoryVLA: 100.0% |
| Simpler-WidowX 平均 | 平均成功率 (%) | 69.8 | 58.7 | +11.1 pp | OpenVLA: 3.1% / CronusVLA: 58.7% |
| LIBERO 平均 (40 任务) | 平均成功率 (%) | 97.2 | 96.3 | +0.9 pp | \(\pi_0\) (含状态): 94.2% / OpenVLA-OFT: 97.1% |
| RMBench 显式时序依赖基准 | 全任务成功率 (%) | 21.6 | 14.3 | +7.2 pp | OpenVLA (单帧): 4.7% |
| 真实机械臂 Galaxea R1 Lite | 平均最终成功率 (%) | 52.8 | 45.2 | +7.6 pp | \(\pi_0\): 36.8% / OpenVLA-OFT: 23.2% |
消融实验¶
在 Simpler-WidowX 上的组件消融、正则化方案对比及历史采样策略对比充分验证了各模块有效性：
| 配置 / 对比变体 | 历史与槽位设置 (\(M, K\)) | 归约规则 / 机制 | 平均成功率 (%) | 相比本文差距 (pp) |
|---|---|---|---|---|
| CondenseVLA (完整模型) | \(M=20, K=6\) | 中间槽位去相关 (Middle-only) | 70.8 | 0.0 |
| 全局对齐去相关 (All-pairs) | \(M=20, K=6\) | 惩罚所有非对角线槽位对 | 68.8 | -2.0 |
| 动态中间槽位掩码 (Dynamic) | \(M=20, K=6\) | 基于注意力时间重心动态剔除端点 | 52.1 | -18.7 |
| 跨注意力门控 (Gate-by-attention) | \(M=20, K=6\) | 相似度超过阈值 \(\tau=0.6\) 施加正则 | 64.6 | -6.2 |
| 静态端点聚集 (Static-Index) | \(M=20, K=6\) | 强制复制最旧 2 帧与最新 4 帧 | 55.2 | -15.6 |
| 静态核加权 (Static-Weight) | \(M=20, K=6\) | 三角核手工加权时间两端 | 54.2 | -16.6 |
| 跨步均匀下采样 (Strided) | \(M=20, K=6\) | 均匀选取固定间隔 6 帧 | 59.4 | -11.4 |
| 密集历史扩展 (Dense CronusVLA) | \(M=20\) (无压缩) | 密集输入所有 20 帧特征 | 53.1 | -17.7 |
关键发现¶
- 历史窗口与槽位容量需协同匹配：在固定 \(K=6\) 下，密集基线从 \(M=6\)（58.4%）扩充到 \(M=20\)（53.1%）和 \(M=30\)（47.9%）出现明显的性能持续衰减；而 CondenseVLA 在 \(M=20, K=6\) 时达到峰值 70.8%，在 \(M=30\) 时若将槽位扩展到 \(K=10\) 则可回升至 64.6%，说明无约束的长历史充满冗余噪声，而自适应槽位浓缩能有效抵御冗余侵蚀。
- 自适应注意力远胜手工启发式规则：均匀跨步采样（59.4%）与静态端点聚集（55.2%）相比自适应浓缩（70.8%）均产生超 10 个百分点的大幅掉点，证明不同任务与动作阶段所需关注的历史时刻具有动态性，不能简单以固定时间戳或硬编码先验代替。
- 推理延迟随着历史长度呈现平坦扩展：在 A100 上评测，当历史从 \(M=10\) 扩至 \(M=30\) 时，由于动作解码器的输入维度固定，CondenseVLA 的总延迟仅从 219.6 ms 微增至 222.1 ms；而密集历史基线则从 219.1 ms 线性上升至 240.0 ms，在大历史窗口下 CondenseVLA 展现出更显著的延迟优势。
亮点与洞察¶
- 解码器前端的解耦式轻量槽位浓缩：将时序聚合由 VLM 内部移至解码器输入端，使 VLM 主干完全避免多次前向重算，同时以低参数增量（约 1.35% VLM 参数）实现了固定长度的动作条件注入。
- 中间槽位正则化策略设计巧妙：洞察到时序任务天然需要“起始锚点”与“最新状态”，解除对两端边界槽位的正交惩罚，集中约束中间槽位相互去相关，平衡了先验结构灵活性与表征多样性。
- 通用的 FIFO 多帧即插即用范式：该时序缓存与槽位压缩机制易于泛化到各类基于 Diffusion 或 Flow-matching 的具身动作解码器，为高效部署高频反应性多帧控制器提供了统一模板。
局限与展望¶
- 受限于有限 FIFO 窗口的显式记忆范围：FIFO 机制无法召回滑出时间窗口的久远历史事件，这在长时程多观察依赖的 RMBench \(M(n)\) 测试中表现明显（成功率仅 12.5%，按键任务成功率为 0%），缺乏持久显式语义记忆或分层规划。
- 高度依赖单帧 VLM 特征的表征质量：LHC 作为解码器前端模块无法逆向弥补单帧视觉编码中已经丢失的细微物体与几何状态信息。
- 超参数敏感且缺乏自适应动态窗口：历史窗口 \(M\) 与槽位数量 \(K\) 需根据环境离线调优，尚未实现根据任务复杂度与执行阶段动态调整历史跨度。
相关工作与启发¶
- vs CronusVLA: CronusVLA 采用两阶段训练将多帧特征直接密集送入 DiT 解码器，随着帧数增加计算开销显著增加且易过拟合冗余噪声；CondenseVLA 引入 LHC 将历史浓缩为固定 \(K\) 个槽位，性能高出 11.1 pp 且延迟更平缓。
- vs ContextVLA: ContextVLA 在 VLM 骨干网络深层通过平均池化将历史压缩为单个 token，损失了细节且限制了表达容量；CondenseVLA 在解码端保留多个槽位，提供可调节的时序容量预算。
- vs HAMLET: HAMLET 在输入端添加时序 moment tokens 并依赖两阶段时间对比预训练；CondenseVLA 无需单独的时刻预训练阶段，端到端与动作解码器联合优化，更加轻量简捷。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ (将槽位注意力优雅迁移至 VLA 动作解码器接口，提出行之有效的中间槽位去相关正则)
- 实验充分度: ⭐⭐⭐⭐⭐ (覆盖 SimplerEnv、LIBERO、RMBench 记忆基准及真实机械臂，消融实验与延迟分析极其详实)
- 写作质量: ⭐⭐⭐⭐⭐ (问题定义清晰，架构与数学形式规范自洽，对局限性和基线差异的坦诚讨论十分客观)
- 价值: ⭐⭐⭐⭐⭐ (直击多帧具身 VLA 计算与冗余痛点，为边缘端和真实机器人高效部署提供了扎实的参考方案)