跳转至

IntentVLA: Short-Horizon Intent Modeling for Aliased Robot Manipulation

会议: EMNLP 2026
论文: ACL Anthology
代码: https://github.com/ZGC-EmbodyAI/IntentVLA
领域: 机器人/具身智能
关键词: 机器人操作, 视觉语言动作模型, 意图建模, 观测混淆, 流匹配

一句话总结

针对部分可观测下当前帧多义性(observation aliasing)导致分块策略频繁跳变意图的问题,IntentVLA 从近期视觉历史中提取紧凑的相机与寄存器 token,通过门控交叉注意力与全局意图 token 注入 Qwen3-VL 上下文来引导 DiT 流匹配动作头,在 AliasBench、SimplerEnv、LIBERO 及双臂实机抓取任务上显著提升了操作成功率与动作轨迹的一致性。

研究背景与动机

在大规模人类操作示范数据中,轨迹天然呈现多模态特性:即使面对完全相同的语言指令,不同的演示者或者同一演示者在不同回合中也可能采取不同的局部阶段路径、任务完成策略或操作习惯。然而,这种多模态示范在回合内部往往是高度局部自洽(locally committed)的——一旦示范者选定了一种过渡阶段或执行路径,连续的时间窗口内的动作分块(action chunks)就会严格顺从这一决策延续。现有的视觉-语言-动作(VLA)模型(如 OpenVLA、\(\pi 0\) 等)通常仅以当前帧视觉观测与文本指令为输入进行动作分块预测。

在现实操控场景的部分可观测(partial observability)条件下,仅凭当前单帧图像极其容易陷入短程观测混淆(short-horizon observation aliasing):两个截然不同的任务阶段(例如将面包拿去平底锅煎煮 vs. 煎完后放回餐盘),其当前单帧抓夹特写在视觉上可能完全相同。由于单帧模型无法观测到当前回合已做出的历史承诺,在后退视界(receding-horizon)连续重规划执行时,模型会在相邻决策步独立采样出属于不同意图的动作分块,进而导致动作抖动、轨迹互斥乃至任务失败。

为了量化并解决该问题,本文的核心目标是在不破坏全局多模态表达能力的前提下,利用近期时序上下文消除当前帧的局部歧义。核心 idea:将动作生成的条件从单帧观测拓展到近期视觉历史,利用冻结的几何视觉编码器提取紧凑的时序意图表征,并将其与当前视觉语言上下文做门控融合,以此锁定回合内的局部意图承诺并引导动作分块生成。

方法详解

整体框架

IntentVLA 的整体流程分为三个协同阶段:当前视觉语言上下文编码、近期视觉历史的时序意图提取,以及意图引导的分块动作生成。系统输入包括当前观测图像 \(o_t\)、语言任务指令 \(\ell\),以及长度为 \(K\) 的近期视觉历史窗口 \(h^K_t = o_{t-K:t-1}\);输出为未来 \(H\) 步的连续动作分块 \(\tau_t \in \mathbb{R}^{H \times d_a}\)。当前帧图像与指令由 Qwen3-VL 4B 主干编码为上下文表示;视觉历史则送入冻结的 VGGT-1B 几何编码器中,只保留代表相机姿态与全局时空几何关联的紧凑 token。提取出的历史 token 通过门控交叉注意力机制与当前上下文对齐融合,并在末尾拼接一个全局意图池化 token,最终构成综合意图条件上下文,输入至 DiT 架构的条件流匹配动作头预测速度场。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    subgraph Input["多模态输入"]
        direction TB
        IH["近期视觉历史<br/>Ot-K:t-1 (头部视角)"]
        IC["当前帧观测 Ot<br/>+ 语言指令 ℓ"]
    end
    IH --> B["紧凑时序意图编码<br/>冻结 VGGT 提取相机与寄存器 token"]
    IC --> Q["当前视觉语言特征<br/>Qwen3-VL 提取当前 tokens Ft"]
    B --> M["门控交叉注意力融合与意图汇总<br/>门控残差跨注意力注入 + 紧凑全局意图 token"]
    Q --> M
    M --> D["流匹配动作分块生成<br/>DiT 结构预测速度场 & Euler 积分采样"]
    D --> OUT["输出连续动作分块<br/>τt ∈ ℝ^(H×da)"]

关键设计

1. 紧凑时序意图编码:利用几何先验 token 消除历史冗余

直接将多帧历史图像作为额外上下文塞入大视觉语言模型(VLM)存在巨大的显存和计算瓶颈,全量输入多帧图像甚至会导致显存溢出(OOM),且无关的时序背景容易稀释模型对关键操作目标的注意力。为此,IntentVLA 采用独立的冻结视觉几何基础模型 VGGT-1B 作为历史编码器 \(g_\phi\)。为了在保持极低 token 数量的同时捕获判别性的意图线索,模型在每个历史帧中仅保留 1 个相机参数 token(camera token)和 4 个全局寄存器 token(register token),彻底丢弃其余密集的局部网格 patch token:

\[U_t = g_\phi(h^K_t) \in \mathbb{R}^{M \times d_h}, \quad \bar{e}_t = \text{Pool}(U_t) \in \mathbb{R}^{d_h}\]

其中相机 token 能显式表征末端执行器移动引发的视点变化趋势,而寄存器 token 则能提炼跨帧时空演变与全局几何结构。提取后的时序特征经过可学习线性投影与归一化,分别映射为细粒度历史 token 序列 \(\tilde{U}_t = \text{LN}(W_h U_t)\) 以及单一的紧凑历史汇总向量 \(e_t = W_e \bar{e}_t\)。该机制避免了直接引入数百个 raw visual token,使显存占用比直接输入 16 帧历史降低 5.55 GiB。

2. 门控交叉注意力融合与意图汇总:当前表征与时序约束的平滑对接

为确保时序意图信息能够自适应地辅助当前决策,而不至于破坏预训练视觉语言主干所捕获的丰富语义,IntentVLA 设计了带门控因子的交叉注意力机制。以 Qwen3-VL 输出的当前上下文特征 \(F_t \in \mathbb{R}^{N \times d}\) 作为 Query,以投影后的历史 token \(\tilde{U}_t\) 作为 Key 和 Value:

\[F'_t = F_t + \sigma(\alpha) \text{MHA}(Q = \text{LN}(F_t), K = \tilde{U}_t, V = \tilde{U}_t)\]

其中 \(\alpha\) 为可学习的标量门控参数,\(\sigma(\cdot)\) 为 Sigmoid 函数,初始化时使门控接近于 0,确保训练初期稳定。在此基础上,模型将汇总的历史向量 \(e_t\) reshape 为单个 token \(e^{\text{tok}}_t \in \mathbb{R}^{1 \times d}\),并直接拼接在当前上下文的尾部,形成最终的意图条件上下文 \(C_t = [F'_t; e^{\text{tok}}_t]\)。这一设计使模型既具备逐 token 级别的时序交叉感知,又拥有一枚全局意图锚点,帮助后续动作头明确当前任务的局部完成阶段。

3. 流匹配动作分块生成:基于连续速度场的轨迹去噪

在获得意图表征 \(C_t\) 之后,策略网络通过扩散 Transformer(DiT)结构的动作头生成高维度动作分块。相比于传统基于离散动作 token 或自回归建模的方式,流匹配(Flow Matching)在连续多步控制中具有更平滑的动力学输出。训练阶段,系统在真实动作分块 \(\tau_t\) 与高斯先验噪声 \(\epsilon \sim \mathcal{N}(0, I)\) 之间进行线性插值构造中间状态 \(X_s = (1 - s)\epsilon + s\tau_t\)(其中 \(s \in [0, 1]\)),并优化条件速度场网络 \(\hat{V}_\theta(X_s, s \mid C_t)\):

\[\mathcal{L}_{\text{flow}} = \mathbb{E}_{\mathcal{D}, \epsilon, s} \left\| \hat{V}_\theta(X_s, s \mid C_t) - (\tau_t - \epsilon) \right\|_2^2\]

在推理阶段,\(C_t\) 在当前控制步保持固定,从纯高斯噪声出发,利用标准 Euler 积分器沿预测的速度场求解 ODE,输出未来 \(H\) 步的动作轨迹。

一个完整示例

以 AliasBench 中的“将棕色面包移至煎锅烹饪,再移回绿盘”(Cook Bread and Plate It)为例。机器人抓取面包停留在中间高度时,当前头顶相机捕获的面包特写图像几乎一致,单帧模型无法分辨此时是要“送去煎锅”还是“送回餐盘”。在 IntentVLA 中,历史窗口 \(h^K_t\) 记录了前 16 帧机械臂正从煎锅抬起并向餐盘移动的视点运动。VGGT 提取出连续变化的相机 token 与寄存器 token,门控交叉注意力将这一“刚离开煎锅”的时序几何动量注入当前上下文,尾部拼入意图汇总 token。流匹配头在此特定条件引导下,准确输出继续向绿色餐盘插值平移的动作分块,彻底避免了单帧模型在煎锅与餐盘之间来回抽搐的模式跳变。

实验关键数据

主实验

论文首先在专门构建的 12 任务混淆评测基准 AliasBench 上对比各模型,所有任务均在 16 张 H100 GPU、30K 步训练预算下对齐。此外还在通用操作仿真基准 SimplerEnv(WidowX 机械臂 4 项任务)和 LIBERO(4 个测试套件,重点关注长程长视界任务)上进行了充分测试。

基准与任务集 评测指标 IntentVLA (本文) Qwen3-VL-GR00T (单帧基线) MemoryVLA 提升幅度
AliasBench (Back-and-Forth) 成功率 (%) 49.3 6.0 13.3 +43.3% vs. GR00T
AliasBench (Crossing-Path) 成功率 (%) 74.7 15.7 22.7 +59.0% vs. GR00T
AliasBench (Bimanual) 成功率 (%) 17.0 5.5 4.0 +11.5% vs. GR00T
AliasBench (Multi-Goal) 成功率 (%) 31.3 8.7 16.7 +22.6% vs. GR00T
AliasBench 平均 平均成功率 (%) 45.8 9.0 14.9 +36.8% vs. GR00T
SimplerEnv (WidowX 4任务) 平均成功率 (%) 72.9 65.3 71.9 +7.6% vs. GR00T
LIBERO-Long (长程多阶段) 成功率 (%) 97.4 92.0 - +5.4% vs. GR00T
LIBERO-All (4套件平均) 平均成功率 (%) 98.6 96.5 - +2.1% vs. GR00T

消融实验

在 SimplerEnv 基准上针对历史编码器类型、时序引入方式以及意图融合 token 进行的逐项消融结果如下表所示:

配置 / 变体 绿色积木堆叠 胡萝卜入盘 勺子放置毛巾 茄子入黄筐 平均成功率 (%) 说明
IntentVLA 完整模型 54.2 66.7 70.8 100.0 72.9 完整时序融合 + 意图 token
仅时序融合 (无全局意图 token) 49.0 65.6 67.7 95.8 69.5 移除尾部拼接的紧凑汇总 token
仅当前帧接入 VGGT 特征 30.2 61.5 72.5 94.8 64.8 验证非历史单帧引入几何无显著收益
单帧基线 Qwen3-VL-GR00T 18.8 59.4 83.0 100.0 65.3 仅输入当前帧图像和指令

在 AliasBench 上的时序窗口与编码器消融表明: 1. 历史窗口长度 \(K\):\(K=8\) 达到 39.9%,\(K=16\) 达到最高的 45.8%,\(K=24\) 则微跌至 43.7%(过长历史引入过时陈旧线索)。 2. 编码器替代实验:用视频自监督模型 V-JEPA 2 替代 VGGT,AliasBench 均分从 45.8% 降至 38.6%,证明 VGGT 独特的空间几何与视点跨帧自注意力对具身操作意图判断至关重要。

关键发现

  • 相邻分块一致性(ICC-L2)大幅提升:论文定义了相邻重规划分块在重叠时间步的欧几里得误差指标 ICC-L2。IntentVLA 将 AliasBench 全任务平均 ICC-L2 从 0.219 降至 0.181(相对降低 17.6%),前 10% 最恶劣窗口的尾部不一致度(P90 ICC-L2)降低 21.7%,直接验证了时序意图能有效抑制动作冲突跳变。
  • 任务特异性表现:在高度依赖空间几何与前序移动方向的“积木堆叠”任务上,IntentVLA 从单帧基线的 18.8% 跃升至 54.2%;但在无混淆且目标极细小的“勺子放置”任务上略微掉点(83.0% \(\to\) 70.8%),显示出时序历史在极度直观的静态单步任务中可能轻微分散注意力。
  • 实机泛化验证:在搭载双 Franka 臂的四零食清理真机实验中,IntentVLA 在 50 次测试中的期望清理零食数达到 1.86,高于 Qwen3-VL-GR00T(1.20)、\(\pi 0.5\)(1.44)和 MemoryVLA(1.54)。

亮点与洞察

  • 极度节制高效的 Token 压缩:仅保留 VGGT 的 1 个 camera token 与 4 个 register token 作为时序表征,不仅彻底规避了 VLM 多帧输入的 OOM 隐患,还在保证极低计算开销(显存仅需 14.58 GiB)的同时提供了充足的几何运动线索。
  • 首个专注于观测多义混淆的 AliasBench 基准:精准抓住了具身模仿学习中“全局多模态存在,但局部必须单模态自洽”的核心矛盾,通过往复运动、交叉路径与双臂交接等设计定量分离了单帧退化行为。
  • 可复用的门控即插即用范式:门控交叉注意力与全局意图 token 的设计无需破坏原始 VLA 骨干的预训练权重,可作为通用插件赋能主流开源基座模型。

局限与展望

  • 时序窗口有限:模型主要聚焦于短程局部意图消歧(涵盖 16 帧约 0.5 秒操作),无法应对需要超长记忆或经历外部严重扰动后的长期重规划问题。
  • 单视角历史输入限制:当前时序历史分支仅处理头部主相机画面,未引入手腕相机的近景历史,在近距细粒度插拔等操作中可能损失部分局部交互特征。
  • 未来方向:探索分层架构,将本方法的短程局部意图表征与高层长时程符号/显式状态记忆库相结合,形成兼顾微观平滑与宏观纠错的全时程具身控制。

相关工作与启发

  • vs. MemoryVLA: MemoryVLA 维护长程认知/感知记忆池并通过向量均值做冗余合并;但在 AliasBench 这种“视觉极相近但意图截然相反”的场景中,相近向量的均值合并会模糊判别性,导致其成功率(14.9%)远低于 IntentVLA(45.8%)。
  • vs. 纯多帧历史输入 (History-as-Context): 直接将 8 帧或 16 帧送入 Qwen 骨干在训练时迅速遭遇 OOM,采样 4 帧稀疏输入性能仅为 28.1%,证明粗暴堆叠图像不能替代显式的结构化几何特征提取。
  • vs. DIAL / ACoT-VLA: 现有隐式意图 VLA 多依赖单帧观测结合潜在世界模型预测或思考链,在遇到当前帧物理状态完全同构时仍无法自洽,而 IntentVLA 从物理历史中寻找真实证据,逻辑链更加坚固。

评分

  • 新颖性: ⭐⭐⭐⭐☆ 准确指出了具身策略在单帧下局部意图断裂的隐蔽痛点,设计了优雅的紧凑几何意图表征。
  • 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 任务自建基准 AliasBench、SimplerEnv、LIBERO、RoboCasa 及双臂真机,论据详实。
  • 写作质量: ⭐⭐⭐⭐⭐ 叙述流畅,问题定义与理论推导清晰,实验设计极具针对性。
  • 价值: ⭐⭐⭐⭐⭐ 对正在解决动作抖动和时序一致性的具身智能研究团队具有极高的工程和理论参考价值。