ATI-VLA: Action-Centric Predictive Vision–Language–Action Models via Actionable Alignment Then Adaptive Injection¶

会议: NeurIPS 2026
arXiv: 2610.01741
OpenReview: https://openreview.net/forum?id=PgXh7Sncl1
论文: https://arxiv.org/abs/2610.01741
代码: https://jiutian-vl.github.io/ATI-VLA-page
领域: 机器人
关键词: 视觉-语言-动作模型, 预测型VLA, 动作对齐, 自适应注入, 具身智能

一句话总结¶

针对预测型视觉-语言-动作模型中观测与动作的模态割裂及联合训练优化冲突，ATI-VLA 提出“先动作化对齐、后自适应注入”的两阶段范式，在仅利用动作目标优化决策的同时高效释放前瞻预测能力。

研究背景与动机¶

视觉-语言-动作（Vision-Language-Action, VLA）模型正成为机器人操作的通用范式。传统非预测型 VLA（如 OpenVLA、$\pi_0$）直接将当前图像观测和语言指令映射到低级动作序列，缺乏对未来物理交互的前瞻预判。为了引入前瞻指导，近期预测型 VLA（如 DreamVLA、CoT-VLA、$\mathcal{F}_1$）尝试显式预测未来观测或世界动态，但在大量基准测试中却常不及传统的直接动作预测模型。

深入分析表明，这一反常劣势主要源于现有架构偏离了“以动作为核心（action-centric）”的学习逻辑：一方面，视觉观测预测与底层动作生成之间存在显著的模态鸿沟（Modality Gap），观测侧的重构目标过度关注背景纹理、光照等与操控无关的视觉冗余，导致预测隐变量无法扎根于具体动作；另一方面，将未来预测辅助损失直接叠加到动作损失进行联合多任务优化（Joint Optimization Conflicts），使得预测梯度与动作梯度经常产生负余弦夹角与方向冲突，导致训练不稳定、收敛缓慢甚至发生崩溃。

为了从根本上消除模态错位与多目标梯度拉扯，本文解耦预测表征学习与动作控制生成，将流程划分为离散对齐与侧路指导两个串行阶段。核心 idea：提出先动作化对齐后自适应注入（Align-Then-Inject）框架，先通过共享码本与对称预测将视觉预测隐变量锚定于统一离散动作流形，再通过轻量自适应侧路在固定层级间隔下将其纯粹作为前瞻先验调制动作解码，全程保持单一动作导向优化。

方法详解¶

整体框架¶

ATI-VLA 抛弃了将预测损失与动作损失端到端混杂优化的传统做法，采用两阶段“对齐-注入（Align-Then-Inject）”架构。在第一阶段（可行动表征对齐，Actionable Representation Alignment），模型使用模态专属编码器将当前观测与动作投影并通过统一离散码本进行向量量化，由统一 Transformer 解码器联合对称预测未来观测与未来动作，迫使共享码本捕捉物理环境的状态转移与动作诱导动态。在第二阶段（动作中心自适应注入，Action-Centric Adaptive Injection），冻结第一阶段对齐模块，仅通过其编码与量化获得观测的前瞻隐变量；随后利用轻量自适应侧路网络，在骨干大语言模型（LLM）的动作解码路径上按固定层级间隔实施交叉注意力调制，且第二阶段仅由动作损失驱动反向传播。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：当前观测 Ot、指令 I、动作 At"] --> B["阶段 1：共享码本动作化对齐<br/>双分支向量量化 + 统一解码器对称预测"]
    B --> C["固化对齐码本与编码器<br/>提取可行动预测先验 Z_Ot"]
    C --> D["阶段 2：动作中心自适应注入<br/>侧路 FFN 演进 + 动作 Query 间隔交叉注意力调制"]
    D --> E["纯动作损失监督<br/>输出 n 步动作块 A_t:t+n-1"]

关键设计¶

1. 共享码本可行动表征对齐：通过对称离散空间桥接观测与动作的模态鸿沟

针对连续表征空间下观测预测过度偏向视觉像素纹理、无法对齐低级运动控制的问题，该设计引入共享离散码本 $\mathcal{C} = \{\mathbf{c}_k\}_{k=1}^K \subset \mathbb{R}^d$。给定当前观测 $\mathcal{O}_t$ 和动作块 $\mathcal{A}_t$（块大小为 $n$），分别通过特定模态编码器抽取特征后经由统一最近邻向量量化算子映射到离散语义空间： $$\mathbf{Z}_{\mathcal{O}_t} = \mathrm{Quant}(f_{\mathcal{O}}(\mathcal{O}_t)), \quad \mathbf{Z}_{\mathcal{A}_t} = \mathrm{Quant}(f_{\mathcal{A}}(\mathcal{A}_t))$$ 量化后的离散隐变量拼接输入由自注意力和交叉注意力交替堆叠构成的统一解码器（Unified Decoder），利用由当前输入拼接构成的自注意力序列作为查询，对联合隐变量进行交叉注意交互，并由两个轻量投影头分别对称预测未来观测 $\hat{\mathcal{O}}_{t+n}$ 与未来动作 $\hat{\mathcal{A}}_{t+n}$。对齐损失为两者的加权和： $$\mathcal{L}_{\text{align}} = \lambda_{\mathcal{O}} \mathcal{L}_{\text{obs}}(\hat{\mathcal{O}}_{t+n}, \mathcal{O}_{t+n}) + \lambda_{\mathcal{A}} \mathcal{L}_{\text{act}}(\hat{\mathcal{A}}_{t+n}, \mathcal{A}_{t+n})$$ 该对称预测任务迫使观测隐变量抛弃无关背景冗余，精准捕捉环境因动作施加而产生的因果物理转移，在理论上将下游动作生成的额外风险上界直接收紧至两模态离散隐变量的欧氏距离 $\mathbb{E}\|\tilde{z}_O - \tilde{z}_A\|_2$。

2. 侧路自适应间隔注入机制：兼顾粗粒度语义前瞻与微观动作控制的层级解耦

在冻结 Stage 1 码本后，如何将预测隐变量 $\mathbf{Z}_{\mathcal{O}_t}$ 无缝融合到 LLM 的动作解码过程是第二阶段的关键。传统做法要么全层密集注入破坏底层的微观运动生成能力，要么直接拼接导致输入序列膨胀。本文设计了一条与主干 LLM 并行的自适应侧路（Adaptive Side-Path）：在 LLM 第 $l$ 层，侧路利用轻量前馈网络对离散预测先验进行逐层抽象升级：$\mathbf{Z}_{\mathcal{O}_t}^{(l)} = \mathbf{Z}_{\mathcal{O}_t}^{(l-1)} + \mathrm{FFN}(\mathbf{Z}_{\mathcal{O}_t}^{(l-1)})$。为了防止密集注入累积局部扰动、过度约束运动控制，模型设定注入间隔超参数 $s$，仅在 $l \bmod s = 0$ 时触发调制。此时截取动作查询 token 对应的隐状态 $\mathbf{H}_l^{\text{act}}$ 作为 Query，以演进的预测先验作为 Key/Value 进行交叉注意力融合，并经可学习标量系数 $\beta_l$ 进行残差调制： $$\mathbf{H}_l^{\text{cross}} = \mathrm{CrossAttn}(\mathbf{H}_l^{\text{act}}, \mathbf{Z}_{\mathcal{O}_t}^{(l)}, \mathbf{Z}_{\mathcal{O}_t}^{(l)}), \quad \mathbf{H}_l^{\text{act}} \leftarrow \mathbf{H}_l^{\text{act}} + \beta_l \cdot \mathbf{H}_l^{\text{cross}}$$ 这种稀疏间隔机制使浅层模型吸纳高级目标与意图前瞻，同时为深层保留足够的动作细节自主解码空间。

3. 纯动作中心单目标解耦优化：彻底规避预测与动作间的梯度冲突

传统预测型 VLA 普遍在训练中联合优化动作生成损失与未来图像/状态重构损失，二者不仅收敛速度差异悬殊，且在反向传播时共享主干权重的梯度余弦相似度常常为负（例如 DreamVLA 的梯度余弦相似度为 -0.23，负梯度比例高达 43%）。ATI-VLA 在第二阶段完全冻结第一阶段所有对齐与解码参数，动作侧路注入网络和主干 LLM 仅接收最终的 $n$ 步动作块监督损失： $$\mathcal{L}_{\text{action}} = \mathcal{L}_{\text{act}}(\mathcal{A}_{t:t+n-1}, \hat{\mathcal{A}}_{t:t+n-1})$$ 预测先验在推理与训练中纯粹充当条件引导输入，零反向预测梯度流经主干模型。这不仅从数学设计上彻底消除了梯度对抗，更使训练稳定性呈数量级提升，不仅无需复杂的梯度投影（如 PCGrad），且收敛总耗时削减至现有基线的一半。

损失函数 / 训练策略¶

模型采用纯解耦的两阶段训练方案： 1. 第一阶段（对齐训练）：在数据集的观测-动作成对轨迹上以批大小 64 训练观测/动作编码器、共享码本 $\mathcal{C}$ 以及统一解码器，最小化 $\mathcal{L}_{\text{align}}$。在该阶段结束后彻底冻结该对齐模块 $\theta_{\text{Align}}$。 2. 第二阶段（策略微调与自适应注入）：主干以 OpenVLA-OFT（基于 LLaMA-2-7B）为底座，使用 LoRA（秩 $r=32, \alpha=64$）微调主干注意力权重，并同时训练轻量侧路 FFN、交叉注意力层及可学习混合标量 $\beta_l$。在 LIBERO 仿真中使用动作块长度 $n=8$，初始学习率 $5\times 10^{-4}$；在 RoboTwin 2.0 及真实双臂硬件平台中使用 $n=25$。训练全程仅使用动作重构 $L_1$ 损失进行反向传播。

实验关键数据¶

主实验¶

在代表性语言引导长程机器人操作仿真基准 LIBERO（共 40 个任务涵盖 Spatial、Object、Goal、Long 四大套件）以及高保真双臂操作基准 RoboTwin 2.0 上，ATI-VLA 均取得了超越通用非预测型与先进预测型 VLA 的 SOTA 表现。

评估基准 / 类别	评估套件 / 细分任务	本文 (ATI-VLA)	顶尖通用基准 (OpenVLA-OFT / $\pi_0$)	顶尖预测型基准 (DreamVLA / $\mathcal{F}_1$)	表现增益
LIBERO 仿真成功率	Spatial 空间泛化	98.6%	97.6% (OpenVLA-OFT)	98.2% ($\mathcal{F}_1$)	+0.4%
LIBERO 仿真成功率	Object 物体泛化	99.4%	98.4% (OpenVLA-OFT)	97.8% ($\mathcal{F}_1$)	+1.0%
LIBERO 仿真成功率	Goal 目标泛化	97.2%	97.9% (OpenVLA-OFT)	95.4% ($\mathcal{F}_1$)	保持第一梯队
LIBERO 仿真成功率	Long 长程序列控制	96.2%	94.5% (OpenVLA-OFT)	91.3% ($\mathcal{F}_1$)	+1.7%
LIBERO 平均	全任务总平均	97.9% (Rank 1)	97.1% (Rank 2)	95.7% (Rank 3)	超越所有预测/通用VLA
RoboTwin 2.0 双臂	Click Bell 按铃	91.0%	78.0% (OpenVLA-OFT)	44.0% ($\pi_0$)	+13.0%
RoboTwin 2.0 双臂	Open Laptop 开笔记本	87.0%	66.0% (OpenVLA-OFT)	85.0% ($\pi_0$)	+2.0%
RoboTwin 2.0 双臂	Place Container Plate 放盘	90.0%	82.0% (OpenVLA-OFT)	88.0% ($\pi_0$)	+2.0%
RoboTwin 2.0 双臂	Place Bread Skillet 煎锅放面包	21.0%	9.0% (OpenVLA-OFT)	23.0% ($\pi_0$)	显著优于 OpenVLA-OFT
RoboTwin 2.0 平均	双臂全任务平均	72.3%	58.8% (OpenVLA-OFT)	60.0% ($\pi_0$)	+13.5% vs 基线
真实双臂整机实验	Galaxea R1 Lite 综合	70.0% (175/250)	55.0% (OpenVLA-OFT)	57.0% ($\mathcal{F}_1$) / 50% (DreamVLA)	+15.0% 绝对提升

消融实验¶

消融实验深入验证了离散可行动对齐机制、注入层级间隔以及纯动作目标训练的必要性。

消融配置	LIBERO 平均成功率	RoboTwin 2.0 平均	真实双臂平均	说明
ATI-VLA 完整模型	97.9%	72.3%	70.0%	共享码本动作化对齐 + 自适应间隔注入 ($s=8$)
w/o 动作对齐 (随机先验注入)	93.9%	-	-	注入随机高斯噪声隐变量，说明必须具备语义
w/o 表征对齐 (未对齐注入)	93.4%	51.3%	50.0%	不经 Stage 1 共享码本对齐，未对齐隐变量反向干扰动作
传统直接未来预测 (端到端多任务)	95.8%	52.4%	48.0%	类似 CoT-VLA/DreamVLA 的联合优化方案
对齐后无自适应侧路 (全层强制注入)	96.2%	60.7%	62.0%	缺乏侧路轻量演进与稀疏间隔调制
注入频率 $s=1$ (每层密集注入)	95.1%	-	-	过度约束解码自由度，破坏长程动作生成稳定性
注入频率 $s=4$ (密集注入)	96.6%	-	-	中间频率，次优
注入频率 $s=16$ (过于稀疏)	96.4%	-	-	前瞻先验传导不足，弱化长程指导作用
Stage 1 纯观测对齐 (无动作信息)	95.6%	64.3%	61.0%	缺少动作监督导致码本退化为纯外观表示
Stage 1 重构目标 (非前瞻预测)	96.0%	62.4%	59.0%	仅重构当前帧无法学习动作诱发的状态转移语义

关键发现¶

对齐是预测发挥正面效益的前提：在相同的骨干网络和训练预算下，直接注入未对齐预测特征的成功率仅有 93.4%，甚至明显低于无预测基线的 96.6%，表明未对齐的视觉像素冗余在解码过程中充当了有害噪声；只有经过共享码本对齐将预测隐变量锚定于动作流形后，成功率才跃升至 97.9%。
注入频率存在统一的物理深度规律：在跨 LLaMA-2-7B（32层）、Qwen2.5-1.5B（28层）、Qwen2.5-0.5B（24层）、Mistral-7B（32层）等不同模型容量与架构测试中，最优注入频率 $s$ 均高度收敛于模型总深度的 $1/3$ 至 $1/4$（即 32 层模型 $s=8$、28 层模型 $s=7$），证明此间隔并非敏感的个案超参，而是具有跨架构普适性的层级控制平衡点。
训练开销腰斩，收敛极度稳定：相较于联合优化预测损失的 DreamVLA（33.5 小时）和 CoT-VLA（67.4 小时），ATI-VLA 包含两阶段在内的总训练耗时仅需 16.2 小时（节省 46.4%~76.0% 时间），推理延迟几乎未增加（0.107s vs 0.105s，吞吐量维持 74.8 Hz），成功将预测型 VLA 的训练效率提升到生产可用水平。

亮点与洞察¶

模态鸿沟的离散原型对齐：创造性地将离散向量量化（VQ）码本作为跨越连续像素观测与低级机械臂位姿动作的“通用物理语汇”，不仅利用离散聚类过滤掉与控制无关的视效冗余，更在数学上证明其直接压缩了动作预测误差的上界。
由“目标耦合”转为“特征前馈”：深刻揭示了多任务预测损失对动作主任务的梯度毒害现象；通过在结构上切断预测误差对动作主干的回传，将“学预测”与“用预测”分阶段执行，彻底根治了梯度余弦负向对抗问题。
开箱即用的轻量侧路即插即用性：侧路注入仅需极少额外参数（仅增加 4.2% 参数量与 0.7% FLOPs），无需改变原有 VLA 骨干模型的大规模预训练权重，便于快速迁移到各类主流具身基座模型上。

局限与展望¶

真实环境数据多样性受限：目前验证主要基于 5 个高难度双臂操作任务（共 250 条示教轨迹），尚未在千万级互联网级多机体异构机器人交互数据集（如 Open X-Embodiment）上进行超大规模预训练。
第一阶段离散码本容量的扩展性：在面对开放世界极端多变的非刚体及动态接触交互时，固定词表容量的离散码本可能遭遇表示瓶颈，未来探索自适应动态扩容码本或连续-离散分层量化将是重要方向。
开环离散前瞻与实时闭环修正的平衡：测试阶段虽提取了基于当前帧的未来预测隐变量，但在突发物理扰动或外力干预下，静态前瞻可能出现滞后，结合在线测试时自适应（Test-Time Adaptation）的动态刷新机制值得深入探索。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统剖析并解构了预测型 VLA 劣于传统 VLA 的两大根源（模态鸿沟与梯度冲突），提出了极具说服力的“先对齐后注入”优雅架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LIBERO 四大子集、RoboTwin 2.0 仿真、两种实体双臂机器人平台（Galaxea 与 AgileX）共 5 组长程复杂任务，并提供了详尽的梯度余弦冲突分析与失效模式归因。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导环环相扣，从问题诊断到方法建模、理论分析和实验印证浑然一体，图表清晰精炼。
价值: ⭐⭐⭐⭐⭐ 为破除预测型世界模型与底层运动控制之间的“两张皮”困境提供了明确的技术路线，对具身大模型工业界落地具有极高借鉴意义。