RotVLA: Rotational Latent Action for Vision-Language-Action Model¶

会议: NeurIPS 2026
arXiv: 2605.13403
OpenReview: https://openreview.net/forum?id=VcnKuCNmo3
代码: https://qiweili00.github.io/rotvla-page/
领域: 机器人/具身智能
关键词: 视觉语言动作模型, 潜在动作模型, 连续旋转群, 流匹配, 机器人操作

一句话总结¶

RotVLA 构建了基于连续旋转群 $\mathrm{SO}(n)$ 的潜在动作表示与三帧动力学一致性目标，并将其作为高层规划器融入统一的流匹配动作专家中，以 1.7B 参数在 LIBERO 与双臂仿真及真机操作任务上刷新最优表现。

研究背景与动机¶

近年来，基于视觉语言模型（VLM）与大规模跨本体机器人数据预训练的视觉语言动作（Vision-Language-Action, VLA）模型展现出了强大的泛化潜力。然而，VLA 模型预训练面临着核心数据瓶颈：不同机器人机型（如单臂、双臂、灵巧手）在传感器配置和物理动作空间上具有高度异构性，且互联网海量无标注人类操作视频缺乏机器人底层关节或末端位姿标签。为了打破这一障碍，潜在动作模型（Latent Action Models, LAM）应运而生，试图通过编码连续视觉观察之间的状态转移来学习跨数据集共享的统一动作空间。

然而，现存主流 LAM 通常采用离散量化编解码架构（如 VQ-VAE），面临三重固有缺陷：其一，由于仅通过重构下一帧进行监督，潜在动作编码器极易退化为直接编码目标帧静态外观的平凡捷径，并未真正捕捉运动动力学；其二，物理机器人控制在本质上是连续且光滑的，硬离散量化严重限制了潜在空间的表达容量与精细度；其三，离散 token 空间缺乏真实的物理几何度量与时间尺度语义，无法在数学上实现有意义的复合动作推理（action composition）。

针对上述痛点，本文提出将潜在动作从离散空间解放，直接建模为 $n$ 维连续特殊正交旋转群 $\mathrm{SO}(n)$ 上的元素。利用群的封闭性，连续动作的时序复合自然对应于群元素的矩阵乘法。核心 idea：将潜在动作表示为连续旋转群 $\mathrm{SO}(n)$ 元素，结合三帧时序复合学习约束迫使潜在动作编码真实动力学而非静态外观，并在微调阶段将其作为高层潜规划器通过因果流匹配统一指导机器人底层动作生成。

方法详解¶

整体框架¶

RotVLA 框架涵盖三个串行阶段：阶段一是连续旋转潜在动作模型（LAM）的学习，通过三帧视频训练由 DINOv2 与时空 Transformer 构成的逆动力学编码器 $\mathcal{E}$ 及正向动力学解码器 $\mathcal{D}$；阶段二是大规模 VLA 预训练，以 InternVL3.5-1B 为骨干网络，使用流匹配目标在跨机型数据与人类视频上预测连续潜在动作；阶段三为下游适配微调，引入统一流匹配动作专家，同时去噪高层潜在动作与底层机器人控制动作，并通过结构化注意力实现高层规划引导底层控制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续三帧观测输入<br/>(It, It+1, It+2)"] --> B["连续旋转潜在动作表示<br/>SoftVQ + SVD投影至 SO(n)"]
    B --> C["三帧动力学复合学习<br/>单步重构 + 复合重构损失"]
    C --> D["流匹配潜在动作预训练<br/>InternVL3.5-1B + DiT动作头"]
    D --> E["统一流匹配规划与控制专家<br/>联合去噪高层规划与底层控制"]
    E --> F["下游真实/仿真机器人操作<br/>abs EEF 轨迹执行"]

关键设计¶

1. 连续旋转潜在动作表示：赋予定量几何结构与时序可复合性

传统 LAM 使用硬离散 VQ-VAE 将状态转移离散化为类语言词表，破坏了物理动作的连续性且缺乏代数复合机制。本文首先引入软量化机制 SoftVQ，通过对后验施加软分类分布聚合码本中的基向量，在保留正则化先验的同时恢复潜在空间的连续性：

\[z = q_\phi(z \mid x) \mathcal{C}, \quad q_\phi(z \mid x) = \mathrm{Softmax}\left(-\frac{\|z - \mathcal{C}\|_2}{\tau}\right)\]

在此基础上，为了赋予定量几何意义，模型预测未受约束矩阵 $M \in \mathbb{R}^{n \times n}$，并通过基于奇异值分解（SVD）的正交投影算子 $\mathrm{Proj}(\cdot)$ 将其严格投影到特殊正交群 $\mathrm{SO}(n)$ 上：

\[\mathrm{Proj}(M) = U \operatorname{diag}\big(1, 1, \dots, \det(UV^\top)\big) V^\top, \quad \text{其中 } M = U \Sigma V^\top\]

通过将潜在动作限制在 $\mathrm{SO}(n)$，不仅保证了矩阵的正交性与单位行列式，而且赋予了潜在动作空间群论性质：任意多个连续微元动作的复合直接等价于对应旋转矩阵的乘法。

2. 三帧动力学复合学习：以时序一致性粉碎外观平凡捷径

仅通过两帧重构 $\hat{I}_{t+1} = \mathcal{D}(I_t, z_{t \to t+1})$ 进行监督的 LAM 极易产生表示崩溃（representation collapse），即编码器退化为直接把下一帧的外观特征打包进潜变量中，解码器忽略上一帧直接复制。为此，本文提出三帧时序复合约束：给定间隔为 $k$ 的连续三帧 $(I_t, I_{t+1}, I_{t+2})$，分别提取相邻转移动作 $z_{t \to t+1} = \mathcal{F}(I_t, I_{t+1})$ 与 $z_{t+1 \to t+2} = \mathcal{F}(I_{t+1}, I_{t+2})$。针对潜在动作空间存在的规范歧义（gauge ambiguity），利用静态帧对的批次均值标定出群恒等元 $z_{\mathcal{I}} = \mathrm{Proj}(\mathbb{E}(\mathcal{F}(I_t, I_t)))$，并将两步转移严格合成为跨两步的复合动作：

\[z_{t \to t+2}^{\mathrm{comp}} = z_{t+1 \to t+2} \cdot z_{\mathcal{I}}^{-1} \cdot z_{t \to t+1}\]

随后令解码器仅输入第一帧 $I_t$ 与该复合动作预测第三帧 $\hat{I}_{t+2}^{\mathrm{comp}} = \mathcal{D}(I_t, z_{t \to t+2}^{\mathrm{comp}})$，并施加重构损失 $\mathcal{L}_{\mathrm{comp}} = \|\hat{I}_{t+2}^{\mathrm{comp}} - I_{t+2}\|_2^2$。如果潜变量只记静态图像，矩阵乘法后的复合变量必将解码出混乱图像；只有潜变量真实表达物理空间中的相对动力学转移时，两步矩阵相乘才能精准还原跨帧演进，从而彻底杜绝了模型走捷径退化的风险。

3. 统一流匹配规划与控制专家：高层潜规划因果引导底层执行

在预训练阶段完成后，RotVLA 具备了跨机型统一的潜在动作先验。为了迁移至下游特定本体的操作任务，本文设计了统一的流匹配动作专家（24层 DiT）。将潜在动作块 $z \in \mathrm{SO}(n)$ 与机器人末端位姿控制动作块 $a \in \mathbb{R}^{N \times d}$（采用绝对位姿加 Rotate6D 连续姿态表示）拼接为联合变量 $x = (a, z_{t \to t+1})$，在统一的扩散流场中联合去噪：

\[\mathcal{L}_{\mathrm{LA\text{-}RA}}^{\mathrm{FM}} = \mathbb{E}_{\tau, x, x_0}\left[\left\|v_\theta(x_\tau, \tau, h) - (x - x_0)\right\|_2^2\right]\]

同时设计了非对称因果注意力遮罩：潜在动作 token 仅与视觉语言多模态 token $h$ 进行交叉注意力，不受底层真实动作干扰，保持跨模态高层规划的纯粹性；而机器人控制动作 token 同时对视觉语言 token 与高层潜在动作 token 进行因果注意力交互。这样，潜在动作天然承担了“潜在规划器（Latent Planner）”职责，先推导任务级高层运动意图，再条件引导具体执行机构生成精准的低层关节/末端位姿轨迹。

损失函数 / 训练策略¶

整个训练分为三个阶段： - 阶段 I（LAM 预训练）：在总计 1700+ 小时的数据集（Open X-Embodiment、AGIBOT-beta、RoboMIND、RoboCOIN 与 Ego4D）上训练 200k steps，总损失为： $$\mathcal{L}_{\mathrm{triplet}} = \mathcal{L}_{\mathrm{single}} + \mathcal{L}_{\mathrm{comp}} + \mathcal{L}_{\mathrm{soft}}$$ 其中 $\mathcal{L}_{\mathrm{single}} = \|\hat{I}_{t+1}-I_{t+1}\|_2^2 + \|\hat{I}_{t+2}-I_{t+2}\|_2^2$，$\mathcal{L}_{\mathrm{soft}}$ 为 SoftVQ 码本的 KL 散度约束，保持潜在空间分布紧凑平滑。 - 阶段 II（RotVLA 预训练）：冻结阶段 I 的 LAM 编码器，提取连续潜在动作监督 VLM（InternVL3.5-1B）与 DiT 动作头。采用流匹配目标 $\mathcal{L}_{\mathrm{LA}}^{\mathrm{FM}}$ 训练 200k steps，学习率 $1.0 \times 10^{-4}$，前 5k 步动作头预热且冻结 VLM，后续为 VLM 分配较小学习率以防灾难性遗忘。 - 阶段 III（下游适配微调）：在 LIBERO（80k steps）、RoboTwin2.0（120k steps）或真机数据（40k steps）上联合去噪训练，损失为 $\mathcal{L}_{\mathrm{LA\text{-}RA}}^{\mathrm{FM}}$。

实验关键数据¶

主实验¶

在单臂基准 LIBERO（包含 Spatial、Object、Goal、Long 四大套件 40 个任务）与双臂协作基准 RoboTwin2.0（50 个双臂长程任务，含洁净与强域随机化设置）上对比主流 VLA 基线：

方法	模型参数	LIBERO-Spatial	LIBERO-Object	LIBERO-Goal	LIBERO-Long	LIBERO-Avg.	RoboTwin2.0-Clean	RoboTwin2.0-Rand.
OpenVLA	7B	84.7	88.4	79.2	53.7	76.5	-	-
OpenVLA-OFT	7B	97.6	98.4	97.9	94.5	97.1	-	-
$\pi_0$	3B	96.8	98.8	95.8	85.2	94.2	-	-
$\pi_{0.5}$	3B	96.8	98.8	95.8	85.2	94.1	82.7	76.8
GR00T-N1.6	3B	97.7	98.5	97.5	94.4	97.0	-	-
UniVLA	9B	95.4	98.8	93.6	94.0	95.4	-	-
villa-X	3B	97.5	97.0	91.5	74.5	90.1	-	-
X-VLA	0.9B	98.2	98.6	97.6	97.8	98.1	72.8	72.8
StarVLA	4B	97.8	98.6	96.2	93.8	96.6	88.2	88.3
Motus	8B	-	-	-	97.8	-	88.7	87.0
RotVLA (本文)	1.7B	98.2	99.6	98.4	96.4	98.2	89.6	88.5

消融实验¶

在 LIBERO 上对潜在动作表示形式、潜在规划器以及潜在维度 $n$ 进行系统消融（Table 4）：

配置	Spatial	Object	Goal	Long	Avg.	说明
RotVLA (完整模型)	98.2	99.6	98.4	96.4	98.2	完整模型 ($n=16$，含SO(n)+复合学习+潜规划器)
w/o. Pretrain	94.8	97.8	94.2	89.8	94.2	无潜在动作预训练，性能下降 4.0%
w/o. Planner	96.0	99.6	97.2	93.2	96.5	微调时不保留潜在动作规划信号，长程任务降幅显著
$n = 8$	97.2	99.4	98.2	94.4	97.3	潜在维度过小限制了动力学表征能力
$n = 32$	98.2	99.6	97.4	94.0	97.3	维度过大增加优化难度与计算开销
Discrete (离散量化)	95.4	99.4	96.6	89.6	95.3	传统离散量化容量受限，长程任务严重受阻
Cont. (连续非受限)	96.6	99.4	97.2	93.6	96.7	相比离散提升 1.4%，但缺少群几何约束
Cont. $\mathrm{SO}(n)$ (无三帧复合)	97.0	99.2	97.6	94.2	97.0	单纯施加正交约束仅提升0.3%，证明三帧复合至关重要

在验证动力学表征是否发生退化时（Table 2），对比传统仅重构下一帧模型与三帧复合模型。两者的下一帧重构误差 $\mathrm{MSE}(\hat{I}_{t+1}, I_{t+1})$ 均为 0.0029~0.0030，但将该潜在动作外推作用于 $I_{t+1}$ 预测外推帧 $\hat{I}_{t+2}'$ 时，仅重构基线的差值 $\Delta = \mathrm{MSE}(\hat{I}_{t+2}', I_{t+1})$ 仅有 0.0037，退化为几乎直接复制画面；而本文三帧复合模型的 $\Delta$ 达到 0.0078（+110.8%），证明其真正学到了位移与旋转的运动增量。

关键发现¶

三帧复合学习是杜绝 LAM 偷懒的关键：消融数据显示，单纯在连续表示上增加 $\mathrm{SO}(n)$ 几何约束性能仅提升 0.3%（96.7% 到 97.0%），而叠加三帧代数复合损失 $\mathcal{L}_{\mathrm{comp}}$ 后性能进一步跃升 1.2% 达到 98.2%，证明显式约束跨步矩阵乘法的一致性是破除“潜变量只记图像外观”的关键支点。
高层潜在规划器专克长程与分布漂移任务：在去除潜规划器机制后，模型在 LIBERO-Long 长程任务上成功率从 96.4% 直降至 93.2%；在 ARX R5 真实双臂堆叠三杯的长程复杂任务以及引入干扰背景和杂物的非分布场景中，RotVLA 的高层规划机制有效过滤了视觉外观扰动，性能稳定性显著超越 $\pi_{0.5}$。
跨本体与跨域泛化能力出众：在 LARY 评估基准上，RotVLA 的线性探测控制回归误差低至 0.20，动作分类准确率达到 70.98%（显著超过 UniVLA 的 0.87 / 18.82%）。从人类 Ego4D 视频中提取的“向右平移”潜在动作，能直接零样本驱动天工、UR5 等完全不同机械结构的仿真机臂做出精确对应动作。

亮点与洞察¶

将 Lie 群代数性质与动作复合精妙融合：巧妙利用连续正交群 $\mathrm{SO}(n)$ 的封闭性，将物理世界中时序连续动作的叠加自然映射为群乘法，免除了任何离散启发式设计，数学形式优雅且鲁棒。
非对称因果注意力解耦规划与控制：在下游统一流匹配专家中，高层潜动作只看多模态上下文，底层机臂动作则条件于潜动作和多模态特征，精巧实现了“先想后做”的分层决策机制，同时维持在同一个扩散模型中单次推理完成。
小参数量撬动超越巨型模型的高效性能：仅用 1.7B 总参数和约 1700 小时数据，在 LIBERO 和 RoboTwin2.0 上全面击败了 7B-9B 规模的 OpenVLA、UniVLA 与 Motus，推理延迟仅 79ms，极具工业级端侧部署潜力。

局限与展望¶

作者承认的局限：模型参数规模目前仅为 1.7B，且提供监督信号的 LAM 自身参数仅 290M，尚未探索进一步扩展模型容量所能带来的缩放定律红利；此外，人类视频仅作为小比例（4.37%）辅助数据补充，尚未探索完全脱离机器人标注、仅在海量互联网第一人称视频上预训练的可行性。
现实场景约束：潜在动作目前统一映射至 $n \times n$ 抽象旋转群矩阵，缺乏与特定任务几何坐标系（如物体系、相机系）的显式物理可解释映射，调试异常动作轨迹时主要依赖重构图像辅助诊断。
未来改进方向：可进一步将 $\mathrm{SO}(n)$ 扩展至仿射群或欧氏刚体变换特殊欧氏群 $\mathrm{SE}(3)$ 的高维流形表示，并将触觉、力控反馈等具身传感多模态信号融入潜在规划通道。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首创连续旋转群 $\mathrm{SO}(n)$ 潜在动作表示与三帧动力学复合学习范式，数学结构优雅]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖仿真单臂 LIBERO、50个双臂长程任务 RoboTwin2.0、LARY评估及真机三项严苛任务，消融详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑链条严密，动机与数学推导清晰自洽，实验分析洞见深入]
价值: ⭐⭐⭐⭐⭐ [为跨机型机器人预训练及利用海量互联网人类视频提供了连续且无崩溃的高质量基座方案]