OASIS: Observation-Action Space Alignment via SE(3) Trajectory Prediction for Robotic Manipulation¶

会议: NeurIPS 2026
arXiv: 2605.25829
OpenReview: https://openreview.net/forum?id=PGq5jFALJa
代码: https://npuhandsome.github.io/OASIS_web
领域: 机器人
关键词: 机器人操作, 视觉运动策略, 观测-动作空间对齐, SE(3)轨迹预测, 3D空间推理

一句话总结¶

针对传统VLA和世界动作模型中间表征未对齐动作空间刚体几何的根本缺陷，OASIS通过在相机坐标系预测末端执行器的SE(3)轨迹作为几何对齐的中间隐表征，使轻量动作解码器以极低数据与训练代价在LIBERO、CALVIN及双真机平台上大幅超越前沿策略。

研究背景与动机¶

基于视觉与语言的多模态机器人操作策略（Visuomotor Policies）在近年来经历了从基础视觉-动作映射到视觉-语言-动作（VLA）模型与世界动作模型（WAM）的演进。然而，当前主流体系在中间特征构建上面临着结构性困境：末端执行器的物理刚体运动严格处于特殊欧氏群 $SE(3)$ 流形之中，但在同一语言指令下，单张二维观测图像往往与无数个潜在可行的6-DoF相对动作相兼容。无论是标准VLA将多模态语义特征直接输入动作头，还是特征增强型VLA引入点云、深度图或图像平面2D轨迹，抑或是WAM预测未来RGB帧或隐空间视觉特征，这些中间表征本质上都滞留在“观测空间”（Observation Space），并未承载动作空间特有的刚体几何约束。

这种观测与动作表征之间的几何脱节，迫使后端的动作解码器不仅要完成时间步分解与接触动力学规划，还必须在没有任何显式几何导引的前提下，隐式逆解出三维绝对位姿以及欧氏变换参数化。尽管通过大规模机器人数据集预训练或引入弱空间辅助监督能够在一定程度上缓解多义性，但依然无法从底层注入刚体几何的归纳偏置；一旦遭遇视点漂移、杂物干扰或长程累积误差，隐式推断的脆弱性便暴露无遗。

为从根源上打破这一瓶颈，本文主张在策略内部显式构建对齐中间表征的设计范式，将预测目标从观测空间跃迁到动作空间几何结构中。核心 idea：通过预测相机坐标系下的末端执行器 $SE(3)$ 轨迹，将视觉运动策略的中间隐状态与动作空间的刚体几何刚性对齐，为动作解码器提供坚实的几何归纳偏置，以轻量可训架构吸收未标定外参、动力学残差与夹爪时序偏差。

方法详解¶

整体框架¶

OASIS 由三个紧密耦合且端到端联合优化的核心阶段组成：三维感知特征编码器（3D-aware Feature Encoder）、$SE(3)$ 轨迹预测器（$SE(3)$ Trajectory Predictor）以及动作解码器（Action Decoder）。策略输入包括第三人称与手腕视角RGB图像、语言任务指令以及机器人当前7维末端状态（位置、旋转与夹爪开合）。编码器首先将视觉语言语义与绝对度量深度紧密融合生成 3D 表征；随后轨迹预测器利用可学习时序查询与旋转位置编码，在前瞻时域内预测相机坐标系下的8步连续 $SE(3)$ 目标位姿；最终动作解码器交叉注意力查询该位姿监督的隐状态与当前本体状态，闭环输出可执行的6-DoF相对动作块与夹爪控制。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["输入：双视RGB图像 o_t + 语言指令 l + 机器人状态 e_t"] --> FEnc["3D感知特征编码：融合度量深度与视觉语言隐表征"]
    FEnc --> Pred["SE(3)轨迹预测：自注意力RoPE时序建模与轴角位姿约束"]
    Pred --> Dec["动作解码器：吸收外参、动力学残差与夹爪时序"]
    Dec --> Out["输出：H步可执行相对动作块 A_t 与夹爪指令"]

关键设计¶

1. 3D感知特征编码：融合绝对度量深度与多模态语义 传统策略直接依赖RGB图像或相对深度图（如Depth Anything V2），缺失真实世界的绝对物理尺度，无法为末端位姿解算提供精确的空间度量基准。OASIS构建了统一的三维表征混合架构：采用冻结的超大度量深度估计骨干 DA3METRIC-LARGE 提取多尺度公制度量隐状态 $\mathbf{h}_t^d \in \mathbb{R}^{N_d \times D}$；同时采用轻量级 Qwen2.5-0.5B 配合双视觉编码器（DINOv2 + SigLIP）提取视觉表征 $\mathbf{h}_t^v$ 与语言表征 $\mathbf{h}_t^l$。三者沿通道拼接为完整的 3D 增强特征向量 $\mathbf{h}_t^{3D} = [\mathbf{h}_t^l, \mathbf{h}_t^v, \mathbf{h}_t^d]$。该设计使模型无需构建复杂耗时的体素或点云结构，便能赋予下游预测模块兼具高层语义意图与真实物理尺度的空间先验。

2. SE(3)轨迹预测：相机坐标系下的轴角流形建模 针对观测与动作空间脱节的核心矛盾，该模块利用 $H=8$ 个可学习轨迹查询向量 $\mathbf{q}_{\mathrm{traj}}$，在4层Transformer中通过自注意力、旋转位置编码（RoPE）以及对 $\mathbf{h}_t^{3D}$ 的交叉注意力，捕获时序平滑性并输出位姿隐状态 $\mathbf{h}_{\mathrm{traj}}$。线性预测头将隐状态映射为相机坐标系下各步的位置与轴角向量 $\mathbf{e}_{t+h}^c = [\mathbf{p}_{t+h}^c, \boldsymbol{\theta}_{t+h}^c]^\top$。轴角表示 $\boldsymbol{\theta} \in \mathbb{R}^3$ 构成了 $SO(3)$ 流形规范的指数坐标系，通过罗德里格旋转公式直接解析重构为精确旋转矩阵 $\mathbf{R} = \exp([\boldsymbol{\theta}]_{\times}) \in SO(3)$，完全规避了四元数归一化约束、欧拉角奇异点（万向节锁）或正交化投影畸变。将预测锚定在相机坐标系，使几何流形与特征提取坐标严格同轴，免除了预测器隐式拟合相机-世界外参标定的额外负担。训练阶段采用鲁棒的 $\ell_1$ 轨迹损失： $$\mathcal{L}_{\mathrm{traj}} = \frac{1}{H} \sum_{h=1}^H \left\| \hat{\mathbf{e}}_{t+h}^c - \mathbf{e}_{t+h}^c \right\|_1$$

3. 动作解码器：几何隐状态引导与多物理残差自适应吸收 即便具备高精度的几何位姿预测，纯解析几何映射仍无法直接用于真实机器人执行，因为解析几何无法处理夹爪接触动力学、夹爪闭合时差、轨迹预测噪声以及无标定相机外参矩阵。OASIS设计了2层Transformer动作解码器，初始化 $H$ 个动作查询 $\mathbf{q}_{\mathrm{act}}$，交叉注意力捕获包含轨迹隐状态 $\mathbf{h}_{\mathrm{traj}}$ 与本体当前末端状态投影 $\mathbf{h}_{\mathrm{state}}$ 的上下文向量 $\mathbf{h}_{\mathrm{ctx}}$。解码器直接输出由相对动作与夹爪离散信号构成的块 $\mathbf{A}_t = \{(\mathbf{a}_{t+h-1}, g_{t+h-1})\}_{h=1}^H$。这一结构使解码器能够直接继承位姿隐表征中固有的空间刚体引导，同时利用强大的神经网络容量从演示中自适应学习并“吸收”未标定外参转换、接触碰撞与时钟微调残差。

损失函数 / 训练策略¶

系统采用端到端多任务监督训练，整体损失函数联合轨迹重构与执行动作误差： $$\mathcal{L}_{\mathrm{total}} = \lambda \mathcal{L}_{\mathrm{traj}} + \mathcal{L}_{\mathrm{act}}$$ 其中 $\mathcal{L}_{\mathrm{act}} = \frac{1}{H} \sum_{h=1}^H \| [\hat{\mathbf{a}}_{t+h-1}, \hat{g}_{t+h-1}] - [\mathbf{a}_{t+h-1}, g_{t+h-1}] \|_1$，损失平衡系数设为 $\lambda = 0.1$。模型总参数为 1.73B，其中仅 0.18B 参数可训（包括 Qwen2.5-0.5B 的 LoRA 适配层、轨迹预测器与动作解码器的全量参数 0.07B、以及映射投影层）。在4块 NVIDIA A800 GPU 上采用 AdamW 优化器，学习率设为 $2 \times 10^{-4}$，配合余弦退火与 5,000 步预热，在 50,000 步内即可收敛，完全无需大规模机器人通用数据集的昂贵预训练。

实验关键数据¶

主实验¶

在 LIBERO 仿真基准的 4 个套件（每个套件 10 项任务，每项评估 50 次轨迹）上，OASIS 与各类前沿 VLA 及世界动作模型进行综合对比：

数据集 / 套件	指标	OASIS (本文)	次优方法	领先优势
LIBERO-Spatial	成功率 (%)	99.0	97.6 (QDepth-VLA)	+1.4%
LIBERO-Object	成功率 (%)	98.8	98.8 (π0 / Unified-VLA)	平齐
LIBERO-Goal	成功率 (%)	97.4	95.8 (π0)	+1.6%
LIBERO-Long	成功率 (%)	95.2	94.0 (Unified-VLA)	+1.2%
LIBERO 平均	平均成功率 (%)	97.6	95.5 (Unified-VLA)	+2.1%
CALVIN (ABC→D)	平均连续完成任务数 (Avg.)	4.57	4.44 (DreamVLA)	+0.13
CALVIN (ABC→D)	连续5项任务成功率 (%)	83.3	78.1 (DreamVLA)	+5.2%

在真机评估中（Franka Research 3 与 Kinova Gen3 平台，每任务 60 次独立实验），OASIS 展现出显著优势：

真机测试套件	指标	OASIS (本文)	π0.5 (基线)	RDT	Seer-Large	ACT
Goal (多目标语义分发)	成功率 (%)	98.6	95.0	81.7	73.3	58.3
Spatial (积木堆叠/挂杯/放锅)	成功率 (%)	85.8	78.3	66.7	55.2	45.0
Long (开抽屉-取香蕉-入碗)	成功率 (%)	83.3	71.6	60.0	46.7	18.3
真机综合平均	平均成功率 (%)	89.2	81.6	69.5	58.4	40.5

消融实验¶

在 LIBERO-Long 与 LIBERO-Spatial 任务上进行严格受控的中间表征与几何设计消融：

变体配置	LIBERO-Long 成功率 (%)	LIBERO-Spatial 成功率 (%)	说明
OASIS (完整模型)	95.2	99.0	相机系 $SE(3)$ 轨迹预测，轴角参数化
旋转参数化：四元数 (Quaternion)	91.6	-	存在单位球面约束且受双重覆盖符号歧义影响
旋转参数化：欧拉角 (Euler Angles)	92.2	-	易发生万向节死锁与旋转不连续
监督目标：世界系 SE(3) (w/ World)	93.2	96.5	强制预测器额外学习未标定外参转换，落后 2.0%
监督目标：3D位置 (w/ 3D Pos.)	92.3	95.4	缺少 $SO(3)$ 姿态几何对齐，长程操作受限
监督目标：2D轨迹 (w/ 2D)	90.7	93.3	仅在图像平面监督，缺失深度与刚体流形先验
辅助支路未连接解码器 (w/ AuxTraj)	89.7	91.9	轨迹特征仅做旁路多任务监督，不直接引导解码器
移除轨迹预测器 (w/o Traj.)	89.5	91.6	退化为普通特征增强型 VLA 基线性能基底
深度消融：无深度 (w/o Metric)	91.8	93.4	仅依靠 2D 视觉表征，3D 空间定位误差增大
深度消融：相对深度 (w/ Rel.)	92.0	-	使用 Depth Anything V2 相对深度，缺乏尺度先验
解码器消融：硬编码解析转换	0.0	12.4	用真实外参+模拟器夹爪真值，硬编码解析严重崩溃

关键发现¶

对齐表征的阶梯式增益：消融实验展现出明确的单调阶梯关系——从无轨迹（89.5%）到2D轨迹（90.7%）、3D位置（92.3%）、世界系SE(3)（93.2%），再到相机系SE(3)（95.2%）。这证明几何监督越丰富、流形越贴近动作空间，策略表现越强。
解耦外参标定与动作残差：在相机坐标系下做轨迹预测不仅避免了网络强行记忆相机外参，同时由可学习动作解码器统一吸收外参转换和接触动力学，是模型在真机未标定相机位移（下移15cm）下依然维持 91.2% 超高成功率的核心支撑。
解析硬编码的致命缺陷：即使使用已知的精确相机外参与特权夹爪状态真值，解析式硬编码管道在 LIBERO-Long 上的成功率依然坍塌为 0.0%，证实了解码器网络在拟合毫米级闭环补偿、动态接触力和动作时间尺度残差上的不可替代性。

亮点与洞察¶

刚体空间对齐的范式颠覆：不同于过去盲目在观测空间堆叠未来画面扩散或2D热图的路线，OASIS首次系统论证了“中间表征对齐动作空间几何”的根本重要性，为具身智能的策略表征设计确立了全新准则。
轴角指数映射在操作流形中的极简优雅：针对桌面操作姿态范围有界的特性，直接采用李代数轴角向量表征旋转，绕过了四元数单位范数约束与欧拉角万向节锁，在理论完备性与网络优化鲁棒性之间实现了极致平衡。
极小训练代价下的数据效率：在真机长程复合任务中，OASIS仅使用 10 条人类演示便达到了强基线 $\pi_{0.5}$ 使用 25 条演示的成功率水平（35.0% vs 35.0%），且总可训参数仅 0.18B，展现出极强的工业落地与学术复现价值。

局限与展望¶

单臂桌面操作的场景局限：当前模型假设末端执行器处于单一刚体 $SE(3)$ 流形，难以直接涵盖移动底座协同的 $SE(2) \times SE(3)$ 全局轨迹以及多指灵巧手的复杂接触关节空间。
极端几何接触任务的细微误差累积：真机失效分析表明，对于挂杯子（76.6%）和架锅（83.3%）等严苛依赖亚厘米和毫米级定向契合的任务，残余旋转误差与长程分段误差仍会导致局部失误。
未来方向：探索将刚体几何对齐范式扩展至双臂协同、移动操作底盘联合规划，并引入触觉反馈以进一步闭环压制接触动力学残差。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出以 SE(3) 刚体轨迹预测实现观测-动作空间对齐的视觉运动策略设计准则，立意清晰且理论自洽。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LIBERO 与 CALVIN 两大基准、严密的消融与硬编码解析对比、双真机平台实机验证以及 OOD 扰动测试，实验极其扎实。
写作质量: ⭐⭐⭐⭐⭐ 数学建模严谨，问题提炼精准透彻，从理论分析到实现细节层层递进。
价值: ⭐⭐⭐⭐⭐ 显著降低了高精度机器人操作策略对海量数据预训练与繁琐相机标定的依赖，对具身智能底层架构具有极强启发性。