VersaCamVLA: Camera-Configurable VLA Policies for Robotic Manipulation¶
会议: NeurIPS 2026
arXiv: 2610.12451
论文: https://boyaohan.github.io/VersaCamVLA.github.io/
领域: 机器人
关键词: 视觉语言动作模型、相机可配置、场景表征学习、手腕相机姿态采样、机器人精细操作
一句话总结¶
VersaCamVLA 提出相机可配置视觉语言动作模型框架，通过解耦相机集合表征与动作学习，利用手腕相机运动实现无成本位姿增广，构建输出固定尺寸 Token 的统一场景接口，使策略无需显式 3D 感知即可泛化至任意相机数量与未见相机位姿。
研究背景与动机¶
视觉语言动作（Vision-Language-Action, VLA）模型通过将预训练视觉语言大模型（VLM）与机器人连续动作预测对齐，为机械臂通用操作奠定了强大的认知与泛化基座。然而，精细插入、多物体堆叠和双臂协同等灵巧操作任务高度依赖精确的空间感知，而当前 VLA 模型的空间理解能力往往被硬性绑定在训练期固定的相机布局上。当部署现场发生相机增减、视角平移或朝向微调时，输入的视觉 Token 分布会发生剧烈偏移，导致动作输出性能断崖式下跌。在真实物理场景中，工作空间物理遮挡、机械臂底座干涉以及平台差异性使得单一固定视角布局往往难以通用，成为限制 VLA 模型规模化落地的一大瓶颈。
现有应对相机敏感性的探索主要沿三条路径展开，但各具明显短板：第一类通过在真实场景采集多视角演示或借助 NeRF/3DGS 渲染合成新视角进行数据增强，然而真实多视角示教采集成本极其高昂，而新视角合成质量缺陷容易引入视觉伪影；第二类通过引入显式深度图、3D 点云或 3D 几何大模型特征，这不可避免地要求系统部署昂贵复杂的深度传感器或消耗巨大的 3D 实时重建算力；第三类多相机策略简单将各机位图像 Token 进行拼接，不仅会导致输入序列长度随相机数量线性膨胀、计算复杂度剧增，且模型依然无法脱离训练时的固定相机数目与机位排布。
为了彻底打破策略对特定相机安装布局的依赖，本文的核心切入点在于将多机位几何表征学习与下游动作策略学习解耦，构建一个对相机数量与几何位姿完全透明的统一场景中间层。核心 idea：将任意数量的带位姿 RGB 视角统一编码为固定尺寸的紧凑场景 Token，在预训练阶段借助机械臂固有的手腕相机轨迹运动实现零成本位姿增广与多信号目标视角重构监督，在推理阶段作为轻量级补充条件无缝注入冻结的通用 VLA 基座。
方法详解¶
整体框架¶
VersaCamVLA 包含两个解耦的训练阶段：阶段 I 学习一个通用的场景 Token 接口，阶段 II 学习基于场景 Token 条件的动作策略，推理阶段仅需保留紧凑的前向推理通路，无需任何显式 3D 重建或新视角渲染。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["任意机位 RGB 图像 + 内外参矩阵"] --> B["普吕克光线嵌入与图像块投影"]
B --> C["基于可学习 Query 的场景编码器<br/>多视角自注意力聚合为固定尺寸 Token"]
C --> D["手腕增强位姿采样与多信号目标视角解码<br/>Stage I 预训练：RGB + 语义 + 边缘重建"]
D --> E["卷积空间压缩编码器<br/>Stage II 联合微调：空间降采样与通道映射"]
E --> F["冻结的通用 VLA 基座 π0.5<br/>Flow-Matching 动作专家回归预测"]
F --> G["双臂连续关节轨迹动作块 At"]在阶段 I（统一场景 Token 接口学习）中，给定任意非空且数量可变的源相机集合 \(\mathcal{S}\)，场景编码器将带有外参和内参信息的 RGB 观测映射为固定尺寸的隐式场景 Token。为了驱动这些 Token 捕获视角一致的立体空间几何，网络连接一个仅在训练期使用的场景解码器，基于目标相机的光线射线查询场景 Token，联合预测目标视角的 RGB 图像、语义分割图和 Canny 边缘轮廓。在此过程中，手腕增强位姿采样机制（WAPS）利用机械臂执行轨迹中手腕相机的动态连续移动，提供极其丰富且完全免费的位姿分布覆盖。
在阶段 II（场景 Token 条件化 VLA 策略学习）中，丢弃场景解码器及其三个预测头，冻结场景编码器参数。来自场景编码器的固定长度 Token 经由轻量级卷积空间编码器进一步压缩，提炼出任务相关的核心空间几何线索，并作为辅助视觉特征条件注入预训练的 \(\pi_{0.5}\) VLA 基座模型。\(\pi_{0.5}\) 保持其原有的主视角视觉和语言指令输入，仅通过 Flow-Matching 目标优化动作专家和卷积压缩网络，从而在保持动作基座大模型预训练泛化能力的同时，获得了应对输入相机数量变动与位姿扰动的极强适应力。
关键设计¶
1. 普吕克光线嵌入与固定尺寸场景 Token 聚合：解耦相机集合与下游策略接口
传统多相机 VLA 策略通常直接对各视角 Patch 序列进行拼接，不仅导致 Transformer 计算开销随视角数量平方级激增，而且严格假定视角的数量与排列顺序固定。VersaCamVLA 通过引入普吕克（Plücker）光线参数化将相机内外参完全几何化。对于任意源相机 \(i\)，其第 \(j\) 个图像块 \(\mathbf{I}^{i,j} \in \mathbb{R}^{p \times p \times 3}\) 及其对应的光线方向与光线力矩构成的普吕克坐标 \(\mathbf{R}^{i,j} \in \mathbb{R}^{p \times p \times 6}\) 在通道维度拼接，通过线性映射投影为源特征 Token： $\(\mathbf{x}^{i,j} = \phi_{\text{src}}([\mathbf{I}^{i,j}, \mathbf{R}^{i,j}]) \in \mathbb{R}^d\)$ 来自所有可用相机的源 Token 拼接为变长序列 \(\mathbf{X} \in \mathbb{R}^{(N \times P) \times d}\)。为了彻底屏蔽输入视角数量 \(N\) 对下游策略的影响，模型设置了 \(L=3072\) 个可学习的场景 Query Token \(\mathbf{E} \in \mathbb{R}^{L \times d}\)（在几何空间排布为 \(3 \times 32 \times 32\) 网格）。场景编码器通过 12 层标准 Transformer 自注意力机制，让 Query Token 与所有视角的源 Token 联合交互，提取全场景一致的全局空间信息并抛弃原输入 Token： $\(\mathbf{Z} = \text{Enc}_{\theta}([\mathbf{X}, \mathbf{E}]) \in \mathbb{R}^{L \times d}\)$ 无论实际输入是 1 个单目视角还是 6 个环绕机位，输出的场景 Token 序列长度与维度恒定为 \(L \times d\)，为下游策略提供了极其稳定的几何信息交互瓶颈。
2. 手腕增强位姿采样（WAPS）：零额外采集成本的连续位姿泛化机制
训练场景编码器泛化至任意位姿需要充分多样的相机分布，但在真实物理平台上人为搬动相机支架重新采集演示极为昂贵。作者敏锐地观察到：桌面双臂操作中，固定在底座周围的环境相机虽然机位稀疏稳定，但安装在机械臂末端的手腕相机在抓取、搬运、避障等运动轨迹中会自然遍历三维空间中的大量位姿。WAPS 机制通过动态划分训练帧的视角池，将手腕相机的天然运动转化为高熵位姿增强： 对于每帧可用的环境相机池 \(\mathcal{C}_{\text{stat}}\) 和手腕相机池 \(\mathcal{C}_{\text{wrist}}\)，输入源相机集合独立采样构建：从环境相机中随机均匀抽取 \(n \in [1, |\mathcal{C}_{\text{stat}}|]\) 个机位，而手腕相机则以独立伯努利概率 \(0.5\) 决定是否纳入源输入集合 \(\mathcal{S}\)。关键在于，目标重构相机池 \(\mathcal{T}\) 始终包含所有的全部环境与手腕相机。这种非对称设计构成了双重监督：当目标相机在源输入中时，迫使网络进行自重构以保留纹理细节；当目标相机被排除在源输入外时，迫使网络进行跨视角跨位姿的新视角推断，从而使编码器学会从残缺、任意的相机子集中抽象出全局不变的场景三维语义。
3. 多信号目标视角解码与卷积空间信息瓶颈：兼顾几何边界与策略执行效率
如果仅使用 RGB 光度重建误差训练场景编码器，模型容易被桌面阴影、背景纹理和光照高频噪点所主导，而忽略对于夹爪抓取至关重要的几何结构与操作物体边界。阶段 I 在场景解码器后设计了三路并行预测头：RGB 重建头结合像素 MSE 与深度感知损失 \(\mathcal{L}_{\text{perc}}\)，语义分割头 \(\mathcal{L}_{\text{sem}}\) 预测高层类别掩码，边缘检测头 \(\mathcal{L}_{\text{edge}}\) 预测基于 Canny 算子的精细物理轮廓，总体场景损失为： $\(\mathcal{L}_{\text{scene}} = \mathcal{L}_{\text{rgb}} + \lambda_{\text{sem}} \mathcal{L}_{\text{sem}} + \lambda_{\text{edge}} \mathcal{L}_{\text{edge}}\)$ 进入阶段 II 后，全部重构解码头与场景解码器被丢弃以实现零冗余部署。然而，原始场景 Token 数量（\(L=3072\)）若直接注入基座 VLA 仍显冗长。VersaCamVLA 引入了一个轻量级卷积空间编码器 \(g_{\eta}\)，将 \(3 \times 32 \times 32 \times 768\) 的网格特征通过局部卷积汇聚与空间下采样，压缩为仅 \(3 \times 8 \times 8 = 192\) 个维度为 2048 的紧凑 Token： $\(\bar{\mathbf{Z}}_t = g_{\eta}(\mathbf{Z}_t)\)$ 该卷积模块在阶段 II 仅受下游 Flow-Matching 动作回归损失反向传播驱动，充当了以任务为导向的信息过滤瓶颈，只将与机械臂运动轨迹规划最相关的空间几何信号传递给动作专家。
损失函数 / 训练策略¶
- 阶段 I（场景接口预训练）： 采用 AdamW 优化器（\(\beta_1=0.9, \beta_2=0.95\)，权重衰减 0.05），初始学习率在 3,000 步线性预热后恒定为 \(1 \times 10^{-4}\)，梯度裁剪范数设为 1.0。在 8 卡 NVIDIA H100 GPU 上采用 bf16 混合精度与 TF32 训练 100,000 步，总 Batch Size 为 208。平衡系数设置为 \(\lambda_{\text{sem}}=1.0\)、\(\lambda_{\text{edge}}=1.0\)、\(\lambda_{\text{perc}}=0.5\)。场景编解码器权重初始化自预训练的通用大视角合成模型（LVSM），以加速空间先验收敛。
- 阶段 II（VLA 策略微调）： 场景编码器完全冻结。基座 VLA 基于 \(\pi_{0.5}\) 初始化，与随机初始化的卷积空间编码器 \(g_{\eta}\) 联合优化。采用 Flow-Matching 速度场回归损失，预测动作时域视界 \(H_a=50\) 的动作块： $\(\mathcal{L}_{\text{action}} = \mathbb{E}_{\tau, \epsilon} \left[ \| v_{\eta, \omega}(A_t^{\tau}; \mathcal{L}, \mathcal{V}_t, \bar{\mathbf{Z}}_t, \mathcal{P}_t, \tau) - (A_t - \epsilon) \|_2^2 \right]\)$ 优化采用 AdamW，学习率 \(5 \times 10^{-5}\)，Batch Size 512，训练 30,000 步。
实验关键数据¶
主实验¶
评估覆盖 RoboTwin 2.0（包含 16 个双臂细粒度任务的 Clean 与域随机化 DR 基准）、LIBERO 单臂四套件以及搭载 Cobot Magic 双臂的真实机器人环境（PickCube、StackCube、Insert Test Tube 任务各 20 次测试）。
1. RoboTwin 2.0 仿真基准对比（3 视角输入，成功率 %）
| 方法 | 类型 | 干净环境（Clean） | 域随机化（DR） | 平均成功率 |
|---|---|---|---|---|
| ACT | 纯行为克隆 | 19.69 | 0.06 | 9.88 |
| Diffusion Policy (DP) | 扩散动作策略 | 23.69 | 0.00 | 11.85 |
| DP3 | 3D 点云扩散策略 | 39.94 | 2.56 | 21.25 |
| OpenVLA-OFT | 微调开源 VLA | 15.19 | 3.56 | 9.38 |
| \(\pi_{0.5}\) (Baseline) | 通用流动 VLA | 35.88 | 21.63 | 28.76 |
| VersaCamVLA (Ours) | 相机可配置 VLA | 52.56 | 23.00 | 37.78 |
2. 相机位姿剧烈扰动测试（4 视角输入，RoboTwin 2.0 Clean 与真实机器人）
在测试期将相机位姿沿球面进行方位角 \(\Delta \phi \in [-90^\circ, 90^\circ]\)、俯仰角 \(\theta \in [25^\circ, 75^\circ]\) 和距离缩放 \(r \in [0.8, 1.2]\) 的大幅未见扰动：
| 测试平台 | 评测环境 | \(\pi_{0.5}\) (Baseline) | VersaCamVLA (Ours) | 性能变化差值对比 |
|---|---|---|---|---|
| RoboTwin 2.0 | 已见位姿（Seen Pose） | 48.88% | 53.44% | +4.56 pp |
| RoboTwin 2.0 | 未见扰动位姿（Unseen Pose） | 32.88% | 52.63% | +19.75 pp（基线骤降 16.0 pp，本文仅微降 0.81 pp） |
| 真实机器人平台 | 已见位姿（Seen Pose） | 41.67% | 53.33% | +11.66 pp |
| 真实机器人平台 | 未见扰动位姿（Unseen Pose） | 13.33% | 58.33% | +45.00 pp（基线严重崩塌，本文性能依然强劲） |
3. 相机数量灵活增减测试（RoboTwin 2.0 与真实机器人平台成功率 %）
| 测试平台 | 方法 | 3 视角 (3V) | 4 视角 (4V) | 5 视角 (5V) | 6 视角 (6V) | 跨机位配置特性 |
|---|---|---|---|---|---|---|
| RoboTwin 2.0 | \(\pi_{0.5}\) | 35.88 | 48.88 | 不支持 | 不支持 | 需针对每种数量分别重新训练模型 |
| RoboTwin 2.0 | VersaCamVLA | 52.56 | 53.44 | 53.13 | 55.63 | 单个模型直接运行，随视角增多逐步提升 |
| 真实机器人 | \(\pi_{0.5}\) | 31.67 | 41.67 | 不支持 | 不支持 | 无法零样本迁移至新增相机设置 |
| 真实机器人 | VersaCamVLA | - | 53.33 | 65.00 | - | 即插即用追加第 5 个测试相机，涨点 11.67 pp |
消融实验¶
RoboTwin 2.0 Clean/DR 关键设计消融结果汇总
| 消融维度 | 具体配置项 | 评测场景与指标 | 说明与表现 |
|---|---|---|---|
| 压缩 Token 数量 | 48 Tokens | RoboTwin Clean (50.06%) | 压缩过度，细粒度空间几何信息严重受损 |
| 192 Tokens (本文选定) | RoboTwin Clean (55.63%) | 空间分辨率与计算开销达到最优平衡 | |
| 432 Tokens | RoboTwin Clean (47.50%) | 引入过多背景高频噪声与策略过拟合，性能反降 | |
| 空间压缩结构 | 空间池化 (Pooling) | RoboTwin Clean (50.13%) | 简单全局/局部平均池化丢失邻域局部相对位姿关系 |
| 轻量级卷积 (Conv) | RoboTwin Clean (55.63%) | 具备空间局部聚合能力，引导任务相关瓶颈 | |
| 手腕增强采样 (WAPS) | w/o WAPS（仅固定环境相机） | 未见位姿 Unseen (48.79%) | 缺乏充分位姿视角跨度，外推泛化能力受限 |
| Full WAPS (手腕动态增强) | 未见位姿 Unseen (52.63%) | 零采集代价显著增进位姿外推鲁棒性（+3.84 pp） | |
| 预训练权重初始化 | 从零初始化 (Scratch) | RoboTwin Clean (51.25%) | 缺乏先验多视角对应几何感知能力 |
| LVSM 预训练迁移 | RoboTwin Clean (55.63%) | 利用基础视角合成模型的大规模多视角几何先验 | |
| 阶段 I 监督信号 | 仅 RGB 重建 | RoboTwin DR (20.94%) | 容易被纹理和光照所迷惑 |
| RGB + 边缘检测 (Edge) | RoboTwin DR (24.75%) | 强化物体与夹爪的边界轮廓定位 | |
| RGB + 语义分割 (Semantic) | RoboTwin DR (25.69%) | 强化操作对象的类别与部件级别空间区分度 | |
| RGB + Edge + Semantic (本文) | RoboTwin DR (29.50%) | 多信号协同大幅提升外观域随机化下的空间鲁棒性（+8.56 pp） |
关键发现¶
- 位姿扰动下抗跌能力极强：常规 VLA（\(\pi_{0.5}\)）在面对未见相机外参扰动时性能大幅断崖（仿真中下降 16 pp，真实机器人上从 41.67% 跌至 13.33%），而 VersaCamVLA 的固定尺寸统一场景 Token 在仿真中仅降 0.81 pp，在真实机器人上甚至逆势上扬（从 53.33% 到 58.33%），展现出超越直接多视角图像拼接的几何不变性。
- 计算推理延迟与相机数量解耦：在单卡 RTX 4090 上，当输入视角由 4 个增加到 6 个时，\(\pi_{0.5}\) 的推理延迟因 Token 序列暴增而增加了 29.47 ms，而 VersaCamVLA 仅微增 7.06 ms，两者的延迟差扩大到 22.14 ms，证明了统一 Token 瓶颈对边缘端多机位部署的高效性。
- 对外参标定噪声具备高容忍度：在人为注入高斯标定误差测试中，20 mm 平移 / \(2^\circ\) 旋转的中度噪声下模型性能仅微降 0.43 pp；即使在 50 mm / \(5^\circ\) 的重度失准下依然维持 50.38% 成功率，完全能容忍真实部署中的机械振动和手工标定微差。
亮点与洞察¶
- 巧借手腕相机的自然物理位姿覆盖：将机械臂作业过程中自带的手腕末端运动视作天然的几何视角采样器，无需增加繁重昂贵的泛位姿示教采集，极具工程智慧与可复用价值。
- 解耦表征学习与动作生成的双阶段设计：将复杂的“任意相机视角到统一场景表征”交由大视角生成任务监督，而下游下游策略基座仅通过轻量级卷积网络按需汲取空间 Token，完美保护了预训练 VLA 的大模型语义与泛化先验。
- 对通用具身智能的多机位即插即用启发：该架构可无缝外推到多机械臂工厂工位、移动底盘外接机位等场景，部署人员无需因更换相机支架而被迫重训整个 VLA 动作模型。
局限与展望¶
- 依赖已知相机标定参数：模型仍需相对精确的相机内参和外参矩阵以构造普吕克光线。面对完全无标定或外参突变的极端野外场景，仍存在退化风险。
- 缺乏主动视角规划与选择：在多相机可用时，当前模型属于被动输入融合，未能根据具体操作阶段（例如远距离趋近 vs 毫米级微调孔位插入）主动权衡或调度最优视点。
- 未来方向：作者指出未来将进一步拓展至完全无标定相机的自适应对齐、结合主动感知的主动相机位姿控制，以及在移动底盘导航-操作一体化系统中的灵活多传感器适配。
相关工作与启发¶
- vs \(\pi_{0.5}\) / OpenVLA-OFT 等直接多视角拼接策略：传统做法将各机位图像展开后序列化接入 Transformer，导致序列随视角线性膨胀，且与训练时相机数量/排布深度绑定；VersaCamVLA 用普吕克编码和固定 Query 聚合出固定长度 Token，实现了任意数量、任意位姿的即插即用。
- vs DP3 / Act3D 等显式 3D 几何策略：显式 3D 方案要求输入深度点云或体素网格，依赖高精传感器或耗时的立体几何重建；VersaCamVLA 纯基于 2D RGB 与相机光线隐式学习视角一致性几何，推理部署无额外传感器门槛。
- vs NeRF / 3DGS 视角合成与数据增强：视角渲染增强受制于渲染真伪度且难以在线轻量适配；VersaCamVLA 在推理期直接丢弃解码器，无需渲染任何新视角图像，推理兼顾高保真与毫秒级时延。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 巧妙提出相机可配置 VLA 表征接口，并用手腕相机天然运动做无成本位姿增强。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 RoboTwin 2.0 16 个任务、LIBERO 四大套件、外参噪声敏感度、计算时延以及真实机器人细粒度任务，证据链完整。
- 写作质量: ⭐⭐⭐⭐⭐ 架构图与两阶段拆解逻辑严谨，动机直击痛点，数学表述清晰。
- 价值: ⭐⭐⭐⭐⭐ 为解决具身智能落地中“机位一动策略全废”的痛点提供了极具商业与工程价值的标准范式。