Evo-Depth: A Lightweight Depth-Enhanced Vision-Language-Action Model¶

会议: NeurIPS 2026
arXiv: 2605.14950
代码: https://github.com/MINT-SJTU/Evo-Depth
领域: 机器人
关键词: 视觉语言动作模型, 具身智能, 隐式深度, 空间特征增强, 渐进式对齐训练

一句话总结¶

针对传统VLA模型依赖2D观察缺乏空间感知、而引入显式3D点云或大几何模型导致部署开销激增的困境，本文提出仅0.9B参数的轻量级隐式深度增强框架 Evo-Depth，通过纯RGB隐式深度编码模块（IDEM）与特征级空间增强模块（SEM）并结合三阶段渐进式对齐训练，以极低的显存占用（3.2 GB）和高推理频率（12.3 Hz）在仿真与真实机器人操作任务中刷新SOTA成功率。

研究背景与动机¶

视觉-语言-动作（Vision-Language-Action, VLA）模型作为具身智能的核心范式，旨在将高层自然语言指令与底层视觉观测统一编码，端到端直接预测机器人的连续运动控制动作。尽管在多模态预训练与大规模真实轨迹微调驱动下，通用VLA展现出令人瞩目的语义泛化能力，但在执行具有严格空间几何公差的操作任务（如精细抓取放置、动态插孔装配、杯子叠放）时，策略性能往往出现显著衰退。这一性能瓶颈的根源在于主流VLA框架（如 OpenVLA、TinyVLA、Evo-1）几乎完全依赖标准2D图像表征，缺乏物理世界中必不可少的公制深度信息、物体间前后遮挡关系以及空间几何拓扑结构。

为了填补空间感知缺陷，学术界主要探索了两条技术路线：一是显式引入3D传感器数据（如深度图、RGB-D点云），例如 3D-VLA、SpatialVLA 和 PointVLA。然而，显式3D路线高度依赖专用的主动或双目深度感知硬件，不仅在玻璃反光、遮挡、远距离或微小物体场景中充斥大量传感噪声与点云空洞，且复杂的前处理点云采样（如 FPS）与体素化网络极大推高了计算延迟，使机器人难以满足高频闭环控制需求。另一条新兴路线则是从纯RGB观测中通过几何基础大模型（如 VGGT）隐式提取3D几何先验。但这往往引入了数十亿额外参数的大型网络，导致训练与推理显存开销居高不下，无法轻量化部署到计算资源受限的边缘机械臂平台上。

由此可见，现有技术的核心矛盾在于空间几何感知的精细度与模型计算/部署的高效率之间的失衡：如何在不增加外部3D硬件传感器、不依赖笨重几何大模型的前提下，使紧凑型VLA模型直接从RGB图像中捕获具备跨视角空间一致性的深度线索？核心 idea：设计纯RGB输入的轻量级隐式深度编码模块（IDEM）提取紧凑潜空间深度特征，借助特征级调制空间增强模块（SEM）实现视觉-语言-空间的无缝低开销融合，并通过三阶段渐进式对齐训练策略，将几何感知平滑迁移到下游流匹配动作策略中。

方法详解¶

整体框架¶

Evo-Depth 采用了极具计算效率的紧凑架构解耦设计，整网参数量仅 0.9B。输入由 \(N\) 路多视角 RGB 观测 \(\{I_t^i\}_{i=1}^N\)（包含第三人称固定外置视角与手腕挂载腕部视角）、任务自然语言指令 \(L_t\) 以及机械臂本体状态 \(s_t\) 构成；最终输出为未来连续控制动作轨迹 \(A_t\)。整个计算管线划分为四个协同模块： 1. 隐式深度编码模块（IDEM）：仅需 0.13B 参数的轻量 ViT 骨干，输入多路 RGB 图像直接提取潜在空间中表征物体排布与相对距离的紧凑深度特征 \(D_t\)； 2. 视觉语言主干（VLB）：基于 InternVL3-1B 架构，采用 InternViT-300M 视觉编码器与截断前14层的 Qwen2.5-0.5B 语言模型，生成多视角 2D 视觉-语言联合嵌入 \(Z_t\)； 3. 空间增强模块（SEM）：将隐式深度特征投影并池化为全局深度调制描述符，通过类似 FiLM 的仿射变换通道调制机制调制 2D 视觉-语言嵌入，输出富含空间几何线索的表征 \(\hat{Z}_t\)； 4. 动作专家（Action Expert）：基于 Diffusion Transformer 的流匹配（Flow Matching）连续去噪策略，在空间增强表征 \(\hat{Z}_t\) 与状态 \(s_t\) 的条件引导下生成动作序列。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角RGB观测 + 语言指令 + 机器人状态<br/>{I_t^i}, L_t, s_t"] --> B["多视角隐式深度编码（IDEM）<br/>0.13B ViT 单视角预编码 + 跨视角注意力交互"]
    A --> C["视觉语言主干（VLB）<br/>InternViT-300M + 截断14层Qwen2.5-0.5B"]
    B --> D["空间特征调制增强（SEM）<br/>隐式深度均值池化 + 仿射缩放偏置调制"]
    C --> D
    D --> E["流匹配连续动作生成（Action Expert）<br/>DiT 基于空间增强表征与状态预测动作速度场"]
    E --> F["高频可执行动作序列<br/>轨迹级输出 A_t"]

关键设计¶

1. 多视角隐式深度编码：轻量跨视角空间交互与无传感器深度提取

为了摆脱对物理3D传感器或庞大几何模型的重度依赖，本文设计了参数量仅 0.13B 的轻量级隐式深度编码模块（IDEM）。该模块初始化自预训练多视角任意视角深度估计编码器权重，天然具备从 RGB 输入推断度量/相对深度关系的能力。为了解决多相机系统（如固定外视与腕部动视）之间的几何对齐问题，IDEM 设计了渐进式跨视角注意力机制：在前 \(l_0\) 层中，模型严格在各个独立视角内执行单视角自注意力运算，充分保留单路图像的原生局部结构细节与视角特定的表征稳定性；而在后续高层 Transformer 层中，交替切换执行跨视角注意力与单视角注意力：

\[H^{(l+1)}=\begin{cases}\mathrm{Attn}_{\mathrm{within}}\!\left(H^{(l)}\right),&l<l_{0},\\[4.0pt] \mathrm{Attn}_{\mathrm{cross/within}}\!\left(H^{(l)}\right),&l\geq l_{0}\end{cases}\]

这一交替注意机制使深层特征能够直接聚合多视角之间的视差几何约束，捕获物体在全局工作空间中的3D布局、相对距离以及动态末端执行器与操作目标之间的空间相对位置，输出统一紧凑的隐式空间深度特征 \(D_t\)。

2. 空间特征调制增强：基于 FiLM 的轻量级空间-语义融合

提取出隐式深度特征后，如何将其高效注入到已经过大规模图文对齐的视觉语言表征中，是一个关键难题。传统的多模态融合通常采用张量拼接（Concatenation）或计算开销巨大的全量交叉注意力（Cross-Attention）。然而，拼接方式将深度特征与图文表征对称对待，容易破坏原有预训练语义表征的拓扑结构；而深层全交叉注意力则极大增加了推理计算负担与显存开销。为此，SEM 采用了特征级线性调制（FiLM）策略。SEM 首先通过线性映射将深度特征对齐至 2D 视觉语言特征的隐空间维度，接着通过沿 token 维度均值池化压缩为全局空间描述子 \(g_t\)。轻量调制头 \(f_{\mathrm{mod}}\) 进而预测通道级仿射缩放系数 \(\gamma\) 与平移偏置 \(\beta\)：

\[\gamma,\beta=f_{\mathrm{mod}}(g_{t}), \quad \hat{Z}_{t}=\gamma\odot Z_{t}+\beta\]

通过这种特征级仿射调制，视觉语言表征 \(Z_t\) 主导了任务语义与场景内容，而隐式深度信息以平滑条件信号的形式动态微调各通道响应强度，从而在几乎不引入额外推理延迟的前提下实现了空间几何感知对语义特征的无缝增强。

3. 流匹配动作专家与三阶段渐进式对齐训练

对于动作生成，Evo-Depth 采用了基于 Diffusion Transformer（DiT）的流匹配（Flow-Matching）连续动作建模。给定真实动作轨迹 \(A_t\) 与高斯噪声 \(\epsilon\)，构造线性插值路径 \(A_t^\tau = \tau A_t + (1-\tau)\epsilon\)（其中 \(\tau \in [0, 1]\)），神经网络 \(v_\theta(A_t^\tau, \hat{Z}_t, s_t)\) 负责拟合由噪声流向真实动作的目标向量场 \(u(A_t^\tau \mid A_t) = A_t - \epsilon\)。

为了防止端到端训练初期各模态梯度互相干扰导致预训练知识破坏，本文提出了三阶段渐进式对齐训练策略（Progressive Alignment Training）： - 阶段一（初始对齐，Initial Alignment）：完全冻结预训练的 IDEM 与视觉语言主干，仅优化新初始化的 SEM 调制头与 Action Expert，使新模块快速融入预训练的特征空间； - 阶段二（空间对齐，Spatial Alignment）：解冻 IDEM 编码器，保持视觉语言主干继续冻结，重点微调空间深度编码器，促使多视角隐式深度表征能够针对具体机械臂具身操作场景中的交互区域形成显著注意力聚焦； - 阶段三（联合优化，Joint Optimization）：全面解冻包含 VLB、IDEM、SEM 与 Action Expert 在内的全网所有参数，进行端到端联合微调，达成表征协同与最优任务适应。

损失函数 / 训练策略¶

动作专家的目标流场损失函数定义为：

\[\mathcal{L}^{\tau}(\theta)=\mathbb{E}_{p(A_{t}\mid\hat{Z}_{t},s_{t}),\,q(A_{t}^{\tau}\mid A_{t})}\left[\left\|v_{\theta}(A_{t}^{\tau},\hat{Z}_{t},s_{t})-u(A_{t}^{\tau}\mid A_{t})\right\|^{2}\right]\]

在整个三阶段训练过程中，均采用 AdamW 优化器，学习率设为 \(1\times 10^{-5}\)，配合 1000 步的线性预热（Linear Warmup）与随后的余弦退火衰减（Cosine Annealing Decay），权重衰减为 \(1\times 10^{-3}\)，梯度裁剪范数设为 1.0。动作输出轨迹的时间步长（Horizon）为 50 步，状态与动作维度均为 24 维。

实验关键数据¶

主实验¶

论文在四个代表性仿真基准（Meta-World、VLA-Arena、LIBERO、LIBERO-Plus）以及物理机械臂真实世界实验中进行了全面评测。在物理真实实验中，采用 UFACTORY xArm6 搭配外置全局相机与手腕相机，执行三个难度递增的操作任务：橙子放入白盒（Orange Placement）、网球存入小桶（Tennis Deposit，小球受触碰易滚动）、杯子精准堆叠（Cup Stacking，机械几何公差极其微小）。特别地，在关键操作阶段外置全局相机会发生局部物理遮挡，极度考验模型的跨视角鲁棒空间推理能力。

下表展示了真实机械臂操作评测中的推理效率、资源消耗与任务成功率对比：

模型	参数量 (Params)	显存占用 (GPU Mem.)	推理频率 (Hz)	Orange Placement (%)	Tennis Deposit (%)	Cup Stacking (%)	平均成功率 (%)
OpenVLA-OFT	7.0B	15.1 GB	7.8 Hz	50.0	40.0	25.0	38.3
\(\pi_0\)	3.5B	17.9 GB	10.2 Hz	75.0	70.0	55.0	66.7
Evo-Depth (本文)	0.9B	3.2 GB	12.3 Hz	95.0	90.0	85.0	90.0

在仿真基准的对比实验中，Evo-Depth 展现了极具竞争力的表现，下表汇总了 Meta-World（按任务难度划分）与 VLA-Arena 上的主实验数据：

基准数据集	模型	参数量	机器人预训练	难点/细分任务指标 (%)	平均/总成功率 (%)
Meta-World	TinyVLA	1.3B	否	Easy: 77.6 / Hard: 11.4 / Very Hard: 15.8	31.6
	\(\pi_0\)	3.5B	是	Easy: 71.8 / Hard: 41.7 / Very Hard: 30.0	47.9
	SmolVLA	2.3B	否	Easy: 87.1 / Hard: 70.0 / Very Hard: 64.0	68.2
	RoboTron Mani	4.0B	否	Easy: 85.5 / Hard: 76.7 / Very Hard: 81.0	77.7
	Evo-1	0.8B	否	Easy: 89.2 / Hard: 77.2 / Very Hard: 79.2	80.6
	Evo-Depth (本文)	0.9B	否	Easy: 83.1 / Hard: 87.3 / Very Hard: 82.4	84.4
VLA-Arena	SmolVLA	2.3B	否	Safety: 16.5 / Distractor: 21.0 / Long: 24.7	16.4
	\(\pi_0\)-FAST	3.5B	是	Safety: 34.1 / Distractor: 39.0 / Long: 20.7	25.6
	UniVLA	7.0B	是	Safety: 45.5 / Distractor: 41.3 / Long: 22.0	38.7
	OpenVLA-OFT	7.0B	是	Safety: 43.2 / Distractor: 52.3 / Long: 26.7	39.9
	Evo-Depth (本文)	0.9B	否	Safety: 47.3 / Distractor: 52.7 / Long: 46.5	41.1

在 LIBERO-Plus 评测中，针对视角（Camera）、机械臂初始位姿（Robot）、光照（Light）及场景物体排布（Layout）等扰动测试，Evo-Depth 取得了 69.6% 的平均成功率，全面超越了 7B 的 UniVLA（43.9%）与 \(\pi_0\)-Fast（53.6%），特别是在 Camera 扰动下成功率达到 47.2%（其余 baseline 均低于 14%）。

消融实验¶

论文在 LIBERO-Plus 与 LIBERO Long 基准上系统探究了隐式深度模块有效性、训练阶段配置及多模态融合策略。下表汇总了关键消融设置对比：

实验切片 / 配置	评测基准与主要考察维度	关键表现 / 成功率趋势	结论与机制说明
隐式深度感知（IDEM）消融	LIBERO-Plus 扰动维度 (Camera/Robot/Light/Layout)	移除 IDEM 后在各维度均明显下滑，Camera 与 Layout 跌幅最剧烈	证实 RGB 隐式深度表征赋予了策略在视角剧变和桌面物体排布扰动下的鲁棒空间锚定能力
单阶段联合训练（One-stage）	LIBERO Long 长期规划基准	成功率最低（显著低于多阶段方案）	从初始即端到端优化易发生模态表征冲突与梯度破坏
两阶段对齐训练（Two-stage）	LIBERO Long 长期规划基准	较单阶段明显改善，但仍未达最优	仅解冻两端缺乏深度模块与语言表征的中间自适应桥梁
三阶段对齐训练（Three-stage，完整版）	LIBERO Long 长期规划基准	取得最高成功率（达到最优泛化与平稳收敛）	渐进式解冻允许 IDEM 深度注意力平稳迁移并聚焦至末端执行器接触区
特征拼接融合（Concat）	LIBERO Long 融合策略消融	表现最差，严重落后于调制方案	对称拼接稀释了预训练视觉语言语义特征的主导地位
交叉注意力融合（Crossatten）	LIBERO Long 融合策略消融	性能明显优于 Concat，但计算冗余较高	能够建立关联但注意力权重分散，且计算复杂度偏高
SEM 仿射调制融合（Ours）	LIBERO Long 融合策略消融	取得最佳动作成功率	FiLM 风格通道调制在完好保留语义特征拓扑的同时精准施加空间缩放偏置

关键发现¶

复杂空间交互任务提升最为显著：在真实实验的“杯子堆叠”（Cup Stacking）这种微小几何公差任务中，Evo-Depth 成功率达 85.0%，而 3.5B 的 \(\pi_0\) 仅 55.0%，7B 的 OpenVLA-OFT 仅 25.0%，证明缺乏深度线索的 2D VLA 在精细装配上存在严重短板。
注意力可解释性发生定性改变：注意力可视化表明，未经对齐的原始深度编码器仅能提取粗粒度场景轮廓；而在经过三阶段渐进对齐训练后，IDEM 的高层注意力自发地高强度汇聚在“机械臂夹爪-目标交互接触点”以及“目标放置基底”上。
极端扰动下的泛化鲁棒性：在真实实验的四种严苛扰动测试（黄色桌布背景扰动、引入未见干扰杂物、目标物水平位置偏移、目标物竖直高度抬升）中，Evo-Depth 在各任务下的表现均远超基线，尤其是在高度变化和位置平移等 3D 几何敏感维度上优势最为突出。

亮点与洞察¶

极简而有效的空间调制设计：避开了繁杂的高维 3D 重建或跨模态全交叉注意力，创造性地通过全局空间描述符对 2D 视觉语言特征执行 FiLM 风格的仿射变换（Scale & Shift），兼顾了微秒级延迟与强悍的空间调制能力。
多视角深度编码器跨视角交替注意：通过“前几层单视角独立建模提取局部结构、后几层交替跨视角注意力交互”的简单层级设计，仅用 0.13B 参数的轻量 ViT 即可高效提炼出具备严谨视差约束的隐式 3D 特征。
部署效率与硬件门槛的实质性跨越：以 0.9B 总参数量和仅 3.2 GB 的运行显存，在消费级单卡（RTX 4090D）上稳健跑出 12.3 Hz 的高频闭环控制，为具身智能实体机器人的低成本即插即用部署树立了标杆。

局限与展望¶

动态复杂形变与接触丰富场景依然受限：作者在真实机械臂失败案例分析中指出，在目标剧烈滑动（如网球受碰滚脱）或极端强遮挡且小公差装配下，依然会出现碰撞保护触发，纯视差推导的隐式深度无法完全替代高精度触觉感知。
当前缺乏显式触觉与力觉闭环反馈：虽然空间感知大幅强化，但控制层依然完全依赖视觉伺服，未来可将手爪六维力矩传感器读数统一接入流匹配动作生成框架。
更高维环境几何演化的泛化探索：目前主要在桌面操作（Tabletop Manipulation）中验证，后续有望扩展至轮式移动双臂底盘或人形机器人的全空间复杂导航操作一体化场景。

评分¶

新颖性: ⭐⭐⭐⭐☆（在紧凑型 VLA 中巧妙结合隐式深度估计与轻量 FiLM 空间特征调制，架构与训练策略协同优雅）
实验充分度: ⭐⭐⭐⭐⭐（横跨四大主流仿真基准、物理机械臂三项高难真机评测、四类环境扰动以及详尽的模块消融与注意力可视化分析）
写作质量: ⭐⭐⭐⭐⭐（逻辑脉络极其清晰，图表完备，问题剖析深入且实事求是）
价值: ⭐⭐⭐⭐⭐（参数量仅 0.9B，显存占用 3.2 GB，推理频率达 12.3 Hz，为低成本高频真机机器人控制提供了重要参考）