ActionUNet: Improving Robustness of VLA Models with Efficient Multi-scale Fine-tuning¶
会议: NeurIPS 2026
arXiv: 2609.34982
论文: https://arxiv.org/abs/2609.34982
代码: https://github.com/Di-Zhu123/ActionUNet
领域: 机器人
关键词: 视觉语言动作模型, 多尺度微调, 连续动作解码, SIREN, 鲁棒机械臂控制
一句话总结¶
ActionUNet 在时间对齐的动作特征空间构建轻量时间 U-Net 注入多尺度分层先验，并利用具显式二阶平滑约束的条件 SIREN 解码连续轨迹，以极低微调代价显著提升 VLA 模型在扰动环境下的鲁棒性。
研究背景与动机¶
视觉-语言-动作（Vision-Language-Action, VLA）模型将高层语义理解与低层具身控制统一在端到端架构中，成为当前机器人操作的主流范式。现存主流架构通常在大型视觉语言模型（VLM）之后挂载动作专家网络（如扩散头或 Transformer 解码器），依据单条自然语言指令自回归或分块预测未来的动作序列。然而，机器人操作本质上要求兼具面向任务规划的高层语义推断与面向精细接触的低层动态控制。实测显示末端执行器（end-effector）的单步位移在不同任务之间以及同一任务的不同阶段（如接近物体的粗尺度位移与对接放置的微尺度位移）存在巨大差异，直接将高层粗粒度多模态语义一步映射到细粒度底层动作序列，存在严重的时间尺度失配（temporal scale mismatch），导致模型过度依赖抽象语义而丧失抵御局部扰动所需的多尺度精细时序线索。
针对这一问题，直觉的解决方案是在动作特征空间中引入多尺度动作建模。然而，跨尺度的特征聚合极易破坏动作在微观尺度上的时间连续性。将来自不同时间粒度的离散结构先验投影到连续动作空间时，尺度边界处的插值误差会导致生成的动作轨迹出现非平滑跳变与高频抖动，引发机械手臂的机械振荡与执行崩溃。因此，如何在保留预训练 VLA 丰富通用先验的前提下，既赋予模型多尺度分层时序结构，又在数学上严格保证动作输出的平滑连续性，构成了高效微调面临的核心矛盾。
本文切入的角度在于将多尺度融合与连续轨迹解码解耦：在特征空间内用轻量 U-Net 聚合层次化结构，随后将对齐后的混合特征作为隐式神经表示的条件输入，由解析连续场直接输出高阶光滑轨迹。核心 idea：在预训练 VLA 冻结特征之上构建轻量时间 U-Net 注入多尺度动作先验，并设计基于时变偏置与 Matérn 核平滑加权的条件 SIREN 解码器，在连续时间域消除尺度融合引起的动作高频抖动，实现高鲁棒性且低开销的高效微调。
方法详解¶
整体框架¶
ActionUNet 专为预训练 VLA 模型的下游微调设计，保持多模态视觉语言主干网络完全冻结，仅微调紧凑的动作映射模块。整个前向管线分为三个级联阶段：首先，VLA 骨干基于视觉观测和语言指令提取时间对齐的原始动作特征序列 \(\mathbf{h}^{(0)} \in \mathbb{R}^{H \times d}\)；接着，轻量级时间 U-Net 在一维时间维度上进行多级降采样编码与跳跃连接上采样解码，恢复包含粗粒度语义规划与细粒度接触控制的动作特征；最后，条件 SIREN 解码器将精炼后的动作特征作为条件，通过时变正弦隐式场在连续归一化时间域内生成轨迹，经 Matérn 协方差核加权聚合得到无抖动的动作块输出。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入多视角视觉观测与语言指令"] --> B["冻结的 VLA 主干网络<br/>提取时间对齐动作特征"]
B --> C["时间 U-Net 特征层次重构<br/>1D 卷积分层降采样与跳跃连接上采样"]
C --> D["局部 SIREN 连续隐式场<br/>注入时变偏置的时序连续映射"]
D --> E["Matérn 核二阶平滑加权聚合<br/>消除跨尺度插值高频运动抖动"]
E --> F["输出平滑动作块序列<br/>支持回归与流匹配策略执行"]关键设计¶
1. 时间 U-Net 特征层次重构：恢复动作空间的多尺度时序结构
针对标准 VLA 独立解码各个时间步所导致的粗粒度语义与精细物理执行间的尺度鸿沟，该设计在一维时间特征维度构建轻量 U-Net。输入动作特征 \(\mathbf{h}^{(0)} \in \mathbb{R}^{H \times d}\)（\(H\) 为动作视界，\(d\) 为特征维度）经过 \(L\) 级的一维卷积编码器逐级压缩时序分辨率： $\(\mathbf{h}^{(\ell+1)} = \mathrm{LN}\!\Big(\mathrm{GeLU}\!\big(\mathrm{Conv1D}^{(\ell)}(\mathbf{h}^{(\ell)})\big)\Big),\quad \ell=0,\dots,L-1\)$ 其中降采样率设为 \(r=2\)，经 \(L\) 级提取后特征降至 \(\mathbb{R}^{\lfloor H/r^L \rfloor \times d}\)，再经全连接层变换。解码端采用最近邻插值恢复分辨率，并引入跨级跳跃连接将高层宏观意图与低层细粒度特征直接拼接，通过线性融合层 \(\mathrm{Fuse}^{(\ell)}\) 进行聚合： $\(\tilde{\mathbf{h}}^{(\ell)} = \mathrm{Fuse}^{(\ell)}\!\Big(\mathrm{Up}\!\big(\tilde{\mathbf{h}}^{(\ell+1)}\big),\;\mathbf{h}^{(\ell)}\Big),\quad \ell=L-1,\dots,0\)$ 该过程不仅将整个动作序列的时域感受野完整覆盖，而且在不破坏原始序列长度的前提下生成了注入多尺度分层动态先验的重构特征 \(\tilde{\mathbf{h}}^{(0)} \in \mathbb{R}^{H \times d}\)。
2. 局部 SIREN 连续隐式场：赋予隐式网络逐层时序感知与解析无限可微性
为了解决多尺度特征融合带来的时序边界突变问题，ActionUNet 抛弃了传统离散多层感知机解码，将离散动作预测转化为对连续时间 \(\tau \in [-1, 1]\) 的隐式神经表示查询。对于时间 U-Net 输出的各特征向量 \(\tilde{\mathbf{h}}^{(0)}_i\)（对应离散时间锚点 \(\tau_i\)），构建局域隐式场 \(\Phi_i(\tau)\)。不同于标准 SIREN 使用静态偏置，本文将隐层偏置替换为关于查询时间 \(\tau\) 的仿射函数： $\(\phi_m^\tau(\mathbf{z}) = \sin\!\big(\mathbf{W}_m \mathbf{z} + \mathbf{U}_m \tau + \mathbf{b}_m\big),\quad m=0,\dots,M-1\)$ 经过 \(M\) 层正弦激活与线性读出层 \(\mathbf{W}_M \in \mathbb{R}^{D \times d}\) 后，生成局部连续动作映射： $\(\Phi_i(\tau) = \mathbf{W}_M \,(\phi_{M-1}^\tau \circ \cdots \circ \phi_0^\tau)(\tilde{\mathbf{h}}^{(0)}_i) + \mathbf{b}_M\)$ 由于时间输入 \(\tau\) 经由参数化仿射偏置无缝注入每一隐藏层，且正弦函数解析连续，局部场对时间 \(\tau\) 具有无限阶可微性（\(C^\infty\)），在保留隐式神经表示高保真特性的同时，确保了解码过程对时间连续变化的极高敏感度与内在平滑性。
3. Matérn 核二阶平滑加权聚合：跨尺度融合的 \(C^2\) 平滑理论保障
各个局部 SIREN 隐式场独立建模邻近时间区域，需要一套全局融合机制以消除局部场重叠区域的不连续性。本文采用二阶可导的 Matérn-5/2 协方差核，以长度尺度参数 \(\rho\)（默认设为 0.2）计算时间距离衰减权重： $\(\psi(\tau) = \sum_{i=1}^H \alpha_i(\tau) \Phi_i(\tau),\quad \text{其中 } \alpha_i(\tau) = \frac{\kappa_{5/2}(|\tau - \tau_i|/\rho)}{\sum_{j=1}^H \kappa_{5/2}(|\tau - \tau_j|/\rho)}\)$ Matérn-5/2 核函数具有形式 \(\kappa_{5/2}(t) = (1 + \sqrt{5}t + \frac{5}{3}t^2)\exp(-\sqrt{5}t)\)，在原点处一阶导数严格为 0，二阶导数有限匹配（\(g_\rho''(0) = -5/(3\rho^2)\)），从而数学证明了加权权重 \(\alpha_i(\tau)\) 以及全局动作函数 \(\psi(\tau)\) 在区间 \([-1, 1]\) 上严格满足二阶连续可微（\(C^2\) 连续）。这一严格的二阶平滑先验压制了动作突变与高频执行抖动，确保了物理机械臂运动轨迹平滑稳定。
损失函数 / 训练策略¶
ActionUNet 完全解耦并兼容回归（Regression）与流匹配（Flow Matching）两种主流 VLA 策略训练目标： 1. 直接回归目标：以 \(L_1\) 损失监督预测动作与真实轨迹 \(\mathbf{a}_{1:H}\)： $\(\mathcal{L}_{\mathrm{reg}} = \frac{1}{H}\sum_{j=1}^H \big\|\psi(\tau_j) - \mathbf{a}_j\big\|_1\)$ 2. 时序相关流匹配目标：在连续速度场学习中，标准独立同分布高斯白噪声会破坏轨迹的时序连贯性。本文提出使用 Matérn-5/2 协方差矩阵 \(K_{ij} = \kappa_{5/2}(|i-j|/\sigma) + \varepsilon \delta_{ij}\) 构造时间相关扰动噪声 \(\boldsymbol{\epsilon}_{1:H} \sim \mathcal{N}(0, K \otimes I_D)\)，定义线性插值路径 \(\mathbf{x}_s = (1-s)\boldsymbol{\epsilon}_{1:H} + s\mathbf{a}_{1:H}\)，并优化速度场拟合损失： $\(\mathcal{L}_{\mathrm{fm}} = \frac{1}{H}\sum_{j=1}^H \big\|\psi(\tau_j) - (\mathbf{a}_j - \boldsymbol{\epsilon}_j)\big\|_2^2\)$ 时序相关噪声使流匹配迁移目标在时间上呈现平滑梯度，与连续解码器的二阶平滑先验完全契合。
实验关键数据¶
主实验¶
在双臂复杂操作基准 RoboTwin 2.0（涵盖单尺度、双尺度与三尺度任务共 12 种）上，全面对比流匹配基础模型 \(\pi_{0.5}\) 与引入 ActionUNet 后的表现；并在多任务基准 LIBERO 与扰动鲁棒性基准 LIBERO-Plus（包含相机、机器人状态、语言、光照、背景、噪声、布局 7 类强扰动）上进行系统验证。
表 1：RoboTwin 2.0 各尺度任务与环境扰动下的任务成功率（%）
| 任务分类 / 任务名称 | \(\pi_0\) (Easy/Hard) | ACT (Easy/Hard) | DP3 (Easy/Hard) | \(\pi_{0.5}\) (Easy/Hard) | \(\pi_{0.5}\)+ActionUNet (Easy/Hard) | 绝对增益 (Easy/Hard) |
|---|---|---|---|---|---|---|
| 单尺度任务 (Single-scale) | ||||||
| Pick Dual Bottles | 57 / 12 | 31 / 0 | 60 / 1 | 65 / 34 | 71 / 39 | +6.0 / +5.0 |
| Handover Mic | 98 / 13 | 85 / 0 | 100 / 3 | 100 / 55 | 100 / 76 | +0.0 / +21.0 |
| Handover Block | 45 / 8 | 42 / 0 | 70 / 0 | 33 / 13 | 47 / 17 | +14.0 / +4.0 |
| 双尺度任务 (Dual-scale) | ||||||
| Beat Block Hammer | 43 / 21 | 56 / 3 | 72 / 8 | 77 / 28 | 89 / 43 | +12.0 / +15.0 |
| Move Can Pot | 58 / 21 | 22 / 4 | 70 / 6 | 66 / 52 | 77 / 69 | +11.0 / +17.0 |
| Place A2B Left | 31 / 1 | 1 / 0 | 46 / 2 | 46 / 7 | 55 / 10 | +9.0 / +3.0 |
| Place Object Stand | 36 / 11 | 1 / 0 | 60 / 0 | 51 / 29 | 62 / 38 | +11.0 / +9.0 |
| Place Phone Stand | 35 / 7 | 2 / 0 | 44 / 2 | 47 / 21 | 61 / 27 | +14.0 / +6.0 |
| Press Stapler | 62 / 29 | 31 / 6 | 69 / 3 | 74 / 41 | 73 / 53 | -1.0 / +12.0 |
| 三尺度任务 (Three-scale) | ||||||
| Stack Blocks Two | 42 / 1 | 25 / 0 | 24 / 0 | 68 / 24 | 74 / 35 | +6.0 / +11.0 |
| Blocks Ranking RGB | 19 / 5 | 1 / 0 | 3 / 0 | 36 / 16 | 50 / 24 | +14.0 / +8.0 |
| Put Bottles Dustbin | 54 / 13 | 27 / 1 | 60 / 21 | 52 / 37 | 62 / 44 | +10.0 / +7.0 |
| 12 任务全集平均 (Average) | 48.3 / 11.8 | 27.0 / 1.2 | 56.5 / 3.8 | 59.6 / 29.8 | 68.4 / 39.6 | +8.8 / +9.8 |
表 2：LIBERO-Plus 7 种真实环境扰动鲁棒性评测成功率（%）
| 方法 | 相机视角扰动 | 机器人状态 | 语言描述 | 光照变化 | 背景纹理 | 传感器噪声 | 场景布局 | 平均成功率 |
|---|---|---|---|---|---|---|---|---|
| OpenVLA | 0.8 | 3.5 | 23.0 | 8.1 | 34.8 | 15.2 | 28.5 | 15.6 |
| \(\pi_0\) | 13.8 | 6.0 | 58.8 | 85.0 | 81.4 | 79.0 | 68.9 | 53.6 |
| OpenVLA-OFT (基线) | 36.0 | 35.9 | 67.0 | 82.1 | 93.1 | 47.1 | 82.5 | 60.9 |
| OpenVLA-OFT + ActionUNet | 41.2 | 40.8 | 68.3 | 83.4 | 93.7 | 54.5 | 85.3 | 64.6 (+3.7) |
| \(\pi_{0.5}\) (基线) | 48.2 | 45.9 | 68.8 | 93.0 | 87.4 | 52.0 | 81.7 | 65.8 |
| \(\pi_{0.5}\) + ActionUNet | 56.9 | 54.4 | 73.3 | 94.6 | 89.8 | 61.1 | 85.7 | 71.9 (+6.1) |
消融实验¶
表 3：各核心模块独立贡献消融分析（4 个典型任务平均成功率 %）
| 模型配置 | Easy 场景平均成功率 | Hard 场景平均成功率 | 相对基线增益 (Easy / Hard) | 说明 |
|---|---|---|---|---|
| \(\pi_{0.5}\) 原始基线 | 69.0 | 34.5 | — / — | 标准单一尺度独立解码 |
| + 时间 U-Net (无连续解码) | 67.5 | 37.3 | -1.5 / +2.8 | 引入多尺度特征但缺乏平滑约束，导致易用场景轻微掉点 |
| + 条件 SIREN (无多尺度 U-Net) | 75.5 | 33.3 | +6.5 / -1.2 | 平滑轨迹抑制高频抖动，但缺乏多尺度表征导致复杂干扰下鲁棒性不足 |
| + ActionUNet (w/o Matérn 核加权) | 75.0 | 45.3 | +6.0 / +10.8 | 双模块结合消除尺度突变，大幅提高扰动抵御力 |
| + ActionUNet (完整模型) | 77.8 | 46.5 | +8.8 / +12.0 | Matérn 显式二阶平滑先验补充微观过渡，达到最佳表现 |
关键发现¶
- 多尺度建模与连续平滑强协同：单加时间 U-Net 会因动作突变破坏平滑度（Easy 掉点 1.5%），单加 SIREN 解码虽提升平滑度但无法抵抗结构性干扰（Hard 掉点 1.2%）。二者联合产生质变，在 Hard 场景下成功率自 34.5% 跃升至 46.5%（+12.0%）。
- 任务尺度复杂度越高，增益越明显：在 RoboTwin 2.0 中，三尺度复杂任务（如 Blocks Ranking RGB 从 16% 跃升至 24%）与双尺度长时序任务（如 Beat Block Hammer 从 28% 跃升至 43%）的提升幅度远超单尺度简单任务，验证了分层时序对齐的必要性。
- 计算开销极低：在 RTX 4090 上，ActionUNet 仅为每次策略调用增加 3.94 ms 延迟（从 60.95 ms 微增至 64.89 ms，开销仅 +6.46%）。由于生成的平滑轨迹大幅减少了机械臂无效重试与卡顿，在 Hard 场景全流程交互中的总计算用时仅多出 0.301 秒，具备极强的实时部署能力。
亮点与洞察¶
- 解耦特征空间层次建模与时间域连续解码：不同于在离散动作 token 空间做分层 VQ 或多尺度离散预测带来的信息瓶颈，ActionUNet 在连续潜在特征空间构建 U-Net，并在解码端用连续隐式场保证光滑，优雅规避了离散量化失真。
- 时变仿射偏置激活正弦网络：将传统的静态坐标输入转变为将特征作为条件、时间作为各层动态偏置的机制，令单次前向网络天然保留高频感知力并保持全局无限可导。
- 与主流 VLA 策略范式正交兼容：既能作为流匹配速度场的平滑预测器（配对时序相关高斯过程噪声），又能作为直接回归模型的轨迹生成器，在 OpenVLA-OFT 与 \(\pi_{0.5}\) 均取得稳定显著提升。
局限与展望¶
- 作者承认的局限：目前时间 U-Net 采用固定的多尺度下采样因子（\(r=2\)），对各个动作块（Action Chunk）采取独立无重叠解码，尚未建立跨 Chunk 之间的长期跨步时序一致性建模。
- 潜在改进方向：当前多尺度机制仅作用于微调下游的动作专家端，未来若能在 VLM 预训练阶段直接引入多尺度时间语义对齐先验，有望进一步释放视觉骨干模型的细粒度时空感知潜力。
相关工作与启发¶
- vs RTC (Real-Time Chunking)：RTC 依赖高频重规划与基于软掩码的重叠动作混合来消除抖动，未改变动作表征本身；实验证明 RTC 在部分接触丰富任务（如锤击）上因频繁修正反而破坏动作节奏，而 ActionUNet 从根本上重构了动作特征的多尺度与二阶平滑先验，表现更加稳健。
- vs CARP / HiFlow：CARP 等工作通过离散 VQ-VAE 建立从粗到细的多尺度动作词表，但离散化瓶颈削弱了视觉细节传递；ActionUNet 直接在连续动作特征空间进行多尺度卷积降采样与连续隐式解码，完全无损连续控制精度。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ 首次在 VLA 动作特征空间有机融合一维时间 U-Net 与条件 SIREN 隐式场，有效解决了尺度失配与机械振荡问题。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 12 类双臂仿真任务、7 种扰动评测、真机双臂操作及严格的推断延迟/显著性标准差统计。
- 写作质量: ⭐⭐⭐⭐⭐ 逻辑推导严谨自洽，公式与理论证明（二阶光滑性）完整清晰。
- 价值: ⭐⭐⭐⭐⭐ 作为即插即用且轻量的微调增强模块，直接提升了具身机器人大模型的落地鲁棒性与平滑控制质量。