FLASH: Efficient Visuomotor Policy via Sparse Sampling¶

会议: NeurIPS 2026
arXiv: 2605.15492
论文: https://arxiv.org/abs/2605.15492
项目主页: https://b1ue-jay.github.io/FLASH
领域: 机器人
关键词: 视觉运动策略, 勒让德多项式, 稀疏采样, 历史锚定流匹配, 力矩前馈控制

一句话总结¶

FLASH 将机器人动作轨迹重构为紧凑的勒让德多项式系数空间，利用时间稀疏采样大幅扩展预测视界，并以历史多项式为先验实现极速单步 Flow Matching，同时通过多项式解析微分直接输出平滑速度前馈信号以大幅降低底层力矩跟踪误差。

研究背景与动机¶

基于扩散模型（Diffusion Policy）与流匹配（Flow Matching）的生成式视觉运动策略近年来已成为机器人模仿学习的主流范式。这类方法通过学习多峰动作分布，在各类复杂的机械臂操作任务中取得了亮眼的成功率。然而，这些生成模型高度依赖多步迭代去噪（DDPM/DDIM）或常微分方程（ODE）数值求解，单次动作生成的推理延迟往往高达数十至数百毫秒，严重制约了在高频实时机器人闭环控制中的实际部署。

为降低推理延迟，现有加速方法大多专注于压缩去噪步数（如一致性模型、扩散蒸馏与单步流模型），但它们在本质上仍受限于离散动作点生成（discrete action-chunk）框架。在离散动作块设定下，为了规避累积误差与环境动态变化，策略通常只能预测较短的时间视界（如 $\sim 0.8$ 秒），这倒逼模型必须维持高频的重新推理；若盲目拉长预测视界，网络输出维度将面临严重的“维度灾难”并激增计算开销。更关键的是，离散动作块在块与块拼接处极易产生时序抖动，且离散位置信号无法为底层关节控制器提供准确的解析速度前馈，只能依赖含噪的数值差分，从而导致较大的末端跟踪误差。

本文的切入视角建立在一个物理事实之上：机器人的运动在时域上具有内在的平滑性与低频特性，仅需极少数正交基多项式系数即可高保真度重构一段轨迹。核心 idea：将动作序列提升至正交勒让德多项式系数空间，通过时间稀疏采样以极低维度表征超长物理视界，并以观测历史的多项式系数为流匹配生成起点缩短传输距离实现单步推理，同时借助多项式解析微分直接为底层力矩控制器提供无噪速度前馈。

方法详解¶

整体框架¶

FLASH 的整体流程分为历史轨迹编码、历史锚定流生成与解析轨迹解码三个核心阶段。在历史端，观测到的历史本体感知动作序列经过吉洪诺夫正则化（Tikhonov）最小二乘拟合，映射为历史勒让德多项式系数向量；在流匹配阶段，以多视角视觉特征与本体感受拼接作为全局条件，以历史系数为流的起点而非无信息的高斯噪声，通过 DiT 架构的 Flow Transformer 进行单步欧拉积分直接预测未来多项式系数；在控制解码端，预测得到的多项式系数不仅可任意高频解析上采样生成位置指令，还可通过直接解析微分输出精确的期望速度前馈信号，驱动底层力矩控制器。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像流 + 历史动作输入"] --> B["时间稀疏采样与勒让德多项式拟合<br/>将动作轨迹压缩为正交多项式系数"]
    B --> C["双层边界扩展与 KKT 连续性修正<br/>施加 C1 阶位置与速度运动学边界硬约束"]
    C --> D["历史锚定流匹配与一致性约束<br/>从历史系数起点出发单步生成未来系数"]
    D --> E["多项式解析微分与密集时域上采样<br/>解析求导生成期望速度直接驱动力矩控制"]
    E --> F["高频平滑控制信号输出"]

关键设计¶

1. 稀疏时间采样与勒让德多项式轨迹表征：解耦推理频率与控制视界 传统离散动作预测将物理步长与网络输出维度线性绑定。FLASH 采用第一类位移勒让德正交多项式 $\{P_n(x)\}$ 作为基函数族，在归一化时间 $s = \frac{\tau - \tau_{\text{start}}}{\tau_{\text{end}} - \tau_{\text{start}}} \in [0, 1]$ 下将轨迹表示为 $\mathbf{a}(s) = \sum_{j=0}^K \mathbf{c}_j \Phi_j(s)$。利用勒让德多项式在 $[-1, 1]$（经变换映射至 $[0, 1]$）上的严格正交性，避免了高阶单项式基造成的 Gram 矩阵病态病态问题，保证各阶系数在尺度上具备相近的能量分布。在此基础上，FLASH 引入步长为 $k$ 的时间稀疏采样策略：专家轨迹以间隔 $k$ 抽取 $H_{\text{poly}}$ 个拟合节点，仅通过少数节点即可覆盖长达 $k \times H_{\text{poly}}$ 的物理时间跨度。多项式系数可通过普通最小二乘法（OLS）解析闭式解高效求得： $$\mathbf{C}^\star = (\mathbf{S}^\top \mathbf{S})^{-1} \mathbf{S}^\top \mathbf{Q}$$ 其中 $\mathbf{Q} \in \mathbb{R}^{H_{\text{poly}} \times d_a}$ 为稀疏动作采样矩阵，$\mathbf{S} \in \mathbb{R}^{H_{\text{poly}} \times (K+1)}$ 为预先计算好的基函数响应矩阵。这使得模型无需扩展输出维度即可让单次推理覆盖翻倍的物理视界，直接将推理调用频次削减至 $1/k$。

2. 双层边界扩展与 KKT 运动学连续性约束：消除块拼接抖动 当分段独立拟合相邻多项式块时，轨迹拼接边界会出现位置或速度跳变（$C^0 / C^1$ 不连续）。FLASH 提出了双层扩展机制：第一层在执行区间 $T_a$ 前后各外扩 $\mu_{\text{pre}}$ 和 $\mu_{\text{post}}$ 步形成重叠视界，并在执行边界设置精确的位置与速度运动学锚点，通过闭式 KKT 投影算子将未约束系数 $\mathbf{C}^\star$ 严格投影到满足 $C^1$ 连续性的约束流形上： $$\mathbf{C}_{\text{c}}^\star = \mathbf{C}^\star - (\mathbf{S}^\top \mathbf{S})^{-1} \mathbf{A}^\top \left[ \mathbf{A} (\mathbf{S}^\top \mathbf{S})^{-1} \mathbf{A}^\top \right]^{-1} (\mathbf{A} \mathbf{C}^\star - \mathbf{b})$$ 其中矩阵 $\mathbf{A}$ 与向量 $\mathbf{b}$ 封装了边界处的精确位置与速度条件。第二层扩展则在重叠窗口外侧追加 $\delta$ 个拟合填充步（Fit Padding），有效防止勒让德基函数在区间极值端点处引起的数值高敏性（龙格现象类似效应），将约束锚点包裹在多项式拟合窗口的稳定内部区间，彻底消除了部署拼接时产生的机械臂抖动。

3. 历史多项式锚定的单步流匹配：缩短传输路径与一致性蒸馏 常规流匹配将源分布设定为标准高斯噪声 $\mathcal{N}(\mathbf{0}, \mathbf{I})$，导致概率流生成路径长、必须依靠多步数值积分求解。FLASH 洞察到操作轨迹在时序上存在极强的运动学自相关性，将源分布直接锚定在由历史观测动作 $\mathbf{a}_{\leq t}$ 拟合出的历史多项式系数 $\mathbf{C}_h$ 上。为了防止短历史视界下最小二乘矩阵病态，采用吉洪诺夫正则化：$\mathbf{C}_h = (\mathbf{S}_h^\top \mathbf{S}_h + \lambda_h \mathbf{I})^{-1} \mathbf{S}_h^\top \mathbf{a}_{\leq t}$。模型构建直连直线流路径 $\mathbf{C}_\tau = (1 - \tau)\mathbf{C}_h + \tau \mathbf{C}_1$，目标向量场常数化为 $\mathbf{v}^\star = \mathbf{C}_1 - \mathbf{C}_h$。利用 DiT-style 架构学习该向量场的同时，引入单步一致性损失（Polynomial Consistency Loss）： $$\mathcal{L}_{\text{cons}} = \mathbb{E}_{\mathbf{C}_h, \mathbf{C}_1} \left\| \mathbf{C}_h + f_\theta(\mathbf{C}_h, 0, \mathbf{e}) - \mathbf{C}_1 \right\|_2^2$$ 该项强力约束模型在 $\tau=0$ 处直接通过单步欧拉积分 $\hat{\mathbf{C}}_1 = \mathbf{C}_h + f_\theta(\mathbf{C}_h, 0, \mathbf{e})$ 准确到达目标多项式，使单步生成完全消除精度折损。

4. 多项式解析微分与力矩前馈控制：零成本赋能底层高精度跟踪 传统的离散动作控制只能给出离散目标位姿，底层控制器为了实现力矩级控制，必须依靠数值差分粗暴近似期望关节速度，引入了剧烈的高频高斯噪声与量化截断误差。由于 FLASH 的输出是连续解析多项式，无需任何离散求差或附加监督，直接通过多项式求导即可获得严格解析的理论速度： $$\hat{\mathbf{v}}(s_i) = \frac{1}{T} \sum_{j=0}^K \hat{\mathbf{c}}_j \Phi_j'(s_i)$$ 其中 $T = k H_{\text{poly}} / f_{\text{expert}}$ 为轨迹物理时长。该连续解析速度作为速度前馈项直接输入给 Franka 的关节力矩控制器，完美消除了线性插值产生的折点，不仅实现了原生 1000 Hz 控制信号生成，更在控制底层将跟踪误差降低了数倍。此外，该形式天然支持推理后时间缩放（Post-hoc Temporal Scaling）：在线部署时通过改变求值步长 $k_{\text{eval}}$ 即可平滑加速或减速执行，无需重新训练模型。

损失函数 / 训练策略¶

FLASH 采用联合端到端优化目标，综合流匹配回归损失与单步一致性损失： $$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{FM}} + \lambda_{\text{cons}} \mathcal{L}_{\text{cons}}$$ 其中 $\mathcal{L}_{\text{FM}} = \mathbb{E}_{\tau \sim \mathcal{U}[0, 1], \mathbf{C}_h, \mathbf{C}_1} \| f_\theta(\mathbf{C}_\tau, \tau, \mathbf{e}) - (\mathbf{C}_1 - \mathbf{C}_h) \|_2^2$，超参数设置 $\lambda_{\text{cons}} = 1.0$。在训练过程中，对历史系数注入扰动噪声 $\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \sigma_h^2 \mathbf{I})$（$\sigma_h = 0.5$），以强化策略在面对部署时偏离分布（off-policy）历史状态时的自恢复鲁棒性。视觉编码器（ResNet-18）、特征投影层与 Flow Transformer 参数完全联合训练，而所有最小二乘投影矩阵、基函数导数表与 KKT 矫正算子均在训练前离线闭式缓存，无需产生反向传播计算图负担。

实验关键数据¶

主实验¶

在仿真基准（包含 RLBench、ManiSkill 与 LIBERO 平台上的 5 项 Franka 机械臂操作任务）中，统一在 10k 步优化预算下评测 50 次随机初始状态独立 rollout。FLASH 仅需单步推理（NFE=1）即在所有任务上均达到 $\geq 92\%$ 的成功率，显著领先 9 种代表性基线策略。

策略方法	NFE	Close Box	Pick Cube	Stack Cube	Open Drawer	Pick-Place Bowl	平均成功率 (%)
Score-UNet	100	44	58	24	2	8	27.2
DDPM-UNet	100	84	68	44	76	90	72.4
DDIM-UNet	40	80	74	42	76	92	72.8
DDPM-DiT	100	68	78	36	50	76	61.6
FM-DiT	10	70	92	46	36	68	62.4
FM-UNet	10	78	82	30	70	76	67.2
ACT	1	70	98	20	80	0	53.6
VITA	6	94	86	86	68	86	84.0
A2A-Noise	1	98	90	92	88	92	92.0
FLASH-G (高斯起点对照)	10	70	94	82	62	88	79.2
FLASH (本文)	1	100	98	96	92	98	96.8

在推理效率方面，基于单张 RTX 5090 GPU 评测 Stack Cube 任务整回合耗时：FLASH 单回合总推理耗时仅 31.40 ms（每步摊销延迟 0.32 ms），比 DDPM-UNet 快 113×，比 Score-UNet（5476 ms）快 175×，比同构但以噪声为起点的 FLASH-G（159 ms）快 5.1×，比离散动作最强基线 A2A-Noise（69 ms）快 2.2×。

消融实验¶

1. 边界平滑与 KKT 连续性机制消融（Close Box 任务） 为验证双层扩展机制在消除时域分块抖动中的必要性，论文对比了禁用填充与连续性约束时的成功率表现：

配置	成功率 (%)	相对变化	说明
$\delta = 0$, 无 KKT 连续性约束	75.0	基准	缺少两层机制，边界处存在显著跳跃与拟合高敏性
$\delta = 1$, 无 KKT 连续性约束	86.0	+11.0 pp	引入拟合填充，将边界锚点移入拟合窗口稳定内部
$\delta = 1$ + KKT 连续性约束 (完整 FLASH)	97.5	+22.5 pp	结合闭式 KKT 投影强制满足 $C^1$ 阶连续性

2. 稀疏采样步长 $k$ 与多项式表达能力消融（Stack Cube 任务） 在多项式阶数固定为 $K=6$ 下，改变时序稀疏步长 $k$： - 当 $k=1$（密集传统时序）时，由于缺乏时序跨度扩展，单次推理覆盖物理时间过短，模型动作产生严重累积误差与动作抖动，成功率仅有 24%。 - 步长进入 $k \in [3, 8]$ 时形成宽广的高性能平台期，成功率均稳定在 $\geq 93\%$（$k=4$ 达到 96%，$k=8$ 达到 98% 且单次调用延迟降至 0.21 ms）。 - 当 $k \geq 13$ 时性能大幅塌缩（$k=15$ 为 52%，$k=18$ 跌至 28%），原因在于固定多项式阶数无法拟合过长的复杂运动轨迹，且整回合仅调用 $\sim 2.7$ 次推理，丧失了必要的视觉闭环纠偏机会。

3. 解析速度前馈消融（控制层力矩跟踪精度分析） 在 9 个 checkpoint × 50 rollouts（$N=450$ 次测试）中，移除多项式解析速度前馈（仅发送位置控制指令，底层依靠数值差分算速度）时： - Franka 机械臂末端腕部关节（J7）的位置跟踪平均绝对误差（MAE）由 $1.33^\circ$ 飙升至 $2.90^\circ$（误差放大 $2.18\times$，配对 t-检验 $p < 10^{-100}$，效应量 Cohen's $d = 1.78$）。 - 在仿真 Pick Cube 中，FLASH 的累计绝对误差积分（IAE）仅为 1.80 $\text{deg}\cdot\text{s}$，较 FM-DiT（12.23 $\text{deg}\cdot\text{s}$）降低了 $6.8\times$。 - 在真实物理机械臂毫米级公差的 Insert Cube 插入任务中，FLASH 实现了 100% 成功率，领先 7 种基线平均 47 个百分点（DDPM-UNet 因控制抖动在真机上跌落至 10%）。

关键发现¶

历史先验是单步生成的决胜关键：FLASH 相较于同构网络但从高斯噪声采样的 FLASH-G，成功率平均提升 17.6 个百分点，回合推理耗时压缩 5.1 倍，证明流匹配的传输距离直接决定了单步生成的上限。
一致性损失重塑单步特化分布：在 Close Box 任务中，单步欧拉推断（NFE=1）成功率达到 80%，而多步推断（NFE=2/4/6）反而降至 54%~68%。这证明一致性损失 $\mathcal{L}_{\text{cons}}$ 成功令模型在 $\tau=0$ 处完成了单步捷径特化，多步数值积分反而打破了单步向量场的特化几何。
训练收敛速度实现数倍跃升：在 Pick Cube 上 FLASH 仅用 2,500 步优化即可达到 96% 成功率，而最强基线 ACT 需要 10,000 步才能达到同等表现，训练效率提升达 $4\times$。

亮点与洞察¶

多项式拟合与稀疏采样的协同效应：用低阶正交多项式表征低频机器人动作，天然解耦了决策推理频率与执行控制频率。仅凭极少量系数即可平滑覆盖超长物理时间，一举摆脱了离散动作块高频重采样的算力枷锁。
解析微分赋能底层力矩控制：以往工作将多项式或样条仅停留在高层规划或损失正则项，FLASH 首次打通了“多项式解析微分 $\to$ 准确速度前馈 $\to$ 关节力矩闭环”的完整控制链路，以纯数学闭式解取代含噪的数值差分，显著改善了实体机械臂的硬件交互平滑性与定位精度。
无需重训的推理期时间缩放（Post-hoc Temporal Scaling）：多项式参数化将轨迹几何构型定义在标准化时间 $s \in [0, 1]$ 上。在部署时仅需调整评估步长 $k_{\text{eval}}$ 即可在 0.5× 至 1.33× 之间任意无级变速回放，同时速度前馈自动依导数性质缩放，为高风险阶段减速与大范围移动加速提供了极低成本的在线自适应手段。

局限与展望¶

多项式阶数缺乏动态自适应：当前模型固定采用阶数 $K=6$ 的勒让德多项式。对于接触丰富、包含高频微颤或碰撞接触的敏捷操作（如灵巧手多指装配），低阶多项式容易平滑掉关键的高频冲击特征，未来可探索动态自适应分配多项式阶数的机制。
执行速度调节仍处于开环状态：尽管 post-hoc 时间缩放能力出色，但当前整个 rollout 中的评估步长 $k_{\text{eval}}$ 是静态固定的，尚无法根据环境接触力或视觉反馈实时自适应调节行进速度。若能引入闭环速度调制网络，在接近装配孔时自主减速、自由空间高速移动，将进一步提升具身操作的效率与安全性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙融合勒让德正交基稀疏采样与历史多项式单步流匹配，并打通底层力矩控制器的解析导数前馈链路。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 5 大仿真任务与 2 项实体机械臂高精度操作任务，系统性展开了收敛性、跟踪误差、时间缩放及细致消融。
写作质量: ⭐⭐⭐⭐⭐ 数学推导严密闭式，问题痛点剖析深刻，实验分析与消融对比逻辑严丝合缝。
价值: ⭐⭐⭐⭐⭐ 显著降低生成式策略的推理开销并大幅提升真实硬件的控制平滑度与精度，具有极高的工业与工程落地价值。

配置	成功率 (%)	相对变化	说明
\(\delta = 0\), 无 KKT 连续性约束	75.0	基准	缺少两层机制，边界处存在显著跳跃与拟合高敏性
\(\delta = 1\), 无 KKT 连续性约束	86.0	+11.0 pp	引入拟合填充，将边界锚点移入拟合窗口稳定内部
\(\delta = 1\) + KKT 连续性约束 (完整 FLASH)	97.5	+22.5 pp	结合闭式 KKT 投影强制满足 \(C^1\) 阶连续性