ContextFlow: In-Context Flow Matching for Robot Manipulation¶

会议: ECCV 2026
论文: ECCV 原文
项目主页: Project Page
领域: 图像生成
关键词: 机器人操作, 上下文模仿学习, 流匹配, 多模态压缩器, 双臂协同

一句话总结¶

针对传统自回归上下文模仿学习中动作离散化量化误差与逐 token 预测累积误差的难题，本文提出了基于条件流匹配的连续动作生成模型 ContextFlow，结合 Perceiver 架构的多模态上下文压缩器，在免微调条件下大幅提升了机械臂在未见任务配置下的操作泛化性能。

研究背景与动机¶

人类具备仅通过观察少数几次演示就能快速掌握全新任务的能力，这种无需梯度更新、在测试时依赖样例上下文即可直接执行新任务的范式即为上下文学习（In-Context Learning）。在机器人控制领域，将专家演示轨迹（视觉观测、本体状态与动作）作为上下文进行提示的上下文模仿学习（In-Context Imitation Learning），为摆脱每个新任务均需海量微调的瓶颈带来了巨大希望。然而，机器人操纵任务要求在连续高维动作空间中完成长时程、闭环的精准控制，测试时常面临环境物体分布或空间布局分布偏移（Unseen Task Configurations）的严苛挑战。

现有主流的上下文模仿学习方法（如 ICRT、RoboPrompt、LipVQ-VAE 等）主要沿袭自大语言模型（LLM）的自回归范式。这种自回归建模在机器人控制上面临两大天然瓶颈：首先，动作序列是逐 step、逐 token 生成的，后续预测深度依赖先前的预测结果，早期预测产生的微小误差会随着时间步急剧发散与复合累积（Compounding Error），在测试环境分布偏移时极易导致整条控制轨迹脱轨；其次，自回归模型通常依赖动作离散化分词器（Action Tokenizer），离散量化过程不可避免地引入重构误差，极大削弱了接触密集型细粒度操作的精度。

为此，将能够直接建模连续分布并并行预测动作块（Action Chunking）的流匹配（Flow Matching）与上下文模仿学习机制相融合成为破局关键，但长时程多模态演示轨迹（视觉、状态、动作）所带来的超长序列计算复杂度又是阻碍其实用的核心瓶颈。核心 idea：本文提出了基于条件流匹配的上下文模仿学习框架 ContextFlow，通过构建流匹配动作生成专家并在动作与演示之间引入块因果交叉注意力，同时设计多模态 Perceiver 压缩器将高维长序列演示紧致提炼为固定维度潜变量，实现了免微调的高精度连续动作分布去噪与强泛化控制。

方法详解¶

整体框架¶

ContextFlow 的目标是根据当前观测 \(o_t=(I_t, q_t)\)（包含当前相机图像与本体感知状态）、任务语言指令 \(T\) 以及提供的少样本专家演示 \(d=[T, X, Q, A]\)，直接建模未来 \(H\) 步连续动作块 \(a_t = a_{t:t+H-1}\) 的条件概率分布 \(\pi(a_t \mid o_t, d)\)。整个系统采用非对称的双专家（Mixture-of-Experts）混合架构：由上下文专家（Context Expert）专门负责长程示范与当前观测的表征编码与跨模态聚合，由动作专家（Action Expert）负责在连续空间内迭代执行条件流匹配去噪更新。

在工作流程上，专家演示包含长达数百步的图像序列、关节状态和控制动作。模型首先对各模态序列进行时间降采样，再输入专用的多模态上下文压缩器，将长序列蒸馏为固定长度的紧致潜变量。当前图像经过视觉编码器 ViT（SigLIP）后，与文本指令 token、压缩后的演示潜变量拼接输入上下文专家；动作专家则接收当前机器人本体状态与高斯噪声动作块，在因果交叉注意力约束下与上下文特征交互，经过 \(K\) 步前向欧拉数值积分，并行输出平滑连续的未来动作轨迹。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    InDemo["多模态专家演示序列<br/>图像 X + 本体感知 Q + 动作 A"] --> Comp["多模态上下文压缩器<br/>Perceiver 交叉/自注意力固定潜变量"]
    InCur["当前观测与任务指令<br/>视觉图像 It + 文本指令 T"] --> CtxExp["上下文专家表征编码<br/>聚合示范意图与当前环境特征"]
    Comp --> CtxExp
    InAct["当前本体状态 qt +<br/>高斯随机噪声动作 a0"] --> ActExp["动作专家流匹配去噪<br/>块因果交叉注意力条件引导"]
    CtxExp -->|因果交叉注意力缓存| ActExp
    ActExp --> OutAct["连续动作块输出<br/>未来 H 步并行可执行轨迹"]

关键设计¶

1. 条件流匹配动作生成：消除动作离散化与累积误差

为解决自回归架构中的累积漂移和量化失真，ContextFlow 将动作块生成形式化为连续时间条件流匹配问题。系统在时间区间 \(s \in [0, 1]\) 上构建概率路径，平滑连接高斯先验分布 \(p_0(a_t^0) = \mathcal{N}(0, I)\) 与目标条件动作分布 \(p_1(a_t^1) = \pi(a_t \mid o_t, d)\)。在中间时刻 \(s\)，加噪动作通过线性插值采样 \(a_t^s = (1 - s)\epsilon + s a_t\)（其中 \(\epsilon \sim \mathcal{N}(0, I)\)），其对应的目标条件向量场具备解析闭式解 \(u(a_t^s \mid a_t) = a_t - \epsilon\)，表示直接指向无噪动作块的瞬时位移速度向量。动作专家参数化速度场网络 \(u_\theta(a_t^s, o_t, d, s)\)，以正弦时间步编码嵌入 \(s\)。训练阶段通过均方误差损失最小化预测速度场与真实位移的差异；推理时则从标准高斯噪声出发，使用一阶前向欧拉法仅需 \(K=10\) 步积分即可并行生成未来 \(H\) 步连续动作。由于预测以整块动作形式在连续空间完成，彻底杜绝了分词重建损失，显著抑制了分布偏移下的长程误差级联放大。

2. Perceiver 多模态上下文压缩器：长时程多视角序列紧致蒸馏

机器人长程演示轨迹往往包含高达数百个时间步以及多个相机视角的图像流，直接采用全注意力机制会导致显存与计算开销发生二次方爆炸。ContextFlow 针对图像、本体状态和动作序列分别设计了三种专用压缩器 \(C_{\text{img}}\)、\(C_{\text{state}}\) 和 \(C_{\text{action}}\)。以图像流为例，模型先做时间降采样，提取每帧各视角的 patch 特征；随后引入一组 \(N_q=32\) 个可学习的查询向量（Query Tokens）作为初始潜变量，交替堆叠跨注意力（Cross-Attention）与自注意力（Self-Attention）层：跨注意力层让可学习潜变量主动聚合来自输入序列的全局语义与空间线索，自注意力层则在固定维度的潜变量内部实现高效的信息融合与重构。三路压缩器输出的潜向量长度相等，最终拼接形成紧致统一的上下文嵌入 \(T_{\text{context}} = [Z_{\text{img}}; Z_{\text{state}}; Z_{\text{action}}] \in \mathbb{R}^{N_{\text{context}} \times D}\)。注意力热力图可视化证明，压缩器中的可学习查询能够自适应追踪关键瓶颈阶段（例如在抓取前聚焦夹爪、抓取后聚焦目标物体、放置时转移至目标容器），在大幅削减序列长度的同时精确保留了任务执行的核心动态。

3. 块因果交叉注意力机制：保障推理高效性与表征解耦

在双专家架构中，上下文专家与动作专家需要频繁交互以实现条件动作解码。若采用传统的双向全注意力机制，在流匹配的 \(K\) 步 ODE 数值积分去噪过程中，每一次积分迭代都必须重新对上下文专家特征进行联合计算，导致极高的推理延迟。ContextFlow 提出了一种严格的块因果交叉注意力机制（Block-wise Causal Attention）：允许动作专家中的动作 token 和本体状态单向单向关注上下文专家的特征 token，而严禁上下文专家反向关注加噪动作序列。该单向依赖设计使得模型在推理执行 \(K\) 步流匹配求解时，上下文专家的表征可以在首步计算后直接缓存（KV Cache），各流匹配去噪步仅需执行动作专家内部的轻量级交叉注意力与自注意力计算，在维持强条件引导能力的同时实现了极高推理吞吐量。

损失函数 / 训练策略¶

模型采用条件流匹配目标（Conditional Flow Matching, CFM）进行端到端优化。在训练批次中，时间步 \(s\) 从 Beta 分布中采样 \(s \sim \text{Beta}(\alpha, \beta)\)（实验中设定 \(\alpha=1.5, \beta=1\)），真实动作块 \(a_t \sim \pi(a_t \mid o_t, d)\)，随机高斯噪声 \(\epsilon \sim \mathcal{N}(0, I)\)。条件流匹配训练损失函数定义如下：

\[\mathcal{L}_{\text{CFM}}(\theta) = \mathbb{E}_{s, a_t, \epsilon} \left[ \left\| u_\theta(a_t^s, o_t, d, s) - (a_t - \epsilon) \right\|^2 \right]\]

在优化策略上，视觉编码器 SigLIP 与动作专家采用预训练的 \(\pi_0\) 权重进行初始化，其中动作专家通过 LoRA（Rank=32, Alpha=32）进行轻量微调；300M 参数量的上下文专家与多模态压缩器随机初始化并进行全量微调。模型使用 AdamW 优化器配合余弦退火学习率调度策略（峰值学习率 \(2.5 \times 10^{-5}\)，最低学习率 \(2.5 \times 10^{-6}\)，前 1000 步线性预热），在批次大小 32 下训练 20,000 次迭代。推理时固定设定数值求解步数 \(K=10\)。

实验关键数据¶

主实验¶

评估首先在仿真基准 LIBERO（包含 Franka 机械臂的 LIBERO-Spatial 空间推理套件与 LIBERO-Object 物体操控套件）上展开，测试在未见任务配置（Unseen Configurations）下的泛化成功率（每项任务 50 次评测）。此外，论文在真实 ALOHA 机械臂双臂平台上针对 3 个长程复杂套件（单臂抓取放置、细粒度双手拔笔帽、双臂放蛋入盒关盒）进行了实体机对比。

基准环境 / 任务	评估指标	ContextFlow (本文)	ContextAR (自回归+)	ICRT (经典AR基线)	\(\pi_0\) FT (1-shot微调)
LIBERO-Spatial (未见配置)	成功率 (%)	64.0	53.0	27.0	63.0
LIBERO-Object (未见配置)	成功率 (%)	83.0	54.0	50.0	82.0
LIBERO 平均 (未见配置)	成功率 (%)	73.5	53.5	38.5	72.5
真实 ALOHA: 单臂抓放 (Orange)	成功率 (10次)	5/10 (50%)	-	0/10 (0%)	-
真实 ALOHA: 拔笔帽 (Left Hand)	成功率 (10次)	4/10 (40%)	-	0/10 (0%)	-
真实 ALOHA: 蛋入盒关盒 (Red Egg)	成功率 (10次)	6/10 (60%)	-	0/10 (0%)	-

在 LIBERO 仿真中，ContextFlow 相比自回归最强基线 ContextAR 取得了 20.0 个百分点的平均优势，相比 ICRT 提升达 35.0 个百分点；在完全无需对测试任务进行梯度微调的情况下，性能比肩甚至微弱超越了单样本显式微调的大模型 \(\pi_0 \text{ FT}\)（73.5% vs. 72.5%）。在真实世界需要高频闭环反馈的双臂长程任务中，ICRT 几乎完全失败（0/10），而 ContextFlow 依然稳定达成 40%~60% 的成功率。

消融实验¶

1. 多模态上下文压缩器消融

配置方案	图像压缩器 \(C_{\text{img}}\)	状态与动作压缩器 \(C_{\text{state}} \& C_{\text{action}}\)	LIBERO-Spatial	LIBERO-Object	平均成功率 (%)
ContextFlow-Plain	✗	✗	55.0	73.0	64.0
仅图像压缩	✓	✗	51.0	85.0	68.0
ContextFlow (完整模型)	✓	✓	64.0	83.0	73.5

2. 动作解码头类型消融（20k 次迭代除非额外注明）

解码头类型 (Action Head)	训练迭代步数	Spatial 成功率 (%)	Object 成功率 (%)	平均成功率 (%)	累积 MSE 误差 (\(m^2\))
ContextAR (自回归 Token 化)	20k	53.0	54.0	53.5	4.7
MLP \(L_1\) 回归 (连续并行)	20k	26.0	90.0	58.0	-
扩散模型 Diffusion Head	100k	30.0	37.0	33.5	-
ContextFlow-Plain (流匹配无压缩)	20k	55.0	73.0	64.0	3.0
ContextFlow (完整流匹配+压缩)	20k	64.0	83.0	73.5	2.2

关键发现¶

累积复合误差的大幅削减：流匹配并行预测连续动作块是打破自回归性能瓶颈的决定性因素。从轨迹追踪的累积误差来看，ContextAR 的均方误差高达 \(4.7\,m^2\)，而 ContextFlow 降至 \(2.2\,m^2\)。误差分析表明，自回归模型在执行到第 30 步之后误差呈指数级快速放大，而流匹配的平滑向量场能有效保持轨迹贴近专家基准。
状态与动作模态不可或缺：模态消融实验表明，当剔除演示中的本体状态与动作序列（仅保留图像和文本）时，未见配置上的平均成功率发生灾难性下滑（从 73.5% 暴跌至 29.0%，骤降 44.5 个百分点），证实纯视觉提示不足以提供精确的运动学动力学指引。
压缩器兼顾特征提炼与效率：Perceiver 压缩机制不仅将上下文 token 数量压至固定规模，使计算复杂度脱离演示时长限制，更通过全局交叉注意力滤除了背景动态冗余，使流匹配成功率在 Plain 基础上进一步纯增 9.5 个百分点。

亮点与洞察¶

流匹配驱动的并行控制消除复合误差：将连续流匹配引入机器人上下文模仿学习，规避了语言模型离散动作分词的量化误差和自回归累积漂移，验证了连续并行生成在物理控制中的优越性。
分层解耦的双专家架构与因果缓存：通过上下文专家与动作专家的责任解耦，配合块因果交叉注意力，保证了流匹配多步 ODE 求解时无需重复计算上下文特征，兼顾了表征表达力与高频控制实时性。
跨模态 Perceiver 压缩器自适应聚焦关键交互：针对机器人长视频/本体流计算开销大的痛点，采用可学习查询提取固定长度潜变量，注意力图自发演进（夹爪 \(\to\) 物体 \(\to\) 放置点），具有高可复用性。

局限与展望¶

泛化范围受限于同构基元任务：论文目前的上下文泛化能力主要体现在同一操作基元下的未见物体、空间位置或左右手镜像配置上，尚无法直接跨越到动作拓扑结构完全不同的全新技能。
对高质量完整演示的强依赖：模型依赖长达数十至数百步的高质量成对多模态示范，若演示轨迹存在操作失误或截断，缺乏自我纠错与轨迹优化机制。
未来的扩展方向：可进一步将强化学习探索或偏好对齐（如 Flow-based RL / DPO）引入上下文流匹配策略中，结合更大规模的异构机器人操作预训练数据，实现真正开放世界的零样本/少样本任意任务迁移。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次将条件流匹配与多模态上下文压缩系统性引入机器人少样本模仿学习，架构设计完整扎实。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 LIBERO 仿真多套件、细致消融实验、数值误差时序分析以及真实 ALOHA 双臂高难度操作验证。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照清晰，对自回归累积误差与流匹配机制的对比剖析透彻。
价值: ⭐⭐⭐⭐⭐ 为具身智能与大模型驱动的自适应少样本操作提供了切实可行的生成式控制新范式。