ChronoFlow Policy: Unifying Past-Future Interaction Flow in Visuomotor Policy Learning¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/3245
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/577.pdf
代码: https://github.com/The-kamisato-Sii/ChronoFlow-Policy
领域: 机器人 / 具身智能
关键词: 视觉运动策略、交互流、历史记忆、三维点跟踪、扩散策略

代码地址来自论文；作者在文中承诺发布代码与模型，此处未联网核验发布状态。官方标题省略了 Current，PDF 正文题名则写作 Past-Current-Future。

一句话总结¶

ChronoFlow-Policy 将物体与夹爪的历史、当前和未来三维关键点轨迹放进同一交互表示，以未来轨迹恢复和动作预测共同训练扩散策略，在 MetaWorld 与 RoboTwin 2.0 上分别达到 72% 与 66% 平均成功率，并将真实 Swap-Easy 最终阶段成功率从不使用历史时的 20% 提升至 93%。

研究背景与动机¶

机器人看到一帧点云，可以知道玩具现在在哪里，却未必知道它原来放在哪个杯垫上、是否已经交换过，或者眼前这条折叠毛巾处于第几步。DP3、RISE 等三维模仿学习策略提供了强空间感知，但仅用动作标签训练，不能保证内部表示保留这些交互过程。加入历史轨迹可以缓解状态歧义，却仍未明确约束下一步应该发生怎样的物体变化。

另一个方向让策略预测未来，例如 MBA 的物体位姿轨迹或 3D-FDP 的稠密场景流。前者较紧凑，但单个刚体位姿难以描述毛巾局部形变；后者覆盖面大，却也混入与操作无关的背景信息。更重要的是，物体是否移动、夹爪怎样靠近和接触、动作处于哪个阶段，实际是同一段交互的不同侧面，分开处理会丢失关联。

本文把这种关联收束到一组可跟踪的三维点上：物体点解释被操作对象怎样变化，夹爪点解释机器人怎样参与，历史说明已经发生的事，未来轨迹则成为动作学习的结构化监督。核心 idea：用同一种物体与夹爪关键点轨迹连接记忆和预见，再让动作解码器读取经过未来交互监督的共享表示，而不只从当前观测直接拟合动作。

方法详解¶

整体框架¶

输入是单台 RGB-D 相机产生的当前彩色点云、可用时的本体状态，以及从过去观测累积的交互轨迹。场景点云形状为 \(N\times6\)，每点包含三维坐标与 RGB，点数可随时间变化；它仍作为独立观测条件输入，并没有被少量关键点完全替代。策略输出未来动作块，同时预测未来物体和夹爪轨迹。

流程先构建交互关键点流，再把历史流与加噪未来流编码为紧凑 token，在当前三维观测条件下进行扩散去噪。解码后的未来轨迹和隐藏状态共同进入动作解码器；因此它既不是先生成完整视频再规划，也不是把预测轨迹当作硬编码控制器的目标。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["RGB-D 观测<br/>与夹爪位姿"] --> B["交互关键点流"]
    B --> C["时序交互编码<br/>历史与加噪未来"]
    A --> D["当前三维观测编码"]
    C --> E["共享去噪与双解码"]
    D --> E
    E --> F["未来交互轨迹<br/>与动作块"]
    F --> G["执行前四步<br/>更新观测和历史"]

关键设计¶

1. 交互关键点流：把机器人和物体放进同一时空描述

夹爪与物体使用不同来源、相同坐标语义的点。夹爪上预定义一组相对工具中心点 TCP 固定的几何关键点，根据每时刻 TCP 位姿做刚体变换，即可得到世界坐标中的连续轨迹。物体一侧先用 SAM-2 分割初始观测中的任务相关对象，再对每个对象用最远点采样 FPS 建立候选点池，随后利用 TAPIP3D 跟踪这些点。它不是从网络中自动发现接触事件的独立接触检测器，而是用共同运动轨迹承载接近、抓取与搬运等交互线索。

令夹爪点数为 \(N_g\)、物体点数为 \(N_o\)，每个时刻合并两组点；未来预测保留点身份、时间和三维坐标三个维度：

\[ P_t=P_t^g\cup P_t^o,\qquad P_t^g\in\mathbb{R}^{N_g\times3},\quad P_t^o\in\mathbb{R}^{N_o\times3},\quad P_{t:t+H}\in\mathbb{R}^{(N_g+N_o)\times H\times3}. \]

这里沿用原文的窗口记号，张量实际包含 \(H\) 个未来步。与物体位姿相比，点集可以描述同一条毛巾不同位置的不同运动；与稠密场景流相比，它筛除了大量无关场景点。夹爪轨迹又与动作结构对齐，使未来监督不仅要求“物体到哪里”，还要求表示机器人怎样参与这段变化。不过，稀疏点并不自动等于接触点，物理接触一致性也没有被显式约束。

2. 时序交互编码：用同一组查询读取历史和带噪未来

历史流由已发生的点轨迹组成；训练时未来示范轨迹被加噪，推理时未来从高斯噪声开始。编码器用多头交叉注意力读取两者拼接后的序列，历史不是额外堆叠若干完整点云帧，而是与待预测的未来共享关键点语义。这样，当前物体位置相同但到达过程不同的两次观测，能够产生不同的动作条件。

可学习交互查询形状为 \(Q\in\mathbb{R}^{(N_g+N_o)\times D}\)，输出交互 token 为 \(Z_t^k\in\mathbb{R}^{(N_g+N_o)\times D}\)；每个紧凑 token 对应一个物体点或夹爪点，\(k\) 表示噪声步骤。这种压缩让后续去噪器不必直接处理完整时空轨迹矩阵，同时保留物体点和夹爪点的身份。缓存未给出固定点数、历史窗口长度和嵌入维度，不能把这里的符号误当成已公开的超参数。

当前点云还有独立编码通路：仿真采用 PointNet 风格编码器，真实实验采用稀疏三维编码器；有本体状态时用 MLP 编码并融合。因此，历史解释任务阶段，当前点云提供此刻空间条件，未来带噪轨迹提供生成目标，三者在条件去噪中会合。

3. 共享去噪与双解码：让动作读取可解释的交互预测和隐藏状态

主干可以选 Unet1D 或 Diffusion Transformer，输入观测特征、噪声步骤和交互 token，逐步得到干净交互表示。轻量 Transformer 轨迹解码器把每个点的 token 展开为 \(H\cdot3\) 个坐标值，再恢复成上述未来轨迹张量。动作解码器不是只看这些坐标，而是同时读取它们和共享隐藏状态，从而保留不容易由稀疏点完整表达的控制信息。

推理侧的动作读取关系在原文中可明确辨认：

\[ \hat a_{t:t+H}=A_\phi\bigl([Z_t^0;\hat P_{t:t+H}]\bigr). \]

方括号表示拼接输入，\(Z_t^0\) 是干净交互 token，\(\hat P\) 是解码后的未来轨迹。它体现了方法与“动作和辅助预测互不交流”的区别：动作显式使用轨迹输出，但又不受限于轨迹本身。论文的策略分解公式和若干扩散公式在缓存中存在符号缺失，因此这里不复原其完整概率表达式、噪声调度或拼接轴实现。

训练时若每次更新都完整运行多步去噪，代价过高。作者因此让动作解码器读取部分去噪的 token \(Z_t^{k-1}\)，以及由中间噪声状态估算的轨迹 \(\tilde P_{t:t+H}\)，而推理时使用完整去噪结果。这既把动作监督传到共享表示，也减少了训练时完成整条生成链的需要；它不意味着部署时可以跳过全部去噪。

一个完整示例¶

以真实 Swap-Hard 为例，机器人需要把两个玩具放到对方最初的杯垫位置。玩具 A 先被移到中间位置后，仅看当前画面可能无法判断它原来在哪个杯垫上，也不能可靠区分“交换尚未完成”和“应该回收中间玩具”的阶段。历史物体轨迹保留 A 的来路，夹爪轨迹则提供刚完成哪次搬运的线索。

模型把这段历史与当前点云、带噪未来流一起编码，生成下一段夹爪与玩具运动，再解码 8 步动作。控制器只执行前 4 步，随后基于新观测重规划；在线历史由异步 TAPIP3D 更新。这是对论文机制的任务级说明，不是额外实验，也不假定未公开的关键点数量或预测坐标。完整 CFP 在该任务最终阶段为 61%，去历史版本为 11%，说明记忆有用，但困难末阶段仍明显未解决。

损失函数 / 训练策略¶

训练包含交互流扩散监督和动作 MSE 监督两部分。前者要求共享主干恢复交互动力学，后者使部分去噪表示及估算轨迹能够解释专家动作。按原文文字明确描述，组合目标可概括为：

\[ \mathcal L=\mathcal L_{\mathrm{action}}+\lambda_{\mathrm{CF}}\mathcal L_{\mathrm{CF}}. \]

这是对文字所述加权联合目标的整理；缓存式 (5) 至式 (8) 抽取不完整，尤其不能据此补出精确噪声损失、轨迹重建公式、权重数值或优化器设置。正文同时使用 diffusion 与 flow matching 术语，本笔记不据损坏公式断言某一种未被完整呈现的实现。

所有实验动作预测窗口为 8，当前观测窗口为 1，滚动执行前 4 步。训练随机抽取物体关键点，并对轨迹和场景点云施加同一个空间扰动，避免增强破坏它们的空间对应。作者还提到 dropout、历史截断，以及训练和推理采用同样有噪声的跟踪流程；这些措施让策略不完全依赖固定轨迹，但缓存未给出相应概率和扰动幅度。

实验关键数据¶

主实验¶

仿真共 14 个任务，MetaWorld 与 RoboTwin 2.0 各 7 个。下表取原表 2、3 的已报告平均成功率，而非从四舍五入后的单任务数字重新计算。

方法	MetaWorld 平均成功率 (%)	RoboTwin 2.0 平均成功率 (%)
DP3	30	43
3D-FDP	34	47
MBA	47	56
CFP (Unet)	72	66
CFP (DiT)	70	63

这些仿真任务大体是 Markovian，实验设计主要检验未来交互监督，而不是证明长期历史必不可少。MetaWorld 用 3 个种子，每 200 个训练 epoch 评估 20 个 episode，取最高 5 次成功率的均值，再跨种子汇总；RoboTwin 每 500 个 epoch 评估 100 个 episode，取最高 3 次的均值，不采用多种子评估。它们不是固定最终检查点的无选择估计。

真实平台为 Flexiv Rizon、Robotiq 2F-85 和一台固定俯视 RealSense D415。每项任务收集 50 条专家示范，使用 RTX 3090 训练；通常每策略每任务测试 15 次，Swap-Hard 测试 18 次。下表仅摘录原表 5 的最终阶段成功率，表示单次执行、不重置时完成整项任务的比例，不是各阶段成功率的平均。

方法	Breakfast II (%)	Towel II (%)	Pour II (%)	Swap-Easy III (%)	Swap-Hard III (%)
RISE	53	40	47	13	11
3D-FDP	67	53	47	33	17
HistRISE	67	47	67	80	56
CFP w/o past	67	87	60	20	11
CFP	80	87	80	93	61

MBA 只在 Breakfast 上比较，最终阶段为 73%，CFP 为 80%；不能把它写成覆盖全部真实任务的统一基线。加入历史使 CFP 的 Swap-Easy 提高 73 个百分点、Swap-Hard 提高 50 个百分点，但 Towel 保持 87%，说明历史收益具有明显任务依赖性。

消融实验¶

下表取原文消融段落明确叙述的 Fold Towel 第二阶段数字；图中未被文字清晰对应的其他数值不补录。

配置	第二阶段成功率 (%)	相对完整模型下降（百分点）
完整 CFP	87	0
去掉 ChronoFlow 轨迹监督	67	20
去掉物体轨迹	47	40
去掉夹爪轨迹	80	7
去掉随机关键点采样	27	60
去掉交互流空间增强	6	81

关键发现¶

物体轨迹对毛巾形变最关键，但夹爪轨迹并非无用：两者去除后的下降分别为 40 和 7 个百分点。这是特定软体任务的证据，不能外推成所有任务的组件排序。
随机采样和共享空间增强的影响甚至大于取消辅助监督。这说明高成功率依赖表示与鲁棒训练的组合，不能全部归因于“统一历史和未来”这一概念。
部署时，无历史跟踪为 12.18 Hz，同步 TAPIP3D 为 0.93 Hz，异步为 5.82 Hz。异步显著缓解瓶颈，但仍慢于不跟踪版本，这些是推理频率而非机器人底层伺服频率。

亮点与洞察¶

辅助目标与控制共享空间语义。 预测对象不是任意视觉重建，而是机器人与目标物体的运动；动作解码器还显式读取轨迹，使监督更直接地进入控制链。
同一种表示同时适合记忆与预测。 历史轨迹提供事件次序，未来轨迹表达预期几何变化，无需给两个时间方向各设计一套不兼容状态。
稀疏并不意味着忽略当前全局观测。 关键点流负责紧凑交互建模，独立点云编码器保留环境条件；这一分工比完全用点轨迹替代感知更稳妥。

局限与展望¶

作者明确承认分割、跟踪中的噪声、漂移和缺失点；严重遮挡或持续失跟仍会退化。可进一步研究带置信度的轨迹、失跟检测和不确定性感知控制。
真实任务规模为 5 项、每项仅 15 或 18 次测试，表中没有置信区间。Swap-Hard 的 61% 与 HistRISE 的 56% 差距较小，不能凭整数百分比宣称统计显著优势。
主结果采用最佳若干检查点的平均，且 RoboTwin 不做多种子评估。更严格的复核应报告固定选择规则、最终检查点结果和种子间方差。
软体操作证据集中于折毛巾，关键组件消融也集中于该任务；尚不足以证明适用于任意柔性对象或具有普遍接触推理能力。
异步跟踪仍有成本，文中没有完整分析历史滞后对闭环控制的影响。跟踪更新频率、遮挡持续时间和动作速度之间的关系值得单独评估。
当前缓存缺失若干公式符号，也未明确关键点数、历史窗口及损失权重。本文可解释机制，但不能据此提供完整可复现训练配置。

评分¶

新颖性：4/5。 将物体和夹爪、历史和未来统一为交互轨迹，并让动作读取共享表示，组合有清晰意义；基础跟踪与扩散组件沿用已有方法。
实验充分度：4/5。 覆盖 14 项仿真和 5 项真实任务，有历史与组件消融；真实样本量、最佳检查点协议及跨任务消融范围仍有限。
写作质量：3/5。 表示、架构与真实任务相互呼应，但缓存公式损坏、扩散术语混用及部分协议细节不足影响精确理解。
价值：4/5。 对历史依赖操作和可变形物体有实用启发；收益需要连同跟踪成本与鲁棒训练条件一起理解。