HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching¶

会议: ECCV2026
论文: ECCV 原文
项目: HO-Flow
领域: 人体理解
关键词: 手物交互、动作生成、交互感知潜变量、自回归生成、流匹配

一句话总结¶

HO-Flow 先把手部运动、物体轨迹和局部接触几何压入时序潜空间，再用带上下文的自回归流匹配生成连续动作，在 GRAB 上将 Phy 从 LatentHOI 的 96.16% 提升至 98.25%，同时将样本多样性 SD 从 0.13 提升至 0.31。

研究背景与动机¶

生成一个合理的抓握姿态，只需让某一时刻的手与物体接触；生成“递交物体”或“操作手柄”的完整动作，还必须让接触关系随运动持续成立。手指关节旋转、手掌全局位移和物体轨迹如果各自看起来合理，组合后仍可能出现悬空、穿透或突然跳动。因此，这项任务的关键不是普通三维形状生成，而是人体运动与物体运动之间的时序协调。

既有方法分别缓解了部分困难。DiffH2O 直接生成显式姿态序列，但需要同时处理不同性质的位置与旋转变量；LatentHOI 把局部手姿态压入潜空间，却以逐帧表示为主，全局运动仍不足以被统一建模。另一条路线是用离散动作 token 做自回归预测，这便于利用历史上下文，但量化又可能损失精细接触所需的连续变化。HO-Flow 希望既保留连续动作细节，又使下一段动作真正受已生成序列约束。

核心 idea：用交互感知 VAE 同时学习局部接触几何和短时运动，再让上下文 Transformer 决定连续流匹配的生成条件，并通过初始帧相对物体运动表示利用大规模合成预训练。

方法详解¶

整体框架¶

推理输入是一条任务描述和规范坐标系中的物体点云，输出是手部姿态、手部平移及物体运动组成的动作序列，而不是 RGB 视频。训练分为先学习 Inter-VAE、再冻结 VAE 学习潜变量生成器两阶段；动作真值只在训练时用于编码监督，推理时由噪声生成潜变量，再交给冻结解码器还原动作。

Inter-VAE 把运动几何的相对表示、空间交互特征和短时压缩结合起来；生成器则把文本与物体形状作为条件，用已生成动作提供上下文。下图中的编码分支用于训练，推理时从文本、物体和噪声进入生成分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["训练动作与物体点云"] --> Relative["相对运动表示"]
    Relative --> Geometry["关节视角交互编码"]
    Geometry --> Temporal["分支时序潜空间"]
    Temporal -->|冻结编码器提供训练目标| Flow["上下文自回归流匹配"]
    Conditions["文本、物体形状与噪声"] --> Flow
    Flow --> Output["冻结解码器还原手物动作"]

关键设计¶

1. 相对运动表示：降低坐标约定对迁移的干扰

不同数据集的原点和朝向可能不同，模型若直接记忆绝对物体轨迹，就容易把数据采集约定当成动作规律。论文将物体运动表示为相对初始帧的变化，并监督相对物体平移的手部平移，使“手如何跟随物体”不必完全依赖场景绝对坐标。这不等于完整的物理不变性保证，而是减少跨数据源坐标差异的表示选择。

这一选择为使用 GraspXL 提供了基础。其超过 500 万条合成右手轨迹覆盖约 50 万个物体，但主要是物体搬移动作，因此预训练用于学习几何与交互先验，之后仍需在目标数据集微调复杂动作。单手表示训练以右手为主，有左手数据时先镜像到右手形式；这是一种数据利用方式，不应理解成最终系统只能生成右手。

2. 关节视角交互编码：让同一物体显露相对每根手指的几何关系

Inter-VAE 输入含 1024 个三维物体点、每帧 16 个 MANO 关节的轴角姿态及物体刚体变换。首先用物体姿态把规范点云放到世界坐标系，再沿 MANO 运动学树累积每个关节及其祖先的变换。对每个关节应用逆变换，就得到“从这个关节看物体”的局部点云：某个物体表面离指尖更近或移到手指另一侧，会直接体现在这些坐标中。

16 个关节视角沿特征维拼接，形成每帧 \(1024\times(16\times3)\) 的手相对几何。空间编码器联合处理规范、世界与关节局部坐标中的物体点云，采用共享帧间权重的 PointNet++ 和 3 层集合抽象，得到每帧 768 维特征。随后通过两层 MLP 融合姿态信息，分别得到 256 维手部与物体空间特征。它并非额外预测一个接触标签，而是让编码器更容易从几何中读出接触关系。

3. 分支时序潜空间：压缩短时动作，而非逐帧压缩静态抓姿

只有空间特征仍无法区分连续滑动与逐帧抖动。手部和物体各自的时序编码器用一维卷积聚合相邻帧，经两次步幅为 2 的下采样，总时序步幅为 4。对 \(N\) 帧输入，两条分支各产生 \(N/4\) 个 32 维潜变量；解码器再上采样到原始长度，分别重建手和物体运动。分支独立并不意味着忽略交互，因为进入分支的空间特征已经包含双方相对几何。

生成双手动作时，每个时刻把右手物体潜变量、右手潜变量、镜像左手物体潜变量和左手潜变量拼成 128 维 motion token。因此，生成器面对的是能承载短时交互的连续 token，而不是 128 个离散动作类别。原文表 1 也支持分支与预训练协同：完整设计未预训练时物体平移重建误差为 3.70 mm，预训练后为 2.33 mm；这是 VAE 重建指标，不能替代后面的生成质量指标。

4. 上下文自回归流匹配：把序列推理与连续采样分开

冻结的 CLIP ViT-B/32 提取 512 维文本特征；物体形状通过 Basis Point Set（BPS）变为 4096 维距离特征。两者分别线性投影后相加，得到 1024 维条件。带正弦位置编码的 masked autoregressive Transformer（MAR）用该条件调制 AdaLN，从部分可见的动作 token 中提取上下文；实现采用单层、16 个注意力头。这里“自回归”强调依赖已生成动作，而非直接将完整序列的所有位置独立预测。

连续生成交给一个轻量 SiT 风格 MLP 流匹配头：它接收插值噪声、流时间和该位置的上下文，预测从噪声走向目标动作 token 的速度。为避免与动作时间混淆，下面用 \(t\) 表示 token 位置，用 \(\tau\) 表示流时间。缓存中的公式排版损坏，以下是依据第 3.3 节文字恢复的等价写法，并非逐字公式转录：

\[ x_\tau=(1-\tau)x_0+\tau z_t,\qquad x_0\sim\mathcal{N}(0,I),\qquad \tau\in[0,1]. \]

目标速度就是 \(z_t-x_0\)。Transformer 不必为每次连续采样直接输出完整姿态，而是给流匹配头提供当前序列应如何延续的条件；ODE 积分生成连续潜变量，再逐步补全序列。主文未明确给出完整解掩码顺序及 ODE 求解器名称，不能擅自补成严格逐帧的左到右算法。

一个完整示例¶

以“把物体从左手递给右手”的任务为例，若使用 GRAB 的最长 160 帧序列，则 VAE 时序压缩后对应 40 个 128 维双手 token。规范物体点云和文本构成生成条件，MAR 利用已经生成的交接上下文，流匹配头逐步生成剩余潜变量，最后解码为完整的手物轨迹。

这个例子说明为何不能只生成两个合理的静态抓姿：交接中间需要左手释放、右手接触及物体移动在时间上互相协调。这里的 160、40 和 128 来自论文的长度及维度设置；例子不意味着原文提供了该提示词的独立成功率。

损失函数 / 训练策略¶

VAE 对手部 6D 关节旋转、手相对物体平移、MANO 网格顶点、物体 6D 旋转及三维平移施加 L1 重建监督，并用权重 \(\beta=10^{-4}\) 的 KL 项约束手与物体潜变量接近标准高斯。网格损失约束可见的手部形状，关节与平移损失约束运动参数，但没有据此宣称硬性消除碰撞。

生成阶段从余弦掩码比例调度采样位置集合 \(\mathcal{M}\)，其中 80% 替换成可学习掩码、10% 换成高斯噪声、10% 保持原样。仅对所选位置计算流匹配回归；其目标按正文描述可等价写为：

\[ \mathcal{L}_{\mathrm{AR}}=\mathbb{E}_{\mathcal{M},\tau,x_0}\left[\frac{1}{|\mathcal{M}|}\sum_{t\in\mathcal{M}}\left\|v_\phi(x_\tau,\tau;h_t)-(z_t-x_0)\right\|_2^2\right]. \]

训练采用 AdamW、线性预热和余弦学习率衰减。VAE 在 4 张 NVIDIA H100 上以 batch size 32 预训练 100k 次迭代，学习率从 \(2\times10^{-4}\) 衰减到 \(2\times10^{-5}\)；微调基础学习率为 \(10^{-4}\)，并对整个序列施加随机全局三维旋转。

生成器同样先在 GraspXL 预训练，再在目标数据集微调；主文明确的微调设置为单张 H100、batch size 32、300k 次迭代。文本条件以 20% 概率丢弃以支持无分类器引导，EMA 衰减系数为 0.9999；推理报告 18 步、引导权重 1.5，不能把这 18 步直接当作整段动作仅需 18 次网络调用。

实验关键数据¶

主实验¶

GRAB 按物体划分，47 个训练物体、4 个未见测试物体，共 17 个文本与物体测试对；训练序列从首次接触开始，最长 160 帧。OakInk 用 20 类中的 100 个新物体组成 212 个测试对，直接评估 GRAB 训练的模型，不使用该划分的动作训练数据。DexYCB 在 20 个物体中留出 4 个测试物体，从首帧开始取序列，最长 96 帧。

IV 是有穿透帧上的平均手物相交体积，单位 cm³；ID 是同样按有穿透帧统计的最大穿透深度均值，单位 cm。Phy 是物体运动同时维持手物接触的帧比例，单位 %，不是机器人任务成功率。SD 是同一输入下多次生成之间的平均成对 L2 距离，主文未明确其数值单位，故不自行加单位。

数据集 / 原文表号	方法	IV（cm³，低为优）	ID（cm，低为优）	Phy（%，高为优）	SD（高为优）
GRAB / 表 3	LatentHOI	6.38	0.77	96.16	0.13
GRAB / 表 3	HO-Flow，无预训练	5.48	0.63	97.94	0.30
GRAB / 表 3	HO-Flow，有预训练	5.31	0.61	98.25	0.31
OakInk / 表 4	LatentHOI	7.22	1.10	71.24	0.22
OakInk / 表 4	HO-Flow，无预训练	5.82	0.66	83.62	0.31
OakInk / 表 4	HO-Flow，有预训练	4.10	0.45	89.76	0.33
DexYCB / 表 5	LatentHOI	7.70	2.01	88.52	0.13
DexYCB / 表 5	HO-Flow，无预训练	6.84	1.82	90.77	0.20
DexYCB / 表 5	HO-Flow，有预训练	6.37	1.20	95.41	0.20

GRAB 和 OakInk 的 IV、ID 在此仅列右手列；DexYCB 为单手指标。“有预训练”指使用 GraspXL，不能把这些结果解释成相同训练数据预算下的纯架构对比。

消融实验¶

下表摘自原文表 2，全部在 GRAB 上评估；R1–R4 不使用预训练，R5 才加入 GraspXL。

配置	表示与生成方式	右手 IV（cm³）	右手 ID（cm）	Phy（%）	SD
R1	显式姿态序列，非自回归	10.35	1.14	84.89	0.24
R2	逐帧潜变量，非自回归	8.13	0.98	88.76	0.12
R3	Inter-VAE 时序潜变量，非自回归	6.99	0.82	92.69	0.26
R4	Inter-VAE + 自回归生成	5.48	0.63	97.94	0.30
R5	R4 + 合成预训练	5.31	0.61	98.25	0.31

关键发现¶

R3 到 R4 在相同无预训练设置下，Phy 增加 5.25 个百分点，右手 IV 从 6.99 降到 5.48 cm³，支持时序上下文具有独立收益。
预训练在 GRAB 上将 Phy 从 97.94% 提升至 98.25%，在 OakInk 上则从 83.62% 提升至 89.76%，说明更强的未见物体变化更能体现合成先验的价值。
并非所有接触指标都领先：表 3 中 LatentHOI 的右手 CR 为 11.94%，高于预训练 HO-Flow 的 11.38%。接触顶点比例更高并不自动代表动作整体更合理。

亮点与洞察¶

关节局部坐标是一种直接的交互编码：同一个物体从不同手指观察，几何就携带了接触线索。迁移这个思路时，应优先寻找与任务接触部位相连的坐标系，而非只增加世界坐标特征。
连续潜变量与自回归上下文并不冲突。MAR 负责根据已有动作推断后续条件，流匹配负责保留细粒度连续变化，这比把所有控制精度都交给离散码本更契合手部动作。
表 2 区分了表示、时序生成和预训练的贡献。它让“收益来自更多数据还是更合适的模型”具有可检查的局部对照。

局限与展望¶

作者明确指出 GraspXL 主要包含搬移任务且动作多样性不足，因此大量合成数据并未解决复杂任务语义覆盖问题，仍需目标数据微调。
Phy 以运动时的接触保持作为物理合理性代理；非零 IV 和 ID 也表明穿透并未消失。本文没有据此证明力闭合、摩擦稳定或真实机器人执行成功率。
测试序列具有 160 / 96 帧上限，且 GRAB 从首次接触开始，不能把结果外推到无限长动作或完整的接近物体、首次抓取过程。
用户研究仅有 10 名评估者、每个基准 30 个测试样本。作者提醒同一评估者的多次判断不独立，偏好比例应视为评估者层面的证据。
缓存主文的数学排版存在损坏，且缺少补充材料中的部分指标与采样细节；上述等价公式足以解释机制，但精确复现仍需核对完整论文及实现。后续可加入显式碰撞约束、力学评估和更长交互序列测试。

评分¶

新颖性: 4/5。把运动学相对几何、时序潜变量与连续自回归生成结合到细粒度手物交互中。
实验充分度: 4/5。覆盖三个主要基准及分组件消融，但真实物理执行和超长序列仍缺少证据。
写作质量: 4/5。设计与消融对应清晰；主文的采样调度细节仍不足以独立复现。
价值: 4/5。适合需要多样、连贯交互动作的动画与数据生成应用，但不宜直接当作可执行控制器。