ECHO: Ego-centric Modeling of Human-Object Interactions¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/ptrvilya/echo
领域: 人体理解
关键词: 人-物交互、第一人称追踪、三变量扩散、接触建模、长序列重建

一句话总结¶

ECHO 将人体动作、物体轨迹与接触作为相互约束的扩散变量，在已知物体几何的前提下从头部和双腕追踪恢复完整交互，并通过混合动作数据训练与平滑修补，在 BEHAVE 上实现 6.8±0.1 cm 的人体 MPJPE 和 33.5±0.5 cm 的物体顶点误差。

研究背景与动机¶

头显和腕部设备可以提供稀疏追踪信号，但三个追踪点并不能唯一确定整个人体，更不能直接告诉系统物体在哪里、是否被拿起、何时与人体接触。只恢复身体的模型可能生成合理的走路姿态，却无法解释双手为什么保持某种间距；把人体和物体分别预测，再用规则拼起来，也容易出现手与物体分离、物体漂浮等现象。

已有第一人称交互方法往往依赖全身 IMU、已扫描场景或视觉输入。另一方面，BEHAVE、OMOMO 这类人-物交互数据的规模和动作多样性有限，而 AMASS 虽然包含大量人体动作，却没有对应的物体轨迹。若要求每个训练样本都具备完整交互标注，就会舍弃重要的人体先验；若仅用人体模型预训练再外接交互模块，又难以在同一个模型里学习人体、物体和接触之间的关系。

ECHO 把缺失模态和稀疏观测纳入生成过程：已知部分可以保持干净，未知部分接受去噪，接触则成为人体和物体之间的显式约束。核心 idea：让人体、物体和接触在同一扩散模型中互为条件，并利用不含物体的动作数据强化人体先验，使稀疏可穿戴信号也能驱动连续的人-物交互重建。

方法详解¶

整体框架¶

输入是头部与双腕的三点追踪，以及已知物体的规范网格、类别和已知人体形状参数；输出是人体动作序列、物体刚体轨迹和接触序列。因此，“只用三点追踪”指动态追踪信号的稀疏性，并不意味着系统能在没有物体模板的情况下发现任意未知物体。

模型先使用逐帧头中心表示，把人体、物体和接触组织为可共同去噪的时序变量，再由三变量条件扩散联合预测。推理采用带接触引导的平滑修补，在相邻窗口的重叠区域融合旧预测与新预测，使固定长度模型能处理持续输入。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["头部与双腕追踪<br/>物体网格与类别"] --> B["逐帧头中心表示"]
    B --> C["三变量条件扩散"]
    D["AMASS 与交互数据"] --> C
    C --> E["带接触引导的<br/>平滑修补"]
    E --> F["连续人体动作<br/>物体轨迹与接触"]

关键设计¶

1. 逐帧头中心表示：窗口变化时不重新定义交互坐标

如果每个窗口都独立选一个规范坐标系，同一物体在不同窗口中的表示会发生变化，长序列拼接也就多出坐标对齐问题。ECHO 继承并扩展 EgoAllo 的逐帧规范化，用每一帧的规范化头部位置锚定物体平移，而不是只在序列开头选一次原点。这样截取任意连续片段，都不需要为新窗口重新设计一套表示。

物体运动用相对于头部坐标系的刚体旋转和平移表示，旋转转换为 6D 表示。物体类别采用 one-hot 向量，规范网格顶点经过 PointNext 得到 1024 维特征，二者作为全局条件。模型因此既知道物体属于什么类别，也能使用几何特征解释“手间距与物体尺寸是否相符”。这不是从传感器信号中自行重建物体形状。

人体采用 SMPL-X，但仅预测身体部分的 21×6 维姿态表示，并假设形状参数已知；手指、眼睛和下颌不作为本文的姿态预测目标。人体根变换通过把模型头部关节对齐到追踪头部获得。条件还包括规范化头部和双手朝向、头部离地高度，以及相邻帧的头部和双手相对变换。

原文式 (5) 的头部增量说明了为什么条件不只包含一个绝对位置：

\[ \Delta T_{\mathrm{head}}^{t-1,t} =\left(T_{\mathrm{world,head}}^{t-1}\right)^{-1} T_{\mathrm{world,head}}^t. \]

这一变换保留头部从上一帧到当前帧的运动，双手也采用对应的相邻帧关系。配合朝向和离地高度，它为全身姿态与物体轨迹提供运动线索，而不要求模型记住一个特定世界原点。

2. 三变量条件扩散：用可观测部分约束不可观测部分

三个变量分别是人体动作 \(H\)、物体轨迹 \(O\) 和接触序列 \(I\)。接触并非最后才从预测网格计算的附属输出：人体表面采样点到物体的最短距离经过 sigmoid 映射到 [0, 1]，距离阈值和衰减参数控制接触邻域；下肢关节还根据运动速度和离地距离构造人体-地面接触。连续接触值能和其他变量一样参与扩散，也让网络学习“某处正在接触”与人体、物体位置之间的关联。

去噪器以 DiT 为基础，使用旋转位置编码，接收三路不同噪声状态、各自的去噪步数及追踪和物体条件，直接预测干净样本而不是噪声。三路噪声等级可以分别指定：已知人体姿态可置为零噪声，物体与接触继续去噪；已知少量物体帧时，也可以把这些观测作为约束。独立日程的价值首先是条件组合的自由度，而不只是增加网络分支。

这里必须区分建模能力与实际训练策略。原文第 3.2 节明确说，训练从 \(2^3=8\) 种“模态加噪或作为干净条件”的组合中采样，但所有被加噪的模态使用同步噪声等级以稳定训练。因此，不能把实现描述为每个训练样本的三路噪声等级都独立随机采样。

AMASS 只有人体动作时，物体条件会替换成可学习 token，指示模型忽略物体交互，让这类样本仍能贡献人体动作先验；BEHAVE 和 OMOMO 则提供联合交互监督。原文主文没有展开缺失模态损失掩码的全部实现，不能据此臆造 AMASS 的物体监督。训练还随机丢弃手部和物体条件，使模型见过间断观测，而非只在测试时第一次遭遇缺失信号。

3. 带接触引导的平滑修补：让前后窗口协商重叠区域

固定窗口独立预测会在边界产生跳变。普通 inpainting 虽然把上一窗口的预测作为条件，却直接丢弃当前窗口对重叠段的新估计，相当于让旧结果始终拥有最终决定权。ECHO 在每个扩散步骤中，用旧预测和当前预测的加权平均替换重叠段，让过渡区域逐渐从历史结果转向新结果，而不是在一个边界突然切换。

这一步发生在去噪过程中，而不是等全部序列生成完后再做一次平滑。重叠长度还能调节历史上下文和计算延迟：重叠越大，每次推进的新增帧越少。主文没有给出混合权重的精确函数，因此这里不补写线性权重或特定窗函数。

推理还可使用接触一致性引导：根据预测的接触向量，约束人体与物体网格的几何关系，并加入脚部与地面的接触项，在每个去噪步骤修正预测。它使用模型自身的接触估计，不需要推理时的真实接触标签；但这仍是几何一致性引导，而不是对质量、摩擦和力学稳定性的完整仿真保证。

一个完整示例¶

以双手搬动物体为示意输入：头部轨迹给出身体整体运动线索，双腕轨迹约束双臂和抓持位置，已知物体网格提供尺寸与形状。模型联合去噪人体、物体和接触，避免先确定人体、再把物体勉强安置到手附近的单向流程。

在实验设置的 30 fps 下，一个窗口包含 60 帧，相邻窗口重叠 30 帧，因此每次推进 30 个新帧。进入下一窗口时，重叠部分使用历史预测和当前估计逐步混合；若若干物体帧另有可靠追踪，它们可以作为干净条件减少物体运动的不确定性。这个示例用于说明信息流，不是论文报告的一条单独测试样本。

损失函数 / 训练策略¶

主文列出六类加权损失：人体、物体和接触三个被加噪模态的重建项，以及物体轨迹平滑、人体关节误差、脚部滑动惩罚。具体权重与完整公式指向补充材料；当前缓存只有主文和参考文献，且部分公式抽取损坏，因此不补造这些超参数或接触式的精确写法。

模型有 57.7M 参数，使用 AdamW、学习率 5e-4、batch size 256，在单张 RTX 5090 上训练 300k 步，约 30 小时。推理使用 100 个 DDPM 步；60 帧窗口、30 帧重叠时，不带引导耗时 640 ms，带引导为 980 ms，对应约 46 FPS 与 30 FPS 的新增帧吞吐量。窗口延迟不能等同于逐帧即时响应。

实验关键数据¶

主实验¶

训练数据为 BEHAVE、OMOMO、AMASS 的并集。前两者遵循官方划分，AMASS 使用 EgoAllo 划分；BEHAVE 的 SMPL+H 标注转换到 SMPL-X，全部序列统一为 30 fps。训练采样 60 帧窗口，测试在完整序列上连续推理。

表中基线是作者扩展后的版本：BoDiffusion+O 加入物体预测，EgoAllo+H+O 加入双手条件与物体预测；它们和 ECHO 使用同一训练数据并集及头中心物体坐标。以下摘自原文表 1，MPJPE 为人体平均关节位置误差，\(E_{v2v}\) 为物体顶点到顶点误差，\(E_c\) 为物体中心误差，三者单位均为 cm、越低越好。

数据集	方法	MPJPE	\(E_{v2v}\)	\(E_c\)
BEHAVE	BoDiffusion+O	8.3±0.2	44.2±1.2	29.9±1.2
BEHAVE	EgoAllo+H+O	7.6±0.1	39.1±1.1	22.5±0.7
BEHAVE	ECHO	6.8±0.1	33.5±0.5	20.1±0.3
OMOMO	BoDiffusion+O	7.6±0.4	33.2±1.9	22.2±1.7
OMOMO	EgoAllo+H+O	6.6±0.1	30.8±0.9	18.3±0.5
OMOMO	ECHO	6.0±0.1	26.5±1.1	15.2±0.3

数值保留原文的 ± 写法，作者正文称统计来自三次运行的 mean and variance，未在本笔记中擅自改称标准差或置信区间。相对 EgoAllo+H+O，ECHO 的 BEHAVE 物体顶点误差减少 5.6 cm，OMOMO 减少 4.3 cm；不过原表中的脚部接触分数并非所有数据集都最好，不能概括为全部指标领先。

消融实验¶

以下为原文表 5 的 BEHAVE 消融，三项误差单位同为 cm，其余训练设置保持一致。

配置	MPJPE	\(E_{v2v}\)	\(E_c\)
ECHO	6.8±0.1	33.5±0.5	20.1±0.3
NoGuide	6.8±0.1	33.6±0.5	20.3±0.4
Inpaint w/o smooth	6.9±0.1	33.7±0.5	20.4±0.3
仅 \((H,O)\)，无接触模态	8.1±0.1	34.4±0.3	20.7±0.1
NoAMASS	8.7±0.1	34.7±0.2	21.8±0.2

关键发现¶

接触模态与数据规模比推理修正更影响表 5 的平均位置误差：去掉接触使人体 MPJPE 从 6.8 增至 8.1，去掉 AMASS 增至 8.7；引导和平滑修补的差值较小，不能把小差值夸大为巨大增益。
表 2 的 AMASS 测试进一步验证人体先验：完整模型 MPJPE 为 7.4±0.1 cm，NoAMASS 为 43.1±0.1 cm。这同时涉及训练数据覆盖差异，不应只解释为网络结构的优势。
表 3 仅随机丢弃手部追踪，头部保持完整：缺失 50% 时 BEHAVE MPJPE 为 7.0±0.2 cm，缺失 90% 时为 9.3±0.5 cm。随机缺帧实验不等于验证所有传感器噪声和长时间遮挡。
表 4 在保留三点条件的基础上额外提供 50% 物体帧，\(E_{v2v}\) 从 33.46±0.50 降到 10.75±0.64 cm，而人体 MPJPE 仅从 6.82±0.08 变为 6.79±0.09 cm；主要收益仍集中于被观测的模态。

亮点与洞察¶

接触既是生成变量，也是推理时的几何约束。与只在输出末端检测碰撞相比，这让交互关系参与整个预测过程，并支持把稀疏接触作为附加条件。
同一个网络容纳人体单模态数据和完整交互数据。它利用 AMASS 补足动作先验，同时保留交互样本对物体与接触关系的监督，这比单纯扩大一个小型 HOI 数据集更有实际可行性。
平滑修补把窗口衔接放进扩散步骤内部。可借鉴的不是“再做一次低通滤波”，而是允许新上下文修正历史窗口重叠区的预测。

局限与展望¶

作者明确指出，环境接触主要限于地面，复杂动态周边场景缺少充分约束；任意长度推理不等于长期物理一致性已有保证。
缺乏细粒度手指追踪，使笔、剪刀等小物体的灵巧交互难以恢复。加入第一人称 RGB 或其他手部信号是作者提出的方向，但本方法当前并未使用这些视觉条件。
已知物体规范网格、类别和人体形状是实际输入假设。稀疏信号下仍有较大的物体位置与朝向歧义，不能将结果理解为免模板、任意物体的精确运动捕捉。
真实泛化展示包括图 6 的 Aria Digital Twin 序列，但主文没有提供大规模真实可穿戴部署的定量评测。RTX 5090 上的窗口耗时也不能直接推断手机或头显端性能。

评分¶

新颖性: 4/5。把三变量交互扩散、混合数据和连续推理整合到稀疏第一人称任务，核心分布建模思想承接 TriDi。
实验充分度: 4/5。具有跨数据集对比、缺失条件、稀疏附加观测与组件消融，但真实部署评测仍有限。
写作质量: 4/5。表示、训练和推理关系清楚；须仔细区分独立日程的形式与同步加噪的训练策略。
价值: 4/5。为可穿戴设备的全身交互重建提供可复用方案，应用仍受物体模板、手指细节和计算延迟约束。