Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos¶

会议: NeurIPS 2026
arXiv: 2605.14462
OpenReview: https://openreview.net/forum?id=IEWj0cJL3s
论文: https://arxiv.org/abs/2605.14462
代码: https://knoxzhao.github.io/real2sim_in_HOI/
领域: 其他
关键词: 4D人-物交互重建, 单目视频, 物理仿真, 接触优化, Real2Sim

一句话总结¶

提出 HA-HOI 框架，以“以人为锚、物体随动”为原则并结合 VLM 接触先验与物理仿真投影，从单目 RGB 视频中恢复兼具几何保真与物理合理性的 4D 人-物交互动画。

研究背景与动机¶

从单目自然视频中恢复高质量的 4D 人-物交互（HOI）动画，是可扩展 3D 内容创作、具身智能及仿真驱动强化学习的关键基础。尽管近年来单目 3D 基础模型发展迅猛，并在人体姿态估计、单图物体三维生成及单目深度估计上取得了瞩目进展，但在动态交互场景中，现有方法仍面临严重的几何模糊与时空不一致问题。VisTracker、CARI4D 和 THO 等前沿工作虽能在相机或世界坐标系中恢复人体与物体的 4D 运动轨迹，但这些轨迹本质上只是表面视觉对齐的“空间共存轨迹”，往往缺乏真实而稳定的接触关系与功能性操纵几何。

这种缺陷的核心根源在于现有管线普遍存在“交互鸿沟”（interaction gap）：人-物交互绝非孤立人体运动轨迹与物体空间位姿的简单叠加，而是由两者之间随时间演化的功能性接触与物理支撑关系所定义的动态整体。以往方法将人和物体视作单目空间中的对称对等实体分别估计，在相机视点下或许视觉合理，但物体常常在手部附近悬空漂浮、深陷穿模或形成虚假附着。当把这类轨迹作为人形机器人学习的示教动作导入物理引擎时，往往在重力与动力学作用下发生剧烈抖动、滑动甚至解体，完全丧失物理可行性与动作复现能力。

针对单目深度尺度模糊以及非受控视频中相机运动剧烈、接触遮挡严重等技术痛点，本文提出反转传统对称追踪建模的思路。在日常绝大多数人-物交互过程中，人始终是具有主动因果意图的操纵主体，而物体的运动受制于人体动作与接触约束。核心 idea：将单目 4D 交互重建重新表述为“以人为锚、物体随动”（human-first, object-follow）的因果过程，利用世界坐标系人体动作锚定物理基准，引入 VLM 接触先验执行渐进式人手-物体几何精修，并最终通过物理仿真投影将其投射为支持动力学稳定前向 Rollout 的示教轨迹。

方法详解¶

整体框架¶

HA-HOI 的核心目标是从单目输入视频序列 $\mathcal{V}=\{I_t\}_{t=1}^T$ 中恢复包含人体状态 $H_t=(\boldsymbol{\beta},\boldsymbol{\theta}_t,\boldsymbol{\psi}_t,\mathbf{R}^h_t,\mathbf{t}^h_t)$ 与物体 6-DoF 刚体轨迹 $O_t=(\mathbf{R}^o_t,\mathbf{t}^o_t)\in SE(3)$ 的全时序人-物交互序列。整个框架摆脱了在单目 3D 空间独立预测人与物体的松散架构，围绕物理合理交互划分为四个紧密耦合的阶段：以人为中心的交互基准锚定、物体随动重建与跟踪、基于多模态大模型的语义接触几何优化，以及基于物理仿真的动力学交互投影。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目RGB输入视频序列"] --> B["阶段1：以人为中心的交互基准锚定<br/>SMPL-X人体恢复 + 单目深度尺度对齐"]
    B --> C["阶段2：物体随动几何与位姿重建<br/>单图生成网格 + 尺度估计 + 状态门控追踪"]
    C --> D["阶段3：语义接触引导的渐进式优化<br/>InteractVLM接触面预测 + 四阶段几何精修"]
    D --> E["阶段4：基于物理仿真的交互投影<br/>IsaacGym刚体系统 + PPO残差控制器Rollout"]
    E --> F["仿真就绪的4D人-物交互动力学轨迹"]

关键设计¶

1. 以人为中心的交互基准锚定：确立统一的世界重力坐标系与度量尺度 单目视频中物体的绝对尺度和深度高度模糊，若直接联合优化物体与场景，极易被相机晃动和局部遮挡带偏。本文利用人体在真实世界中的相对先验尺寸作为交互锚点。系统首先利用前沿人体恢复模型重建世界坐标系下的 SMPL-X 全身网格，并融合 HaMeR 预测的高保真 MANO 手部细粒度关节姿态，构建初始人体动力学序列 $\{H_t^0\}_{t=1}^T$。随后，提取 MoGe-2 预测的单目稠密深度图 $D_t$，通过将人体掩码区域的反投影 3D 点云与已配准的 SMPL-X 表面网格进行刚体尺度拟合，求得每帧准确的度量对齐尺度。这一设计使得整段交互序列拥有了物理世界对齐的统一坐标原点和重力朝向，将原本高度病态的单目几何估计转化为以人为基准的局部相对度量约束。

2. 物体随动几何重建与健康门控追踪：在无模板条件下构建鲁棒物体轨迹 在缺乏预设 CAD 模型的情况下，系统利用 SAM 3 分割与修复被遮挡的物体视角，调用 Hunyuan3D 2.0 从代表性清晰帧中生成初始标准物体网格 $\mathcal{M}_o^c$。为彻底解决单图 3D 重建产生的度量尺度未知难题，本文提出基于轮廓重合度与深度一致性的自洽尺度估计器： $$s_o^{\star}=\arg\max_{s}\operatorname{median}_{t\in\mathcal{T}_{\rm ref}}\left[\operatorname{IoU}(\hat{S}_t(s),S_t)\exp\left(-\frac{\Delta z_t(s)^2}{2\sigma_d^2}\right)\right]$$ 其中 $\hat{S}_t(s)$ 为渲染剪影，$S_t$ 为观测掩码，$\Delta z_t(s)$ 为物体渲染深度与人体校准后真实深度的残差，$\sigma_d=0.05\text{m}$。在获得度量物体网格 $\mathcal{M}_o=s_o^{\star}\mathcal{M}_o^c$ 后，框架使用 FoundationPose 进行连续帧 6-DoF 刚体追踪，并引入健康状态监控机制：实时计算深度一致性与掩码 IoU 联合得分 $h_t$。当 $h_t$ 处于正常、退化或失效三级区间时，自适应调节迭代步数或触发重注册，保证了遮挡剧烈时物体轨迹不会漂移发散。

3. 语义接触引导的四阶段渐进式优化：消除空间悬浮与穿模 为使空间共存的粗糙轨迹转化成具有真实接触关系的交互过程，本文借助 InteractVLM 预测人-物关键帧上的双向接触语义掩码，并将其映射为人手与物体网格表面的对应顶点子集 $\mathcal{C}_h \subset \mathcal{M}_h$ 与 $\mathcal{C}_o \subset \mathcal{M}_o$。在此基础上，系统通过四阶段渐进优化解算变量集 $\mathcal{X}=\{\boldsymbol{\theta}^{\mathrm{sel}}_t,\boldsymbol{\psi}_t,\mathbf{R}^o_t,\mathbf{t}^o_t\}$。优化依次经过：固定人体位姿的物体深度预对齐、物体 6-DoF 刚体位姿微调、人手/关键关节与物体的双向协同松弛联合优化，以及基于 HaMeR 先验的手指贴合精修。优化目标中核心的接触损失 $\mathcal{L}_c$ 在前期采用双向 Chamfer 距离，后期无缝切换为物体符号距离场（SDF）接触约束： $$\mathcal{L}_c=\sum_{s\in\{l,r\}}\frac{1}{|\mathcal{C}^s_h|}\sum_{i\in\mathcal{C}^s_h}\Phi_o\left((\mathbf{R}^o_t)^{\top}(\mathbf{x}^h_{t,i}-\mathbf{t}^o_t)\right)^2$$ 该式将手部接触点 $\mathbf{x}^h_{t,i}$ 精确拉扯到物体表面零等值面上，配合带惩罚阈值的穿透损失 $\mathcal{L}_{\mathrm{pen}}$ 与加速度平滑项 $\mathcal{L}_{\mathrm{temporal}}$，在彻底消除虚假悬浮与重叠穿刺的同时，确保了抓握动作符合解剖学机理。

4. 基于强化学习的物理仿真投影：从几何轨迹到动力学可行示教 即便通过纯几何优化的运动能够满足静态接触距离，它依然可能违背真实世界的刚体动力学规律（例如手部未形成闭环支撑却阻止了物体下坠）。HA-HOI 将几何优化轨迹 $\tau^{\star}=\{H_t^{\star},O_t^{\star}\}$ 作为示教参考，置入 IsaacGym 仿真环境。利用 V-HACD 对物体进行凸分解并将人体建模为具备关节驱动限位的定制 MuJoCo 动力学模型。系统训练一个基于 PPO 的残差动作控制器，其在参考姿态的基础上输出残差关节修正 $\mathbf{q}^{\mathrm{tar}}_t = \bar{\mathbf{q}}_t + \alpha \mathbf{a}_t$，以跟踪奖励驱动人形机器人在重力、接触摩擦与外力碰撞下执行真实物理 Rollout。仿真策略自动修整了由于单目估计误差带来的细微滑移和不合理冲量，最终输出符合动力学约束的接触稳健轨迹 $\tau^{\mathrm{phys}}$。

损失函数 / 训练策略¶

在几何接触优化阶段，总优化损失为： $$\mathcal{L}_{\mathrm{total}} = \lambda_c \mathcal{L}_c + \lambda_p \mathcal{L}_p + \lambda_s \mathcal{L}_s + \lambda_a \mathcal{L}_a + \lambda_r \mathcal{L}_r$$ 其中 $\mathcal{L}_p$ 针对深度穿模顶点按截断二次方惩罚，$\mathcal{L}_s$ 约束相邻两阶导数平滑性，$\mathcal{L}_a$ 锚定初始粗糙解以防止退化，$\mathcal{L}_r$ 保障人体骨骼角度在合理生理区间内。在物理仿真阶段，PPO 控制器采用 5 层 MLP（2048-2048-1024-1024-512）构建 Actor-Critic 架构，输入 169 维状态变量，输出 63 维驱动残差。跟踪奖励函数整合姿态匹配 $r_{\mathrm{pose}}$、速度平滑 $r_{\mathrm{vel}}$、接触状态布尔指示 $r_{\mathrm{contact}}$ 以及物体位姿跟踪 $r_{\mathrm{obj}}$，通过 512 个并行环境高效训练并完成单次动力学投射。

实验关键数据¶

主实验¶

在代表性全尺寸人-物交互基准 BEHAVE 测试集（82 条复杂序列，包含桌椅、箱包、运动器械等多样交互）上进行端到端评测。所有方法均从单目 RGB 视频输入出发，评估指标包括人体 Chamfer 距离（CD-h）、物体 Chamfer 距离（CD-o）、人-物综合 Chamfer 距离（CD-c）、加速度误差（Acc-h/Acc-o）以及人-物穿透深度（Pen.）。

方法	动态相机	无需模板	CD-h (cm) ↓	CD-o (cm) ↓	CD-c (cm) ↓	Acc-h (cm/s²) ↓	Acc-o (cm/s²) ↓	Pen. (cm) ↓
CHORE	✗	✗	25.82	28.94	26.52	2.75	4.59	–
InterTrack	✗	✓	25.71	47.66	30.20	5.23	5.64	–
HOI-TG	✗	✗	21.19	24.70	22.67	2.44	3.76	–
VisTracker	✗	✗	11.24	12.58	11.63	0.54	0.77	0.079
CARI4D*	✗	✓	7.51	11.93	9.06	1.07	0.41	0.084
THO	✗	✗	8.49	13.36	10.06	0.79	1.02	–
HA-HOI (本文)	✓	✓	7.11	15.68	10.74	0.52	0.59	0.013

注：CARI4D 仅在 62 个精选测试子序列上评测；HA-HOI 在完整 BEHAVE 测试集上无需测试时提供真实物体模板、无需相机参数真值。

消融实验¶

为验证各个核心设计在系统中的实际功效，作者在 BEHAVE 上对物体网格来源、相机参数及接触优化模块进行剥离验证：

配置	CD-h (cm) ↓	CD-o (cm) ↓	CD-c (cm) ↓	Acc-h (cm/s²) ↓	Acc-o (cm/s²) ↓	Pen. (cm) ↓	说明
完整模型 (Ours)	7.11	15.68	10.74	0.52	0.59	0.013	全自动流程（无模板、估计相机）
w/ GT mesh	7.13	13.96	10.12	0.52	0.58	0.007	提供真实物体 CAD 模板
w/ GT cam.	7.08	15.19	10.45	0.52	0.57	0.014	提供真实多视角标定相机参数
w/o contact opt.	7.10	15.49	10.74	0.51	0.49	0.097	去除接触优化，穿透误差暴增 6.4 倍

关键发现¶

交互合理性与物理穿透指标取得突破：相较于之前最佳基线 CARI4D（0.084 cm），HA-HOI 将人-物穿透深度显著压降至 0.013 cm，穿透减少逾 84%，彻底消除了空间上反物理的人-物嵌合现象。
接触优化的“物理权衡”现象：如消融实验所示，去掉接触优化后，纯几何表面的 CD-o 指标甚至微幅改善（从 15.68 cm 变为 15.49 cm），但穿模误差从 0.013 cm 陡增至 0.097 cm。这表明单纯依靠表面距离对齐会导致“视觉拟合良好但物理完全穿模”的欺骗性结果，显式接触引导是保障物理真实性的关键。
模板与相机的鲁棒性：引入真实物体网格虽能将 CD-o 从 15.68 cm 改善至 13.96 cm，但人体运动恢复与稳定性指标几无差异；采用估计相机与真实相机的表现几乎一致，证明“以人为基准”的自标定策略高度鲁棒，摆脱了对外部几何输入的刚性依赖。

亮点与洞察¶

概念范式跃迁：打破了将人与物体在单目 3D 中对称联合优化的传统定势，提出“以人为锚、物体随动”的非对称因果范式，极大降低了单目深度尺度模糊对物体轨迹的扰动。
显式接触几何与动力学 Rollout 闭环：首次将大模型语义接触推理与底层物理仿真器结合，让从单目视频中抽取的轨迹不仅“看起来在接触”，而且能够作为物理引擎中可稳定仿真的示教轨迹（Teacher Trajectory）。
全流程无模板自适应能力：通过融合单图三维生成、自适应尺度估计及健康状态门控追踪，实现了对开集物体与移动相机自然视频的端到端重建支持。

局限与展望¶

严重长程遮挡与细小物体局限：若物体在视频中被身体大面积遮挡超过较长窗口，单目单图几何生成与姿态追踪容易出现网格退化或跟踪丢失；细小零部件或高形变柔性物体的交互建模目前尚未被覆盖。
纯视觉与硬件执行的 Sim-to-Real 跨度：当前仿真投影主要在理想物理环境（IsaacGym）中完成；直接向真实实体人形机器人部署时，仍需面对电机响应延迟、关节力矩限制、传感器噪声及现实接触摩擦不确定性的严峻挑战。
未来发展方向：结合接触声学或具身触觉反馈、扩展至双人协作与多物体复杂交互链条，进一步将单目互联网视频规模化转化为物理机器人控制策略库。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性提出单目 HOI 的 Real2Sim 范式，以人为锚、VLM接触先验与动力学投影环环相扣。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 BEHAVE 基准全量测试集、完备消融实验、重复运行误差分析及野外视频仿真验证。
写作质量: ⭐⭐⭐⭐⭐ 论证脉络极清晰，问题定义“交互鸿沟”切中要害，数学推导与系统实现细节严谨。
价值: ⭐⭐⭐⭐⭐ 为具身智能与人形机器人利用互联网海量非结构化单目视频获取高质量操作示教提供了开创性的可扩展路径。