HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human–Scene Interactions¶

会议: ECCV2026
论文: ECCV 原文
项目: HSImul3R
领域: 3D视觉
关键词: 人体场景交互、物理仿真、三维重建、运动跟踪、生成式几何先验

一句话总结¶

HSImul3R把仿真器作为重建监督器，用场景定向强化学习修正人体运动、用直接仿真奖励优化修正物体几何，在HSIBench上将简单交互的稳定率从HSfM的10.52%提高到53.68%，但困难交互仍只有13.92%。

研究背景与动机¶

视觉重建正确不等于物理交互可执行：人坐在椅子上的图像可以被很好地重投影，但椅腿可能缺失，人体也可能穿入座面。将这样的结果直接交给物理引擎，碰撞响应就可能把椅子推开，最终人和椅子各自站稳，却不再保留原本的坐姿交互。仅检查最终静止状态会把这种失败误认为成功。

DUSt3R擅长恢复环境几何，4DHumans等方法擅长估计人体，而HSfM进一步在图像空间联合对齐两者；然而，遮挡下的二维约束不足以确定真实接触和支撑关系。即便用图像到三维生成器补出封闭网格，局部凸起、细腿缺失等结构错误仍会破坏承重，单独优化人体动作也无法修复这些物体缺陷。

核心 idea：让仿真反馈分别监督人体控制和物体生成，前向学习在当前场景中保持接触，反向学习能够承载真实交互的几何，而不是把物理仿真仅用作重建结束后的展示工具。

方法详解¶

整体框架¶

标准输入是4个未标定稀疏视角，输出是经过仿真验证的人体运动与场景几何。系统先完成带显式三维结构先验的重建对齐，再沿两个方向优化：固定场景修正运动，随后利用仿真成败微调物体生成器。

这里的“双向”不是宣称对整个仿真器端到端反向传播：前向使用强化学习，反向使用离散的仿真稳定标签训练生成模型。原文给出了这两个方向，但没有提供一个可据以复现任意多轮交替收敛的调度表。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
Input["4视角图像"] --> Align["结构先验与三维对齐"]
Align --> Motion["场景定向运动优化"]
Motion --> Geometry["仿真奖励几何优化"]
Geometry -->|更新物体生成器| Align
Motion --> Output["仿真验证的交互<br/>及下游机器人部署"]

关键设计¶

1. 结构先验与三维对齐：先让人体和物体处于可接触的同一空间

系统用DUSt3R估计场景点图和相机，用SAM2关联跨帧人体及身份，再由4DHumans得到SMPL人体运动、ViTPose提取二维关键点。人体中心的束调整及人体场景联合对齐最小化二维关键点重投影误差，将分别恢复的坐标空间统一起来。这些初始化步骤建立在HSfM之上，而不是重新训练一个统一视觉骨干。

但点图可能不封闭、支撑部件可能断裂，二维对齐也无法充分约束被遮挡的接触。作者对每个物体选择最清晰的输入视角，用SAM分割后送入预训练MIDI，生成结构更完整的显式三维物体。生成先验因此承担几何补全功能，不只是改善纹理或渲染效果。

随后联合调整人体和物体位置：尚未接触时，利用人体最近部位与物体顶点之间的距离建立靠近约束；已经接触时，利用有符号距离函数的负值惩罚人体顶点穿入物体。原文式(3)的缓存排版存在索引错位，此处不重构其精确求和形式；式(4)的含义则清楚，是对穿透深度的非负惩罚。这样的三维约束防止视觉上很小的重叠在仿真中变成强烈碰撞。

2. 场景定向运动优化：跟踪人体之外，还要跟踪接触关系

将初始化结果送入仿真器后，传统PHC式运动跟踪仍可能让角色完成近似动作，却把交互物体踢走。本文在人体运动保真监督之外增加场景距离约束，使接触关键点持续靠近对应物体的局部表面。区别在于目标不再只是“关节像原动作”，还包括“动作发生在正确的支撑表面上”。

原文式(5)为接触关键点与局部采样表面点之间的平均平方欧氏距离：

\[ \ell_{\mathrm{scene}}= \frac{1}{N_{\mathrm{contact}}N_{\mathrm{surf}}} \sum_{j=1}^{N_{\mathrm{contact}}}\sum_{i=1}^{N_{\mathrm{surf}}} \|\mu_i^o-k_j^h\|_2^2. \]

其中，\(k_j^h\)是人体接触关键点，\(\mu_i^o\)是相应局部接触区域的物体表面采样点，两个计数分别表示接触数量与局部表面采样数量。正文口头称欧氏距离，但公式明确写平方范数，笔记保留公式定义。物体中心点并不等于座面或桌面接触点，因此作者还与CLoSD式中心点距离替代方案比较。

这一步保持场景几何固定，以运动控制适应接触与碰撞。它能够修正动作，却无法让一张缺腿的椅子重新获得支撑结构，因而还需要反向几何优化。

3. 仿真奖励几何优化：用交互成败微调物体生成器

DSRO即Direct Simulation Reward Optimization，借鉴DSO，用仿真器生成二元训练标签。其正例必须同时满足：物体单独在重力下稳定、人体场景系统最终稳定、最终仍有实际人体物体接触；缺少任何条件都属于负例。图3进一步区分重力不稳、交互不稳、虽稳定但没有有效交互、有效稳定交互四类，只有最后一类获得正标签。

这种标签特别针对“角色和物体各自站在地上”的伪成功。生成器因此不能只学会造一个能直立的物体，还必须保留适合人体靠、坐或支撑的局部几何。缺失细腿和遮挡诱发的表面凸起都是作者明确指出的修正对象。

原文式(6)把二元标签写入带符号的去噪目标：

\[ \ell_{\mathrm{DSRO}}=-T\,\mathbb{E}_{I\sim\mathcal{I},\,x_0\sim\mathcal{X}_I,\,t\sim\mathcal{U}(0,T),\,x_t\sim q(x_t\mid x_0)} \left[w(t)(1-2l(x_0))\|\epsilon-\epsilon_\theta(x_t,t)\|_2^2\right]. \]

这里，\(x_0\)为图像条件下生成的三维样本，\(x_t\)为加噪样本，\(w(t)\)为时间权重，\(l(x_0)\)稳定时取1，否则取0。对正例，外部负号与标签项相消，最小化目标会减小去噪误差；对负例则反向抑制对应生成结果。这是在生成模型上利用不可微仿真反馈，不是对接触动力学求导。

一个完整示例¶

以“人坐在椅子上”为流程说明，而非新增实验：4视角初始化先得到人体姿态、椅子位置和相机。MIDI补出椅子网格后，三维对齐减少人体穿入座面的程度，PHC式跟踪再通过局部表面距离维持坐姿接触。

若椅腿结构不稳，椅子受重力或人体作用后倒下，该样本成为DSRO负例；若椅子被推开、人独自站稳，也仍是负例。只有稳定且保留坐姿接触的结果成为正例，反馈给物体生成器，而不是简单保留视觉重投影最好的候选。

损失函数 / 训练策略¶

DSRO以预训练MIDI为起点，使用AdamW和LoRA：rank为64，batch size为1，学习率为\(10^{-5}\)，训练3000步，硬件为4张NVIDIA A100。原文没有在这些设置中给出每步耗时或完整强化学习奖励权重，不应自行补齐。

HSIBench含300个交互案例，每例16视角；作者对每例的每个视角以15个不同随机种子运行重建与仿真来收集监督。几何和人体运动评测分别使用多视角2DGS与SMPL估计得到的伪真值，因此不是精密扫描加动作捕捉意义上的真实标签。

单目视频扩展改用MegaSAM恢复场景、TRAM估计人体，SAM2提供人体和目标物体二维框辅助交互识别与动态对齐。该扩展假设场景静止、只有人体运动；不能理解为已支持任意动态物体场景。

实验关键数据¶

主实验¶

HSIBench由3名志愿者采集；引言报告19个物体、超过50段运动序列，数据集段具体列举8把椅子、3张桌子和3个沙发，没有逐项解释剩余类别。交互按复杂度分为Easy、Medium、Hard，当前正文未给出明确划分阈值及训练测试拆分细节。

Stability-HSI是同时通过重力稳定、最终场景稳定和有效接触检查的比例。SP-3D是重建人体场景的穿透比例；W-MPJPE评估世界坐标关节误差，PA-MPJPE评估对齐后的姿态误差。表1没有明确给出这两个误差的单位，此处不擅自写为厘米或毫米。

方法（原文表1）	Easy稳定率↑	Medium稳定率↑	Hard稳定率↑	SP-3D↓	W-MPJPE↓	PA-MPJPE↓
HSfM	10.52%	4.50%	2.66%	69.51%	5.02	2.79
V1：HSfM加MIDI封闭几何	13.96%	8.81%	4.17%	77.12%	6.18	3.20
HSImul3R	53.68%	30.56%	13.92%	22.90%	4.09	2.17

相对HSfM，Easy稳定率提高43.16个百分点，穿透比例减少46.61个百分点。V1反而增加穿透和运动误差，说明换成封闭网格并不自动获得正确的空间对齐和物理接触。

消融实验¶

配置（原文表1）	Easy稳定率↑	Medium稳定率↑	Hard稳定率↑	W-MPJPE↓	PA-MPJPE↓
V2：去掉双向优化	39.56%	22.71%	7.05%	4.91	2.71
V3：以物体中心距离替代式(5)	42.57%	23.84%	10.18%	4.60	2.42
V4：去掉反向DSRO	29.56%	16.62%	5.17%	4.57	2.39
完整模型	53.68%	30.56%	13.92%	4.09	2.17

完整模型相对V4的Easy稳定率提高24.12个百分点，相对V3提高11.11个百分点。不过V2的稳定率高于V4，不能据此写成“每加一个模块都单调提升”；正文没有充分解释该非单调性，也未提供误差条。

生成器（原文表2）	重力稳定率↑	Hard交互稳定率↑	Chamfer Distance↓	F-Score↑
MIDI	79.19%	5.17%	0.198	81.95
DSO*：同样从MIDI微调	87.23%	7.88%	0.191	86.26
DSRO / 本文	91.50%	13.92%	0.173	88.25

DSO*使用MIDI而非其原始TRELLIS骨干以控制起点差异。DSRO不仅提高重力稳定率，还改善交互稳定率与几何指标；但91.50%的重力稳定率不能替代13.92%的Hard交互成功率。

关键发现¶

表3中4视角与16视角的Easy稳定率分别为53.68%和55.16%，Hard分别为13.92%和13.59%，更多视角并不一致提高交互成功率。
同一比较的PA-MPJPE由2.17降为1.99，SP-3D由22.90%降为21.81%。表3标题说更多视角增加穿透，与这些表值不一致，应以数值为准。
图7展示用GMR重定向至Unitree G1、在IsaacGym训练全身控制策略并通过Unitree SDK部署；这是定性实机演示，不是具有成功率和重复次数的机器人评测表。

亮点与洞察¶

把“有效接触”纳入成功定义，避免模型利用人体与物体分离来满足稳定条件。这个评测设计比单纯降低碰撞或检查物体直立更贴合交互重建目的。
物理反馈同时改变运动和几何，指出失败不一定来自控制器。对于因支撑结构缺失导致的失败，改动作无法替代修物体。
局部表面距离比物体中心距离更贴近真实支撑位置。可迁移的原则是用交互区域约束动作，而不是用整体物体位置代替功能接触点。

局限与展望¶

作者承认复杂交互，尤其超过3个物体时成功率仍偏低。Hard仅13.92%，因此“simulation-ready”应理解为提升了可执行重建能力，而非稳定解决所有输入。
常见失败仍是人体和物体各自独立站稳，未保持有意义的交互。未来需要更细粒度的接触状态、支撑关系或持续交互约束。
MIDI训练分布与仅3名志愿者的HSIBench都会引入偏差，跨对象类别和人体分布的泛化尚不充分。
正文未明确报告训练测试拆分、稳定阈值、运动误差单位、强化学习完整超参数和统计方差，影响复现与结论强度；伪真值也可能引入评测偏差。
单目扩展依赖静态场景假设，实机结果主要为展示。动态可移动物体及系统化机器人重复试验仍需单独验证。

评分¶

新颖性: 4/5。将接触感知控制与交互标签驱动的几何微调结合，构成明确的双向物理监督框架。
实验充分度: 3/5。有主对比、模块消融、生成质量及视角分析，但数据拆分和统计细节不足。
写作质量: 3/5。整体流程清楚，部分公式排版、表注和消融解释存在歧义。
价值: 4/5。为视觉重建向具身仿真转化提供具体路线，但困难交互可靠性仍是主要障碍。