PartCHOI: Part-Aware Guidance for Clothed Human-Object Interaction Generation¶

会议: ECCV 2026
论文: ECCV 2026 Official
领域: 人体理解
关键词: 穿衣人体生成, 人物交互 (HOI), 3D 场景生成, 部件感知引导, 表面变形

一句话总结¶

将单视角穿衣人物交互（CHOI）场景建模为以人为中心、物体视作人体部件的生成任务，提出无须交互微调的 H-GPE 位姿估计与 O-GRM 雅可比接触形变机制，实现物理自洽且无穿模的高保真 3D 交互场景生成。

研究背景与动机¶

单视角 3D 数字人生成近年来在虚拟现实、游戏娱乐和具身智能等场景展现出巨大的应用价值。然而，现实图像往往并非单纯的孤立人体，而是普遍包含手持物品、佩戴衣帽、坐在椅子上等丰富的人物交互行为。这类穿衣人物交互（Clothed Human-Object Interaction, CHOI）任务要求系统同时重建高质量的穿衣人体几何与交互物体，并精确定位它们之间的空间相对位姿与物理接触。

现有工作在解决该任务时主要沿袭两条技术路线，但均面临难以调和的矛盾。第一类是单视角 HOI 重建方法，通常依赖预定义的刚体物体 CAD 模板或简化的参数化人体模型（如 SMPL-X），缺乏对复杂真实衣物褶皱、任意几何体物体以及高保真纹理的建模能力；第二类是组合式 3D 场景生成方法，将不同实体单独生成后再利用布局优化算法进行拼装，这类方法依赖全局粗粒度空间约束，在紧密交互接触区域极易陷入局部极值，不仅优化极其耗时（常需数十分钟），而且无法有效避免肢体与物体之间的相互穿模或悬浮。

本文的切入视角非常独特：打破将人物与物体割裂为完全独立实体的传统假设，把整体交互场景重新形式化为一个以人为中心的连贯结构，直接将交互物体视为人体的附加「部件」。核心 idea：将单视角 CHOI 任务重构为部件感知的双向几何引导流程，利用粗体素空间中人体几何表面过滤并闭式求解物体部件位姿，并借助物体锚点驱动 3D 雅可比变形场消除穿模，无需特定任务微调即可实现兼具真实布局与紧密接触的高质量场景生成。

方法详解¶

整体框架¶

PartCHOI 接收单张输入图像 $I$（或由文本生成的前景图像），目标是输出包含穿衣人体网格 $M_h$ 与多个交互物体网格 $\{O_i\}_{i=1}^N$ 的 3D 复合场景 $S$。整个管线首先利用分离模块（基于 VLM 识别类别与遮挡关系、Grounded-SAM 分割前景、高分辨率修复消除遮挡）解耦出干净的人体图像 $I_h$ 和各个物体图像 $I_{o_i}$。随后，系统经由三条协同分支完成联合生成：物体生成分支利用 TRELLIS 原生 3D 生成器重建独立物体；姿态对齐重建分支（PAR）渐进式对齐人体位姿与场景体素；位姿估计分支（H-GPE）基于人体边界提取体素并闭式求解物体位姿；最后通过物体引导精炼模块（O-GRM）对人体网格进行局部微调，消除穿透并呈现受压形变。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单张输入图像 I<br/>（解耦为人与物体掩码及图像）"] --> B["姿态对齐重建 (PAR)<br/>渐进对齐人体位姿与场景体素结构"]
    A --> C["人体引导位姿估计 (H-GPE)<br/>体素射线投射与闭式 Kabsch 求解"]
    B --> C
    C --> D["初始场景装配<br/>多实体空间布局对齐"]
    D --> E["物体引导精炼模块 (O-GRM)<br/>泊松雅可比变形场消除穿模与紧密接触"]
    E --> F["输出高质量 3D CHOI 场景 S<br/>穿衣人体与交互物体解耦可编辑"]

关键设计¶

1. 姿态对齐重建（PAR）：渐进式弥合多视角纹理与生成式先验结构错位

由于穿衣人体的外观纹理主要由预训练的多视角人体生成模型（如 PSHuman）合成，若直接将单图预测的人体参数 $\Theta_H = \{\theta, \beta, \psi\}$ 强行与 TRELLIS 的粗粒度网格对齐，极易引发结构与几何纹理之间的错位断层。为此，PAR 引入两阶段渐进式多视图反向传播优化机制：在优化初期，利用由粗场景网格渲染出的法线图、轮廓图与 2D 关键点联合约束 SMPL-X 参数，强制人体骨架位姿与整体交互场景的体素空间对其；在优化后期，动态线性增大权值 $\mu \in [0, 1]$，平滑过渡至以 PSHuman 多视角渲染流为主导的细粒度法线与轮廓一致性约束。这一过程不仅消除了初始位姿偏差对后续体素分割的负面影响，同时显著改善了重建人体在复杂交互姿势下的几何真实感。

2. 人体引导位姿估计（H-GPE）：将位姿求解转换为体素空间中的部件定位

传统的场景布局优化通常依赖长时间的得分蒸馏采样（SDS）或粗糙的单目深度对齐，耗时漫长且极易陷入非自然位姿。H-GPE 充分挖掘了场景原生 3D 体素表达 $S_v$ 中隐含的紧密交互几何先验，利用 PAR 优化后的 SMPL-X 表面网格作为几何界面边界。算法从物体二维掩码的前景像素向前发射相机视线光线，穿过场景体素网格，并根据 VLM 预测的遮挡拓扑关系严格划分五类体素归属规则（如人体遮挡物体时取人体外表面之后体素、手部环抱时取肢体内表面之间体素等），精确截取出属于目标物体 $O_i$ 的激活体素子集 $\mathcal{V}_i$。对于独立物体模型重建出的对应体素 $\mathcal{V}'_i$，两者在归一化质心后构建空间协方差矩阵 $H = (\mathcal{V}'_i - \bar{v}')^\top (\mathcal{V}_i - \bar{v})$，通过一次奇异值分解（SVD）闭式获得旋转矩阵 $R$ 与平移向量 $T$： $$R = \mathbf{V} \mathbf{U}^\top, \quad T = \bar{v} - S \cdot R \bar{v}'$$ 该闭式计算规避了任何不稳定的迭代梯度搜寻，整个位姿解算仅需约 7 秒即可完成，具有极高的几何鲁棒性。

3. 物体引导精炼模块（O-GRM）：基于雅可比变形场消除穿透与塑形紧贴

即使全局位姿放置合理，衣服表面与交互物体之间依然可能由于生成网格的局部离散误差出现非物理的交叠穿透（Penetration）。不同于以往通过整体位姿微调或碰撞惩罚导致布局失稳的做法，O-GRM 在人体网格上构造每面 3D 雅可比变形场 $J_t \in \mathbb{R}^{3\times 3}$，通过求解局部保形泊松方程更新顶点位移，既保留了全身未接触区域的固有衣物褶皱，又能在交互界面实现平滑形变。在优化过程中，模块首先识别出物体投影至人体的局部交互面集 $\{t_r\}$，构建基于有符号距离场（SDF）的双向接触穿透惩罚： $$\mathcal{L}_{\text{int}} = \sum_{t \in \{t_r\}} \left( \max(0, -s_o(c_t)) + \max(0, -s_h(c_t)) \right)$$ 其中 $s_o(c_t)$ 和 $s_h(c_t)$ 分别表示三角形面心 $c_t$ 到物体表面及人体基础网格表面的符号距离。该损失迫使衣物表面自然夹紧在真实肌肉表面与物体外壳之间，配合雅可比梯度正则项 $\|J\|_1$ 与拉普拉斯平滑项，不仅彻底消除衣料侵入物体的穿模现象，更逼真还原了衣物受重物压迫时服帖形变的物理质感。

损失函数 / 训练策略¶

整个框架无须任务专有数据集从头训练，采用测试时渐进优化策略。在 PAR 阶段，优化使用 Adam 优化器进行 700 步迭代，总对齐损失为 $\mathcal{L}_{\text{align}} = \mu \mathcal{L}_{\text{align-H}} + (1 - \mu) \mathcal{L}_{\text{align-G}}$，其中每一项综合了法线 $L_1$ 损失 $\mathcal{L}_n$、轮廓交叉熵 $\mathcal{L}_s$ 与关键点距离 $\mathcal{L}_j$。在 O-GRM 阶段，优化在固定物体位置的情况下进行 100 步迭代，总目标函数包含几何正则项与接触惩罚项：$\mathcal{L}_{\text{geo}} = \lambda_1 \mathcal{L}_{\text{int}} + \lambda_2 \|J\|_1 + \lambda_3 \|L V'\|_2^2$。

实验关键数据¶

主实验¶

实验在 DNA-Rendering、THuman-Sit 以及网络收集的原生单视角 HOI 图像上进行评估。在多视角渲染指标（PSNR、SSIM、LPIPS、CLIP）以及用户感知调研（外观逼真度 A、布局合理度 L、交互真实感 I）、GPT-5 综合盲评胜率（G-S）上，PartCHOI 均全面超越现有 SOTA 方法。

方法	类别	用户评测 A(%)↑	用户评测 L(%)↑	用户评测 I(%)↑	GPT-5 评选 G-S(%)↑	PSNR↑	SSIM↑	LPIPS↓
Wonder3D	通用生成	0.000	4.625	2.250	0.00	15.52	0.6833	0.1956
Unique3D	通用生成	0.000	5.250	1.875	0.00	15.93	0.7015	0.1716
Ouroboros3D	通用生成	0.000	1.500	0.750	0.00	16.35	0.6933	0.1699
TRELLIS	通用生成	0.000	33.250	19.375	2.50	17.28	0.7188	0.1513
SiTH	人体生成	1.250	2.250	1.875	0.00	18.09	0.8219	0.1231
IDOL	人体生成	0.250	0.000	0.250	0.00	17.73	0.7968	0.1584
MultiGO	人体生成	6.375	2.250	2.125	1.25	18.38	0.8006	0.1330
PSHuman	人体生成	23.125	4.625	9.625	3.75	19.47	0.8420	0.1104
PartCHOI (Ours)	交互生成	69.000	46.250	61.875	92.50	20.04	0.8532	0.0967

消融实验¶

消融实验定量评估了各个核心模块在多视角生成质量与穿模抑制上的贡献，其中穿透率（Penetration Ratio, PR）通过物体区域采样点中落入人体内侧（SDF < 0）的比例度量。

配置	PSNR↑	SSIM↑	LPIPS↓	CLIP↑	穿透率 PR(%)↓	说明
Baseline	17.25	0.7375	0.1438	0.2601	61.5	人与物体直接置于场景中心
+ H-GPE	19.55	0.8429	0.1001	0.2927	10.4	引入人体引导位姿求解，布局基本合理
w/ PAR w/o O-GRM	20.10	0.8528	0.0956	0.2955	9.1	具备精准姿态对齐但未抑制局部穿透
w/o PAR w/ O-GRM	19.49	0.8520	0.0977	0.2932	6.5	缺乏姿态优化，整体位姿存在微小偏差
Full model	20.04	0.8532	0.0967	0.2962	4.9	完整模型兼顾真实外观与最低穿透

此外，在运行效率对比中，针对场景布局的求解，LayoutDreamer 耗时约 65 分钟，Flash Sculptor 耗时约 6 分钟，而 PartCHOI 的 H-GPE 仅耗时 7 秒，O-GRM 耗时 25 秒，PAR 耗时 1.5 分钟，整套管线总运行时间仅需 约 3 分钟（160–180 秒）。

关键发现¶

H-GPE 是物理布局合理性的基石：单纯将两实体居中基线的穿透率高达 61.5%，加入 H-GPE 后急剧下降至 10.4%，证实通过体素射线过滤与 SVD 闭式解法能近乎瞬时地恢复高精度相对空间变换。
O-GRM 带来决定性的物理接触质量提升：在完整模型中启用 O-GRM，穿透率由 9.1% 进一步削减至 4.9%（相对降幅超 46%）。虽然局部网格受压微变稍微使重投影感知指标出现极其微小的折损（PSNR 从 20.10 微降至 20.04），但有效杜绝了视觉上极其扎眼的硬穿模伪影。
PAR 有效消除多视角幻觉带来的姿态解算偏差：去掉 PAR 模块会导致 PSNR 从 20.04 掉落至 19.49，证明粗体素空间先验能够强力纠正单目前馈姿态估计的骨架漂移。

亮点与洞察¶

将物体抽象为「人体部件」的视角转换：避开了传统组合场景漫长且脆弱的几何空间迭代优化，成功将单物体部件级建模（Part-aware）思路无缝升维至人物交互场景，兼顾了解耦灵活性与整体拓扑一致性。
无须微调与闭式几何解算的结合：通过巧妙联合 3D 原生体素模型的整体先验与 SMPL-X 参数化表面，将 NP-hard 式的布局搜索坍缩为单次 SVD 矩阵分解，极大地压缩了运行时长（由数十分钟降至 3 分钟以内）。
雅可比变形场与 SDF 的紧凑接触约束：在衣物形变中引入基于局部三角面梯度的泊松变形，既守住了衣褶高频细节不塌陷，又保证了接触面在物体外形挤压下的物理自然顺应。

局限与展望¶

极端复杂多重遮挡下的体素误分割风险：H-GPE 依赖 VLM 预测的遮挡拓扑以及射线投射，当人物多肢体同时密集交叉遮挡同一微小物态时，体素提取可能包含残存噪声。
缺乏动态物理受力仿真：当前的接触形变是纯基于几何距离场（SDF）的表面松弛，未显式建模织物材质的杨氏模量、泊松比或重力垂坠弹性。
未来方向：可进一步将部件感知框架迁移至包含手-物-手双人多主体交互的动态 4D 视频生成中，或结合轻量化物理引擎实现带有质感参数的接触交互。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出以人为中心的部件感知双向交互机制，用闭式解替代迭代布局优化。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖多视角数值、穿模率分析、用户双盲盲测与 GPT-5 全局评测，消融周密。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推进清晰，问题剖析精准，图表排版与方法公式严谨规范。
价值: ⭐⭐⭐⭐⭐ 为单视角 3D 数字人带道具交互生成开辟了极具实用性、兼顾可编辑度与高效率的新范式。