3D Scene-Adaptive Trajectory-Controllable Human Image Animation with Camera Movement¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4208
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4941.pdf
项目: https://robinhood256100.github.io/web-disp
领域: 3D视觉 / 人物图像动画
关键词: 地面自适应、SMPL-X、运动重定向、可见性掩码、相机轨迹

一句话总结¶

3STC-HIA 在统一三维场景中沿用户路径修正人体高度与朝向，再以可见场景点云指导预训练视频模型，实现免训练的人物运动与相机联合控制，在 Trajectory100 上将平移误差从 RealisMotion 的 1.305 m 降至 0.478 m，但朝向误差并未同步改善。

研究背景与动机¶

人物图像动画不仅要让参考人物做出指定动作，还要决定人物在场景中的位置，以及相机从哪里观察。早期二维骨架条件能较好地传递逐帧姿态，却无法明确表达前后深度和真实地面；一旦人物沿斜坡移动或相机绕行，骨架、外观和背景便可能彼此冲突。引入 SMPL-X 等三维人体表示之后，动作的空间结构更明确，但人体本身正确不等于它与环境接触正确。

Uni3C 将人体和点云放在统一空间中以控制视角，RealisMotion 则进一步将局部动作和整体移动路径分离。本文关注两者仍未同时处理好的场景：用户只画一条俯视路径，希望人物自动沿坡面改变高度，还希望相机按另一条路径运动。把二维路径直接当成水平面上的三维位移，会让人物悬空或穿地；仅将场景渲染图作为普通条件，又可能被图生视频模型对参考首帧的依赖压制，使应有的透视变化无法出现。

因此，这不是重新训练一个更大的动作模型，而是让几何控制在推理时真正约束已有生成器。核心 idea：先依据局部地面高程重定向人体运动，再只在当前视角确实可见的场景区域注入点云潜变量，并随去噪进程减弱约束，使路径、地形与相机变化共同决定生成视频。

方法详解¶

整体框架¶

输入是一张包含人物和场景的参考图、一段 SMPL-X 动作、用户绘制的二维运动路径，以及由内参与逐帧外参组成的相机控制信号；输出为参考人物沿指定路径运动、相机按指定视角变化的视频。论文将局部姿态称为 action，将包含姿态、整体位移和方向的运动称为 motion，区分这两者才能理解为何同一跑步动作可以复用到不同路线。

系统先重建并对齐三维人体与场景，以地面自适应运动重定向确定每帧人体的位置和方向，再沿相机路径渲染人体与场景条件。之后，视角自适应可见性掩码筛选当前视角下可信的场景区域，衰减式场景潜变量融合在生成过程中逐步注入这些区域的几何信息；视频主干为预训练 RealisDance-DiT。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["参考图 + 动作<br/>人物路径 + 相机路径"] --> Align["人体与场景<br/>三维重建及对齐"]
    Align --> Retarget["地面自适应<br/>运动重定向"]
    Retarget --> Render["沿相机路径渲染<br/>人体与场景条件"]
    Render --> Mask["视角自适应<br/>可见性掩码"]
    Mask --> Fusion["衰减式<br/>场景潜变量融合"]
    Render --> Fusion
    Fusion --> Output["预训练视频模型<br/>完成去噪与解码"]

这里的三维预处理是控制成立的前提，而不是本文新训练的网络。Depth-Pro 估计单目深度，文中还使用 SfM 标注或多视图立体重建进行度量尺度对齐，再构造场景点云；因此不能把“单张参考图输入”理解为整个几何准备过程完全不依赖额外尺度信息。源动作来自视频运动恢复或文本到动作模型，通过对应人体关键点的最小二乘刚性变换对齐到场景，随后用 GeoCalib 校准重力方向。

关键设计¶

1. 地面自适应运动重定向：改路线而保留动作自身的起伏

用户在世界坐标的 X-Z 俯视平面绘制曲线，系统均匀采样与动作帧对应的路径点，以这些点替换人体骨盆的水平位置。关键问题是竖直方向不能简单固定：每一帧都在路径点附近查询半径为 0.15 m 的圆柱邻域，从点云中取高度最低的 5% 点，对其 Y 坐标求平均作为局部地面高度。选择低处点的意图是减少人体或地面上物体对地形估计的干扰，不过这仍是几何启发式，不是经过语义分割验证的地面。

估计地面后，系统并不把骨盆直接放到地面高度，而是在原动作每帧的骨盆高度上，加上“当前地面相对首帧地面的高度差”。这样，坡面引起的整体抬升与原动作中的上下起伏可以叠加，跑步或跳跃不会被强行压成匀高运动。朝向则从更新后三维轨迹的前向切线计算，用其 X、Z 分量获得绕 Y 轴的偏航角，再以标准差为 3 的高斯核作时间平滑。论文调整的是高度与偏航，不应把它扩展解释成脚踝逆运动学、全身坡面倾斜适配或严格接触动力学。

2. 视角自适应可见性掩码：只把当前视角有依据的场景送入融合

相机路径不仅改变人体投影，也改变哪些场景点可见。系统在同一组相机参数下渲染人体网格和场景点云，分别得到人体与场景的图像以及逐像素最近可见表面深度；若没有可见点，深度记为无穷大。通过这两类深度建立二值掩码，区分可见场景区域与被遮挡或由人体占据的区域，再将掩码调整到潜变量所需的空间形式。缓存中的分段判定公式不完整，因此这里不臆造其具体不等式或边界条件。

这个掩码与固定的参考图背景蒙版不同：每一帧都要随相机和人体位置重新判断可见性。其作用是防止背景信息无差别地覆盖运动人物，并在有点云支持的位置保持对应视角的背景几何。场景点云实际上仍包含参考图人物的部分重建点；作者援引 Uni3C 认为其影响可忽略，但本篇没有单独给出这一因素的定量消融，因此不能把场景先验描述成完全干净的静态背景。

3. 衰减式场景潜变量融合：先固定透视结构，再释放外观细节

人体渲染图、场景渲染图及参考图由 Wan-VAE 编码，文本提示经 umT5 编码，共同为 RealisDance-DiT 提供条件。不同于仅拼接这些条件，本文还在采样过程中操作潜变量：将渲染场景的潜变量前向加噪到当前生成潜变量对应的噪声水平，再按可见性掩码与模型预测进行融合。匹配噪声水平很重要，否则把干净场景编码直接混入高噪声状态，会让两类表示处在不兼容的生成阶段。

融合在可见场景区域引入额外约束，其余区域保留模型生成能力。作者设置随去噪过程由强到弱的权重，早期强化相机位移对应的背景透视，后期允许模型合成自然的人体外观和细节。缓存中完整可读的权重表达式为：

\[ \lambda(t)=\lambda_{\max}\exp\bigl(\beta(t-T)\bigr). \]

其中采样从较大时间步向较小时间步推进，正的 \(\beta\) 使权重逐渐下降。论文给出 \(\lambda_{\max}\in[0.7,0.95]\)，在 \(T=50\) 步的示例中，\(\beta\) 通常约为 0.1 至 0.3；这些是报告的范围，不是经过完整敏感性实验确认的通用最优值。缓存的融合公式本体损坏，本文仅按文字描述解释机制，不补写潜变量更新式。

一个完整示例¶

以论文图示的“人物沿斜坡跑动，同时相机移动”为例：同一段跑步动作先对齐参考场景，用户的俯视曲线决定每帧骨盆在 X-Z 平面的位置。每到一个路径点，系统查询 0.15 m 邻域中最低的 5% 点来更新地面高度，把相对起点的坡面抬升叠加到原跑步动作上，并沿路径切线调整人物朝向。

随后从指定相机位置同时渲染人体和场景，重新计算哪些背景仍可见。早期去噪在这些区域注入相应视角的场景潜变量，使背景随镜头变化，而不是始终保持首帧布局；后期降低注入强度，让生成器完成衣服、身体外观与运动细节。这个例子解释模块连接方式，不代表论文提供了额外的斜坡角度或接触误差测量。

损失函数 / 训练策略¶

3STC-HIA 是免训练的推理时引导方案，不新增训练损失，也不为不同控制任务分别微调模块。免训练只指本文的控制方案，Depth-Pro、动作恢复模型、Wan-VAE 和 RealisDance-DiT 等上游组件本身均依赖已有训练。

主干基于 Wan2.1 的 DiT 与 Flow Matching；论文用经典 DDIM 作为采样说明，而缓存中的该更新公式已损坏，不能据此断言实际实现的完整采样器配置。当前缓存没有足够的分辨率、耗时、显存及随机种子信息，因而无法据本文复现成本或稳定性统计。

实验关键数据¶

主实验¶

RealisDance-Val 和 Trajectory100 各包含 100 个视频片段，均以首帧作为参考图。前者评价视频质量；后者从生成视频提取三维运动轨迹，与真实轨迹对齐后计算误差。TransError 是逐帧欧氏距离的平均值，单位为 m；RotError 是逐帧绝对偏航差的平均值，单位为度。

下表选取原文表 1 的关键对照与指标。背景一致性、运动平滑度和美学质量越高越好，FID/FVD 越低越好；不同方法支持的控制信号不同，不应据此宣称在等难度任务上全面胜出。

方法	背景一致性 ↑	运动平滑度 ↑	美学质量 ↑	FID ↓	FVD ↓
RealisDance	95.97	98.59	57.35	25.13	305.84
RealisMotion	95.87	97.61	56.92	24.10	519.66
Uni3C	93.47	97.95	57.61	23.86	516.36
3STC-HIA	96.08	98.83	59.47	27.92	573.41

原文表 2 专门比较 Trajectory100 的人物轨迹控制：

方法	平移误差 / m ↓	偏航误差 / 度 ↓
Tora	5.923	0.342
RealisDance-DiT	1.815	0.158
RealisMotion	1.305	0.095
3STC-HIA	0.478	0.162

消融实验¶

下表独立转录原文表 3 的相关列，保留它自身的完整模型基线，不与主结果表混用。

配置	背景一致性 ↑	运动平滑度 ↑	美学质量 ↑	FID ↓	FVD ↓
去掉地面自适应重定向	94.82	93.28	56.42	41.65	685.42
去掉视角自适应引导	90.23	96.35	53.28	58.47	832.15
完整模型	95.64	97.42	57.86	32.78	521.37

原文数值不一致提醒：表 1 与表 3 都标注 RealisDance-Val，但完整模型的背景一致性分别为 96.08 和 95.64，FVD 分别为 573.41 和 521.37；当前缓存未解释这组差异。因此，消融影响只能在表 3 内计算，不能从表 1 的完整模型减去表 3 的移除模块结果。

关键发现¶

相对 RealisMotion，平移误差减少 0.827 m，但偏航误差增加 0.067 度。证据支持更好的位置控制，不支持朝向精度同步领先。
在消融表内部，移除地面自适应重定向使运动平滑度下降 4.14；移除视角自适应引导使背景一致性下降 5.41，FVD 增加 310.78。两种模块的影响分别更集中在人体运动与场景稳定性。
本文在所列主实验指标中并非全面最优：FID/FVD 均差于 RealisDance、RealisMotion 和 Uni3C。作者将此归因于控制保真与分布匹配目标不同，但该解释并没有额外实验直接验证。
不同控制信号组合主要通过图 8 作定性展示；缓存未给出相机轨迹误差或各组合的独立量化表，不能把组合灵活性等同于已证明的完全无干扰。

亮点与洞察¶

高度修正使用相对起点的地面高差，而不是替换动作的绝对高度。这个选择保留了源动作的竖直动态，可作为动作复用到新地形时的轻量几何基线。
可见性决定哪些地方应该被约束，衰减权重决定这些约束在什么时候应该强。把空间可信度和生成时间分开处理，比始终强行锁住整幅背景更符合视角变化任务。
三维控制先经过渲染变成视频模型能接收的条件，再在潜空间补充引导。它展示了复用预训练二维生成能力的一条具体路径，但性能仍受上游几何质量限制。

局限与展望¶

作者将复杂人景交互与多人协同控制列为未来工作；当前结果不能外推到多人物相互遮挡、接触或共享物体操作。
从机制看，最低 5% 点的高度启发式可能受离群低点、稀疏点云、多层表面或缺失地面影响。论文未报告邻域为空时的处理，也没有量化脚底接触、穿透深度或脚滑。
几何准备涉及尺度对齐、人体关键点匹配和重力校准；这些步骤出错会传播到轨迹与掩码。文中没有系统分析单目深度误差和尺度误差的敏感性。
主表与消融完整模型不一致，且未报告置信区间、运行成本和详细相机控制误差。后续应先明确实验协议，再增加独立的地形接触与相机轨迹指标，区分“看起来合理”与“严格符合几何控制”。

评分¶

新颖性: 4/5。将地形自适应人物路径与视角可见场景引导结合，创新集中在几何控制的集成及推理机制。
实验充分度: 3/5。具备两个基准与模块消融，但数值协议不一致、物理接触及相机控制测量不足。
写作质量: 3/5。总体流程清楚，主实验与消融差异未解释；缓存中的多处公式无法可靠还原。
价值: 4/5。为预演和可控人物视频提供实用的免训练方案，但复杂接触与真实部署成本仍需验证。