Syn4D: A Multiview Synthetic 4D Dataset¶

会议: ECCV2026
论文: ECCV 原文
项目: Syn4D
领域: 3D 视觉
关键词: 合成数据集、多视角视频、动态点图、稠密跟踪、几何感知生成

一句话总结¶

Syn4D 将高质量动态场景渲染与紧凑的网格跟踪标注结合，提供约 4.7K 多视角片段、1.4M 帧，并在不改变 4RC 架构的条件下，把 Soviet 测试集的稠密跟踪 APD 从 58.35 提升至 74.46。

研究背景与动机¶

前馈式 3D 重建越来越依赖大规模几何监督，但从静态照片走向动态视频后，训练数据需要回答的不再只是“这个像素有多远”，而是“这个像素对应的物理点在其他时刻在哪里”。真实采集往往只能给出稀疏且带噪声的轨迹；光流或场景流虽能描述邻帧运动，也不等于任意时间间隔下的完整物理对应。

现有合成数据各有缺口。Kubric 能生成稠密标注，却以刚体落地运动为主；PointOdyssey 的长期轨迹较稀疏；BEDLAM 系列有复杂人体动画，但不覆盖同等多样的非人体动态对象。即使把高质量场景和动画资源组合起来，直接为每个像素保存它在每个时刻、每个相机坐标系中的位置，也会使存储量失控。

Syn4D 因而同时解决内容与表示问题：构建多样化的动态场景，并将跟踪标签改写成可以按需查询的几何表示。核心 idea：把像素绑定到动画网格上的固定三角面与重心坐标，只保存网格顶点随时间的变化，即可恢复跨时间、跨相机的稠密轨迹。

方法详解¶

整体框架¶

数据生成从环境、动态对象和人体资产开始，通过 Unreal Engine 5 渲染同步的多相机视频，并导出相机参数、深度、实例分割与人体参数。随后把像素与动画网格关联，形成动态点图（dynamic point map，DPM）的紧凑表示，同时生成全局与局部视频描述。

这里的 DPM 不是单纯逐帧深度图：查询首先指定一张源图中的像素，再指定目标时间与参考相机坐标系，返回同一个物理点在该时间、该坐标系中的 3D 位置。目标时间可以不同于源帧时间，参考相机也可以不同于源相机，因此它既能支持重建，也能支持长时跟踪和跨视角监督。

论文还用这些配对的外观与几何数据扩展 ReCamMaster：给定源视频、源点图和目标相机轨迹，同时生成目标视频及其点图。这是数据用途的验证模型，不应与数据集本身混为一谈。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        Assets["环境、动画与人体资产"] --> Build["场景与相机构建"]
        Build --> Tracks["紧凑动态点图"]
        Build --> Captions["分层视频描述"]
        Tracks --> Data["多视角外观与几何数据"]
        Captions --> Data
        Data --> Generator["几何感知多视角生成"]
        Data --> Tasks["4RC 与人体估计训练"]

关键设计¶

1. 场景与相机构建：让动态内容和观察方式共同变化

作者选购 30 个 Fab 环境，人工确定适合放置动态对象的根位置，再从筛选后的 1,674 个 Objaverse 动画资产中随机放入 1 至 3 个对象，以及来自 585 个人体资产中的一个人体。筛选先从俯视视角渲染动画，借助相邻帧分割掩码的 IoU 排除运动过快或变形异常的内容；布局使用地面占用图降低碰撞风险。近处可移动光源使用 Lumen，静态光照使用烘焙光照贴图，兼顾动态照明与环境细节。

每个片段生成 8 个相机，水平视场角覆盖 39.6 至 90 度，并按室内外环境调整焦距范围。相机既有静止、跟随、推拉和环绕，也叠加 Perlin 噪声抖动。除了独立采样的轨迹，还包含共享起始画面的成对环绕，以及由 4 个正交静止视角出发的 4 条环绕轨迹；这些配置让模型接触不同源视角与目标视角关系，而非只学习固定双目基线。环绕轨迹仍占多数，是后文相机控制泛化的一个边界。

2. 紧凑动态点图：存储表面对应，查询时重建轨迹

源图像中一个像素对应的表面点，落在三角面上的某个位置。对于拓扑固定的动画网格，只要保存三角面的索引及该点的三个重心权重，再保存各顶点的完整运动，就不必反复存储同一点从不同图像出发的轨迹。以下用重心权重改写原文式 (1)，权重非负且和为 1：

\[ Q_i(t)(u)=\alpha_1 q_{f_1}(t)+\alpha_2 q_{f_2}(t)+\alpha_3 q_{f_3}(t),\qquad \alpha_1+\alpha_2+\alpha_3=1. \]

其中，源图像为 \(i\)，源像素为 \(u\)，三角面顶点索引为 \(f_1,f_2,f_3\)；\(q_{f_j}(t)\) 是对应顶点在统一参考系中、时间 \(t\) 的位置。查询时取出三个顶点轨迹做加权组合，再利用已知刚体变换转到目标相机参考系，必要时投影到目标图像。物理点在目标图像中的投影可计算，不代表它在那里一定可见；遮挡和出画仍需要与几何位置区分。

Unreal 没有直接输出所需三角面索引和重心权重的渲染通道，因此作者先用深度和相机参数反投影像素，再寻找能最好解释该 3D 点的网格面及重心权重。这样得到的是预处理好的像素到网格绑定，训练数据加载器只负责高效解码。静态背景无需重复记录动态轨迹，进一步压缩还可利用动态对象像素占比较小以及低比特打包。

将每个时刻的点图显式存到统一参考系，空间复杂度仍为 \(O(HWT^2C)\)；绑定到网格后变为 \(O(HWTC+VT)\)，其中 \(V\) 是顶点数。原文给出的示例是 \(H=W=512\)、\(T=300\)、\(C=8\)、每标量 4 字节：前一种表示需 2.1 TiB，而采用 100K 顶点的紧凑表示需 9.3 GiB。这是表示成本的算例，不能据此认定发布数据全部采用这个分辨率或每个片段恰好同样长。

3. 分层视频描述：让长片段和局部训练窗口都有语义条件

一段视频约有 300 帧，单条全局描述可能忽略短暂动作，而只描述短片段又会丢失场景概况。作者使用 Tarsier2-7B：从整段采样 16 帧生成全局描述，再将视频划为 81 帧窗口，每个窗口采样 32 帧生成局部描述。用户据训练窗口长度选用相应文本，避免用整段描述去监督一个只包含局部动作的子片段。

这些描述属于数据集元信息，几何真值仍来自渲染与网格，而非视觉语言模型。正文没有单独消融描述粒度的作用，也没有证明生成模型实验中的收益来自描述，因此不能把分层描述写成已验证的性能增益来源。

4. 几何感知多视角生成：在同一扩散模型里联合建模外观和点图

ReCamMaster 原本根据源视频和目标相机轨迹生成目标视频。Syn4D 为每个视角提供配对点图，于是作者把视频编码器适配到点图上，并在潜变量的空间宽度方向拼接外观与几何，而不是引入独立的大型预测网络：

\[ Z=[L_{\mathrm{vid}};L_{\mathrm{DPM}}]\in\mathbb{R}^{H\times(2W)\times T\times d}. \]

这里 \(H,W,T\) 指潜表示的尺寸，\(d\) 是潜通道维度。模型沿用预训练扩散架构，论文称该空间拼接方案无需增加模型参数；但空间宽度翻倍并不意味着计算量不变。源视频与点图共同作为输入，目标输出同时包含新视角视频与点图，使外观生成和相机条件下的几何生成有了联合训练依据。

需要注意，正文此处使用的是各帧对应时刻的点图，而不是显式输出所有源像素的全时段 DPM 查询结果。数据集可以表达长期轨迹，不等于这个生成基线已经直接生成同等完整的轨迹张量。

损失函数 / 训练策略¶

数据集本身没有统一的学习损失。4RC 实验保留原模型架构与训练协议，仅将 Syn4D 加入原训练数据；几何感知生成器分别在 Kubric 和 Syn4D 上微调。缓存正文未给出生成器的具体损失展开、学习率与完整计算预算，不能自行补齐。

人体估计先把 SMPL-X 标注通过官方优化式重拟合转换到 SMPL，再在 MA-HMR 最终检查点上续训。加入 Syn4D 的方案与只用原始 AGORA、BEDLAM、DTO-Humans 的对照均续训 6 个 epoch，学习率为 \(10^{-5}\)，总 batch size 为 128；借助分割掩码过滤严重遮挡人体的帧。

实验关键数据¶

主实验¶

下表摘自原文表 3。4RC (Syn4D) 使用原数据加 Syn4D，不是仅用 Syn4D 从零训练；APD 为阈值内点比例的平均指标，越高越好，EPE 为轨迹端点误差，越低越好。缓存正文没有列出 APD 的具体阈值集合。

测试集 / 类型	4RC APD	+Syn4D APD	4RC EPE	+Syn4D EPE
ADT / 稀疏	87.82	89.44	0.1480	0.1258
PStudio / 稀疏	87.32	88.10	0.1304	0.1276
Soviet / 稠密	58.35	74.46	3.8458	1.8934
Warehouse / 稠密	79.07	88.79	0.3302	0.1915

ADT 与 PStudio 来自 TAPVid-3D；Soviet 和 Warehouse 是 Syn4D 渲染测试集，各含 50 段序列，每段采样 24 帧并评估从首帧出发的稠密轨迹。Soviet 的 APD 提高 16.11 个百分点，但这种合成域内稠密增益不能直接等同于真实视频上的同等提升。

下面是原文表 2 的数据来源对照，评测采用 280 对视频，场景和动态对象均未在训练中出现。FVD 越低越好，CLIP-V 越高越好；带 P 的指标对点图转成的 RGB 表示计算，并不是逐像素几何误差。

生成器训练数据	CLIP-V	FVD	ATE	RPE-T	RPE-R	CLIP-V-P	FVD-P
Kubric	0.643	631	0.064	0.023	0.328	0.757	229
Syn4D	0.740	452	0.070	0.021	0.272	0.816	139

相机轨迹由 Back on Track 从生成视频估计，再以 Umeyama 算法对齐条件轨迹。外观与点图分布指标改善，但 ATE 从 0.064 增至 0.070，故不能概括为所有相机指标都更优。

消融实验¶

原文没有逐一移除场景、相机模式或重心编码的模块消融。最明确的控制实验是表 6 的等 epoch 续训对照；下表保留 Hi4D 上的完整三项指标，单位均为 mm，越低越好。

配置	MPJPE	PA-MPJPE	PVE
MA-HMR	58.8	43.9	73.6
MA-HMR+Cont	58.7	44.1	73.2
MA-HMR+Syn4D	57.7	43.0	72.2

MPJPE 衡量关节位置误差，PA-MPJPE 在 Procrustes 对齐后计算，PVE 衡量网格顶点误差。Hi4D 和 3DPW 使用测试集，CHI3D 使用其训练集作为评测集；所有这些评测数据均未用于模型训练或微调。

关键发现¶

表 3 的稠密跟踪收益明显高于稀疏跟踪，符合数据集强化完整动态对应监督的设计目标，但测试域不同，不能据此单独归因于标注密度。
表 4 中 Sintel 相机 ATE 从 0.144 降至 0.076，但 TUM-dynamics 从 0.010 升至 0.012，提示跨任务收益并不均匀。
表 5 中 Sintel 仅尺度对齐的深度 Rel 从 0.311 降至 0.211；Bonn 同设置下的阈值准确率却从 97.4 降至 97.3，不能声称每个指标都提高。
表 6 中单纯续训的改变量很小，加入 Syn4D 则在三个评测集的三项人体指标上均更好，为数据价值提供了比无对照续训更清晰的证据。

亮点与洞察¶

核心贡献是把标注设计成可查询表示。固定的像素到表面绑定复用了顶点运动，解决了“能渲染却存不起稠密标签”的瓶颈。
同一份数据覆盖几何、运动、相机和人体参数，能直接检验监督是否跨任务有效。4RC 不改架构的实验尤其有助于区分数据收益与网络收益。
点图与视频潜变量的空间拼接复用生成先验，是一个低参数改动的验证方向。它说明联合外观与几何生成值得研究，但不等于已经保证了严格物理一致性。

局限与展望¶

作者明确指出相机模式仍需更丰富，生成实验中的 ATE 退化支持这一判断；后续应增加更广的成对轨迹分布。
从表示假设看，重心绑定依赖固定网格拓扑与稳定表面对应，不能直接推广到拓扑变化的流体或破碎过程。这是由方法假设推得的适用范围，而非论文报告的失败实验。
30 个环境和筛选后的动画并不覆盖真实世界全部动力学；过滤快运动、异常形变以及严重遮挡人体帧，也可能弱化极端情况的训练覆盖。
生成点图的 CLIP-V-P 与 FVD-P 是分布层面的代理指标，无法直接确认具体物理点的 3D 误差或长期轨迹一致性，需要更直接的几何评测。
缺少数据规模、资产多样性和相机模式的独立消融，难以定量区分各因素贡献；缓存亦未提供完整生成训练预算和发布数据分辨率明细。

评分¶

新颖性: 4/5。多视角稠密动态标注与网格绑定表示形成清楚的数据贡献。
实验充分度: 4/5。覆盖多种下游任务并有人体续训对照，但细粒度数据消融不足。
写作质量: 4/5。DPM 的定义与复杂度推导清晰，部分训练配置在缓存正文中不够完整。
价值: 5/5。为 4D 重建和跟踪提供可复用监督，意义不限于单一模型的分数提升。