4DGS360: 360° Gaussian Reconstruction of Dynamic Objects from a Single Video¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4866
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/7789.pdf
项目: 4DGS360
领域: 3D视觉
关键词: 动态高斯重建、遮挡几何、锚点跟踪、层级运动、新视角合成

一句话总结¶

4DGS360 用高置信二维轨迹为三维跟踪提供时空锚点，先建立包含遮挡区域的可靠运动初始化，再优化动态高斯，在不依赖扩散模型的基础流程中改善全周重建，iPhone 五场景平均 LPIPS 从 HiMoR 的 0.4639 降至 0.3877。

研究背景与动机¶

单目动态重建的困难不只是视角少，而是物体和相机同时运动：每个时刻只有一幅图像，无法像静态多视图重建那样直接组合同时刻的几何证据。HiMoR、Shape of Motion 等方法借助二维点跟踪建立跨帧对应，再利用深度图将轨迹反投影到三维空间。然而，深度图只描述当前可见表面；当原来的点被挡住时，其二维位置对应的深度可能属于遮挡物，而不是该点自身。于是，原本在其他帧中出现过的背面，也可能在当前帧被错误地压到可见表面附近。

这种错误会进入初始化，而不只是影响最终渲染。局部刚性约束可以维持已有结构，却很难从已经损坏的初始几何中恢复正确结构。直接改用 TAPIP3D 也不充分：三维跟踪更理解空间连续性，但容易受到深度误差和相机标定误差影响，长期传播还会累积漂移。论文因此把可靠二维对应与三维轨迹推断结合起来，而不是把所有二维结果无条件提升到三维，或完全放弃二维跟踪。

核心 idea：让可见且高置信的二维对应充当三维跟踪的时空锚点，由三维模型推断遮挡段轨迹，再把这种更完整的几何交给已有的层级运动表示与刚性优化。

方法详解¶

整体框架¶

输入是单段视频、逐帧深度和相机参数；深度及相机信息可来自传感器或预训练估计器，因此“单视频”不等于只用 RGB 且不依赖其他先验。输出是随时间变形的三维高斯表示，可在指定时刻从新的相机位置渲染动态物体。

流程先通过“锚点引导三维跟踪”估计可见与遮挡时段的轨迹，再通过“轨迹驱动层级初始化”建立规范空间高斯和层级运动节点，最后执行“几何与渲染联合优化”。新意主要在初始化：层级运动结构沿用 HiMoR，论文强调更好的初始几何能让后续优化真正发挥作用。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["视频、深度<br/>相机参数"] --> B["二维跟踪<br/>高置信对应"]
    A --> C["锚点引导三维跟踪"]
    B --> C
    C --> D["轨迹驱动层级初始化"]
    D --> E["几何与渲染联合优化"]
    E --> F["动态高斯<br/>全周新视角渲染"]

关键设计¶

1. 锚点引导三维跟踪：只让可信观测约束遮挡段推断

AnchorTAP3D 先从某一帧的查询点出发，用二维跟踪器得到其他帧中的对应位置及置信度。只有置信度超过阈值的对应，才用目标帧深度和相机参数反投影为三维锚点。低置信点通常与遮挡有关，不能直接读取当前位置的可见表面深度当作真实位置。这里的筛选不是删除整条轨迹，而是决定哪些观测有资格成为三维模型的约束。

三维跟踪器在滑动时间窗内联合处理各帧，并以窗口中的多个锚点为条件预测轨迹及二值可见性。正文给出的窗口例子是长度 16、相邻窗口重叠 8 帧；这些锚点提供跨时间的可靠定位，避免模型仅靠单个查询点一路传播而不断漂移。与“逐帧反投影后拼轨迹”不同，遮挡点的位置由三维跟踪推断，而不是由遮挡时刻的错误深度硬指定。

用统一符号重述原文式 (8)–(11)，窗口中的锚点集合为：

\[ \mathcal{A}_{w}=\left\{\pi_s^{-1}(p_s,D_s,\theta_s)\;\middle|\;s\in w,\ c_s>\tau\right\}. \]

其中 \(p_s\) 是二维对应，\(D_s\) 和 \(\theta_s\) 是该帧深度与相机参数，\(c_s\) 是二维跟踪置信度，\(\tau\) 为筛选阈值。这个集合只说明哪些可信观测进入条件，并不意味着锚点没有深度误差。正文没有给出阈值数值，也没有展开锚点在 Transformer 内部的具体注入实现，不能擅自补成某种注意力层或坐标替换规则。该跟踪改造不需要额外训练，但后续场景重建仍需要优化。

2. 轨迹驱动层级初始化：把遮挡位置也纳入运动结构

得到多个查询时刻的三维轨迹后，方法随机采样轨迹来初始化高斯，并选取可见高斯最多的帧作为规范帧。接着按轨迹的时间速度进行 k-means 聚类，在各簇中用 Procrustes 对齐估计帧间刚体变换，形成初始运动基；高斯运动还根据它与簇中心的空间距离加权。二维反投影方案在运动估计时往往必须丢弃不可见点，而 AnchorTAP3D 提供的遮挡段位置，使初始化有机会保留物体整体的运动结构。

运动表示采用 HiMoR 的树状节点：上层描述共享的整体运动，下层细化局部变形，高斯由附近叶节点的运动插值得到时变变换。节点初始化同时考虑运动幅度与空间密度进行加权采样，使剧烈运动区域得到关注，又不让节点全部挤在局部。这里不是为每帧独立拟合一团高斯，而是让规范空间中的同一批高斯沿着有层次的轨迹运动，因此跨帧几何能够相互约束。

3. 几何与渲染联合优化：先有可信结构，再用刚性传播它

初始化之后，优化同时更新运动节点与高斯。广义 ARAP 在同一局部刚性簇内选择节点对，约束任意两个时刻的节点间距离以及局部相对变换保持一致；它不限于相邻帧，因此能够把某一时刻可见的结构信息传播到相隔较远的遮挡时刻。其合理性来自局部近似刚性，而不是假设整个动态物体完全刚性。

渲染监督则从图像侧修正表示：RGB 项包含 D-SSIM 与 LPIPS，掩码项约束物体的空间紧致性，深度一致性项约束几何位置，二维跟踪项约束时间对应。这些信号与 ARAP 互补，但不能凭空恢复从未提供过的观测。论文的论点是，ARAP 对错误初始化可能只是保留错误；锚点改善初始结构之后，相同类型的约束才更有条件维持正确背面几何。

一个完整示例¶

以文中 walk-around 场景的遮挡现象作流程解释：某个表面点在前面的帧可见，随后因转动被遮挡，之后再次出现。直接二维反投影会在遮挡阶段读取别的表面深度；纯三维跟踪则可能在长序列中漂移。AnchorTAP3D 在长度 16、重叠 8 帧的示例窗口内使用高置信可见对应作锚点，由三维模型连接遮挡段，再把这些轨迹用于运动聚类和高斯初始化。

随后，层级节点描述物体整体运动与局部变化，ARAP 维持局部结构，图像损失校正可见区域，最终可以渲染偏离训练视角的画面。这是对方法的机制说明，不是新增跟踪测量；文中的 walk-around 消融只报告了定性重建差异。

损失函数 / 训练策略¶

原文式 (13) 的总体目标可保留为：

\[ \mathcal{L}_{\mathrm{total}}= \lambda_{\mathrm{rgb}}\mathcal{L}_{\mathrm{rgb}}+ \lambda_{\mathrm{mask}}\mathcal{L}_{\mathrm{mask}}+ \lambda_{\mathrm{depth}}\mathcal{L}_{\mathrm{depth}}+ \lambda_{\mathrm{2dtrack}}\mathcal{L}_{\mathrm{2dtrack}}+ \lambda_{\mathrm{arap}}\mathcal{L}_{\mathrm{arap}}. \]

各权重控制上述图像、掩码、深度、轨迹与刚性项的相对贡献。缓存包含正文与参考文献，没有补充材料中的实现细节，因此不补写损失权重、迭代数、耗时或显存。iPhone360 采集使用多台同步 iPhone，但重建训练只使用单台相机的视频；LiDAR 公制深度用于校正估计深度的尺度和平移，传感器相机参数作为真值。额外测试相机负责评估，不应误写为训练多视角输入。

实验关键数据¶

主实验¶

iPhone360 包含 6 个动态场景，训练与测试视角相差 70°–135°。评估根据真值动态物体掩码构建并外扩包围框，对真值和仅前景渲染采用相同区域，避免极端新视角的空背景主导比较。CLIP-I 是真值与渲染图像的 CLIP 相似度，CLIP-T 是间隔 5 帧的渲染图像间 CLIP 相似度；二者越高越好，LPIPS 越低越好。缓存中的箭头存在字符抽取失真，以下用指标含义标明方向。

原文表 2 的代表场景如下；这些是独立场景结果，不是全数据集均值。

场景	方法	CLIP-I（高优）	CLIP-T（高优）	LPIPS（低优）
Block2	MoSca	0.7499	0.9513	0.5556
Block2	HiMoR	0.8422	0.9549	0.3122
Block2	4DGS360	0.9021	0.9633	0.2569
Goat	MoSca	0.7379	0.9522	0.6332
Goat	HiMoR	0.8357	0.9426	0.3260
Goat	4DGS360	0.8706	0.9345	0.2244
Jelly	MoSca	0.6239	0.9649	0.7127
Jelly	HiMoR	0.6839	0.9357	0.3539
Jelly	4DGS360	0.8359	0.9229	0.3538

原文表 3 的 iPhone 五场景均值提供另一组真实定量比较，不能与上表的单场景结果混算。

方法	平均 CLIP-I（高优）	平均 CLIP-T（高优）	平均 LPIPS（低优）
HyperNeRF	0.8750	0.9714	0.5261
Shape of Motion	0.8603	0.9712	0.4827
HiMoR	0.8907	0.9750	0.4639
4DGS360	0.9015	0.9754	0.3877

消融实验¶

原文第 4.2 节与图 8 只有定性消融，没有数值消融表。下表忠实整理正文描述，不把视觉结论伪装成量化增益。

配置	初始化方式	walk-around 观察	jelly 观察
w/o 3D init	二维轨迹直接反投影	遮挡区域几何未能保持	遮挡区域几何未能保持
w/o Anchor	原始 TAPIP3D 三维跟踪	部分恢复遮挡区域，优于二维初始化	遮挡区域重建失败
4DGS360	AnchorTAP3D	保持整体形状	保持整体形状

关键发现¶

六个 iPhone360 场景中，本文 CLIP-I 和 LPIPS 均优于表中 MoSca 与 HiMoR，但 CLIP-T 并非全面领先。Goat 的 CLIP-T 为 0.9345，低于 HiMoR 的 0.9426；Jelly 的 LPIPS 也仅从 0.3539 变为 0.3538。
iPhone 平均 LPIPS 绝对下降 0.0762，平均 CLIP-T 只增加 0.0004。改善图像感知相似度和改善时间相似度不是同一个结论。
原文表 4 中，iPhone360 的 PSNR 从 10.9883 提升到 11.3364，SSIM 从 0.6854 提升到 0.7012；但 iPhone 的 SSIM 从 0.6329 降至 0.6309。不能概括为所有像素指标均提升。
DAVIS 以及没有测试真值的 backpack 场景提供定性证据，缓存没有可用于这些场景的定量提升。消融支持锚点的作用，但不足以量化各损失项的独立贡献。

亮点与洞察¶

将“可见时定位可靠”与“不可见时需要三维推断”分开处理。二维跟踪不再负责回答它无法从深度图回答的问题，而是为三维跟踪提供可靠约束。
初始化改变了后续正则的有效性。可迁移的启发是：当优化长期保留错误几何时，应检查初始对应和结构，而不只是继续增加损失项。
iPhone360 把大角度外推显式纳入评估。近训练视角的画面好看，并不足以证明物体背面和遮挡结构已经恢复。

局限与展望¶

作者承认仍依赖预训练跟踪与几何估计器；高置信二维对应并不保证深度和相机标定正确。可以进一步研究联合置信度或对锚点误差的鲁棒处理，但这不是本文已完成的功能。
从未出现在输入中的极端视角背景无法由该流程合成。论文展示与 DIFIX3D+ 结合的定性结果，不能据此声称基础流程已具备无条件补全能力。
大角度外推的像素精度仍有限；CLIP 语义相似度和相邻时间相似度都不能独立验证真实三维表面精度，这是对评估范围的分析。
iPhone360 只有 6 个场景，缓存中的消融没有定量指标、阈值敏感性或效率对比。更丰富的运动、长时遮挡和标定噪声测试有助于确定适用边界。

评分¶

新颖性: 4/5。二维可靠锚点与三维遮挡推断的结合有明确针对性，但层级表示和主要优化组件继承已有方法。
实验充分度: 3/5。包含新基准、多组定量比较和定性消融，但缺少定量组件消融与效率报告。
写作质量: 4/5。初始化失效到几何恢复的论证清晰，锚点注入实现及部分超参数需补充材料才能复现。
价值: 4/5。对单目动态物体的大视角重建具有实践意义，尤其提醒研究者不要把近视角效果当成完整几何证据。