UniFusion: Sparse-View 4D Reconstruction via Unified Spatio-temporal Depth Alignment¶

会议: ECCV 2026
论文: ECCV 官方页面
代码: https://yongzhelyu.github.io/UniFusion/
领域: 重建与渲染
关键词: 4D重建, 稀疏视角视频, 单目深度对齐, 时空神经场, 高斯泼溅

一句话总结¶

UniFusion 提出了基于低秩时空神经场残差权重的单目深度联合对齐框架，无需前景分割与点追踪模型即可统筹跨视角与跨时间的几何一致性，并为 4D 高斯泼溅提供高质量几何初始化与密集监督。

研究背景与动机¶

从极稀疏的同步视频流中重构动态 4D 场景是具身智能、虚拟现实与沉浸式内容创作的关键需求。虽然密集相机阵列能够获得极其精细的动态几何，但严重依赖高昂且局限于实验室的硬件捕获设施。以真实场景下的 Ego-Exo4D 数据集为例，通常仅有 3 至 4 个便携式相机环绕记录，相机之间夹角高达约 90 度，空间重叠极少。为了补充稀疏视角的先验缺失，近年研究普遍引入单目几何大模型（如 Depth Anything、Metric3D 等）提供逐帧几何先验。

然而，单目深度估计本身存在固有的尺度与平移歧义，且独立对每帧每个视角推断导致预测结果在空间跨视角和时间跨帧之间均严重不一致。更棘手的是，真实场景中物体的物理运动与单目预测的随机误差紧密纠缠，使得动静解耦变得异常困难。现有方案（如 MonoFusion）将空间对齐与时间对齐拆解为独立的多个串行阶段：空间对齐仅依赖背景静态区域，因此强依赖外部前景分割大模型（如 SAM 系列）切出动静掩码；时间对齐则严重依赖外部长时点跟踪模型（如 TAP 系列），不仅耗费数小时的预处理开销，更导致跟踪误差的逐级累积。此外，两阶段独立运行割裂了时空信息，无法利用时间连续性反哺跨视角对齐。

针对上述多阶段流水线的脆弱依赖与割裂问题，本文的核心洞见在于：无需通过硬性的外部动静分割或密集跟踪显式指定运动区域，而是应将所有视角和时间步的深度映射统一建模为一组共享时空神经场。核心 idea：将单目深度变形映射建模为以空间网格为基底、时间残差权重为调控的低秩时空神经场，利用神经网络的内在平滑先验隐式解耦动静态变化，结合跨视角深度次序约束实现无分割、无追踪的端到端统一时空深度对齐。

方法详解¶

整体框架¶

UniFusion 包含两大阶段：阶段一是端到端的时空单目深度联合对齐（Spatio-Temporal Depth Alignment），阶段二是以对齐后的高质量深度作为几何初始化与稠密监督信号驱动 4D 高斯泼溅重建（4D Gaussian Splatting Reconstruction）。

在阶段一中，系统接收 $N$ 个稀疏同步相机在 $T$ 个时间步捕获的视频流。首先利用 MASt3R 稀疏匹配点通过加权最小二乘法为单目深度（Depth Anything V2）求解初始仿射缩放与平移参数，完成粗对齐并反投影为初始 3D 点云。随后，UniFusion 为每个视角构建一个轻量级变形 MLP。该网络输入视角特有的空间 2D 特征网格和分位数归一化深度网格，通过低秩时间残差权重动态预测沿射线方向的深度偏移量 $\Delta_k^t(\mathbf{u})$。静态区域的残差权重自动趋于零，动态区域自适应激活，实现动静无缝统一处理。最后，阶段二将对齐后具有严格时空一致性的深度图用于初始化高斯基元分布并作为几何损失监督变形高斯（Def-2DGS / Def-3DGS / MonoFusion），实现极佳的动态视角合成。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：N 视角 × T 帧稀疏视频与 SfM 粗对齐点云"] --> B["时间独立编码<br/>空间特征网格 Ek 与深度网格 zk(D)"]
    B --> C["低秩时空残差权重网络<br/>基底权重加秩-8向量矩阵分解残差"]
    C --> D["时空联合几何优化<br/>跨视角深度次序损失与尺度平移不变损失"]
    D --> E["4D 高斯泼溅几何初始化与密集深度监督<br/>驱动 Def-2DGS / MonoFusion 重建与新视角合成"]

关键设计¶

1. 低秩时空残差权重网络：无分割无追踪的统一动静建模 传统方法若要分别拟合每一帧，计算复杂度会随时间线性爆炸，且丢失了时间平滑性；若引入全局时间嵌入作为 MLP 输入，又容易引发过拟合与高频几何畸变。UniFusion 针对每个视角 $k$ 维持共享的时间独立编码，包括双线性插值的 2D 空间特征网格 $\mathbf{E}_k(\mathbf{u})$ 和沿深度轴查询的 1D 网格 $\mathbf{z}_k(D_k^t(\mathbf{u}))$： $$\mathbf{f}_k^t(\mathbf{u}) = \mathbf{E}_k(\mathbf{u}) + \mathbf{z}_k(D_k^t(\mathbf{u}))$$ 为了在不依赖外部前景分割掩码与点跟踪的前提下优雅捕获动态变化，UniFusion 引入基于 ResFields 机制的低秩权重残差分解。变形 MLP 各隐层的权重矩阵 $\mathbf{W}_k^{t,(l)}$ 被分解为全序列共享的基础权重 $\mathbf{W}_k^{(l)}$ 与逐帧时间调制项 $\delta\mathbf{W}_k^{t,(l)}$： $$\mathbf{W}_k^{t,(l)} = \mathbf{W}_k^{(l)} + \delta\mathbf{W}_k^{t,(l)}$$ 为了限制参数量并增强正则化，时间调制项采用紧凑的向量-矩阵（VM）低秩分解： $$\delta\mathbf{W}_k^{t,(l)} = (\mathbf{c}_k^{t,(l)})^\top \mathbf{M}_k^{(l)}$$ 其中时间系数 $\mathbf{c}_k^{t,(l)} \in \mathbb{R}^R$ 是逐帧参数，$\mathbf{M}_k^{(l)} \in \mathbb{R}^{R \times (F_{\text{out}} \cdot F_{\text{in}})}$ 为全序列共享矩阵，实践中秩设为 $R=8$。在静态背景区域，优化过程使时间残差自动衰减至零 ($\delta\mathbf{W} \approx \mathbf{0}$)，天然保持跨帧刚性一致；而在运动人体等动态区域，残差自适应激活补偿运动形变。这种共享骨架与低秩残差不仅赋予深度图强大的时序平滑归纳偏置、彻底消除深度抖动，还使整体优化耗时由逐帧独立优化的半天缩短至仅 1 小时。

2. 跨视角深度次序损失：无先验的重投影遮挡几何约束 即便单目深度预测具备良好的相对轮廓，不同相机视角间依然存在未知的相对视差冲突。当缺乏密集真值或外部特征匹配在无纹理区域失效时，多视角几何学提供了一条铁律：由视角 $k$ 处的形变表面反投影并重投影到视角 $j$ 中的 3D 点，其在视角 $j$ 中的深度不应小于视角 $j$ 自身预测的表面深度（即不能穿透既有表面跑到观察者前面）。UniFusion 据此提出无需密集特征匹配与外部监督的跨视角深度次序损失（Multi-view Depth-Order Loss）： $$\mathcal{L}_{\text{order}} = \frac{1}{|\mathcal{N}|} \sum_{(k,j) \in \mathcal{N}} \frac{1}{|\mathcal{U}|} \sum_{\mathbf{u} \in \mathcal{U}} \max\!\left(0, \frac{\hat{d}_j(\mathbf{u}') - z_{j \leftarrow k}(\mathbf{u})}{\hat{d}_j(\mathbf{u}')}\right)$$ 其中 $z_{j \leftarrow k}(\mathbf{u})$ 为视角 $k$ 反投影后投影至视角 $j$ 的预测重投影深度，$\hat{d}_j(\mathbf{u}')$ 为视角 $j$ 在对应重投影像素 $\mathbf{u}' = \pi_j(\Pi_k^{-1}(\mathbf{u}))$ 处的深度读数。该项仅在几何发生穿透冲突时激发梯度，强行将多视角的独立深度“推挤”至相互一致的 3D 边界，且直接以深度图自身构成监督信号。

3. 尺度与平移不变形变监督：互补的稠密轮廓保持 为了防止深度图在满足几何对齐时丢失单目大模型珍贵的高频细节（如褶皱、边缘锐度），UniFusion 引入基于中位数与平均绝对偏差（MAD）的尺度与平移不变损失（SSI Loss）。对任意预测深度 $d$，其归一化深度定义为： $$\widetilde{d} = \frac{d - \text{median}(d)}{\text{MAD}(d)}, \quad \text{MAD}(d) = \text{mean}(|d - \text{median}(d)|)$$ $$\mathcal{L}_{\text{ssi}} = \|\widetilde{d}_{\text{pred}} - \widetilde{d}_{\text{ref}}\|_1$$ 结合从 MAtCha 继承的稀疏 SfM 点匹配损失 $\mathcal{L}_{\text{fit}}$、法向量与梯度结构保持损失 $\mathcal{L}_{\text{struct}}$ 以及重投影匹配损失 $\mathcal{L}_{\text{match}}$，系统构建了多尺度、时空全覆盖的几何对齐目标函数： $$\mathcal{L} = \mathcal{L}_{\text{fit}} + \lambda_s \mathcal{L}_{\text{struct}} + \lambda_m \mathcal{L}_{\text{match}} + \lambda_o \mathcal{L}_{\text{order}} + \lambda_{\text{ssi}} \mathcal{L}_{\text{ssi}} + \mathcal{L}_{\text{reg}}$$ 全面保障了多视角统一性、时间连续性与单目高频结构的无损保留。

4. 4D 高斯泼溅的几何初始化与稠密监督：极简下游架构的质变 以往 4D 重建工作由于缺乏可靠的全局几何先验，往往依赖复杂的启发式正则化或专门设计的多阶段网络结构（如 MonoFusion）。UniFusion 论证了“高质量几何先验远比下游架构复杂度关键”：将阶段一联合优化后的对齐深度点云直接用于初始化动态高斯基元分布（Canonical Gaussians），并在渲染训练中作为直接的深度监督。这使得最简单通用的 Deformable 2DGS 框架即可在极度稀疏的视角和激烈的视角外推下稳定收敛，彻底消除悬浮伪影与鬼影破面。

实验关键数据¶

主实验¶

论文在真实复杂动态场景数据集 Ego-Exo4D（ExoRecon 子集，包含舞蹈、运动、单车修理、烹饪、音乐、医疗 6 大场景，4 个间隔约 90 度的稀疏相机，每 3 帧取 1 帧训练，其余留出评测）及 EgoHuman（fencing 与 legoassemble 序列，相机间距约 90 度，利用留出相机评测真实新视角合成）上展开评测。

数据集	方法 / 配置	全图 PSNR ↑	全图 SSIM ↑	全图 LPIPS ↓	几何 AbsRel ↓	动态区 PSNR ↑	动态区 SSIM ↑
Ego-Exo4D	SOM	14.73	0.535	0.482	0.843	15.63	0.559
Ego-Exo4D	Dyn3D-GS	24.28	0.692	0.539	0.612	24.61	0.673
Ego-Exo4D	MV-SOM-DS	28.37	0.906	0.079	0.398	28.23	0.931
Ego-Exo4D	MonoFusion	30.41	0.944	0.079	0.277	29.48	0.958
Ego-Exo4D	MonoFusion + Ours	31.63	0.955	0.064	0.238	30.44	0.972
Ego-Exo4D	Def-3DGS	34.15	0.952	0.062	0.330	37.24	0.982
Ego-Exo4D	Def-2DGS	34.15	0.964	0.058	0.376	38.64	0.984
Ego-Exo4D	Def-2DGS + Ours	34.66	0.963	0.049	0.222	38.70	0.984

在 EgoHuman 数据集的新视角合成评测中（留出相机与训练相机间距大，严重考验几何外推）：

数据集	方法	PSNR ↑	SSIM ↑	LPIPS ↓
EgoHuman	SOM	13.97	0.652	0.645
EgoHuman	MV-SOM	13.36	0.588	0.564
EgoHuman	SplatFields	17.74	0.675	0.571
EgoHuman	MonoFusion	14.15	0.436	0.628
EgoHuman	MonoFusion + Ours	20.41 (+6.26)	0.612 (+0.176)	0.492 (-0.136)
EgoHuman	Def-2DGS	18.88	0.657	0.431
EgoHuman	Def-2DGS + Ours	22.76 (+3.88)	0.856 (+0.199)	0.277 (-0.154)

消融实验¶

论文在 Ego-Exo4D 上对对齐模块的渐进组件进行了严格消融，下表展示了从逐帧独立对齐逐步加入各关键设计时的性能收益：

配置	MonoFusion PSNR ↑	MonoFusion SSIM ↑	MonoFusion LPIPS ↓	Def-GS PSNR ↑	Def-GS SSIM ↑	Def-GS LPIPS ↓	说明
(a) 逐帧独立 MAtCha	30.14	0.943	0.070	32.60	0.956	0.071	静态对齐无时序模型，耗时极长且时序抖动
(b) + 朴素时间嵌入 (Time Emb)	28.53	0.935	0.088	32.60	0.947	0.071	朴素将时间输入MLP导致过拟合与性能急剧恶化
(c) + 低秩残差权重 (Residual Weights)	30.90	0.948	0.067	33.61	0.960	0.055	单项提升最大，捕获时空相关性并抑制抖动
(d) + 深度次序损失 ($\mathcal{L}_{\text{order}}$)	31.52	0.953	0.065	33.90	0.961	0.055	消除跨视角表面重投影穿透冲突
(e) + 尺度平移不变损失 ($\mathcal{L}_{\text{ssi}}$, Full)	31.63	0.955	0.064	34.66	0.963	0.049	完整模型，细节保持与几何一致性达到最优

关键发现¶

残差权重调制是质变核心：对比配置 (a) 与 (c)，引入低秩残差权重使 Def-GS 的 PSNR 从 32.60 dB 跃升至 33.61 dB，而直接向网络注入时间标量 embedding 的方案 (b) 则出现灾难性退化（MonoFusion 从 30.14 跌至 28.53 dB），证明残差权重分解具有不可替代的平滑先验。
几何误差绝对削减显著：在 Ego-Exo4D 上，UniFusion 将 MonoFusion 的深度绝对相对误差（AbsRel）从 0.277 降至 0.238（降幅约 14%），将 Def-2DGS 的 AbsRel 从 0.376 骤降至 0.222（降幅达 40.9%），彻底清除了 3D 浮尘与虚假悬浮几何。
效率呈数量级提升：对 4 视角、100 帧训练数据，传统的逐帧独立 MAtCha 优化需要约半天（~12 小时），而 UniFusion 借助时空共享场仅需 1 小时即可收敛，提速达 10 倍以上。

亮点与洞察¶

隐式动静解耦的典范：通过将网络权重分解为基础基底与逐帧低秩残差，静态区域自然依靠基底表达而残差衰减，动态区域自动吸收位移，摆脱了对 SAM 等分割模型和 TAP 等点追踪模型的死板依赖。
无匹配的深度次序自监督：跨视角深度次序损失利用单向深度不等式，在完全没有已知匹配对或纹理特征的视角盲区，依靠投影遮挡几何施加了硬性物理约束。
“先验质量重于模型复杂度”的学术验证：实验揭示了一个重要现象——拥有高精度时空一致深度监督的极简 Def-2DGS，性能全面超越了高度工程化、多阶段堆叠的 MonoFusion，表明在稀疏动态重建领域，解决输入端几何一致性是破解不适定难题的第一驱动力。

局限与展望¶

受制于基础单目模型与 SfM 初始化的上限：UniFusion 的几何优化建立在 Depth Anything V2 和 MASt3R 的初始点云之上。若初始单目深度发生灾难性拓扑错误或 SfM 完全无法恢复相机位姿，对齐网络无法无中生有。
剧烈复杂运动下的高斯表征瓶颈：当被摄主体动作幅度极大、速度极快时，下游基础的 Def-2DGS 容易成为运动拟合的瓶颈，出现局部变形撕裂（如图 6 所示）。在此类极端动态场景下，轻量级的特征轨迹引导仍可能具有互补价值。
前瞻探索方向：未来可探索将离线迭代式的时空场联合优化蒸馏为前馈式（Feed-forward）多视角时空大模型，迈向实时 4D 重建；同时可将多模态物理先验引入时空残差，增强极端遮挡下的补全能力。

评分¶

新颖性: ⭐⭐⭐⭐☆ 优雅地将权重残差分解拓展至多视角单目深度时空场联合对齐，提出极具几何启发性的深度次序损失。
实验充分度: ⭐⭐⭐⭐⭐ 在 Ego-Exo4D 和 EgoHuman 两个具有代表性的稀疏多视角挑战基准上进行了多后端、多指标的详实实验与严格消融。
写作质量: ⭐⭐⭐⭐⭐ 逻辑严密，图文对照清晰，对动机、痛点、机制和局限性的剖析鞭辟入里。
价值: ⭐⭐⭐⭐⭐ 为稀疏视角动态场景的 4D 重建与 Gaussian Splatting 提供了一套通用的几何先验强化范式，实用性极强。