OmniLife360: A Benchmark for 3D Reconstruction from In-the-Wild 360° Captures¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/AutoLab-SAI-SJTU/Omni4DGS
领域: 3D视觉
关键词: 全景3D重建, 4D高斯泼溅, 野外全景基准, 球面运动分解, 动静态解耦

一句话总结¶

针对消费级 360° 全景相机在真实野外长轨迹拍摄中相机剧烈抖动与动态干扰严重的挑战，本文构建了首个包含 2407 条 4K 分钟级野外序列的大规模基准 OmniLife360，并提出了首个专为球面全景视频设计的 4D 高斯泼溅框架 Omni4DGS。

研究背景与动机¶

消费级 360° 全景相机的普及正在深刻改变人们记录与分享现实世界的方式。在个人生活日志、户外探险与旅行漫游中，全景视频因其单次曝光即提供连续且全局一致的视角而备受青睐，极大降低了视角断裂与图像拼接的瑕疵。然而，将这些无约束的真实野外全景视频转化为高质量、可漫游的 3D 沉浸式体验依然极其困难。全景相机在行进中往往伴随剧烈的自我运动（ego-motion）与长轨迹累计漂移，加之等矩形投影（Equirectangular Projection, ERP）在极区和高纬度区域带来的剧烈非线性拉伸，使得现有三维重建算法在野外全景输入下极度脆弱。

现有全景 3D 重建算法与基准之间存在严重的生态脱节。一方面，现有的全景数据集如 HM3D、Replica、OmniBlender 等多局限于室内静态扫描或合成场景，缺乏真实的相机抖动、运动模糊与光度突变；而包含真实数据的基准如 OmniPhotos、360Loc 或 KITTI-360，要么截取自数秒以内的极短片段，要么依赖昂贵重型车辆传感器系统生成规整平滑的轨迹，无法反映手持或穿戴设备在日常活动中持续数分钟的漫游状态。另一方面，无论是以 ODGS 为代表的单场景优化方法，还是 PanSplat、OmniSplat 等前馈泛化方法，其底层均依赖静态场景假设，在面对穿梭的行人、车辆以及拍摄者自身的复杂运动时，容易将动态前景烘焙进静态高斯场中，造成严重的模糊、鬼影以及漂浮伪影。

针对上述瓶颈，系统化评估与解决野外全景重建难题必须从真实数据基准与全景动态表示双重切入。核心 idea：构建首个兼顾长时程连续性、丰富行为动态与严格多视角几何有效性的野外 4K 全景基准 OmniLife360，并据此设计解耦径向与切向球面运动、引入纬度自适应加权与掩码引导动静态分离的 4D 全景高斯泼溅框架 Omni4DGS。

方法详解¶

整体框架¶

Omni4DGS 的核心目标是在任意视点和时间步对无约束的全景动态视频实现高保真度渲染。输入为单目全景相机采集的等矩形投影视频帧与 COLMAP 估计的相机位姿及稀疏点云，输出为时间连续的动态全景辐射场。整个方法通过对每个 3D 高斯核引入周期性振动位移与时间衰减不透明度构建时变状态，利用球面速度分解与纬度加权对齐全景成像几何，再借助离线全景语义分割掩码对动静态高斯进行显式解耦与特征渲染监督。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目全景视频帧 + 相机位姿"] --> B["初始化全景高斯点云<br/>COLMAP / OpenMVG 稀疏点"]
    B --> C["时变高斯参数化<br/>周期性振动位移 + 寿命衰减透明度"]
    C --> D["球面速度分解与纬度自适应加权<br/>径向/切向速度解耦与纬度权重合成"]
    D --> E["掩码引导的动静态高斯解耦<br/>OmniSAM 动态掩码 + 特征图可微光栅化"]
    E --> F["球面投影运动与速度正则化<br/>静态区速度归零 + 极向射线位移平滑"]
    F --> G["全景动态与静态图像渲染输出"]

关键设计¶

1. 球面速度分解与纬度自适应加权：消除等矩形投影非线性拉伸导致的运动失真 在常规笛卡尔坐标系下，4DGS 通常为每个高斯核直接学习一个欧氏瞬时速度向量 $\mathbf{v} \in \mathbb{R}^3$。然而全景相机基于单位球面投影成像，像素位置与空间射线方向直接对应，空间物体的运动在成像平面上表现为球面角位移而非平直的欧氏位移。直接优化单一欧氏速度向量无法解耦光线沿射线方向的前后运动（径向）与垂直于视线的侧向漂移（切向），且在等矩形展开下，高纬度区域与赤道区域的角速度具有极大的非均匀畸变。为此，Omni4DGS 将全景瞬时速度 $\mathbf{v}_{pano}$ 正交分解为径向速度 $\mathbf{v}_r$ 和切向速度 $\mathbf{v}_t$ 两个独立可学习分量，并设计了依赖纬度的非线性自适应融合机制： $$\mathbf{v}_{pano} = w_r \mathbf{v}_r + w_t \mathbf{v}_t$$ 其中高斯球心归一化坐标在垂直方向的分量为 $\hat{\mu}_y$，球面纬度角 $\theta$ 满足 $\cos\theta = \hat{\mu}_y$。切向与径向权重分别定义为： $$w_t = \left(\sqrt{1 - \hat{\mu}_y^2}\right)^\gamma, \quad w_r = 1 - w_t$$ 超参数 $\gamma$ 强化了权重的非线性分布，使得切向权重在赤道区域平滑占优，而在极区附近迅速衰减、平滑退化为径向主导。这种分解严格契合了单位球面成像的物理规律，消除了全景展开两极剧烈拉伸对运动估计的数值病态影响。

2. 掩码引导的动静态高斯解耦：打破单一光度监督下的动静态混淆困局 仅依赖 RGB 重建损失时，自监督优化极易将移动的前景物体解释为多视角下的浮空高斯噪声或半透明伪影。Omni4DGS 引入寿命与振动周期之比定义静态度系数 $\rho = \frac{\beta}{l}$，当 $\rho < \theta_{dyn}$ 时高斯被判定为动态高斯 $\mathcal{G}_d$。为了提供确定的边界监督，系统借助专为全景图像设计的语义分割模型 OmniSAM 预先提取移动前景（如行人和车辆）作为二维运动掩码先验 $M_d$。同时，算法改造了 ODGS 的全景光栅化算子，使其支持广义特征图合成： $$F = \sum_{i=1}^N f_i \alpha_i \prod_{j=1}^{i-1}(1 - \alpha_j)$$ 通过将特征 $f_i$ 设为高斯瞬时不透明度，渲染出动态高斯的累积不透明度图 $\hat{O}_d$，并施加 $L_1$ 一致性监督 $\mathcal{L}_o = \|\hat{O}_d - M_d\|_1$；对动态高斯渲染的色彩图 $\hat{C}_d$ 与真实动态区域图像 $M_d \odot C_{gt}$ 计算联合光度损失： $$\mathcal{L}_d = (1 - \lambda_d)\|\hat{C}_d - M_d \odot C_{gt}\|_1 + \lambda_d (1 - \text{SSIM}(\hat{C}_d, M_d \odot C_{gt}))$$ 两者组合形成动态总损失 $\mathcal{L}_{dynamic} = \mathcal{L}_d + \mathcal{L}_o$，强制动态高斯专注于移动目标，严禁其抢占背景区域的重构。

3. 全景投影运动与速度正则化：抑制微小角度扰动在极区与背景的误差放大 全景等矩形投影具有严苛的方向敏感性，空间中微小的角向微扰经过逆投影与球面坐标变换后，会在全景图像特定区域引发数十个像素的剧烈漂移，从而诱发背景高斯在训练过程中发生不合理的晃动。为此，Omni4DGS 提出了双重正则化策略。首先，利用特征渲染算子将每个高斯的瞬时速度合成二维平均速度图 $\hat{V}$，并在静态背景区域（由 $1 - M_d$ 标定）施加零速度惩罚： $$\mathcal{L}_v = \|(1 - M_d) \odot \hat{V}\|_1$$ 其次，对于静态高斯（$\rho \ge \theta_{dyn}$），计算其中心位置在相邻时间步归一化射线方向 $d(t) = \frac{\boldsymbol{\mu}(t)}{\|\boldsymbol{\mu}(t)\|_2}$ 的位移变化，施加时序平滑度正则项： $$\mathcal{L}_m = \|d(t + \Delta t) - d(t)\|_2^2$$ 该项强力约束了背景高斯在单位球面射线方向的抖动，使得静态建筑、道路与天空背景保持绝对凝固，从根本上消除了背景模糊与边缘闪烁。

损失函数 / 训练策略¶

整个框架端到端联合优化，总训练损失由静态背景渲染损失、动态目标监督损失以及两项运动正则化项构成： $$\mathcal{L} = \lambda_{rgb}\mathcal{L}_{rgb} + \lambda_{dyn}\mathcal{L}_{dynamic} + \lambda_v\mathcal{L}_v + \lambda_m\mathcal{L}_m$$ 其中 $\mathcal{L}_{rgb} = (1 - \lambda_{rgb})\|\hat{C} - C_{gt}\|_1 + \lambda_{rgb}(1 - \text{SSIM}(\hat{C}, C_{gt}))$ 负责全局视觉一致性重建。模型使用 Adam 优化器在单张 NVIDIA RTX 4090 GPU 上进行 30,000 次迭代训练，时序参数与空间高斯参数交替更新，确保了高动态场景下的收敛稳定性。

实验关键数据¶

主实验¶

实验在从 OmniLife360 中精选的 111 个代表性野外场景上展开，全面对比单场景优化方法 ODGS 与四种前沿的前馈泛化方法（Splatter-360、PanSplat、PanoSplatt3R、OmniSplat）。评估指标包含 PSNR、SSIM 和 LPIPS。

评估子集	方法	PSNR ↑	SSIM ↑	LPIPS ↓
输入视角重建 (Input View)	ODGS [16]	23.727	0.792	0.385
输入视角重建 (Input View)	Ours (Omni4DGS)	29.655	0.896	0.146
新视角合成 (Novel View)	ODGS [16]	20.145	0.712	0.433
新视角合成 (Novel View)	Ours (Omni4DGS)	20.640	0.624	0.335

在前馈泛化方法测试中（统一采用 10 帧一组、首尾 2 帧预测中间 8 帧协议），PanoSplatt3R 取得前馈模型中的最佳表现（PSNR 17.646 dB, SSIM 0.521, LPIPS 0.450），OmniSplat 紧随其后（PSNR 17.270 dB, SSIM 0.543, LPIPS 0.472），PanSplat 与 Splatter-360 则表现出不同程度的泛化退化。

在代表性高动态场景（集市 Market、湖泊 Lake、山地 Mountain、城市街道 Urban Street）上的多序列平均评测如下：

方法	指标	平均 (Avg.)	集市 (Market)	湖泊 (Lake)	山地 (Mountain)	城市街区 (Urban Street)
PanSplat	PSNR ↑ / LPIPS ↓	15.988 / 0.469	13.183 / 0.567	17.136 / 0.412	17.923 / 0.413	15.711 / 0.485
Splatter-360	PSNR ↑ / LPIPS ↓	15.017 / 0.517	12.660 / 0.595	15.347 / 0.477	17.439 / 0.460	14.621 / 0.536
OmniSplat	PSNR ↑ / LPIPS ↓	17.356 / 0.454	14.354 / 0.568	19.000 / 0.379	19.391 / 0.395	16.677 / 0.474
PanoSplatt3R	PSNR ↑ / LPIPS ↓	17.797 / 0.437	13.507 / 0.573	21.443 / 0.318	20.816 / 0.361	15.421 / 0.496
ODGS	PSNR ↑ / LPIPS ↓	20.492 / 0.416	16.789 / 0.505	22.596 / 0.333	22.048 / 0.404	20.535 / 0.422
Ours	PSNR ↑ / LPIPS ↓	21.519 / 0.302	17.849 / 0.381	23.727 / 0.248	22.776 / 0.264	21.722 / 0.313

消融实验¶

消融实验在 4 个代表性动态全景场景中系统验证了各核心设计的贡献。同时，论文将主流小孔相机 4DGS 架构（Deformable-GS 与 PVG）适配全景投影算子后进行了直接性能比较。

配置	PSNR ↑	SSIM ↑	LPIPS ↓	说明
去除时变不透明度 (w/o temporal opacity)	19.865	0.631	0.324	无法建模物体进入/移出视场过程，PSNR 下降 1.608 dB
去除时变运动位移 (w/o temporal motion)	20.999	0.666	0.299	缺少周期运动位移补偿，动态结构产生拖影
去除速度分解与加权 (w/o velocity decom.)	21.191	0.664	0.300	笛卡尔速度在球面高纬度区域估计失真，感知质量下降
去除动态掩码监督 (w/o dynamic mask)	20.753	0.651	0.302	纯自监督导致前景与背景产生严重伪影混淆
去除运动正则化 (w/o motion reg.)	21.023	0.659	0.302	静态背景高斯方向产生随机漂移与虚假抖动
完整模型 (Ours full)	21.473	0.679	0.285	全模块协同，各项指标均达到最优

在与 4DGS 变体的横向对比中（评估指标为 PSNR ↑）： - 自行车场景 (bike): ODGS 10.137, Deformable-GS 11.183, PVG 12.379, Ours 12.930 - 社区场景 (community): ODGS 15.154, Deformable-GS 16.641, PVG 17.168, Ours 18.063 - 道路场景 (road): ODGS 15.064, Deformable-GS 15.618, PVG 17.484, Ours 17.533 - 广场场景 (square): ODGS 17.063, Deformable-GS 19.510, PVG 21.020, Ours 21.941

关键发现¶

时序不透明度衰减是动态建模的基石：去掉时变不透明度后模型 PSNR 剧降 1.6 dB 以上。由于全景相机运动范围大，动态物体不断进入和离开视野，静态高斯的不透明度会强行将暂时出现的物体常驻化，造成多视角一致性崩溃。
感知质量（LPIPS）提升显著：在输入视角和新视角下，Omni4DGS 分别将 LPIPS 从 0.385 降至 0.146、从 0.433 降至 0.335。这表明动静态显式解耦有效去除了全景渲染中最令人厌烦的高频漂浮物与边缘撕裂。
高动态前馈模型存在鲁棒性短板：现存前馈模型在室外开阔且剧烈晃动的场景中表现脆弱，在集市和道路场景下 PSNR 均跌破 16 dB，难以直接投入日常野外用户拍摄序列的应用。

亮点与洞察¶

球面投影特化的运动参数化：将速度拆分为径向与切向，并以纬度余弦角构建非线性连续加权，巧妙解决了欧氏速度场与球面视线投射在极区畸变严重不兼容的几何痛点。
双模态协同的几何-语义基准构建管线：数据收集结合 LLM 生成长尾活动场景分类，数据剪辑融合人工精选与 TransNetV2 算法切片，确保了真实野外复杂动态下依然具备严格的几何可重构性。
特征渲染算子扩展：将 ODGS 纯 RGB 光栅化扩展为通用的特征图（深度、不透明度、速度）光栅化接口，使得 2D 语义先验与空间物理正则化能够无缝接入高斯优化反向传播流。

局限与展望¶

依赖预计算位姿与离线掩码：算法高度依赖 COLMAP 生成的稀疏 SfM 位姿及 OmniSAM 分割结果。在部分极端晃动、严重模糊或动态物体占据半球视场的场景中，COLMAP 容易产生轨迹断裂，掩码边缘抖动也会传递给高斯渲染。
计算与显存开销：单场景优化在 1K-2K 分辨率下训练 30K 步耗时较长，尚无法实现移动端或云端的准实时野外漫游重建。
未来方向：探索联合优化全景相机运动位姿的内嵌式 4D 动态 SLAM 算法，并进一步引入轻量化前馈先验以加速场景初始化。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次提出专为球面全景设计的 4DGS 运动解耦表征与野外全景基准，问题切入精准。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 2407 条野外序列、111 个详尽评测场景，对比了优化型、前馈型及 4DGS 变体，消融严谨。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述自然流畅，数学公式与几何直觉结合紧密，实验设计层层递进。
价值: ⭐⭐⭐⭐⭐ 填补了野外全景长序列三维重建基准的长期空白，开源的数据集与代码具有显著社区实用价值。