Relaxed Rigidity with Ray-based Grouping for Dynamic Gaussian Splatting

会议: ECCV 2026
论文: ECCV Official
领域: 重建与渲染
关键词: 动态高斯泼溅, 射线分组, 运动正则化, 谱正则化, 松弛刚性

一句话总结

针对单目动态 3D 高斯泼溅中外置运动先验易传导误差、传统 KNN 严格刚性约束损害非刚体形变的问题，提出利用光线 \(\alpha\) 混合权重进行无需几何近邻搜索的视线高斯分组，并联合运动方向一致性与协方差特征值谱正则化构建松弛刚性约束，在不改变模型架构与零推理开销下显著提升动态场景几何保真度与时间连续性。

研究背景与动机

利用 3D 高斯泼溅（3DGS）重构单目视频中的动态 3D 场景是当前计算机视觉与图形学领域的热门前沿。然而，单目视角天然缺乏跨视角的几何与时序运动线索，使得优化过程中高斯基元的运动轨迹严重欠约束或过约束，容易产生脱离物体真实物理机制的凌乱位移、几何形变漂移乃至悬浮伪影（floaters）。为了保证时序连贯性，现有主流方案往往高度依赖外部运动先验（如 2D 光流模型、点追踪或单目深度估计），或者采用基于 KNN 局部邻域的严格刚性假设（如局部刚体变换或 ARAP 约束）。

这些主流方案在实际物理建模中暴露出严重缺陷。一方面，外置先验模型（如光流和 2D 追踪）并非专为 3D 高斯基元的点云动力学设计，将高斯运动投影到 2D 屏幕空间后进行代理监督，在视线遮挡、镜面反射或弱纹理区域极易产生误匹配与模糊信号，这种 2D 误差会被直接反向传播并毒化 3D 几何优化；另一方面，基于欧氏距离的 KNN 聚类忽视了高斯基元自身的尺度、不透明度与遮挡关系，容易将物理相近但结构独立的物体误分为一组，且传统的严格刚体或 ARAP 等长/等角约束强行抹杀了现实世界中复杂的非刚性形变与拓扑变化。

本文的切入角度是：利用光栅化管线内部天然完成的可见性与遮挡感知排序机制来构建自适应分组，同时将刚性约束从严格的“点对点保距”松弛为“方向一致+体积形态谱分布一致”。核心 idea：利用视线光线穿透的高斯基元 \(\alpha\) 混合贡献权重自适应筛选可见局部组，并联合方向余弦相似度（放宽位移幅度）与基于 Welford 算法实时计算的位置协方差特征值谱一致性损失（保留空间分布形状且旋转不变），在完全不依赖任何外部先验的前提下实现兼顾柔性变形与物理合理性的动态高斯正则化。

方法详解

整体框架

本文提出的方法是一个完全模型无关（model-agnostic）且不依赖外置先验的正则化框架，能够无缝插入基于变形场（如 RTD、MoDec-GS、Grid4D）或基于运动轨迹基函数（如 Ex4DGS）的各种主流动态 3DGS 架构中。系统输入为单目动态视频的相机位姿与图像序列，在标准高斯光栅化渲染的同时提取沿光线的基元局部组，随后计算相邻时间步的运动位移与局部空间分布，最后在光度损失之上叠加松弛刚性正则化进行端到端优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["单目视频帧与动态高斯基元<br/>时变位置与属性参数"] --> B["基于射线的可见高斯分组<br/>按光线透射与权重筛选阈值"]
    B --> C["运动相干性正则化 MCR<br/>组内平均方向余弦对齐"]
    B --> D["谱正则化 SR<br/>Welford单趟协方差与特征值匹配"]
    C --> E["联合优化与松弛刚性约束<br/>光度损失叠加几何动力学正规化"]
    D --> E
    E --> F["高保真时序连贯4D动态场景<br/>零推理开销高斯渲染"]

如整体流程图所示，在光栅化过程中，视线光线遍历投影高斯；方法利用透射衰减权重自然过滤遮挡与背景高斯，形成表面局部的相干微团。接着，在不需要严格保距的前提下，分两路施加松弛刚性约束：一路通过运动相干性正则化保证局部运动方向的一致性；另一路通过在线递推协方差并比对特征值谱，约束局部体积与几何形状不发生畸变。二者协同促成了高斯运动与物体真实动态的对齐。

关键设计

1. 基于射线的可见高斯分组：利用光栅化内生可见性避免盲目几何聚类

传统动态点云或高斯通常依靠 3D 欧氏空间中的 KNN 寻找邻域，然而高斯基元具有各向异性尺度与可变不透明度，单纯的欧氏距离会将空间邻近但处于不同深度层级或不同遮挡面的基元错配在一起。本文巧妙复用 3DGS 固有的点基 \(\alpha\)-blending 渲染过程：对每个像素 \(p_j\) 对应的视线光线，高斯基元沿光线深度由近及远排序，第 \(i\) 个基元的实际合成贡献权重为 \(w_i = T_i (1 - e^{-\alpha_i})\)，其中 \(T_i = \exp(-\sum_{j=1}^{i-1} \alpha_j)\) 为累积透射率。本文定义基于射线的局部组为：

\[\mathcal{N}_j = \{ \mathcal{G}_i \mid w_i > \tau \}\]

当光线穿过前景不透明表面时，累积透射率 \(T_i\) 骤降，从而使得遮挡阈值 \(\tau\) 自动剔除后方不相关的背景基元，精准筛选出位于未遮挡表面的空间连续高斯。该策略完全在渲染单趟中免费获得，自适应匹配局部几何复杂度，无需高昂的全局空间索引搜索。

2. 运动相干性正则化（MCR）：放宽位移幅度的局部运动方向对齐

获取光线组 \(\mathcal{N}_j\) 后，针对动态基元在时间间隔 \(\Delta t\) 内的位移向量 \(\mathbf{d}_{i,t} = \boldsymbol{\mu}_{i,t+\Delta t} - \boldsymbol{\mu}_{i,t}\)，传统刚性假设强制要求相邻点位移完全相同，这在物体发生局部拉伸、弯曲等非刚性交互时必然失效。本文提出仅约束运动方向的余弦相似度，允许基元拥有不同的运动速率与位移幅度。计算局部组内平均位移向量 \(\bar{\mathbf{d}}_{\mathcal{N}_j,t} = \frac{1}{|\mathcal{N}_j|} \sum_{\mathcal{G}_i \in \mathcal{N}_j} \mathbf{d}_{i,t}\)，并定义运动相干性损失：

\[\mathcal{L}_{\mathrm{MCR}} = 1 - \frac{\mathbf{d}_{i,t} \cdot \bar{\mathbf{d}}_{\mathcal{N}_j,t}}{\lVert \mathbf{d}_{i,t} \rVert \lVert \bar{\mathbf{d}}_{\mathcal{N}_j,t} \rVert + \epsilon}\]

该项仅施加给运动位移模长超过 \(0.0001\) 的活跃高斯基元，确保对静止背景不引入误导约束。这种方向层面的松弛既消除了不同高斯间的杂乱互撞和独立震荡，又保留了非刚性形变的空间自适应性。

3. 谱正则化（SR）：基于特征值匹配的旋转不变局部形状保持

MCR 规范了局部轨迹流向，但无法防止高斯点群在运动中发生结构畸变或发散崩解。经典的 ARAP（As-Rigid-As-Possible）点对点约束对动态形变极度敏感且计算繁重。本文提出谱正则化（Spectral Regularization），核心思想是通过比对局部组点集在时间 \(t\) 与 \(t+\Delta t\) 的 3D 协方差矩阵特征值谱，来维持基元微团的空间几何分布。令 \(\mathbf{K}_t\) 与 \(\mathbf{K}_{t+\Delta t}\) 分别为组内高斯中心坐标的协方差矩阵，其升序排列的特征值为 \(\sigma_{t,r}\) 与 \(\sigma_{t+\Delta t,r}\)（\(r \in \{1, 2, 3\}\)），损失函数定义为 Huber 距离：

\[\mathcal{L}_{\mathrm{SR}} = \sum_{r=1}^3 \mathrm{Huber}\bigl(\sigma_{t,r}, \sigma_{t+\Delta t,r}\bigr)\]

特征值谱天然具备 3D 刚体旋转与平移不变性，仅度量局部椭球分布的主轴方差尺寸。因此它不惩罚物体的旋转和柔性运动，但一旦个别异常高斯因局部欠约束而脱离群落、或者群落发生非物理坍缩，特征值将显著改变并受到 Huber 惩罚，从而在宏观上锁住局部形状结构。

4. Welford 算法在线协方差递推：单趟光栅化的高效嵌入

为了在 GPU 上将协方差计算无缝嵌入光栅化而不增加多次遍历的显存与时间开销，本文引入了 Welford 增量算法。在遍历光线上的 \(N\) 个高斯基元时，维护运行均值 \(\bar{\boldsymbol{\mu}}_i = \frac{1}{i}\sum_{j=1}^i \boldsymbol{\mu}_j\)，协方差矩阵 \(\mathbf{K}_i\) 在纳入第 \(i\) 个基元时仅需常数步更新：

\[\mathbf{K}_i = \frac{i-1}{i}\mathbf{K}_{i-1} + \frac{1}{i}\mathbf{P}_i, \quad \mathbf{P}_i := (\boldsymbol{\mu}_i - \bar{\boldsymbol{\mu}}_{i-1})(\boldsymbol{\mu}_i - \bar{\boldsymbol{\mu}}_i)^\top\]

这使得局部组的协方差可以在光线追溯和像素融合时并行、单趟完成更新，大幅降低了计算与显存开销，使得基于特征值的谱正则化在密集训练迭代中具备极高的实用工程价值。

损失函数 / 训练策略

网络的总训练目标建立在原始 3DGS 的 \(L_1\) 光度损失与结构解聚损失 \(\mathcal{L}_{\mathrm{dssim}}\) 之上，结合所提出的运动与谱正则化项：

\[\mathcal{L} = (1 - \lambda_{\mathrm{dssim}}) \mathcal{L}_1 + \lambda_{\mathrm{dssim}} \mathcal{L}_{\mathrm{dssim}} + \lambda_{\mathrm{MCR}} \mathcal{L}_{\mathrm{MCR}} + \lambda_{\mathrm{SR}} \mathcal{L}_{\mathrm{SR}}\]

训练时设置时间步偏移采样 \(\Delta t\)，在每个迭代中同时作用于可见光线组；由于本方法纯粹作为训练正则化项起作用，在模型推理与静态/动态渲染测试时直接执行标准高斯光栅化，带来零额外推理计算与显存开销。

实验关键数据

主实验

论文在合成数据集 D-NeRF 以及真实极具挑战性的单目数据集 HyperNeRF 和 NeRF-DS 上进行了广泛对比，基线模型涵盖基于形变场的 RTD、MoDec-GS、Grid4D 以及基于样条曲线的 Ex4DGS。

数据集 / 基线模型	指标体系 (PSNR↑ / SSIM↑ / LPIPS↓)	原始基线表现	叠加本文方法 (+Ours)	性能增益 (\(\Delta\) PSNR)
D-NeRF (Ex4DGS)	PSNR / SSIM / LPIPS_V	29.93 / 0.968 / 0.041	31.04 / 0.972 / 0.038	+1.11 dB
D-NeRF (RTD)	PSNR / SSIM / LPIPS_V	35.36 / 0.985 / 0.022	36.46 / 0.987 / 0.019	+1.10 dB
D-NeRF (MoDec-GS)	PSNR / SSIM / LPIPS_V	29.33 / 0.963 / 0.048	31.68 / 0.974 / 0.035	+2.35 dB
D-NeRF (Grid4D)	PSNR / SSIM / LPIPS_V	42.00 / 0.994 / 0.008	42.20 / 0.994 / 0.008	+0.20 dB
HyperNeRF (Ex4DGS)	PSNR / MS-SSIM / LPIPS_A	24.61 / 0.829 / 0.199	24.86 / 0.836 / 0.233	+0.25 dB
HyperNeRF (RTD)	PSNR / MS-SSIM / LPIPS_A	25.17 / 0.841 / 0.283	25.30 / 0.845 / 0.273	+0.13 dB
HyperNeRF (MoDec-GS)	PSNR / MS-SSIM / LPIPS_A	24.92 / 0.841 / 0.176	25.09 / 0.846 / 0.173	+0.17 dB
HyperNeRF (Grid4D)	PSNR / MS-SSIM / LPIPS_A	25.50 / 0.783 / 0.185	25.56 / 0.856 / 0.198	+0.06 dB (MS-SSIM大幅+0.073)
NeRF-DS (MoDec-GS)	PSNR / SSIM(MS) / LPIPS_V	22.93 / 0.822(0.851) / 0.229	23.76 / 0.848(0.885) / 0.184	+0.83 dB
NeRF-DS (Grid4D)	PSNR / SSIM(MS) / LPIPS_V	23.41 / 0.833(0.872) / 0.196	23.70 / 0.840(0.882) / 0.188	+0.32 dB

消融实验

基于 RTD 基线模型在 D-NeRF 与 HyperNeRF 数据集上系统性评估聚类机制（KNN vs 视线射线分组 RG）以及不同正则化项（严格 ARAP、MCR、SR）的作用：

分组策略与正则化配置	D-NeRF PSNR↑	D-NeRF SSIM↑	D-NeRF LPIPS_V↓	D-NeRF 训练耗时 (s)	HyperNeRF PSNR↑	HyperNeRF MS-SSIM↑	HyperNeRF 训练耗时 (s)
RTD Baseline (无正则化)	35.36	0.9845	0.0224	841	25.17	0.8413	1963
RTD + KNN & ARAP	34.80	0.9828	0.0258	1484	23.18	0.7532	5808
RTD + KNN & Full (MCR+SR)	33.29	0.9771	0.0290	2044	25.11	0.8390	9586
RTD + RG & ARAP	35.27	0.9844	0.0216	2125	25.25	0.8430	13096
RTD + RG & MCR (仅运动相干)	36.23	0.9866	0.0190	1649	24.23	0.8449	4454
RTD + RG & SR (仅谱分布)	34.98	0.9841	0.0220	1501	24.91	0.8331	6694
RTD + RG & Full (本文完整模型)	36.46	0.9869	0.0193	1924	25.30	0.8564	7138

关键发现

• KNN 分组的致命局限：在 KNN 分组下无论搭配 ARAP 还是 Full 正则化，指标均出现剧烈下跌（例如在 HyperNeRF 上 RTD+KNN&ARAP PSNR 从 25.17 跌至 23.18，MS-SSIM 从 0.8413 骤降至 0.7532）。这是因为欧氏近邻强行捆绑了具有遮挡关系或不同深度的无关基元，引发大面积伪影。
• MCR 与 SR 的协同互补机制：单加 MCR 在简单线性运动的 D-NeRF 上提升显著（35.36 \(\to\) 36.23），但在复杂现实运动的 HyperNeRF 上因缺乏形状保护出现性能下降（25.17 \(\to\) 24.23）；单加 SR 则无法独立驱动运动对齐。只有两者在射线分组下协同结合（RG & Full），才能在两个数据集上同时取得最优表现。
• 训练开销可控：RG & Full 在保持高品质渲染的同时，相比 KNN 分组在训练时间上节省了 6% 到 25% 的时间（HyperNeRF 耗时 7138 秒对比 KNN 9586 秒），且测试渲染阶段完全零额外成本。

亮点与洞察

• 将体积渲染权重作为天然可见性聚类器：摆脱了依赖外置几何近邻（KNN）的惯性思维，直接利用光栅化管线内的 \(\alpha\) 混合权重与遮挡累积剔除机制筛选共面与未遮挡的高斯基元。这种软投影分组天然与相机视角感知一致且开销极低。
• 从点对点保距进化到特征值谱匹配的松弛刚性：传统的局部刚性（如 ARAP）对复杂的非刚性伸缩与旋转具有破坏性约束。本文采用协方差矩阵的特征值谱一致性，不仅保持旋转平移不变性，更从统计学层面锁定了局部体积形态，为非刚体动态重建提供了全新的几何正则化范式。
• 无先验纯视觉驱动：完全摆脱了光流网络或单目深度估计等外置大模型的束缚，避免了 2D 代理监督在镜面反光和遮挡场景下的误差累积，证明了基于物理直觉的几何自正则化能够达到甚至超越依赖昂贵先验的方案。

局限与展望

• 训练时间相比原始未约束基线仍有增加：由于每个反向传播迭代都需要进行局部协方差累加与特征值分解（SVD），训练时长相比原生 baseline 增加了约 1.5 到 2 倍。
• 极端遮挡与极薄半透明界面的敏感性：阈值 \(\tau\) 的选择需要权衡；如果物体呈现极其微弱的体积烟雾或高频半透明交织，基于固定阈值的权重筛选可能会遗漏贡献度低但结构重要的弱反射高斯。
• 更精细的物理动力学扩展：当前模型仅考虑相邻两帧的松弛位移与协方差，未来可进一步引入更高阶的时间导数（加速度、物理守恒律等），使高速剧烈形变的模拟更为真实。

相关工作与启发

• vs SC-GS / Dynamic 3D Gaussians (KNN & ARAP 路线)：传统方法依赖 KNN 建立邻域并采用 ARAP 刚性变形约束；本文指出 KNN 忽视尺度/透明度且 ARAP 限制非刚体形变，本文以光线投射分组与谱正则化取代，不仅消除遮挡错配，且保留了弹性形变自由度。
• vs MotionGS / Shape of Motion (外置先验路线)：此类方法借由 2D 光流（如 RAFT/GMFlow）或 2D 轨迹追踪器（如 CoTracker）作为 4D 场训练的损失引导；本文的方法完全内部闭环，在不调用任何预训练模型的前提下克服了光流在镜面反射场景（如 NeRF-DS）中频频崩溃的瓶颈。

评分

• 新颖性: ⭐⭐⭐⭐☆ (将视线累积权重用于天然高斯聚类，并结合特征值谱正则化替代传统刚性约束，思路精巧极具启发性)
• 实验充分度: ⭐⭐⭐⭐⭐ (跨越 4 种基线模型、3 个主流单目基准、覆盖详尽消融与轨迹可视化分析)
• 写作质量: ⭐⭐⭐⭐⭐ (问题定义明确，理论公式与 Welford 算法递推严谨自洽，论证逻辑环环相扣)
• 价值: ⭐⭐⭐⭐⭐ (即插即用且零推理开销，为单目动态高斯渲染提供了极其鲁棒的通用几何动力学正则化基座)

相关论文

• [ECCV 2026] Multi4D: High-Fidelity Dynamic Gaussian Splatting via Multi-Level Competitive Allocation
• [ECCV 2026] MVFusion-GS: Motion-Variance Guided Temporal Attention for High-Quality Dynamic Gaussian Splatting
• [ECCV 2026] KineticGS: Momentum-driven Coherent 4D Gaussian Splatting for Monocular Dynamic Scene Reconstruction
• [CVPR 2026] SpeeDe3DGS: Speedy Deformable 3D Gaussian Splatting with Temporal Pruning and Motion Grouping
• [CVPR 2026] Space-Time Forecasting of Dynamic Scenes with Motion-aware Gaussian Grouping