KoalaGS: Complexity-Aware Continuous Level of Detail for Gaussian Splatting¶

会议: NeurIPS 2026
arXiv: 2610.28615
论文: https://arxiv.org/abs/2610.28615
代码: https://rdbch.github.io/koalags
领域: 重建与渲染
关键词: 高斯泼溅、连续细节层次、图像复杂度、自适应重定位、前缀渲染

一句话总结¶

针对 3D 高斯泼溅在计算预算缩减时图元退化失真问题，KoalaGS 提出以训练前图像局部复杂度为先验，结合复杂度偏置重定位、尺度与复杂度调制的图元重要度排序及空间残差方差损失，实现高质量、平滑且支持渐进式流传输的连续细节层次（LoD）渲染。

研究背景与动机¶

3D 高斯泼溅（3DGS）凭借各向异性显式高斯图元与高效的光栅化管线，在实时新视点合成中取得了突破性进展。然而，在边缘设备部署、网络带宽波动及异构计算资源的真实场景中，系统往往要求同一组训练好的高斯图元能够在动态缩减的计算预算下自适应渲染。这种连续细节层次（Continuous Level of Detail, LoD）的核心挑战在于：当可用高斯图元数量从完整容量按比例削减时，应当保留哪些核心图元，才能使场景几何结构与视觉表现平稳退化而非瞬间崩塌。现存方法要么依赖不透明度（Opacity）做截断，要么依赖两阶段训练的预算条件选择器，前者无法反映图元的真实空间覆盖价值，后者则因破坏前缀可渲染（Prefix-Renderable）特性而无法实现真正的单次传输渐进式流式渲染。

这种失效的根源在于 3DGS-MCMC 等现代优化机制与前缀截断之间存在结构性错配。在先导研究中，作者深入分析了 140 个场景的 DL3DV 数据集，发现视觉复杂度低（如平坦墙面、路面）与复杂度高（如繁复纹理、细碎植物）的区域，在单纯按不透明度截断时退化速率几乎相同（PSNR 分别下降约 58% 和 62%）。究其原因，优化器在平坦区域倾向于堆叠大量低不透明度高斯来拟合颜色，缺乏将其归并为大范围图元的机制；而在极低预算截断时，这些简单区域反而率先丢失表面覆盖，产生大面积破洞（Holes）。

本文的切入角度是：优化前仅从输入多视角图像计算出的局部图像复杂度（Delentropy），在 2D 像平面和多视角反投影聚合的 3D 空间中，均与最终重建误差呈现高度负相关（Pearson 相关系数分别达 -0.65 与 -0.68），因而复杂度本身就是现成且零开销的重建难易度空间先验。核心 idea：将多视角图像复杂度先验引入 3DGS 训练全流程，通过复杂度偏置的密度重定位将图元向高难度区域迁移，在推理时利用结合空间尺度与复杂度的加权公式优先保留简单区域的大尺度图元，并配合跨 LoD 残差方差正则项实现全局平滑且防破洞的连续细节层次渲染。

方法详解¶

整体框架¶

KoalaGS 面向连续细节层次 3DGS，给定多视角图像训练集 $\mathcal{D}=\{(I_i, \Pi_i)\}_{i=1}^M$，目标是训练单一高斯集合 $\mathcal{G}=\{g_j\}_{j=1}^N$，使得在任意连续计算预算比例 $\tau \in (0, 1]$ 下，仅选取重要度得分最高的前缀子集 $\mathcal{G}_\tau \subseteq \mathcal{G}$（大小为 $\lceil \tau N \rceil$）即可渲染出结构完整、视觉保真的图像。

整个管线分为离线复杂度预计算、在线复杂度指数移动平均更新、双重前向渲染与自适应重定位，以及前缀排序推理四个阶段： 1. 预计算与在线更新：在优化开始前，从多视角输入图像中计算基于差分熵（Delentropy）的 2D 局部复杂度图并缓存。训练过程中，每次全容量渲染后，将高斯粒子中心投影到当前相机视锥，通过指数移动平均（EMA）在线维护每个高斯的标量复杂度估计值。 2. 复杂度偏置的自适应密度控制：在 3DGS-MCMC 的马尔可夫链重定位机制中，引入按复杂度指数加权的采样概率，驱使冗余图元向重建困难的高复杂度区域聚集，同时配合复杂度丢弃（Dropout）避免陷入局部最优。 3. 复杂度与尺度调制的图元重要度排序：在推理排序时，将不透明度、归一化尺度以及局部复杂度解耦融合，使平坦简单区域依赖大尺度基元维持场景宏观几何覆盖，而在高频细节区域则依托不透明度保留微观高频纹理。 4. 跨 LoD 空间残差方差损失：在训练步中动态采样随机预算 $\tau \sim \mathcal{U}(0, 1)$，联合计算全容量与子预算下的光度误差，并惩罚二者误差残差的空间方差，迫使退化在视场内均匀分布。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像输入"] --> B["复杂度先验计算<br/>离线提取 2D 差分熵特征图"]
    B --> C["高斯属性在线更新<br/>多视角投影与 EMA 追踪 3D 复杂度"]
    C --> D["复杂度偏置的图元重定位<br/>自适应向高误差难区迁移高斯"]
    D --> E["尺度与复杂度调制的排序评分<br/>简单区保大图元防破洞 + 复杂区重不透明度"]
    E --> F["残差方差正则与多预算渲染<br/>惩罚局部骤降实现全域平滑退化"]
    F --> G["连续 LoD 前缀渲染输出<br/>单一排序支持 0.1% 至 100% 渐进式流传输"]

关键设计¶

1. 复杂度偏置的图元重定位：基于重建难度先验的自适应密度控制

标准 3DGS-MCMC 在进行图元重定位时，直接以粒子不透明度作为重定位采样概率 $p(g_j)=\alpha_j$。然而，未充分收敛的疑难区域可能尚未累积足够的不透明度，导致优化器盲目向已收敛区域过度分配算力。由于先导实验证明图像差分熵与重建误差存在强负相关，KoalaGS 将归一化复杂度 $\tilde{C}_j \in [0, 1]$ 融入重定位采样分布中： $$p(g_j) = \alpha_j \cdot \exp(\tilde{C}_j)$$ 采用指数项 $\exp(\cdot)$ 精确契合了先导实验中图元密度随复杂度呈指数级增长的分布特性，促使高斯图元向纹理繁复、高频误差集中的区域转移。为防止图元永久坍缩在固定的复杂高频区域，模型引入丢弃率 $\delta = 0.2$ 的复杂度丢弃机制（Complexity Dropout），以 $\delta$ 的概率将 $\tilde{C}_j$ 置零，退回纯不透明度采样，从而保证全局几何表面的探索鲁棒性。

2. 尺度与复杂度调制的排序评分：兼顾几何覆盖度与高频细节的连续截断机制

常规连续 LoD 方法仅依据不透明度排序 $S(g_j) = \alpha_j$，这忽略了图元的实际几何支撑尺寸。在计算预算大幅缩减（如 $\tau < 1\%$）时，大面积均匀区域内中等不透明度的平坦基元被无差别滤除，导致背景和开阔平面出现大面积穿透空洞（Holes）。KoalaGS 将不透明度、最大归一化尺度 $s(g_j)$ 与局部复杂度有机结合，定义全新的图元重要度评分函数： $$S(g_j) = \alpha_j + \lambda \cdot \frac{s(g_j)}{\exp(\tilde{C}_j(\mu_j))}$$ 其中超参数固定为 $\lambda = 2$。该设计在不同区域展现出双重互补行为：在低复杂度平坦区域，$\tilde{C}_j \to 0$，分母 $\exp(\tilde{C}_j) \to 1$，尺度项权重得以充分释放，大尺度图元获得高排序优先级，仅需极少量图元即可快速锚定整个场景的粗糙几何外观；而在高复杂度精细区域，$\exp(\tilde{C}_j)$ 显著压制尺度项的影响，防止体积过大、易引起虚影模糊的图元被错误拔高，评分自然退化为主导高频保真度的不透明度项。

3. 跨 LoD 空间残差方差正则化：抑制局部断崖式崩溃的平滑退化约束

在连续 LoD 训练中，优化器在全容量（$\tau=1$）下能够调动全体图元拟合视点，而在采样子预算（$\tau < 1$）下仅能调用通过重要度排序筛选出的前缀子集。如果仅独立监督两个视角的重建损失，存活图元容易在不同预算间产生参数偏移，导致特定区域在降级时突变失真。KoalaGS 在每一优化步同时计算全容量渲染误差 $\mathcal{E}(I_i^{\text{full}})$ 与子预算渲染误差 $\mathcal{E}(I_i^\tau)$，构建二者的像素级重建误差残差 $\Delta_i(u) = \mathcal{E}(I_i^{\text{full}}(u)) - \mathcal{E}(I_i^\tau(u))$，并通过最小化残差的空间方差来迫使退化误差在图像空间中均匀发散： $$\mathcal{L}_{\text{var}} = \mathrm{Var}_{u \in \Omega} (\Delta_i(u))$$ 该正则项有效抹平了跨层次细节变化中的局部剧烈退化，使得连续 LoD 切换时视觉过渡更加平稳自然。

损失函数 / 训练策略¶

场景优化共进行 30,000 步。在前 500 步仅进行全容量渲染以建立稳定的基础几何；随后各步均执行双重渲染，其中子预算在每步从连续均匀分布 $\tau \sim \mathcal{U}(0, 1)$ 中独立采样。总优化目标函数包含双重光度重建损失、空间残差方差正则以及图元稀疏度正则项： $$\mathcal{L} = \frac{1}{2} \Big( \mathcal{L}_{\text{rec}}(\hat{I}_i^{\text{full}}, I_i) + \mathcal{L}_{\text{rec}}(\hat{I}_i^\tau, I_i) + \lambda_{\text{var}} \mathcal{L}_{\text{var}} \Big) + \lambda_\alpha \bar{\alpha} + \lambda_\sigma \bar{\sigma}$$ 其中 $\mathcal{L}_{\text{rec}}$ 为 3DGS 标准的 $L_1 + \text{D-SSIM}$ 重建损失，$\bar{\alpha}$ 和 $\bar{\sigma}$ 分别为全体图元的平均不透明度与平均尺度正则项，权重超参数分别配置为 $\lambda_{\text{var}} = 2.0$、$\lambda_\alpha$ 与 $\lambda_\sigma$。新生成或尚未被训练视锥覆盖的图元，其复杂度初始置为最小值，待 EMA 更新稳定后再融入加权。

实验关键数据¶

主实验¶

评估涵盖 Mip-NeRF 360（7 个场景）、Tanks and Temples（2 个场景）以及 Deep Blending（2 个场景），对比 3DGS-MCMC、LightGaussian、Matryoshka-GS（MGS）、FlexGS 和 OctreeGS 等前沿基线。实验覆盖对数等间距的 4 个关键容量梯度（100%、10%、1%、0.1%）。

数据集	方法	100% 容量 PSNR/SSIM	10% 容量 PSNR/SSIM	1% 容量 PSNR/SSIM	0.1% 容量 PSNR/SSIM
Deep Blending	3DGS MCMC	29.70 / 0.907	24.36 / 0.792	16.81 / 0.656	12.67 / 0.601
Deep Blending	LightGaussian	29.73 / 0.907	26.21 / 0.849	19.59 / 0.742	15.26 / 0.675
Deep Blending	MGS	29.29 / 0.905	28.61 / 0.888	23.28 / 0.800	16.58 / 0.692
Deep Blending	Ours (KoalaGS)	29.92 / 0.911	29.05 / 0.890	23.40 / 0.798	17.81 / 0.720
Mip-NeRF 360	3DGS MCMC	29.80 / 0.893	20.58 / 0.647	14.14 / 0.383	11.06 / 0.267
Mip-NeRF 360	LightGaussian	29.89 / 0.897	21.06 / 0.669	15.81 / 0.475	13.01 / 0.377
Mip-NeRF 360	MGS	29.55 / 0.890	26.97 / 0.797	20.17 / 0.544	14.49 / 0.393
Mip-NeRF 360	Ours (KoalaGS)	29.80 / 0.893	27.82 / 0.822	21.14 / 0.566	16.04 / 0.459
Tanks & Temples	3DGS MCMC	24.43 / 0.866	18.52 / 0.670	11.96 / 0.404	8.92 / 0.306
Tanks & Temples	LightGaussian	24.46 / 0.863	19.17 / 0.680	13.21 / 0.453	9.52 / 0.351
Tanks & Temples	MGS	24.40 / 0.864	22.16 / 0.755	16.66 / 0.536	12.10 / 0.410
Tanks & Temples	Ours (KoalaGS)	24.65 / 0.868	22.97 / 0.785	17.38 / 0.551	11.56 / 0.413

消融实验¶

在 Mip-NeRF 360 数据集上对复杂度偏置密度控制（Dens.）、复杂度调制评分（Score）以及空间残差方差正则（Var.）进行逐模块完整解耦消融评估，考察全谱曲线下面积（AUC，在 [0.1%, 100%] 间基于 28 个采样点梯形积分）与 100% 全容量指标：

配置	Dens.	Score	Var.	AUC PSNR ↑	AUC SSIM ↑	AUC LPIPS ↓	100% PSNR ↑	100% SSIM ↑	说明
Baseline (None)	✗	✗	✗	28.74	0.855	0.196	29.55	0.863	基础 MCMC 模型
Single (Dens)	✓	✗	✗	28.81	0.859	0.190	29.79	0.889	显著增强全容量质量与空间密度分布
Single (Score)	✗	✓	✗	28.94	0.861	0.188	29.62	0.882	单模块中提供最高的 AUC 提升
Single (Var)	✗	✗	✓	28.79	0.855	0.190	29.59	0.870	单独使用收益较小
Pair (Dens+Score)	✓	✓	✗	28.99	0.862	0.187	29.75	0.885	双组件中最强组合
Pair (Dens+Var)	✓	✗	✓	28.75	0.850	0.197	29.70	0.877	缺乏评分引导时方差项收益有限
Pair (Score+Var)	✗	✓	✓	28.95	0.860	0.189	29.71	0.880	平滑度改善但缺少图元位置适配
Full Model	✓	✓	✓	29.09	0.867	0.184	29.80	0.893	协同达到最优全谱表现与巅峰指标

关键发现¶

低算力极端压缩下优势显著：在 0.1% 极限算力场景下，KoalaGS 在 Mip-NeRF 360 上的 PSNR 达到 16.04 dB，大幅超越 3DGS MCMC（11.06 dB，崩塌失效）和 MGS（14.49 dB，领先 1.55 dB）。场景破洞分析表明，在 Bonsai 场景的 0.1% 预算下，MGS 产生了 83,341 个空洞像素（累积不透明度 $<0.05$），而 KoalaGS 仅产生 20,765 个，破洞数量减少 75%。
模块分工协同明晰：复杂度引导重定位（Dens.）对巅峰全容量质量提升最为突出（PSNR 从 29.55 跃升至 29.79 dB），而重要度评分（Score）则是全谱曲线下面积（AUC）跃升的决定性因素；方差损失（Var.）则负责压制跨层级瞬变抖动，三者融合带来最大的全谱积分质量。
流式传输 Time-to-Quality 翻倍突破：在 50 Mbps 模拟 5G 传输中，针对 Bonsai 场景，非前缀式方法 FlexGS 每次调整 LoD 必须重新拉取全部数据，耗时达 344 秒；而 KoalaGS 仅需 1.47 秒即可达到 25 dB，2.95 秒达到 28 dB，相比 MGS（达到 28 dB 需 3.93 秒）显著提速，且极早为客户端提供了结构完整的初始场景预览。

亮点与洞察¶

将多视角图像复杂度前置转化为隐式 3D 几何先验：不同于常规后处理剪枝或黑盒学习权重，该方法巧妙利用未经训练的输入视角 2D 差分熵，经多视角几何反投影在线维护 3D 图元复杂度，以几乎为零的计算代价指引了空间图元在不同细节层次的生死存留。
解耦“大图元保覆盖”与“高不透明度保细节”：提出尺度除以复杂度指数项的简洁打分结构，让简单平面上的大尺寸图元在极低预算下免遭误杀，彻底解决了高斯泼溅在连续 LoD 裁剪时背景易产生大面积漏洞的技术顽疾。
全前缀可渲染性赋予渐进式流传输巨大实用价值：无需为离散层级保存重复副本或在推理阶段执行额外神经网络前向选择器，图元按固定序列排列，到达即渲染，为云端渲染分发与 XR 动态串流提供了极其适配的架构模式。

局限与展望¶

复杂度先验忽略视点依赖特性与语义显著性：输入图像复杂度是静态视点低阶图像统计特征，无法预判强视点依赖的高光反射变化，对低纹理但在语义上极关键的小目标（如平滑小物体）也缺乏专门保护。
低预算下大图元的光栅化填充开销相对较高：由于重要度评分在简单区域刻意保留了大尺度高斯以防止空洞，大图元在屏幕空间中覆盖的瓦片（Tiles）较多，使得其在 0.1% 极限算力下的帧率提升幅度不如直接依赖小图元的 MGS 激进（室外场景 874 FPS vs MGS 的 1,151 FPS）。
抗锯齿能力仍未完全闭环：该设计属于全局、视点无关的连续 LoD，当相机拉至远距离或以超低分辨率渲染时，大图元依然可能产生欠采样与走样失真，未来可探索与 Mip-Splatting 等自适应滤波机制的深度结合。

评分¶

新颖性: ⭐⭐⭐⭐☆ 首次系统揭示了图像复杂度与 3DGS 空间误差分布的内在关联，设计了优雅简练的先验引导连续 LoD 机制。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 140 个场景先导统计、三大基准、28 个细密采样点的 AUC 积分、空洞像素统计与实际 5G 流式模拟，证据极为扎实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑层层推进，从先导实验揭示错配，到算法针对性设计与全谱严谨评测，行文流畅自洽。
价值: ⭐⭐⭐⭐⭐ 对 3DGS 在边缘算力适配、实时 XR 串流与动态网络自适应分发等工程落地场景具有重大实用价值。