Complexity-guided Regularization for Generalizable Human Gaussian Splatting¶

会议: NeurIPS 2026
arXiv: 2610.35152
论文: https://arxiv.org/abs/2610.35152
代码: https://github.com/DCVL-3D/CGR-GS_release
领域: 人体理解
关键词: 通用人体高斯泼溅, 3D高斯泼溅, 复杂度引导正则化, 局部熵, 块级监督

一句话总结¶

针对通用人体高斯泼溅在高频复杂细节区域容易欠采样致糊的痛点，提出通过着衣人体网格的几何与纹理局部香农熵构建复杂度先验，结合成对单调排序正则化自适应分配高斯密度与重要性补丁采样，实现高质量且实时的未见人体新视角合成。

研究背景与动机¶

基于多视角图像的人体三维重建与实时新视角合成在虚拟现实、远程呈现、游戏以及数字人内容创作中具有重要应用价值。近年来，3D 高斯泼溅（3DGS）凭借逼真的辐射场表达与极快的栅格化渲染速度成为该领域的主流范式。然而，经典的人体 3DGS 方法（如 HUGS、GART、GaussianAvatar 等）严重依赖逐个测试目标的优化过程（per-subject optimization），面对未见人体（unseen subjects）时无法直接前向推理，必须耗费大量算力与时间重新训练，极大限制了其在实际落地场景中的泛化部署。

为克服上述瓶颈，学术界开始探索通用型前向人体高斯泼溅（generalizable human Gaussian splatting）。这类方法通常借助显式几何或结构先验在单次前向传播中回归高斯属性，例如利用相邻视角极线匹配约束（GPS-Gaussian、EVA-Gaussian）或人体骨骼蒙皮模板（RoGSplat、GHG）。然而，先前的通用方法在决定高斯基元的空间布局时，往往将高斯点均匀绑定在规则像素网格或预定义的蒙皮网格顶点上，其空间分布密度主要受制于图像分辨率或固定网格分辨率，未曾针对人体各部位固有的视觉与结构复杂程度进行自适应调控。

人体表面在结构与外观上具有极其显著的多尺度复杂性差异：平坦的衣服大块区域几何平滑且色彩均一，而手指、面部器官以及富有褶皱纹理的着装区域具有极高的高频细节。由于高斯基元天然具备空间平滑性，低密度分布难以还原高频高曲率结构，导致现有方法在手指和纹理衣物处频繁产生模糊与伪影；与此同时，整图均匀监督也使得占比极小的高频复杂区域极易被外围大面积平坦区域的梯度主导。核心 idea：利用着衣人体网格法向量与纹理色彩的局部香农熵定义多尺度复杂度先验，通过成对单调排序损失驱动高斯空间密度正相关匹配局部复杂度，并配合复杂度引导的局部补丁自适应训练，实现结构关键细节的高保真重建。

方法详解¶

整体框架¶

本文提出的 CGR-GS（Complexity-guided Regularization for Generalizable Human Gaussian Splatting）整体流程包括多视角特征编码、前景 Token 筛选、高斯属性前向解码、复杂度先验构建、成对排序正则化以及复杂度感知补丁监督等核心模块。系统输入为着衣人体的 $N$ 张多视角 RGB 图像、对应的 Plücker 射线图以及前景人体二值掩码，经过轻量级 Transformer 编码器与线性投影解码器，单次前向预测全部三维高斯属性，最终栅格化生成目标视角图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角图像 + Plücker 射线图<br/>前景掩码过滤非人体背景"] --> B["多尺度几何与纹理复杂度先验<br/>表面法向与色彩局部香农熵"]
    B --> C["高斯属性前向解码<br/>Transformer 预测每 Token 64 个高斯"]
    C --> D["成对单调排序正则化<br/>驱动局部高斯密度正相关于复杂度"]
    D --> E["复杂度感知补丁自适应监督<br/>渐进式多尺度局部精细训练"]
    E --> F["目标视角高保真渲染输出<br/>实时栅格化 (>30 FPS)"]

关键设计¶

1. 多尺度几何与纹理复杂度先验：融合表面曲率变化与色彩多样性的局部香农熵 为给网络提供明确的高斯局部密度引导信号，模型首先在着衣人体网格 $\mathcal{M}=(\mathbf{V}, \mathbf{F}, T)$ 上量化每个顶点 $\mathbf{v}_i$ 的局部复杂度 $c_i \in [0, 1]$。针对几何曲率，计算以顶点 $\mathbf{v}_i$ 为中心、半径 $r$ 的局部邻域内法向量的角度偏离程度，统计直方图分布并计算归一化香农熵得到几何复杂度 $H^{\text{geo}}_i$；针对纹理细节，提取 UV 纹理图色彩差异，以色彩空间欧氏距离分布的归一化香农熵计算纹理复杂度 $H^{\text{tex}}_i$： $$H^{\text{geo}}_{i}=-\frac{1}{\log_{2}B}\sum_{b=1}^{B}p^{\text{geo}}_{b}\log_{2}p^{\text{geo}}_{b}, \quad H^{\text{tex}}_{i}=-\frac{1}{\log_{2}B}\sum_{b=1}^{B}p^{\text{tex}}_{b}\log_{2}p^{\text{tex}}_{b}$$ 为捕获跨空间尺度的丰富结构，算法在三个不同半径（分别设为包围盒对角线长度的 0.02、0.01 与 0.005 倍）下计算并平均得到多尺度复杂度 $\bar{H}^{\text{geo}}_i$ 与 $\bar{H}^{\text{tex}}_i$。最终采用最大值操作 $c_i = \max(\bar{H}^{\text{geo}}_i, \bar{H}^{\text{tex}}_i)$ 融合两者，确保只要区域存在剧烈的几何褶皱或剧烈的纹理变化之一，均能被赋予极高的复杂度权重。

2. 成对单调排序正则化：显式驱动局部高斯密度与区域复杂度正向对齐 在获得连续表面的复杂度先验后，如何让前向回归模型自发地将高斯基元稠密地集中在复杂区域是核心挑战。模型在网格表面依三角面片面积概率采样 $M$ 个表面点 $\mathbf{p}_m$，利用重心坐标插值求得点上的复杂度 $c_m$。参考 CDC-GS，以该表面点到空间中最近的 $k$ 个有效高斯球（剔除不透明度低于 0.1 的基元）中心点的平均欧氏距离衡量局部稀疏度，取负对数定义局部高斯密度得分： $$s_m = -\log\left(\frac{1}{k}\sum_{j=1}^k d_{m,j} + \epsilon\right)$$ 若采用传统的线性相关（如皮尔逊相关系数）进行约束，会强加不必要的线性假设导致畸变。本文提出基于成对单调排序的正则化损失，针对表面点对 $(\mathbf{p}_a, \mathbf{p}_b)$（满足 $c_a > c_b$），惩罚密度得分反序（即 $s_a < s_b$）的情况，并以复杂度差值作为惩罚权重： $$\mathcal{L}_{\text{comp}} = \frac{1}{|\mathcal{P}|}\sum_{(a,b)\in\mathcal{P}}(c_a - c_b)\cdot\text{softplus}(-(s_a - s_b))$$ 该设计无需规定绝对密度数值，仅约束相对密度次序，成功促使网络在手指、五官与褶皱等高复杂度区域自发生成更高密度的细小高斯基元。

3. 复杂度感知补丁自适应监督：聚焦高难度复杂细节的渐进式监督策略 人体图像中手部、面部等高频细节往往仅占整幅画面极小的一部分，若在训练过程中仅采用整图反向传播，复杂区域的精细监督信号极易被大量平坦区域的低频光度误差所稀释掩盖。为此，模型将顶点复杂度先验 $\{c_i\}$ 栅格化投影至目标视角，生成二维复杂度重要性图 $\mathbf{C}^{\text{2D}}_q$。在训练阶段，以复杂度图为概率分布抽取局部补丁中心，并在整图监督与局部补丁监督之间等概率交替。更进一步，补丁尺寸 $p_s$ 在训练进程中从 512 线性渐变递减至 64，构成粗到细的监督阶梯，前期学习全局结构一致性，后期集中学习高频局部细节。

损失函数 / 训练策略¶

模型的全监督总训练损失由渲染光度损失、感知损失、掩码透明度正则项、深度一致性约束以及提出的复杂度引导正则项共同组成： $$\mathcal{L}_{\text{total}} = \lambda_{1}\mathcal{L}_{1} + \lambda_{\text{lpips}}\mathcal{L}_{\text{lpips}} + \lambda_{\alpha}\mathcal{L}_{\alpha} + \lambda_{\text{depth}}\mathcal{L}_{\text{depth}} + \lambda_{\text{comp}}\mathcal{L}_{\text{comp}}$$ 平衡系数分别设置为 $\lambda_1=2.0$、$\lambda_{\text{lpips}}=0.5$、$\lambda_\alpha=0.25$、$\lambda_{\text{depth}}=0.25$ 以及 $\lambda_{\text{comp}}=0.1$。训练采用 AdamW 优化器，基础学习率为 $2\times 10^{-4}$，在单张 NVIDIA RTX 4090 GPU 上训练 80 万步（约 3.5 天）。

实验关键数据¶

主实验¶

在 THuman2.0、2K2K 以及 X-Humans 三大人体多视角基准数据集上进行域内新视角合成性能评估（4 视角输入，输入分辨率 $512\times 512$）：

方法	THuman2.0 PSNR↑	THuman2.0 SSIM↑	THuman2.0 LPIPS↓	2K2K PSNR↑	2K2K SSIM↑	2K2K LPIPS↓	X-Humans PSNR↑	X-Humans SSIM↑	X-Humans LPIPS↓	推理帧率 (FPS)↑
GPS-Gaussian (CVPR 2024, 6-view)	26.54	0.9539	0.0610	26.46	0.9483	0.0611	26.29	0.9458	0.0687	56.31
RoGSplat (CVPR 2025)	28.83	0.9615	0.0429	30.67	0.9697	0.0310	30.31	0.9656	0.0371	5.42
GHGS-MVSC (2026)	30.93	0.9710	0.0334	30.45	0.9678	0.0326	30.60	0.9668	0.0391	2.79
Ours	32.42	0.9766	0.0201	31.68	0.9717	0.0229	31.96	0.9703	0.0230	33.96

在跨域泛化评测中（THuman2.0 训练，直接测试 2K2K 与 X-Humans），本文方法在 2K2K 上取得 29.52 dB PSNR（较 GHGS-MVSC 提升 0.93 dB），在 X-Humans 上取得 27.53 dB PSNR（较 RoGSplat 提升 0.96 dB）。在真实世界数据集 DNA-Rendering 与 ZJU-MoCap 的测试中，本文方法在零样本迁移下分别取得 26.47 dB 与 28.99 dB，显著优于第二名 RoGSplat（25.68 dB / 27.66 dB）。

消融实验¶

在 THuman2.0 数据集上针对复杂度正则项 $\mathcal{L}_{\text{comp}}$ 与复杂度引导补丁监督策略进行消融分析：

配置	复杂度正则 $\mathcal{L}_{\text{comp}}$	补丁监督 (Patch sup.)	PSNR↑	SSIM↑	LPIPS↓	说明
Baseline	✗	✗	30.32	0.9664	0.0316	仅整图监督且无密度正则
w/ $\mathcal{L}_{\text{comp}}$	✓	✗	30.79	0.9695	0.0269	引入成对排序，PSNR提升 0.47 dB
w/ Patch sup.	✗	✓	32.06	0.9752	0.0209	引入复杂度自适应补丁采样
Full model	✓	✓	32.42	0.9766	0.0201	完整模型，LPIPS 降低至 0.0201

针对高斯密度计算中近邻数 $k$ 的消融表明，$k=7$ 取得最优 PSNR (30.79 dB) 与 LPIPS (0.0269)；过小的 $k=3$ (30.55 dB) 对噪声过敏，而 $k=9$ (30.75 dB) 略有过度平滑且增加检索计算量。

在补丁采样策略对比中，复杂度引导采样（32.06 dB）显著击败随机均匀采样（31.63 dB）与图像 Sobel 梯度幅值采样（31.81 dB），验证了基于 3D 表面几何与纹理熵的采样优于单纯 2D 边缘采样。

在复杂度与高斯密度的 Spearman 秩相关系数验证中，引入正则项后相关系数由 0.1086 大幅飙升至 0.4262，证实高斯空间密度确实随局部复杂度产生了强正相关聚集。

关键发现¶

复杂度感知补丁监督对指标绝对增益贡献最显著（PSNR 提升 1.74 dB），有效解决了复杂局部梯度被大面积平坦区域稀释的根本问题。
成对单调排序正则化相比 Pearson 线性相关正则化有本质优势：Pearson 正则化由于强行施加线性正比先验导致 SSIM 下降 0.0015、LPIPS 恶化 0.0009，而成对单调排序只约束“复杂度高的区域密度应大于等于复杂度低的区域”，避免过度拘束。
推理效率卓越：通过在 Token 化后剔除落在人体前景掩码之外的背景 Token，Token 数量从全图 4096 骤降至平均 2258（最少仅 1437），使得显存占用仅为 2.06 GB，平均推理速度达 33.96 FPS，兼顾了顶尖重建保真度与实时渲染需求。

亮点与洞察¶

将连续表面信息论熵值转化为离散基元密度约束：巧妙地将三维网格顶点的法向离散度与色彩方差统一用香农熵归一化度量，使原本抽象的高斯空间自适应密度具备了无缝可导的监督锚点。
松弛化的成对单调排序损失替代刚性密度回归：不预设具体区域的高斯绝对数目，而是借由成对软间隔惩罚保留模型在全局光度拟合中的自适应弹性，兼顾了结构先验与外观回归的平衡。
轻量前向 Transformer 与显著性 Token 剔除：没有堆叠超大规模 3D 体素特征（如 RoGSplat 需 4.21 GB）或视觉大模型底座（如 GHGS-MVSC 需 987M 参数与 10.47 GB 显存），以 303.5M 参数在单卡 RTX 4090 实现实时前向推理。

局限与展望¶

依赖静态输入：当前模型专注于单帧多视角静态场景的人体渲染，直接应用于连续动态视频需要逐帧推理，计算开销较大且容易引起帧间时序抖动，未来可结合 SMPL 线性蒙皮（LBS）与时序变形场拓展至动态数字人驱动。
训练阶段依赖着衣人体精细网格：复杂度先验的精确度取决于三维人体扫描网格的质量；虽然附录证明利用离架单目法线估计器与 RGB 图像直接计算 2D 复杂度图依然能取得优于先前 SOTA 的表现（32.04 dB），但视角间法线不一致性仍会导致轻微性能损耗。
遮挡面与未观测区域先验退化：在极端稀疏输入（如仅 2-3 视角）下，被遮挡背侧的网格表面仍可能因几何平滑产生较低复杂度，从而导致背向视角的纹理合成出现不确定性模糊。

评分¶

新颖性: ⭐⭐⭐⭐ [首次在通用人体高斯泼溅中引入基于局部几何与纹理熵的复杂度先验及成对单调排序正则]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 3 个合成数据集、2 个真实世界数据集、极端视角评测、面部专用身份指标评测及完备消融]
写作质量: ⭐⭐⭐⭐⭐ [动机链条严密连贯，数学建模清晰，实验分析逻辑完备透彻]
价值: ⭐⭐⭐⭐⭐ [攻克了通用人体 3DGS 在手指、五官和衣服纹理处长期模糊的工业级痛点，兼顾 33+ FPS 实时渲染]