DR-GS: Physically-Based Deformable and Relightable 2D Gaussians¶

会议: ECCV 2026
论文: ECCV 官方入口
项目: Project Page
领域: 3D 视觉
关键词: 2D 高斯泼溅, 逆向渲染, 基于物理渲染, 可形变物体, 材质解耦

一句话总结¶

DR-GS 构建了一个将基于物理的逆向渲染、动态重光照与形变驱动控制深度统一的 2D 高斯框架，通过显式解耦几何、材质与环境光照，并结合低样本多重重要性采样与网格光线追踪加速，彻底消除了形变高斯渲染中光照烘焙与高光失真问题。

研究背景与动机¶

三维高斯泼溅（3DGS）凭借显式空间参数化与超高速前向光栅化能力，迅速在虚拟现实、数字人及具身智能等实时交互场景中成为核心技术支柱。为了给静态重建赋予物理生命力，现有的可形变高斯方法大多遵循“先重建后驱动”（reconstruct-then-drive）的技术路线：先基于静态多视角图像拟合高斯辐射场，随后挂载粒子物理引擎（如 MPM / PBD）或驱动表面三角网格进行几何形变。然而，这种经典的静态快照范式存在一个致命的物理盲区：场景的入射环境光和高光反射通常被不可逆地“烘焙”（baked）进了高斯的基色或低阶球谐系数中。当物体经历大幅度形变、扭转或者被置于全新光照环境下时，其表面的高光与反射无法根据几何法线的动态旋转和环境光线自适应演变，在光滑高光表面上会产生严重的拉伸、发暗甚至破损伪影。

造成这种困境的核心矛盾在于：高保真光照解耦与复杂几何形变在表征层面上存在结构性冲突。基于神经辐射场的逆向渲染管线虽具备全局光照建模能力，但沉重的光线步进使其无法满足动态交互的时间预算；而现有的基于物理的高斯逆向渲染工作普遍停留在静态场景，采用的近似拆分（split-sum）会削弱高光精度，或者采用极其缓慢的高斯光线追踪（2DGRT），在动态形变下每帧重新追踪二次曲面会造成巨大的计算瓶颈。更严重的是，静态快照绑定严重剥夺了创作者后期精细调节资产表面粗糙度、金属度及颜色反照率的自由度。

本文针对该难题提出：必须在统一的高斯基元内实现几何、光照与材质属性的显式解耦，并将耗时的高斯自相交光线追踪与动态驱动中的高效几何代理解耦。核心 idea：DR-GS 构建了一个全解耦的 2D 高斯逆向渲染与驱动框架，以 2D 高斯图元承载基于微表面 BRDF 的反照率、粗糙度与金属度参数，在静态阶段求解完整渲染方程以完成解耦，在动态阶段则借助 TSDF 提取的表面网格执行混合射线追踪，配合低样本多重重要性采样与时空双边滤波，以 24 FPS 的实时帧率达成形变与重光照下的物理保真渲染。

方法详解¶

整体框架¶

DR-GS 整体由三个紧密配合的阶段构成：静态几何与高斯重建、基于物理的参数解耦逆向渲染，以及动态驱动与混合加速渲染。在预处理阶段，系统利用预训练获取初始 2D 高斯并利用 TSDF 提取表面三角网格；接着，高斯属性中扩充反照率（albedo）、粗糙度（roughness）与金属度（metallic），通过光栅化生成逐像素 G-buffer，并在半球空间利用光线追踪与重要性采样求解完整渲染方程，使几何、材质与外部环境光彻底分离；最后，在动态驱动阶段，系统既支持基于物理粒子的连续介质模拟（MPM），也支持基于网格骨骼的动画变形，并通过将动态光线追踪代理切换到轻量表面网格，配合多重重要性采样（MIS）与 SVGF 双边降噪完成最终重光照成像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入多视角校准图像"] --> B["网格提取与高斯重初始化<br/>TSDF 提取三角网格 + 面元高斯对齐"]
    B --> C["物理参数解耦光栅化<br/>泼溅生成位置/法线/反照率/粗糙度/金属度 G-Buffer"]
    C --> D["完整渲染方程分解求解<br/>直接环境光 + 2DGRT 遮挡间接光逆向解耦"]
    D --> E["双模态动态形变驱动<br/>MPM 粒子 GMLS 插值驱动 / 网格面仿射驱动"]
    E --> F["网格辅助 MIS 动态光线追踪<br/>32 采样混合重要性采样 + SVGF 边缘保持降噪"]
    F --> G["动态物理保真重光照输出"]

关键设计¶

1. 网格约束的面元高斯重初始化：消除空洞与拓扑不一致
传统 3D 高斯在表示物体表面时缺乏明确的物理法线与边界约束，直接形变极易产生飞点和杂乱重叠。DR-GS 选用 2D 高斯（2DGS）作为几何载体，其切向量正交内积直接导出显式表面法线 $\mathbf{n} = \mathbf{t}_u \times \mathbf{t}_v$。为了严密适配网格驱动并为后续光线追踪建立拓扑锚点，方法在 TSDF 提取的三角形面片 $f \in \mathcal{F}$ 上进行几何感知重初始化。每个面元高斯的高斯中心 $\mathbf{p}$ 参数化为局部三角形顶点的重心插值坐标 $\boldsymbol{\omega} = (\omega_a, \omega_b, \omega_c)$ 和沿法线方向的可学习局部偏移量 $d$： $$\mathbf{p} = (\omega_a \mathbf{v}_a + \omega_b \mathbf{v}_b + \omega_c \mathbf{v}_c) + d \cdot r \mathbf{n}$$ 其中 $r$ 为三角形的外接圆半径。通过建立 BVH 空间加速结构，将预训练点云高斯投影至网格表面，聚合内部有效高斯的透明度与权重赋给面元高斯。实验证明，赋予高斯可学习的法向位移 $d$ 和独立不透明度 $\alpha$ 至关重要，它赋予了高斯弹性补偿粗糙网格误差的能力，避免了网格重建失真导致的尖刺伪影或微小空洞。

2. 材质-光照参数解耦逆向渲染：求解完整渲染方程
针对传统高斯将光影固化在颜色内的弊病，DR-GS 为每个 2D 高斯赋予基于物理的材料参数元组 $\Phi_{\text{mat}} = \{\mathbf{a}, r, m\}$，分别代表漫反射反照率、微表面粗糙度和金属度。在渲染通道中，首先通过深度排序的高斯混合光栅化在屏幕空间累积生成对应的逐像素反照率图、粗糙度图、金属度图、深度图和法线图。在此几何与材质缓冲之上，利用 Cook-Torrance 微表面 BRDF 求解渲染方程： $$L_o(\boldsymbol{\omega}_o, \mathbf{x}) = \int_{\Omega} f(\boldsymbol{\omega}_o, \boldsymbol{\omega}_i, \mathbf{x}) L_i(\boldsymbol{\omega}_i, \mathbf{x}) (\boldsymbol{\omega}_i \cdot \mathbf{n}) d\boldsymbol{\omega}_i$$ 为了保证镜面反射与遮挡的物理准确性，入射光 $L_i$ 被严谨拆分为由外部高动态范围（HDR）环境贴图提供的直接光照 $L_{\text{dir}}$ 与来自物体自身其他表面遮挡反射的间接光照 $L_{\text{ind}}$，并由 2DGRT 射线求交算子显式解算可见性函数 $V(\boldsymbol{\omega}_i, \mathbf{x})$。在重建训练中，通过限制每视角部分像素计算该积分，配合光度重建损失、PBR 拟合损失与环境光白平衡正则化，成功将固有材质属性与外部环境光完全剥离。

3. 双模态物理形变驱动：粒子云连续介质与网格骨骼协同
为了适应不同数字资产制作流派，DR-GS 构建了兼顾自由物体软体仿真与结构化骨骼绑定的双模态变形机制。在粒子驱动分支中，针对复杂自相交、大撕裂等难以网格化的物理形变，在提取网格内部及表面均匀填充点云构建混合粒子场，交由物质点法（MPM）求解连续介质动力学方程。随后通过广义移动最小二乘（GMLS）插值算法，将粒子位移与变形梯度 $\mathbf{F}_i$ 平滑传递给每个 2D 高斯：对变形梯度执行极分解 $\mathbf{F}_i = \bar{\mathbf{R}}_i \bar{\mathbf{S}}_i$，将提取出的旋转张量 $\bar{\mathbf{R}}_i$ 与伸缩剪切张量 $\bar{\mathbf{S}}_i$ 严密更新至高斯的旋转矩阵 $\mathbf{R}$ 和轴向尺寸 $\mathbf{s}$。在网格驱动分支中，各变形三角形面片的空间仿射变换矩阵直接映射到绑定的面元高斯上。这种基于连续介质梯度的更新保证了薄壳表面在剧烈拉伸与弯折时，法线与切平面方向能够始终与局部物理应变张量严格共形。

4. 网格辅助光线追踪与多重重要性采样（MIS）：破解动态重光照算力瓶颈
在动态驱动与实时交互阶段，高斯的原始出射辐射亮度已失效，必须根据新姿态的法线和新环境光重新计算入射积分。若继续对数十万变形的 2D 高斯直接执行二次曲面光线追踪，帧率将跌至不可用的亚秒级。DR-GS 发现：物体的反射遮挡与间接光主要取决于大尺度宏观几何，而非微观高斯基元分布。因此，系统直接将静态解耦得到的材质参数赋存在 TSDF 表面网格顶点上，在动态形变时使用硬件加速的光线追踪管线（OptiX）追踪网格求交。同时，针对光滑高光表面极端狭窄的镜面波峰导致的蒙特卡洛高方差，引入基于平衡启发式（balance heuristic）的多重重要性采样（MIS），联合余弦加权采样（覆盖漫反射）、GGX 表面微元分布采样（锁定镜面高光峰值）和环境光贴图亮度加权采样（捕捉关键强光源）。单像素采样数由训练期的 512 根光线急剧压缩至仅 32 根（16 根余弦 + 8 根 GGX + 8 根光源），随后借助深度和法线双边引导的时空方差降噪器（SVGF）滤除噪声，在 24 FPS 下实现了丝滑无噪的高动态交互重光照。

损失函数 / 训练策略¶

静态解耦训练中，联合优化 2D 高斯几何几何参数、材质参数 $\Phi_{\text{mat}}$ 以及环境光贴图。联合损失函数定义为： $$\mathcal{L} = \mathcal{L}_c + \lambda_1^{\text{pbr}}\mathcal{L}_1^{\text{pbr}} + \lambda_{\text{light}}\mathcal{L}_{\text{light}}$$ 其中 $\mathcal{L}_c$ 为传统 3DGS 的像素级 RGB 重建损失（$L_1$ 与 D-SSIM 的加权和）；$\mathcal{L}_1^{\text{pbr}}$ 为蒙特卡洛 PBR 积分渲染结果与真实图像之间的绝对误差；$\mathcal{L}_{\text{light}}$ 则用于正则化环境光贴图的均值与色度分布，防止材质反照率与入射光强度之间发生尺度退化。网络首先以 Ref-Gaussian 规则预训练，随后在参数解耦阶段精调 20,000 次迭代。

实验关键数据¶

主实验¶

论文在 GlossySynthetic 数据集（涵盖 angel、bell、cat、horse、luyu、potion、tbell、teapot 等多视角高光数据集）上进行了静态重建质量比较（原论文 Table 1）以及重光照与运行效率对比（原论文 Table 2）。

Table 1: GlossySynthetic 静态重建质量对比（原论文 Table 1 节选） | 场景 | 指标 | PhysGaussian (P) | GSP (P) | SuGaR (M) | Mani-GS (M) | GaussianMesh (M) | Ours (P) | Ours (M) | | :--- | :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | | angel | PSNR↑ / SSIM↑ / LPIPS↓ | 25.38 / 0.801 / 0.092 | 25.70 / 0.916 / 0.083 | 12.81 / 0.775 / 0.202 | 26.39 / 0.911 / 0.075 | 25.84 / 0.901 / 0.079 | 29.64 / 0.943 / 0.052 | 25.04 / 0.887 / 0.094 | | bell | PSNR↑ / SSIM↑ / LPIPS↓ | 24.31 / 0.904 / 0.122 | 29.26 / 0.940 / 0.090 | 12.40 / 0.740 / 0.240 | 24.58 / 0.901 / 0.114 | 24.02 / 0.890 / 0.118 | 31.94 / 0.962 / 0.056 | 28.12 / 0.917 / 0.103 | | cat | PSNR↑ / SSIM↑ / LPIPS↓ | 29.48 / 0.947 / 0.085 | 30.82 / 0.955 / 0.068 | 12.51 / 0.730 / 0.203 | 29.90 / 0.950 / 0.072 | 28.39 / 0.936 / 0.083 | 31.25 / 0.965 / 0.052 | 27.07 / 0.931 / 0.091 | | potion | PSNR↑ / SSIM↑ / LPIPS↓ | 28.71 / 0.923 / 0.132 | 28.41 / 0.932 / 0.113 | 14.68 / 0.613 / 0.254 | 27.83 / 0.922 / 0.110 | 27.53 / 0.918 / 0.112 | 30.55 / 0.941 / 0.095 | 26.75 / 0.887 / 0.145 | | teapot | PSNR↑ / SSIM↑ / LPIPS↓ | 21.14 / 0.877 / 0.122 | 22.67 / 0.898 / 0.108 | 13.62 / 0.744 / 0.194 | 21.18 / 0.878 / 0.106 | 20.64 / 0.871 / 0.109 | 26.72 / 0.945 / 0.062 | 22.93 / 0.882 / 0.107 |

Table 2: GlossySynthetic 重光照性能与效率评估（原论文 Table 2） | 场景 | 指标 | GS-ROR2 | Ref-Gaussian | IRGS | DR-GS (Ours) | | :--- | :--- | :---: | :---: | :---: | :---: | | angel | PSNR↑ / SSIM↑ | 20.81 / 0.878 | 21.39 / 0.900 | 20.58 / 0.860 | 24.15 / 0.905 | | bell | PSNR↑ / SSIM↑ | 24.49 / 0.927 | 22.90 / 0.919 | 20.98 / 0.878 | 25.81 / 0.931 | | cat | PSNR↑ / SSIM↑ | 26.28 / 0.942 | 20.54 / 0.912 | 22.43 / 0.888 | 27.34 / 0.940 | | potion | PSNR↑ / SSIM↑ | 25.67 / 0.918 | 20.06 / 0.868 | 22.92 / 0.866 | 27.35 / 0.923 | | teapot | PSNR↑ / SSIM↑ | 21.17 / 0.893 | 21.78 / 0.924 | 19.27 / 0.870 | 23.08 / 0.925 | | 训练耗时 | Hours (全过程) | 1.5 h | 0.58 h | 1.0 h | 0.68 h | | 渲染吞吐 | FPS (动态重光照) | 122 FPS | 208 FPS | 0.5 FPS | 24 FPS (保真交互级) |

此外，由于动态形变场景在真实物理世界中缺乏逐帧稠密真值，论文邀请 30 名独立评审人员针对物理真实感（PP）、时序连贯度（TC）和形变一致性（DC）进行了 0-5 分制盲测（原论文 Table 3）。在变形重光照任务中，GSP 得分仅为 3.82 (PP) / 3.56 (TC) / 3.65 (DC)，而 DR-GS 达到了领先的 4.62 (PP) / 4.27 (TC) / 4.21 (DC)。

消融实验¶

论文围绕关键组件和可学习属性展开消融（原论文 Fig. 12、Fig. 13）： 1. 可学习属性消融（Table / Fig. 12 分析）： - 去掉可学习法线位移 $d$（w/o learnable $d$）：网格几何离散误差直接映射到表面，导致明显的尖锐拉伸与边缘毛刺； - 去掉可学习不透明度 $\alpha$（w/o learnable $\alpha$）：局部出现片状斑块与裂纹噪点，PSNR 下降显著； - 完整模型（Full）：恢复细腻平滑的镜面流线，完全消除网格微瑕疵对渲染的负面干扰。 2. 动态渲染加速套件消融（Fig. 13 分析）： - 去掉 MIS（w/o MIS）：在高光区域出现不可接受的椒盐噪点，在相同光线预算下 PSNR 衰减 2~4 dB； - 去掉网格光线追踪加速（w/o mesh）：渲染时间呈指数级上升至数百毫秒，无法达成交互； - 去掉降噪器（w/o denoiser）：低样本下渲染图面颗粒感明显，需加大 8 倍以上采样数才能达到相当信噪比。

关键发现¶

解耦消除烘焙光照是形变高光的充要条件：PhysGaussian 虽能在静态图上表现平稳，但在形变测试中由于直接把环境反射锁死在基色中，导致动态扭曲时高光位置随着材质纹理一并滑动，视觉效果崩塌。
网格代理比纯高斯求交更契合连续变形：IRGS 采用 2DGRT 虽然在静态下理论严谨，但每帧重构高斯 BVH 导致每秒仅能渲染 0.5 帧；DR-GS 借用 TSDF 网格作为动态射线追踪代理，将帧率直接跃升 48 倍至 24 FPS，同时 SSIM 与 LPIPS 反而由于 MIS 与 SVGF 的加入进一步优化。

亮点与洞察¶

几何代理解耦的设计巧思：用 2D 高斯负责微观反照与高保真泼溅成像，用提取的拓扑网格负责宏观光线相交与遮挡测试。这种“泼溅管外观、网格管视线”的分工，彻底化解了高斯基元自相交求交计算复杂度过高的死结。
材质自由后编辑与交互仿真无缝对接：解耦出的反照率、粗糙度和金属度支持标准 PBR 着色管线后期编辑，创作者无需重新采集或训练，即可将同一资产一键转换为生锈金属、抛光大理石或哑光塑料，极大拓展了 3D 资产的二次创作空间。

局限与展望¶

计算效率相比原始 3DGS 仍有落差：作者在结语中坦承，由于每一帧动态渲染都必须求解微表面 BRDF 积分并进行多采样光线投射，DR-GS 的 24 FPS 吞吐量虽大幅甩开 IRGS，但与未经光照解耦的纯高斯栅格化（>100 FPS）相比仍显沉重。
极限拓扑改变与剧烈非流形拉伸的鲁棒性限制：在网格驱动模式下，如果形变过大导致网格局部发生剧烈退化、自相交或破洞，网格光线追踪会产生穿透伪影，未来可探索自适应局部网格再剖分或稀疏辐射场引导技术。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次完整打通了 2D 高斯在物理形变与物理光照双重解耦下的实时渲染管线，理论与工程设计高度统一]
实验充分度: ⭐⭐⭐⭐⭐ [涵盖静态重建、重光照对比、用户主观盲测以及细致的消融与参数后编辑实验，证据链完备]
写作质量: ⭐⭐⭐⭐⭐ [三阶段递进式架构推导严谨清晰，图表表现力强，算法伪代码规范完整]
价值: ⭐⭐⭐⭐⭐ [为图形学、VR/AR 虚拟交互与具身仿真提供了一个兼具物理真实性与后期编辑灵活性的高价值 3D 资产处理范式]