ECCV2024 重建与渲染论文解读论文笔记 3D 高斯渲染 NeRF 新视角合成三维重建人脸/视线少样本学习

🧊 重建与渲染¶

🎞️ ECCV2024 · 61 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (27) · 🎞️ ECCV2026 (168) · 📷 CVPR2026 (221) · 🔬 ICLR2026 (77) · 🧪 ICML2026 (6) · 🤖 AAAI2026 (20)

🔥 高频主题： 3D 高斯渲染 ×20 · NeRF ×13 · 新视角合成 ×9 · 三维重建 ×5 · 人脸/视线 ×3

3D Reconstruction of Objects in Hands without Real World 3D Supervision: 提出HORSE框架，通过从野外视频中提取多视角2D mask监督（以手部姿态作为物体姿态代理）和从合成3D形状集合中学习2D切片对抗形状先验，训练occupancy网络从单张RGB图像重建手持物体3D形状，在不使用任何真实世界3D标注的情况下，在MOW数据集上超越使用3D监督的方法11.6%。
3DEgo: 3D Editing on the Go!: 3DEgo将传统三阶段3D编辑流程（COLMAP位姿估计→未编辑场景初始化→迭代编辑更新）压缩为单阶段框架：先用自回归噪声混合模块对视频帧进行多视角一致的2D编辑，再用COLMAP-free的3DGS从编辑后帧直接重建3D场景，速度提升约10倍且支持任意来源视频。
3iGS: Factorised Tensorial Illumination for 3D Gaussian Splatting: 3iGS 用基于张量分解的连续入射光照场替代 3DGS 中每个高斯体独立优化的球谐系数，结合可学习 BRDF 特征和轻量神经渲染器来建模出射辐射，在保持实时渲染速度的同时显著提升了镜面反射等视角依赖效果的渲染质量。
A Compact Dynamic 3D Gaussian Representation for Real-Time Dynamic View Synthesis: 将3DGS中的位置和旋转参数建模为时间的函数（位置用Fourier逼近、旋转用线性逼近），使动态场景的存储复杂度从O(TN)降低到O(LN)，在D-NeRF/DyNeRF/HyperNeRF三个数据集上实现了与NeRF方法匹敌的渲染质量，同时保持118+ FPS的实时渲染速度。
A Probability-guided Sampler for Neural Implicit Surface Rendering: 提出一种概率引导的光线采样器（Probability-guided Sampler），在3D图像投影空间中建模概率密度函数来指导光线采样朝向感兴趣区域，同时设计了包含近表面和空白空间两个分量的新型表面重建损失，可作为插件集成到现有神经隐式表面渲染器中，显著提升重建精度和渲染质量。
Analysis-by-Synthesis Transformer for Single-View 3D Reconstruction: 提出Analysis-by-Synthesis Transformer（AST），在统一框架中通过Shape Transformer和Texture Transformer分别建模像素到形状和像素到纹理的关系，仅使用2D标注就能实现高质量的网格重建和纹理生成，在CUB-200-2011和ShapeNet上超越已有方法。
Analytic-Splatting: Anti-Aliased 3D Gaussian Splatting via Analytic Integration: 通过使用条件 logistic 函数解析近似高斯信号在像素窗口上的积分，替代 3DGS 的像素中心点采样，实现无混叠的 3D 高斯泼溅，在多尺度渲染上超越 Mip-Splatting。
BAD-Gaussians: Bundle Adjusted Deblur Gaussian Splatting: 首次将运动模糊物理成像模型引入 3D Gaussian Splatting 框架，联合优化场景 Gaussian 参数与曝光时间内的相机运动轨迹，从模糊图像中恢复清晰 3D 场景并实现实时渲染。
BeNeRF: Neural Radiance Fields from a Single Blurry Image and Event Stream: 提出 BeNeRF，仅从单张模糊图像及其对应的事件流（event stream）联合恢复神经辐射场与相机运动轨迹，无需多视角输入或已知位姿，即可实现高质量去模糊与新视角合成。
CaesarNeRF: Calibrated Semantic Representation for Few-Shot Generalizable Neural Rendering: 提出 CaesarNeRF，在可泛化 NeRF（GNT）基础上引入场景级语义表征，通过相机位姿校准（特征旋转对齐到目标视角）和序列细化（跨 Transformer 层逐步更新全局特征），在 1-view 设置下 PSNR 比 GNT 提升 1.74dB（LLFF），且可即插即用地增强 IBRNet、MatchNeRF 等其他基线。
CityGaussian: Real-Time High-Quality Large-Scale Scene Rendering with Gaussians: 提出 CityGaussian (CityGS)，通过分治训练策略和 block-wise Level-of-Detail 机制，首次实现了城市级大规模场景（>1.5 km²）的高质量 3D Gaussian Splatting 训练与跨尺度实时渲染。
CoherentGS: Sparse Novel View Synthesis with Coherent 3D Gaussians: 提出CoherentGS，通过为3DGS引入结构化表示（每像素一个高斯）并利用隐式卷积解码器和全变差损失构建单视图和多视图一致性约束，结合基于单目深度的初始化策略，在极稀疏输入（如3张图像）下实现高质量新视角合成，LPIPS指标显著优于现有NeRF方法。
CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization: 发现同时训练两个 3DGS 辐射场时它们在高斯位置和渲染结果上的差异（disagreement）与重建质量负相关，据此提出 CoR-GS 通过协同剪枝和伪视角协同正则化来抑制不准确重建，在稀疏视角下实现 SOTA 新视角合成。
DATENeRF: Depth-Aware Text-based Editing of NeRFs: 利用NeRF重建的场景深度信息来引导基于文本的2D图像编辑（通过深度条件化的ControlNet + 投影修复方案），从而实现多视角一致的高质量NeRF场景编辑。
Deblur e-NeRF: NeRF from Motion-Blurred Events under High-speed or Low-light Conditions: 提出 Deblur e-NeRF，通过物理精确的像素带宽模型来建模事件相机的运动模糊，首次实现从运动模糊的事件流中直接有效地重建无模糊 NeRF。
Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-observations for High-Quality Sparse-View Reconstruction: 利用微调的 Stable Diffusion + ControlNet 将粗糙 NeRF/3DGS 渲染结果转化为高质量伪观测图像，将稀疏输入视图增密 5-10 倍后重新训练，在 Hypersim/LLFF/ScanNet 等数据集上超越 FreeNeRF 等方法 1-2dB PSNR，训练速度比扩散正则化方法快约 10 倍。
Differentiable Convex Polyhedra Optimization from Multi-view Images: 提出一种基于对偶变换和三平面交点求解的可微凸多面体构造方法，绕过隐式场监督，直接利用多视角图像损失进行梯度优化，实现高保真的凸多面体形状表示。
Dynamic Neural Radiance Field from Defocused Monocular Video: 提出 \(D^2RF\)，首个从散焦单目视频中恢复清晰动态NeRF的方法，通过将景深(DoF)渲染与体积渲染统一，引入分层DoF体积渲染来建模散焦模糊并恢复清晰新视角。
Efficient Depth-Guided Urban View Synthesis (EDUS): 提出EDUS方法，利用噪声几何先验（单目/双目深度）引导可泛化NeRF，通过前景3D CNN + 背景/天空图像渲染的三部分分解，实现稀疏街景视角下的快速前馈推理和高效逐场景微调。
Explicitly Guided Information Interaction Network for Cross-modal Point Cloud Completion: 提出EGIInet框架，通过统一编码器实现模态对齐，并利用显式引导的信息交互策略（FT-Loss）让网络精准识别图像中的关键结构信息，在视图引导点云补全任务上以更少参数实现了超越XMFnet 16% CD的性能。
Flash Cache: Reducing Bias in Radiance Cache Based Inverse Rendering: 提出一种无偏的辐射缓存逆渲染方法，通过遮挡感知的vMF重要性采样和快速缓存控制变量技术，在保持计算效率的同时消除现有方法中的渲染偏差，提升材质和光照分解的质量。
Flying with Photons: Rendering Novel Views of Propagating Light: 提出瞬态场（Transient Field）表示，结合首创的多视点超快成像数据集，首次实现从动态新视角渲染真实场景中传播光的视频，能处理散射、反射、折射和衍射等复杂光传输效果。
G2fR: Frequency Regularization in Grid-Based Feature Encoding Neural Radiance Fields: 提出了G²fR（Generalized Grid-based Frequency Regularization），通过理论分析建立频率正则化与网格特征编码NeRF的联系，解决了GFE-NeRF在相机位姿优化和少样本重建中的核心问题。
G3R: Gradient Guided Generalizable Reconstruction: 提出G3R，一种梯度引导的可泛化重建方法，通过学习一个重建网络迭代地利用可微渲染的3D梯度反馈更新3D Neural Gaussians表示，在大规模场景（>10,000m²）上实现2分钟内重建，加速至少10倍且达到与3DGS可比或更优的渲染质量。
GAURA: Generalizable Approach for Unified Restoration and Rendering of Arbitrary Views: 提出GAURA，一种基于可泛化NeRF的统一复原与渲染框架，通过可学习的退化感知latent codes在特征聚合和渲染阶段动态适应不同图像退化类型，无需逐场景优化即可从退化图像中渲染清晰的新视角。
GRM: Large Gaussian Reconstruction Model for Efficient 3D Reconstruction and Generation: 提出GRM，一种基于纯Transformer架构的前馈式3D重建模型，将稀疏视图(4张图)的像素通过pixel-aligned Gaussians转化为稠密的3D高斯表示，约0.1秒完成重建，结合多视图扩散模型可实现文本/图像到3D生成。
GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting: 本文提出GS-LRM，一个极其简洁的基于Transformer的大规模重建模型，将多视角图像patch化后通过自注意力直接回归逐像素3D高斯参数，在物体级（超Triplane-LRM 4dB PSNR）和场景级（超pixelSplat 2.2dB PSNR）重建中均大幅超越SOTA，单张A100上0.23秒完成推理。
HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression: 利用结构化二值哈希网格为无序的3DGS锚点建立空间上下文关系，通过条件概率建模和自适应量化实现高效熵编码，达到相比vanilla 3DGS 75× 的压缩率，同时保持甚至提升渲染质量。
High-Resolution and Few-shot View Synthesis from Asymmetric Dual-Lens Inputs: 本文提出 DL-GS（Dual-Lens 3D-GS），利用移动设备上常见的非对称双镜头系统（广角+长焦）提供的立体几何约束和高分辨率引导，解决了 3D-GS 在少样本训练和超分辨率渲染上的两大难题，通过一致性感知训练策略和多参考引导细化模块实现了 SOTA 性能。
Implicit Filtering for Learning Neural Signed Distance Functions from 3D Point Clouds: 提出一种非线性隐式滤波器，在不需要法线的情况下对神经SDF的隐式场进行平滑同时保留尖锐几何细节，并通过扩展到非零等值面实现全场一致性正则化。
Invertible Neural Warp for NeRF: 提出用可逆神经网络（INN）过参数化相机位姿的刚性变换函数，在 NeRF 联合优化中显著提升位姿估计精度和重建质量，证明可逆性是 MLP 建模刚性 warp 的关键约束。
Lagrangian Hashing for Compressed Neural Field Representations: 将InstantNGP的欧拉网格哈希表与拉格朗日点云表示相结合，在哈希桶中存储可移动的高斯特征点，实现参数量减少1.8-2.8倍但重建质量不降的紧凑神经场表示。
LaRa: Efficient Large-Baseline Radiance Fields: 提出LaRa前馈重建模型，通过高斯体积（Gaussian Volume）表示和分组注意力层（Group Attention Layer）统一局部与全局推理，仅需4张图像即可从大基线视角重建360°辐射场，且仅用4×A100训练2天即可超越LGM等费时方法。
Learning 3D Geometry and Feature Consistent Gaussian Splatting for Object Removal: 提出 GScream 框架，通过单目深度引导训练和交叉注意力特征正则化，在 3D Gaussian Splatting 表示下实现高质量的物体移除，同时保持几何一致性和纹理连贯性。
LEIA: Latent View-Invariant Embeddings for Implicit 3D Articulation: 提出LEIA方法，通过学习视角不变的潜在嵌入来表征铰接物体的不同状态，利用超网络(HyperNetwork)调制NeRF权重，实现在未见过的铰接配置之间进行平滑插值，无需任何运动先验或3D监督。
MaRINeR: Enhancing Novel Views by Matching Rendered Images with Nearby References: 提出MaRINeR方法，利用附近参考图像通过深度特征匹配和层次化细节传输来增强3D重建的渲染图像质量，适用于显式（mesh）和隐式（NeRF）等多种3D表示的渲染后处理。
MegaScenes: Scene-Level View Synthesis at Scale: 从Wikimedia Commons互联网照片构建包含10万+SfM重建的大规模场景级3D数据集MegaScenes，并结合warp条件和位姿条件提升场景级新视角合成的位姿一致性。
Mesh2NeRF: Direct Mesh Supervision for Neural Radiance Field Representation and Generation: 提出Mesh2NeRF，通过解析解直接从纹理网格(textured mesh)构造GT辐射场，用occupancy函数建模密度场、用反射模型建模颜色场，为NeRF表示与生成任务提供精确的3D逐点监督。
MeshFeat: Multi-Resolution Features for Neural Fields on Meshes: 提出MeshFeat，一种适用于mesh上神经场的参数化多分辨率特征编码方法，利用网格简化算法构建多分辨率特征表示，在保持重建质量的同时实现13倍推理加速。
MVDiffusion++: A Dense High-Resolution Multi-View Diffusion Model for Single or Sparse-View 3D Object Reconstruction: MVDiffusion++提出了一种无需相机位姿的多视图潜在扩散模型，通过"无位姿架构"和"视图丢弃训练策略"两个简洁的想法，从单张或少量输入图像生成密集（32张）高分辨率（512×512）的多视图图像，进而实现高质量3D物体重建。
MVSGaussian: Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo: 将MVS的代价体深度估计与3D高斯溅射结合，通过混合渲染(splatting+volume rendering)提升泛化性，并提出基于多视图几何一致性的点云聚合策略，使per-scene优化仅需45秒就超越3D-GS的10分钟效果。
MVSplat: Efficient 3D Gaussian Splatting from Sparse Multi-View Images: 提出MVSplat，通过plane-sweep构建代价体（cost volume）来精确定位Gaussian中心，以极少参数量（pixelSplat的1/10）和最快推理速度（22fps）实现了稀疏视角前馈式3D Gaussian预测的SOTA。
NGP-RT: Fusing Multi-Level Hash Features with Lightweight Attention for Real-Time Novel View Synthesis: 提出NGP-RT，通过轻量注意力机制聚合多级显式哈希特征替代per-point MLP，并引入占用距离网格减少光线行进中的内存访问，在Mip-NeRF 360数据集上实现1080p 108fps的实时NeRF渲染。
Omni-Recon: Harnessing Image-Based Rendering for General-Purpose Neural Radiance Fields: 提出Omni-Recon框架，通过基于图像的渲染（IBR）管线构建通用NeRF，利用解耦的几何/外观双分支设计，首次在单一模型中实现可泛化3D重建、零样本多任务场景理解和实时渲染、场景编辑等多种下游3D任务的适配。
On the Error Analysis of 3D Gaussian Splatting and an Optimal Projection Strategy: 从数学上系统分析3D Gaussian Splatting中局部仿射近似引入的投影误差，证明误差函数在Gaussian均值方向与投影平面法线重合时取极小值，据此提出每个Gaussian投影到各自切平面的最优投影策略(Optimal Gaussian Splatting)，在不影响实时性能的前提下显著降低渲染伪影。
Per-Gaussian Embedding-Based Deformation for Deformable 3D Gaussian Splatting: 提出基于逐高斯嵌入（Per-Gaussian Embedding）的形变表示方法，将形变定义为逐高斯潜在嵌入与时间嵌入的函数，辅以粗细形变分解和局部平滑正则化，在多个动态场景数据集上取得了质量、速度和模型容量的全面优势。
PISR: Polarimetric Neural Implicit Surface Reconstruction for Textureless and Specular Objects: 提出PISR方法，利用偏振光的几何约束（偏振角与法线方位角的对应关系）直接正则化神经隐式表面形状，结合哈希网格加速和图像空间法线平滑，在无纹理和镜面物体上实现了0.5mm Chamfer距离和99.5% F-score的高精度重建，速度比此前偏振方法快4~30倍。
Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting: Pixel-GS通过在3DGS的点云生长判定条件中引入像素覆盖数量作为梯度加权因子，解决了大高斯体在初始点云稀疏区域无法有效分裂的问题，同时通过距离感知的梯度缩放抑制相机附近浮点伪影的产生。
Ray-Distance Volume Rendering for Neural Scene Reconstruction: 提出 RS-Recon 方法，用射线方向相关的有符号射线距离函数（SRDF）替代传统 SDF 来参数化体渲染中的密度函数，结合 SRDF-SDF 一致性损失和自监督可见性任务，在多物体室内场景重建中取得更准确的表面和视图合成。
Spring-Gaus: Reconstruction and Simulation of Elastic Objects with Spring-Mass 3D Gaussians: 提出 Spring-Gaus，将可学习的 3D 弹簧-质点模型集成到 3D Gaussian Splatting 中，从多视角视频重建弹性物体的外观、几何和物理动力学参数，支持未来预测和不同条件下的仿真。
RoGUENeRF: A Robust Geometry-Consistent Universal Enhancer for NeRF: 本文提出RoGUENeRF，一种结合3D重投影对齐、非刚性光流精炼和几何感知注意力的NeRF后处理增强器，能在保持视角一致性的同时显著提升多种NeRF方法的图像渲染质量，且对相机标定误差具有鲁棒性。
SAGS: Structure-Aware 3D Gaussian Splatting: 提出 SAGS，通过局部-全局图表示和图神经网络隐式编码场景几何结构，在保持实时渲染的同时提升3DGS的渲染质量、减少存储需求（最高24×压缩），并显著抑制浮点伪影。
SlotLifter: Slot-guided Feature Lifting for Learning Object-centric Radiance Fields: 提出SlotLifter，通过将2D特征提升为3D并与Slot Attention结合的slot-guided feature lifting设计，在场景分解和新视角合成上同时达到SOTA，且训练效率提升约5倍。
SplatFields: Neural Gaussian Splats for Sparse 3D and 4D Reconstruction: SplatFields发现3D高斯溅射（3DGS）在稀疏视图设置下的性能瓶颈源于splat特征缺乏空间自相关性，提出通过隐式神经场预测splat特征来引入空间正则化，在静态3D和动态4D的稀疏重建场景中一致提升了重建质量。
Surface Reconstruction from 3D Gaussian Splatting via Local Structural Hints: 针对3DGS在表面重建质量差的问题，提出利用单目法向/深度先验来增强高斯原语的几何组织性，并通过移动最小二乘（MLS）构建局部符号距离场，再联合学习神经隐式网络进行正则化，显著提升了3DGS的表面重建精度。
MALD-NeRF: Taming Latent Diffusion Model for Neural Radiance Field Inpainting: 提出MALD-NeRF，通过掩码对抗训练和场景定制的潜在扩散模型实现高质量NeRF修复，有效解决扩散模型的多视角不一致和纹理偏移问题。
Texture-GS: Disentangling the Geometry and Texture for 3D Gaussian Splatting Editing: 提出Texture-GS，首次为3D高斯溅射解耦几何与纹理，通过UV映射MLP和局部Taylor展开将外观表示为2D纹理图，实现实时纹理替换和编辑（58 FPS，RTX 2080 Ti）。
Thermal3D-GS: Physics-induced 3D Gaussians for Thermal Infrared Novel-view Synthesis: 提出Thermal3D-GS，通过神经网络建模大气传输效应和热传导物理过程，并引入温度一致性约束，实现热红外图像的高质量新视角合成，创建了首个大规模热红外新视角合成数据集TI-NSD。
TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks: 提出TrackNeRF，将SfM中的特征轨迹（feature tracks）引入NeRF训练，通过全局多视角重投影一致性损失替代传统的成对对应损失，显著提升稀疏+有噪声位姿下的NeRF重建质量和位姿优化精度。
Vista3D: Unravel the 3D Darkside of a Single Image: 提出Vista3D，通过粗到细的两阶段框架（高斯溅射→FlexiCubes等值面细化+解耦纹理），结合角度扩散先验组合，5分钟内从单张图像生成多样且一致的高保真3D网格。
Zero-Shot Multi-Object Scene Completion: 提出OctMAE，一种融合Octree U-Net和隐空间3D MAE的混合架构，从单张RGB-D图像实现高质量近实时的多物体场景形状补全，通过遮挡掩码策略和3D旋转位置编码显著提升效率和泛化能力。