NeurIPS2026 重建与渲染论文解读论文笔记 3D 高斯渲染三维重建动态场景新视角合成压缩/编码人脸/视线

🧊 重建与渲染¶

🧠 NeurIPS2026 · 58 篇论文解读

📌 同领域跨会议浏览： 🎞️ ECCV2026 (168) · 📷 CVPR2026 (221) · 🔬 ICLR2026 (77) · 🧪 ICML2026 (6) · 🤖 AAAI2026 (20) · 🧠 NeurIPS2025 (40)

🔥 高频主题： 3D 高斯渲染 ×14 · 三维重建 ×8 · 动态场景 ×7 · 新视角合成 ×5 · 压缩/编码 ×5

3D Point Splatting for mmWave Radar Novel View Synthesis: 针对毫米波雷达新视角合成中物理保真度、复数信号一致性与多视角优化效率不可兼得的难题，提出首个基于雷达方程的3D点喷溅（3DPS）可微点渲染器，通过ITU材质建模与闭式PSF复数喷溅实现产品无关的多模态雷达信号合成。
Anchor3DGS: Feed-Forward 3D Gaussian Splatting with Compact Anchor-Based Representation: 针对前馈3D高斯泼溅像素对齐范式带来的高斯冗余与视点分辨率耦合问题，Anchor3DGS提出解耦输入视点与像素的紧凑三维锚点表示，结合信息熵引导采样、遮挡感知多视角特征聚合和轻量残差增强，以减少数量级的高斯基元实现SOTA新视角合成质量。
Autoregressive Appearance Prediction for 3D Gaussian Avatars: 针对高质量人体虚拟化身中因训练数据多义性导致的虚假相关与外观突变问题，提出基于局部姿态掩码与分块PCA的空间MLP高斯架构，并在训练期通过投影UV纹理编码外观隐码、测试期利用因果Transformer自回归预测时序隐码，实现兼具高保真度与时序平滑的3D数字人驱动。
Birth-Death Structural Learning for 3D Gaussian Splatting: 针对 3DGS 传统克隆与分裂依赖位置梯度、不透明度等启发式代理信号且脱离重构目标的缺陷，本文基于 Splat Regression Model (SRM) 的 Wasserstein-Fisher-Rao 测度变分理论，提出一阶变分质量分数指导的出生-死亡结构控制算法，在受限高斯预算下显著刷新多视角神经渲染质量。
BLARM: Animating 3D Objects from Video via Blending LAtent Rigid Motion Primitives: 提出前馈式单目视频驱动 3D 网格动画方法 BLARM，通过几何引导与视频条件化的时空解耦注意力，预测紧凑的时变隐式局部刚体运动基元与时不变顶点蒙皮权重，实现无需显式骨骼绑定的高保真、时序一致动态网格生成。
CodecSplat: Ultra-Compact Latent Coding for Feed-Forward 3D Gaussian Splatting: 针对前向3D高斯泼溅直接压缩无序3D基元导致率失真效率低下的难题，提出将压缩瓶颈前移至生成流水线内部，通过多视角深度引导细化与分层变分自编码器对2D高斯生成特征进行熵编码，以仅几KB至百KB的比特流实现可控的高保真新视角合成。
CompactSplat: Spatially Adaptive Gaussian Distribution for Feedforward Scene Reconstruction: 针对前向3D高斯泼溅逐像素刚性分配导致的严重空间冗余与平面空洞问题，CompactSplat通过纹理感知四叉树空间划分与分层金字塔连续采样，在平坦区域自适应平铺尺度扩展的大基元并在高频纹理区密集分布高精基元，以减少44%以上的基元数量实现SOTA级多分辨率渲染一致性，并原生支持推理时零重训动态稀疏控制。
ControlFlow3D: Distilling Multi-View Knowledge into Latent Flow Matching for Point Cloud Upsampling: 提出 ControlFlow3D，在冻结的 3D 几何隐空间中构建条件流匹配，在训练期通过无监督软聚类构建共享多模态原型将多视角图像知识蒸馏进速度场控制器，并在测试期仅凭稀疏点云经由 Mamba 几何解码器高保真回归密集三维表面。
DinoComplete: 3D Shape Completion with Distilled Semantic Priors and State Space Models: 针对残缺与带噪三维扫描中几何线索不足以推断缺失结构的难题，DinoComplete 将 2D 视觉基础模型的语义先验蒸馏至体素对齐空间，并通过多尺度体素状态空间模型实现高效长程几何推理，以确定性前向推理在未见类别上超越了扩散生成基线。
DySurface: Consistent 4D Surface Reconstruction via Bridging Explicit Gaussians and Implicit Functions: 通过构建显式变形高斯引导的稀疏体素网格（VoxGS-DSDF），架起显式高斯前向运动与隐式符号距离函数（SDF）体绘制反向映射之间的桥梁，实现了高质量、时序一致的水密4D动态网格重建。
Déjà View: Looping Transformers for Multi-View 3D Reconstruction: 提出显式循环多视角三维重建架构 DéjàView，仅使用单一共享 Transformer 块循环迭代精炼多视角特征，参数量仅 117M，在提供推理时计算旋钮的同时超越十亿参数级前馈 SOTA 模型。
Enhancing Novel View Synthesis via Geometry Grounded Set Diffusion: 针对 3DGS 在大基线轨迹外推时渲染质量衰退严重且扩散增强模型易过度幻觉的问题，SetDiff 将 3DGS 累积坐标图与 Plücker 光线嵌入注入单步扩散模型，并通过无序集合注意力机制联合处理多参考与多目标视点，实现了高保真、强几何一致性的实时新视角图像增强。
Fast 4D Mesh Generation by Spatio-Temporal Attention Chains: 通过挖掘冻结4D扩散骨干中仅需4步去噪即涌现的时空注意力链，无需额外形变网络即可建立跨时空几何对应，将单目视频4D网格生成耗时从2分钟压缩至9秒并提升拓扑一致性与几何精度。
Feedforward Novel View Synthesis for Heterogeneous Cameras: 针对多传感器系统中透视、鱼眼与全景等多相机投影共存的难题，本文提出局部光线图与投影感知2D RoPE，将异构相机建模为共享光线空间的统一几何采样，实现了无需类别先验的前馈异构新视角合成及零样本全景生成。
FRUC: Feedforward Dynamic Scene Reconstruction from Uncalibrated Collaborative Driving Views: 针对协同驾驶中多车多相机未精确标定与时空无序导致的几何错位与语义干扰难题，FRUC提出了基于视觉几何Transformer的前馈3DGS框架，通过自车因果遮挡场推导盲区时空演化先验，并利用零初始化条件残差去噪实现无损的协作式动态场景补全与高质量新视角合成。
Gaussian Splatting-based Volumetric Video Compression with Sparse 4D Anchors: 提出基于分层稀疏4D锚点的体积视频编解码框架SAGA，通过时空邻域插值神经解码消除锚点间冗余，并结合正交投影记忆槽上下文熵模型实现紧凑高效的动态3DGS压缩。
Generative Structure from Motion with Native 3D Diffusion: 提出 GenSfM 框架，将原生 3D 扩散模型作为稀疏无标定多视角物体结构与相机位姿恢复的核心推理引擎，通过多模态 DiT 联合去噪 3D 形状与各视角位姿潜在表征，并在精细阶段通过位姿感知的多尺度逐体素图像特征采样消除层叠误差，实现兼具高保真度几何、纹理与亚度级位姿精度的端到端物体级 SfM。
GenRec: Knowing Where to Reconstruct and Where to Generate: GenRec 提出了一种将稀疏输入新视角合成在架构、监督与梯度流动上显式解耦为“重建”与“生成”双路径的多视角流匹配框架，利用观测掩码驱动像素级几何细化并隔绝回归梯度，在大幅提升观测区域高频保真度的同时保留了未观测区域的生成多样性与真实感。
GenRecon: Bridging Generative Priors for Multi-View 3D Scene Reconstruction: 将多视角三维场景重建构建为基于重叠空间分块的条件 3D 生成任务，通过基于投影的空域锚定与置换不变融合机制将 Trellis.2 物体级生成先验提升至场景级，直接输出带 PBR 材质的高保真连续网格。
Geometry-Centered 3D Latent World Models for Growing Surfaces: 针对薄壳与植物等支撑拓扑随时间增生膨胀的物理系统，提出了以几何为中心的隐式世界模型 FOLIAGE，在固定状态预算下通过生长自适应机制将容量动态集中于未来高活性生长前沿，并结合特权物理引导与材质动作解耦实现高精度反事实未来几何推演。
GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction: 针对长序列单目流式3D重建中KV Cache线性膨胀的显存瓶颈，GHOST提出一种无需训练的几何层级Token驱逐框架，利用模型自身的位姿、深度与点图置信度进行双尺度动态淘汰，结合特殊标记特权保护与余弦相似度层间预算分配，在显存削减近半的同时实现1.75倍推理加速且重建精度无损。
Horizon-Stream: Long-Horizon Attention for Streaming 3D Reconstruction: 针对流式 3D 重建中因历史信息同质化衰减引发的长序列漂移与崩溃问题，HorizonStream 将几何传播形式化为证据影响核并做时空解耦，通过可学习通道级衰减率的几何线性注意力维持有界循环状态，仅用 48 帧片段训练即稳定外推至万帧序列。
KoalaGS: Complexity-Aware Continuous Level of Detail for Gaussian Splatting: 针对 3D 高斯泼溅在计算预算缩减时图元退化失真问题，KoalaGS 提出以训练前图像局部复杂度为先验，结合复杂度偏置重定位、尺度与复杂度调制的图元重要度排序及空间残差方差损失，实现高质量、平滑且支持渐进式流传输的连续细节层次（LoD）渲染。
M-plicits: Neural Implicit Surfaces via Nested Multiscale Residuals: M-plicits 用全域粗 SIREN 加逐级窄带监督的残差 SIREN 重建有向点云，并让追踪、网格提取和属性映射复用这一层级，在较小参数量下获得实时渲染与较强的合成测量噪声鲁棒性，但并非所有精度和速度指标都胜出。
MACRO: Training-free Multi-plane Attention for Closeup Render Optimization: 针对 3DGS 特写渲染严重模糊且基于参考图的扩散增强模型因尺度不匹配产生严重伪影的问题，本文提出无需微调训练的 MACRO 框架，利用场景几何将特写场景解构为多个深度平面，在图像空间对训练集参考图进行尺度匹配裁剪上采样，并配合深度感知注意力掩码，实现了高保真度的特写新视角渲染。
Marrying Optimal Transport and ODEs for Unified Continuous-Time 4D Reconstruction and Tracking: Uni4R 巧妙结合最优传输理论与常微分方程，通过流匹配引导解码器与积分一致性训练策略学习连续三维速度场，首次在统一前馈框架下实现了任意非整数时间戳的高保真 4D 动态重建与物理一致性三维点跟踪。
MonoPhysics: Estimating Geometry, Appearance, and Physical Parameters from Monocular Videos: 针对单目视频中缺失多视角几何约束导致尺度模糊、几何欠准与物理解耦失效的难题，MonoPhysics 结合可微 MPM 仿真与 3D 高斯溅射，提出全局尺度重参数化、物态感知几何精化与可微位置图三大视觉-物理桥梁，实现单目动刚/弹塑性物体几何、外观与物理参数的联合优化与高精度未来预测。
MvFFN: Multi-view Floor-Plan Feed-Forward Network for Unposed Wide-Baseline Panorama Layout Reconstruction: 针对稀疏无位姿宽基线室内全景图难以直接端到端恢复全局多房间平面图的难题，本文提出多视角有序墙体实例分割（MOIS）与前馈网络 MvFFN，将全局序列预测转化为跨视角局部墙体与拓扑邻接估计，并通过布局分链（Layout Chaining）组装为高精度度量级多房间平面图。
MvFFN: Multi-View Floor-Plan Feed-Forward Network for Unposed Wide-Baseline Indoor Reconstruction: 针对稀疏未标定位姿且宽基线全景图的室内多房间户型图重建难题，MvFFN提出将全局序列预测转化为多视角的有序墙体实例分割（MOIS），前馈联合预测粗位姿、几何点图与跨视角邻接墙体实例，并通过确定性布局链接（Layout Chaining）算法组装出高精度的全局矢量化户型图。
No Pose, No Problem in 4D: Feed-Forward Dynamic Gaussians from Unposed Multi-View Videos: 针对无已知相机位姿、多视角动态视频的 4D 重建空白，NoPo4D 首次提出完全前馈的 4D 高斯泼溅架构，通过将高斯运动解耦为图像平面位移与深度变化并利用光流监督，实现了秒级高质量动态新视角合成。
NRF-GS: Neural Residual Fields for Expressive and Compact Gaussian Splatting: NRF-GS 用共享的低频/高频神经残差分支替换逐高斯球谐外观，在不改增密与剪枝规则的情况下，以更少的高斯获得更高的平均 PSNR，但并非在感知质量或渲染速度上全面胜出。
PhyMo: Learning Physical Dynamics with Accurate and Continuous Motion from Multi-View Videos: 针对多视角动态场景重建中外观捷径导致形变失真以及纯渲染监督缺乏时间连续性的痛点，PhyMo 提出运动感知轨迹表征与双向运动学连续性约束的连续运动演化模块，实现了几何保真的插值与物理连续的未来外推。
PLANING: A Loosely Coupled Triangle-Gaussian Framework for Streaming 3D Reconstruction: PLANING 提出三角形图元与神经高斯松散耦合的混合场景表征，配合光度/空间自适应滤波初始化与全局位姿对齐更新，在单目未定姿流式输入下实现了兼具紧凑结构、高精度几何与高保真渲染的在线 3D 重建。
Point4D: Long-Range 4D Motion Reconstruction: 提出基于三维坐标查询的前馈式长视频 4D 运动重建模型 Point4D，将运动轨迹预测与像平面可见性解耦，通过在视窗重叠区直接重查询三维端点实现免重投影自回归串接，在数百帧长视频追踪上大幅刷新 SOTA。
Pose-Free Feed-Forward 3D Inpainting via Learnable Mask Attention and Support Token Refinement: FreeInpaint首创端到端前向免位姿3D场景补全框架，基于3D基础模型引入自适应可学习掩码注意力与置信度加权支撑token补全机制，仅需单次前向约0.4秒即可从无位姿掩码图像直接重建多视角一致的高质量3D高斯场。
PosePlaner: Denoising Any Feedforward Pose Predictor from Pairwise Planar Geometry: PosePlaner 针对前馈位姿估计器缺乏几何重细化机制与传统匹配求解器易受外点干扰的断层问题，提出以两视图局部块平面法向与距离残差为几何条件，在连续 6D 空间中通过单步欧拉流匹配去噪旋转残差并经鲁棒几何求解器恢复平移，实现即插即用且无缝扩展至长序列流式去漂移的位姿细化范式。
ProMo3D: Probing Motion Cues in Frozen 3D Foundation Models: 本文通过表征探测技术系统揭示了冻结前馈 3D 基础模型中固有的运动解耦线索，证实运动表征高度浓缩于极低秩判别子空间中，并基于此提出仅需 160 个视频训练的轻量化探测运动蒸馏框架 PMD，实现了高效强劲的零样本运动分割。
Pygmalion Effect in Vision: Image-to-Clay Translation for Reflective Geometry Reconstruction: 论文提出借助图像转换模型将强反光多视角图像翻译为无高光的白色哑光“黏土”图像作为几何先验，在双分支 2D 高斯泼溅框架下于训练早期约束几何与法线，在 GlossySynthetic 数据集上取得 0.0061 的平均 Chamfer 距离，有效解决了反光物体几何与外观严重纠缠的重建难题。
\(R^3\): 3D Reconstruction via Relative Regression: \(R^3\) 将前馈三维重建重塑为两两相对位姿回归与全局聚合框架，利用轻量级 MLP 预测解耦的旋转与平移置信度，以统一原语驱动损失加权、流式轨迹聚合及有界关键帧库管理，在保持 372M 紧凑参数的同时支持无界长流式与离线全上下文重建。
Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos: 提出 HA-HOI 框架，以“以人为锚、物体随动”为原则并结合 VLM 接触先验与物理仿真投影，从单目 RGB 视频中恢复兼具几何保真与物理合理性的 4D 人-物交互动画。
RegimeVGGT: Layer-Wise Spatially Preserving Redundancy Removal for Visual Geometry Grounded Transformer: 针对视觉几何Transformer（VGGT）二次方跨帧注意力开销巨大且层间异质性显著的问题，本文通过谱分析与因果干预揭示浅层无结构、中层驱动几何对齐、深层冗余但支配位姿的三阶段规律，提出了双轴U形免训练加速方案（显著性引导分段合并与选择性保护K/V下采样），在保持密集重建精度的同时实现高达6.7倍的端到端推理加速。
ReorgGS: Equivalent Distribution Reorganization for 3D Gaussian Splatting: ReorgGS 揭示了 3DGS 收敛后因悬浮物遮挡和局部冗余重叠导致的“参数化退化”瓶颈，通过将收敛高斯集建模为经验概率场、重采样中心、kNN 估计各向异性协方差并重置低不透明度，在不增加高斯点数预算和不改变渲染管线的前提下，显著打破优化平台期并降低渲染冗余。
Resolving Representation Ambiguity in Feedforward Novel View Synthesis Transformer via Semantic-Spatial Decoupling: 针对前馈式新视角合成 Transformer 中 RGB 语义与普吕克光线空间编码纠缠导致的网格状伪影与表征歧义，本文提出将 token 解耦为语义与空间双分支，通过共享 Q/K 路由与独立 V 投影（Independent-V Attention）保持特征特异性，并引入训练期分类监督与双向特征调制，在几乎零推理延迟开销下取得超过 1.1 dB 的 PSNR 提升。
Rethinking the State Update Gate for Long-Sequence Recurrent 3D Reconstruction: AFG 在冻结的 CUT3R/TTT3R 推理流程中，用相邻帧内部特征的变化生成一个正值帧级写入权重，与 token 门相乘以减少重复帧覆盖历史，在不丢帧、不再训练且保持恒定记忆的条件下将 KITTI 平均 ATE 从 68.54 m 降至 43.96 m，但并非所有序列和误差指标都改善。
RPC-GS: Gaussian Splatting with native RPC Rendering for Satellite Imagery: 首个原生支持有理多项式相机（RPC）模型的卫星影像 3D Gaussian Splatting 框架，通过严谨的地学坐标变换链、无求解器依赖的雅可比协方差投影与度量射线深度，消除了透视与仿射相机近似带来的系统性几何误差，在 DFC2019 与 IARPA2016 数据集上将地表高程误差降低 29.6% 与 9.9%。
RxGS: Receiver-Generalizable 3D Gaussian Splatting for Radio-Frequency Data Synthesis: 针对现有射频 3DGS 依赖单一固定接收端、服务 \(N\) 个接收端需独立训练 \(N\) 个模型的瓶颈，RxGS 提出将接收端无关的场景几何与接收端相关的定向辐射率解耦的两阶段框架，配合全局谐波与局部遮挡条件分支以及单 Kernel 多接收端 CUDA 光栅化器，以单一共享模型实现任意发射端与未见接收端的统一射频合成，训练与存储开销降低达数十倍。
S2MDF: A Plug-And-Play Layer for Intersection-Free Multi-Object Signed Distance Fields: 本文提出一种针对多物体符号距离场（SDF）的即插即用硬约束投影层 S2MDF，在无需改动基干网络的前提下，从理论上保证线性插值等值面提取完全无穿插，将多物体相交体积降低数个数量级至数值精度级别。
SAM 3D Animal: Promptable Animal 3D Reconstruction from Images in the Wild: 提出首个面向自然图像多动物三维重建的可提示框架 SAM 3D Animal，结合 DETR 式集合预测与 SMAL+ 参数化模型，支持稀疏关键点与掩码提示进行复杂交互与遮挡消歧，并构建含 5K+ 多动物图像的合成数据集 Herd3D 实现端到端监督。
SCION: Scene Composition with Instanced Neural Primitives: SCION 将独立参数化的海量 3D 高斯解耦为可复用的局部神经图元词汇表与轻量化世界空间实例变换，配合图元局部生灭、实例多尺度密集化及对抗损失，在 1.2 MB 极限存储下实现了优异的率失真权衡并原生支持实例级编辑与物理动画。
Towards Reconstructing Geographically Diverse Architecture with 3D Foundation Models: 提出了首个涵盖全球 8 大区域、396 个真实地标的度量级 3D 重建基准 ArchWorld，揭示了当前 3D 基础模型在地理与建筑类型上的显著性能偏差源于建筑本征复杂度和背景干扰而非单纯数据代表性，并提出了通过梯度上升引导跨视角注意力的免微调干预方法 ArchAttend，显著降低了重建误差与区域差距。
TransmissiveGS: Residual-Guided Disentangled Gaussian Splatting for Transmissive Scene Reconstruction and Rendering: 针对玻璃、车窗等透射场景中近场反射与背景透射辐射相互纠缠导致几何重建退化的问题，TransmissiveGS 提出双高斯表示、残差引导的多阶段解耦重建策略与近场反射光场，实现了无需几何先验的透射表面高精度法线恢复与逼真新视角合成。
TurboVGGT: Fast Visual Geometry Reconstruction with Adaptive Alternating Attention: 针对前馈视觉几何Transformer在多视角3D重建中全局注意力计算复杂度随Token数二次方爆炸的问题，TurboVGGT提出自适应交替注意力机制，动态按层与按帧分配稀疏度预算，并通过生成压缩代表性Token进行跨视角全局交互，在保持或超越基线重建精度的同时实现高达18×推理加速与更低显存占用。
UniCon3R: Unified Contact-aware 4D Human-Scene Reconstruction from Monocular Video: UniCon3R 针对单目视频 4D 人体与场景联合重建中人体悬空与地面穿透严重的问题，提出将人体-场景 3D 接触作为内部修正反馈信号，构建场景感知接触提示与接触引导的隐空间残差微调机制，在保持流式前向推理速度的同时大幅提升物理真实性与全局运动估计精度。
UniGS: Unified Geometry-Aware Gaussian Splatting for Multimodal Rendering: UniGS 提出了一个基于 3DGS 的几何感知统一多模态渲染框架，通过可微光线-椭球求交与解析梯度回传将旋转缩放属性引入深度与法线优化，并结合梯度因子进行可微剪枝，实现了高保真且高效的 RGB、深度、法线与语义多模态联合重建。
UniSHARP: Universal Sharp Monocular View Synthesis: UniSHARP 通过在统一的无量纲光线-距离隐式空间中构建几何锚定高斯并融合2D语义与3D几何特征预测残差，突破了传统单目3DGS对针孔透视相机的假设，实现了跨常规透视、广角、鱼眼和360°全景相机的超快前向通用单目新视角合成。
VolFill: Single-View Amodal 3D Scene Reconstruction with Volumetric Flow Matching: VolFill 提出了首个基于体积流匹配的单视角全场景非遮挡（Amodal）3D 重建框架，通过混合 3D VAE 高效压缩高分辨率截断无符号距离场（TUDF），并结合几何基础模型 MoGe-2 的显式可见几何与视觉上下文双重条件，实现了高精度、拓扑一致且无分层伪影的完整场景几何合成。
WebSpline: Structure-Informed Splines for Real-Time 3D Gaussians from Monocular Videos: WebSpline 提出了一种结构感知样条（SIS）动态高斯表征，在两阶段优化中借助辅助结构代理图（SPG）及空间/结构双邻域时间刚性约束实现高保真度单目动态场景重建，并在推理阶段仅评估样条轨迹，达成 270+ FPS 的超高速渲染。
World from Motion: Generative Dynamic Gaussian Reconstruction from Monocular Video: 提出了 World from Motion (WfM)，通过将初始单目动态 3D 高斯重建渲染为包含外观、几何与显式 3D 场景流的屏幕空间 4D 稠密多模态缓冲，条件引导视频生成模型合成时空一致的新视角视频，再通过联合重优化蒸馏回统一动态 3DGS 资产中，实现高保真单目 4D 场景重建。