CVPR2025 3D 表示与场景理解论文解读论文笔记语义分割点云 3D 高斯渲染对抗鲁棒人脸/视线 NeRF

🧊 3D 表示与场景理解¶

📷 CVPR2025 · 47 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (8) · 🎞️ ECCV2026 (57) · 📷 CVPR2026 (100) · 🔬 ICLR2026 (21) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (16)

🔥 高频主题： 语义分割 ×13 · 点云 ×7 · 3D 高斯渲染 ×5 · 对抗鲁棒 ×3 · 人脸/视线 ×2

3D-LLaVA: Towards Generalist 3D LMMs with Omni Superpoint Transformer: 提出3D-LLaVA，一个极简架构的通用3D大语言多模态模型，核心是Omni Superpoint Transformer (OST)作为多功能视觉连接器，同时充当视觉特征选择器、视觉提示编码器和分割掩码解码器，仅用点云输入就在ScanQA（92.6 CiDEr）、ScanRefer（43.3 mIoU）等5个基准上全面达到SOTA。
4Deform: Neural Surface Deformation for Robust Shape Interpolation: 提出 4Deform 框架，基于神经隐式表示和连续速度场学习实现鲁棒形状插值，通过修改的 level-set 方程链接隐式场与速度场，首次在噪声、部分、拓扑变化和非等距变形场景中均取得 SOTA，并支持真实世界 Kinect 点云序列的时间超分辨率。
A2Z-10M+: Geometric Deep Learning with A-to-Z BRep Annotations for AI-Assisted CAD Modeling and Reverse Engineering: 构建了包含100万+复杂CAD模型、超1000万多模态标注（高分辨率3D扫描、手绘3D草图、文本描述、BRep拓扑标签）的A2Z数据集，是目前最大的CAD逆向工程数据集，并基于此训练了BRep边界和角点检测的基础模型。
Any3DIS: Class-Agnostic 3D Instance Segmentation by 2D Mask Tracking: 提出Any3DIS，通过3D感知的2D掩码跟踪（利用SAM-2追踪每个超点在多帧中的2D分割）替代传统的无监督合并策略，并用动态规划优化3D Proposal，在ScanNet200和ScanNet++上的类别无关、开放词汇、开放式3D实例分割任务中均取得SOTA。
ASHiTA: Automatic Scene-grounded Hierarchical Task Analysis: 提出首个将高层任务自动分解为场景锚定(grounded)子任务层级的框架ASHiTA，通过交替执行LLM辅助的层次化任务分析和基于信息瓶颈原理的任务驱动3D场景图构建，实现了任务层级与场景表示的联合推理。
BFANet: Revisiting 3D Semantic Segmentation with Boundary Feature Analysis: 从错误分析角度重新审视3D语义分割，将分割误差分为四类（区域分类/位移/合并/误响应）并设计对应评估指标，提出BFANet通过边界-语义解耦模块和实时边界伪标签计算增强边界感知，在ScanNet200测试集上达到36.0 mIoU（不含辅助数据训练的最高成绩）。
Category-Agnostic Neural Object Rigging: 提出 CANOR（Category-Agnostic Neural Object Rigging），通过将可变形4D物体编码为稀疏的空间定位 blob 集合和实例感知特征体，以完全类别无关、数据驱动的方式自动发现可变形物体的低维姿态空间，实现直观的姿态操控。
COB-GS: Clear Object Boundaries in 3DGS Segmentation Based on Boundary-Adaptive Gaussian Splitting: 提出 COB-GS，一种通过语义梯度统计驱动的边界自适应高斯分裂技术，联合优化语义信息和视觉纹理，解决 3DGS 分割中物体边界模糊的问题，在保持视觉质量的同时实现清晰的物体边界分割。
CrossOver: 3D Scene Cross-Modal Alignment: 提出CrossOver框架，通过维度特定编码器和三阶段训练管线，在不要求完整模态配对的条件下，学习RGB图像、点云、CAD模型、平面图和文本描述的统一场景级跨模态嵌入空间，支持灵活的跨模态检索和定位。
Dr. Splat: Directly Referring 3D Gaussian Splatting via Direct Language Embedding Registration: 提出 Dr. Splat，绕过渲染过程直接将语言对齐的 CLIP 嵌入注册到 3D 高斯上，结合在大规模图像数据上预训练的乘积量化（PQ）实现 6.25% 的嵌入压缩，在完全不需要逐场景优化的前提下（~10 分钟 vs 现有方法 1-24 小时），在开放词汇 3D 语义分割、3D 物体定位和 3D 物体选择任务上显著超越现有方法。
DSPNet: Dual-vision Scene Perception for Robust 3D Question Answering: DSPNet 提出了一种双视觉场景感知网络，通过文本引导的多视图融合（TGMF）、自适应双视觉感知（ADVP）和多模态上下文引导推理（MCGR）三个模块，综合利用点云和多视图图像信息来解决 3D 问答中的精细感知和鲁棒推理问题，在 SQA3D 和 ScanQA 数据集上达到 SOTA。
Dynamic Neural Surfaces for Elastic 4D Shape Representation and Analysis: 本文提出 Dynamic Spherical Neural Surfaces (D-SNS)，用 MLP 将 genus-0 的 4D 表面建模为时空连续函数，然后在 SRNF/SRVF 空间中直接完成时空配准、测地线计算和均值估计，无需离散化，在 4D 人体和面部数据集上超越了 4D Atlas。
Empowering Large Language Models with 3D Situation Awareness: 本文提出利用 RGB-D 视频的相机轨迹自动生成情境感知（situation-aware）数据集 View2Cap（20 万+描述、55 万+ QA），并设计情境定位模块（SG）将位姿估计转为锚点分类任务，使 3D LLM 能理解第一人称视角下的空间关系描述（如"左边""右边"随视角变化），在 SQA3D 上 EM@1 达 54.0%。
Functionality Understanding and Segmentation in 3D Scenes: Fun3DU 首次提出针对 3D 场景功能性理解的方法，通过 LLM 链式思维解析任务描述 + VLM 多视角分割功能性物体 + 2D-3D 投票聚合，在 SceneFun3D 上大幅超越开放词汇 3D 分割基线（mIoU +13.2）。
GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency: GEAL 提出双分支架构，用 3D 高斯溅射将点云渲染为逼真 2D 图像从而利用预训练 2D 基础模型的泛化能力，通过粒度自适应融合和 2D-3D 一致性对齐实现跨模态知识迁移，在标准和腐败数据基准上全面超越现有 3D 功能可供性方法。
GO-N3RDet: Geometry Optimized NeRF-enhanced 3D Object Detector: 提出GO-N3RDet，通过位置信息嵌入的体素优化模块（PEOM）、双重重要性采样（DIS）和不透明度优化模块（OOM）三个协同模块，解决基于NeRF的多视图3D检测中缺乏3D位置信息和场景几何感知不足的问题，在ScanNet和ARKitScenes上建立了新SOTA。
GREAT: Geometry-Intention Collaborative Inference for Open-Vocabulary 3D Object Affordance Grounding: 提出 GREAT 框架，通过多头 Affordance Chain-of-Thought (MHACoT) 微调 InternVL 推理交互图像中的物体几何属性和潜在交互意图，形成 affordance 知识字典，并通过跨模态自适应融合模块（CMAFM）将知识注入点云和图像特征，实现开放词汇 3D 物体 affordance 定位。同时构建最大规模 3D affordance 数据集 PIADv2（15K 图像 + 38K 点云）。
Grounding 3D Object Affordance with Language Instructions, Visual Observations and Interactions: 提出首个多模态多视角 3D 功能区域定位任务和 AGPIL 数据集（30,972 对点云-图像-语言三元组），并设计基于 VLM 的 LMAffordance3D 框架，融合 2D/3D 空间特征与语言语义实现从 full-view 到 partial/rotation-view 的泛化。
IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments: 构建基于 3DGS 的层次化语义特征场，融合 CLIP/SAM/DINOv2 的语义信息，实现铰接物体的交互式 affordance 预测和跨状态运动参数恢复，支持任意类别、多可动部件的复杂室内场景。
iSegMan: Interactive Segment-and-Manipulate 3D Gaussians: iSegMan提出了一个无需场景特定训练的交互式3DGS分割与操作框架，通过极线引导的交互传播(EIP)和基于可见性的高斯投票(VGV)实现精确的3D区域控制，配合完整的操作工具箱支持语义编辑、上色、缩放、复制粘贴、组合和删除等多种功能。
JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas: 提出 JOPP-3D 框架，通过将全景图切线分解为透视图像、利用 SAM+CLIP 进行3D实例-语义对齐，首次实现对3D点云和全景图像的联合开放词汇语义分割，在 Stanford-2D-3D-s 和 ToF-360 数据集上超越现有方法。
Layered Motion Fusion: Lifting Motion Segmentation to 3D in Egocentric Videos: 本文提出 Layered Motion Fusion（LMF），将 2D 运动分割模型的预测融合到分层神经辐射场的动态和半静态层中，结合测试时精修策略，首次证明 3D 方法能在第一人称视频的动态目标分割中超越 2D 基线，动态目标分割 mAP 提升 30.5%。
Learning Class Prototypes for Unified Sparse-Supervised 3D Object Detection: 提出首个统一室内外稀疏监督 3D 目标检测方法 CPDet3D，通过类感知原型聚类（跨场景 Sinkhorn-Knopp 最优传输匹配）挖掘未标注物体的类别，再用多标签协同精化（伪标签 + 原型标签）恢复漏检，仅用每场景 1 个标注即达 ScanNet V2 全监督 78% / SUN RGB-D 90% / KITTI 96% 性能。
Leveraging 3D Geometric Priors in 2D Rotation Symmetry Detection: 本文提出了一个利用3D几何先验的旋转对称性检测模型，通过在3D空间中直接预测旋转中心和顶点并投影回2D，结合基于种子点和旋转轴的顶点重建模块，在DENDI数据集上以F1-score 33.2超越了之前基于分割的SOTA方法EquiSym (22.5)。
Masked Point-Entity Contrast for Open-Vocabulary 3D Scene Understanding: 提出 MPEC（Masked Point-Entity Contrastive learning），通过跨视角 point-to-entity 对比学习和 entity-to-language 对齐两个层次的对比损失来训练 3D 编码器，在保持实体级几何-空间信息的同时实现开放词汇语义理解，在 ScanNet 上取得 66.0% f-mIoU 的 SOTA 并在 8 个数据集的下游任务上展现强泛化能力。
Mesh Mamba: A Unified State Space Model for Saliency Prediction in Non-Textured and Textured Meshes: 本文提出Mesh Mamba，首个基于状态空间模型（SSM）的统一网格显著性预测模型，通过纹理对齐、子图嵌入和双向SSM，实现对有纹理和无纹理3D网格的高质量视觉注意力预测，并构建了首个系统对比有/无纹理条件下显著性差异的数据集。
MICAS: Multi-grained In-Context Adaptive Sampling for 3D Point Cloud Processing: MICAS 针对 3D 点云 in-context learning 中的任务间（inter-task）和任务内（intra-task）采样敏感性问题，提出了多粒度自适应采样机制——包含任务自适应点采样（Gumbel-softmax 可微采样）和查询特定 prompt 采样（基于概率排序选择最优 prompt），在 ShapeNet 基准上将 part segmentation 提升了 4.1%。
Mitigating Ambiguities in 3D Classification with Gaussian Splatting: 本文首次探索用 3D Gaussian Splatting (GS) 点云替代传统点云作为 3D 分类的输入表示，利用 GS 中的 scale/rotation 系数区分线状和平坦表面、利用 opacity 区分透明/反射物体，构建了首个真实世界 GS 点云数据集，在多种分类方法上均验证了 GS 点云消除歧义的有效性。
Mosaic3D: Foundation Dataset and Model for Open-Vocabulary 3D Segmentation: 提出自动化数据生成管线构建大规模3D mask-text数据集Mosaic3D-5.6M（5.6M对、30K场景），训练语言对齐3D编码器+mask decoder，实现首个单阶段开放词汇3D实例分割。
MotionAnyMesh: Physics-Grounded Articulation for Simulation-Ready Digital Twins: 提出 MotionAnyMesh，一种零样本框架，通过 SP4D 运动学先验引导 VLM 推理消除幻觉 + 物理约束轨迹优化保证无碰撞，将静态3D网格自动转化为仿真可用的铰接数字孪生，物理可执行率达 87%，是现有最好方法的近两倍。
Multi-View Pose-Agnostic Change Localization with Zero Labels: 提出首个无标签、姿态无关的多视角变化检测方法，通过构建变化感知的 3DGS 表示融合多视角变化信息，在 mIoU 上比基线提升 1.7 倍，并能为未见视角生成变化掩码。
Open-Vocabulary Functional 3D Scene Graphs for Real-World Indoor Spaces: 提出功能性3D场景图新任务，利用VLM和LLM通过渐进式检测-描述-推理pipeline从RGB-D图像中构建包含物体、交互元素及其功能关系的3D场景图，并建立了FunGraph3D真实世界数据集。
P-SLCR: Unsupervised Point Cloud Semantic Segmentation via Prototypes Structure Learning and Consistent Reasoning: 提出 P-SLCR，一种原型库驱动的无监督点云语义分割方法，通过将点分离为"一致"和"模糊"两类，用一致结构学习对齐一致点与原型 + 语义关系一致性推理约束两个原型库，在 S3DIS 上无监督达 47.1% mIoU，超越全监督 PointNet。
PerLA: Perceptive 3D Language Assistant: 提出 PerLA，一种感知型 3D 语言助手，通过 Hilbert 曲线分区实现高分辨率局部细节的并行捕获，并通过交叉注意力和图卷积网络将局部信息与低分辨率全局上下文聚合，在不增加 LLM 输入 token 数的前提下显著提升 3D 场景理解的细粒度感知能力。
PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning: PointLoRA 将低秩适配 (LoRA) 与多尺度 token 选择结合，为点云预训练模型提供了一种简单高效的参数微调方案，仅用 3.43% 的可训练参数即达到与全量微调竞争的性能，在 ScanObjectNN、ModelNet40 和 ShapeNetPart 上均取得 SOTA 或接近 SOTA 的结果。
ProxyTransformation: Preshaping Point Cloud Manifold with Proxy Attention for 3D Visual Grounding: 提出Proxy Transformation，通过可变形点云聚类和代理注意力机制，利用文本信息引导子流形平移、图像信息引导子流形内部变换，在训练前高效增强点云流形结构，在自我中心3D视觉定位任务上实现7.49%的显著提升。
Relation3D: Enhancing Relation Modeling for Point Cloud Instance Segmentation: Relation3D 通过自适应超点聚合模块（ASAM）、对比学习引导的超点精炼（CLSR）和关系感知自注意力（RSA）三个组件增强了 Transformer-based 3D 实例分割中场景特征内部关系和 query 间关系的建模，在 ScanNetV2/ScanNet++/ScanNet200/S3DIS 上取得 SOTA。
RelationField: Relate Anything in Radiance Fields: RelationField 首次将物体间关系建模引入神经辐射场，通过从多模态大语言模型（如 GPT-4o）蒸馏关系知识到 NeRF 中的隐式关系特征头，实现了开放词汇的3D场景关系查询与场景图生成，在 3DSSG 基准上显著超越现有方法。
Rethinking End-to-End 2D to 3D Scene Segmentation in Gaussian Splatting: 提出 Unified-Lift，一种基于 3DGS 的端到端对象感知 2D-to-3D 分割方法，通过学习全局对象级码本与高斯级特征的关联，消除了现有方法对前/后处理的依赖，在多视角一致实例分割上显著超越 SOTA。
SCOPE: Scene-Contextualized Incremental Few-Shot 3D Segmentation: SCOPE 提出一个即插即用的背景引导原型富化框架，在基类训练后用类无关分割模型从背景区域挖掘伪实例建立 Instance Prototype Bank (IPB)，当新类别以少样本方式出现时，通过 Contextual Prototype Retrieval (CPR) 和 Attention-Based Prototype Enrichment (APE) 融合背景原型与少样本原型，在 ScanNet/S3DIS 上新类 IoU 提升最高 6.98%。
SeeGround: See and Ground for Zero-Shot Open-Vocabulary 3D Visual Grounding: 本文提出 SeeGround，一个免训练的零样本 3D 视觉定位框架，通过将 3D 场景表示为查询对齐的渲染图像和空间增强文本描述的混合形式，利用 2D 视觉语言模型实现了在 ScanRefer 上超越之前零样本方法 7.7% 的精度。
SemAlign3D: Semantic Correspondence Between RGB-Images Through Aligning 3D Object-Class Representations: 利用单目深度估计构建类别级 3D 物体表示，在推理时通过最小化对齐能量函数（结合语义和空间似然）将 3D 表示与输入图像对齐，在 SPair-71k 上将 [email protected] 总分从 85.6% 提升至 88.9%，三个类别提升超过 10 个百分点。
Sketchy Bounding-Box Supervision for 3D Instance Segmentation: 提出 Sketchy-3DIS 框架，首次将不精确（sketchy）的3D包围盒标注引入弱监督3D实例分割，通过自适应 box-to-point 伪标签生成器和粗到精实例分割器的联合训练，在 ScanNetV2 和 S3DIS 上达到 SOTA，甚至超越部分全监督方法。
Spectral Informed Mamba for Robust Point Cloud Processing: 提出基于图拉普拉斯谱的点云 Mamba 遍历策略 SST，通过表面感知谱遍历（SAST）实现等距变换不变的分类、分层局部遍历（HLT）实现精确分割、遍历感知重定位（TAR）解决 Mamba 中 MAE 的 token 放置问题。
SUM Parts: Benchmarking Part-Level Semantic Segmentation of Urban Meshes: 提出首个大规模城市纹理网格部件级语义分割基准数据集 SUM Parts（覆盖 \(2.5\,\text{km}^2\)，21类），包含面标注和纹理像素标注两种标签类型，并开发了结合3D模板匹配和2D模板匹配的高效交互式标注工具。
Symmetry Strikes Back: From Single-Image Symmetry Detection to 3D Generation: Reflect3D 提出一个可扩展的零样本 3D 反射对称检测器，通过 Transformer 架构和多视图扩散模型生成的多角度聚合来解决单视图歧义，并将检测到的对称性集成到单图 3D 生成流水线中显著提升结构精度和纹理质量。
Text-Guided Sparse Voxel Pruning for Efficient 3D Visual Grounding: 提出TSP3D，首个基于多层稀疏卷积架构的单阶段3D视觉定位框架，通过文本引导剪枝（TGP）和基于补全的添加（CBA）实现高效的3D-文本交互，在ScanRefer上以12.43 FPS的速度取得46.71% [email protected]的SOTA精度。