ECCV2024 3D 表示与场景理解论文解读论文笔记点云语义分割 3D 高斯渲染扩散模型域适应 LLM

🧊 3D 表示与场景理解¶

🎞️ ECCV2024 · 20 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (8) · 🎞️ ECCV2026 (57) · 📷 CVPR2026 (100) · 🔬 ICLR2026 (21) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (16)

🔥 高频主题： 点云 ×9 · 语义分割 ×6 · 3D 高斯渲染 ×3 · 扩散模型 ×2 · 域适应 ×2

3×2: 3D Object Part Segmentation by 2D Semantic Correspondences: 提出了一种无需训练的3D物体部件分割方法3-By-2，利用扩散模型(DIFT)的2D语义对应关系从已标注2D数据集或少量3D标注对象中迁移部件标签到3D，在zero-shot和few-shot设置下均达到SOTA。
Bi-directional Contextual Attention for 3D Dense Captioning: 提出 BiCA，通过双向上下文注意力机制将 instance query 和 context query 解耦并行解码，解决了 3D 密集描述中定位与描述生成之间的目标冲突，在 ScanRefer 和 Nr3D 两个基准上取得 SOTA。
Click-Gaussian: Interactive Segmentation to Any 3D Gaussians: 提出Click-Gaussian，通过学习两级粒度（粗/细）的可区分3D特征场，结合全局特征引导学习(GFL)解决跨视角mask不一致问题，实现每次点击仅需10ms的实时3D高斯交互式分割，速度比现有方法快15-130倍，同时显著提升分割精度。
CloudFixer: Test-Time Adaptation for 3D Point Clouds via Diffusion-Guided Geometric Transformation: 本文提出CloudFixer，首个针对3D点云的测试时输入适应方法，通过预训练扩散模型引导的几何变换参数优化，将分布偏移的测试点云变换回源域，同时避免了扩散模型的反向传播，实现了不到1秒的单实例适应速度。
DG-PIC: Domain Generalized Point-In-Context Learning for Point Cloud Understanding: 提出 DG-PIC，首个在统一模型中同时处理多领域多任务的点云理解框架，通过双层次源域原型估计和测试时特征平移机制，在不更新模型的情况下提升对未知域的泛化能力。
Dual-level Adaptive Self-Labeling for Novel Class Discovery in Point Cloud Segmentation: 提出双层自适应自标注方法，通过半松弛最优传输处理类别不平衡问题，并结合区域级表示增强点级分类器的学习，在点云分割中实现高效的新类发现。
FlashSplat: 2D to 3D Gaussian Splatting Segmentation Solved Optimally: 将3D高斯溅射的2D-to-3D分割问题建模为整数线性规划，利用alpha混合的线性性质得到闭式最优解，仅需30秒完成优化，比现有方法快50倍。
Gaussian Grouping: Segment and Edit Anything in 3D Scenes: 为 3D Gaussian Splatting 中的每个高斯学习 16 维 Identity Encoding 实现实例级分组，使用 SAM + DEVA 视频跟踪生成多视图一致的 2D 伪标签做监督，在 LERF-Mask 开放词汇分割上 mIoU 达 69-77%（超 LERF 2 倍+），全景分割超 Panoptic Lifting 4.9% mIoU 且 14× 更快，同时支持 3D 物体移除/修复/着色/风格迁移等多种编辑。
GPSFormer: A Global Perception and Local Structure Fitting-Based Transformer for Point Cloud Understanding: 提出GPSFormer，通过全局感知模块(GPM)学习短程和长程依赖关系，并利用Taylor级数启发的局部结构拟合卷积(LSFConv)精确建模局部几何信息，在ScanObjectNN上以2.36M参数达到95.4%准确率，超越所有监督学习和预训练方法。
Heterogeneous Graph Learning for Scene Graph Prediction in 3D Point Clouds: 提出 3D-HetSGP 框架，将3D场景图预测建模为异构图学习问题，通过两阶段的异构图结构学习（HGSL）和异构图推理（HGR），解决了现有同构全连接图方法中不加区分的消息传递导致的次优性能问题。
Open-Vocabulary 3D Semantic Segmentation with Text-to-Image Diffusion Models: 提出 Diff2Scene，首次将预训练的文本-图像扩散模型（Stable Diffusion）用于开放词汇3D语义分割，通过创新的掩码蒸馏方法将2D基础模型的语义丰富mask嵌入迁移到3D几何感知mask模型，在 ScanNet200 上超越 SOTA 12%。
Open Vocabulary 3D Scene Understanding via Geometry Guided Self-Distillation: 提出 GGSD 框架，利用3D几何先验（超点语义一致性）引导从2D模型到3D模型的知识蒸馏，并通过自蒸馏机制进一步挖掘3D数据的表征优势，在室内外开放词汇3D场景理解任务上大幅超越现有方法。
PCF-Lift: Panoptic Lifting by Probabilistic Contrastive Fusion: 提出 PCF-Lift，通过概率特征嵌入（多元高斯分布）替代确定性特征，结合概率乘积核（PP Kernel）的对比损失和跨视图约束，有效应对2D分割中的不一致分割和不一致ID问题，在 ScanNet 和 Messy Room 数据集上显著超越前沿方法。
PointLLM: Empowering Large Language Models to Understand Point Clouds: 将点云编码器（Point-BERT）通过 MLP 投影层对接 LLaMA 大语言模型，构建 PointLLM；利用 730K 指令数据（660K 简述 + 70K 复杂指令）两阶段训练后，在 3D 物体分类上达到 53.4% 生成式准确率（超越 LLaVA-13B 的 44.2%），在物体描述任务上人类评估胜率 55%（超越人工标注）。
Progressive Classifier and Feature Extractor Adaptation for Unsupervised Domain Adaptation on Point Clouds: 提出 PCFEA 方法用于点云无监督域自适应，通过渐进构建从源域到目标域的中间域，在宏观层面用目标风格特征增强训练分类器（PTFA），微观层面引导特征提取器向中间域对齐（IDFA），在 PointDA-10 上均值准确率达 76.5%（超 SOTA +2.9%），GraspNetPC-10 上达 87.6%（超 SOTA +13.7%）。
RISurConv: Rotation Invariant Surface Attention-Augmented Convolutions for 3D Point Cloud Classification and Segmentation: 提出 RISurConv，通过构建局部三角表面并提取高表达力旋转不变表面属性（RISP），结合注意力增强卷积，实现首次在精度上超越非旋转不变方法的旋转不变点云分析网络。
ScanReason: Empowering 3D Visual Grounding with Reasoning Capabilities: 提出 3D reasoning grounding 新任务和 ScanReason 基准（10K+ QA-location pairs，5种推理类型），设计 ReGround3D 框架将 MLLM 推理与 3D grounding 模块通过 Chain-of-Grounding 机制协同，在隐式指令下实现准确的 3D 目标定位。
SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding: 提出首个百万级 3D 视觉-语言数据集 SceneVerse（68K 室内场景 + 2.5M 场景-语言对），结合多层级对比预训练框架 GPS，在 3D visual grounding 和 QA 任务上取得 SOTA，并展现零样本迁移能力。
SegPoint: Segment Any Point Cloud via Large Language Model: 提出 SegPoint，首个利用多模态 LLM 推理能力在统一框架中完成 3D 指令分割、引用分割、语义分割和开放词汇分割四种任务的模型，并构建 Instruct3D 基准测试（2,565 对），mIoU 达 27.5%。
VersatileGaussian: Real-Time Neural Rendering for Versatile Tasks Using Gaussian Splatting: 本文提出 VersatileGaussian，通过为 3D 高斯赋予共享多任务特征并设计任务相关注意力（Task Correlation Attention）模块实现跨任务信息流动，在 ScanNet 和 Replica 数据集上同时达到了多任务标签预测的 SOTA 精度和 35 FPS 的实时渲染速度。