NeurIPS2026 3D 表示与场景理解论文解读论文笔记语义分割多模态 3D 高斯渲染点云 3D 目标检测对齐/RLHF

🧊 3D 表示与场景理解¶

🧠 NeurIPS2026 · 27 篇论文解读

📌 同领域跨会议浏览： 🎞️ ECCV2026 (57) · 📷 CVPR2026 (100) · 🔬 ICLR2026 (21) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (16) · 🧠 NeurIPS2025 (13)

🔥 高频主题： 语义分割 ×4 · 多模态 ×3 · 3D 高斯渲染 ×3 · 点云 ×2 · 3D 目标检测 ×2

CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models: 针对现有 3D-LLM 局限于单房间平面化目标表征且无法处理真实户型多房间拓扑关系的缺陷，本文提出显式建模层次化场景图拓扑的 3D-LLM CAIRN，通过结构化掩码注意力约束信息跨房间流动并结合几何偏差，在大规模跨房间基准 CAIRN-MR 上取得大幅领先。
ClusterSplat: Semantic Cluster Selection for 3D Visual Grounding in Gaussian Splatting: 针对3D高斯泼溅视觉定位中基于图元相关性分数进行阈值或Top-ratio过滤所导致的离散化不稳与目标碎裂问题，ClusterSplat将3D定位重塑为场景自适应候选簇上的离散选择任务，结合最小描述长度层次聚类与查询条件化簇打分，在ScanRefer基准上实现了领先的显式3D高斯定位与渲染2D分割表现。
Diffusion Masked Pretraining for Dynamic Point Cloud: 针对动态点云自监督预训练中时空管中心位置泄漏及确定性运动回归导致的均值坍缩问题，提出扩散掩码预训练框架（DiMP），通过对掩码管中心进行扩散去噪阻断位置作弊，并引入分层时间步 DDPM 建模多模态帧间位移分布，在 4D 动作分割与点级语义分割上取得显著突破。
DIGS: Distribution-Informed Gaussian Splatting for Training-Free Open-Vocabulary 3D Segmentation: DIGS 提出了一种免训练的开放词表 3D 高斯分割框架，通过为每个高斯基元维护显式的 Top-M 标签分布与狄利克雷温控更新机制，并结合迟滞 Argmax 渲染与解耦的多模态实例编码，在单张 A100 上仅需 1~3 分钟即可构建高精度 3D 实例本体，并在 LERF-OVS 上取得了 71.95% 的平均 mIoU。
Emergence of a Shared Canonical Object Frame from In-the-Wild Videos: 通过让未标注真实世界视频的像素与无类别特定几何的粗糙规范网格建立稠密对应，并利用多视角SfM与视觉特征先验共同优化序列对齐，首次在无需规范姿态监督或类别条件的前提下自监督涌现出跨类别的统一规范参考系。
From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models: V2W 构建了包含几何、位姿与语义的 VLM 兼容 3D 世界，通过视觉与语言双接口支持多轮主动探索与 GRPO 策略优化，将 VLM 从被动 2D 视点感知跃升至主动 3D 世界中心空间推理。
Geometry Matters in Packed 3D Attention: 针对三维高Token体积场展平打包后内存存储顺序破坏物理空间几何的问题，Pack3D提出了物理坐标与内存布局解耦的局部-全局注意力算子，通过轴向网格RoPE在块压缩前旋转保留相对空间位移，在Allen WTC-11显微图像分割中超越同等参数量3D U-Net并在100万Token下实现相比密集注意力125倍加速。
H2G: Hierarchy-Aware Hyperbolic Grouping for 3D Scenes: H2G 提出了一种层次感知的双曲亲和场，通过 Dasgupta 目标将 2D SAM 提议与 DINO 语义相似度重构为树监督，并蒸馏到单流洛伦兹双曲 3D 特征场中，实现了无需物理尺度查询的多粒度 3D 场景分组。
Instruct-Particulate: Scaling Feed-Forward 3D Object Articulation with Kinematic Control: 针对三维铰接物体标注数据匮乏及部件粒度歧义难题，提出 Instruct-Particulate 模型，通过引入包含文本、点提示及拓扑树的运动学规范指令实现前向部件分割与关节参数估计，并在构建的超 15 万异构三维数据集上完成大规模训练。
Invaria: Learning Scale and Density Invariance in Point Clouds via Next-Resolution Prediction: 针对三维点云编码器严重过拟合训练特定采样密度与物体尺度的痛点，Invaria提出下一分辨率隐空间预测与感受野动态校准机制，解耦分辨率与语义特征，在点云分辨率降低3倍时ScanNet语义分割mIoU相对现有模型提升56.0%，且参数量降低45%、输入token减少40%。
Lookalike3D: Seeing Double in 3D: 针对真实室内场景中普遍存在重复物体却被现有3D感知与生成管线忽略的问题，本文提出Lookalike3D多视角图像Transformer，通过单视角、物体级与全局三层交替注意力及带边界的三元组对齐损失，将物体对精确分类为相同、相似或相异，并在3DTwins基准与下游联合3D重建及部件共分割任务上取得大幅提升。
NormLift: From Lifted Features To Semantic Reliability In 3D Gaussian Splatting: NormLift 从 3D 视角将特征提升建模为 CLIP 超球面上的单高斯余弦对齐问题，证明了归一化反投影特征为其闭式最优解，并将反投影特征范数代数分解为视点内与视点间一致性，结合有效视点校准得到语义可靠性得分，通过非线性众数投票细化彻底规避了特征线性插值引起的语义漂移。
Perceive-then-Plan: Layout-as-Policy for Monocular 3D Scene Layout Estimation: 将单目 3D 场景布局估计重构为“先感知后规划”的两阶段序列决策过程，利用几何增强的感知器获取初始 3D 定位，并通过基于直接偏好优化（DPO）训练的布局策略规划器（LaP Planner）迭代生成平移、缩放与旋转动作，有效消除物体悬空与穿透冲突。
Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces: Physical AI Smart Spaces (PAISS) 是首个面向室内物理具身智能空间的大规模多类别、多相机 3D 感知基准，提供超 280 小时同步 1080p 视频与 7200 万项度量 3D 标注，构建了融合仿真合成、Cosmos Transfer 真实感增强与真实世界隐蔽测试集的完整 Sim2Real 评测闭环。
RefineAny3D: Depth Refinement as Semantic Alignment for Monocular 3D Detection: RefineAny3D 将单目 3D 目标检测中棘手的连续物体深度回归问题转化为图像空间中的 2D 投影语义对齐判别，借助扩展动作 Token 的视觉语言模型以无参数回归的方式迭代校正 3D 包围盒深度。
RelationVGGT: Visual Geometry Transformers for 3D Spatial Relation Segmentation: RelationVGGT 提出了一种无需已知相机姿态与每场景优化的前向三维空间关系分割模型，通过联合融合 DINOv2 语义特征与 Pi3 几何表征，并将三维体素关系检索重构为目标视角像素级的条件注意力预测，实现了基于主语掩码与开放文本查询的跨视角目标分割。
SAMoR: Motion Modelling for Articulated Objects of Any Skeleton and Topology: 针对任意骨骼拓扑关节物体运动难以共享离散词表的问题，SAMoR 通过骨骼图变换器与注意力监督将变长关节运动池化为 8 个跨物种共享的功能部件离散 Token，在多物种异构数据集上实现了优于基线 5.8 倍的跨拓扑重建精度及零样本运动迁移。
Scenes as Objects, Not Primitives: Instance-Structured 3D Tokenization from Unposed Views: 提出一种从无位姿多视角图像前馈解构三维场景为实例结构化Token组的框架，将场景分解为实例级标识与局部几何Anchor，在单次前向中实现三维实体感知、开集检索与场景级交互编辑。
SceneScaffold: Active Scene-State Construction for Unified 3D Scene Understanding: SceneScaffold 把固定的 100 个视觉 token 分配给细节、实体、空间参照、关系和全局摘要，在语言推理前组织场景证据，相比 3D-LLaVA 将 ScanRefer / Multi3DRefer 的 mIoU 从 43.3 / 42.7 提高到 47.0 / 47.9。
SchemaPose: RGB-Based Category-Level Pose Estimation with Parametric Category Schema: 本文提出 SchemaPose，通过引入显式的“参数化类别图式”（Parametric Category Schema）联合建模类内共性结构与实例级部件/几何差异，并在基于查询的端到端框架中采用双阶段图式引导机制约束单目 9DoF 位姿解码，在 REAL275 上将单目 RGB 方法的 \(10^{\circ}10\text{cm}\) 准确率从 52.8% 大幅提升至 68.4%。
Segment and Select: Vision-Language Segmentation in 3D Scenarios: 针对传统3D视觉语言分割重度依赖超点导致边界模糊与单阶段解码缺乏假设检验的问题，本文提出 SEGA3D 范式，通过构建解耦的精细候选掩码库、设计结合 [SEG] 与 [LOC] 标记的语义空间选择器，并引入局部区域掩码精细化与重排序回环验证机制，显著提升了 3D 具身与推理分割精度。
SemGeo-Gen: Unsupervised Generation of Approximate Cross-Instance Semantic-Geometric Correspondences: 针对跨实例对应人工标注稀缺且存在天然模糊性的难题，SemGeo-Gen 提出利用多视角 DINOv2 特征提升至 3D 并结合连续分段仿射非刚性形变配准与语义一致性剪枝，全自动生成密集的跨实例 3D/2D 语义-几何近似对应监督，显著提升下游真实图像对应模型性能。
SSR3D-LLM: Structured Spatial Reasoning via Latent Steps for Fine-Grained Grounding in Unified 3D-LLMs: 针对统一 3D-LLM 依赖单指针查询无法处理细粒度多跳空间关系定位的痛点，SSR3D-LLM 提出结构化空间状态定位机制（S3G），利用预留标记单次前向生成隐式空间推理步与共享记忆，通过几何感知打分器与步长掩码逐步细化候选项排序，在保持原有通用语言能力的同时显著刷新 3D 定位性能与推理吞吐。
Tango3D: Towards Alignment for Global and Local 2D-3D Correspondence: Tango3D 将几何感知视觉骨干 VGGT 的 2D patch 与 3D VAE 的点云 token 映射至统一共享空间，通过解耦的局部密集对比与门控全局聚合分支及三阶段渐进式训练，首次在物体级同时实现高精度像素-点云密集对应与全局跨模态检索。
Towards Generalizable 3D Anomaly Detection via Relational Inconsistency Modeling: GRIM 用正常点云生成局部关系破坏作为监督，通过边感知图细化与样本内簇偏差建模学习缺陷判据，在 Anomaly-ShapeNet 达到 97.4/94.5 的物体级/点级 AUROC，直接迁移到 Real3D-AD 仍达到 83.6/89.6。
UniFunc3D: Unified Active Spatial-Temporal Grounding for 3D Affordance Segmentation: 针对三维场景可用性分割中碎片化流水线引发的视觉盲目与时空割裂问题，UniFunc3D 提出免训练的统一 MLLM 主动观测框架，通过粗到细时空定位、密集时间窗口原生放大及 MLLM 渲染掩码验证，在 SceneFun3D 上将 mIoU 相对提升 59.9% 并超越有监督训练方法。
Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes: 针对超大尺度城市场景下 3D 视觉定位面临的候选框依赖与高昂计算开销，Urbex 放弃静态候选排序范式，将定位建模为多视角交互环境中的主动空间搜索，通过强化学习训练具备地标检索、高精缩放与侧斜视验证能力的视觉语言智能体，实现了免候选框的高效精准 3D 空间定位。