ICLR2026 3D 表示与场景理解论文解读论文笔记语义分割点云三维重建 LLM 3D 高斯渲染

🧊 3D 表示与场景理解¶

🔬 ICLR2026 · 21 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (8) · 🎞️ ECCV2026 (57) · 📷 CVPR2026 (100) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (16) · 🧠 NeurIPS2025 (13)

🔥 高频主题： 语义分割 ×6 · 点云 ×5 · 三维重建 ×2 · LLM ×2 · 3D 高斯渲染 ×2

3DSMT: A Hybrid Spiking Mamba-Transformer for Point Cloud Analysis: 3DSMT 把脉冲神经网络（SNN）的事件驱动低功耗特性，与 Transformer 的局部建模、Mamba 的线性复杂度全局建模拧成一个混合架构，用「脉冲局部偏移注意力 + 脉冲 Mamba 块」在分类、少样本、分割任务上拿下 SNN 方法的 SOTA，能耗只有 ANN 同行的几十分之一，还反超了不少 ANN 模型。
Exploring the Potential of Encoder-free Architectures in 3D LMMs: 本文提出首个无编码器（encoder-free）3D 大多模态模型 ENEL，把原本由预训练 3D 编码器承担的「高层语义提取」和「局部几何归纳偏置」两件事直接交给 LLM 自己完成，7B 模型在分类/描述/VQA 上追平 PointLLM-PiSA-13B。
GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation: 提出 GeoPurify 框架，通过从 3D 自监督教师模型蒸馏几何先验来净化 2D VLM 投影到 3D 的噪声特征，仅用约 1.5% 的训练数据即可达到或超越全量训练的 SOTA 开放词汇 3D 分割性能。
GOLDILOCS: General Object-Level Detection and Labeling of Changes in Scenes: GOLDILOCS 把跨时间场景变化检测重新表述为“静态 3D 重建假设被破坏在哪里”的问题，用 MASt3R 的密集重建、深度冲突过滤、SAM2 掩码跟踪和 SSIM 结构差异，在零训练条件下同时检测并标注 added、removed、moved、warped 等对象级变化。
GOOD: Geometry-guided Out-of-Distribution Modeling for Open-set Test-time Adaptation in Point Cloud Semantic Segmentation: 把开放集测试时自适应（OSTTA）从「逐点」搬到「几何连通的超点」粒度上做，用超点纯度+熵的置信度配 GMM 区分 ID/OOD，再加超点 ID 原型纠错，解决 3D 点云里 ID 点压倒性多、OOD 点稀疏甚至缺席导致的严重类别失衡。
HoloPart: Generative 3D Part Amodal Segmentation: HoloPart 把 2D 的"非模态分割"(amodal segmentation)概念引入 3D，提出"3D 部件非模态分割"新任务——把一个整体网格拆成几何完整的语义部件(而非破碎的表面片)，并用一个带局部注意力 + 全局形状上下文注意力的扩散模型做部件形状补全来实现它。
IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction: IGGT 用一个多视角 Geometry Transformer 同时预测相机、深度、点图和实例级特征，并通过 3D 一致对比学习把几何重建与实例语义绑在同一表示里，从而在语义 3D 重建、多视图实例匹配和开放词汇场景理解上取得更稳定的结果。
Omni-View: Unlocking How Generation Facilitates Understanding in Unified 3D Model based on Multiview images: 构建统一的3D场景理解与生成模型 Omni-View，通过纹理模块（新视角合成）和几何模块（深度/位姿估计）的生成能力增强理解性能，在 VSI-Bench 上达到 55.4 分超越所有现有专用3D理解模型。
OVSeg3R: Learn Open-vocabulary Instance Segmentation from 2D via 3D Reconstruction: OVSeg3R 是一套训练方案：直接拿 2D 视频经 3D 重建得到的点云当输入，把开放词汇 2D 实例分割结果借助重建提供的 2D-3D 对应关系投影到 3D 当标注，再用「视角级实例划分」(VIP) 和「2D 实例边界感知超点」(IBSp) 稳住训练，把一个闭集 SOTA 3D 分割器扩成开放词汇模型，在 ScanNet200 上整体 +2.3 mAP、新类 +7.7 mAP。
Part-X-MLLM: Part-aware 3D Multimodal Large Language Model: Part-X-MLLM 是一个原生 3D、部件感知的多模态大模型，它把生成、编辑、问答这些异构的 3D 任务统一成"用一套部件语法写程序"——输入 RGB 点云 + 自然语言，自回归吐出一条同时编码部件包围盒、语义描述、编辑指令的 token 序列，再交给现成几何引擎执行，从而用一个语言原生前端驱动各种 3D 资产操作，在 11 类任务上达到 SOTA。
PartSAM: A Scalable Promptable Part Segmentation Model Trained on Native 3D Data: 提出首个在大规模原生 3D 数据上训练的可提示部件分割模型 PartSAM，采用 triplane 双分支编码器（冻结 SAM 先验 + 可学习 3D 分支）和 SAM 风格解码器，通过模型在环标注流程构建 500 万+形状-部件对，在开放世界设置下单次点击即超越 Point-SAM 90%+。
PD²GS: Part-Level Decoupling and Continuous Deformation of Articulated Objects via Gaussian Splatting: 提出 PD²GS 框架，通过学习共享的 canonical 高斯场并将每个交互状态建模为其连续形变，实现铰接物体的部件级解耦、重建和连续控制，采用粗到细的运动轨迹聚类 + SAM 引导的边界细化，无需手动监督。
Point-Focused Attention Meets Context-Scan State Space: Robust Biological Visual Perception for Point Cloud Representation: PointLearner 用「先聚焦后扫视」的仿生设计——点聚焦注意力（模拟中央凹视觉）+ 上下文扫描状态空间（模拟眼跳推理）——在线性复杂度下同时建模点云的局部细粒度结构与全局长程依赖，在 ModelNet40/ScanObjectNN/ShapeNet/S3DIS 上拿到 SOTA 并展现出对噪声与稀疏采样的强鲁棒性。
Point-MoE: Large-Scale Multi-Dataset Training with Mixture-of-Experts for 3D Semantic Segmentation: 把稀疏激活的 Mixture-of-Experts（MoE）模块嵌进 Point Transformer V3（PTv3）的注意力输出投影层，让一个统一模型在不依赖任何「数据集标签」的情况下联合训练室内外多种异构点云数据集，靠路由器自发地让 token 选择专家，在 7 个数据集（含零样本）上的语义分割 mIoU 超过需要数据集标签的 PPT，同时推理 FLOPs 反而省 30.9%。
Point-UQ：面向点云小样本类增量学习的不确定性量化范式: Point-UQ 把 3D 小样本类增量学习的重心从"反复微调特征"挪到"动态优化决策"，用预测熵衡量每个样本的认知不确定性，在语义分类器和几何原型之间自适应仲裁，从而在不重训的前提下同时守住旧类知识、认对新类样本。
pySpatial: Generating 3D Visual Programs for Zero-Shot Spatial Reasoning: pySpatial 是一个视觉编程框架，让 MLLM 通过生成 Python 代码自动调用 3D 空间工具（3D 重建、相机位姿恢复、新视角渲染等），将有限的 2D 图像输入转化为可交互探索的 3D 场景，实现零样本、即插即用的显式 3D 空间推理，在 MindCube 基准上以 58.56% 的整体准确率超越 GPT-4.1-mini 12.94%、超越 VLM-3R 16.5%，并成功驱动真实四足机器人完成室内导航。
Spiking Discrepancy Transformer for Point Cloud Analysis: 针对脉冲神经网络（SNN）做点云分析时"点积注意力抹平边缘、且难以同时建模局部与全局"的痛点，本文提出用脉冲序列之间的差异（discrepancy）代替点积相似度作为注意力，配合一个把坐标注入初始膜电位的空间感知脉冲神经元，搭出层次化的 Spiking Discrepancy Transformer，在 SNN 阵营中取得 SOTA，且能耗只有 ANN SOTA 的百分之几。
Splat Feature Solver: 将3D splat表示的特征提升(feature lifting)问题统一建模为稀疏线性逆问题 \(AX=B\)，提出闭式求解器并证明其在凸损失下的 \((1+\beta)\)-近似误差上界，配合 Tikhonov 引导和后聚合过滤两种正则化策略，在开放词汇3D分割任务上达到SOTA。
Test-Time Optimization of 3D Point Cloud LLM via Manifold-Aware In-Context Guidance and Refinement: 本文提出 Point-Graph LLM（PGLLM），在不重训任何模型的前提下，于测试时把无标注支持集组织成一张 KNN 图，用近邻样本的 3D caption 作为上下文示例（in-context guidance）注入第二阶段 LLM，再用基于标签传播的置信度分数细化（score refinement）来纠正噪声预测，几乎零额外算力地提升了 3D 识别、OOD 检测和 captioning 的准确率与鲁棒性。
TIGaussian: Disentangle Gaussians for Spatial-Aware Text-Image-3D Alignment: TIGaussian 把 3D 高斯（3DGS）的各个内在属性拆开分支编码、再用扩散先验把单视图图像补成多视图融合特征、并用一个 query transformer 把 3D 特征投影到文本空间，从而在文本-图像-3DGS 三模态对齐上全面刷新 SOTA。
Weight Space Representation Learning on Diverse NeRF Architectures: 提出首个能处理多种 NeRF 架构（MLP/tri-plane/hash table）权重的表示学习框架，通过 Graph Meta-Network 编码器 + SigLIP 对比损失构建架构无关的潜在空间，在 13 种 NeRF 架构上实现分类、检索和语言任务，并能泛化到训练时未见的架构。