ECCV2026 3D 表示与场景理解论文解读论文笔记语义分割少样本学习点云 3D 高斯渲染三维重建对抗鲁棒

🧊 3D 表示与场景理解¶

🎞️ ECCV2026 · 57 篇论文解读

📌 同领域跨会议浏览： 🧠 NeurIPS2026 (8) · 📷 CVPR2026 (100) · 🔬 ICLR2026 (21) · 🧪 ICML2026 (4) · 🤖 AAAI2026 (16) · 🧠 NeurIPS2025 (13)

🔥 高频主题： 语义分割 ×13 · 少样本学习 ×5 · 点云 ×5 · 3D 高斯渲染 ×5 · 三维重建 ×4

P3-SAM: Native 3D Part Segmentation: P3-SAM 从约 370 万个三维资产中提取原生部件监督，让单个正点经两阶段网络产生三个部件候选，再用质量预测、自动选点和重复抑制形成整物体分割；在不利用部件连通性先验的 PartObj-Tiny 设置中取得 59.88 IoU，对比 PartField 为 53.93。
OpenGround: Planning-based Online Perception for Open-World 3D Visual Grounding: 针对现有零样本 3D 视觉定位受限于离线预定义对象查找表（OLT）而无法定位表外未见目标的问题，OpenGround 提出任务链规划将复杂长文本查询解构为渐进式子目标序列，并利用已定位锚点实现上下文引导的在线 2D 感知与 3D 几何提升，在新建的开放世界基准 OpenTarget 上大幅超越强基线。
Abstract the Layout, Focus the Detail: A Dual-Granularity Representation Framework for Zero-Shot 3D Visual Grounding: 本文将三维场景改写成用于空间推理的抽象布局和用于外观核验的物体细节图，让现成 VLM 按“先空间、后视觉”选择目标，在 ScanRefer 达到 45.0% [email protected]，在不提供 GT 物体类别的 Nr3D 达到 63.2% 准确率。
Ada-VNNs: Adaptive Equivariance for Vector Neural Networks: Ada-VNNs 在严格旋转等变的向量神经元骨干后加入可放松坐标权重共享的残差分支，让训练数据决定等变约束的实际强度，在 ShapeNet 近似连续自对称类别上将 VNN 的 10° 配准召回率从 8.87% 提升至 70.31%，但并非所有任务都受益。
Agentic Collaborative Cognition for Zero-Shot 3D Understanding: 这篇论文把零样本 3D 场景理解改造成 Planning Agent 与 Perception Agent 围绕显式 holistic cognitive map 反复协作的过程，通过主动补关键视角、跨视角记录物体属性和反馈式候选过滤，在 ScanRefer / Nr3D / SQA3D / ScanQA 等 6 个基准上明显优于已有零样本方法。
AnyGround3D: Towards Grounding Any 3D Object in the Wild via 2D-to-3D Lifting: AnyGround3D 把 COCO、KITTI 等单目图像自动提升为带场景点云、完整物体三维框和自然语言描述的 3D grounding 监督，再将 DINOv2 语义蒸馏到三维编码器，在 3EED 联合集上达到 66.76/31.34 [email protected]/0.5，并在无需针对性微调的 Mono3DRefer 测试集达到 62.71/54.79。
Articulated Object Reconstruction from Rest-State Observation: Rest2Art 提出了首个仅从单一静止闭合状态网格重建多部件铰接物体的框架，通过视觉语言模型与分割模型的迭代互校解耦部件层级，并借助视频扩散模型合成运动假设结合网格刚体投影优化求解关节参数。
AutoPhyX: Automatic Text-Condition Physics Property Generation: AutoPhyX 提出了首个文本条件引导的前向 3D 物理属性预测框架，通过神经辐射场体素化与 FiLM 跨模态特征调制，在单次前向推理中为任意 3D 资产回归稠密杨氏模量、泊松比与密度场，有效消除纯视觉反演的物理多义性。
Beyond Isolated Objects: Relationship-aware Open Vocabulary Scene Understanding via 3D Scene Graph Analysis: 针对现有 3D 开放词表语义分割将物体视作孤立实体而难以辨识外观相似物体的痛点，RelGraphOV 提出结合多视角 VLM 链式思维推理构建关系感知 3D 场景图，并通过自适应门控双流上下文 GAT 与层次对比学习解耦传播稠密几何与稀疏语义，显著提升了细粒度与长尾场景理解能力。
Boosting 6D Object Pose Estimation via Monocular Depth Cues: MDC-Net 将单目深度的尺度校正、几何内点筛选与循环位姿细化相互反馈，在推理时不使用真实深度，以单个位姿假设取得七个 BOP 数据集平均 AR 66.9%，但论文部分辅助表格和训练描述存在不一致。
Boxer: Robust Lifting of Open-World 2D Bounding Boxes to 3D: Boxer 将开放词汇二维检测与三维几何估计分开，用兼容可选稀疏或稠密深度的 BoxerNet 提升物体框，再通过跨帧融合生成静态场景框；在 CA-1M 的真实二维框加稠密深度设置下，逐帧类别无关 mAP 从 CuTR 的 0.250 提升至 0.412。
BrepLLM: Enabling Large Language Models to Understand Boundary Representations: BrepLLM 是首个让大语言模型直接解析和推理原生 B-rep（边界表示）CAD 模型的框架：通过自适应 UV 采样将 B-rep 转为面-边拓扑图，用层级化 BrepEncoder 提取面/边/拓扑三支解耦特征，再经 CLIP 对比预训练和两阶段渐进式 LLM 微调，最终在 3D 物体描述和分类任务上全面超越基于点云和图像的基线模型。
CanoVerse: 3D Object Scalable Canonicalization and Dataset for Generation and Pose: CanoVerse 将连续三维旋转标注改为五种候选姿态的人工选择，构建 320K 对象、1,156 类的规范化数据集，使 VI-Net 在 OmniObject3D 上的 Acc@10° 达到 20.18%，并显著降低图像到三维生成的姿态波动。
CascadeProto: Cascaded Cross-Modal Prototype Purification via Entropy-Aware Learning for Few-Shot 3D Point Cloud Segmentation: 针对少样本点云分割中初始原型受背景噪声污染及缺乏语义信息的问题，CascadeProto 提出级联熵感知提纯与解耦跨模态对齐网络，无需预训练即在 S3DIS 和 ScanNet 上刷新 SOTA 表现。
Dynamic-Robust Photometric–Semantic Reconstruction for Open-Vocabulary 3D Scene Understanding: 针对非受限动态环境中运动前景导致的特征几何冲突，SPAR 提出跨视点动态区域预测器与单阶段联合编解码框架，无需运动标注即可在单次前向传播中解耦瞬态干扰并自监督重构多视点一致的静态光度与连续语义场。
Error-Driven Scene Editing for 3D Grounding in Large Language Models: 针对 3D-LLM 严重依赖语言先验与数据集共现捷径导致的视觉定位偏差，提出 DEER-3D 闭环框架，通过对定位失败样例进行确定性谓词归因、谓词对齐的极简三维场景反事实编辑与阶梯式问答构建，实现端到端误差驱动的迭代修正与无偏几何对齐。
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation: 本文提出一种解耦的多视角全景分割范式，首次证明仅经 RGB 光度重建训练的冻结大视角合成模型（LVSM）具备通用空间对应能力，无需显式 3D 重建或分割微调，即可通过 3 位二进制通道编码将源视角全景标签高质量传播至新视角，在 ScanNet 上达到 33.56 dB PSNR 与 0.5949 mIoU。
FLEG: Feed-Forward Language Embedded Gaussian Splatting from Any Views via Compact Semantic Representation: FLEG 用一次前馈推理从任意数量（2～30+）、无标定无位姿的多视图图像重建出携带语言语义的 3D 高斯：训练时靠冻结 VGGT 的几何伪标签与 SAM2+CLIP 的语义蒸馏摆脱 3D 真值，并把语言嵌入从稠密几何高斯中解耦为一组稀疏「语义高斯」，只用不到 5% 的嵌入量就保持了可比的语义保真度。
G2P: Gaussian-to-Point Attribute Alignment for Boundary-Aware 3D Segmentation: 本文提出 G2P，通过马氏距离建立高斯-点云之间的精确对应关系，将 3D Gaussian Splatting 中的不透明度和尺度属性迁移到点云上，在保留原始点几何结构的同时引入外观线索，从而有效缓解几何形状相似但外观不同的物体的分割混淆问题。
Hierarchical and Holistic Open-Vocabulary Functional 3D Scene Graphs for Indoor Spaces: 本文将桌面可操作物体和物体内部层级引入功能三维场景图，以二维视觉锚定、多线索节点关联、时序边优化和全局层级塑形稳定恢复功能连接，在扩展 FunGraph3D 上比 OpenFunGraph Hierarchy 的总体节点与三元组检索分别高 13.9 和 20.5 个百分点。
InSeg: Interactive Refinement via Intent Propagation for Point Cloud Semantic Segmentation: 针对点云语义分割在单场景部署中因单点监督导致的“局部修正陷阱”，InSeg 将用户稀疏修正点击建模为区域意图种子，利用特征亲和度、空间连通性与实例先验构建去噪的三重掩码意图一致区域并生成虚拟点击，结合交互感知熵正则与历史回放实现稳定高效的在线微调。
LEGO: Leveled Language Gaussian Splatting: 针对现有 3D 语言高斯泼溅受制于 2D 视角依赖或单一尺度超参的缺陷，LEGO 通过自适应多视角峰值检测将多粒度 SAM 掩码重评定为 3D 一致的结构层级，结合解耦特征对比蒸馏与层级语言场景图，实现了多层级开放词表分割与复杂空间链式推理。
LESV:Language Embedded Sparse Voxel Fusion for Open-Vocabulary 3D Scene Understanding: 针对 3D 高斯泼溅在开放词表场景理解中空间重叠模糊与多层级语义计算开销大的瓶颈，LESV 基于显式稀疏体素与 AM-RADIO 聚集型基座模型构建确定性置信度门控融合框架，大幅削减预处理开销并在点云开放词表分割上取得 SOTA。
Map-Det3D: Metric Feed-Forward 3D Reconstruction Prior for Multi-view 3D Object Detection from Streaming Inputs: Map-Det3D 将前馈度量 3D 重建模型（MapAnything）重构为检测 Transformer 的几何编码器，在流式时序滑动窗口内直接在重建 3D 空间预测尺度解耦的 3D 边界框并由解耦尺度因子恢复米制真值，彻底摆脱 2D-to-3D 投影抬升带来的误差放大，在 CA-1M 及跨数据集零样本评估中均刷新纯视觉在线 3D 检测 SOTA。
Masked BRep Autoencoder via Hierarchical Graph Transformer: 本文保持 CAD 边界表示的拓扑不变，掩去面与边的原始几何和属性，用双分辨率跨尺度注意力及局部消息传递重建它们，从而获得可迁移的表示，在 MFInstSeg 的 0.1% 标注设置下取得 88.75% 面级准确率。
Memory Tree Guided Key Frame Querying for Efficient 3D Question Answering: 针对长视频 3D 具身问答中直接输入多帧显存激增与逐次视觉搜索极慢的瓶颈，提出基于 6-DoF 相机位姿与目标跟踪在线构建的层次化记忆树 MemTree3D，利用 LLM 纯文本空间与时序推理指导加权关键帧检索，仅用 3 帧即在 OpenEQA 上超越均匀采样 17.4% 并带来 69.2% 的检索加速。
MindBlock: Probing Spatial Assembly and Structure in Unified Multimodal Models: 针对统一多模态模型空间推理局限于被动 2D 问答的缺陷，本文提出首个以像素级主动构建为核心的评测基准 MindBlock，并设计基于 3D 高斯泼溅的 3DGS-Eval 体积几何一致性评测协议，揭示了当前模型存在的 2D-3D 一致性脱节、多步空间漂移与感知-执行鸿沟。
MoCA3D: Monocular 3D Bounding Box Prediction in the Image Plane: MoCA3D 摆脱传统单目 3D 提升对相机内参的依赖，将 3D 包围盒恢复重构为图像平面上的密集预测任务，通过结合自适应峰值加权与置信度加权的 Transformer 架构，以少至 19.0M 的参数量实现投影角点与深度的高精度对齐。
MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction: MonoArt 将单图铰接物体重建组织为几何生成、部件表示、双查询运动解码与运动学估计，在 PartNet-Mobility 的 46 类设置取得 0.670 F-Score 和 67.47% 关节类型准确率，但轴方向误差并非最优。
MV-GEL: Language-Driven Multi-View Geometric Entity Localization on Meshes: 针对传统3D点云分割缺乏拓扑边界约束且视点遮挡严重的问题，MV-GEL提出结合提示引导的视点几何排序模块（GELviews）与CAD自适应推理分割（LISA-CAD），仅依赖无结构三角网格即可高精度定位自然语言描述的CAD面与边实体。
NoPA: Non-Parametric Online 3D Scene Graph Generation: 针对基于单高斯假设的在线3D场景图生成容易在扁平或多部件物体上发生欠合并与几何细节丢失的问题，NoPA提出基于固定粒子集核密度估计的非参数化物体表征，结合“Hellinger粗筛 + MMD细判”的两阶段在线融合策略与亲和度关系传播机制，在保持实时推理效率的同时大幅提升了场景图构建精度。
Online 3D Instance Segmentation at task-oriented granularity with Unposed Monocular Video: 针对具身智能在无位姿单目视频下的在线感知需求，提出一种任务导向的 3D 实例分割系统，复用 MASt3R-SLAM 前馈密集像素对应构建几何关联度与帧内互斥约束，通过置信度优先聚类实现无需深度传感器与离线先验的实时 3D 实例解耦。
Online Segment 3D Gaussians via Launching Virtual Drones: SAGO 将交互式 3D 高斯泼溅分割重构为虚拟无人机引导的在线次优视点（NBV）马尔可夫规划过程，彻底摒弃耗时的逐场景预处理阶段，实现亚秒级（0.4~0.9 秒）高质量 3D 资产提取。
OP3DSG: Open-Vocabulary Part-Aware 3D Scene Graph Generation for Real-World Environments: OP3DSG 提出统一 3D 场景图生成框架，通过知识引导的部件检测、部件感知多视图融合和几何初始化先验图+验证门控 LLM 推理，联合建模物体、交互部件、空间关系、功能关系和 affordance，在自建 UniGraph3D 基准上部件节点召回以绝对优势领先此前方法 31+ 点，并可直接作为机器人问答、导航和任务规划的感知后端。
Open-Vocabulary 3D Object Detection with Co-Distillation Discovery and Dual Guidance Robust Training: 针对开放词表3D目标检测中新物体发现阶段定位不准与分类错配、训练阶段对伪标签无差别监督的痛点，本文提出 Co-3DGT 框架，通过 2D-3D 空间语义双向协同蒸馏筛选高可靠候选，并在训练时引入场景感知不确定性正则化与大语言模型分层语义对齐，显著提升未见类别的 3D 检测精度。
ORACLE-3D: Open-world Region-aligned Cross-modal Learning for Label-efficient 3D Scene Understanding: ORACLE-3D 提出以图像为语义桥梁的统一多模态对比学习框架，通过双层跨模态知识蒸馏与视点匹配模块动态修正 2D-3D 投影误差，摆脱昂贵的点云-文本数据对构建，在完全不依赖 3D 标注或仅依赖基类标注下大幅刷新开放词表 3D 分割 SOTA。
Pano3D: Unified 3D Reconstruction and Panoptic Segmentation: Pano3D 在前馈式 3D 重建模型（FRM，如 MUSt3R / Pi3）后面直接接一个 Mask2Former 风格的集合式掩码解码器，用几何+语义两个损失联合微调几何解码器，第一次做到无需外部 2D 模型、无需聚类后处理就在单次前馈里同时输出稠密点云 + 3D 全景分割，在 ScanNet / ScanNet200 / ScanNet++ 上语义分割 mIoU 大幅超过 SOTA（ScanNet +16.6）。
Point Ladder Tuning: Parameter-Efficient Hierarchical Adaptation for 3D Point Cloud Understanding: Point Ladder Tuning (PLT) 通过侧边构建从原始点云提取的多分辨率局部几何金字塔，利用选择性注意力融合并生成动态提示反哺冻结的 3D Transformer 主干，仅用 2.71% 的可微调参数量即在分类与分割任务上超越全参数微调。
PUF: Plug-and-Play Uncertainty-Aware Fusion for Online 3D Scene Graph Generation: 针对在线 3D 场景图生成中确定性融合忽略观测截断、2D 模型预测与 3D 几何表征三大不确定性的缺陷，提出免训练即插即用融合框架 PUF，通过概率化节点关联、双路狄利克雷证据累积及类别条件关系先验，在仅 15 ms 实时延迟下将 3DSSG 关系召回率大幅提升 18.1 个百分点。
RAG-3DSG: Enhancing 3D Scene Graphs with Re-Shot Guided Retrieval-Augmented Generation: RAG-3DSG 用物体点云的虚拟重拍视角诊断跨视角描述冲突，再检索可信邻近物体来纠正不确定节点，使 GPT-4o 版本在 SceneFun3D 上的物体 R@10 从 OpenFunGraph 的 87.8% 提高到 90.2%。
ReGen3D: Generalizable Unified Representation Learning for 3D Understanding: 针对现有3D理解模型绑定单一几何格式且难以跨表征迁移的痛点，本文形式化了「表征泛化（Representation Generalization, RG）」新设定，提出通过统一表征词元化（URT）、共享记忆交互（SMI）与高效表征适配器（ERA）协同的 ReGen3D 框架，在冻结共享主干的前提下实现了多表征联合预训练、测试期单表征解耦推理以及对未知新表征的轻量扩展。
RGB-Pointmap Pretraining for Unified 3D Scene Understanding: UniScene3D 提出了基于多视角图像与世界坐标点图（RGB-Pointmap）的统一 3D 场景表征预训练框架，通过 Patch 级早期融合继承 2D 大模型先验，并结合跨视角几何对齐与指称定位对齐等多尺度目标，在视角定位、场景检索与 3D VQA 等任务上均取得 SOTA 表现。
Rosetum3D: A Large-Scale 3D Vision Dataset from Preharvest Roses: 针对采前鲜花表型与采摘自动化缺乏三维空间基准的瓶颈，本文构建了包含 2.1 万张高分辨率 RGB-D 图像与 4.6 万株玫瑰的三维视觉数据集 Rosetum3D，提出植物学引导的 2D-to-3D 混合标注方案，并建立了涵盖目标检测、关键点定位与时序多帧三维空间定位的完整基准。
SegVGGT: Joint 3D Reconstruction and Instance Segmentation from Multi-View Images: SegVGGT 提出了首个基于多视角未标定 RGB 图像直接端到端联合实现前馈 3D 重建与 3D 实例分割的统一框架，通过在几何基础模型中逐层注入物体查询并引入无推理开销的帧级注意力分布对齐（FADA）机制，在 ScanNetv2 和 ScanNet200 上刷新了多项 SOTA。
SFD-Net: Sharp Feature Detection Network Based on Local Geometric Features: SFD-Net 提出了一种即插即用的三尺度法向差分二阶矩各向同性描述子（LGD），结合增强型 PointNet++ 骨干与 Focal Tversky-Dice 类别不平衡目标函数，在点云局部密度波动与强高斯噪声联合扰动下实现了高精度的尖锐几何特征检测。
SkySplat-OV: Generalizable Language Gaussian Splatting for Open-Vocabulary Scene Understanding from Sparse Satellite Views: 首个面向稀疏卫星遥感视角的通用型开放词表 3D 场景理解框架，通过将 RPC 有理多项式相机模型显式引入语言 3DGS 前馈管线，结合几何-辐射-语义融合（GRS-Fusion）与单目相对高程自监督，配合单阶段 SAM3 蒸馏，实现了无需场景级优化的秒级前馈几何重建与高一致性开放词表三维语义分割。
SuperFlex: Deformable Superquadrics for Point Cloud Decomposition: SuperFlex 用联合体积与表面损失学习可弯曲、可渐缩的超二次曲面，并以优化后的完整分解监督遮挡输入，使 ShapeNet 前馈 IoU 从 SuperDec 的 0.59 提升到 0.72，同时保留平均 5.64 个基元的紧凑表示。
TACO-Net: Topological Signatures Triumph in 3D Object Classification: TACO-Net 先把点云转换为多种灰度体素上的固定拓扑统计，再训练轻量 1D CNN 学习这些统计之间的关系，在 ModelNet40 上取得 99.05% OA，但包含拓扑特征生成的完整吞吐量约为 5.3 个点云/秒。
TopoGAT: Plug-and-Play Topological Graph Attention for Fine-Grained 3D Segmentation: 针对细粒度 3D 点云分割中局部几何高度自相似导致部件边界混淆的瓶颈，TopoGAT 首次将持续同调提取的全局拓扑结构向量化并通过 FiLM 动态调制图注意力权重，以仅 1.4M 参数的轻量级即插即用方式为现有主干网络带来显著的边界识别提升。
UniPart: Towards Zero-shot Language-Grounded 3D Part Segmentation for Embodied Interaction: UniPart 提出了一种基于层级残差文本注入的轻量级前馈 3D Transformer 架构，并配套构建了包含 16 万资产与 800 万文本-部件对的多视角一致性数据集 LangPart-1M 及精标子集 LangPart-4K，实现了无需推理期多视角重投影的高效零样本 3D 细粒度部件分割与真实具身抓取交互。
Volume Transformer: Revisiting Vanilla Transformers for 3D Scene Understanding: 本文把 ViT 式的原版 Transformer 编码器（体素立方 patch 分词 + 全局自注意力 + 3D RoPE）直接搬进 3D 场景理解，用一个"强增强 + 强正则 + 卷积教师蒸馏"的数据高效训练配方补上当前 3D 监督的不足，再靠多数据集联合训练放大其规模优势，在 ScanNet / ScanNet200 / ScanNet++ 与 nuScenes / Waymo / SemanticKITTI 的语义与实例分割上取得新最好结果，且推理时比 PTv3 更快、更省显存。
White Aggregation and Restoration for Few-shot 3D Point Cloud Semantic Segmentation: 针对少样本3D点云分割中最远点采样（FPS）随机性大以及朴素交叉注意力分布失配导致注意力崩塌的问题，本文提出白化聚合与着色恢复模块（WARM），通过ZCA白化对齐特征分布、交叉注意力聚合语义原型、再通过逆向着色恢复实例统计特性，以极简的无重型解码器架构在S3DIS上大幅刷新SOTA。
ZeroSplat: Generalized Referring Segmentation in 3D Gaussian Splatting: ZeroSplat 将视觉语言模型的类别与定位先验，经多视角掩码和几何约束转成高斯点级二值标签，无需逐场景语义训练或额外语义特征存储，在 GR-LERF 与 GR-ScanNet 上分别达到 50.8 和 41.2 mIoU。
2D Features Are All You Need for 3D Shape Understanding: MeshFM 先把纠正边界混叠后的二维基础模型特征拟合为三维教师场，再训练带旋转增强的前馈网络预测该场，在无需三维人工标注的情况下，以同一套特征支持分割、对应和变形，并在 PartObjaverse-Tiny 原始/旋转语义分割上取得 0.549/0.539 mIoU。
DeWorldSG: Depth-Aware 3D Semantic Scene Graph Generation via World-Model Priors: DeWorldSG 提出一种从 RGB-D 序列生成时空鲁棒 3D 语义场景图（SSG）的框架：用 SAM 掩码引导的双域深度过滤为每个物体估计实例级概率 3D 高斯分布，再通过 V-JEPA 2 世界模型积累跨帧关系证据并以不确定性感知融合精炼谓词边，在 3DSSG 上关系召回率提升 77.4%、谓词召回率提升 23.2%。
Don’t Starve the Boundaries: Boundary-Constrained Label Propagation for Weakly Supervised 3D Segmentation: 针对弱监督三维点云语义分割中边界区域缺乏有效监督导致的“边界饥饿”难题，本文提出 Bound3D 框架，通过多模态几何线索投影构建3D边界、施加流形约束与最远角采样的伪标签传播，并结合位置感知分治监督机制，在无需外部大模型与昂贵标注的前提下显著提升了点云边界划分精度与整体分割性能。
Holo-Captioning: A Comprehensive Textual View of 3D Scenes: 本文提出面向三维场景“文本等价物”的 Holo-Captioning 新任务，通过解耦式 3D-LLM 架构 HoloScribe 在纯文本形态下端到端联合预测实体类别、三维空间包围盒、细粒度属性与实体间双向关系，并在 1.5 万场景的自建基准 HoloScan 上达到 SOTA。