ClusterSplat: Semantic Cluster Selection for 3D Visual Grounding in Gaussian Splatting¶

会议: NeurIPS 2026
arXiv: 2610.36462
论文: https://arxiv.org/abs/2610.36462
代码: https://jaesung8.github.io/clustersplat/
领域: 3D表示与场景理解
关键词: 3D视觉定位, 3D高斯泼溅, 语义聚类选择, 开放词表理解, 最小描述长度

一句话总结¶

针对3D高斯泼溅视觉定位中基于图元相关性分数进行阈值或Top-ratio过滤所导致的离散化不稳与目标碎裂问题，ClusterSplat将3D定位重塑为场景自适应候选簇上的离散选择任务，结合最小描述长度层次聚类与查询条件化簇打分，在ScanRefer基准上实现了领先的显式3D高斯定位与渲染2D分割表现。

研究背景与动机¶

3D高斯泼溅（3DGS）凭借其显式几何表示与基于光栅化的超高实时渲染性能，已迅速从新视角合成扩展为通用3D场景表示，并广泛用于开放词表语义理解与自然语言引导的3D定位（3D Visual Grounding）。在3D视觉定位中，系统需要根据自由文本指代性表达（referring expression），在场景中准确定位目标对象并同时输出显式的3D高斯图元子集以及任意相机视角下的2D分割掩码。

然而，现有的语言嵌入3DGS方法通常在连续的相关性场（relevance fields）上运行，通过在密集的高斯图元上预测连续相关性分数，并依赖启发式的后处理过滤——例如设定全局绝对相似度阈值或截取固定比例的Top-k/Top-ratio图元来分离目标。这种在图元级别（primitive-level）强行离散化的规则在开放词表与复杂室内场景下极其脆弱：密集相关性分数的绝对尺度会因具体场景结构、视角光照、以及指代文本包含的复合属性和空间关系词而产生剧烈波动。固定的过滤比例往往在决策边界附近造成严重截断误差，导致选出的高斯图元在物理目标与相邻干扰物之间分散破碎，无法形成结构完整、语义连贯的单目标3D实体。

要消除对图元级启发式过滤规则的脆弱依赖，根本途径在于重构决策空间的粒度——将散落在数以百万计无序高斯基元上的连续密度截断，升格为离散、稳定且自适应场景结构的对象级候选簇选择。核心 idea：将连续图元过滤转为场景自适应簇空间的离散选择，先由特征感知种子体素与最小描述长度（MDL）贪心融合自适应生成物理连贯的候选簇，再由融合全局布局与文本交叉注意力的轻量MLP为各簇相对打分，以Top-1簇直接确定显式3D目标并可微分渲染2D掩码。

方法详解¶

整体框架¶

ClusterSplat由两个核心阶段构成：第一阶段为离线场景预处理，包括实例感知高斯特征学习（Instance-Aware Gaussian Feature Learning）以及基于最小描述长度的场景自适应聚类（Scene-Adaptive Clustering）；第二阶段为查询条件化簇打分（Query-Conditioned Cluster Scoring）与簇级掩码可微渲染（Cluster-Level Mask Rendering）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：3DGS场景 + 训练视点实例掩码"] --> B["实例感知高斯特征学习<br/>多视点掩码内聚力与斥力损失优化"]
    B --> C["场景自适应聚类构建<br/>种子体素过分割 + MDL描述长度增量合并"]
    C --> D["输入：自然语言指代查询 Tq"]
    D --> E["查询条件化簇打分<br/>簇中心位置编码 + 自注意力 + 跨注意力 + MLP打分器"]
    E --> F["Top-1 簇选择：显式 3D 高斯目标集"]
    E --> G["簇级掩码光栅化渲染：视点 2D 分割掩码预测"]

在推理阶段，给定包含空间关系或属性修饰的自然语言查询 $T_q$，系统不再遍历每个高斯图元做绝对值筛选，而是直接让查询驱动轻量级打分模块对场景特异性的一组自适应候选簇进行相对重要性排序。选出的Top-1簇内部包含的所有高斯即为显式3D目标；每个高斯同时继承对应簇的分数，通过3DGS默认的透明度混合光栅化机制渲染出多视角一致的高保真2D掩码。

关键设计¶

1. 实例感知高斯特征学习与特征感知种子体素初始化 为避免传统对比学习在密集无序图元上引起的几何错配，该模块为每个高斯基元 $g_i$ 分配可学习的实例感知特征 $\mathbf{f}_i \in \mathbb{R}^{D_f}$，并通过可微光栅化将特征合成为视角特征图 $\mathbf{F}_v(u)$。训练时利用多视角实例分割掩码对渲染特征图计算掩码原型，通过内聚损失拉近同一掩码内的特征投影、分离损失推开同一视点不同掩码原型，从而构建起几何与实例边界对齐的三维连续特征场。为了获得高度保守且不跨越物理边界的候选基底，算法并不直接执行全局KMeans，而是以场景归一化空间体素网格大小 $\delta$ 与 $L_2$ 归一化特征的主导有符号维度（dominant signed dimension）共同构造复合哈希键： $$z_i = (\nu_i, d_i, s_i) = \left( \lfloor \tilde{\mu}_i / \delta \rfloor, \, \operatorname*{argmax}_j |\hat{\mathbf{f}}_{i,j}|, \, \operatorname{sign}(\hat{\mathbf{f}}_{i,d_i}) \right)$$ 这种过分割初始化保证了即使多个语义不同的物体在几何空间上处于同一体素内，因其特征主方向不同也会被拆分为独立的初始种子体素。

2. 基于最小描述长度（MDL）准则的自适应候选簇图融合 传统的聚类方法（如预设固定 $K$ 的K-Means）无法感知不同室内场景在物体数量、尺度以及空间遮挡度上的巨大差异。本文将每个种子体素抽象为一个带特征原型 $\phi_a$ 和空间质心 $\bar{\mu}_a$ 的节点，并在白化后的特征-坐标联合空间构建最小生成树（MST）作为合法的合并候选边集 $E_{\text{cand}}$。在图上执行贪心融合时，引入了最小描述长度（MDL）与贝叶斯信息准则（BIC）惩罚项结合的描述代价函数： $$\mathcal{D}_{\mathrm{gmdl}}(S) = \frac{\mathrm{RSS}_{\mathrm{feat}}(S)}{2\sigma_{f}^{2}} + \lambda_{\mathrm{gmdl}} \frac{1}{2}(D_{f}+1)\log N_{\mathrm{eff}}$$ 其中 $\mathrm{RSS}_{\mathrm{feat}}(S) = |S| - \|\sum_{a\in S} \phi_a\|_2$ 衡量簇内特征方向的不一致性残差平方和，第二项为每个组件所付出的模型复杂度代价。只有当相邻组件 $A$ 与 $B$ 合并后导致整体描述长度严格下降，即： $$\Delta_{\mathrm{gmdl}}(A,B) = \mathcal{D}_{\mathrm{gmdl}}(A) + \mathcal{D}_{\mathrm{gmdl}}(B) - \mathcal{D}_{\mathrm{gmdl}}(A \cup B) > 0$$ 融合操作才被执行。整个过程全自动终止，无需人为指定全局簇数 $K_s$，自适应生成紧凑且高覆盖度的三维物体级候选簇。

3. 查询条件化簇打分器与关系上下文建模 三维物体往往需要根据其周围环境和空间邻近关系（如“门后面的垃圾桶”、“沙发上方的画”）进行消歧。为了给每个候选簇 $k \in \{1,\dots,K_s\}$ 注入全局空间拓扑与细粒度文本表征，模型为每个簇初始化可学习的簇嵌入 $\mathbf{c}_k \in \mathbb{R}^{d_p}$，并叠加上簇空间几何质心 $\bar{\mu}_k$ 的正弦位置编码 $\mathrm{PE}(\bar{\mu}_k)$。首先经由Transformer解码器的自注意力层（Self-Attention）建模所有候选簇之间的空间相对布局与上下文线索；随后利用交叉注意力层（Cross-Attention）将簇表征与经由冻结CLIP文本编码器提取的细粒度词元特征矩阵 $\mathbf{E}_q \in \mathbb{R}^{L_q \times d_p}$ 对齐： $$\mathbf{H}_q = \mathrm{LN}\big(\mathbf{P}^{(1)} + \mathrm{CA}(\mathbf{P}^{(1)}, \mathbf{E}_q)\big)$$ 为了进一步防范粗糙全局池化丢失特定从句信息，打分器使用温度参数 $\tau$ 计算余弦相似度词元注意力向量 $\beta_{q,k,\ell} = \mathrm{softmax}_\ell(\cos(\mathbf{h}_{q,k}, \mathbf{t}_{q,\ell})/\tau)$，加权汇聚出候选簇专属的文本摘要 $\mathbf{y}_{q,k}$。最后输入双层轻量MLP预测相对匹配打分 $S_{q,k}$。由于直接输出的是候选簇之间的相对胜出次序，推理时直接使用无阈值超参的 $\operatorname{argmax}$ 提取Top-1簇作为显式3D目标： $$k_q^{\star} = \operatorname*{argmax}_{k\in\{1,\dots,K_s\}} S_{q,k}, \quad \mathcal{S}_{\mathrm{target}} = \mathcal{G}_{k_q^{\star}}$$

损失函数 / 训练策略¶

在Stage 2中，候选簇划分保持冻结，每个高斯图元继承其所属簇的查询匹配得分 $\ell_{q,i} = S_{q,a(i)}$。针对任意训练相机位姿 $\pi$，通过3DGS前向光栅化可微渲染出视点下的连续logits对数概率图 $R_q(\pi, u) = \sum_{i=1}^N \ell_{q,i} \alpha_{\pi,i}(u) \prod_{j=1}^{i-1}(1 - \alpha_{\pi,j}(u))$，进而通过Sigmoid映射得到像素预测掩码 $P_q(\pi, u) = \sigma(R_q(\pi, u))$。

网络由二维监督信号驱动，采用加权组合的 Focal Loss 与 Dice Loss： $$\mathcal{L}_{\mathrm{mask}} = (1 - \lambda_D)\mathcal{L}_{\mathrm{focal}}\big(P_q(\pi), M_q(\pi)\big) + \lambda_D \mathcal{L}_{\mathrm{dice}}\big(P_q(\pi), M_q(\pi)\big), \quad \lambda_D = 0.5$$ 优化器选用Adam，固定学习率 $1 \times 10^{-4}$，在单卡RTX 5090上训练10,000次迭代。该策略保证了候选簇得分能够直接接收高精度的密集2D视点梯度反馈，同时避免由于3D点云标签稀疏而带来的监督噪声。

实验关键数据¶

主实验¶

论文在通用的ScanNet v2 10个场景子集上，使用ScanRefer指代分割与ScanNet v2类别名检索基准，对渲染2D分割与显式3D目标定位进行了双重验证。所有基于连续相关性分数的基线方法均在 $\{0.01, 0.02, \dots, 0.10\}$ 范围进行Oracle最优Top-ratio网格搜索，而ClusterSplat直接采用Top-1簇输出。

方法	ScanRefer 2D mIoU (%)	ScanRefer 3D mIoU (%)	ScanRefer 3D [email protected] (%)	ScanNet v2 2D mIoU (%)	ScanNet v2 3D mAcc (%)
LangSplat (CVPR 2024)	11.00	5.81	4.95	27.67	8.13
OpenGaussian (NeurIPS 2024)	18.48	1.06	0.10	19.55	46.39
Dr.Splat (CVPR 2025)	19.01	9.48	11.17	19.94	46.12
ReferSplat (ICML 2025)	31.30	4.05	0.10	28.70	17.22
ReferSplat (同等损失复现)	31.55	3.85	0.00	32.70	12.89
ClusterSplat (Ours)	39.72	23.33	43.38	42.20	46.60

在小尺度高精细指代数据集Ref-LERF上，ClusterSplat的4场景平均2D mIoU达到31.14%、[email protected]达到41.70%，相较同等损失强监督下的ReferSplat（26.59%与36.35%）具有明显提升。

消融实验¶

消融实验深入验证了簇划分生成质量（Stage 1）以及打分模块各组件（Stage 2）的核心贡献。

表1：Stage 1候选簇质量分析（ScanRefer上的Oracle属性，值域 [0, 1] / 簇数量）

候选簇构建策略	纯度 (Purity) ↑	覆盖度 (Coverage@1) ↑	Oracle Top-1 IoU ↑	碎片化 ([email protected]) ↓
固定 KMeans ($K=128$)	0.7825	0.5649	0.4017	5.95
固定 KMeans ($K=256$)	0.8094	0.4840	0.3734	8.90
固定 KMeans ($K=512$)	0.8269	0.3935	0.3200	14.15
固定 KMeans + 成对合并	0.7436	0.6693	0.4615	4.71
自适应聚类 (Ours)	0.7635	0.6933	0.4798	3.86

表2：Stage 2打分器组件与多重选择消融（ScanRefer 3D mIoU %）

模型配置 / 累积选择策略	Top-1	Top-2	Top-3	Top-5
固定 KMeans ($K=256$)	15.44	16.34	16.27	16.21
自适应聚类 (Ours)	23.33	19.78	17.42	14.96
打分器模块消融：无位置编码+无自注意力	21.69	-	-	-
打分器模块消融：仅词元打分基线	23.17	-	-	-
文本编码器替换：BERT-large	14.62	-	-	-
隐藏维度 $d_p=128$	21.42	-	-	-

关键发现¶

纯度陷阱与覆盖度优先：在候选簇构建中，单纯增大固定KMeans的簇数 $K$ 虽能提升纯度（Purity从0.78升至0.83），但会导致单个实体破碎成碎片，Coverage@1从0.56剧降至0.39，导致下游无论如何精准打分都无法召回完整目标。而基于MDL的自适应合并策略将碎片度[email protected]压低至3.86，取得了最高的Oracle Top-1 IoU（0.4798）。
Top-1单簇决策的有效性：对于自适应候选簇，Top-1已经包含高度连贯的目标主体。进一步聚合Top-2到Top-5只会引入周围背景负样本，导致3D mIoU从23.33%单调衰减至14.96%。相反，破碎严重的固定KMeans基线则需要依赖累积Top-k联合才能微弱回升。
运行效率优势：在RTX A6000上，虽然离线场景自适应预处理需要约125.3分钟（单场景一次性成本），但在线指代定位单次查询仅需 19.55 ms，比基于复杂逐图元计算的ReferSplat（119.71 ms）快6.1倍，帧率达到51.12 FPS。

亮点与洞察¶

从连续滤波到离散排名的范式转变：不再执着于在数以百万计的高斯参数上调校敏感的相似度截断超参，而是利用无监督信息论准则先锁定鲁棒的物理实体支撑，彻底消除了针对不同场景的阈值试错。
自适应描述长度准则的巧妙引入：借鉴信息论中的MDL与BIC模型选择，把三维高斯特征方差与参数复杂度折衷，转化为直观的图合并终止条件，优雅解决了非均匀空间高斯聚类无法确定先验簇数的难题。
结构-文本对齐的层次化打分机制：利用质心位置编码与自注意力捕获宏观空间拓扑，再通过温度可控的词元级注意力聚焦空间方位介词和局部特征词，显著提升了复合关系描述下的判别鲁棒性。

局限与展望¶

候选簇质量的上界制约：Stage 2严格依赖Stage 1生成的静态几何簇。若前期自适应合并发生欠分割（邻近同类物体粘连）或过分割（复杂构件断开），单候选簇的Top-1选取将无法恢复遗漏边界。后续可探索带不确定度感知的多簇自适应合并解码。
单目标指代假设：当前架构面向单一实体的明确指代设计，尚未直接扩展到复数目标或可变目标数量的自然语言指代定位。
场景离线预处理耗时：每个新场景需要约两小时的离线特征学习与图融合，无法直接跨场景零样本实时泛化，在新环境部署时存在一定的冷启动计算开销。

评分¶

新颖性: ⭐⭐⭐⭐☆ [将MDL模型选择与3D高斯开放词表定位结合，构思精巧且理论自洽]
实验充分度: ⭐⭐⭐⭐⭐ [跨ScanRefer、ScanNet v2与Ref-LERF多基准全面测试，包含深入的候选簇质量剖析]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，数学符号规整，图表说服力极强]
价值: ⭐⭐⭐⭐☆ [为3D高斯显式语义交互与物体级操作提供了非常实用的工程与架构范式]

候选簇构建策略	纯度 (Purity) ↑	覆盖度 (Coverage@1) ↑	Oracle Top-1 IoU ↑	碎片化 ([email protected]) ↓
固定 KMeans (\(K=128\))	0.7825	0.5649	0.4017	5.95
固定 KMeans (\(K=256\))	0.8094	0.4840	0.3734	8.90
固定 KMeans (\(K=512\))	0.8269	0.3935	0.3200	14.15
固定 KMeans + 成对合并	0.7436	0.6693	0.4615	4.71
自适应聚类 (Ours)	0.7635	0.6933	0.4798	3.86