ZeroSplat: Generalized Referring Segmentation in 3D Gaussian Splatting¶

会议: ECCV2026
论文: ECCV 原文
项目: ZeroSplat
作者: Jiayu Ding, Meilu Song, Xiaoyi Zhang, Hongbo Jin, Yichen Jin, Xiangtian Si
领域: 3D 视觉
关键词: 高斯泼溅、广义指代分割、视觉语言模型、多视角几何、空间标签扩散

身份核验：清单 ID 3373、stub 与会议 PDF 的标题一致，未发现副标题变化。以下依据会议 PDF 正文第 3–4 节及表 1–8；缓存未包含正文提及的标注协议附录。

一句话总结¶

ZeroSplat 将视觉语言模型的类别与定位先验，经多视角掩码和几何约束转成高斯点级二值标签，无需逐场景语义训练或额外语义特征存储，在 GR-LERF 与 GR-ScanNet 上分别达到 50.8 和 41.2 mIoU。

研究背景与动机¶

3D 高斯泼溅能实时渲染场景，但“画得像”并不意味着能理解“桌子旁所有红色椅子”这样的指令。LangSplat 等方法把二维模型特征蒸馏到场景中，再渲染特征图匹配文本；OpenGaussian 等方法进一步在高斯点上组织语义。前者更偏向图像平面的检索，后者虽能操作三维点，却通常面对类别名，而非同时包含属性、数量和空间关系的自然语言表达。

ReferSplat 将复杂指代引入 3DGS，但默认一句话只对应一个目标。如果目标有多个，强行选一个会漏检；如果目标根本不存在，仍返回一个对象就会产生误报。本文将任务扩展为 GR3DGS，要求对每个高斯输出前景或背景标签，允许结果包含 0、1 或多个实例，同时避免为每个新场景重新优化庞大的语义特征场。

核心 idea：让视觉语言模型负责“指的是什么、在什么位置”，让多视角几何负责“哪些高斯确实属于它”，把语义查询转成原始高斯集合上的筛选与标签扩散，而不是再学习一套场景语义表示。

方法详解¶

整体框架¶

输入是已经重建好的 3DGS 场景、多视角图像及相机信息，以及一条自由形式的指代文本；输出是逐高斯的二值分割。管线依次执行几何引导语义解析、掩码生成与三维提升、多视角验证与空间细化，对应原文图 2 和第 3.2–3.4 节。

第一阶段只让视觉语言模型读取少量关键帧，得到类别标签和指代目标的二维框；第二阶段在更广的视图集合上用 SAM3 生成类别掩码，通过渲染贡献反推高斯标签。最后用目标框排除同类干扰物，再通过三维邻域补齐内部空洞，因而类别召回、指代定位和结构补全各有明确责任。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["已有高斯场景<br/>多视角图像与指令"] --> B["几何引导语义解析"]
    B -->|类别标签| C["掩码生成与三维提升"]
    B -->|关键帧目标框| D["多视角验证与空间细化"]
    C --> D
    D --> E["高斯点级二值标签<br/>零、单或多目标"]

关键设计¶

1. 几何引导语义解析：先保留几何信息，再拆开类别与指代定位

把所有视频帧交给视觉语言模型会浪费预算在重复背景上，均匀抽帧又可能错过有辨识度的边角。本文先对高斯中心降采样，利用局部邻域协方差的特征值计算表面变化率，再将其缩放为显著性权重。曲率较丰富的位置优先，但选择目标不是单帧“最复杂”，而是让整组关键帧覆盖更多尚未观察过的高价值体素。

具体地，局部表面变化率为 \(\sigma_p=\lambda_3/(\lambda_1+\lambda_2+\lambda_3+\epsilon)\)，其中 \(\lambda_1\geq\lambda_2\geq\lambda_3\)。一个体素取其内部点的最大权重；每个候选视图通过深度与相机参数获得可见体素集合。每轮选择对未覆盖体素贡献最大的视图，更新覆盖集合，直到选满关键帧。这比重复选择同一复杂区域更能保留全场景线索。

关键帧随后经历两轮 VLM 交互：第一轮结合图像与完整指令提取简洁类别标签；第二轮再次输入类别、原指令与关键帧，预测各关键帧中的归一化目标框。类别用于驱动 SAM3，框用于恢复“同类中的哪几个”这一信息，不能把简化标签误当成最终指代答案。

例如“桌旁的椅子”可以先抽取 chair 以提高二维掩码召回，再由原指令约束目标框，排除远处同类椅子。多实例允许多个目标框，后续使用其空间并集；输出也允许所有高斯均为背景，而不是设置必须返回一个实例的 argmax。

2. 掩码生成与三维提升：按可靠视图和渲染贡献汇聚前景证据

SAM3 接收每个类别标签，在各视图生成带置信度的候选掩码。作者不直接使用所有视图：若最高置信掩码超过高阈值的视图足够多，就采用这些高置信视图；否则从基础阈值集合取置信度靠前的视图，再不够则进入更低阈值的安全回退集合。关键帧集合服务于 VLM，掩码视图集合服务于几何融合，两者不是同一个集合。

对于一个类别，先取置信度最高的掩码，只有次优掩码也超过严格合并阈值时才做并集；随后再合并不同类别的掩码。这个规则能补救部分过分割，却不等价于无条件合并所有候选实例，因而不能据此推断对任意多目标查询都能完整召回。

从二维提升到三维时，不是简单地把所有落在掩码里的高斯都标成前景。一个高斯对像素的实际渲染贡献等于此前累积透射率乘自身有效不透明度；分别在前景与背景像素上累积这些贡献，再比较两类证据。下面将原文式 7–8 的排版损坏按其文字定义整理为可读形式：

\[ W_k(g)=\sum_{I_i\in\mathcal I_{\mathrm{sel}}}\sum_{r\in R_i(g)}\mathbf 1[M_i(r)=k]T_i(r,g)\alpha_i(r,g),\qquad g\in\mathcal G_{\mathrm{fg}}\iff W_1(g)>W_0(g). \]

其中 \(R_i(g)\) 表示该高斯在视图中的投影像素集合，\(k=1\) 为前景、\(k=0\) 为背景。透射率抑制沿同一射线但被前方内容遮挡的贡献，因此相比纯投影命中，更接近“这个高斯是否真的形成了目标图像”的判断。

初始化后还要做跨视图背景裁剪：统计一个候选高斯投影在有效画幅内的次数，以及落在掩码背景中的次数。背景冲突比例超过阈值就将其改回背景，防止某一视图的掩码外溢把背景永久吸入目标。这里使用画幅内投影统计，不应把它解释成完整的遮挡感知可见性测试。

3. 多视角验证与空间细化：用指代框排除干扰，再用邻域修复空洞

类别掩码可能同时包含被指代对象与其他同类对象，因此还需回到第一阶段预测的目标框。将前景高斯投影到关键帧，统计画幅内观察次数 \(N_{\mathrm{vis}}\) 与落在框外次数 \(N_{\mathrm{out}}\)；只有观察次数达到下限且框外比例过高，才删除该点。其机制可按第 3.4 节文字整理为：

\[ R_{\mathrm{out}}(g)=\frac{N_{\mathrm{out}}(g)}{N_{\mathrm{vis}}(g)+\epsilon},\qquad \operatorname{remove}(g)\iff N_{\mathrm{vis}}(g)\geq\tau_{\mathrm{views}}\ \land\ R_{\mathrm{out}}(g)>\tau_{\mathrm{box}}. \]

最低观察次数与比例容忍度共同避免“一帧框不准就删掉真实几何”。它与上一阶段的背景裁剪互补：背景裁剪问的是“是否落在类别掩码外”，框验证问的是“是否属于原指令指定的实例”。原文第 4.2 节对这两个步骤的名称有交叉使用，本文按第 3.3–3.4 节的机制归属解释参数。

最后使用 KD-Tree 查找未标记高斯的三维近邻。若其 \(k\) 个邻居中前景比例至少达到 \(\tau_{\mathrm{knn}}\)，就将该点补为前景，修复遮挡和二维掩码边界造成的内部缺失。KNN 固定邻居数而不固定空间半径，因此较能适应不同场景的高斯密度变化；但没有凭空创建新高斯，也无法恢复输入重建中完全不存在的结构。

一个完整示例¶

考虑“找到桌旁所有红色椅子”，以下为机制演示而非论文测例。先从场景中选取 30 个几何关键帧，VLM 提取椅子类别，再结合红色与桌旁关系输出目标框；SAM3 在可靠视图生成椅子掩码，渲染贡献将二维证据归入原始高斯集合。

背景冲突过高的高斯先被剔除，再以关键帧框过滤远离桌子的同类物体。使用论文的 \(k=40\)、\(\tau_{\mathrm{knn}}=0.8\) 时，某个未标记高斯至少有 32 个前景邻居才会被补入。多个目标不需要竞争唯一赢家；但目标不存在时能否可靠输出空集，仍依赖前端掩码与几何过滤，正文没有单列拒识分类器或零目标准确率。

损失函数 / 训练策略¶

本文没有新增可学习语义参数，也没有语义损失函数或逐场景语义优化；它使用预训练 VLM 与 SAM3，以及已经重建的 3DGS。这里的 training-free 不表示 VLM 从未训练，也不表示输入场景不需要重建。

实现使用 PyTorch，报告运行设备为单张 NVIDIA RTX 4090D。VLM 为 qwen3-vl-30b-a3b-instruct；几何体素基准 \(s=0.1\)，降采样分辨率 \(0.05\)，曲率邻域半径 \(0.25\)，显著性范围为 \([1,10]\)，关键帧数 \(K=30\)。

掩码阈值为 \(\tau_{\mathrm{high}}=0.6\)、\(\tau_{\mathrm{base}}=0.3\)、\(N_{\mathrm{target}}=30\)、\(N_{\mathrm{safe}}=6\)、\(\tau_{\mathrm{merge}}=0.8\)。指代任务回退阈值为 \(0.15\)，开放词汇任务为 \(0\)；背景冲突阈值 \(\tau_{\mathrm{conf}}=0.8\)，框验证要求 \(\tau_{\mathrm{views}}=8\)、\(\tau_{\mathrm{box}}=0.8\)，\(\epsilon=10^{-6}\)，KNN 使用 \(k=40\)、\(\tau_{\mathrm{knn}}=0.8\)。

实验关键数据¶

主实验¶

GR-LERF 对渲染视图做像素级评估，包含 Ramen、Teatime、Figurines、Waldo；GR-ScanNet 基于 OpenGaussian 使用的 10 个 ScanNet 室内场景做点级评估。两者都覆盖广义指代，以下 mIoU 按原表的百分数刻度列出，提升均为绝对点数；不同任务的 mIoU 不可直接混比。

数据集 / 设置	ZeroSplat	对比方法	对比值	提升	来源
GR-LERF，广义指代，四场景均值	50.8	GOI	31.6	+19.2	表 2
GR-ScanNet，广义指代，点级	41.2	InstanceGaussian	24.5	+16.7	表 2
Ref-LERF，单目标指代	32.7	ReferSplat	29.2	+3.5	表 3
LERF，开放词汇，点级方法之间	52.4	LUDVIG	50.4	+2.0	表 5
LERF，开放词汇，对比像素级方法	52.4	3DVLGS	62.0	-9.6	表 5

GR-LERF 的分场景结果为 46.5、56.3、52.1、48.4；Teatime 仍低于 GOI 的 60.0，不能说每个场景都领先。原文第 4.6 节称开放词汇 LERF 达到新 SOTA，但表 5 的 3DVLGS 为 62.0、Occam's LGS 为 61.3；52.4 只领先该表中的点级方法，笔记不沿用其不加限定的结论。

消融实验¶

以下均来自 GR-ScanNet；“差值”相对完整系统 41.2 计算。表 6 的模块开关与表 7 的内部机制移除属于不同消融口径，不能把两表的低分配置当成同一个基线。

配置	mIoU	相对完整系统	来源
无 VLM、无 KNN	24.7	-16.5	表 6
仅 VLM，无 KNN	38.6	-2.6	表 6
仅 KNN，无 VLM	26.2	-15.0	表 6
完整系统	41.2	0.0	表 6–8
移除语义标签提取	24.3	-16.9	表 7
移除目标框过滤	40.1	-1.1	表 7
随机关键帧采样	39.6	-1.6	表 7
固定半径空间搜索	39.8	-1.4	表 8

关键发现¶

语义标签提取的移除损失最大，说明复杂指令不能直接等价替换成 SAM3 的类别提示；几何细化无法补救前端语义错误。
VLM 在表 6 的基线之上带来 +13.9，KNN 在已有 VLM 时再带来 +2.6，体现定位与补全的互补，而非仅靠平滑获得提升。
表 1 报告额外语义特征存储为 0、峰值显存约 10 GB，ReferSplat 对应约 3 GB 与 28 GB；这些不是总场景存储或完整 VLM 服务成本，正文也未给逐查询延迟。

亮点与洞察¶

将“类别分割”和“指代定位”拆开，让 SAM3 处理适合它的短标签，再用 VLM 框保留复杂关系。表 7 的标签消融为这一接口设计提供了直接证据。
几何不只用于最后投影，也提前决定 VLM 看哪些视图。以未覆盖体素的边际增益选择关键帧，可迁移到预算受限的多视角场景问答。
零特征意味着不在每个高斯上永久增加语义向量，而非系统不使用视觉特征。它降低场景级存储负担，但把部分成本转移到查询时的预训练模型调用。

局限与展望¶

正文没有独立局限章节；以下为基于机制与报告范围的阅读判断。缓存未含附录，无法复核指令数量、0/1/N 比例、标注一致性或完整评测实现。
mIoU 汇总不能单独证明零目标拒识可靠，正文未交代空预测与空真值的计分约定。后续应分报无目标误报率、单目标与多目标召回。
结果依赖已有 3DGS、相机与深度质量，以及 VLM 框和 SAM3 的可靠性。KNN 可能跨越紧邻物体传播错误，且不能补出原始重建缺失的几何。
约 10 GB 峰值显存的统计边界、VLM 部署精度与服务方式未明确，缺少端到端查询时间和随场景规模增长的曲线，因此“资源受限部署”仍需额外验证。

评分¶

新颖性: 4/5。广义 0/1/N 指代任务与零特征点级管线结合清晰，基本组件主要来自现有基础模型与几何工具。
实验充分度: 3/5。覆盖广义、单目标、开放词汇及组件消融，但零目标分项、规模效应与时延报告不足。
写作质量: 3/5。整体流程易于复述，但资源统计边界与表 5 的 SOTA 表述需要澄清。
价值: 4/5。为已有高斯场景增加语言选择能力提供了实用方案，部署收益仍应结合实际查询负载评估。