DIGS: Distribution-Informed Gaussian Splatting for Training-Free Open-Vocabulary 3D Segmentation¶

会议: NeurIPS 2026
arXiv: 2610.16177
论文: https://arxiv.org/abs/2610.16177
代码: https://github.com/ZephyrZos/DIGS
领域: 3D表示与场景理解
关键词: 3D高斯泼溅、开放词表分割、狄利克雷证据更新、免训练三维感知、多模态特征融合

一句话总结¶

DIGS 提出了一种免训练的开放词表 3D 高斯分割框架，通过为每个高斯基元维护显式的 Top-M 标签分布与狄利克雷温控更新机制，并结合迟滞 Argmax 渲染与解耦的多模态实例编码，在单张 A100 上仅需 1~3 分钟即可构建高精度 3D 实例本体，并在 LERF-OVS 上取得了 71.95% 的平均 mIoU。

研究背景与动机¶

面向具身智能、虚拟现实和场景交互编辑等任务，从连续观测视角构建三维场景的高精度语义理解至关重要。基于 3D 高斯泼溅（3DGS）的开放词表分割技术旨在让场景中的每个高斯基元具备响应任意文本查询的能力。然而，主流方案普遍将单个连续语义特征（如 CLIP 向量）或离散实例 ID 绑定到高斯基元上，并通过长达 11~44 小时的逐场景端到端梯度优化进行蒸馏。这种范式存在两个紧密耦合的系统性缺陷：其一，跨越多个物体交界面的边界高斯基元被强制指定为单一特征，在体渲染加权平均时会混合出在语义空间中无对应实体的模糊特征，导致渲染边缘严重泛化与退化；其二，长耗时的逐场景优化使得语言模型与三维几何表示过度绑定，更换语言主干网络必须重新训练整个场景。

即便是近期的轻量化改进方案，也难以兼顾边界精度与构建效率。闭式求解方法（如 Splat Feature Solver）虽将蒸馏耗时压缩至分钟级，但依旧继承了单特征混合导致的边界模糊；显式分割基元的方法（如 ObjectGS）通过几何与交叉熵联合优化切分高斯球，但在二维伪标签噪声干扰下极易破坏原始 RGB 渲染质量；而基于贝叶斯推断的方案（如 B3-Seg）仅能针对单个查询目标执行二元推断，无法维护全局持久的跨多实例本体结构。

针对这一困境，本文的核心切入点在于将「三维实例几何发现」与「下游语言语义命名」进行彻底解耦，从底层的语义表示形式破局。核心 idea：为每个高斯基元引入显式保留不确定性的 Top-M 标签分布并采用单步闭式的狄利克雷温控更新规则，配合像素级迟滞 Argmax 渲染消解边界假影，再通过离线多模态属性融合赋予持久实例多模态语义，实现完全免训练且边界精准的开放词表 3D 分割。

方法详解¶

整体框架¶

DIGS 运行在预先重建且固定的 3DGS 场景之上，全流程解耦为两大阶段：第一阶段为类别无关的实例本体建图（Class-Agnostic Mapping），第二阶段为多模态实例编码与查询（Multi-Modal Instance Encoding）。在建图阶段，系统逐帧输入连续 RGB 画面，利用 SAM 提取 2D 实例掩码候选；通过结合 Top-K 几何感知渲染与迟滞 Argmax 预测图，利用匈牙利算法实现 2D 掩码与全局三维实例的跨视角跨帧时序关联；关联结果驱动狄利克雷温控规则闭式更新每个高斯基元的 Top-M 标签计数器，同时状态机维护三维实例的生命周期与空间足迹。在编码阶段，对筛选出的稳定 3D 实例渲染孤立视图并提取 CLIP 图像特征，并经由多模态大模型生成精细属性文本后构建加权融合嵌入。下游文本查询仅需对所有稳定实例计算余弦相似度并索引测试视角下的离散渲染标签图即可，单次查询仅需 5.4 毫秒。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["连续 RGB 帧序列<br/>+ 冻结 3DGS 场景"] --> B["SAM 2D 实例提议<br/>+ Top-K 几何感知渲染"]
    B --> C["狄利克雷温控更新<br/>单帧注入上界 η·W < τ"]
    C --> D["Top-M 分布保留状态机与生命周期管理<br/>多峰证据累加与僵尸实例回收"]
    D --> E["迟滞 Argmax 渲染<br/>加权混合分布后取最大类别"]
    E --> F["解耦多模态实例编码<br/>孤立渲染视觉与 LLM 属性文本融合"]
    F --> G["开放词表余弦相似度检索<br/>原生 3D 掩码即时提取 (5.4 ms)"]

关键设计¶

1. 狄利克雷温控更新：有界累加消除时序误关联强化 在基于流式观测的三维投票机制中，朴素的证据累加方案 $H_{i,j} \leftarrow H_{i,j} + W_{i,j}^{(t)}$ 存在严重的尺度主导与误关联级联风险。在大尺度高斯球或特定视角下，单个视角的累积渲染权重可能极为庞大，一旦出现早期时序匹配错误，巨额累加权重将在闭环跟踪中被永久锁定。针对这一问题，DIGS 基于狄利克雷-多项分布的广义贝叶斯温控推断理论，为每个高斯基元设计了免学习率调度的自适应单帧更新率： $$\eta_i^{(t)} = \frac{\tau}{S_i + W_i^{(t)} + \tau}$$ 其中 $S_i = \sum_j H_{i,j}$ 为该基元迄今累积的历史证据总和，$W_i^{(t)} = \sum_j W_{i,j}^{(t)}$ 为当前帧来自各像素的反向透射渲染权重之和。该温控机制在数学上严格保证了单帧注入上界 $\eta_i^{(t)} \cdot W_i^{(t)} < \tau$（命题 1）。当基元历史证据为零时，注入量平滑逼近 $\tau$ 从而抑制极端巨额单帧投票；当历史证据持续累积增大时，更新率自适应衰减为 $\tau / S_i$，防止后期观测剧烈扰动成熟实例。整个更新过程在 CUDA 上高度并行化闭式执行，完全摒弃了梯度反向传播。

2. Top-M 分布保留状态机与生命周期管理：边界多峰不确定性显式建模 跨越物体几何交界处的高斯基元不可避免地同时覆盖多个相邻实例的投影区域，若像传统方法那样过早将其截断为单一的硬标签或单一连续向量，必然导致边界几何破坏或特征模糊。DIGS 允许每个高斯基元保留多峰证据分布，在全量标签槽中仅保留证据最多的 Top-$M$（实现中设 $M=3$）个实例索引 $\mathcal{T}_i = \{j_{i,1}, \dots, j_{i,M}\}$，并定义归一化的局部多项分布： $$\hat{\pi}_i(j) = \frac{H_{i,j} \mathbb{I}[j \in \mathcal{T}_i]}{\sum_{j' \in \mathcal{T}_i} H_{i,j'}}$$ 与此同时，为了防止长序列流式建图时遮挡引起的三维证据虚假衰减，DIGS 引入视线感知的漏桶积分衰减机制，仅对当前帧透射权重满足 $W_i^{(t)} > w_{\min}$ 的充分可见高斯基元施加 $\gamma = 0.95$ 的衰减因子，未被观测到的遮挡基元保留完整历史。在实例全局层面，维护全局注册表 $\mathcal{J}$，记录每个实例的匹配次数与连续丢失计数；当丢失次数超过阈值 $\theta_{\text{miss}}$ 时将其标记为僵尸实例（Zombie），在注册表耗尽时优先回收其 ID 槽位，确保内存占用与序列长度无关。

3. 迟滞 Argmax 渲染：像素级分布融合消除阶梯边界假影 针对离散标签渲染时常见的边界锯齿和阶梯假影问题，DIGS 颠覆了「先取高斯硬标签、再在像素处透射合成」的传统渲染管线，提出了分布保留的迟滞 Argmax（Late-Argmax）渲染算子。在执行光栅化时，系统在像素 $p$ 处直接将视线上前 $K$ 个贡献高斯基元所携带的连续 Top-$M$ 标签分布进行透明度加权线性合成，最后在像素级别取概率响应最高的实例类别： $$\hat{\ell}(p) = \arg\max_{j > 0} \sum_{k=1}^K w_{p,k} \, \hat{\pi}_{g_{p,k}}(j)$$ 位于实例边缘的高斯基元自然将其证据按比例分散到相交的两侧实例中，而像素最终的决策权由视线上具有绝对支配地位的非模糊高斯多数票裁定。这种迟滞决断机制从几何物理层面抚平了离散类别的跨边界硬突变，无需额外的后处理滤波或网格细分，即可渲染出平滑一致的物体轮廓。

4. 解耦多模态实例编码：孤立三维足迹与属性描述融合 为了将建图阶段得到的类别无关 3D 实例赋予下游可检索的语义，DIGS 在建图收敛后运行一次轻量化的后置多模态编码。首先通过匹配与丢失计数筛选出高频稳定的活跃实例集 $\mathcal{I}_{\text{stable}}$，剔除瞬态 SAM 噪点与边缘碎片。针对每个稳定实例 $\mathcal{G}_j$，根据其投影面积选定前 $B$ 个最佳观测视角，并将场景中属于该实例之外的所有其余高斯基元的不透明度临时置零，渲染纯黑背景下的孤立实例视图（Isolated Footprint），以此杜绝环境杂乱背景和相邻前景物体的语义渗透。将孤立渲染图输入 CLIP 提取归一化视觉嵌入 $\mathbf{e}_j$；同时将成对的上下文图与孤立图输入多模态大模型（GPT-4.1），提示其生成包含类别名与色彩材质细节的单行紧凑属性描述，并将其转化为 CLIP 文本嵌入 $\mathbf{e}_j^{\text{txt}}$。二者通过线性加权生成最终实例嵌入： $$\mathbf{e}_j^{\text{fused}} = \lambda \mathbf{e}_j + (1 - \lambda) \mathbf{e}_j^{\text{txt}}, \quad \lambda = 0.7$$ 在下游开集文本查询时，仅需将用户 Prompt 的文本向量与少量稳定实例（平均每场景约 33 个）的 $\mathbf{e}_j^{\text{fused}}$ 计算余弦相似度，耗时仅 5.4 毫秒。

实验关键数据¶

主实验¶

在 LERF-OVS 权威开放词表 3D 分割基准（包含 Figurines、Ramen、Teatime、Waldo_kitchen 四个高难度复杂场景）上，采用 OpenGaussian 3D 原生评估协议进行对比评测，DIGS 与代表性 SOTA 方法的定量表现如下表所示。

方法	优化类型	建图时间 (min)	显存峰值 (GB)	查询延迟 (ms)	平均 mIoU (%)	平均 mAcc (%)
LangSplat	端到端梯度优化	60	6.2	–	9.66	12.41
LEGaussians	端到端梯度优化	78	11.0	–	16.21	23.82
OpenGaussian	端到端梯度优化	240+	–	–	38.36	51.43
LangSplatV2	端到端梯度优化	204	16.8	71.4	10.28	9.33
LaGa	端到端梯度优化	225	12.5	101.7	64.00	–
Splat Feature Solver (SFS)	闭式稀疏逆问题求解	5.8	13.3	161.0	65.10	–
DIGS (CLIP 单模态)	免训练流式投票	1.00	5.4	28.1	66.85	82.72
DIGS (LLM+CLIP 融合)	免训练流式投票	3.2	5.4	28.1	71.95	85.35

在二维高斯分割基准 LERF-Mask（遵循 Gaussian Grouping 评估协议）上，DIGS 进一步展现了极其优异的边界贴合精度：

方法	Figurines (mIoU / mBIoU)	Ramen (mIoU / mBIoU)	Teatime (mIoU / mBIoU)	平均 mIoU (%)	平均 mBIoU (%)
LERF	33.5 / 30.6	28.3 / 14.7	49.7 / 42.6	37.2	29.3
SA3D	24.9 / 23.8	7.4 / 7.0	42.5 / 39.2	24.9	23.3
LangSplat	52.8 / 50.5	50.4 / 44.7	69.5 / 65.6	57.6	53.6
Gaussian Grouping	69.7 / 67.9	77.0 / 68.8	71.7 / 66.1	72.8	67.6
FlashSplat (F)	71.6 / 69.1	71.4 / 66.3	86.6 / 83.9	76.5	73.1
Gaga	90.7 / 89.0	64.1 / 61.6	69.3 / 66.0	74.7	72.2
ObjectGS	88.2 / 85.2	88.0 / 79.9	88.9 / 88.6	88.4	84.6
B3-Seg	88.3 / 85.4	75.3 / 69.7	89.8 / 88.0	84.5	81.0
DIGS (本文)	92.73 / 91.02	90.79 / 80.04	91.61 / 89.67	91.71	86.91

消融实验¶

在 LERF-OVS 基准上，作者对稳定性过滤器（SF）、分布保留设计（DP，即 Top-M + 迟滞 Argmax）以及 LLM 属性特征融合模块进行了递进式消融验证：

实验配置	稳定性过滤 (SF)	分布保留 (DP)	LLM融合 (LLM)	Figurines	Ramen	Teatime	Waldo_kitchen	平均 mIoU (%)	说明
(a) 基础框架	×	×	×	64.77	32.45	60.17	50.53	51.98	原始单峰硬标签与未过滤提议
(b) 引入稳定过滤	✓	×	×	65.09	42.30	72.71	51.93	58.01	滤除90%+瞬态碎片，提升6.03%
(c) 引入分布保留	✓	✓	×	74.81	56.15	74.70	61.72	66.85	引入Top-M与迟滞Argmax，大幅提升8.84%
(d) 完整模型	✓	✓	✓	78.71	64.68	77.65	66.76	71.95	结合多模态属性嵌入，达到最优

针对狄利克雷温控更新机制的有效性，在配置 (c) 下将温控学习率 $\eta_i^{(t)}$ 替换为朴素常数更新 $\eta=1.0$ 的消融对比：

场景	朴素常数累加 ($\eta=1.0$)	狄利克雷温控更新 ($\eta_i^{(t)}$)	性能增益 ($\Delta$ mIoU)
Figurines	68.71	74.81	+6.10
Ramen	40.94	56.15	+15.22
Teatime	73.30	74.70	+1.40
Waldo_kitchen	52.23	61.72	+9.49
全体平均	58.80	66.85	+8.05

关键发现¶

分布保留带来的增益最大：在消融实验中，从配置 (b) 到 (c) 引入 Top-M 证据保留与迟滞 Argmax 渲染算子带来了高达 +8.84% 的平均 mIoU 跃升，是所有模块中单项提升最显著的，这强有力地证实了避免过早离散决策对提升 3D 边界一致性的决定性作用。
温控机制对噪声场景至关重要：在多视角 SAM 预测不稳定、遮挡严重的复杂场景（如 Ramen 与 Waldo_kitchen）中，温控更新分别带来了 +15.22% 和 +9.49% 的巨大提升，有效化解了早期跨视角误匹配在流式跟踪中的恶性累加。
LLM 文本与视觉特征高度互补：在纯 CLIP 视觉特征容易退化的视觉高度相似物体（例如拉面碗中的各种食材配菜、以及带有微小配件差异的玩偶）上，LLM 提供的细粒度颜色与属性文本嵌入能够精准打破特征混淆，使 Ramen 场景 mIoU 进一步拔高 +8.53%。

亮点与洞察¶

闭式温控替代梯度蒸馏：通过建立有明确数学注入上界（$\eta_i^{(t)} W_i^{(t)} < \tau$）的狄利克雷更新规则，DIGS 将原本需要数十小时的逐场景特征蒸馏收敛为单遍流式前向计算，建图效率提升了 70~225 倍，且运行时显存稳态仅需 5.4 GB。
迟滞决断化解边界两难：既不采用硬标签高斯剪枝以防破坏外观几何，也不采用连续隐向量加权混合以防语义退化，而是在光栅化流水线末端通过像素级分布融合取决策，巧妙兼顾了几何保真度与边界锐利度。
孤立三维足迹阻断背景渗漏：在提取三维实例特征时，通过对非目标基元置零不透明度实施独立渲染，从物理渲染源头彻底排除了环境背景对 CLIP 嵌入的语义污染，显著增强了小物体与局部物体的检索判别力。

局限与展望¶

半透明材质导致深度权重穿透：由于投票权重直接依赖光栅化的透明度累积合成权重，当面对玻璃杯、透明塑料盒等半透明物体时，前景光线投射权重会穿透渗透到底层背景高斯基元，引发实例 3D 轮廓虚胖与背景污染。
实例颗粒度受制于前置 2D 基础模型：系统的最小可发现实例完全受限于 SAM 自动掩码生成的粒度上限，无法对同一物体内部的局部子部件（如橱柜把手、玩偶帽子）进行自适应层次化切分，未来可探索多粒度提示驱动的分层三维本体构建。
底层高斯几何处于冻结状态：当前算法将几何与语义完全分步解耦，基元空间坐标与协方差在语义建图阶段完全固定，无法反哺校准几何结构中的瑕疵。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙提出狄利克雷温控闭式更新与迟滞 Argmax 渲染机制，彻底打破了 3D 语义高斯中的训练成本与边界精度耦合。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 4 大基准（LERF-OVS、LERF-Mask、3D-OVS、Replica），包含详尽的模块消融、参数敏感性分析以及定性失效模式剖析。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰严谨，理论证明与直观洞察结合紧密，实验图表信息极其完备。
价值: ⭐⭐⭐⭐⭐ 实现了分钟级端到端建图与毫秒级开集 3D 实例检索，为具身智能与实时三维场景理解提供了强有力且极易落地的基础设施。