Scenes as Objects, Not Primitives: Instance-Structured 3D Tokenization from Unposed Views¶

会议: NeurIPS 2026
arXiv: 2606.29513
论文: https://arxiv.org/abs/2606.29513
代码: https://yoomimi.github.io/instok3d
领域: 预训练
关键词: 3D分词, 实例级结构化表示, 前馈三维重建, 无位姿多视角, 解耦特征蒸馏

一句话总结¶

提出一种从无位姿多视角图像前馈解构三维场景为实例结构化Token组的框架，将场景分解为实例级标识与局部几何Anchor，在单次前向中实现三维实体感知、开集检索与场景级交互编辑。

研究背景与动机¶

三维物理世界在人类认知中由一个个离散、可交互的对象实体组成，其空间轮廓和语义边界共同构成了场景的高层结构。然而，当前主流的前馈三维高斯重建与神经辐射场方法普遍将场景退化为密集、无序的几何基元集合（例如点云或3D高斯），基元之间缺乏自然的归属边界与拓扑聚合。尽管近期工作尝试引入二维基础模型的语义特征并独立挂载至离散基元上，但这种基元级特征附着仅实现了局部空间着色，实体级别的上下文依然破碎分散在数以万计的图元中，导致针对物体的查询、操作和空间推理仍高度依赖繁琐且脆弱的后处理聚类或场景优化。

这种表征失配的核心根源在于三维表达基元与人类高层认知单位之间的错位：局部几何基元缺乏表达实体完整性的上下文，无法作为直接操控物体的交互句柄。现有优化型实例三维高斯方法不仅需要针对单场景进行耗时的微调训练，且严重依赖高精度的多视角位姿校准与人工三维标注；而前馈模型若直接输出无序的基元集合，其特征冗余度会随分辨率呈爆炸式增长，极大限制了下游具身智能和三维大模型在实体级场景推理中的效率。

本文的核心切入点在于直接从底层重构三维表征单元本身——将无位姿图像输入映射为层级化的三维实例Token组，使得物体实例成为三维场景的原生可交互接口。核心 idea：提出层级化实例结构化3D分词框架，利用可微2D渲染与实例掩码监督，将无位姿多视角场景端到端解耦为统揽物体身份的实例Token与表达局部高频几何外观的Anchor Token组，实现免3D标注的前馈级实例感知与交互编辑。

方法详解¶

整体框架¶

模型输入为 $V$ 张无位姿 RGB 图像 $\mathcal{I}=\{I_i\}_{i=1}^V$，输出为紧凑的实例结构化 3D Token 组。整体流程包含四个主要阶段：首先利用冻结的三维几何基础模型（VGGT）提取多视角几何点图与多尺度视觉特征，拼接构建全局上下文特征 $X$；接着利用图像-Anchor Transformer 解码器通过交叉注意力将上下文信息注入到基于最远点采样（FPS）初始化的几何 Anchor Token 中；随后，Anchor-Grouping Transformer 解码器驱动可学习的组 Token 与 Anchor Token 交互竞争，通过 Softmax 归属分布将几何 Anchor 聚合为物体的实例 Token 组；最终，每个 Anchor 解码为局部 3D 高斯基元，并根据归属分布进行可微渲染，通过二维 RGB 重建与二维实例分割掩码协同监督整个系统。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    IN["无位姿多视角图像<br/>V张未标定位姿RGB"] --> FUS["几何特征融合与上下文构建<br/>冻结VGGT提取点图与特征"]
    FUS --> ANCHOR["1. 图像-Anchor交叉注意力解码<br/>FPS采样坐标与特征投射更新"]
    ANCHOR --> GROUP["2. Anchor-Grouping竞争分配<br/>Softmax跨组竞争绑定实体"]
    GROUP --> GS["3. 局部高斯解码与实例绑定<br/>Anchor生成32个局部3DGS"]
    GS --> REND["多任务可微高斯渲染<br/>RGB与实例概率图投影"]
    REND --> LOSS["4. 双重解耦特征对齐与蒸馏<br/>重建与分割联合优化"]

关键设计¶

1. 图像-Anchor交叉注意力解码：从无序视角建立全局几何基元 为了克服缺乏真实相机位姿导致的坐标系不一致问题，模型首先利用预训练的几何基础模型（VGGT）预测每张输入图像的稠密三维点图 $P_i \in \mathbb{R}^{H \times W \times 3}$ 和多视角视觉特征 $F_i$。在将点图降采样后，通过线性 Patch 投影与图像特征相加得到全局多视角上下文特征 $X \in \mathbb{R}^{VH'W' \times C}$。随后在合并的点云坐标空间中执行最远点采样（FPS），选取出 $K=1024$ 个空间锚点坐标 $\{a_k\}_{k=1}^K$。第 $k$ 个 Anchor Token 的初始状态融合了局部上下文特征与其三维空间坐标编码： $$A_k^{(0)} = x_{a_k} + \phi_{\text{pos}}(a_k)$$ 其中 $\phi_{\text{pos}}$ 为双层 MLP。图像-Anchor 解码器 $\mathcal{D}_{\text{anchor}}$ 包含 6 层 Transformer 架构，以 $A^{(0)}$ 作为查询向量（Query），跨视角上下文特征 $X$ 作为键值对（Key/Value）进行交叉注意力更新，生成深度感知全局几何与高频纹理信息的 Anchor 表示 $A = \mathcal{D}_{\text{anchor}}(A^{(0)}, X)$。这一设计使稀疏的 Anchor 能够直接吸收多视角立体一致性线索，为后续细粒度三维高斯生成建立坚实的空间几何支架。

2. Anchor-Grouping竞争分配：Softmax槽位机制构建实体级解耦表示 得到代表局部几何的 Anchor Tokens 后，系统需要无监督或弱监督地归纳出“哪些 Anchor 属于同一个物体实体”。模型初始化 $L=100$ 个可学习的组 Token $G^{(0)} = \{G_\ell^{(0)}\}_{\ell=1}^L$。Anchor-Grouping 解码器 $\mathcal{D}_{\text{group}}$ 包含 4 层 Transformer，让组 Token 通过交叉注意力查询全部已解码的 Anchor Token $A$，从而聚合实体级别的全景信息：$G = \mathcal{D}_{\text{group}}(G^{(0)}, A)$。为保证物体归属边界的清晰和互斥，每个 Anchor 对各组的归属概率采用内积归一化的竞争式 Softmax： $$\pi_{k,\ell} = \frac{\exp(\langle A_k, G_\ell \rangle)}{\sum_{\ell'=1}^L \exp(\langle A_k, G_{\ell'} \rangle) + \exp(0)}$$ 式中引入全零的空白背景（Void Channel）偏置，以吸收不属于任何显著物体的游离几何或非目标区域。这一机制引入了类似 Slot Attention 的实体槽位竞争效应，迫使每一个组 Token $G_\ell$ 聚焦于场景中特定独立物体的几何聚合，将数以万计的几何碎片聚拢为物理意义明确的实例实体句柄。

3. 局部高斯解码与实例属性绑定：兼顾高分辨率渲染与组级操纵 每个解码后的 Anchor Token $A_k$ 携带着局部几何中心的坐标 $a_k$。为了实现精细的外观重建，模型使用轻量级双层 MLP 将 $A_k$ 直接解码为 $N_g=32$ 个局部 3D 高斯基元（每个场景共生成 $K \times N_g = 32,768$ 个高斯球）。网络直接预测这 32 个子高斯相对于 Anchor 中心 $a_k$ 的三维位置偏移、旋转四元数、三维各向异性缩放、不透明度以及二阶球谐系数（Spherical Harmonics）。关键之处在于，由该 Anchor 派生出的全部 $N_g$ 个高斯基元完整继承其父节点的实例归属分布 $\pi_{k,\ell}$。由于每个高斯均持有确定性的实例归属向量，整个场景的高斯云被严格划分为 $L$ 个实例子集，下游任务可以直接通过索引特定的组 Token 来整体平移、旋转、删除或跨场景插入该物体对应的全部高斯基元，完全免除了传统方法中基于空间邻近度或后处理聚类的几何割裂。

4. 双重解耦特征对齐与蒸馏：低维残差与组级全局语义的分离存储 传统开集语义高斯方法直接为每个高斯基元存储高维语义向量（如 LSeg 的 512 维特征），带来数百万浮点数的沉重显存负担。本文设计了一种基于实例结构的语义解耦蒸馏机制。利用额外的跨注意力网络，将 2D 基础模型语义特征聚合为每个实例组共享的全局语义向量 $s_\ell \in \mathbb{R}^D$（$D=512$），同时为每个 Anchor 学习一个仅 $d=8$ 维的超低维语义残差 $r_k \in \mathbb{R}^d$。在渲染视角 $v$ 时，各高斯的硬分配组索引与残差渲染出视点特征图，并通过重投影线性矩阵 $W_r$ 恢复像素级全维语义： $$F_v(u) = \sum_{\ell} \hat{S}_{v,\ell}(u) s_\ell + W_r \hat{R}_v(u)$$ 该设计将高维的通用类别语义交由实例 Token 承载，而让低维残差仅仅负责捕捉物体内部细微的局部材质或部件变化，使语义存储开销降低了两个数量级。

损失函数 / 训练策略¶

整个框架采用完全可微的端到端 2D 监督进行联合训练，无需任何 3D 标注： $$\mathcal{L} = \mathcal{L}_{\text{render}} + \lambda_{\text{seg}} \mathcal{L}_{\text{seg}}$$ 其中渲染损失结合了像素级 MSE 损失与感知损失：$\mathcal{L}_{\text{render}} = \mathcal{L}_{\text{mse}} + \lambda_{\text{lpips}} \mathcal{L}_{\text{lpips}}$（取 $\lambda_{\text{lpips}}=0.05$）。在实例分割分支中，将高斯渲染出的 $L$ 张实例概率图 $\{M_\ell\}_{\ell=1}^L$ 与真实二维实例掩码 $\{\hat{M}_n\}_{n=1}^N$ 执行二分匈牙利匹配（Hungarian Matching），匹配代价综合考虑 Dice 损失与二进制交叉熵损失。对于最优匹配对计算掩码损失：$\mathcal{L}_{\text{seg}} = \lambda_{\text{bce}} \mathcal{L}_{\text{bce}} + \lambda_{\text{dice}} \mathcal{L}_{\text{dice}}$（权重设置 $\lambda_{\text{seg}}=0.1$）。为防止训练初期未收敛的几何高斯导致掩码梯度震荡破坏优化方向，在训练前 1500 步对 $\lambda_{\text{seg}}$ 进行线性预热（Warm-up）。语义蒸馏阶段则单独优化余弦对齐损失 $\mathcal{L}_{\text{distill}}$，保证全分辨率特征匹配与组平均特征逼近。

实验关键数据¶

主实验¶

在 ScanNet 室内基准数据集上进行对比测试。表 1 展示了 2 个未标定位姿的输入视角下的三维重建质量与 LSeg 开集特征提升（Feature Lifting）性能。本方法以极低的主语义单元数和特征存储空间，在源视角与目标视角语义 mIoU 上均大幅领先此前最优基线。

方法	类型	视角数	目标视角 mIoU ↑	目标视角 Acc. ↑	PSNR ↑	SSIM ↑	LPIPS ↓	高斯数	语义存储标量
LSeg (Li et al., 2022)	2D模型直接提升	2	0.482	0.793	–	–	–	–	–
LSM (Fan et al., 2024)	前馈像素对齐高斯	2	0.512	0.795	24.24	0.821	0.222	131,072	67.1 M
Uni3R (Sun et al., 2026)	前馈通用高斯感知	2	0.558	0.827	25.53	0.873	0.138	131,072	8.4 M
C3G (An et al., 2026)	紧凑2K高斯表征	2	0.513	0.783	23.89	0.770	0.285	2,048	1.0 M
Ours	前馈实例Token组	2	0.657	0.789	25.28	0.771	0.238	32,768	59.4 K

表 2 展示了 8 视角输入下的新视角类别无关实例分割（Class-Agnostic Instance Segmentation）与目标视角外观重建性能。本前馈模型在完全不需要单场景优化的情况下，全面超越了基于单场景微调的优化型方法。

方法类型	方法	AP ↑	AP50 ↑	AP25 ↑	PSNR ↑	SSIM ↑	LPIPS ↓
单场景优化	Gaussian Grouping (Ye et al., 2024)	0.139	0.288	0.440	23.20	0.715	0.325
单场景优化	ObjectGS (Zhu et al., 2025)	0.178	0.337	0.489	24.34	0.733	0.310
前馈 + 后处理优化	IGGT + LUDVIG (Marrie et al., 2025)	0.122	0.265	0.442	22.75	0.712	0.323
纯前馈推理	Ours	0.235	0.438	0.564	22.41	0.709	0.355

消融实验¶

消融研究针对训练联合机制（重建与分割联合优化 vs 串行训练、有无掩码权重预热）以及特征解耦蒸馏的不同组件展开验证，均在 ScanNet 2 视角设置下完成。

训练策略消融	PSNR ↑	SSIM ↑	LPIPS ↓	分割 AP ↑	分割 AP50 ↑	分割 AP25 ↑	机制说明
串行训练 (Sequential: 先几何后分组)	23.65	0.737	0.348	0.032	0.097	0.315	几何未考虑实例解耦，分组急剧退化
联合训练无预热 (w/o warm-up)	23.09	0.732	0.329	0.081	0.186	0.415	初期几何不稳定，分割梯度破坏优化平衡
完整联合训练 (Ours)	25.11	0.769	0.240	0.193	0.377	0.529	预热使得几何筑基与实体聚合相互促进

语义蒸馏表征消融	目标视点 mIoU ↑	目标视点 Acc. ↑	特征配置及参数特性
仅 Anchor 低维残差 (Anchor Only)	0.524	0.713	仅用 8 维局部残差，缺乏宏观语义基底
仅 Group 共享特征 (Group Only)	0.635	0.767	单个实例共享 512 维向量，捕获主导语义
完整解耦架构 (Group + Anchor)	0.657	0.789	全局语义定基准，残差微调局部变异

关键发现¶

联合训练的正向协同效应显著：串行训练（先用重建损失训练 Anchor，冻结后再训练 Group 分割）导致分割 AP 遭遇断崖式暴跌（0.193 骤降至 0.032）。这证实了三维实体结构的学习绝非纯粹的后处理附加题，分组监督反向迫使 Anchor 调整空间布局以契合物体物理边界，二者在几何与语义层面具有紧密的互利耦合。
前期几何预热至关重要：去除分割权重预热会导致早期的掩码匹配产生大量几何冲突梯度，同时破坏重建质量与分割准确率（AP 从 0.193 跌至 0.081）。
实体级语义压缩展现极端高效性：仅凭 512 维的组特征就能达到 0.635 的 mIoU，加上 8 维 Anchor 残差后达到 0.657，相比逐高斯存储将开销压缩了 100 倍以上，且在边界整洁度上明显优于像素对齐的高斯模型。
开箱即用的跨域泛化能力：在 RealEstate10K 数据集上直接借助 SAM 2 生成的带噪声伪标签进行监督，重建 PSNR 达到 22.85 dB，胜过 C3G（22.39 dB）；在未微调状态下直接 Zero-shot 迁移至 MipNeRF360，PSNR 达到 16.52 dB，相比 Uni3R（14.58 dB）展现出更强的跨分布场景先验稳定性。

亮点与洞察¶

将物体实例重构为三维原生界面：打破了过去以无序点云或独立高斯为基元的固有范式，以“实例 Token + 局部几何 Anchor”为复合表征单元，使得实体成为三维数据流的第一公民。
全前馈零后处理的原生可编辑性：在完成单次网络前向推理后，每个三维物体已经拥有确定性的 Token 索引与高斯子集，无需任何后处理或二次分割即可直接执行平移、旋转、删除和跨场景移植，彻底摆脱了传统 NeRF/3DGS 编辑对微调优化的依赖。
开集检索复杂度依物体数量线性缩放：开集文本目标检索直接在组级语义向量上计算余弦相似度，匹配候选从十万级基元骤降至百级实例组，既消除了孤立高斯图元的误检索，又实现了物理实体级别的精准定位。

局限与展望¶

复杂密集与室外大场景容量瓶颈：实验设定固定的最大组上限 $L=100$ 和 $K=1024$ 个 Anchor，对于大尺度无界室外场景或高度密集的物体堆叠场景，固定的 Token 容量可能引发实体争夺和欠分割。
单组语义表达能力受限：单个实例仅分配单一的全局向量 $s_\ell$，对于结构复杂、材质差异极大的大型符合物体（如带有布艺软包与木质结构的沙发床），单一主特征难以全面概括，未来可探索多组基底语义向量混合机制。
静态假设与物理交互空白：当前框架建立在刚性静态三维场景假设上，尚未拓展到包含运动物体的动态序列；此外，生成的实例虽然具备几何边界，但尚未建模质量、摩擦力等可供具身机器人直接进行物理仿真的动力学属性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 颠覆了前馈高斯以基元为中心的传统模式，将实例作为原生交互单元，设计极具启发性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖重建、开集特征提升、实例分割、场景编辑与开集检索，并补充了伪标签监督与跨数据集Zero-shot验证。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述深刻，方法层级清晰，框架设计逻辑自洽且实验论证扎实。
价值: ⭐⭐⭐⭐⭐ 为具身智能环境建模、3D 世界模型构建以及大语言模型理解三维物理空间提供了极具实用价值的表征范式。