COCOTree: A Dataset and Benchmark for Open Tree-Structured Visual Decomposition¶

会议: NeurIPS 2026
arXiv: 2605.22068
代码: https://github.com/melonkick3090/COCOTree
领域: 语义分割
关键词: 开放树状解构, 层次化图像分割, 多模态大模型, 开放词表, 基准评测

一句话总结¶

本文提出了开放树状视觉解构任务（Open Tree Decomposition），通过结合大视觉语言模型（LVLM）的语义推理与 SAM 3 的精确定位构建了包含 2.1 万张图像和 180 万个实例节点的基准数据集 COCOTree，并设计了端到端评测指标 Open Tree Quality (OTQ)。

研究背景与动机¶

图像分割作为计算机视觉的核心基石，已从语义分割、实例分割、全景分割逐步拓展至极细粒度的部件级解析。然而，现有细粒度分割方法普遍停留在扁平化的一级抽象，彻底割裂了真实世界物理装配中固有的层级依赖关系。这种结构信息的缺失严重阻碍了组合视觉推理，并引发了显著的功能歧义性：例如一个孤立的“把手（handle）”掩码，在脱离上下文层级的情况下无法判断其究竟是用于推拉车门、端起水杯还是旋转机械阀门。这对要求深层物理交互与场景操作的具身智能（Embodied AI）构成了致命瓶颈。

以往的层次化分割数据集（如 PACO、PartImageNet、SPIN、ADE20K）虽然引入了组合关系，但在层级深度和词表灵活性上存在明显局限。首先，绝大多数基准将层级严格限制在浅层的单步“物体-部件”甚至预设的三层结构中，无法向下递归追踪关键的深层物理链条（如汽车 → 车门 → 门把手 → 锁孔）。其次，既有数据集无一例外被束缚在封闭分类体系（closed-set vocabularies）中，无法泛化至未预设的长尾部件或新颖配置，与现实世界未受限的复杂组合结构脱节。

若依赖人工穷尽标注这种开放词表、任意深度的层次树，认知负担与物理成本呈指数级爆炸。核心 idea：利用大视觉语言模型（LVLM）与空间定位模型（SAM 3）构建全自动递归解构管线，解耦“语义子部件发现”与“局部几何掩码定位”，并在 COCO 上构建无深度限制、开放词表的树状基准 COCOTree，提出统一评测指标 OTQ。

方法详解¶

整体框架¶

开放树状解构任务旨在将输入图像 $I \in \mathbb{R}^{H \times W \times 3}$ 解析为一棵具有未受限深度的显式物理层次树 $T=(V,E)$。树中的每个节点 $v_i = (m_i, l_i) \in V$ 包含对应的二值实例掩码 $m_i \in \{0,1\}^{H \times W}$ 与开放词表语义标签 $l_i \in \mathcal{L}$；有向边 $e_{i,j} \in E$ 则表示 $v_j$ 是被 $v_i$ 在视觉与物理上所包含的直接组成子部件。整个系统从全图根节点出发，在语义层面自顶向下递归展开，最终物化为实例级树结构。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与全景根节点"] --> B["根节点语义分解与全景锚点发现<br/>LVLM 提取高层实体 + SAM 3 定位基础掩码"]
    B --> C["递归局部子部件解构<br/>按掩码紧致裁剪 + 背景抑制 + 队列式深入"]
    C --> D["自适应证据过滤与同级去重<br/>动态尺度阈值 + 覆盖率与重叠率抑制"]
    D --> E["实例级开放树转换与父子拓扑物化<br/>语义组分离 + 空间包含启发式归属"]
    E --> F["输出实例级开放树 T=(V,E)"]

关键设计¶

1. 根节点语义分解与全景锚点发现：建立全局层次树的稳定起点 全自动标注的第一个瓶颈在于如果初始步直接在细粒度部件上发散，模型极易产生幻觉或陷入混乱。本方法首先在全景根节点级别驱动 LVLM 对整图的宏观实体进行通用名词提取，严格遵循“仅依赖可见证据”的提示策略，强制过滤材料、纹理、抽象属性及近义词。将提议的语义类别传递给几何基础模型 SAM 3，精确分割出场景中的主要前景物体以及天空、道路、地面等背景“stuff”区域。同一标签下的多个实例先在几何上聚合为语义节点（Semantic Node），形成后续递归展开的稳定上下文，同时记录剩余未覆盖像素（others）以保障覆盖完整性。

2. 递归局部子部件解构：基于背景抑制的局部视觉推理循环 为了突破传统浅层层级限制，系统维护一个语义节点队列进行深度优先/广度优先递归扩展。对于队列中的任一父节点，算法根据其掩码区域将原始图像裁剪为紧致局部补丁，并将背景外部像素全部遮蔽抑制。LVLM 接收该局部视觉裁剪、当前路径与父节点语义标签，并以结构化格式输出当前区域包含的下一级可见物理子部件。若某中间层级边界模糊但更细致的部件高度可见，允许跳过模糊层直接提议细颗粒部件。此循环持续向深层演化，直至 LVLM 判定该局部区域已达到结构穷尽（Structural Exhaustion）而停止。

3. 自适应证据过滤与同级去重：消除递归过程中的几何与语义漂移 自动递归解构极易在深层引入碎片噪声或重复分支。管线引入了尺度自适应的置信度过滤：当父节点在全图中的面积占比小于 $5\%$ 时，将 SAM 3 的分割置信度阈值由默认的 $0.5$ 放宽至 $0.4$，以确保微小部件能被有效召回；对大面积区域则维持 $0.5$ 阈值以抑制低置信噪点。同时，设置硬性几何拒绝规则：单节点掩码覆盖全图超过 $70\%$ 或覆盖父节点超过 $90\%$ 者直接剔除。对于同一父节点下的兄弟节点，若空间重叠率（IoU）超过 $90\%$ 则执行合并，消除近义词和多余分支。

4. 实例级开放树转换与父子拓扑物化：从分组语义映射到严谨实例图 在前述步骤中，递归是以语义组为单位进行计算以降低计算开销，最终需要转化为物理实体对应的实例树。系统首先将各语义节点中包含的离散实例掩码逐一拆分，实例化为独立的实体节点 $(m_i, l_i)$。随后，依据像素空间包含与重叠启发式准则，将子实例指派至对应的父级实例掩码；当子实例与多个候选父实例产生空间相交时，通过最大包含度判定确定唯一父节点。若子节点无法找到可靠的父级物理依托，则作为悬挂噪声直接过滤。

5. 开放树质量指标 OTQ：解耦掩码精度、标签语义与拓扑一致性评测 针对开放树状结构传统指标（如 Panoptic Quality、PartPQ、HPQ）完全失效的问题，本文设计了 Open Tree Quality (OTQ)。首先通过二分图最大权匹配在预测节点 $\hat{V}$ 与参考真实节点 $V$ 间按掩码 IoU 进行全局配对，将 $\mathrm{IoU} \geq 0.5$ 者记为 $TP_{\mathrm{node}}$。对配对节点计算掩码质量 $MQ = \mathrm{IoU}(\hat{v}, v)$ 与开放标签相似度 $LQ_m = \mathrm{Sim}_m(\hat{\ell}_{\hat{v}}, \ell_v)$（支持 BERT、SBERT、OEWN、CLIP 等相似度），合成节点平均质量： $$\mathrm{meanNQ}_m = \frac{1}{|TP_{\mathrm{node}}|} \sum_{(\hat{v},v) \in TP_{\mathrm{node}}} MQ(\hat{v},v) \cdot LQ_m(\hat{v},v)$$ 为评估拓扑结构，仅保留 $TP_{\mathrm{node}}$ 构建匹配骨架树，对任意一对配对掩码 $(m_i, m_j)$，计算其在真实骨架和预测骨架中的最近公共祖先（LCA）是否一致：$C(m_i, m_j) = \mathbf{1}[p_G(m_i, m_j) = p_P(m_i, m_j)]$，得到分支对准确率 $BQ$。最后结合 PQ 式惩罚项得到树质量 $TQ$ 与综合指标 $OTQ_m$： $$TQ = BQ \cdot \frac{|TP_{\mathrm{node}}|}{|TP_{\mathrm{node}}| + \frac{1}{2}|FP_{\mathrm{node}}| + \frac{1}{2}|FN_{\mathrm{node}}|}, \quad OTQ_m = TQ \cdot \mathrm{meanNQ}_m$$

实验关键数据¶

主实验¶

COCOTree 基于 COCO 数据集构建，规模包含 21K 图像、1.8M 实例掩码节点，平均每张图达到 85.7 个掩码，平均深度达 3.448，涵盖 3.5K+ 个开放词表类别。下表展示了 COCOTree 与现有分割数据集的规模对比，以及将传统平面分割投影和递归 SAM 3 模型作为基线在 COCOTree 基准上的 OTQ 评估结果。

数据集 / 基线方法	图像数	掩码总数	单图掩码数	类别数	最大深度	HPQ	OTQ	TQ	meanNQ	MQ	LQ
COCO-17 (Lin et al.)	118K	860K	7.3	80	1	-	-	-	-	-	-
LVIS (Gupta et al.)	100K	1.3M	13.0	1.2K	1	-	-	-	-	-	-
CPP (de Geus et al.)	3.5K	156K	44.6	28	2	-	-	-	-	-	-
SPIN (Myers-Dean et al.)	10K	146K	14.6	254	3	-	-	-	-	-	-
COCOTree (本文)	21K	1.8M	85.7	3.5K	无限制	-	-	-	-	-	-
COCO-17 扁平投影	20.9K	-	-	-	1	0.020	0.098	0.125	0.781	0.829	0.929
COCONut 扁平投影	4.9K	-	-	-	1	0.021	0.107	0.132	0.810	0.857	0.932
COCO-ReM 扁平投影	20.9K	-	-	-	1	0.022	0.119	0.140	0.849	0.904	0.928
LVIS 扁平投影	21.1K	-	-	-	1	0.024	0.115	0.146	0.764	0.841	0.882
Recursive SAM 3 输出树	1K	-	-	-	递归	0.349	0.587	0.655	0.895	0.901	0.994

消融实验¶

为验证 OTQ 评测指标对真实各类错误模式的响应灵敏度与正交解耦特性，作者在人工核验的 1K 图像子集上对真实参考树（GT）施加受控扰动破坏（保留比例设为 50%），评测各项分解指标的响应行为。

扰动配置（Keep 50%）	主要破坏模式	HPQ	OTQ	TQ	meanNQ	MQ	LQ	诊断说明
GT Oracle 完整树	无损坏（理论上限）	1.000	1.000	1.000	1.000	1.000	1.000	各项基准满分
掩码腐蚀（Mask Erosion）	几何掩码向内收缩	0.323	0.352	0.706	0.498	0.508	0.983	MQ与meanNQ腰斩，拓扑TQ受漏检轻度连带影响
掩码膨胀（Mask Dilation）	几何掩码向外扩张	0.670	0.640	0.979	0.653	0.668	0.978	边界精度MQ明显下降，拓扑结构保持率TQ基本无损
父节点重连（Parent Rewiring）	随机打乱父子拓扑连边	0.203	0.778	0.778	1.000	1.000	1.000	节点几何与标签无损(meanNQ=1)，纯粹惩罚拓扑TQ
缺失内部语义节点	随机删除 50% 中间层节点	0.897	0.915	0.915	1.000	1.000	1.000	LCA机制跳过中间层，仅因召回惩罚致TQ轻微下降
缺失叶子语义节点	随机删除 50% 终端细微部件	0.477	0.785	0.785	1.000	1.000	1.000	匹配节点质量满分，大量FN导致TQ显著下跌
随机缺失语义节点	随机删除 50% 任意节点	0.491	0.652	0.652	1.000	1.000	1.000	拓扑完整度与数量召回严重受损，TQ跌至0.652

关键发现¶

层次深度的物理自洽性：在 COCOTree 中，宏观大物体（L）有 69.8% 集中在第 1 层；而超微细粒度部件（XS）有超过 56.4% 稳固分布在第 3 层或更深层（$\ge 4$ 层达 17.3%），自然呈现物理包含规律。
平面分割基准的结构缺失：现有扁平分割（如 COCO-17、COCO-ReM、LVIS）在匹配上的节点具有较高的掩码质量（MQ 为 0.82~0.90），但由于彻底缺乏图内层级关联，其树质量 TQ 极低（0.125~0.146），最终导致 OTQ 低于 0.12。
OTQ 指标的解耦诊断价值：消融实验证明，OTQ 的分量能精准区分“几何定位不准”（MQ 下降）、“标签不匹配”（LQ 下降）与“父子逻辑错乱”（仅 TQ 下降，meanNQ=1.0），克服了旧版 HPQ 将所有错误揉杂的缺陷。

亮点与洞察¶

解耦式层次生成范式：将昂贵且难以形式化的多层人工标注，解构为“LVLM 语义提议 + SAM 3 几何定界 + 递归局部裁剪”闭环，以极低边际成本获得了 180 万高质量节点。
基于 LCA 骨架的松弛拓扑评测：在 OTQ 指标设计中，引入最近公共祖先（LCA）匹配机制，允许算法在合理跳过或插入非核心中间层级时依然保持拓扑一致性判定，完美契合了视觉概念多粒度解构的本质。
对具身智能的下游价值：由平面转向树状分解使得视觉模型能够输出“物体-部件-操作点”的物理依赖链条，为具身智能体执行复杂装配和工具操作提供了不可或缺的空间拓扑先验。

局限与展望¶

解构的多义性与主观性（Reference Multiplicity）：同一自然场景在不同观察者视角下可以存在多种合法的解构颗粒度，虽然作者通过严格的人工核验达成了共识基准，但单一 GT 无法完全包容视觉世界的多重层次表达。
极小目标（XS）召回瓶颈：实验显示在超小尺度区域（Area $< 10^2$ 像素），LVLM 在局部裁剪中较难可靠提议语义名词，SAM 3 定位极小区域的召回率（AR 仅 0.08~0.15）亦受到基础模型几何分辨率的制约。
开放词表语义相似度漂移：OTQ 指标依赖 BERT/WordNet 等文本匹配度计算，在近义词和多义词判断时仍可能受词嵌入偏置影响，未来可探索结合视觉上下文的动态语义判别器。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次系统性形式化“开放树状视觉解构”任务，打破了封闭集与浅层层级预设。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 21K 图像的大规模基准构建、严谨受控破坏消融以及 20 人的人工质量审计。
写作质量: ⭐⭐⭐⭐⭐ 任务建模数学形式清晰，管线流程与指标公式定义严密自洽。
价值: ⭐⭐⭐⭐⭐ 为具身智能、场景图生成和开放层次视觉理解提供了极具开创性的高质量基准。