Multi-Part Object Representations via Graph Structures and Co-Part Discovery¶

会议: NeurIPS 2026
arXiv: 2512.18192
领域: 其他
关键词: 对象表征学习, 图结构, 协同部件发现, 无监督多部件分解, 遮挡与分布外泛化

一句话总结¶

针对传统以隐式表征和间接目标学习多部件对象在遮挡与分布外场景下频频失效的问题，本文提出了显式组合网络 ECO-Net，通过构建局部部件图并设计多样本可追踪的协同部件发现算法，以自底向上的显式图组合实现了鲁棒的多部件对象无监督发现与表征。

研究背景与动机¶

人类视觉系统能够灵活、稳定地认知物理世界，其核心在于具备强大的部件-整体组合认知能力：每个复杂物体并非不可拆卸的单一语义块，而是由若干几何特征明确的局部部件按特定空间拓扑关系紧密排列构成的整体。然而，当前无监督以对象为中心表征学习（Object-Centric Learning）的主流方案大多陷入了“隐式对象表征”的范式。无论是基于信息瓶颈的迭代注意力槽机制（如 Slot Attention、BO-QSA、GENESIS-V2 等通过整图自编码重构隐式瓶颈槽），还是基于自监督预训练特征相似度聚类的无监督分割范式（如 DINOSAUR、MaskCut、OC-Net 等），都预先假定物体的“部件-整体”层级拓扑关系能够自动编码在低维向量或自对比空间中。

这种隐式假设在面对复合多部件物体时暴露出致命缺陷。信息瓶颈模型在无先验引导下极易将复杂多部件混淆为一个大槽或因槽容量受限而无法解耦细粒度结构，且通常需要硬编码槽位数量；特征聚类方法则往往只停留在局部对比度或连续纹理切分上，根本缺乏把不同视觉特性的部件重构成“同一个整体”的显式归纳偏置。更严峻的是，当场景出现遮挡（部分部件不可见）或测试分布迁移（背景纹理剧烈改变）时，缺少显式拓扑纽带的隐式表征会完全崩溃，无法依据残留部件与空间上下文联想并补全完整物体。

本文的切入视角是摒弃依赖全图重构或自对比损失间接学习拓扑的隐式假定，转而回归自底向上的显式几何图结构：在图像之间跨样本频繁协同共现、且保持稳定相对空间位移的相邻部件，大概率属于同一物理物体。核心 idea：将图像分解为由位置不变形状向量和相对位移边构成的部件图，并基于平面图拓扑设计复杂度为 $\mathcal{O}(|\mathcal{P}|^2 \log |\mathcal{P}|)$ 的协同部件发现算法，跨图像迭代汇聚共现部件并更新对象记忆库，实现无需指定物体数量且强泛化的显式多部件对象发现。

方法详解¶

整体框架¶

ECO-Net（Explicit Compositional Network）将图像中的多部件对象发现解耦为三个紧密串联的显式阶段：图表征构建、协同部件发现以及对象记忆更新。输入图像批次首先由底层确定性图分割算法切分成互不相交的精细部件集合，并提取每个部件的位置不变几何轮廓向量及相邻部件间的相对空间位移向量，构成部件图；接着，协同部件发现模块跨样本搜索具有高余弦相似度且其邻接边也高度匹配的候选部件对，自底向上将共现局部部件聚类缝合成连通图物体；最后，记忆更新模块将当前批次发现的对象汇总并提取全物体外形指纹，在全局记忆库中检索、匹配并累计频次，形成具备抗遮挡与分布外识别能力的显式对象表征。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像批次"] --> B["底层部件图构建<br/>Felzenszwalb算法分割 + 质心边界向量 + 邻接边空间位移"]
    B --> C["协同部件发现<br/>跨样本部件特征匹配 + 邻接边几何一致性校验 + 连通图合并"]
    C --> D["对象记忆更新<br/>并集外形指纹抽取 + 记忆库拓扑匹配与频次排序"]
    D --> E["下游任务输出<br/>抗遮挡补全 / OOD对象分割 / 属性预测"]

关键设计¶

1. 部件图表征：位置不变几何轮廓与相对空间位移 传统自编码槽机制直接输入高维网格特征，难以对局部几何部件施加显式边界约束。为了获得具备全局边界一致性且计算高效的初始部件，ECO-Net 采用具有理论保证的 Felzenszwalb 算法将输入图像像素划分为不相交的局部区域集合 $\mathcal{P}=\{P_1,\dots,P_M\}$。针对每个部件 $P_i$，选取其质心坐标 $\mathbf{x}^i_c$，并在其几何边界上均匀采样 $K$ 个像素点 $\{\mathbf{x}^i_1,\dots,\mathbf{x}^i_K\}$，构建位置无关的形状特征矩阵： $$\mathbf{V}_i = [\mathbf{x}^i_1 - \mathbf{x}^i_c, \dots, \mathbf{x}^i_K - \mathbf{x}^i_c] \in \mathbb{R}^{2 \times K}$$ 若部件 $P_i$ 与 $P_j$ 在图像中空间相邻（边界相交长度非零），则在两节点间建立一条有向边，边的几何标签赋予相对空间位移向量 $\mathbf{x}^j_c - \mathbf{x}^i_c$。这一设计彻底剥离了物体绝对坐标的影响，仅保留了部件自身的局部几何形态与相邻部件间的刚性/半刚性空间几何相对位移，为跨图像匹配奠定了规范化坐标基础。在复杂真实图像（如 PASCAL VOC 与 MS COCO）中，该几何形状向量还会与 DINO 预训练视觉特征拼接，进一步赋予部件丰富的语义辨别力。

2. 协同部件发现：多项式时间复杂度的跨样本图迭代合并 在由多个样本构成的大规模部件集合中，将散落的部件重新组合成正确物体在图论上对应于频繁子图挖掘，需要反复求解 NP-complete 的子图同构问题，时间复杂度高达 $\mathcal{O}(2^{|\hat{\mathcal{E}}|})$。ECO-Net 依据视觉连续性假设——属于同一个物体的部件必然在图像平面内形成连通邻接子图，且由于基于超像素的图像分割对偶图具备平面图性质（平均节点度数小于 6），将搜索空间大幅收缩为局部邻接图。

具体匹配时，算法从待处理集合中均匀采样未访问部件 $P_i$，并在跨图像候选集中检索形状相似度超过阈值 $\epsilon$（论文采用高阈值 0.99 确保极高精度）的部件 $P_j$： $$\text{sim}(\mathbf{V}_i, \mathbf{V}_j) = \frac{1}{K} \sum_{k=1}^K \frac{(\mathbf{x}^i_k - \mathbf{x}^i_c) \cdot (\mathbf{x}^j_k - \mathbf{x}^j_c)}{\| \mathbf{x}^i_k - \mathbf{x}^i_c \| \| \mathbf{x}^j_k - \mathbf{x}^j_c \|}$$ 若存在对应的邻接边 $(P_i, P_k)$ 和 $(P_j, P_{k'})$ 其空间相对位移余弦相似度亦超过 $\epsilon$，且两端点邻居部件 $P_k$ 与 $P_{k'}$ 的形状相似度同时大于 $\epsilon$，则系统确认捕获到了稳定的双部件协同共现结构。此时，系统根据并查集机制更新物体分配：若两个部件均未归属已知对象，则生成新物体；若已存在部分归属，则将新部件及关联边扩充并入，并将所有包含其中任一部件的已有对象连通合并。该流程严格保证了计算复杂度降至 $\mathcal{O}(|\mathcal{P}|^2 \log |\mathcal{P}|)$，实现了完备且快速的无监督部件聚类。

3. 对象记忆更新与补全机制 为了将零散图像批次中发现的局部图结构升华为全局可泛化的物体先验，ECO-Net 设计了对象记忆库。当一批部件组合成一个复合对象 $\mathcal{O}_c$ 后，模块将该对象所有构成部件的像素取并集，重新计算该组合整体的复合质心，并再次从复合边界采样 $K$ 个向外延伸的几何位移向量，形成整物体的全局几何轮廓描述。记忆模块比对当前对象与记忆库中已有模板的形状相似度；若相似度超过阈值，则认定为同一类物体的不同视角或姿态，并增加其出现频次计数器；若不匹配，则将其作为新候选物体压入记忆库中。当训练遍历完毕，记忆库按出现频次降序排列，排除了由偶然噪声生成的偶发图碎片。当在测试阶段遇到发生遮挡的物体时，模型可凭借记忆库中已固化的图拓扑和局部匹配部件，由内向外反向推理补全被遮蔽的其余部件像素，达成强大的遮挡感知与补全能力。

一个完整示例¶

假设系统在训练批次中处理两张包含相同玩具卡车的图像。在图像 1 中，底层算法将卡车切分为黄色车厢 $P_1$、蓝色车头 $P_2$ 以及两个黑色轮子 $P_3, P_4$；在图像 2 中，由于光照与摆放不同，同样结构被切分为 $P'_1, P'_2, P'_3, P'_4$。 1. 采样匹配：算法首先从未分配池中选中车厢 $P_1$，计算其与跨图像部件的形状相似度，迅速与图像 2 中的车厢 $P'_1$ 匹配（$\text{sim}(\mathbf{V}_1, \mathbf{V}'_1) > 0.99$）。 2. 邻居位移校验：检索 $P_1$ 的相邻边，发现其指向车头 $P_2$ 的空间位移向量为 $(+30, 0)$；检查 $P'_1$ 的邻居，发现边 $(P'_1, P'_2)$ 的位移向量同样水平向右为 $(+29, +1)$，方向高度一致。进一步比对两端点部件 $P_2$ 与 $P'_2$ 的几何特征，相似度同样超过 0.99。 3. 对象构建与合并：系统确认 $\{P_1, P_2\}$ 构成具有稳定拓扑的子结构，创建对象 $\mathcal{O}_1$。下一轮迭代中，当检验轮子 $P_3$ 时，发现其与车厢 $P_1$ 的相对位移及与图像 2 中轮子 $P'_3$ 的共现关系，系统直接将 $P_3$ 合并进 $\mathcal{O}_1$。 4. 记忆库落盘：最终将车厢、车头、车轮四个部件聚合成完整卡车对象，合并外轮廓作为模板存入记忆库，频次加 1。在后续测试中，若遇到一辆车厢被挡板遮挡 75% 的卡车，系统仅凭露出的一只车轮和局部车头即可在记忆库中精准匹配到卡车图拓扑，从而将遮挡背后的车厢区域完好补全。

损失函数 / 训练策略¶

与传统的基于梯度反向传播、自编码重构误差或对比学习损失的深度神经网络不同，ECO-Net 的核心对象发现模块是完全基于图论拓扑与统计共现驱动的非参数/自组织算法，不需要基于梯度的反向传播训练损失函数。 - 超参数配置：核心超参数仅有两个，即表示部件/对象隐空间几何边界采样点数量的 $K=64$，以及几何余弦相似度匹配阈值 $\epsilon=0.99$。 - 底层分割参数：底层 Felzenszwalb 算法阈值固定为 10，最小连通区域尺寸设为 1，确保初始部件足够精细。 - 运行效率：在批大小为 2、处理 10K 步的设定下，在单张 32GB RAM GPU 上训练 AbsScene 数据集仅耗时 73 分钟，远低于传统 Slot Attention 类方法通常需要的 300K 步迭代及数倍显存开销。

实验关键数据¶

主实验¶

论文在模拟数据集（Tetrominoes、AbsScene）、逼真渲染与密集陈列数据集（GSO、SKU-110K）以及真实世界复杂数据集（PASCAL VOC、MS COCO）上开展了全面的无监督前景物体发现质量评测，采用 Adjusted Rand Index (ARI)、mean Dice (mDice) 和 mean IoU (mIoU) 指标进行量化对比。

数据集	指标	ECO-Net (本文)	次优基线	次优基准模型	提升幅度
Tetrominoes (模拟)	ARI mDice mIoU	100.0 ± 0.0 100.0 ± 0.0 100.0 ± 0.0	99.7 ± 1.5 96.7 ± 6.5 95.0 ± 11.2	Slot Attention OC-Net Felzenszwalb	+0.3 +3.3 +5.0
AbsScene (模拟)	ARI mDice mIoU	97.7 ± 2.4 99.4 ± 1.0 98.8 ± 1.5	95.0 ± 8.2 88.3 ± 10.7 81.5 ± 12.8	DINOSAUR MaskCut MaskCut	+2.7 +11.1 +17.3
GSO (逼真)	ARI mDice mIoU	99.1 ± 1.7 94.5 ± 2.1 89.8 ± 3.8	97.5 ± 5.6 90.9 ± 1.8 83.4 ± 3.0	MaskCut MaskCut MaskCut	+1.6 +3.6 +6.4
SKU-110K (密集货架)	ARI mDice mIoU	7.8 ± 3.2 31.9 ± 9.2 21.6 ± 6.8	7.4 ± 3.3 13.2 ± 4.3 7.7 ± 2.7	OC-Net OC-Net OC-Net	+0.4 +18.7 +13.9
PASCAL VOC (真实)	ARI mDice mIoU	19.0 ± 21.4 27.9 ± 14.4 19.9 ± 11.7	17.7 ± 28.5 20.7 ± 13.9 15.5 ± 13.7	MaskCut OC-Net MaskCut	+1.3 +7.2 +4.4
MS COCO (真实)	ARI mDice mIoU	38.9 ± 18.9 63.4 ± 12.7 49.7 ± 13.2	37.5 ± 23.4 48.1 ± 13.6 35.5 ± 15.1	MaskCut OC-Net OC-Net	+1.4 +15.3 +14.2

针对抗遮挡（AbsScene-O、GSO-O，最小可见度仅 25%）与分布外复杂背景迁移（AbsScene-C，随机替换 15 种真实复杂纹理背景）的专项评测结果如下：

测试基准	核心指标	ECO-Net (本文)	次优基准得分	次优代表方法	表现差距与分析
AbsScene-O (遮挡补全)	mDice mIoU	93.1 ± 9.6 90.5 ± 12.7	70.4 ± 20.7 59.5 ± 22.1	Felzenszwalb Felzenszwalb	领先次优 22.7% mDice 和 31.0% mIoU；槽机制基准均低于 61%
GSO-O (遮挡补全)	mDice mIoU	90.3 ± 6.7 83.3 ± 9.1	85.8 ± 3.6 76.9 ± 4.6	MaskCut MaskCut	面对 3D 渲染遮挡物体仍保持稳定对象完整性恢复
AbsScene-C (分布外迁移)	ARI mDice mIoU	93.5 ± 7.5 97.3 ± 4.1 95.4 ± 6.5	82.0 ± 17.5 74.9 ± 17.8 64.0 ± 20.0	DINOSAUR MaskCut MaskCut	基准方法在复杂背景下大幅掉点，ECO-Net 几乎不受背景扰动影响

消融实验¶

论文对核心模块进行了消融分析，通过剔除协同部件发现（w/o co-part）或直接引入预训练 DINO 特征替代纯几何部件（w/ pretrained），在全套测试集上评测 mIoU：

模型配置	Tetrominoes	AbsScene	GSO	SKU-110K	PASCAL	COCO	AbsScene-O	GSO-O	AbsScene-C
ECO-Net (完整)	100.0 ± 0.0	98.8 ± 1.5	89.8 ± 3.8	21.6 ± 6.8	19.9 ± 11.7	49.7 ± 13.2	90.5 ± 12.7	83.3 ± 9.1	95.4 ± 6.5
w/ pretrained (加预训练特征)	57.3 ± 12.7	72.8 ± 16.7	83.5 ± 3.0	2.8 ± 0.4	19.9 ± 11.7	49.7 ± 13.2	58.0 ± 21.6	79.8 ± 12.6	60.1 ± 20.3
w/o co-part (无协同部件聚类)	40.6 ± 29.2	61.6 ± 23.4	14.7 ± 13.9	7.8 ± 2.8	5.9 ± 6.3	6.8 ± 9.3	51.6 ± 20.1	25.1 ± 25.8	31.9 ± 27.1

在模拟数据集物体属性预测下游任务中（采用 Gradient Boosted Trees 拟合颜色、坐标与形状特征的 $R^2$ 判定系数），ECO-Net 在 Tetrominoes 上颜色预测达 100.0，坐标预测达 99.5/99.4，形状达 98.7（对比 Slot Attention 仅 36.2）；在 AbsScene 上形状预测达 99.7（对比 Slot Attention 为 76.1），表明其显式表征具备出色的属性解耦特性。

关键发现¶

协同部件发现模块是性能支撑的核心支柱：一旦移除协同部件发现（w/o co-part），各数据集上的 mIoU 发生断崖式下跌，在真实复杂数据集 COCO 上从 49.7 骤降至 6.8，在 GSO-O 遮挡集上从 83.3 跌至 25.1。这强有力地证实了仅凭底层分割无法构成物体级认知，跨图像共现几何关系的显式聚合才是完成多部件组合的根本机制。
预训练语义特征并非万灵丹：在具有严谨几何拓扑规律的合成或轻度渲染场景中，引入预训练特征（w/ pretrained）反而导致性能显著下滑（如 Tetrominoes 从 100.0 跌至 57.3，AbsScene 从 98.8 跌至 72.8）。原因在于预训练大模型特征带有强烈的语义先验与分布偏置，扰乱了基于底层几何不变性对同一物体各部件的一致性捕捉。
抗遮挡与背景鲁棒性显著领先传统槽模型：在物体高达 75% 面积被遮挡（AbsScene-O）时，传统基于信息瓶颈的 Slot Attention 和 BO-QSA 的 mIoU 跌破 48%，无法推断被遮挡轮廓；而 ECO-Net 依靠全局对象记忆库能够精准补全不可见部件，mIoU 依然高达 90.5%。

亮点与洞察¶

自底向上显式图拓扑替代反向传播隐式重构：巧妙利用平面图对偶拓扑的度数约束，将指数级子图同构搜索转化为 $\mathcal{O}(|\mathcal{P}|^2 \log |\mathcal{P}|)$ 的多项式时间配对算法，既保证了数学完备性，又彻底摆脱了槽注意力难以收敛与超参数敏感的痛点。
从质心到边界采样向量构建位置不变几何指纹：通过规整化的局部轮廓向量与相邻质心位移向量建模，天然消除了物体平移影响，使得在无监督前提下跨图像对齐相同物理部件变得极其直观有效。
可直接迁移到无监督 3D 构件装配与 CAD 逆向工程：通过将 2D 像素部件拓展为 3D 网格基元/点云补丁，这种基于拓扑共现与刚性位移匹配的协同发现思想，可以直接用于从杂乱 3D 扫描中无监督分解机械构件与层级装配结构。

局限与展望¶

作者承认的局限：在真实世界高度复杂纹理与严重光影形变的极端场景中，底层超像素分割算法容易产生过分割或欠分割噪声；此外，固定相似度匹配常数 $\epsilon=0.99$ 虽保证了高精度，但无法自适应不同数据集的噪声强度。
自身发现的局限：当前部件拓扑匹配严格假定部件间相对位移变化较小（偏刚性或半刚性结构），对于高度非刚性形变（如剧烈扭曲的人体关节姿态、流体形变）可能导致边位移余弦相似度断崖式下降，从而无法正确聚合部件。
后续改进思路：可引入可微分或自适应松弛的图匹配机制，动态学习不同类别部件间的容差分布；同时可将底层超像素替换为自监督基础大模型（如 SAM 的网格化无提示 mask）所提供的稳定基元，增强对非刚性物体的兼容度。

评分¶

新颖性: ⭐⭐⭐⭐☆ 摆脱深度重构与槽机制范式，提出理论完备的多项式时间协同部件发现与显式图表征。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 6 个合成/逼真/真实数据集，并专门构建 3 个抗遮挡与分布外基准及下游属性预测任务。
写作质量: ⭐⭐⭐⭐⭐ 逻辑推导严谨，附录定理证明详实，问题切入直击无监督表征的核心痛点。
价值: ⭐⭐⭐⭐☆ 为以对象为中心的鲁棒表征学习、遮挡补全及复合构件识别提供了极具启发性的非传统思路。