QASA: Quality-Guided K-Adaptive Slot Attention for Unsupervised Object-Centric Learning¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/ouyangtianran/QASA-tianran
领域: 其他
关键词: Slot Attention, 无监督以物体为中心学习, K自适应, 质量引导选择, 门控解码器

一句话总结¶

QASA 通过提出基于 Slot Attention 竞争机制的无监督槽位质量指标与门控解码器，解耦了槽位选择与重建优化，实现了无需预设槽位数量 \(K\) 且超越固定 \(K\) 基线的高精度物体发现。

研究背景与动机¶

以物体为中心学习（Object-Centric Learning, OCL）旨在将复杂视觉场景无监督地分解为对应物理实体的结构化表征。近年来，以 Slot Attention 为代表的重构瓶颈架构成为无监督 OCL 的主导范式，通过一组潜在向量（槽位）竞争性地绑定图像特征。然而，绝大多数现有方法都预设了全局固定的槽位数量 \(K\)。现实世界中不同图像包含的实体数量动态多变，固定的 \(K\) 必然导致欠分割、过分割或表征容量浪费，且模型的分割精度对 \(K\) 的取值极其敏感，往往需要耗费大量算力穷举搜索超参数。

为了适应不同场景的目标基数，近期一些工作探索了自适应槽位数量（\(K\)-adaptive）机制。例如 AdaSlot 引入槽位计数惩罚来动态学习选择器，但重构目标本身倾向于激活更多槽位以提升保真度，导致“减少槽位”与“提高重构质量”之间产生目标冲突；CoSA 与 MetaSlot 则分别依赖 PCA 准则或预训练码本进行筛选。这些已有自适应方法的核心瓶颈在于：它们本质上均依赖目标特征的显著性来进行槽位挑选，不仅容易只选出最显著的前景目标，更缺乏对槽位绑定质量的直接监督约束，造成选出的槽位覆盖大片弥散背景或模糊区域，无法精确对齐细粒度物体结构。

针对现有 \(K\)-adaptive 方法在真实复杂场景中大幅落后于固定 \(K\) 强基线的困境，本文选择将槽位选择过程与重构优化彻底解耦，不再通过带正则惩罚的额外网络选择槽位，而是直接利用无监督下槽位注意力内部天然存在的竞争特性构建衡量标准。核心 idea：提出一种基于胜出区域注意力质量纯度的无监督评估指标，在训练阶段贪心筛选出兼顾高质量、高覆盖率与新颖性的活跃槽位子集送入门控解码器重构，而在推理阶段通过全局竞争直接自适应确定物体数量。

方法详解¶

整体框架¶

QASA 包含四个核心部分：图像编码器、Slot Attention 模块、质量引导槽位选择模块以及门控解码器（Gated Decoder）。在训练阶段，输入图像经冻结的 DINO 编码器提取 patch 特征后，输入包含最大槽位数 \(K_{\max}\) 的 Slot Attention 模块生成槽位表征及注意力图 \(A_{\text{slot}}\)。随后，质量引导槽位选择模块依据注意力分布评估各个槽位的纯度得分，并结合覆盖率和新颖性约束挑选出活跃子集；解码器通过门控机制物理阻断未选槽位的信息流与注意力权重，仅依据活跃槽位计算与 DINO 特征间的均方误差重构损失。在推理阶段，模型完全无需运行选择算法，所有槽位在 patch 级别直接通过 \(\text{argmax}\) 竞争获胜者，自然诱导出图像自适应的物体划分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像 X 与 DINO 编码器<br/>提取 Patch 特征 Y"] --> B["Slot Attention 模块<br/>生成 Kmax 个槽位 U 与注意力 Aslot"]
    B --> C["质量指标评估<br/>计算胜出区域纯度 Qi"]
    C --> D["质量引导槽位选择<br/>覆盖率与新颖性约束生成掩码 M"]
    D --> E["双重门控解码器<br/>屏蔽未选槽位并重构特征"]
    E --> F["训练监督：特征重构 MSE 损失<br/>推理流程：Patch 级硬竞争自适应分割"]

关键设计¶

1. 质量指标评估：衡量槽位在获胜区域的注意力纯度

现有方法缺乏在无监督条件下度量槽位表征好坏的显式指标。理想的高质量槽位应在其负责的目标区域内注意力高度集中（接近 1），而在其他区域几乎不分配权重（接近 0）。基于 Slot Attention 跨槽位归一化的天然竞争属性，本文将每个 token（patch）\(t\) 上注意力权重的最大拥有者定义为其获胜槽位 \(w_t = \arg\max_{i \in \{1,\dots,K_{\max}\}} A_{t,i}\)。随后，统计槽位 \(i\) 在其独占胜出区域内累积的注意力质量 \(W_i^{\text{win}}\) 与其在整幅图像上的总注意力质量 \(W_i\)：

\[Q_i = \frac{W_i^{\text{win}}}{W_i + \epsilon} = \frac{\sum_{t: w_t = i} A_{t,i}}{\sum_{t=1}^N A_{t,i} + \epsilon}\]

该指标 \(Q_i \in [0, 1]\) 直观衡量了槽位注意力的聚焦纯度。如果一个槽位弥散在全图多个背景区域却在任何单一 patch 上都无法确立绝对主导权，其分子极小而分母很大，质量得分趋近于 0；相反，紧密绑定单一明确物体的槽位其绝大部分注意力均集中在自身胜出区域，质量得分逼近 1。这一无监督标量信号直接量化了槽位与具体实体的绑定精度。

2. 质量引导槽位选择：联合覆盖率与新颖性贪心构建活跃集

单凭质量排序容易引发两类退化：一是过早停止导致大量图像区域未被解释；二是重复选中多个注意力重叠但略有差异的冗余槽位。为此，QASA 设计了结合空间覆盖度与新颖性判别的贪心选取算法。首先设定 patch 覆盖质量阈值 \(\tau\) 和整图覆盖率阈值 \(\rho\)。对于当前选中的槽位集合 \(S\)，只要某 patch \(t\) 接收到的选中槽位注意力总和超过 \(\tau\)，即标记为已覆盖，当前覆盖率为所有覆盖 patch 占全图比例。

在候选槽位按质量 \(Q_i\) 降序入选的过程中，为了抑制与已有槽位解释区域高度重叠的冗余槽位，算法引入新颖性指标：计算候选槽位 \(i\) 分配在未被覆盖区域上的注意力质量比例：

\[\text{novelty}(i \mid S) = 1 - \frac{\sum_{t \in C_S} A_{t,i}}{\sum_{t=1}^N A_{t,i} + \epsilon}\]

只有当 \(\text{novelty}(i \mid S) \ge \mu\) 时，该槽位才被正式纳入活跃集合 \(S\)；一旦总覆盖率达到 \(\rho\)，迭代即刻终止并输出硬选择掩码 \(M \in \{0, 1\}^{K_{\max}}\)。这种设计在保证全图主要内容均被充分表达的前提下，强制模型仅保留彼此正交、表征紧凑的精细实体槽位。

3. 双重门控解码器：在特征流与竞争分配上彻底隔离未选槽位

选出高质量槽位后，必须消除未激活槽位对重构过程的干扰。QASA 分别针对主流的 Transformer 解码器与 MLP 解码器设计了轻量级门控机制，且不引入任何额外学习参数。在 Transformer 解码器中，标准 cross-attention 容易受到未选槽位残存微弱响应的影响。为此设计了基于掩码 \(M\) 的双重门控：第一重门控 \(g_1 = M + (1 - M)\varepsilon_1\) 在物理通道上按元素缩放槽位的 Key 和 Value 向量，使未选槽位的特征幅值趋近于零；第二重门控 \(g_2 = M + (1 - M)\varepsilon_2\) 在注意力 logits 进入 Softmax 前施加对数偏置 \(\log(g_2)\)：

\[\text{Output} = \text{softmax}\left(\frac{Q (K \odot g_1)^\top}{\sqrt{d_k}} + \log(g_2)\right) (V \odot g_1)\]

双重门控协同作用，既从特征信息通路上彻底切断了未选槽位的流动，又在注意力竞争中通过大负偏置将其概率强行归零。而在 MLP 解码器中，则通过将未选槽位的混合 logits 赋值为极小常数 \(-C\)，使得归一化后的混合权重 \(\alpha_{i,t}\) 严格仅在活跃槽位间分配。

损失函数 / 训练策略¶

模型以冻结的 DINO ViT-S/8 提取的特征 \(Y \in \mathbb{R}^{N \times d_y}\) 作为重构目标，训练损失采用均方误差：

\[\mathcal{L}_{\text{rec}} = \frac{1}{N \cdot d_y} \| Y - \hat{Y} \|_2^2\]

为了保证训练初期槽位注意力的平稳预热，模型采用渐进式 warm-up 策略：在初期若干 epoch 内（VOC 上为 10 epoch，MOVi 上为 10-20 epoch，COCO 上无需 warm-up）令所有槽位参与重构，待注意力形成初步分工后，再启动质量引导门控机制。整个过程无需任何槽位数量惩罚项或辅助选择器网络，彻底摆脱了多目标优化冲突。

实验关键数据¶

主实验¶

在真实复杂场景数据集 MS COCO 2017、PASCAL VOC 2012 以及合成数据集 MOVi-C / MOVi-E 上，QASA 针对物体发现（Object Discovery）任务进行了系统评估，对比了现存主流的自适应方法与固定槽位强基线。

数据集	指标	QASA (Trans.)	QASA (MLP)	MetaSlot (MLP)	AdaSlot (MLP)	SPOT (Trans. fixed)
COCO	mBOc	45.5	36.5	-	-	44.7
COCO	mBOi	36.7	33.6	29.5	27.4	35.0
COCO	mIoU	35.0	32.5	27.9	-	33.0
VOC	mBOc	57.9	53.8	-	-	55.6
VOC	mBOi	49.7	47.3	43.9	-	48.3
VOC	mIoU	47.9	45.5	42.1	-	-
MOVi-C	mBOi	46.9	42.2	35.0	35.6	47.3
MOVi-C	mIoU	46.1	41.1	-	-	46.7
MOVi-E	mBOi	39.1	34.6	-	29.8	40.1
MOVi-E	mIoU	37.8	33.0	-	-	39.3

在物体属性预测（Property Prediction）任务中，基于 COCO 槽位使用 MLP 预测器评估：QASA 的 Top-1 分类准确率达到 59.6%（相比 MetaSlot 40.9% 提升 18.7%，相比 SPOT 45.9% 提升 13.7%），位置回归系数 \(R^2\)-X / \(R^2\)-Y 达到 67.9 / 71.7（显著超越固定 \(K\) 基线 DINOSAUR 的 55.4 / 59.1）。

消融实验¶

消融实验均基于 COCO 数据集及 Transformer 解码器架构开展。

表 1：质量引导槽位选择核心组件消融

配置	覆盖率约束 (Coverage)	质量约束 (Quality)	新颖性约束 (Novelty)	mBOc	mBOi	mIoU	说明
Baseline (无门控)	\(\times\)	\(\times\)	\(\times\)	25.9	25.5	24.9	槽位全部参与重构
+ Coverage	\(\checkmark\)	\(\times\)	\(\times\)	34.5	25.3	22.7	仅按覆盖率选槽位，易混入弥散槽位
+ Quality	\(\checkmark\)	\(\checkmark\)	\(\times\)	45.0	35.0	32.9	纯度优先，带来近 10% mBOi 核心跃升
Full Model	\(\checkmark\)	\(\checkmark\)	\(\checkmark\)	45.5	36.7	35.0	新颖性抑制重复槽位，取得最佳综合表现

表 2：Transformer 解码器中门控机制消融

门控配置	Key/Value 门控 (\(g_1\))	Logits 门控 (\(g_2\))	mBOc	mBOi	mIoU	说明
无门控	\(\times\)	\(\times\)	25.9	25.5	24.9	未阻断未选槽位
仅 Logits 门控	\(\times\)	\(\checkmark\)	26.1	25.5	24.9	仅加偏置无法抵御未缩放特征的渗透
仅 K/V 门控	\(\checkmark\)	\(\times\)	43.1	33.2	30.9	物理抑制特征幅值，起到主导控制作用
双重门控 (Full)	\(\checkmark\)	\(\checkmark\)	45.5	36.7	35.0	双重隔离，完全排除未选槽位干扰

关键发现¶

槽位纯度质量指标是性能飞跃的核心来源：在消融中，引入 Quality 机制使 mBOi 从 25.3% 暴涨至 35.0%，这证实单纯基于显著性或覆盖率的选择会保留大量大面积的背景模糊槽位，只有质量评估能驱使槽位收敛到具体的边界清晰物体。
解耦优化打破了长期困扰 \(K\)-adaptive 方法的性能瓶颈：AdaSlot 和 MetaSlot 在 COCO 上的 mBOi 分别仅为 27.4% 和 29.5%，而 QASA 在同等 MLP 解码器下达到 33.6%，在 Transformer 解码器下达到 36.7%，超越了固定 \(K\) 的 SOTA 方法 SPOT（35.0%）。
模型对最大槽位数 \(K_{\max}\) 展现出极高鲁棒性：在 MOVi-C 上，当 \(K_{\max}\) 从 15 变动到 32 时，mBOi 始终保持在 44.4% 至 46.9% 的狭窄区间内；在 MOVi-E 上，当 \(K_{\max}\) 从 24 放大到 64 时，mBOi 仅在 38.3% 到 39.5% 之间微幅波动，证明模型完全摆脱了对槽位先验数量精细调优的依赖。

亮点与洞察¶

竞争纯度比特征显著性更适合做无监督指导：以往自适应方法普遍落入“找最显眼区域”的窠臼，而 QASA 抓住 Slot Attention 的竞争本质，用“局部独占率”定义质量，巧妙地区分了散漫背景槽位与紧凑物体槽位。
解耦式门控重建消除多目标对抗：不强行在主损失中添加 \(L_0 / L_1\) 式的槽位数量惩罚项，而是将“选多少个槽位”变为外部前向过滤，重构网络只需专注于使用高质量槽位还原特征，彻底解决了梯度反传中的优化冲突。
即插即用的轻量双重门控：在 Transformer 解码器中通过 \(K/V\) 幅值衰减与 logits 偏置进行硬性/软性联合抑制，无需引入多余的预测头参数，能够无缝嫁接到各类现有 Slot Attention 骨干中。

局限与展望¶

合成数据集上相比针对性微调固定 \(K\) 仍有微小差距：在 MOVi-C / MOVi-E 等背景高度同质、物体分布极度集中规则的合成数据集上，QASA 的表现（46.9% / 39.1%）略逊于调过最优固定 \(K\) 的 SPOT（47.3% / 40.1%），说明合成背景易诱导冗余槽位专门捕获特定背景模态。
超参数覆盖阈值对领域特异性存在轻微依赖：在真实场景（COCO / VOC）中 patch 质量阈值 \(\tau\) 设为 0.5，而在合成场景（MOVi）中需设为 0.8，未来可进一步探索全自动自适应确定阈值的机制。
向视频与三维场景扩展：目前机制主要面向静态单张图像，如何将基于质量纯度的竞争约束扩展到时序跟踪与时空一致性槽位更新，是极具价值的后续方向。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用无监督竞争性质提出胜出区域注意力质量纯度指标，构思非常优雅。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖真实与合成四大经典数据集，主实验、消融、下流属性预测、超参敏感性分析完备翔实。
写作质量: ⭐⭐⭐⭐⭐ 逻辑结构严谨，动机阐述切中痛点，图表与数学表述清晰自洽。
价值: ⭐⭐⭐⭐⭐ 首次在真实复杂场景使无监督自适应槽位模型全面战胜固定槽位基线，推进了 OCL 走向实用化。