Revisiting Scene Graph Generation from the Perspective of Detector-Conditioned Reachability¶

会议: ECCV 2026
论文: ECCV 官方页面
代码: Dual-SGG
领域: 目标检测
关键词: 场景图生成、视觉关系检测、可达性分析、双重查询机制、Transformer

一句话总结¶

本文从目标检测器条件可达性（Detector-Conditioned Reachability）的新视角，首次定量揭示了基于检测器与基于查询的两类场景图生成方法在预测行为上的互补性，并提出了融合自顶向下（TD-Qs）与自底向上（BU-Qs）双重查询的 Dual-SGG 框架，在无需后验校准的前提下取得了显著的性能提升。

研究背景与动机¶

场景图生成（Scene Graph Generation, SGG）旨在将图像解析为以实体为节点、谓词关系为有向边的图结构，形式化表示为（主语, 谓词, 宾语）的三元组集合。当前主流的场景图生成方法根据底层推理机制可分为两大阵营：其一是基于检测器的方法（Detector-based），先利用物体检测器提取候选实体，再对成对候选区域枚举并分类谓词；其二是基于查询的方法（Query-based），借鉴 DETR 的端到端目标检测范式，使用可学习的三元组查询向量直接解码实体与关系。长期以来，社区普遍依赖 Recall@K、mean-Recall@K 等全局汇总指标进行评测，却忽视了两类范式在预测行为层面的系统性差异。

基于检测器的方法受制于内在的“检测器约束（Detector Constraint）”——一旦主语或宾语在前端检测中漏检（无论由于小目标、重叠遮挡或类别语义未覆盖），后端关系推理将完全丧失上下文支持而彻底瘫痪。为了规避此瓶颈，基于查询的方法通过全局交互直接回归三元组，但其缺乏明确的实体几何锚定与先验引导，在常规主干物体的关系定位上往往不如强检测器稳健。然而，此前从未有研究定量厘清：查询式模型究竟在多大程度上挽救了传统检测器无法触达的盲区三元组？两者的预测行为是否存在互补性？

本文通过构建受控实验，将真实三元组标注严格划分为检测器可达集（Det-T）与不可达集（UDet-T），深入分析后得出了关键实证结论：基于检测器的方法在 Det-T 上表现优异却在 UDet-T 上近乎崩溃，而基于查询的方法大幅提升了 UDet-T 的召回率却导致 Det-T 大幅下滑。核心 idea：利用检测器条件可达性的互补特征，通过统一的 Transformer 解码器协同优化自顶向下（实体对先验驱动）与自底向上（全局无偏探索）双重三元组查询（Dual-Query），在单一网络内同时激活两类推理机制的优势。

方法详解¶

整体框架¶

Dual-SGG 旨在将传统两阶段方法精准的实体条件化建模能力与端到端查询方法自由的全局探索能力结合。整体架构由三部分组成：前端目标检测器（Deformable-DETR）、实体对选择器（Entity Pair Selector, EPS）以及统一三元组解码器（Unified Triplet Decoder）。前端检测器输出实体候选集；EPS 评估实体对的内容相关性与空间兼容性，挑选出最具潜力的 Top $N_{td}$ 个实体对，初始化为自顶向下查询（TD-Qs）；与此同时，一组中心偏置的自底向上查询（BU-Qs）并行引入，不依赖任何特定检测实体；两者在设置了单向注意力遮蔽的 Transformer 解码器中联合交互，最后经由三元组检测头输出两路预测集合并执行非极大值抑制（NMS）。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与特征提取<br/>Deformable-DETR 编码器与解码器"] --> B["1. 实体对选择器（EPS）：平衡内容与空间兼容性以缓解组合爆炸"]
    A --> C["2. 双重三元组查询机制（Dual-Query）：解耦自顶向下约束与自底向上全局探索"]
    B -->|选出Top-Ntd高质量实体对| C
    C --> D["3. 单向注意力遮蔽与联合解码：阻断先验泄露并实现统一端到端推理"]
    D --> E["三元组检测头与NMS输出<br/>获得最终预测三元组集合"]

关键设计¶

1. 实体对选择器（EPS）：平衡内容与空间兼容性以缓解组合爆炸 若直接将前端检测出的 $N_e$ 个实体完全成对组合，将产生 $N_e^2$ 级别的巨大计算开销，使得基于 Transformer 的三元组解码难以承受。为此，EPS 模块通过一层轻量自注意力与前馈网络更新实体特征，并分别计算内容兼容性得分 $S^{ct}$ 与空间兼容性得分 $S^{sp}$。内容得分通过两组线性投影向量的点积评估实体间存在谓词联系的先验概率，挑选正样本；空间得分则显式建模实体间的空间拓扑重叠，筛选出与正样本在几何结构上相似的困难负样本。训练期间采用二者的复合概率监督，推理阶段仅依据内容置信度筛选 Top $N_{td}$ 个实体对，以极低开销为自顶向下查询提供了高质量输入。

2. 双重三元组查询机制（Dual-Query）：解耦自顶向下约束与自底向上全局探索 传统模型要么过度拘泥于检测器结果，要么在全图范围漫无目的地全局搜索。Dual-SGG 引入双重三元组查询：自顶向下查询（TD-Qs）的内容向量与三元组锚点边界框直接由 EPS 选中的实体特征和坐标拼接初始化，显式施加检测器条件约束，主攻检测器可达空间内的三元组；自底向上查询（BU-Qs）的内容向量采用可学习参数随机初始化，其锚点坐标则初始化为位于图像中心的冻结边界框。这种中心偏置的锚点设计促使 BU-Qs 随解码层数加深逐渐由中心向四周辐射扩散，专门搜寻并捕获被检测器遗漏、超出检测器可达边界的长尾及复杂上下文关系。

3. 单向注意力遮蔽与联合解码：阻断先验泄露并实现统一端到端推理 若将两种查询直接置于同一个标准 Transformer 解码器中进行完全双向自注意力交互，TD-Qs 中携带的强检测器先验会迅速同化 BU-Qs，导致 BU-Qs 丧失独立的全局探索能力，退化为 TD-Qs 的从属冗余项。为消除这种不对称干扰，解码器的自注意力层中配置了单向注意力遮蔽矩阵（Self-Attention Mask），严格限制信息仅能从 BU-Qs 单向流向 TD-Qs，阻断 TD-Qs 先验反向流入 BU-Qs。这样既保留了解码器内部统一特征空间和统一打分尺度的优势，彻底避免了独立模型后验分数校准难题，又维持了两种推理行为的本质互补性。

一个完整示例¶

假设输入一张室内场景图像，检测器识别出桌子、椅子、水杯，但由于视角遮挡严重漏检了远处人物手中的钢笔。在处理过程中： 1. 实体与关系候选生成：检测器提供桌子、椅子、水杯的边界框与特征；EPS 从中评估出高相容性的实体对（如水杯-桌子），并将其拼接初始化为 TD-Qs。 2. 双重探索与遮蔽交互：TD-Qs 在局部高保真先验引导下稳健收敛并精准预测出 (cup, on, table)。与此并行，中心偏置的 BU-Qs 自中心向外逐渐扩大感受野，在不依赖前端显式检测框的前提下，敏锐捕获到了角落中未被检测器定位的微小笔尖与手部交互，自底向上构建并预测出 (person, holding, pen)。 3. 统一聚合输出：两路预测在单向遮蔽下各自保持独立推断逻辑，最终生成的候选并集经由 NMS 滤除冗余，最终召回原本两阶段模型无法触达的漏检关系。

损失函数 / 训练策略¶

Dual-SGG 的整体训练损失由四个部分端到端联合优化： $$\mathcal{L} = \mathcal{L}^{e} + \mathcal{L}^{eps} + \mathcal{L}^{TD} + \mathcal{L}^{BU}$$ 其中，$\mathcal{L}^e$ 为检测器的分类 Focal Loss 与边界框回归 L1/GIoU 损失；$\mathcal{L}^{eps}$ 包含空间损失 $\mathcal{L}^{sp}$ 与内容损失 $\mathcal{L}^{ct}$，监督 EPS 挑选有效实体对；$\mathcal{L}^{TD}$ 将选定实体对与检测器真实标注直接匹配，通过分类与回归损失直接监督主谓宾三元组；$\mathcal{L}^{BU}$ 遵循标准端到端三元组预测流程，在预测集与真值集间执行一对一匈牙利匹配（为兼顾效率剔除了代价矩阵中的谓词匹配开销），再计算多任务损失。所有新增损失项均赋予单位权重 $\lambda=1$，无需繁琐的超参数调优。

实验关键数据¶

主实验¶

在 Visual Genome (VG) 测试集上采用标准的图约束（Graph-Constraint）评估协议，与各类主流基于 ResNet-50 主干的方法对比，Dual-SGG 在保持高推理效率（14.0 FPS）的同时全面超越现有模型。引入 Logit Adjustment (LA) 去偏策略后，进一步刷新了无偏场景图生成（Unbiased-SGG）的 SOTA 表现。

类别 / 模型	参数量 (M)	FPS	R@50	R@100	mR@50	mR@100	F@50	F@100
RelTR (TPAMI'22)	63.7	13.4	27.5	30.7	10.8	12.3	15.5	17.6
Relationformer (ECCV'22)	92.9	8.5	28.4	31.3	9.3	10.7	14.0	15.9
ISG (NeurIPS'22)	93.5	6.0	29.7	32.1	8.0	8.8	12.6	13.8
EGTR (CVPR'24)	42.5	14.7	30.2	34.3	7.9	10.1	12.5	15.6
Dual-SGG (本文)	84.7	14.0	33.5	38.5	10.3	12.3	15.8	18.6
EGTR+LA (CVPR'24) (去偏)	42.5	14.7	24.2	26.7	17.1	21.4	20.0	23.8
Hydra-SGG (ICLR'25) (去偏)	67.6	5.3	28.4	33.1	16.0	19.7	20.5	24.7
Salience-SGG (WACV'26) (去偏)	77.7	13.3	28.8	33.4	18.0	21.6	22.1	26.2
Dual-SGG+LA ($\tau=0.2$, 本文)	84.7	14.0	30.2	35.2	18.7	22.2	23.1	27.3
Dual-SGG+LA ($\tau=0.3$, 本文)	84.7	14.0	25.3	30.0	22.2	25.2	23.6	27.4

消融实验¶

在总三元组查询预算固定（$N_{td}+N_{bu}=1100$）的条件下，本文在 VG 测试集上对 TD-Qs 与 BU-Qs 进行了细致的解构与细分集合评估（Det-T 样本数 98,103，UDet-T 样本数 54,123）。

模型配置	R@50/100	mR@50/100	micro-R@50/100	micro-DR@50/100	micro-UDR@50/100	说明
基线 (Detector-based)	31.6 / 36.0	9.1 / 11.2	30.2 / 34.8	46.7 / 53.8	0.2 / 0.3	传统两阶段基线，UDet-T 近乎完全失效
Dual-SGG w/o BU-Qs	31.9 / 36.3	8.6 / 10.3	30.4 / 35.2	46.3 / 53.4	1.5 / 2.2	仅用 TD-Qs，受限于检测器可达范围
Dual-SGG w/o TD-Qs	31.3 / 34.7	10.0 / 11.6	30.0 / 33.7	44.1 / 49.0	4.5 / 5.9	仅用 BU-Qs，探索性强但常规召回受损
Dual-SGG (完整模型)	33.5 / 38.5	10.3 / 12.3	31.8 / 36.9	47.3 / 54.3	3.7 / 5.2	兼备高微观 Det 召回与显著 UDet 增益

此外，对于各个关键组件的消融验证表明： - 去除 EPS 空间损失 $S^{sp}$ 导致 R@50 从 33.5 跌至 31.5；去除内容损失 $S^{ct}$ 跌至 33.0； - 去除单向自注意力遮蔽矩阵（MSA）导致 R@50 跌至 32.8，证实 TD-Qs 信息的泄露确实破坏了 BU-Qs 的互补性； - 移除中心偏置锚点初始化（改用 DETR 常见的均匀网格初始化）使 R@50 下降至 32.9。

关键发现¶

行为互补性真实存在且不可简单后验融合：对比实验中直接对两个独立专长模型进行 Max、Average 或 Normalization 后验融合，最佳结果（R@50/100 为 32.2/37.3）均明显弱于联合优化的 Dual-SGG（33.5/38.5），说明统一 Transformer 解码器在统一特征分布与置信度校准方面具有决定性优势。
更强的检测器无法消除不可达盲区：将主干升级为更庞大的 Swin-B 且将实体查询数增加至 900 时，虽然不可达子集 UDet-T 的比例从 35% 压缩至 28%，但 Dual-SGG 相比单独 TD-Qs 依然带来了 +1.7 R@50 和 +1.9 R@100 的稳健增益，证明只要存在前端检测瓶颈，双重查询机制就具有长期实用价值。

亮点与洞察¶

提出检测器条件可达性的全新诊断范式：首次将场景图评估分解为 Det-T 与 UDet-T 两个互补子空间，精准解释了以往 Query-based 模型 Recall 整体欠佳而 Detector-based 模型长尾覆盖不足的机制根源。
设计单向注意力遮蔽防止先验污染：在共享同一个解码器参数的前提下，巧妙通过注意力遮蔽切断信息倒流，既享受了单一前向网络带来的零校准成本，又维系了两个机制各司其职的多样性。
中心偏置的自底向上渐进探索机制：赋予 BU-Qs 从中心向边缘扩散的注意力先验，使无实体引导的查询能够有序地在解码深层挖掘边缘与全局关系，为密集视觉预测任务提供了通用的无偏探测思路。

局限与展望¶

极端样本下无法兼得所有真实三元组：定性分析表明，在极少数复杂场景下，Dual-SGG 的联合筛选机制未能完全恢复两个专门模型分别捕获的全部真实正样本（见原文图 4c），存在个别有效预测被 NMS 抑制的边缘情况。
实体对选择器仍依赖预设阈值过滤：EPS 依靠 Top $N_{td}$ 截断，若图像中真实关系极为密集，固定容量的候选对仍可能造成少量潜在实体的漏选。
未来方向：可进一步探索动态自适应分配 TD-Qs 与 BU-Qs 配额的机制，并引入图结构感知的非极大值抑制策略以替代传统的包围盒 NMS。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次从检测器可达性视角量化两类范式预测差异，并提出优雅的解耦双重查询解码架构。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 VG、GQA-200、OIv6 三大数据集，并设计了详尽的子集拆解、交叉后验融合与模块级消融。
写作质量: ⭐⭐⭐⭐⭐ 问题定义清晰锐利，实验逻辑链条严密自洽，图表设计直观。
价值: ⭐⭐⭐⭐⭐ 澄清了长久以来场景图生成领域的评测误区，为关系检测与结构化推理提供了强力通用的基准架构。