HSGG: Training-Free Hierarchical Scene Graph Generation with Geometry-Guided Relation Reasoning¶

会议: ICML 2026
论文: OpenReview
领域: 目标检测 / 场景理解
关键词: 场景图生成、层次实体感知、几何过滤、对比解码、关系幻觉

一句话总结¶

HSGG 先由整体到局部发现实体、再由局部向整体补充属性，随后用几何过滤和“看图预测减去几何诱发的错误先验”生成关系，在无任务专用训练的 SGDet 评测中取得 VG150 的 15.1 和 PSG 的 14.1 zR@100（原文 Table 1）。

研究背景与动机¶

场景图生成不只要识别“人”和“自行车”，还要正确描述是谁对谁做什么。传统方法依赖对象框和关系三元组的密集标注，而谓词具有明显长尾：常见的 on、has 容易学到，罕见组合及细粒度动作却难以覆盖。借助预训练视觉语言模型可以直接询问关系，但语言模型熟悉的共现并不等于当前画面的事实。人站在自行车旁边时，模型可能仅凭常识就输出 riding；对象类别都对，关系仍然可能错。

另一个问题发生得更早：如果实体集合只有几个显著的整物体，后续关系解码再精确，也无法回答关于手套、口罩、面罩或衣服图案的问题。平面对象列表丢失了整体与局部的组织方式，一次性生成长描述又容易漏掉小目标。因此，HSGG 把实体覆盖与关系可靠性分开处理：先递归寻找相关局部并定位，再把局部属性反馈给整体；得到更多节点后，必须同时控制成对关系推理的数量，避免更丰富的表示反而带来更多虚假边。

几何信息在这里有两种不同作用。它可以排除距离和深度上明显不相容的候选对，却无法单独证明 holding、wearing 等语义关系；反过来，仅凭类别与几何容易产生的错误猜测，恰好可以作为解码时需要压制的先验。核心 idea：先补全层次实体，再用几何筛选“值得问的对象对”，最后让视觉证据相对于几何与语言诱发的幻觉占据更高权重，而不是把空间接近直接当成关系成立。

方法详解¶

整体框架¶

输入是一张图像，输出是层次场景图：节点包含类别、边界框和属性，语义边表示有方向的“主语、谓词、宾语”三元组。BHEP 建立多层实体表示；关系阶段依次运行 GA-RF 和 GG-CRD，先缩小候选对集合，再逐对解码谓词。整个流程使用预训练组件推理，不拟合新的场景图模型。

层次结构与语义关系不是同一件事。上层可以是人，下层是衣服、手套及更细的局部；同层关系连接相近抽象层级的实体，如两个人 beside，跨层关系则可以连接人与其衣服，如 wearing。父子结构提供候选组织和属性上下文，但不自动等价于一个固定谓词。Algorithm 1 对节点集合的成对组合进行过滤，并未把关系推理限制为同层邻居或已有父子边。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    input["输入图像"] --> bhep["BHEP<br/>双向层次实体感知"]
    bhep -->|实体框、类别与属性| garf["GA-RF<br/>几何感知关系过滤"]
    input --> depth["预训练深度估计"]
    depth -->|深度中位数| garf
    garf -->|保留的对象对| ggcrd["GG-CRD<br/>几何锚定对比关系解码"]
    input -->|视觉裁剪供专家使用| ggcrd
    ggcrd --> output["层次场景图<br/>同层与跨层关系"]

关键设计¶

1. BHEP：双向层次实体感知

自顶向下过程先让 VLM 找独立整物体，再以父节点类别为条件提出子实体。附录 E.1 的根节点提示要求扫描前景、中景、背景，并暂不列出依附于其他对象的局部；子节点提示随后要求为每类对象提出至多五个附件、组件或装饰，避免同义词、重复类别，并优先寻找人的衣物和配饰。每个候选再交给开放词汇检测器定位，形成类别与框的组合，而不是让文本提议直接成为已确认的视觉实例。

这里的层次更接近以主体为中心的语义分解，而非严格的解剖式 part-of 树。子节点提示同时允许物理附着、装饰关联和功能关联，例如轮胎与汽车、图案与衣服、遥控器与电视；开放词汇定位器随后检查这些类别候选在图中对应哪些实例。

自底向上过程做的是属性推理，而非再次提出对象。先读取叶节点局部图像，描述颜色、材质、状态等，再把子节点描述作为文字上下文传给父节点，同时保留父节点自身的视觉区域。附录 E.2 要求描述红框指定对象，使用不超过 20 个词的短语，并仅在有帮助时利用子节点上下文。这样，面罩的细节可以进入头盔描述，头盔和衣服的细节又可以帮助区分人物，而不是让整幅图的一段笼统描述承担所有辨别任务。

上下两个方向承担互补职责：向下扩大能被定位的实体集合，向上丰富已有节点的语义表示。父节点不是机械拼接子节点属性，也没有新的图神经网络损失；融合由预训练 VLM 在图像和文本条件下完成。默认最大层次深度为 3，附录 C.2 指出更深的展开逐渐引入重叠和冗余实体，因此层次更多并不必然更好。

2. GA-RF：几何感知关系过滤

实体增多后，枚举候选关系的规模随节点数平方增长。单看二维中心距离会误删大物体相关的交互，单看框重叠又可能把不同深度的对象当成接触。GA-RF 先组合归一化的平面距离与深度差，再用对象尺度修正。按原文式 (3) 至 (5)，第一步为：

\[ \begin{aligned} \delta_{ij} &= \|m_i-m_j\|_2,\\ d_{\mathrm{raw}} &= \frac{\delta_{ij}}{\sqrt{H^2+W^2}} +\frac{|z_i-z_j|}{\Delta Z}. \end{aligned} \]

其中 \(i,j\) 标识两个对象，\(m_i,m_j\) 是二维框中心，\(\delta_{ij}\) 是中心间距；\(H,W\) 是图像高宽，\(z_i,z_j\) 是各框对应的深度中位数，\(\Delta Z\) 是当前场景的深度范围。\(d_{\mathrm{raw}}\) 将分别归一化的两项相加，避免直接混用像素与深度值。

第二步引入框对角线长度 \(s_i,s_j\)，计算尺度因子 \(\psi_{ij}\) 和最终过滤分数 \(d_{\mathrm{final}}\)：

\[ \begin{aligned} \psi_{ij} &= \frac{\delta_{ij}}{\delta_{ij}+\tfrac12(s_i+s_j)},\\ d_{\mathrm{final}} &= d_{\mathrm{raw}}\psi_{ij}. \end{aligned} \]

相对同样的中心间隔，框越大，尺度因子越小，从而放宽对大物体候选的惩罚。

只保留 \(d_{\mathrm{final}}<\tau\) 的对象对，全部实验采用 \(\tau=0.3\)。这一步的输出是稀疏候选集合，不是具体关系；两个对象足够接近，并不能证明“骑着”或“拿着”。评分对交换两个对象是对称的，关系谓词却有方向性，所以空间筛选本身也不能决定主宾方向。它减少的是后续昂贵的 VLM 解码调用，并未消除 Algorithm 1 中成对检查的二次枚举。

3. GG-CRD：几何锚定对比关系解码

过滤只能决定问哪些对象对，不能阻止 VLM 回答一个视觉上不成立、语言上却常见的谓词。GG-CRD 让同一个核心 VLM 在两种输入与提示条件下承担不同角色。专家分支查看对象对的图像裁剪，提示用不同颜色的框指出主语和宾语，明确关系从主语指向宾语；看不出清楚关系时应输出 no relation。因此专家不是只有类别信息的语言分类器。

幻觉先验分支（hallucination-prior branch，原文称 amateur）没有图像，只得到对象类别、边界框、深度等文字信息。附录 E.3 明确要求它预测模型在不看图时“最可能幻觉出的错误关系”，以相邻的人与自行车容易被误判为 riding、狗与球容易被误判为 playing with 为示范。它与专家复用同一个 VLM，通过提示主动诱发偏差，为解码提供需要扣除的对照信号。

在同一生成步 \(t\)，两路都以相同的已生成前缀 \(y_{<t}\) 为条件产生下一 token 的 logits，专家和幻觉先验分支分别记为 \(L_{\mathrm{ex}}\) 与 \(L_{\mathrm{am}}\)。先由专家概率分布 \(P_{\mathrm{ex}}\) 限定可选词元，避免两个极低概率词元的差值把一个不合理答案抬高。令 \(V\) 为词表，\(y,w\) 为其中的候选 token，原文式 (8) 的自适应可信集合为：

\[ P_{\mathrm{ex}}=\operatorname{softmax}(L_{\mathrm{ex}}),\qquad V_{\mathrm{apc}}=\{y\in V:P_{\mathrm{ex}}(y)\geq\beta\max_{w\in V}P_{\mathrm{ex}}(w)\}. \]

在该集合内按式 (9) 调整 logits，在集合外赋负无穷，再经 softmax 选择下一 token：

\[ \widetilde L(y)= \begin{cases} L_{\mathrm{ex}}(y)+\alpha\bigl(L_{\mathrm{ex}}(y)-L_{\mathrm{am}}(y)\bigr),&y\in V_{\mathrm{apc}},\\ -\infty,&y\notin V_{\mathrm{apc}}, \end{cases} \qquad y_t\sim\operatorname{softmax}(\widetilde L). \]

默认 \(\alpha=0.1\)、\(\beta=0.1\)。前者控制相对原专家 logits 的偏差抑制强度，后者要求候选 token 的专家概率至少达到专家最高概率的十分之一；这不是“保留 10% 词表”，也不是对象检测置信阈值。对比发生在每一步 token 解码中，并非生成完整三元组之后再由另一个模型打分。

实际提示限定只输出谓词或 no relation，不输出完整三元组。解码得到的语义谓词再与已定位的主宾对象组合为边，no relation 表达拒答。

一个完整示例¶

设图中一个人站在自行车旁边，并没有骑车。BHEP 已定位这两个实体，且假设该对象对通过 GA-RF；现在只看 GG-CRD 如何纠正 riding 这一常识性误判。以下 logits 是虚构教学值，不是论文实验或模型实测输出。 为便于手算，假设词表只有三个单 token 候选，表中用 riding、beside、no_relation 作简写；真实谓词及 no relation 可能跨多个 token，不能把这个简化词表当作实际分词结果。

固定同一生成步和同一已生成前缀：看图的专家仍将 riding 略排在 beside 之前，而无图像的幻觉先验分支更强烈地偏向 riding。取论文默认的 \(\alpha=0.1\)、\(\beta=0.1\)，逐 token 计算 \(\widetilde L=1.1L_{\mathrm{ex}}-0.1L_{\mathrm{am}}\)：

教学候选 token	专家 logit \(L_{\mathrm{ex}}\)	幻觉先验 logit \(L_{\mathrm{am}}\)	调整后 logit \(\widetilde L\)
`riding`	2.0	4.0	1.80
`beside`	1.9	0.0	2.09
`no_relation`	0.0	0.0	0.00

可信集合也要在对比前检查。softmax 概率比等于 logit 差的指数，因此三者相对专家最高概率的比值为 \(1\)、\(e^{-0.1}\approx0.9048\)、\(e^{-2}\approx0.1353\)，均不小于 \(\beta=0.1\)，全部保留。随后，riding 的分数为 \(2.0+0.1(2.0-4.0)=1.80\)，beside 为 \(1.9+0.1(1.9-0.0)=2.09\)：排序从 riding 第一变成 beside 第一。

softmax 保持这个排序；若取最大值，本步选 beside，若按原式采样则不保证一定选中。关键不是先生成完整关系再相减其概率，而是在同一步中，对无图像时尤其容易猜出的 token 扣分。真实解码会更新前缀后重复这一过程，直到谓词生成完毕。

损失函数 / 训练策略¶

HSGG 没有新的任务专用训练损失。附录 A 列出的核心 VLM 为 LLaVA-OneVision-1.5-8B，开放词汇定位器为 LLMDet，深度组件写作 Depth Anything V3；这些名称按原文保留。默认层次深度为 3，\(\tau=0.3\)、\(\alpha=0.1\)、\(\beta=0.1\)，主要操作是多轮提示、定位、深度估计和双路解码。

“Training-free”指组装该 SGG 流程时不追加任务专用参数训练。评测时，第 4.1 节使用 Qwen3-Embedding 和余弦相似度，将开放词汇预测对齐到 benchmark 标签空间；unseen 按相应评测划分定义。

实验关键数据¶

主实验¶

论文声明采用标准 SGDet 协议，即从图像预测实体和关系，而不是给定真实实体后只做谓词分类。R@K 衡量排名前 K 个预测三元组对真实关系的召回；zR@K 将评测限制到未见过的三元组。零样本设置主要考察已知类别的新组合，open-world 设置进一步考察未见对象与谓词类别，两者不能混为一谈。

原文 Table 1：零样本 SGDet，数值按原表保留。 VG150 使用 150 个对象类别与 50 个谓词；PSG 包含 133 个对象类别与 56 个谓词。下表选取关键对比项，不把不同训练方式的系统视为严格同骨干消融。

数据集	方法	zR@20	zR@50	zR@100
VG150	OwSGG	0.7	1.2	2.0
VG150	CAPSGG	9.3	12.5	13.3
VG150	HSGG	10.1	13.5	15.1
PSG	OwSGG	2.8	4.7	6.4
PSG	PGSG	-	6.8	8.9
PSG	HSGG	7.2	11.4	14.1

原文 Table 2：VG open-world SGDet。 附录 B.1 说明该设置沿用 OwSGG 的评测策略；未见类别的设定不取消前述输出标签对齐步骤。

方法	R@20	R@50	R@100
OwSGG(Qwen)	-	1.6	2.4
OwSGG(LLaVA-Next)	-	1.9	2.6
OvSGTR (Swin-B)	-	6.0	10.0
HSGG	6.4	9.3	11.9

按表相减，HSGG 在 VG150 的 zR@50/100 比 CAPSGG 高 1.0/1.8 个百分点；open-world 的 R@50/100 比 OvSGTR (Swin-B) 高 3.3/1.9 个百分点。这些是原论文报告，不是本笔记的复现实验，且绝对召回仍有明显提升空间。

消融实验¶

原文 Table 5：PSG 零样本组件消融。 将原表勾选转写为“有/无”，避免把第一行误读成 BHEP-only；第一行实际只启用 GG-CRD，第二行启用 GA-RF 与 GG-CRD。

BHEP	GA-RF	GG-CRD	zR@20	zR@50	zR@100
无	无	有	5.23	6.89	7.35
无	有	有	5.39	7.12	7.58
有	无	无	6.53	9.82	11.63
有	有	无	6.92	10.73	12.13
有	有	有	7.18	11.42	14.05

Table 1 的 PSG 完整结果以一位小数报告，Table 5 以两位小数报告，故两处各自保留；正文增量与表值的冲突集中列于“局限与展望”。

关键发现¶

实体覆盖是前提：只有 GG-CRD 时 zR@100 为 7.35，加入 GA-RF 后仅到 7.58；BHEP-only 为 11.63。但前者与后者不是单因素切换，不能把二者差值解释成严格的 BHEP 净贡献。
在 BHEP 基础上加入 GA-RF，zR@50/100 从 9.82/11.63 到 10.73/12.13；再加入 GG-CRD 到 11.42/14.05。这一递进支持实体发现、候选控制与解码校正的互补作用。
附录 C.2 使用 GPT-4o 银标准：阈值从 0.1 增至 0.5，候选召回从 53.12% 到 79.69%，精度从 24.46% 到 8.81%；0.3 时召回为 76.56%。这些不是 SGDet 的 zR@K，也不能当作人工核验的关系准确率。
下游验证提供补充证据：原文 Table 3 中 LLaVA-OV-1.5-8B 的 V*Bench overall 从 76.96% 到 79.58%；Table 4 的图像输入与仅 HSG 输入分别得到 59.70 和 62.97 的 unified score。后者是 0 至 100 的分数提升 3.27 点，而非统一口径的准确率；图仍由上游图像生成，不是整条系统无需视觉。

亮点与洞察¶

把“常识容易猜错什么”显式变成对照分布，比仅给输入加噪更贴近关系错误的来源。可迁移的部分是按目标错误类型设计对照条件，而不是笼统惩罚所有先验。
结构化发现与可靠解码相互依赖。只压制幻觉无法找回根本没有进入候选集合的小实体，先扩实体再校正边更符合这类任务的误差传播链。
几何在两个阶段扮演不同角色：过滤阶段帮助保留合理候选，解码阶段暴露仅凭几何会产生的偏见。这避免了把“几何有用”误解成“几何足够”。

局限与展望¶

作者在附录 F 承认对 VLM 与深度估计质量的依赖，并提出轻量几何适配器、蒸馏与视频场景图方向。文中声称计算成本与已有方法相当，但所读材料未提供足以独立比较的端到端延迟表，不能把免训练等同低推理成本。
层次候选受常识提示影响：主方法将父条件扩展写为图像条件推理，附录子节点提示的显式输入槽则主要是类别列表。定位错误、重复实例和关联式父子结构会影响后续推理；对比解码也可能抑制“常见但真实”的关系，需要分析误删。
GA-RF 是启发式过滤器，不是三维接触判定器。深度范围非零时，非退化框若中心重合，尺度因子及最终分数均为零，即使深度差较大也会保留；公式未交代深度范围为零的数值防护。Algorithm 1 也未单列 no relation 的跳过分支，拒答后的边构建细节仍待实现核实。
标签对齐、预训练知识与阈值选择仍参与系统：\(\tau=0.3\) 来自 GPT-4o 标注的 PSG 子集上的折中。开放世界结果不等于任意外部类别无需映射即可可靠工作，unseen 也不证明骨干预训练未见过相关概念；PSG 分割标注与框式实现的对接仍需澄清。
原始投稿的报告冲突需区分：第 4.4 节声称 GG-CRD 增益为 1.54/1.92，但 Table 5 最后两行的 zR@50/100 差值为 0.69/1.92；第 4 节统称下游指标为 accuracy，Table 4 却使用 unified score，其 3.27 点提升不应混作准确率。附录 C.1 写 LLaVA-OneVision-1.5-7B，Figure 4 与附录 A 则用 LLaVA-OneVision-1.5-8B，这里保留差异，不重归该段平均增益。

阅读边界：本笔记依据原始投稿的正文与附录，未核验代码实现；Figure 4 的逐基准柱形数值未逐项核对，因此不据此给出精确增益。这些是笔记的核验范围，不是论文缺陷。

评分¶

以下为阅读者对已读原始投稿版的主观评价：3 分表示基本充分，4 分表示较强，5 分表示突出；允许半分。写作质量指原论文，价值指研究贡献与迁移潜力，不代表部署成熟度。

新颖性：5/5。让几何同时承担候选过滤和幻觉先验构造，并与双向层次实体感知衔接，针对关系错误的推理机制较有辨识度。
实验充分度：4.5/5。零样本与开放世界 SGG、组件消融、VQA 和图像描述形成多角度验证；效率量化、银标准可靠性及标签对齐细节仍需补强。
写作质量：4.5/5。算法、核心公式和附录提示能相互对应，主要推理流程较易追踪；原始投稿中的模型名称与消融增量表述仍有局部冲突。
价值：5/5。按关系错误类型构造对照分布的思路具有跨任务迁移潜力，层次场景图也能服务下游推理；实际收益仍依赖骨干质量和推理成本。