RAG-3DSG: Enhancing 3D Scene Graphs with Re-Shot Guided Retrieval-Augmented Generation¶

会议: ECCV 2026
论文: ECCV 官方页面
代码: https://github.com/CYandYue/RAG-3DSG
领域: 3D 视觉
关键词: 三维场景图、开放词汇感知、重拍视角、不确定性估计、检索增强生成

一句话总结¶

RAG-3DSG 用物体点云的虚拟重拍视角诊断跨视角描述冲突，再检索可信邻近物体来纠正不确定节点，使 GPT-4o 版本在 SceneFun3D 上的物体 R@10 从 OpenFunGraph 的 87.8% 提高到 90.2%。

研究背景与动机¶

开放词汇三维场景图把 RGB-D 观测压缩成物体节点及节点之间的关系，方便机器人使用语言查询和推理。ConceptGraphs 等方法通常先描述每帧中的物体裁剪，再跨帧融合；另一类方法先聚合视觉嵌入，再转成类别或文本。两条路线都依赖一个容易被忽视的前提：不同视角确实描述了同一个物体，而不是遮挡它的物体或裁剪背景。

例如桌面被花瓶遮挡时，多次裁剪都可能被描述成花瓶。直接平均嵌入或让大语言模型合并描述，可能把重复的错误当成稳定证据；换更强的模型也无法凭空获得未拍到的视角。已有关键帧选择只能挑选原始轨迹里相对较好的照片。本文转而利用跨帧重建的物体几何，在虚拟空间选择一个更清楚的观察方向，但同时承认点云重渲染会损失纹理，不能直接替代真实照片。

因此，重拍首先被用来检查原始描述，而不是直接宣布物体类别；只有较可信的物体才进入上下文检索库，帮助其余节点消除歧义。核心 idea：先以重拍视角与原始裁剪的语义一致性判断哪些节点可信，再把可信邻居作为检索证据，联合真实图像和重拍图像纠正不确定节点。

方法详解¶

整体框架¶

输入是带相机位姿的 RGB-D 序列，输出是带自然语言节点描述及关系标签的三维场景图。系统先通过尺度自适应融合建立全局物体列表，再执行重拍一致性诊断和物体级检索纠错，最后生成边。这里的“主动”是虚拟相机在已重建几何上的视角选择，不是控制机器人重新采集照片。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["RGB-D 序列<br/>及相机位姿"] --> B["尺度自适应融合"]
    B --> C["全局物体点云<br/>及原始裁剪描述"]
    C --> D["重拍一致性诊断"]
    D -->|可信邻居与不确定节点| E["物体级检索纠错"]
    E --> F["受约束关系生成"]
    F --> G["三维场景图"]

图中是推理数据流，不存在额外的监督训练分支。分割和视觉语言表征来自预训练模型；本文主要改变几何融合、描述筛选与提示上下文的组织方式。

关键设计¶

1. 尺度自适应融合：给小物体保留细节，减少大物体的冗余点

每帧先用类别无关的 SAM 生成物体掩码，用 CLIP 提取语义嵌入，再根据深度和位姿把掩码投影为物体点云。固定体素尺寸会让大背景占用大量点，或把小物体采得过稀；后者还会破坏后续重拍的辨识度。因此本文让体素尺寸随物体三维包围盒的空间尺度变化，大物体采样更粗，小物体保留更密的几何。缓存中的公式 (1) 排版损坏，这里依据原文文字解释尺度自适应原则，不猜补精确算式。

局部实例与全局物体通过语义相似度和空间重叠共同关联：前者是 CLIP 嵌入的余弦相似度，后者是动态最近邻比例，匹配距离阈值随物体尺度调整。两项相加，超过阈值的匹配合并点云并用移动平均更新语义嵌入，未匹配实例加入全局列表。这一步决定后面的重拍是在什么几何上进行，不能理解成仅仅加速预处理；若实例本身错误合并，语义纠错也未必能恢复正确分割。

2. 重拍一致性诊断：用独立视角筛出支持同一语义的描述

对每个全局物体，系统保留分割置信度最高的 top-k 原始视角裁剪，并由视觉语言模型（VLM）分别生成初始描述。随后围绕该物体在半球上均匀采样 64 个虚拟相机，按可见点比例、水平观察偏好和原始平均观察方向先验打分。可见性项偏好信息更充分的视角，水平项避免俯视或仰视造成形状歧义，先验项避免转向没有被充分重建的背面。只有得分最高的视角实际渲染并调用 VLM，不是对 64 张图片逐一做语义推理。

三项权重在实验中分别取 0.6、0.2、0.2。缓存中的公式 (2) 分项表达存在缺失，因此只保留正文明确给出的加权结构，不擅自补全方向项的归一化形式：

\[ S_{\mathrm{view}}=0.6S_{\mathrm{vis}}+0.2S_{\mathrm{horiz}}+0.2S_{\mathrm{prior}}. \]

得到重拍描述后，系统比较它与每条原始描述的 CLIP 文本嵌入。下面用等价记法概括正文与公式 (3) 的机制，其中 \(C^*\) 是相似度最高的共识簇，\(u\) 是后续排序使用的不确定性：

\[ s_i=\cos\bigl(\mathrm{CLIP}(c^{\mathrm{reshot}}),\mathrm{CLIP}(c_i)\bigr),\qquad u=1-\frac{1}{|C^*|}\sum_{i\in C^*}s_i. \]

具体做法是对这些相似度做 KMeans 聚类，簇数设为 3，只保留平均相似度最高的簇。LLM 将该簇中的原始描述与重拍描述合并成共识描述。这里选的是“与重拍最一致”的簇，而不是样本最多的簇；所以反复出现的遮挡误识别不会仅凭数量胜出。可靠性是该簇的平均相似度，并非校准后的正确率，也不是 VLM 自报的置信度。

3. 物体级检索纠错：只让较可信的邻居提供上下文

系统按 \(u\) 排序，并通过 VLM 查看裁剪来过滤背景物体，将低不确定性的前 50% 物体纳入检索文档，其节点描述直接采用共识描述。其余物体不单独猜类别，而是按三维位置从文档中检索最近的可信物体，把邻居描述作为环境提示。这是当前场景内部的物体级检索，不是搜索外部网页，也不是按文本相似度挑若干泛化知识段落。

对于不确定节点，VLM 同时看到重拍图像和与重拍语义最一致的原始裁剪，两张图拼接输入，文本则说明附近存在检索到的那个物体。重拍提供物体整体几何，真实裁剪补充颜色和纹理，邻居提供场景上下文。三种证据共同产生修正后的节点描述。论文没有在方法节明确给出多轮更新检索库的停止条件，因此这里按其明确描述的一次诊断与纠错流程讲解，不额外假设循环收敛机制。

4. 受约束关系生成：在修正后的节点上减少关系表述歧义

连边时，系统沿用几何邻近判断，但把固定最近邻比例对应的距离阈值换成与动态采样一致的尺度相关阈值。关系生成则把修正后的物体信息交给 LLM，并加入少样本上下文示例，使模型更稳定地理解空间关系。

尽管节点语义是开放词汇，最终关系标签刻意限制为 8 类：支撑、包含、部分与整体的三组双向关系，加上邻近和无关系。这样可以降低同义词和空间表述的波动，但也意味着最终边输出并不是完全自由的开放词汇关系。可信节点改善关系推理的输入，关系词表约束进一步减少输出歧义，两者不能混为同一个贡献。

一个完整示例¶

以图 1 所示的“花瓶遮住桌子”为机制示例，不额外假设具体相似度数值。原始轨迹中，有些桌子裁剪被描述为花瓶，有些被正确描述为桌子；全局融合后，系统围绕桌子点云选择一个能体现桌面结构的重拍方向。

如果重拍描述识别为桌子，KMeans 中与其语义一致的原始描述会进入最高均值簇，再与重拍描述融合。这个节点是否进入可信库，取决于其相对不确定性排名，而不是仅凭某个固定绝对阈值。

对于仍处在不确定一半的物体，系统检索可信库中空间最近的邻居，把邻居描述与该物体的双图输入一起交给 VLM。最终生成关系时，LLM 使用的是修正后的物体语义，不再沿用最初被遮挡误导的标签。

损失函数 / 训练策略¶

本文没有提出新的可学习损失，也没有报告端到端微调。实现使用 SAM 的 sam_vit_h_4b8939 和 CLIP 的 ViT-H-14，语义推理分别采用 GPT-4o 或本地 LLaVA-v1.5-7b。两种后端的结果应分开看，不能把框架收益全部归于更强的模型。

主要超参数为匹配阈值 0.45、基础体素参数 0.01 m、64 个候选虚拟视角、3 个相似度簇及 50% 的低不确定性文档比例。论文的 Passive VLM 对照只聚合 top-3 原始裁剪；这个对照设置不能被误写为主流程 top-k 的确定取值。

实验关键数据¶

主实验¶

SceneFun3D 使用 20 个场景，FunGraph3D 使用 24 个场景，遵循 OpenFunGraph 协议，并从真值中移除专门的功能性交互元素。物体和边均报告 Recall@K，即正确类别或关系在前 K 个候选中被召回的比例；开放词汇边通过 BERT 嵌入余弦相似度映射到真值关系。

下表摘取表 1 的可明确核对列，数值单位为 %；Ours-GPT 的关键数值也得到第 4.2 节正文确认。

方法	SceneFun3D 物体 R@10	SceneFun3D 边 R@10	FunGraph3D 物体 R@3	FunGraph3D 物体 R@10
ConceptGraphs	77.1	95.0	56.6	65.6
OpenFunGraph	87.8	96.2	70.7	79.1
Ours-LLaVA	88.4	95.8	73.6	81.1
Ours-GPT	90.2	97.9	75.0	83.0

相较 OpenFunGraph，Ours-GPT 在以上四列分别提高 2.4、1.7、4.3、3.9 个百分点。LLaVA 版本并非每项都更好，例如 SceneFun3D 边 R@10 为 95.8%，低于 OpenFunGraph 的 96.2%；框架有效不等于所有后端、所有指标全面领先。

消融实验¶

图 3(a) 在 Replica 上报告整体语义点云评测。实验先通过 gradSLAM 融合真值掩码，再由 GPT-4o 将预测描述映射到真值语义类别，经过 1-NN 点云匹配形成混淆矩阵。以下指标分别是类别平均 IoU、召回率、精确率和 F1，沿用图中数值尺度。

配置	mIoU	mRecall	mPrecision	mF1
完整方法	23.60	37.37	34.87	30.78
去除双图拼接（w/o Concat）	21.41	33.61	30.04	28.09
去除 RAG（w/o RAG）	21.55	32.36	31.40	27.96
随机检索（Random RAG）	18.90	31.59	26.19	25.39
去除重拍诊断（w/o Reshot）	10.48	31.09	22.28	14.66

去除重拍诊断使 mF1 降低 16.12，是这组整体结果中最大的降幅；随机检索比不检索还差，说明不可靠上下文会产生负作用。注意图 3(a) 的汇总值不能直接由图 3(b)-(f) 的逐场景值做简单平均重现，原文没有在这里解释聚合差异；本笔记保留作者的汇总报告，不据此声称每个单独场景都受益。

表 2 则是独立的人工语义精确率评测，不能与上述点云指标混合比较。三名专家评估 Replica 的 8 个场景，允许正确的同义表达，但不允许幻觉属性；随机 100 个评估单元上的 Fleiss' kappa 为 0.76。

方法	平均节点精确率	平均边精确率
ConceptGraphs	0.68	0.82
ConceptGraphs-Detector	0.58	0.85
RAG-3DSG	0.82	0.91

关键发现¶

单独重拍不是答案：表 1 的 Re-shot VLM 在 SceneFun3D 物体 R@3 上仅为 59.4%，而完整 GPT 版本为 83.0%。该对照同时去掉 RAG 和图像拼接，不能把差距全部归因于其中一个组件。
好节点有助于好关系，但边设计仍有贡献：Ours Node + CG Edge 在 SceneFun3D 边 R@10 上为 95.6%，完整方法为 97.9%。
加入平移标准差 0.02 m、旋转标准差 1 度的高斯位姿噪声后，GPT 版本的 SceneFun3D 物体 R@3 从 83.0% 降到 82.1%，支持有限噪声下的稳健性，不能外推到任意重建失败。
第 4.6 节报告 Replica 融合阶段每次迭代从 6.65 s 降到 2.49 s，新增重拍渲染约 0.26 s/物体，FunGraph3D 上 GPT-4o 调用成本约 0.50 美元/场景；这些不是完整端到端实时延迟。

亮点与洞察¶

重拍作为核验信号比作为最终答案更有价值。真实裁剪与点云渲染的错误模式不同，利用二者的一致性可以筛除语义噪声，又不必假设合成视角一定正确。
检索库的质量门槛直接决定 RAG 是否有益。随机检索不如没有 RAG，说明场景中的“近邻”只有在语义较可信时才是有效证据，而非上下文越多越好。
几何采样与语义推理在这里相互依赖。保留小物体结构既影响实例关联，也影响重拍图的可识别性，点云压缩策略应结合下游语义任务评估。

局限与展望¶

系统目前是离线的。机器人实验使用 SCOUT MINI、RealSense D435、CH110 IMU 和双 Livox MID 360，先遥操作采集，再生成场景图；它不是已验证的实时闭环导航或操作系统。
不确定性是描述一致性的代理量，而不是经过校准的错误概率。如果原始裁剪和重拍共同犯错，或整个场景都很差，固定取前 50% 仍可能把错误节点放进可信库。这是机制层面的风险，论文没有单独量化这种共同失误。
虚拟重拍不能补回从未观测的几何和纹理。姿态先验、真实裁剪与 RAG 能缓和缺失，但少量高斯位姿噪声实验不足以证明对大幅漂移、错误实例合并或动态场景同样稳健。
最终关系被限制到 8 类，真实场景评测也移除了功能性交互元素。因此结果不能直接证明任意关系语义或机器人任务成功率提升。
缓存中部分公式和表格行提取受损，图 3 的总体与逐场景聚合关系也不明确。精确复现采样公式和所有结果仍需核对排版原文及补充材料，不能由本笔记补猜。

评分¶

新颖性: 4/5。将重拍核验与场景内可信对象检索结合，机制明确，但组件主要来自现有基础模型和几何处理。
实验充分度: 4/5。覆盖真实场景、人工评估、噪声测试及机器人部署，但缺少任务级闭环收益和不确定性校准分析。
写作质量: 3/5。诊断再纠错的叙述清楚，但图 3 聚合口径及部分实现细节仍需要补充说明。
价值: 4/5。对减少开放词汇三维地图语义污染有直接参考价值，部署时仍须计入离线处理与基础模型成本。