Enhancing Embodied Reasoning and Grounding by Novel View Synthesis¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4036
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4217.pdf
项目: https://splatreasoner.github.io/
领域: 多模态推理
关键词: 新视角合成、三维高斯泼溅、具身问答、视觉定位、视角选择

一句话总结¶

SplatReasoner 把三维高斯场景变成可重新取景的视觉记忆，通过可见性检索、局部新视角合成及文本裁判与验证，为 VLM 提供更有用的证据，在 OpenEQA 的 GPT-4o 设置下将 LLM-Match 从 3D-Mem 的 54.6 提高到 57.8。

研究背景与动机¶

具身问答不只是识别眼前图片，还要根据过去看到的场景回答位置、属性和关系问题。3D-Mem 将历史 RGB-D 观测压缩为对象中心的记忆快照，保留图像细节并减少冗余，但候选画面仍来自已经拍摄的位置。如果目标恰好被挡住、位于图像边缘，或在画面里过小，再强的语言推理也可能没有足够证据。

语言增强的三维高斯泼溅（3D Gaussian Splatting，3DGS）提供了另一种记忆：它既能保存几何与外观，又能渲染未拍摄过的视角。不过，只给高斯附上 CLIP 特征并做文本相似度搜索，通常只能找出某一类物体，难以回答“哪个靠近窗户”这样的实例级关系问题。本文没有重新训练一个直接理解三维点云的大模型，而是让现成的二维视觉语言模型（VLM）在可渲染的三维记忆上工作。

这种组合的关键不在于给 VLM 更多图片，而在于改变图片的获取方式：先用几何与语义缩小搜索范围，再围绕相关对象重新取景，最后判断新画面是否真的补充了问题所需信息。核心 idea：把三维高斯的视角生成能力作为推理时的证据获取工具，让模型不再被历史相机位置限定。

方法详解¶

整体框架¶

输入是带相机位姿的历史场景图像及用户问题，场景预先重建为带语义信息的三维高斯。语义可见性检索为每个候选对象簇找一个较好的历史视角；局部新视角合成在其周围补充画面；文本裁判与验证从这些画面中挑出可用证据。最终可以输出自然语言答案，也可以结合选中视角的空间范围输出三维目标区域。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["历史图像与位姿<br/>问题及语义高斯记忆"] --> B["语义可见性检索"]
    B --> C["局部新视角合成"]
    C --> D["文本裁判与验证"]
    D --> E["问答输出<br/>或三维目标区域"]

这里的“新视角”不是机器人实际移动后采集的图像，而是已有三维重建的渲染结果。它可以重新组织已经被场景记忆记录的视觉证据，却不能保证恢复从未观测到的真实内容。整条流程仍属于被动情景记忆问答，而非在线探索策略。

关键设计¶

1. 语义可见性检索：先找到候选实体，再判断哪个历史视角真正看得见它

首先需要把三维高斯变成能被问题检索的记忆。问答实验沿用 3D-Mem 的闭集物体类别设置，用物体检测器得到类别信息，再把多视角语义观测直接注册到高斯上。三维定位则使用 Dr. Splat 的开放集流程：SAM 分割图像区域，CLIP 提取区域特征，再把这些特征注册到高斯。两者服务于不同对比协议，不应误写成问答实验也使用完全开放词汇的检索。

接着，LLM 从问题中提取可能提供证据的类别，而不是直接把完整问题当成 CLIP 搜索词。比如“哪里可以小睡”先转成枕头、靠垫等证据对象；回答意图留给后面的 VLM，前面只负责把相关区域找出来。闭集记忆按类别激活高斯，开放集定位按与证据文本的余弦相似度激活，论文设置阈值为 0.5。缓存中的多类别相似度公式排版损坏，正文也没有清楚交代聚合细节，因此这里不自行补写求和或最大值规则。

激活高斯只是局部几何单元，还不是完整物体。方法按三维中心位置用 HDBSCAN 聚成候选实例簇；有类别标签时在同类内部聚类，避免把不同物体类型混在一起。聚类不必达到完美实例分割，因为这一阶段的主要作用是缩减候选视角，真正的语言关系判断仍在后面进行。

为每个簇选历史视角时，不能只看目标投影是否落进图像，也不能只数二维像素。方法先渲染目标簇的激活图，再在激活像素处检查整个场景中哪个高斯具有最大的渲染贡献权重；只有这些主导高斯也属于目标簇，才把它计为可见。前景遮挡物即使挡在目标投影上，也不会被误算成目标可见。随后按下式选分数最高的历史视角：

\[ S^{\mathrm{vis}}_{l,i}=\frac{|\mathcal{G}^{\mathrm{vis}}_{l,i}|}{|\mathcal{G}^{\mathrm{cluster}}_l|}. \]

其中，分母是第 \(l\) 个候选簇的高斯数，分子是从第 \(i\) 个相机视角实际可见的该簇高斯数；同一个高斯不会因为覆盖多个像素而重复计数。这个定义对应原文式（8）的可恢复含义。它更接近对象表面覆盖的代理量，而不是屏幕面积，也不是高斯体积的加权和，因此较不容易被大尺度异常高斯支配。

2. 局部新视角合成：在相关区域附近补画面，而不是重新遍历整段记忆

假设上一步得到 \(L\) 个候选簇及对应初始视角，方法针对每个视角做左、右、前、后四个方向的位姿扰动，通过 3DGS 渲染出 \(V=4\) 个新视角。原始初始视角也保留在候选池中，因此每簇有 \(1+V\) 个候选视角，全体共有 \(L+L\times V\) 个候选，而不是无约束地对整个场景搜索任意相机位置。

局部合成解决的是“相关对象找到了，但构图不好”的问题。一个初始视角可能只看到目标一角，附近的渲染视角则可能使目标与参照物同时进入画面，从而提供颜色、形状或相对位置线索。语义检索负责把合成预算放到问题相关区域，可见性得分则提供相对可靠的起点；两者让新视角生成不必从空白场景开始猜测。

这种设计没有训练一个生成式图像编辑器，也没有引入针对问答的三维编码器。它复用已有重建的可渲染性，所以收益受重建质量制约。主文明确给出四个扰动方向，但没有充分说明平移幅度及所有相机调整细节；仅凭当前缓存不能写出完整可复现的位姿采样实现。

3. 文本裁判与验证：比较各视角能回答什么，而不只比较几何可见性

可见得更多不等于更能回答当前问题。例如，面积更大的椅子视图仍可能没有窗户，无法判断“窗边的椅子”。因此候选视角要经过 VLM 的问题条件评估。每张候选图像与问题单独送入 VLM，得到该画面支持的答案或缺乏线索的说明，再由 LLM 只读这些文本候选并做选择。这样避免将一长串图片一次性交给 VLM，也降低不同画面之间的信息混淆。

这里文本汇总并不是把整个场景预先压缩成通用字幕。它保留的是每个视角针对当前问题作出的判断：某张图可能无法确定，另一张图可能明确暴露目标属性。LLM 选择较有根据的候选答案，也就隐式选中了对应视角。消融中仅用文本裁判优于直接让裁判同时读图片和文字，但这只是本文设置下的经验结果，并不意味着所有多图任务都应该放弃视觉输入。

随后进行验证，将选中视角与对应初始视角比较，检查新视角是否提供了之前缺失的信息；原始画面仍是参照，而不是默认所有渲染图都更好。该步骤不等同于独立的真实性认证：裁判仍可能被错误渲染或错误描述影响。原文给出了比较与择优的原则，但没有在主文完整展开可直接复现的验证提示词和决策细则。

输出视角数由任务决定。具身问答为每个初始候选保留一个最终视角，即 \(L'=L\)，再将这些 RGB 图像和问题送给回答模型。单目标定位和三维指代分割取 \(L'=1\)；多目标定位的数量随查询而变。定位分支先把激活高斯限制在最终视角视锥的并集内，再结合 VLM 对问题的推理选择目标区域。视锥在这里提供空间约束，文本推理负责区分同类实例；不能把它理解成只要落在视野里就全部属于答案。

一个完整示例¶

考虑“哪张床最靠近窗户”这一关系问题。LLM 先提取床作为证据类别，语义检索激活场景中的床，再按空间位置分成不同候选簇；可见性检索为每个簇挑出较清楚的历史画面。这时系统只知道有哪些床，还没有决定哪一张符合关系。

随后每个候选视角补充四个局部新视角。某张初始图可能截断了窗户，新视角可能使床与窗户同时可见；逐图 VLM 将这些关系线索写入文本判断，文本裁判与验证再比较其支持程度。三维指代分割只保留一个最终视角，并利用该视角的空间约束与推理结果选择目标高斯。这个例子用于说明机制，并非论文额外报告的定量实验。

损失函数 / 训练策略¶

本文的新增部分主要是推理时检索、渲染与选择流程，没有提出用于训练 VLM 的新损失，也不需要针对三维推理再微调二维模型。场景依然需要建立 3DGS，并从已有视觉模型注册语义特征；“无需进一步训练”指的是推理模型，不代表整个系统没有重建成本。

问答主实验分别使用 GPT-4o 与 Qwen3-VL-8B；为与 3D-Mem 公平比较，两者都遵守对应的闭集记忆协议。三维定位使用开放集语义注册。缓存主文没有完整列出所有阶段各自的模型版本、提示词和调用成本，因此不把流程描述扩展成未经证实的训练配置。

实验关键数据¶

主实验¶

OpenEQA 采用被动 EM-EQA 协议，所有复现实验评测 1,623 个问题。LLM-Match 由语言模型判断预测答案与参考答案的语义一致性，越高越好；它不是严格字符串匹配准确率。下表来自原文表 1，帧数只统计最终送入回答阶段的视角，不包括选择阶段额外渲染和评估的候选画面。

方法	GPT-4o LLM-Match ↑	Qwen3-VL-8B LLM-Match ↑	平均最终帧数 ↓
Multi-Frame	49.1	48.2	3.0
3D-Mem	54.6	50.8	2.7
SplatReasoner	57.8	51.6	2.6

三维定位表采用论文自行构建的高斯空间评测，而非直接照搬标准点云或边界框榜单。ScanRefer 使用 141 个场景、9,508 条查询；Multi3DRefer 使用多目标验证集的 133 个场景、2,757 条查询；三维指代分割额外构造了 49 条空间问题及目标标注。以下选取原文表 2 的 3D mIoU：它衡量预测激活高斯与真值区域的体积重叠，依赖高斯尺度、透明度及原文的体积归一化处理，越高越好。

方法	ScanRefer 3D mIoU ↑	Multi3DRefer 3D mIoU ↑	三维指代分割 3D mIoU ↑
Dr. Splat（类别查询）	8.73	4.69	10.03
Dr. Splat（句子查询）	9.44	4.14	10.56
ReferSplat	3.14	1.25	2.34
SplatReasoner	11.12	6.32	12.46

这些结果支持本文在其直接高斯搜索协议下改善关系定位，但不代表所有指标全面领先：三维指代分割的 Acc@8 为 45.14，略低于句子查询 Dr. Splat 的 45.21。Acc@8 定义为预测与真值的 IoU 超过 8% 的样本比例，不是常见的较高 IoU 阈值定位准确率。

消融实验¶

下表汇总原文表 3 与表 5，均使用 184 个问答问题。前半部分比较初始视角评分，后半部分在新视角选择时比较裁判输入形式；两组不能混成同一个独立模块去除实验。

对比组	配置	LLM-Match ↑	平均最终帧数
初始视角	3D-Mem	45.4	3.1
初始视角	体积评分	47.8	2.7
初始视角	可见性评分	48.2	2.7
裁判输入	图像	47.1	2.7
裁判输入	图像与文本	46.9	2.7
裁判输入	仅文本	50.5	2.7

关键发现¶

主实验相对 3D-Mem 的提升为 GPT-4o 上 3.2 个 LLM-Match 分数点、Qwen3-VL-8B 上 0.8 点，说明收益幅度依赖模型设置，不能统一宣称大幅提升。
初始检索中，可见性评分比体积评分高 0.4 点。作者将体积评分的问题归因于大尺度异常高斯过度影响结果，而计数式可见性更稳定。
裁判消融中，仅文本比图像与文本高 3.6 点，但最终帧数相同不等于总计算量相同；局部渲染与逐图评估仍有额外成本。

亮点与洞察¶

将视角当作可调整的证据来源。 不是要求 VLM 从缺失线索里推断答案，而是先改变观察画面，再开展推理；这是本文区别于固定快照记忆的关键。
几何与语义各司其职。 可见性解决遮挡和覆盖，问题条件裁判解决证据相关性。两者结合避免把“看得多”误当成“回答得准”。
保留视觉细节，压缩选择接口。 最终回答仍可读取图像，但选择阶段以逐图文本判断汇总，实验明确比较了这种接口选择的效果。

局限与展望¶

作者明确限定为被动情景记忆，尚未验证主动机器人导航或长时序探索；离线合成新视角不能等同于真实行动获取新信息。
高斯重建、语义注册、聚类和裁判构成连续依赖。错误重建或类别检索遗漏可能使后续根本看不到正确候选，论文没有证明这一链条能可靠自纠错。
三维评测经过高斯化与体积处理，并含小规模人工构造问题；ReferSplat 的监督数据也由作者借助基础模型构建。结论应限定到该协议，不能直接推导出标准三维定位榜单优势。
主文没有充分报告端到端时延、调用费用及完整位姿采样细节。更少的最终图像是一项接口层面的节省，不是系统整体更便宜的充分证据。

评分¶

新颖性: 4/5。把新视角合成纳入问题条件证据选择，贡献集中且机制清楚，但大部分底层组件来自已有方法。
实验充分度: 3/5。覆盖两类问答模型、三维定位与裁判消融，但自建评测及缺少完整成本报告限制了结论外推。
写作质量: 3/5。整体逻辑易理解，部分定位、验证和相机扰动细节仍需要补充材料；本地缓存也存在公式与表格排版损坏。
价值: 4/5。为已有二维 VLM 利用可渲染三维记忆提供了具体路径，尤其适合研究固定视角导致的证据不足。