SSR3D-LLM: Structured Spatial Reasoning via Latent Steps for Fine-Grained Grounding in Unified 3D-LLMs¶
会议: NeurIPS 2026
arXiv: 2605.28490
OpenReview: https://openreview.net/forum?id=OUChPEe6IJ
代码: 待开源 (Code and data will be released)
领域: 3D 理解
关键词: 3D 视觉定位、统一 3D-LLM、隐式空间推理步、细粒度空间推理、结构化定位接口
一句话总结¶
针对统一 3D-LLM 依赖单指针查询无法处理细粒度多跳空间关系定位的痛点，SSR3D-LLM 提出结构化空间状态定位机制（S3G），利用预留标记单次前向生成隐式空间推理步与共享记忆，通过几何感知打分器与步长掩码逐步细化候选项排序，在保持原有通用语言能力的同时显著刷新 3D 定位性能与推理吞吐。
研究背景与动机¶
在具身智能与三维场景理解中，指导机器人或智能体依据自然语言指令定位 3D 场景中的特定物体是一项基础能力。真实的定位指令通常高度细粒度且具有组合复杂性，不仅涉及目标物体的类别与视觉属性，更依赖于上下文参照物及其相对空间位置（例如“找到位于房间中央棕色沙发右侧的白色椅子”）。为了实现精准定位，系统必须有效解析句法结构，并在杂乱的三维点云场景中通过几何关联逐一排除同类别干扰物。早期方法多采用专用监督匹配网络，虽然在基准测试中表现尚可，但模型架构专化且缺乏开放式多轮对话、问答或稠密描述等通用语言生成能力。
近期统一实例级 3D-LLM 将指令微调的大语言模型与 3D 实例表征相结合，试图用单一模型统一语言生成与三维定位。然而，由于定位任务必须与自回归文本生成共享模型架构，现有工作普遍采用紧凑的查询指针定位（Query-Pointer Grounding, QPG）或离散物体编号输出接口。这种将全部复杂的空间拓扑与参照物排查压缩为单步指针决策的设计面临三大根本矛盾：首先，单一指针缺乏逐步检查上下文参照物、层层排除同类混淆项的中间工作区；其次，常规目标监督仅约束最终目标，模型易陷入捷径学习而无法掌握有序空间推理；最后，单步输出黑盒化，定位失败时无法定位是语法解析、参照物匹配还是空间关系判定出错。
针对单指针决策在复杂空间推理中的表征瓶颈，本文并未引入繁琐耗时的自回归显式思维链解码，而是探索如何在统一 3D-LLM 内部构建轻量高效的结构化中间推理接口。核心 idea：提出结构化空间状态定位机制（S3G），在统一 3D-LLM 内部单次前向输出有序的隐式空间推理步向量与共享记忆向量，并设计几何感知打分器结合步长掩码对固定 Mask3D 候选提议执行逐步打分细化，仅在训练阶段引入辅助指称线索监督，测试期无需文本 CoT 即可高效透明地完成细粒度 3D 定位。
方法详解¶
整体框架¶
SSR3D-LLM 保持统一 3D-LLM 骨干网络（Tiny-Vicuna-1B）与点云候选提取流程完全一致。当输入指令不含特殊任务标记 <geom> 时，模型执行标准的多任务文本生成（对话、3D 问答、稠密描述等）；当输入提示包含 <geom> 时，模型激活结构化空间状态定位（Structured Spatial-State Grounding, S3G）分支。整个定位流程由三部分构成：3D 候选表征空间构建、LLM 隐式推理步与记忆工作区生成、以及几何感知打分器与预测类别过滤。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入: 3D场景点云 + 自然语言查询"] --> B["3D 候选表征空间构建<br/>Mask3D特征 + 旋转框几何 + DINOv2外观 + 预测类别"]
A --> C["隐式空间推理工作区<br/>提示词: [geom, u, step_1:K, mem_1:M]"]
C --> D["单次前向投影<br/>隐式步向量 S 与记忆向量 E"]
D --> E["步骤有效长度预测<br/>Sigmoid 门控判断终止边界 L"]
B --> F["几何感知候选细化器<br/>ReferBlock 逐步迭代候选状态 X"]
D --> F
E -->|步长掩码 m_k| F
F --> G["目标类别预测过滤<br/>最终有效步类别头重排"]
G --> H["输出: 目标物体索引/集合 + 步骤打分轨迹"]关键设计¶
1. 3D 候选表征空间构建：多模态几何与外观先验融合 针对纯几何点云特征在细粒度语义与旋转朝向上判别力受限的痛点，SSR3D-LLM 基于固定的 Mask3D 实例分割提议构建初始候选表征 \(\mathbf{X}^{(0)} \in \mathbb{R}^{N \times D}\)。对于第 \(i\) 个提议，模型线性融合其池化 Mask3D 点云特征 \(\mathbf{f}_i\)、旋转三维边界框几何参数 \(\mathbf{b}_i\)、可选的多视角 DINOv2 视觉外观特征 \(\mathbf{a}_i\) 以及提议侧预测类别标签嵌入 \(\mathbf{c}_i\)： $$ \mathbf{x}^{(0)}_i = W_f \mathbf{f}_i + W_b \mathbf{b}_i + \alpha W_a \mathbf{a}_i + W_c \mathbf{c}_i $$ 通过显式注入边界框几何与多视角外观先验，确保打分器在后续推理步中拥有充分的物理空间信息与细粒度辨识能力。
2. 隐式空间推理步与记忆工作区：无自回归开销的单次前向推理 为了赋予模型多跳空间推理能力同时避免自回归生成文本思维链带来的高推理延迟，S3G 在提示词中引入 \(K\) 个预留步标记 \(\tau_{1:K}^{\text{step}}\) 和 \(M\) 个可学习记忆标记 \(\tau_{1:M}^{\text{mem}}\)，构建输入序列 \(p_{\text{pred}} = [\texttt{<geom>}, u, \tau_{1:K}^{\text{step}}, \tau_{1:M}^{\text{mem}}]\)。模型通过单次 LLM 前向传播得到隐藏状态 \(\mathbf{H}\)，经投影与层归一化分别提取隐式步表征 \(\mathbf{s}_k \in \mathbb{R}^D\) 与全局记忆表征 \(\mathbf{e}_j \in \mathbb{R}^D\)： $$ \mathbf{s}k = \mathrm{LN}(W_s \mathbf{H}}(\tau_k^{\text{step}})}), \quad \mathbf{ej = \mathrm{LN}(W_m \mathbf{H}) $$ 步向量序列 \(\mathbf{S}\) 按顺序编码空间指称中的各阶段语义（例如目标类别、上下文参照物定位、相对空间位姿），记忆矩阵 \(\mathbf{E}\) 则跨步骤提供全局指令上下文，实现了紧凑且无需文本解码的隐式推理工作区。
3. 几何感知候选细化器与步长掩码：有序状态更新与非文本可解释轨迹
打分器以候选表征 \(\mathbf{X}^{(0)}\) 为初值，随隐式步 \(k=1,\dots,K\) 依次进行迭代更新。在第 \(k\) 步，模块通过 ReferBlock 执行三阶段交互：首先利用当前步线索 \(\mathbf{s}_k\) 对共享记忆 \(\mathbf{E}\) 进行交叉注意力读取，随后在所有候选提议间执行自注意力混合以对比空间上下文，最后通过轻量 MLP 进行特征细化：
$$
\mathbf{X}^{(k)}_{\text{new}} = \mathrm{ReferBlock}_k(\mathbf{X}^{(k-1)}, \mathbf{E}, \mathbf{s}_k)
$$
针对不同查询所需推理步长不同的问题，模型通过隐式标量门控头预测每步的终止概率 \(q_k = \sigma(g_\psi(\mathbf{s}_k))\)，并依据阈值 \(\eta=0.5\) 截断有效步长 \(\hat{L}\)，构造硬掩码 \(m_k = \mathbf{1}\{k \le \hat{L}\}\)。通过掩码状态更新公式 \(\mathbf{X}^{(k)} = (1 - m_k)\mathbf{X}^{(k-1)} + m_k \mathbf{X}^{(k)}_{\text{new}}\)，多余的无效填充步被完全冻结，避免无关计算破坏已有排序。各步线性打分 \(\boldsymbol{\ell}^{(k)}\) 共同构成了紧凑、非文本的排序演变轨迹。
4. 目标类别预测过滤：语言-提议双重类别校验 在完成步骤打分细化后，为了避免空间几何推理与目标基础语义发生冲突，S3G 在最后一个有效隐式步上设置目标类别分类头，从语言侧预测目标物体的类别概率分布。随后设计预测类别过滤器，对提议侧预测类别与语言侧预测类别一致的候选进行优先重排与校准，极大压制了跨类别语义混淆。
损失函数 / 训练策略¶
训练采用三阶段递进策略以保持通用语言能力并稳健引导隐式推理： 1. 阶段 A（打分器预热）：冻结 LLM 文本特征作为语言上下文，仅训练几何感知打分器的候选排序损失。 2. 阶段 B（工作区对齐与蒸馏）：训练 LLM 端的隐式步投影层。离线利用 Qwen/vLLM 从复杂查询中提取有序的参照线索（目标类别、上下文参照物、空间关系），利用冻结的 BERT 编码器生成目标嵌入 \(\mathbf{t}_k\) 与全局目标 \(\mathbf{t}_g\)，通过余弦相似度损失 \(\mathcal{L}_{\text{step}}\) 与 \(\mathcal{L}_{\text{global}}\) 监督隐式步 \(\mathbf{s}_k\) 与记忆向量： $$ \mathcal{L}{\text{step}} = \frac{1}{\sum_k m_k} \sum}^K m_k (1 - \cos(\mathbf{sk, \mathbf{t}k)), \quad \mathcal{L}}} = 1 - \cos(\mathbf{g}, \mathbf{tg) $$ 3. 阶段 C（端到端自完备微调）：在输入中移除离线线索，仅保留原始自然语言指令与预留标记，通过 LoRA 微调 LLM 顶层注意力权重与打分器。总损失为任务交叉熵 \(\mathcal{L}_{\text{ref}}\)、隐式步损失、全局记忆损失与类别分类损失 \(\mathcal{L}_{\text{cls}}\) 的加权和： $$ \mathcal{L} = \mathcal{L} + \lambda}}}\mathcal{L{\text{step}} + \lambda}}\mathcal{L{\text{global}} + \lambda $$}}\mathcal{L}_{\text{cls}
实验关键数据¶
主实验¶
在细粒度候选集选择基准 ReferIt3D (Nr3D/Sr3D) 以及检测噪声与边界框定位基准 ScanRefer 和多目标定位基准 Multi3DRef 上，SSR3D-LLM 全面超越了现有统一 3D-LLM 基准（包括 Grounded 3D-LLM 与 Chat-Scene）。
| 数据集 | 指标 | SSR3D-LLM (本文) | Grounded 3D-LLM | 相对/绝对提升 |
|---|---|---|---|---|
| Nr3D (Overall) | Top-1 Acc (%) | 50.3 | 32.8 | +17.5 |
| Nr3D (Easy) | Top-1 Acc (%) | 61.0 | 40.3 | +20.7 |
| Nr3D (Hard) | Top-1 Acc (%) | 39.9 | 25.5 | +14.4 |
| Nr3D (View-Dep.) | Top-1 Acc (%) | 46.5 | 29.7 | +16.8 |
| Nr3D (View-Indep.) | Top-1 Acc (%) | 52.1 | 34.3 | +17.8 |
| Sr3D (Overall) | Top-1 Acc (%) | 69.3 | 35.5 | +33.8 |
| ScanRefer | [email protected] (%) | 58.7 | 48.6 | +10.1 |
| ScanRefer | [email protected] (%) | 53.9 | 44.0 | +9.9 |
| Multi3DRef | [email protected] (%) | 63.1 | 44.7 | +18.4 |
| Multi3DRef | [email protected] (%) | 57.9 | 40.8 | +17.1 |
消融实验¶
消融实验基于固定 Mask3D 提议表征，验证隐式推理步与步长掩码的关键效用。
| 配置 | Nr3D Acc (%) | \(\Delta\) Nr3D | Sr3D Acc (%) | \(\Delta\) Sr3D | 说明 |
|---|---|---|---|---|---|
| Full Model (完整模型) | 50.3 | – | 67.5 | – | 采用参考线索步长掩码的完整 S3G 机制 |
| + pred. length (预测步长) | 47.2 | -3.1 | 67.0 | -0.5 | 使用可学习标量门控头自适应预测有效步长 |
| - step mask (移除步长掩码) | 46.9 | -3.4 | 59.1 | -8.4 | 移除掩码，对所有固定 \(K\) 步均执行无差别更新 |
| + shuffle order (随机打乱顺序) | 46.2 | -4.1 | 56.8 | -10.7 | 随机打乱有效隐式步的输入顺序 |
| + reverse order (逆序执行步骤) | 41.7 | -8.6 | 46.3 | -21.2 | 将有效隐式推理步完全逆序执行 |
关键发现¶
- 步长掩码对多步推理至关重要：移除步长掩码后，Sr3D 性能从 67.5% 骤降至 59.1%（跌落 8.4%）。这表明多余的无效步如果继续参与跨注意力更新，会引入伪空间噪声，破坏先前已收敛的排序状态。
- 隐式推理步具有高度严格的顺序依赖性：将有效推理步逆序执行时，Sr3D 暴跌 21.2%，Nr3D 暴跌 8.6%。这证明模型切实学到了“先定位参考锚点、再基于相对空间方位排查目标”的递进逻辑，而非仅仅堆叠特征。
- 极高的定位读出效率：在提议特征提取后的纯定位读出阶段，SSR3D-LLM 单查询耗时仅 0.036s（吞吐量达 27.6 query/s），相比单指针 QPG 基准（1.161s，0.86 query/s）提速超过 30 倍，且相比自回归生成文本 CoT 的方案提速 6.8 倍。
- 完美保持语言生成泛化能力：在 ScanQA（19.83 vs 20.11 EM）、Scan2Cap（0.658 vs 0.626 CIDEr）和对话任务中，模型在未激活
<geom>时表现与原始基准相当，未发生灾难性遗忘。
亮点与洞察¶
- 将显式思维链内化为隐式推理步：传统 CoT 依赖昂贵的文本自回归解码且容易受幻觉影响，SSR3D-LLM 巧妙利用预留标记在单次前向中提取隐式推理状态，兼具多步空间解耦能力与极高推理吞吐。
- 训练期辅助线索解耦，测试期自完备推理：利用离线抽取的关系线索指导隐式向量的语义对齐，但在测试阶段无需用户提供任何结构化标注或模板，实现了低成本监督与高通用性推理的有机统一。
- 非文本打分轨迹的可解释性：每一步打分器输出的候选概率变化直观呈现了排除混淆项的过程，为 3D 具身交互提供了轻量透明的诊断窗口。
局限与展望¶
- 受限于上游提议生成质量：方法依赖于离线冻结的 Mask3D 候选提议，若前端提议漏检或实例分割边界粗糙，后续空间推理打分无法纠正召回缺陷。
- 固定最大步长预算的灵活性不足：当前最大步数硬性设为 \(K=4\)，对于极其复杂的长链嵌套空间指称（例如包含 4 个以上多层跳跃参照物）可能存在表达上限。
- 未来方向：探索与开放词表 3D 检测器的联合端到端微调，以及在动态具身闭环导航/抓取任务中利用隐式打分轨迹进行实时动作纠偏。
相关工作与启发¶
- vs Grounded 3D-LLM / Chat-Scene：二者均采用统一 3D-LLM 范式，但采用单一指针标记（QPG）或离散物体编号输出，将复杂多跳空间指称压缩为单步选择；SSR3D-LLM 构建隐式空间推理步与逐步候选重排接口，在统一框架下大幅突破了细粒度定位瓶颈。
- vs MiKASA / ViL3DRel：专用 3D 定位模型设计了复杂的空间几何图网络，在封闭集基准上表现强劲，但完全丧失了自然语言交互与通用多模态能力；SSR3D-LLM 在保留 LLM 开放对话能力的同时，吸收了几何感知交互的优势。
- vs LLM-Grounder / SPAZER：智能体类方案通过外部多轮 Prompting、2D 渲染视点调用与多模型循环验证实现高精度，但推理延迟高达数秒甚至数十秒；SSR3D-LLM 纯原生 3D 单次前向即可完成定位，更适合计算受限的实时具身系统。
评分¶
- 新颖性: ⭐⭐⭐⭐☆ [将多步空间推理内化为单次前向隐式步与掩码打分器，设计巧妙优雅]
- 实验充分度: ⭐⭐⭐⭐⭐ [覆盖 Nr3D、Sr3D、ScanRefer、Multi3DRef 全面基准，并包含细致的步骤消融与延迟评测]
- 写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图文对照清晰，对统一 3D-LLM 定位瓶颈剖析深刻]
- 价值: ⭐⭐⭐⭐☆ [为具身 3D-LLM 的轻量高效细粒度空间定位提供了极具实用价值的接口范式]