CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models¶

会议: NeurIPS 2026
arXiv: 2607.06534
代码: https://oceansdepp.github.io/cairn_web/
领域: 3D表示与场景理解
关键词: 3D场景理解, 跨房间推理, 3D大型多模态模型, 层次化拓扑感知, 结构化掩码注意力

一句话总结¶

针对现有 3D-LLM 局限于单房间平面化目标表征且无法处理真实户型多房间拓扑关系的缺陷，本文提出显式建模层次化场景图拓扑的 3D-LLM CAIRN，通过结构化掩码注意力约束信息跨房间流动并结合几何偏差，在大规模跨房间基准 CAIRN-MR 上取得大幅领先。

研究背景与动机¶

面向真实家庭环境的具身智能体需要具备跨房间三维空间推理能力，例如在厨房中回忆物体的遗留位置并从另一房间中检索，或是跨卧室对比不同家具的摆放结构。这要求底层感知与推理模型能够理解整套住宅的全局 3D 几何与拓扑连接，在包含数百个物体的多房间大尺度场景中进行稳健推理。

然而，现有的 3D-LLM（如 Chat-Scene、3DGraphLLM、LEO 等）主要基于 ScanNet 等单房间数据集构建，将三维场景平面化展开为单一的目标 token 序列，并在所有物体对之间执行完全连接的自注意力机制。这种设计在单房间内尚可运行，但在真实跨房间环境中暴露出严重的结构性瓶颈：不同房间常出现外观和布局高度相似的同类别物体（如多间卧室里的床和椅子），扁平化自注意力缺乏对房间边界的语义抽象与几何隔离，极易因注意力权重被全图杂波稀释而导致跨区域消歧失败；同时，多房间环境天然具备稀疏且规则的拓扑先验（房间内部强交互、房间之间仅依物理连通性稀疏交互），标准自注意力无法显式利用相对几何位姿、房间邻接与距离先验。

针对上述瓶颈，研究者迫切需要将单房间感知扩展至包含层次化空间结构的全局场景推理。本文的核心切入点是将多房间拓扑显式结构化，构建出物体与房间两层图网络架构，并利用场景图路由注意力信息流。核心 idea：将多房间场景显式建模为包含物体间关系与房间邻接的层次化 3D 场景图，通过两阶段特征聚合生成物体与房间 token，并在大语言模型注意力计算中引入基于拓扑连通性的分层掩码与几何注意力偏差，将无约束的自注意力转变为拓扑导向的结构化路由机制。

方法详解¶

整体框架¶

CAIRN 的核心设计目标是使大型多模态模型具备对跨房间多尺度拓扑的感知与推理能力。系统整体工作流程分为三个阶段：首先从原始三维场景构建双层层次化 3D 场景图 \(\mathcal{G}_{\mathcal{H}}\)，底层表达房间内的物体实例与几何关系，顶层表达房间语义节点与房间邻接关系；接着，通过图神经网络消息传递和可学习查询交叉注意力，将该层次图分别编码为丰富的物体级 token 块与紧凑的房间级 token，输入到大语言模型中；最后，在 Transformer 解码过程中利用层次化掩码注意力矩阵约束注意力流动仅沿拓扑边传递，并叠加包含相对几何位姿的几何注意力偏差，实现高效精准的跨房间拓扑推理。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入: 住宅多房间 3D 场景点云与网格"] --> B["层次化场景图构建<br/>Mask3D 分割 + BEV 占用划分房间"]
    B --> C["物体与房间语义 Token 化<br/>GNN 局域聚合 + 房间查询交叉注意力"]
    C --> D["层次化拓扑掩码注意力<br/>约束同房间交互与跨房间中继"]
    D --> E["多级几何注意力偏差注入<br/>显式调制相对位姿与拓扑强度"]
    E --> F["LLM 跨房间问答 / 定位 / 密集描述输出"]

关键设计¶

1. 层次化多模态场景图构建：解耦物体微观交互与房间宏观拓扑

针对平铺展开物体导致全局空间层次丢失的痛点，CAIRN 构建了一个双层拓扑场景图 \(\mathcal{G}_{\mathcal{H}} = ((\mathcal{V}_O, \mathcal{E}_{OO}), \mathcal{E}_{OR}, (\mathcal{V}_R, \mathcal{E}_{RR}))\)。底层物体图由 3D 实例分割模型（如 Mask3D）提取的实例节点 \(\mathcal{V}_O\) 构成，每个物体与其同房间内最近的 \(K_g\) 个邻居建立边 \(\mathcal{E}_{OO}\)，边属性附带相对空间几何特征与 VL-SAT 语义关系；顶层房间图节点 \(\mathcal{V}_R\) 通过俯视图（BEV）占用网格聚类划分得出，并在物理相通的邻接房间之间建立边 \(\mathcal{E}_{RR}\)；跨层边 \(\mathcal{E}_{OR}\) 则严格指示物体与所属房间的包含归属。这一设计使复杂的全屋几何被整齐地组织为微观物体团簇与宏观房间拓扑，为后续路由提供了明确的先验结构。

2. 物体与房间语义 Token 化：兼顾局域关系聚合与跨房间宏观抽象

单纯依靠单物体点云和图像投影特征难以捕捉局部空间布局，而房间几何更是缺乏明确的语义边界。为此，CAIRN 为每个物体构建固定长度的 4-token 块 \(\mathbf{T}_{i}^O = [t_i^{\mathrm{id}}, t_i^{3D}, t_i^{2D}, t_i^G]\)，分别承载独热文本标识符、Uni3D 点云几何投影特征、DINOv2 多视角渲染视觉特征以及通过图神经网络生成的局域关系 token \(t_i^G\)。其中关系 token \(t_i^G\) 采用 \(L_g=2\) 层的同房间局部子图消息传递计算：

\[ \mathbf{h}_i^{(\ell+1)} = \mathbf{h}_i^{(\ell)} + \Phi\left(\mathbf{h}_i^{(\ell)}, \mathrm{AGG}\left(\left\{\Psi\left(\mathbf{h}_j^{(\ell)}, \mathbf{e}_{ij}\right) \mid j \in \mathcal{N}(i)\right\}\right)\right) \]

对于每个房间 \(\mathcal{R}_r\)，CAIRN 引入 \(K_r=4\) 个可学习房间查询向量 \(\{q_{r,k}\}_{k=1}^{K_r}\)，通过交叉注意力对该房间内部所有物体 token 进行语义聚合，得到紧凑概括该房间内容的房间 token \(\mathbf{T}_r^R = [t_{r,1}^R, \dots, t_{r,K_r}^R]\)。这既压缩了整屋多房间的信息维度，又为房间之间的宏观通信提供了语义载体。

3. 层次化拓扑掩码注意力与几何偏差：将注意力重塑为拓扑路由运算

传统的全连接自注意力将计算复杂度推至 \(\mathcal{O}(N^2)\) 且产生严重的跨房间注意力杂波。CAIRN 在 Transformer 注意力矩阵中引入结构化拓扑掩码 \(M_{\mathcal{H}}\) 与类型特异性几何偏差 \(B_\theta\)：

\[ \mathrm{Attn}(X) = \mathrm{Softmax}\left(\frac{QK^\top}{\sqrt{d}} + M_{\mathcal{H}} + B_\theta\right)V \]

掩码仅允许三类有物理连接意义的 token 对相互作用：同房间内的物体对（\(\mathcal{S}_{OO}\)）、物体与其所属房间（\(\mathcal{S}_{OR}\)）以及存在物理连通的相邻房间对（\(\mathcal{S}_{RR}\)）。异房间物体之间的通信完全被掩码屏蔽，必须通过房间 token 作为中继节点传递，将物体级复杂度由 \(\mathcal{O}(N^2)\) 降至 \(\mathcal{O}(\sum_r |\mathcal{O}^{(r)}|^2)\)。同时，几何偏差 \(B_\theta(u,v) = b_{\tau(u,v)}(\mathbf{g}_{uv})\) 针对物体间、物体-房间、房间间的不同交互类型，使用对应的轻量 MLP 映射相对空间距离、中心位姿及布局边界向量 \(\mathbf{g}_{uv}\)，在前 \(L_b=4\) 层 Transformer 中直接赋予注意力权重以物理连续的几何偏置。

一个完整示例¶

以跨房间比较问答任务为例：“房间 A（带餐桌的大空间）和房间 B（带双人床的区域），哪间房间有更多椅子？” 1. 多模态输入与解析：模型接收包含 3 个房间共 120 个物体实例的三维点云与提示文本。各房间物体分别生成各自的 \([t_i^{\mathrm{id}}, t_i^{3D}, t_i^{2D}, t_i^G]\) token 块，每个房间汇聚出 4 个房间 token。 2. 局域与跨房间交互：通过拓扑掩码，餐桌与其周围的 6 把餐椅仅在房间 A 内部执行密集图消息与自注意力交互；同理，房间 B 的办公椅与书桌在房间 B 内部交互。两房间的物体无法直接跨墙通信。 3. 拓扑中继与判断：房间 A 和房间 B 的房间 token 分别汇聚了本房间内椅子分布的全局语义概括，并通过房间邻接边与语言提示 token 交互。模型准确解耦两个独立房间的目标统计，消除了因“整屋多把椅子相互混淆”而产生的计数偏差，最终正确输出对应选项。

损失函数 / 训练策略¶

模型采用 Qwen3-8B 作为基础语言模型，采用 LoRA（秩为 16，作用于所有注意力和 MLP 投影层）进行高效参数微调，同时解冻用于物体标识的专用输入输出词表行以实现端到端实体生成。训练分为两阶段： - 阶段一（单房间基础对齐）：在 ScanNet 标注数据（ScanRefer, Scan2Cap, ScanQA, SQA3D 等）上训练 3 个 epoch，建立基础的三维点云视觉与语言对齐能力。 - 阶段二（跨房间拓扑适配）：在 100% CAIRN-MR 基准与 30% ScanNet 回放混合数据上继续微调 3 个 epoch，使模型充分学习房间级掩码路由与多房间关系推理。优化器使用 AdamW，初始学习率为 \(5 \times 10^{-6}\)，搭配余弦退火和前 10% 线性预热，并采用极其严格的梯度范数裁剪阈值 0.01 以稳定几何偏差网络与图模块的训练。

实验关键数据¶

主实验¶

论文在提出的 CAIRN-MR 多房间基准上与主流 3D-LLM 基线（均基于统一两阶段训练流程与 Qwen3-8B 骨干）进行了全面对比。评估涵盖视觉定位（Grounding）、密集描述（Captioning）以及四类递进式问答任务：目标识别（Ident.）、目标计数（Count.）、存在性验证（Exist.）、跨房间数量对比（Comp.）。

方法	语言骨干	定位 [email protected]	定位 [email protected]	描述 CIDEr	描述 B-4	识别 EM	计数 MRA	存在 EM	对比 EM
Chat-Scene	Qwen3-8B	19.6	19.4	78.3	21.2	61.3	58.9	69.5	63.6
3DGraphLLM	Qwen3-8B	18.9	18.7	79.6	21.1	61.9	58.3	72.7	62.3
Inst3D-LMM	Qwen3-8B	20.4	20.0	79.5	21.3	61.8	58.5	71.6	63.7
CAIRN (Ours)	Llama-3.2-3B	24.2	23.8	91.0	22.2	60.9	59.8	75.5	70.0
CAIRN (Ours)	Llama-3.1-8B	24.6	24.1	89.5	21.9	62.5	59.4	75.9	69.8
CAIRN (Ours)	Qwen3-4B	24.3	23.9	89.7	22.0	61.9	60.8	75.7	68.2
CAIRN (Ours)	Qwen3-8B	25.8	25.4	94.5	22.8	62.1	61.1	76.1	70.4

消融实验¶

为验证各组件的独立贡献，作者在 CAIRN-MR 上从完整模型出发，逐步剥离几何注意力偏差、层次化拓扑掩码、房间 token 及图神经网络特征 token：

配置	GNN特征	房间Token	拓扑掩码	几何偏差	定位 [email protected]	描述 CIDEr	计数 MRA	存在 EM	对比 EM
CAIRN (完整模型)	✓	✓	✓	✓	25.8	94.5	61.1	76.1	70.4
− 几何偏差	✓	✓	✓	–	24.5	92.4	60.6	74.5	69.8
− 层次化掩码	✓	✓	–	–	21.6	85.7	59.3	72.6	64.3
− 房间 Token	✓	–	–	–	20.8	82.3	57.9	73.0	62.2
− GNN Token (平面基线)	–	–	–	–	19.6	78.3	58.6	69.5	63.6

关键发现¶

拓扑掩码是性能跃升的核心支柱：移除层次化掩码后，模型的跨房间对比性能骤降 5.5 EM，生成描述 CIDEr 暴跌 6.7，定位精度下降 2.9 [email protected]。这表明若不限制跨房间注意力路径，注意力将在全局混乱弥散，即便保留房间 token 也无法阻隔全局噪声。
任务收益与房间级推理抽象程度强正相关：在强依赖跨房间全局拓扑推理的任务中（如跨房间对比 +6.7 EM、存在性验证 +3.4 EM），CAIRN 取得了极显著的突破；而在仅聚焦于已定位房间内部局部目标分类的“目标识别”任务上，各模型表现基本持平（62.1 vs 61.9 EM），充分印证了拓扑建模的专项价值在于空间层级管理。
跨尺度的轻量化骨干泛化性：采用 3B 规模的 Llama-3.2 作为骨干的 CAIRN 在全屋定位与描述任务上依然显著碾压 8B 规模的 Chat-Scene 和 Inst3D-LMM，说明拓扑结构化先验能够有效弥补参数规模的不足。
对单房间基础任务完全无损：在 ScanNet 衍生的 5 个经典单房间基准（ScanRefer, Multi3DRefer, Scan2Cap, ScanQA, SQA3D）评测中，CAIRN 在 9 项指标中的 7 项取得最优或次优，表明层次化拓扑退化至单房间时，局域 GNN 关系与几何偏置仍能强化细粒度目标理解。

亮点与洞察¶

拓扑路由替代密集自注意力：通过将多房间连通图直接投射为 Transformer 注意力掩码，不仅在物理意义上切断了跨房间视线遮挡所造成的语义串扰，更在计算上将注意力复杂度从整屋平方阶大幅降低为分房间块对角稀疏复杂度。
空间图与连续几何偏差互补：层次图掩码管辖离散图路由的可达性（能否看），连续几何偏差通过多层感知机调制空间距离和相对姿态（看多强），两者结合使离散拓扑与连续空间几何相得益彰。
构建首个严格排重与跨房间消歧的大规模评测基准：CAIRN-MR 通过多跳空间链重写结合 SAM 3 和 Qwen3-VL 的多视角属性过滤，保证了每条语言表达式在整屋多房间范围内的唯一性，有效打破了以往单房间评测数据“只要物体类别唯一即算定位成功”的评测捷径。

局限与展望¶

依赖预制或高精度前置空间分割：当前层次图节点依赖 Mask3D 提取目标和 BEV 占用聚类提取房间轮廓，若底层几何分割出现严重断裂或房间混淆，上层拓扑掩码可能会将关键候选目标误隔离。
多层复式住宅与复杂垂直空间受限：目前数据集构建集中于单层多房间平层公寓，尚未考虑楼梯连接、挑空复式等多层立体楼宇拓扑。
缺乏显式多步符号化拓扑推理链：目前仍依靠 Transformer 隐式状态进行拓扑路由聚合，未来引入显式多步路径规划（如先寻径房间再搜索目标）有望进一步提升长程多空间推理的可解释性与泛化能力。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向多房间户型的层次化拓扑感知 3D-LLM 与拓扑掩码注意力机制，开辟了多房间全屋 3D 推理新方向。
实验充分度: ⭐⭐⭐⭐⭐ 提供了涵盖多房间与单房间共 6 个基准的详实测试，构建了高质量的 CAIRN-MR 基准并附带严密的人工与统计校验。
写作质量: ⭐⭐⭐⭐⭐ 概念清晰，数学形式化规范，图文并茂且逻辑论证严密。
价值: ⭐⭐⭐⭐⭐ 为家庭辅助机器人、具身大模型及智能家居环境中的全局跨房间 3D 场景理解树立了标杆。