AdaOcc: Adaptive 3D Occupancy Prediction for Embodied Tasks¶

会议: NeurIPS 2026
arXiv: 2609.38864
论文: https://arxiv.org/abs/2609.38864
代码: https://wangjl-nb.github.io/AdaOcc_web/
领域: 机器人
关键词: 3D语义占据预测, 具身智能, 自适应推理, 稀疏点查询, 包含损失

一句话总结¶

AdaOcc 提出了面向具身任务的自适应 3D 占据预测框架，通过几何引导双分支编码统一多源多视角传感输入，结合渐进式查询学习与包容损失正则化，实现了算力可缩放的高保真场景三维感知。

研究背景与动机¶

具身智能体在动态室内环境中执行导航、抓取与移动操作等决策时，高度依赖于对全局 3D 场景精确且富含语义的空间表征。3D 语义占据预测（3D Semantic Occupancy Prediction）因能够同时刻画空间的几何占据状态与细粒度语义类别，已成为连接原始多模态感知与下游动作规划的通用三维表征。然而，现有绝大部分 3D 占据预测方法主要面向自动驾驶等室外场景设计，依赖固定的全景环视相机阵列、预设的高算力平台与固定的预测预算，在迁移到复杂各异的室内具身机器人平台时遇到了严重的落地瓶颈。

具身机器人在物理形态与硬件配置上存在显著的异构性：不同移动底盘或机械臂所搭载的相机视角数量各不相同，配备的几何传感器涵盖单目估计深度、RGB-D 深度相机或固态/旋转 LiDAR；更关键的是，机器人机载计算芯片的算力预算差异巨大，且不同具身任务对感知粒度的要求极不均匀——例如大范围避障导航只需粗粒度空间几何，而台面精细抓取则对障碍物边界与接触面有极严苛的分辨率要求。传统基于密集三维体素网格（Dense Voxels）或高斯基元（3D Gaussians）的方法不仅显存与计算开销居高不下，其固定的网络推理拓扑也无法动态调节计算量以匹配多变的延时预算。此外，轻量化点云占据预测通常依赖倒角距离（Chamfer Distance）监督几何轮廓，极易在占据表面附近产生悬浮在自由空间中的漂移伪影点，破坏物体的准确几何边界。

本文的核心切入点是打破固定传感器输入与单一计算预算的假设，建立统一的跨模态几何接口与可弹性缩放的稀疏查询解码机制。核心 idea：通过几何引导双分支编码器将异构几何信号统一为对齐点集并提取正交三平面特征，利用渐进式查询学习实现查询点数与解码层数动态可调的自适应推理，并设计包含损失（Containment Loss）惩罚漂浮点以实现轻量高保真的具身 3D 占据表征。

方法详解¶

整体框架¶

AdaOcc 的整体感知流水线包含多模态传感编码、几何锚定查询初始化、渐进式逐层解码精细化以及最终体素化映射四个阶段。系统接收来自 $V$ 个视角的 RGB 图像 $\mathcal{I}=\{\mathbf{I}^v\}_{v=1}^V$ 与可选的几何观测点集 $\mathcal{G}=\{\mathbf{g}_m\}_{m=1}^M$（几何源可为单目估计深度、RGB-D 深度测量或 LiDAR 激光点云）。双分支编码器分别提取多尺度图像外观特征与低显存正交三平面（$xy, xz, yz$）几何特征；随后，系统从几何点集采样生成空间锚定点查询，送入多层点解码器中通过交叉投影采样与残差聚合逐步更新坐标偏移与语义特征；最后输出稀疏占据语义点集并体素化为标准占据网格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多模态输入<br/>RGB 图像 + 异构几何点集"] --> B["几何引导双分支编码<br/>提取多尺度图像与正交三平面特征"]
    B --> C["空间锚定查询初始化<br/>从几何点集采样初始 3D 参考坐标"]
    C --> D["渐进式查询解码器<br/>多尺度跨视角采样与残差坐标迭代精化"]
    D --> E["包容引导点优化正则化<br/>惩罚空闲区漂移点并对齐占据体素"]
    E --> F["输出 3D 占据表征<br/>稀疏语义点集 / 体素化网格"]

关键设计¶

1. 几何引导双分支编码：统一异构传感器接口与紧凑空间特征 具身机器人平台的几何传感器种类繁多且视角不一，构建鲁棒感知必须解耦传感器物理特性。AdaOcc 设计了统一的点集投影机制：若输入为深度图或 RGB-D 数据，利用相机内外参将其反投影为相机坐标系下的 3D 点云；若输入为 LiDAR 点云，则通过标定外参刚性变换统一至 RGB 主相机坐标系下。规范化后的统一几何点集 $\mathcal{G}$ 通过轻量稀疏 3D 卷积编码，并压缩投影至水平面与两个垂直面的正交特征三平面 $\mathcal{F}^{\mathrm{geo}}=\{\mathbf{F}^{xy}, \mathbf{F}^{xz}, \mathbf{F}^{yz}\}$。$xy$ 平面捕捉全局水平通行布局，而 $xz$ 与 $yz$ 平面保留垂直几何轮廓。该设计避免了密集 3D 体素特征体积巨大的显存开销，同时使模型能够无缝兼容任意视角数量与几何源配置。

2. 渐进式查询学习：面向多级算力预算的弹性推理 针对具身智能体算力限制与动态任务粒度要求，解码器摒弃了固定拓扑结构，采用基于稀疏几何点的渐进式多层解码。初始阶段直接从几何点集 $\mathcal{G}$ 采样 $N_q$ 个 3D 坐标作为查询初始空间锚点 $\mathcal{Q}_0=\{(\mathbf{q}^0_i, \mathbf{f}^0_i)\}_{i=1}^{N_q}$。在第 $\ell$ 层解码中，每个查询在其参考点周围预测 $K$ 个偏移采样点，分别反向投影到多尺度图像特征图和正交几何三平面中双线性插值采样，经特征融合后更新自身隐状态，并预测局部微点簇与语义分类对数几率： $$\mathbf{p}_{i,j}^{(\ell)} = \mathbf{q}_i^{(\ell-1)} + \Delta\mathbf{p}_{i,j}^{(\ell)}, \quad \mathbf{q}_i^{(\ell)} = \frac{1}{N_p^{(\ell)}}\sum_{j=1}^{N_p^{(\ell)}}\hat{\mathbf{p}}_{i,j}^{(\ell)}$$ 为了赋予单次训练模型无缝跨预算推理的能力，AdaOcc 在训练过程中引入查询预算渐进式增长机制：$N_q(t)=\min(N_{\max}, N_{\mathrm{init}}+\lfloor\frac{t-t_0}{\Delta t}\rfloor\Delta N)$，并结合视角级随机掩码模拟单目到四视角的随机观测。在推理部署时，无需重新微调，系统即可通过动态裁剪查询点数 $N_q$ 或直接提前截断输出早期解码层的中间预测结果，实现算力消耗、推理时延与重构精细度之间的平滑权衡。

3. 包容引导点优化：消除表面漂浮伪影的高保真几何正则化 传统点集监督（如 Chamfer 距离或密度感知倒角距离 DCD）仅优化点集间的宏观分布接近程度，无法感知离散占据网格的显式占据内边界。这导致许多预测点虽然距离物体表面极近，但在二值化判定中仍落在空闲体素中，形成严重的“表面漂浮伪影”（Surface-floating Artifacts）并误导避障路径规划。AdaOcc 提出了包容损失（Containment Loss, $\mathcal{L}_{\mathrm{con}}$）。设真实占据体素中心集合为 $\mathcal{P}^+$，体素边长为 $\mathbf{v}$。对于落在有效评估区域且落在空闲体素内的预测点 $\hat{\mathbf{p}}$，定义其至最近真实占据立方体边界的欧氏偏移距离： $$d_{\mathrm{box}}(\hat{\mathbf{p}}, \mathcal{P}^{+}) = \min_{\mathbf{p}_i \in \mathcal{P}^{+}} \left\| \mathrm{ReLU}\left( |\hat{\mathbf{p}} - \mathbf{p}_i| - \frac{\mathbf{v}}{2} \right) \right\|_2$$ 当点完全位于占据体素内部时 $d_{\mathrm{box}}=0$；当点漂移进入自由空间时距离严格递增。通过引入带有正边界裕度 $m$ 的 Smooth-L1 惩罚项，强制将落入空白区的预测点推进临近的占据空间内，显著净化了物体外轮廓与通行区域的边界几何。

损失函数 / 训练策略¶

AdaOcc 的整体训练目标结合了逐层语义分类、几何点集重构与包容正则项。在包含 $L$ 层解码器的网络中，总损失函数定义为： $$\mathcal{L} = \sum_{\ell=1}^L \gamma^{L-\ell} \left( \lambda_{\mathrm{sem}}\mathcal{L}_{\mathrm{sem}}^{(\ell)} + \lambda_{\mathrm{pts}}\mathcal{L}_{\mathrm{pts}}^{(\ell)} \right) + \lambda_{\mathrm{con}}\mathcal{L}_{\mathrm{con}}$$ 其中 $\mathcal{L}_{\mathrm{sem}}^{(\ell)}$ 为语义 logits 的 Focal Loss，$\mathcal{L}_{\mathrm{pts}}^{(\ell)}$ 为预测点集与真值占据点集的 DCD 重构损失，$\gamma$ 为深层到浅层的几何衰减系数（默认 0.90），$\lambda_{\mathrm{con}}$ 正则化项主要施加于后序解码层。此外，模型亦可替换 CLIP 视觉编码器并在解码端接入文本对齐特征头，利用余弦相似度与原型交叉熵实现开放词表 3D 占据预测。

实验关键数据¶

主实验¶

在室内标准 3D 占据预测基准 Occ-ScanNet 与 Occ-ScanNet-mini 上，AdaOcc 与以密集网格、TPV 视图三平面、高斯基元及稀疏点为表征的代表性前沿方法进行了全面对标。

数据集	方法	表征形式	mIoU (%)	IoU (%)	关键特点 / 先验
Occ-ScanNet	TPVFormer	三平面 $\mathcal{T}$	24.94	33.39	纯环视视觉投影
Occ-ScanNet	MonoScene	密集网格 $\mathcal{V}$	24.62	41.60	单目 2D-3D 提升基线
Occ-ScanNet	OPUS	稀疏点 $\mathcal{P}$	38.96	45.62	基础稀疏点查询
Occ-ScanNet	EmbodiedOcc++	高斯基元 $\mathcal{G}$	46.20	54.90	平面正则化与不确定性采样
Occ-ScanNet	SplatSSC	高斯基元 $\mathcal{G}$	51.83	62.83	结合 DAv2 估计深度的解耦高斯泼溅
Occ-ScanNet	GPOcc-VGGT	高斯基元 $\mathcal{G}$	56.19	63.14	依赖高强度的 VGGT 几何大模型先验
Occ-ScanNet	AdaOcc† (Ours)	稀疏点 $\mathcal{P}$	59.03	64.60	EfficientNet 骨干 + DAv2 估计深度
Occ-ScanNet	AdaOcc (Ours)	稀疏点 $\mathcal{P}$	59.67	65.29	C-RADIOv3 骨干 + DAv2 估计深度
Occ-ScanNet-mini	SplatSSC	高斯基元 $\mathcal{G}$	48.87	61.47	EfficientNet 骨干基线
Occ-ScanNet-mini	AdaOcc (Ours)	稀疏点 $\mathcal{P}$	58.74	65.38	完整模型默认配置

消融实验¶

在 Occ-ScanNet-mini 上针对核心组件有效性及推理预算弹性的消融验证如下：

配置 / 变体	mIoU (%)	IoU (%)	推理时延 (ms)	显存占用 (MiB)	说明
基线 (RADIO 图像编码器)	49.65	56.29	–	–	无几何引导与 C.P.O.
+ C.P.O. + 渐进式训练	55.50	62.92	–	–	引入正则化与渐进调度
+ 几何锚点初始化	57.06	64.72	–	–	引入深度先验点作为查询初值
完整模型 (AdaOcc)	58.74	65.38	64.4	1710.6	含 3D 卷积正交特征编码
w/o C.P.O. (包容损失)	54.54	61.31	64.4	1710.6	掉点 4.20 mIoU / 4.07 IoU
w/o 渐进式训练调度	54.63	62.35	64.4	1710.6	掉点 4.11 mIoU / 3.03 IoU
AdaOcc† (查询数 $N_q=200$)	55.13	62.36	63.2	1710.7	极端轻量查询档位
AdaOcc† (查询数 $N_q=500$)	57.97	65.16	64.4	1710.6	默认查询档位（基线 SplatSSC: 85.1ms/48.46）
AdaOcc† (使用第 3 层解码)	49.46	54.92	58.2	1254.6	早停截断推理，大幅节约算力显存

关键发现¶

超越依赖强几何先验的竞品：在同为 DAv2 估计深度的公平对照下，AdaOcc† 相较于最强高斯基线 SplatSSC 取得了 +7.20 mIoU 与 +1.77 IoU 的显著优势；在全量评测中更以 59.67 mIoU 击败了使用巨型 VGGT 几何先验的 GPOcc-VGGT（56.19 mIoU），表明稀疏点查询配合包容约束在空间分辨与类别判别上比 3D 高斯更优。
C.P.O. 决定了边界几何质量：去除包容优化损失直接导致 IoU 跌落超 4 个百分点。超参分析表明，给判定距离施加 $m=0.04\mathrm{m}$ 的正偏置裕度，能迫使预测点深度压入物体内层，使二值占据精准率从 70.50% 跃升至 75.32%，显著消除自由空间中的浮动噪点。
优异的弹性时延与显存权衡：SplatSSC 依赖 1131 个高斯锚点耗时 85.1 ms 仅获 48.46 mIoU，而 AdaOcc 在 200 到 1000 查询点范围内表现极稳，即使降至 200 个查询（63.2 ms）性能依然高达 55.13 mIoU；截断至第 3 层解码输出时显存压低至 1254.6 MiB，完全满足轻量端侧机载平台的实时性要求。
真实闭环具身任务增益显著：在 FloorPlan-R2R 室内真实闭环导航评测中，以 AdaOcc 为占据构建模块时将最终导航终点误差（NE）从 9.40 m 锐减至 5.38 m，路径成功率（SR）由 28.80% 提升至 43.53%，证明其对狭窄通道、近处杂物和边界结构的精准重建直接赋能了下层无碰撞规划。

亮点与洞察¶

将多源几何传感器映射至无量纲点集接口：通过简单的反投影与外参刚性标定，将单目估计深度、双目深度、RGB-D 点云与激光雷达无差别转化为同一坐标系下的空间点集输入，打破了自动驾驶和机器人领域感知算法与特定传感器硬绑定的壁垒。
带偏移裕度的非对称占据边界包容损失：通过 $\mathrm{ReLU}(|\hat{\mathbf{p}}-\mathbf{p}_i|-\frac{\mathbf{v}}{2})$ 构造体素边界距离，专门挑选预测在自由空间区域的假阳性点实施惩罚并施加裕度 $m$，巧妙解决了点生成方法中倒角距离无法感知离散占据栅格边界的顽疾。
即插即用的多级预算弹性推理：无需在部署前针对特定显卡重新量化或剪枝，网络天然支持在运行时按帧动态设置查询点数与解码层数，低延时避障与高精度操作可瞬间按需切换。

局限与展望¶

作者承认的局限：在极端杂乱的室内环境中，对于超细长或极小型几何结构（如椅子腿、电线、细小桌面杂物）的重构保真度仍有改善空间，稀疏点可能发生局部漏采样。
其他局限：模型依赖的初始点集若完全来源于单目深度估计（如 DAv2），在强镜面反射玻璃、弱纹理白墙或极暗光照下深度误差容易向后级查询传递；且开放词表分支依赖离线提取的文本嵌入，目前仅在静态场景下验证，对动态物体交互时的几何变形未作显式时间连续性建模。
改进思路：引入自适应分辨率查询（针对细小物体密集自适应分裂高频点查询），并将时序时空交叉注意力引入正交三平面，利用多帧点云配准消除单帧估计深度的系统性漂移。

评分¶

新颖性: ⭐⭐⭐⭐☆ 构思精巧地将几何点统一接口、算力自适应渐进查询与占据包容边界损失相融，适配具身机器人多样性。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 Occ-ScanNet 权威对比、极详尽的超参/消融分析、多视角扩展、Occ3D 室外验证及四足机器人与机械臂的真实闭环实验。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰，方法数学推导干脆，图表丰富自洽，工程部署细节交代透彻。
价值: ⭐⭐⭐⭐⭐ 为具身智能空间感知提供了兼顾高精度与高动态适应性的关键基础设施，具有显著的实际落地价值。

数据集	方法	表征形式	mIoU (%)	IoU (%)	关键特点 / 先验
Occ-ScanNet	TPVFormer	三平面 \(\mathcal{T}\)	24.94	33.39	纯环视视觉投影
Occ-ScanNet	MonoScene	密集网格 \(\mathcal{V}\)	24.62	41.60	单目 2D-3D 提升基线
Occ-ScanNet	OPUS	稀疏点 \(\mathcal{P}\)	38.96	45.62	基础稀疏点查询
Occ-ScanNet	EmbodiedOcc++	高斯基元 \(\mathcal{G}\)	46.20	54.90	平面正则化与不确定性采样
Occ-ScanNet	SplatSSC	高斯基元 \(\mathcal{G}\)	51.83	62.83	结合 DAv2 估计深度的解耦高斯泼溅
Occ-ScanNet	GPOcc-VGGT	高斯基元 \(\mathcal{G}\)	56.19	63.14	依赖高强度的 VGGT 几何大模型先验
Occ-ScanNet	AdaOcc† (Ours)	稀疏点 \(\mathcal{P}\)	59.03	64.60	EfficientNet 骨干 + DAv2 估计深度
Occ-ScanNet	AdaOcc (Ours)	稀疏点 \(\mathcal{P}\)	59.67	65.29	C-RADIOv3 骨干 + DAv2 估计深度
Occ-ScanNet-mini	SplatSSC	高斯基元 \(\mathcal{G}\)	48.87	61.47	EfficientNet 骨干基线
Occ-ScanNet-mini	AdaOcc (Ours)	稀疏点 \(\mathcal{P}\)	58.74	65.38	完整模型默认配置