Boxer: Robust Lifting of Open-World 2D Bounding Boxes to 3D¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 3D 视觉
关键词: 开放世界三维检测、二维框提升、稀疏深度、不确定性回归、多视角融合

一句话总结¶

Boxer 将开放词汇二维检测与三维几何估计分开，用兼容可选稀疏或稠密深度的 BoxerNet 提升物体框，再通过跨帧融合生成静态场景框；在 CA-1M 的真实二维框加稠密深度设置下，逐帧类别无关 mAP 从 CuTR 的 0.250 提升至 0.412。

研究背景与动机¶

开放词汇二维检测器已经能根据文本找到大量长尾物体，但增强现实和机器人还需要知道物体在真实空间中的位置、尺寸和朝向。二维标注可以在普通图像上完成，米制三维框却依赖深度传感器、标定或多视角重建，数据规模与类别覆盖因此落后。让一个三维网络同时学习“这是什么”和“它在哪里”，会把稀缺的三维监督同时消耗在语义识别与几何估计上。

另一个障碍是几何输入不统一。RGB-D 数据有稠密深度，眼镜端 SLAM 常只有稀疏点云，相机又可能是针孔或鱼眼。CuTR 的专用深度编码器依赖稠密输入，3D-MOOD 等单目方法则内部预测深度，不能直接充分利用已有传感器几何。实际系统需要的不是只在一种传感器条件下工作的检测器，而是能沿用强二维检测能力、并随可用几何线索改善结果的三维提升接口。

本文将语义覆盖交给现成检测器，让 BoxerNet 专注于已知二维框的几何解释，再把逐帧估计组织为全局静态物体。核心 idea：用统一的图像、射线和 patch 深度表示学习二维框到米制三维框的映射，并用独立几何不确定性与跨视角一致性处理模糊观测和重复检测。

方法详解¶

整体框架¶

输入是带标定和位姿的图像序列、文本查询，以及可选稀疏点云或稠密深度。开放词汇检测器先返回二维框和置信度；BoxerNet 对每个框预测重力对齐相机坐标系中的三维中心、三个尺寸和一个偏航角，共 7 个自由度，同时输出几何不确定性。

完整 Boxer 还利用相机位姿将逐帧预测放到统一世界坐标系，按几何重叠与文本语义兼容性聚类，融合为去重后的静态三维框。因此，BoxerNet 是单帧提升网络，Boxer 是包含二维检测和非学习式多视角融合的系统，二者的输出与运行成本不能混称。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["标定图像与文本<br/>可选深度"] --> B["开放词汇二维入口"]
    A --> C["统一几何条件编码"]
    B --> D["框条件提升与<br/>不确定性回归"]
    C --> D
    D --> E["语义几何多视角融合"]
    E --> F["全局静态三维框"]

关键设计¶

1. 开放词汇二维入口：把语义检索留给已有检测器

文本查询先送入 DETIC、OWLv2 或 SAM3 等检测器，一个提示可以产生多个二维框，每个框保留其二维置信度。BoxerNet 不重新分类这些区域，而是学习框对应的物体在三维空间中如何放置；灰度图像可以通过复制通道进入同一接口。这种分工意味着增加一个可被二维模型识别的词汇，不必同步增加一个三维分类输出头。

开放世界能力在这里主要来自二维前端，不能理解为几何网络已经见过所有物体形状。前端漏检时，提升网络没有候选可用；前端定位错误时，错误区域也会传给几何阶段。论文将真实二维框 GT2D 作为另一种输入，正是为了把这一前端瓶颈与三维提升能力分开测量，而不是把 oracle 结果当作完整系统成绩。

2. 统一几何条件编码：让不同相机与深度密度共用接口

图像先经过冻结的 DINOv3 骨干得到 patch 特征。对于几何输入，系统把稀疏点云或深度点投影到图像，在每个 patch 内计算平均深度；没有投影点的 patch 填入 -1。这样输入深度既可以很稠密，也可以只覆盖少数 patch，不需要先把稀疏点补成一张完整深度图。平均值保留局部尺度线索，缺失标记则让模型知道哪些位置不能依赖实测几何。

仅有深度还不足以解释像素方向，因此每个 patch 还带一个三维单位射线：将 patch 中心按相机模型反投影，再转换到重力对齐坐标系。局部相机平移设在原点，不作为额外通道。外观、射线和一个深度标量逐 patch 拼接后送入共享自注意力编码器，使网络同时读取“看起来是什么”“沿哪个方向看”和“已知距离是多少”。相机模型通过射线输入体现，而不是要求所有数据先具有相同成像几何；这支持针孔与鱼眼训练，但不等于不需要标定。

3. 框条件提升与不确定性回归：分开判断二维可见性和三维可靠性

每个二维框的四个坐标经过线性层成为查询 token，再对全部图像 patch 做交叉注意力。查询不仅能读取框内外观，也能利用周围场景与几何线索。不同框 token 之间不做注意力交互，因此一个框的提升不依赖候选框排列顺序；相应地，这一步也不负责解决多个框是否指向同一物体的问题。

解码后的框特征进入两个预测头，每个头都是含 ReLU、隐藏维度 128 的两层 MLP。一个头回归三维中心、正尺寸和绕重力轴的偏航角，另一个预测偶然不确定性，表达遮挡、深度缺失和单视图歧义造成的观测不可靠。二维检测很确信存在一个物体，并不意味着它的三维尺寸和距离也确定，所以不能简单沿用二维分数评价几何质量。正文称最终分数取二维与三维置信度的均值，用于排序、筛选和 PR 曲线；缓存中的式 (2) 已损坏，且未清楚给出不确定性到三维置信度的转换，本笔记不补写精确公式。

4. 语义几何多视角融合：先判断同一物体，再处理框的对称性

逐帧框经位姿变换到全局坐标系后，只有三维 IoU 达到阈值、且提示词文本嵌入足够相似的预测才允许建立连接。系统把检测当作图节点，以连通分量作为跨帧物体簇。几何门限阻止同类但相距很远的实例合并，语义门限则降低相互重叠却语义不同的预测被混在一起的风险；这也解释了为什么评测虽不考类别，融合仍会使用类别文本。

每个簇按置信度加权融合位置、尺寸和偏航。融合前先消除重力对齐长方体的 90 度旋转表示歧义，再用圆周均值处理偏航，而不是直接平均角度；否则等价框的不同轴定义可能把融合结果拉偏。最后执行三维非极大值抑制，清除剩余重复框。该模块没有学习参数，依赖静态场景假设，正文未给出的阈值和具体实现细节不能从概念流程反推出确定数值。

一个完整示例¶

考虑佩戴眼镜走过厨房、用“spice jar”查询同一个静止调料罐的情形；这是机制示例，不是新增实验。OWLv2 在不同帧中给出二维候选，SLAM 点云可能只在其中一部分 patch 上提供深度，其他 patch 使用 -1。BoxerNet 利用外观、观测射线和已有尺度线索，为每一帧独立预测一个 7 自由度框及其不确定性。

当视角改变时，调料罐在图像中的位置会移动，预测也可能因遮挡而不稳定。系统先通过相机位姿把这些预测放回同一世界空间，再检查几何重叠和查询语义是否兼容。通过检查的预测形成一个簇，完成朝向消歧与加权融合；另一个位置的同名调料罐不能仅因提示词相同就合并。若拿起罐子继续移动，静态融合假设失效，这恰好说明本文不是动态物体跟踪器。

损失函数 / 训练策略¶

训练用预测框与真实框角点之间的 Chamfer 损失监督几何，同时引入预测偶然不确定性的项，使几何回归能表达观测歧义。缓存的式 (3) 有明显字符缺损，只能可靠确认其包含 Chamfer 项与不确定性建模，不能据此恢复完整加权、正则形式或参数化，因此这里不列猜测公式。

训练源包括内部 Aria 与 Quest 数据、公开 NymeriaPlus、CA-1M，以及 Omni3D 中的 SUN-RGBD 和 ScanNet，作者报告约 1.22M 个独立三维框。区分独立框与视频观测次数很重要：一个静止物体被拍摄很多帧，并不等于新增了很多独立物体。数据以室内为主，排除与 CA-1M 重叠的 ARKit、单物体为主的 Objectron 和合成 Hypersim。

静态三维标注投影到图像后可能穿墙“可见”，所以训练样本还检查遮挡：框内至少有 2 个可见深度点，并要求沿框边采样点的 80% 位于图像有效可见区域。数据增强覆盖光度、相机、深度和二维框四类；具体增强分布在正文缓存中未展开。

模型用 16 张 H100 训练约两周，AdamW 学习率余弦衰减，由 1e-4 降至 1e-5。冻结 DINO 后可训练参数约 25M；在 RTX 4090、bfloat16、960 × 960 输入下，已给定二维框的 BoxerNet 前向约 20 ms。这不包含二维检测和整段序列融合时间。

实验关键数据¶

主实验¶

统一指标是类别无关三维 mAP：把全部物体当作一个“Anything”类，在 IoU 阈值 \(0.05, 0.10, \ldots, 0.50\) 上分别计算 AP 后取均值。论文不把每张图检测数限制在 100，而是使用较低检测阈值保留候选；逐帧与融合后的逐场景结果分开报告。

下表摘自原文表 2，均为逐帧 mAP。GT2D 表示真实二维框；NymeriaPlus 的“几何”是 SLAM 稀疏点云，CA-1M 则是稠密深度，不能把它们统称为同一种 RGB-D 输入。

二维输入与提升器	几何输入	NymeriaPlus	CA-1M
OWLv2 + CuTR	无	0.005	0.064
OWLv2 + BoxerNet	无	0.061	0.081
GT2D + CuTR	无	0.010	0.119
GT2D + BoxerNet	无	0.296	0.126
OWLv2 + CuTR	稠密深度	不支持该稀疏输入	0.178
OWLv2 + BoxerNet	稀疏点云 / 稠密深度	0.297	0.204
GT2D + CuTR	稠密深度	不支持该稀疏输入	0.250
GT2D + BoxerNet	稀疏点云 / 稠密深度	0.532	0.412

摘要中的 NymeriaPlus “0.532 vs. 0.010”不是纯 RGB 公平配对：BoxerNet 使用稀疏深度，CuTR 使用 RGB。相同纯 RGB、GT2D 条件下应比较 0.296 与 0.010；在 CA-1M 的 GT2D 加稠密深度条件下，0.412 与 0.250 才是对应模态比较，绝对差为 0.162，但训练数据仍不同。

测试覆盖也有范围限制：ADT 只取一个公寓场景中的一条序列并排除动态物体；CA-1M 只取验证集前 10 条序列，排除任一尺寸超过 3 m 的对象，对预测和真实薄物体均将尺寸扩到至少 5 cm。结果不代表未经筛选的整个数据集。

消融实验¶

下表摘自原文表 4，均用 GT2D 测量逐帧 mAP。保留原表数值，不将 NymeriaPlus 完整模型的 0.518 改写成主表的 0.532；正文未解释这两个设置的数值差异。

配置	NymeriaPlus	CA-1M
完整 BoxerNet	0.518	0.412
深度取中位数而非均值	0.505	0.402
去掉数据增强	0.497	0.400
去掉偶然不确定性头	0.485	0.401
分辨率降至 480 × 480	0.466	0.395
仅公开训练数据	0.463	0.376
去掉深度	0.279	0.126
仅 CA-1M 训练	0.002	0.357

深度与训练域覆盖的影响大于单个回归组件：NymeriaPlus 去深度下降 0.239，仅 CA-1M 训练下降 0.516，而去掉不确定性头下降 0.033。仅公开数据的结果仍有竞争力，但完整模型含内部数据，不能把全部基线差距归因于新架构。

关键发现¶

表 3 中，CA-1M 的 GT2D 加深度逐场景 mAP 为 BoxerNet 0.434、CuTR 0.305；OWLv2 加深度则为 0.204、0.178。oracle 与真实前端之间存在明显差距。
第 5.5 节在 CA-1M 上比较相同 OWLv2 + BoxerNet 输出：本文融合 mAP 为 0.204，BoxFusion 为 0.176；[email protected] 分别为 0.547、0.321，[email protected] 为 0.421、0.309。作者提醒 BoxFusion 未针对该输出分布调优。
融合不是所有数据集上都必然提高同一个数字。NymeriaPlus 的 GT2D 加几何在表 2 为逐帧 0.532，在表 3 为逐场景 0.400，评测单位和去重后的候选集合不同，不能直接把差值解释为融合损失。
系统吞吐受二维前端影响：论文报告 RTX 4090 上 DETIC 约 35 ms、OWLv2 约 120 ms；SAM3 在 1000+ 提示词下约 45 s/图像。20 ms 只描述 BoxerNet 提升模块。

亮点与洞察¶

几何输入接口比堆叠更复杂的深度网络更关键。patch 均值与显式缺失值让既有稀疏 SLAM 几何直接成为尺度条件，消融显示其价值远高于仅更换聚合统计量。
检测置信度与几何不确定性承担不同职责。二维识别可靠但三维估计模糊时，独立几何头提供了排序和融合所需的额外信息，而非把语义分数当作空间可信度。
长方体融合必须考虑表示对称性。先统一 90 度旋转等价表示再平均尺寸和角度，是可以迁移到多视角框融合任务的具体几何处理。

局限与展望¶

作者明确限制为静态对象，手持移动物体不适合现有融合；电线、藤蔓等非长方体形状也不适合用单个三维框表达。
提升依赖相机标定与重力，完整场景融合还依赖位姿。由现成模型估计缺失标定或重力只是未来方向，本文所有测试数据都提供完整位姿。
开放世界语义来自二维前端，因此继承 DETIC、OWLv2 在第一人称视角的误检漏检；类别无关 mAP 也不验证最终语义标签的正确率。
约两周的多 GPU 训练和内部数据限制完全复现。公开数据消融有助于估计这一影响，但还不能隔离骨干、数据规模与架构各自对基线差距的贡献。
值得进一步验证的方向是动态实例关联、真实标定误差下的鲁棒性，以及不确定性分数的校准质量；这些是本笔记的延伸判断，不是论文已完成的实验。

评分¶

新颖性: 4/5。主要贡献在灵活几何条件、不确定性和系统整合，并非全新 Transformer 范式。
实验充分度: 4/5。覆盖多个设备域、输入模态、逐帧与逐场景评测，但测试子集和内部数据影响外推。
写作质量: 4/5。任务分解与消融清楚，跨表数值差异和摘要比较的模态边界需要仔细辨认。
价值: 4/5。为已有二维检测器接入米制场景定位提供实用路线，静态与标定假设仍是部署前提。