YouTube-Occ: Learning Indoor 3D Semantic Occupancy Prediction from YouTube Videos¶

会议: ECCV2026
论文: ECCV 官方页面
领域: 3D 视觉
关键词: 室内语义占据、无标定视频、知识蒸馏、体素锚定高斯化、类原型

一句话总结¶

YouTube-Occ 将房产视频加工成室内几何与语义伪标签，再通过可微渲染和双对齐特征蒸馏预训练占据网络；在 NYUv2 仅用 10% 标签微调时，网络视频预训练把 Symphonies 从 17.43 提升到 22.52 mIoU（+5.09），而直接用这些噪声伪标签做监督在联合训练中反而把 mIoU 从 40.17 拖到 37.38。

研究背景与动机¶

室内语义占据预测要求从图像判断三维空间哪些位置为空、哪些位置被什么类别占据，既要恢复几何，又要推断遮挡后的场景结构。MonoScene、Symphonies 等方法不断改进网络架构，但监督数据仍是瓶颈：NYUv2 只有 1,449 张图像，Occ-ScanNet 的标签则依赖 RGB-D 扫描、相机轨迹以及 CompleteScanNet 的场景级补全资源。室内扫描和标注成本高、隐私约束强，很难仅靠增加人工采集解决规模问题。

房产带看视频提供了另一种数据来源：相机运动相对平稳、场景大多静态，且房屋布局丰富。Dust3R 可以从无标定图像估计几何，SAN 可以生成类别掩码，使自动加工这些视频成为可能；然而，能够生成看似合理的伪标签，不代表它们适合直接训练占据网络。单目重建存在尺度歧义，分割预测与目标类别体系也可能错配；本文的零样本和联合训练实验确实出现了明显负迁移。

核心 idea：把网络视频当作学习三维表示的来源，而不是精确占据真值的替代品；先建立近似几何，再把学生体素特征渲染回图像，以同帧区域特征和跨场景类原型两种目标蒸馏 2D 教师知识，最后在目标数据上用真实标签微调。

方法详解¶

整体框架¶

离线阶段从 YouTube 室内片段估计相机、点云、深度、像素语义和体素伪标签，得到 100,372 帧、5,241 个场景。在线预训练阶段不把这些体素类别当作精确监督目标，而是使用它们所依托的几何与语义区域，建立 3D 学生和 2D 教师之间的特征对应。

学生是已有的占据网络：输入 RGB 图像，输出三维表示；DINOv2 提供同图像的稠密教师特征，SAN 提供两路共享的类别掩码。学生特征通过体素锚定高斯化投影到二维，再接受帧内和跨场景两种对齐；微调时保留网络预训练权重，占据头从头训练。图中虚线为预训练阶段的监督回流，测试时不存在教师分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["YouTube 室内视频"] --> B["自动化数据构建"]
    B --> C["训练帧与估计几何"]
    C --> D["占据学生网络"]
    C --> T["DINOv2 教师特征<br/>SAN 类别掩码"]
    D --> E["体素锚定高斯化"]
    E --> F["双对齐特征蒸馏"]
    T -.->|同帧区域与跨场景原型| F
    F -.->|仅预训练时更新| D
    D -->|预训练权重迁移| G["真实标签微调<br/>占据头从头训练"]
    G --> I["微调后的占据网络<br/>输出语义占据"]
    H["测试 RGB 图像"] --> I

关键设计¶

1. 自动化数据构建：先获得可用于训练的近似几何与语义对应

作者收集房产频道视频，下载、切段，再用 Places 场景分类器剔除户外内容。这里选择的不是任意网络视频，而是对三维重建较友好的静态、平稳室内镜头。Dust3R 联合估计内参、相机位姿和点云，之后进行启发式清理、把场景调整为 z 轴朝上，并假设墙高为 2.8 米来统一近似度量尺度。这一步提供固定分辨率体素化所需的尺度参照，但不等于恢复了真实建筑尺寸。

SAN 直接接收基准的 11 个语义类别名称，生成像素类别掩码，不依赖复杂提示词调试。像素语义被赋给重建点云，再以 0.08 米体素化，每个体素按内部点的多数类别赋值；随后裁取当前相机前方的三维区域，形成帧级占据标签。相较于 Occ-ScanNet 借助扫描与 CAD 补全的标签，这种重建更偏向可见表面，因此不可见区域的完整占据仍不可靠。自动化消除了逐帧人工标注，但没有消除几何、类别体系和可见性假设。

2. 体素锚定高斯化：约束渲染自由度，让三维表示接受二维教师监督

教师特征位于二维像素上，学生表示位于三维体素中，不能直接逐位置比较。本文将每个体素转为一个高斯基元：位置固定在体素坐标，特征继承学生体素特征，不透明度由 MLP 预测，尺度固定为体素尺寸、旋转固定为单位矩阵。利用估计相机进行可微光栅化后，三维特征变成对应视角下的二维特征图，梯度可沿渲染过程回传到学生。

关键不是重建一套自由优化的高斯场景，而是把高斯渲染作为体素到像素的受约束接口。学生仍需学习特征和不透明度，不能把这个模块称为完全确定或没有可学习参数。固定尺度与旋转限制了通过改变几何形状来迎合二维目标的自由度；原文表 6 显示，改成直接投影会掉 1.07% mIoU，开放尺度与旋转学习会掉 1.76%，支持固定几何先验的价值。

3. 双对齐特征蒸馏：同帧区域负责局部对应，类原型负责跨场景一致性

帧内对齐先对教师的 DINOv2 特征按 SAN 类别掩码做平均池化，得到类别区域嵌入；学生渲染特征使用完全相同的掩码进行池化。区域对比损失把同一帧、同一类别的学生与教师嵌入作为正对应，并以其他类别区域作为对比对象。这里的区域是类别掩码，不必是独立物体实例：同一图像中的多把椅子可能共同贡献一个椅子区域表示。池化减少了对单个边界像素的依赖，但也会稀释局部细节。

仅在单帧内对齐，无法保证不同房屋里的椅子共享稳定语义表示。为此，框架为每个类别维护一个原型，用教师特征及类别掩码在线更新，并采用指数滑动平均平滑跨样本变化，默认动量 0.999；学生区域嵌入同时接受原型对比约束，靠近对应类别原型、区别于其他类别原型。两种目标共同训练学生：前者保留当前图像的局部对应，后者聚合跨场景语义。原型来自教师而非人工体素真值，因此可以减少但不能保证消除教师偏差。

缓存文本中的公式 (2)–(4) 存在明显提取损坏（括号、温度项和运算符不完整），此处不补写作者精确公式，以原文为准；可确认的是两个损失均为对比形式，且总损失为二者之和。

一个完整示例¶

以一段同时看到沙发、墙面和地板的房产视频为示意：离线重建先统一场景朝向，并借 2.8 米墙高假设定标，再以 0.08 米体素形成几何表示。SAN 产生的沙发掩码既参与伪标签加工，也在预训练时用于池化教师和学生的二维特征。

学生从其中一帧预测体素特征，把这些特征高斯化并渲染回该帧；沙发区域的池化表示既要接近这张图的 DINOv2 沙发表示，也要接近从其他训练场景累计的沙发原型。模型学到的是可迁移的三维特征，不是把这段视频的伪占据直接记成真值。随后在 NYUv2 或 Occ-ScanNet 上微调整个占据网络并训练新占据头；测试时不再需要该视频、教师特征或原型对齐分支。

损失函数 / 训练策略¶

框架面向既有占据架构，原文说明预训练与微调的接口差异主要在三维特征维度，占据头在微调时从头训练；不是只训练新头而冻结整个学生。实验覆盖 MonoScene、Symphonies 和 EmbodiedOcc，但表 2 并未给出三种架构在两个基准上的完整六格组合，MonoScene 的预训练结果只列于 NYUv2。

预训练来源必须区分：表 3 同时评估 YouTube-Occ、其 50K 子集和目标数据集同域预训练。Symphonies 的表 2 最优结果与表 3 的同域预训练行数值一致，不能全部归因于网络视频数据。两个训练阶段均使用 AdamW，初始学习率 2e-4、多步衰减倍率 0.1；NYUv2 为 30 轮，Occ-ScanNet 和 YouTube-Occ 为 10 轮，使用 4 张 RTX A6000，batch size 为 4。

实验关键数据¶

主实验¶

各数据集使用 60 × 60 × 36 网格、8 cm 分辨率和 13 种标签状态（11 个语义类别、free、unknown）。NYUv2 训练/测试为 795/654 张，Occ-ScanNet 为 45,755/19,764 张。以下 mIoU 与 IoU 均按原文口径报告百分数；按该领域惯例，mIoU 为语义类别平均、IoU 为不区分类别的占据重叠，原文未展开二者的精确定义。

下表选自原文表 3，统一使用 Symphonies，专门区分网络视频预训练与同域预训练。增益为 mIoU 百分点，相对同一行随机初始化基线计算。

目标数据与标签比例	无预训练 mIoU	YouTube-Occ-50K mIoU	YouTube-Occ mIoU	网络视频增益	同域预训练 mIoU
NYUv2，5%	15.52	18.25	18.81	+3.29	19.87
NYUv2，10%	17.43	22.36	22.52	+5.09	23.58
NYUv2，100%	29.70	30.87	31.45	+1.75	31.65
Occ-ScanNet，10%	34.18	36.26	36.54	+2.36	37.80
Occ-ScanNet，100%	47.71	48.15	48.47	+0.76	49.38

全量标签下，YouTube-Occ 预训练的 IoU 分别为 NYUv2 52.88、Occ-ScanNet 60.63；同域预训练则为 52.15、61.25。不同预训练来源的 mIoU 和 IoU 排序并不完全同步，不能只挑一个指标宣布全面更优。

原文表 2 还显示框架跨架构有效：NYUv2 上 MonoScene 从 26.09 到 27.02 mIoU，EmbodiedOcc 从 19.14 到 20.18；Occ-ScanNet 上 EmbodiedOcc 从 44.69 到 46.17。在与表 3 同域行对应的设置下，Symphonies 在 NYUv2 达 31.65 mIoU、Occ-ScanNet 达 49.38，原文据此称超过此前最强基线 ISO（31.25）与 RoboOcc（47.67）。这些是框架适配性的证据，不代表每个数值都来自 YouTube-Occ 跨域预训练。

直接伪标签监督的对照来自原文表 1：伪标签自身在 Occ-ScanNet 上为 10.06 mIoU，仅用 YouTube-Occ 训练后零样本测试为 8.41。YouTube-Occ 与 Occ-ScanNet 联合训练为 37.38，低于 NYUv2 与 Occ-ScanNet 联合训练的 40.17；对应 IoU 却为 55.06 对 51.97，因此只能说语义迁移较差，不能说所有指标都下降。

消融实验¶

原文表 5 的双损失消融使用 Symphonies；结合上一节的来源区分，这些设置对应框架的基准实验。

对齐配置	NYUv2 mIoU	NYUv2 IoU	Occ-ScanNet mIoU	Occ-ScanNet IoU
无预训练	29.70	49.91	47.71	59.89
仅区域损失	31.12	52.09	48.15	60.31
仅原型损失	31.24	51.76	48.76	60.47
两者结合	31.65	52.15	49.38	61.25

原文表 6 进一步考察 NYUv2 上的渲染接口和原型机制。

配置	mIoU	IoU
默认：高斯化，动量 0.999	31.65	52.15
直接 3D 投影	30.58	50.83
可学习尺度与旋转	29.89	50.53
原型动量 0.9	30.37	50.34
语义阈值 0.3	30.42	50.30

关键发现¶

原型损失单独使用时，在两个基准上的 mIoU 都高于仅用区域损失；两者结合进一步提高，说明跨场景统计与同帧对应具有互补性，而非其中一个可以完全替代另一个。
放开高斯尺度和旋转后，NYUv2 mIoU 从 31.65 降到 29.89，下降 1.76 个百分点；直接投影下降 1.07 个百分点。更多可学习自由度在这个接口上并未带来收益。
完整 YouTube-Occ 相比 50K 子集在表 3 各标签比例上的 mIoU 均更高，但 IoU 并非全部更高，例如 Occ-ScanNet 20% 标签时为 53.57 对 54.19；这只是两个规模点的趋势，不是充分的规模定律。
原文表 3 的部分增益与显示值相减有出入：Occ-ScanNet 全量 YouTube-Occ 的 IoU 为 60.63 对 59.89，按显示值相减是 +0.74，原表写 +0.73。这里保留原始指标，不擅自把原文各处改成一致。

亮点与洞察¶

数据价值与标签精度被拆开讨论。本文证明一种伪标签不适合直接监督，并不意味着对应视频没有表示学习价值；但结论适用于其测试策略，不能泛化为硬伪标签监督总是无效。
体素锚定高斯化把二维教师接入已有三维网络，而非要求替换整个占据架构。可迁移的是受约束的特征渲染接口，不是一个无需训练的确定投影器。
SAN 掩码既组织同帧对齐，也组织跨场景原型更新。共享类别划分让局部与全局目标指向同一语义空间，代价是两种目标也共享分割教师的偏差。
工程约束的价值：固定高斯尺度与旋转、采用 0.999 而非 0.9 的原型动量，都得到对应消融支持。2.8 米墙高则只是数据管线的近似假设，本文没有提供足够消融来证明它优于其他尺度估计策略。

局限与展望¶

作者明确指出不可见或遮挡体素、多视角或时序网络扩展，以及摆脱墙高假设仍待解决。2.8 米仅是近似尺度先验，挑高空间与异常建筑结构会破坏该假设。
房产视频的平稳、静态属性也是选择偏差；对动态家庭活动、机器人低视角和强运动模糊的可靠性没有直接验证。公开可获取的视频也不自动等于可无限制再分发，数据合规不能仅由无人工标注推导。
区域平均与单一类原型可能压缩类内几何差异；同一语义类的不同实例、尺度和可见性未被显式分开。多原型或按重建置信度加权的蒸馏值得研究，但本文没有验证这些扩展。
主文未提供多随机种子方差、充分的数据规模曲线或基础模型替换消融；公式提取损坏也限制了从文本精确复原训练目标。不能据此宣称已完成代码级可复现性核验。

评分¶

新颖性: 4/5。无标定室内网络视频的数据管线与双对齐预训练组合有价值，但基础组件多来自已有重建、分割和蒸馏方法。
实验充分度: 4/5。包含两基准、多架构、少样本和组件消融；仍缺多种子统计及更系统的数据管线分析。
写作质量: 3.5/5。问题与方案关系清楚，但同域和网络视频预训练数字需仔细区分，部分表内增益存在出入，文本版公式也有提取损坏。
价值: 4/5。为标注稀缺的室内三维感知提供可复用预训练路径；最有说服力的是少标签迁移收益，而非全面替代真实三维标注。