TriO: Tri-Modal Unsupervised Occupancy World Model for Anything Perception

会议: ECCV 2026
论文: ECCV 2026
领域: 自动驾驶
关键词: 4D占用网格, 多模态融合, 无监督世界模型, 障碍物分割, 任意物体感知

一句话总结

TriO 首次将相机、LiDAR 与毫米波雷达三种模态同时作为输入与自监督信号，构建 4D 连续无监督占用世界模型，通过几何驱动的软概率伪标签实现了零样本路面障碍物与可行驶区域的高泛化分割。

研究背景与动机

自动驾驶系统要在复杂环境中实现安全规划，首要前提是准确区分地面可行驶区域与路面障碍物（即“感知任意物体”），并在时空连续域中推演场景未来演化。传统基于目标检测与轨迹预测的管线受限于离散检测框阈值和固定的有限类别空间，无法应对长尾未知障碍物；而兴起的 3D/4D 占用网格（Occupancy）方法大多高度依赖高精标注的三维体素真值，标注成本极端昂贵且受限于闭集语义标签，极易在罕见安全隐患场景中失效。

为了降低标注依赖，近期的自监督占用方法尝试利用单模态 LiDAR 射线投影或视觉大模型（VLM）蒸馏 2D 开放词表语义伪标签。然而，LiDAR 存在反射模糊、多路径反射及有效测距受限的问题；单纯依赖基于文本提示的开放集视觉检测器/分割器（如 GroundingDINO、SAM、OWLv2），在面对长尾道路异物（如倒落路锥、散落包裹、小动物）时频繁出现漏检或误分类，暴露出纯语义驱动在开集感知上的脆弱性。与此同时，具备全天候测距及直接径向速度观测（多普勒效应）优势的毫米波雷达（RADAR），在自监督 4D 占用世界模型中长期被忽视。

针对上述矛盾，本文提出摒弃脆弱的开集文本提示语义标签，回归物理世界最本质的几何可通行性先验。核心 idea：将相机、LiDAR、RADAR 三模态深度整合为统一的输入与自监督闭环，利用图像单目法线/深度与 LiDAR 极坐标分块地面的纯几何互补性构建连续软标签，并利用 RADAR 多普勒速度自监督连续 3D 流场，训练免人工标注的 4D 连续时空世界模型。

方法详解

整体框架

TriO 采用编码器-隐式解码器架构，能够在连续 4D 时空坐标 \((x, y, z, t)\) 下查询并输出占用概率 \(o \in [0, 1]\)、障碍物分割概率 \(s \in [0, 1]\) 以及 3D 瞬时流场 \(\mathbf{f} \in \mathbb{R}^3\)。系统输入包含历史时序的相机单帧图像、多帧 LiDAR 点云序列和多帧 RADAR 目标测量值。

整体计算流分为多传感器特征编码、跨模态体素注意力融合、可变形注意力时空感受野聚合，以及隐式连续解码四个主要阶段。为监督该世界模型，框架在线构建三类纯几何与物理自监督伪标签：LiDAR 射线穿透生成的占用伪标签、图像-LiDAR 几何互补融合生成的连续障碍物软伪标签，以及 RADAR 多普勒速度投影生成的流场伪标签。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    In["多模态时空输入<br/>单目图像 + 多帧LiDAR + 多帧RADAR"] --> Enc["三模态解耦编码<br/>ResNet-50 视觉 + 稀疏体素 MLP 点云"]
    Enc --> VoxelAtt["跨模态体素注意力融合<br/>LiDAR稀疏特征跨层查询图像特征"]
    VoxelAtt --> DefAtt["可变形注意力空间稠密化<br/>多尺度特征体素大感受野聚合"]
    DefAtt --> Dec["隐式连续4D解码器<br/>时空坐标查询占用/障碍物/流场"]
    Dec --> Out["连续4D输出<br/>占用概率 o + 障碍物概率 s + 3D流场 f"]

关键设计

1. 三模态解耦编码与跨模态体素注意力融合：兼顾高分辨率语义与稀疏几何动态 现有方法通常仅在两两模态之间做浅层拼接，难以对齐视觉的高分辨率纹理与点云雷达的稀疏时序度量。TriO 针对不同物理特性设计了解耦编码机制：视觉侧采用预训练 ResNet-50 提取当前帧多尺度特征图 \(Z_c\)；LiDAR 与 RADAR 点云则分别拼接点级物理属性（LiDAR 的反射强度 \(i\) 与相对时步 \(\Delta t\)，RADAR 的径向多普勒速度 \(v_r\)、雷达散射截面积 \(\sigma\) 与 \(\Delta t\)），经由独立轻量 MLP 映射后体素化为稀疏 3D 特征 \(Z_{lr}\)。随后，在最粗体素分辨率尺度上利用体素注意力机制（Voxel-Attention）使 3D 稀疏体素查询并聚合 2D 图像特征，生成多尺度特征体 \([V_{2\times}, V_{4\times}, V_{8\times}, M_{16\times}]\)。最粗层特征稠密化后通过多层可变形注意力（Deformable Attention）扩大空间感受野，使网络能够在大范围场景下推断连续结构。

2. 图像-LiDAR 几何驱动软伪标签生成：摆脱脆弱语义提示的道路障碍物分割 针对开放集视觉分割器在长尾生僻障碍物上漏检率高、严重依赖文本提示的问题，本文提出无需语义标注的混合几何障碍物分割方案。在图像分支，利用单目深度估计大模型 Metric3Dv2 预测稠密公制度量深度、法向量场及置信度，根据几何法向平整度与连续性计算像素级路面障碍物概率 \(p_{\text{obst}}^{\text{image}}\) 与有效性置信度 \(p_{\text{valid}}^{\text{image}}\)；在 LiDAR 分支，基于 Patchwork++ 将点云划分为极坐标同心环补丁并拟合局部切平面，由点到平面的法向高程距离计算点级障碍物概率 \(p_{\text{obst}}^{\text{LiDAR}}\) 与置信度 \(p_{\text{valid}}^{\text{LiDAR}}\)。随后以置信度仲裁机制融合两模态优势：

\[ \mathbf{p}^{\text{comb}} = \begin{cases} \mathbf{p}^{\text{image}}, & \text{if } (p_{\text{valid}}^{\text{LiDAR}} < 0.5) \wedge (p_{\text{valid}}^{\text{image}} > p_{\text{valid}}^{\text{LiDAR}}) \\ \mathbf{p}^{\text{LiDAR}}, & \text{otherwise} \end{cases} \]

该设计使得系统在近距离及低矮平坦区域保持 LiDAR 的精准 3D 几何优势，同时借助图像的高分辨率法向感知捕获贴地小型异物，生成连续校准的软伪标签 \(\mathbf{p}^{\text{comb}} = [p_{\text{valid}}^{\text{comb}}, p_{\text{obst}}^{\text{comb}}]^\top\)。

3. RADAR 物理多普勒流场自监督：无标注下的连续 3D 瞬时速度学习 以往自监督场景流依赖相邻点云帧之间的场景流匹配或迭代最近点，在远距离与稀疏动态物体上误差显著。TriO 直接引入车载毫米波雷达测量得到的真实多普勒径向速度作为强物理先验。为滤除雷达散斑噪声与多路径虚警，首先筛选测量不确定度低于阈值的纯净点集 \(\mathcal{R}_{\text{clean}}\)。在自监督训练中，模型预测的连续 3D 流场 \(\mathbf{f}_{\theta, \text{flow}}(\mathbf{q})\) 首先扣除车辆自身瞬时自车速度 \(\mathbf{v}_{\text{sensor}}\) 获得相对流场，再将其正交投影到雷达观测方向的单位径向向量 \(\mathbf{d}_{\text{radar}}\) 上，直接与雷达标量多普勒读数 \(v_{\text{doppler}}\) 对齐：

\[ f_{\text{rad}}(\mathbf{q}) = \mathbf{d}_{\text{radar}} \cdot \left( \mathbf{f}_{\theta, \text{flow}}(\mathbf{q}) - \mathbf{v}_{\text{sensor}} \right) \]

这种基于物理投影的瞬时速度对齐，赋予了模型在无需光流或时序标注的前提下直接解耦动静环境与预测物体流场的能力。

损失函数 / 训练策略

模型采用多任务联合自监督损失端到端训练：

\[ \mathcal{L} = \lambda_1 \mathcal{L}_{\text{occ}} + \lambda_2 \mathcal{L}_{\text{flow}} + \lambda_3 \mathcal{L}_{\text{seg}} \]

1. 占用损失 \(\mathcal{L}_{\text{occ}}\)：在根据 LiDAR 射线构建的自由空间采样点集 \(\mathcal{O}^-\) 与表面后方占用采样点集 \(\mathcal{O}^+\) 上计算二值交叉熵（BCE）损失。
2. 障碍物分割损失 \(\mathcal{L}_{\text{seg}}\)：采用软目标加权焦点损失（Soft Focal Loss），由有效性置信度 \(p_{\text{valid}}^{\text{comb}}\) 动态加权软概率目标 \(p_{\text{obst}}^{\text{comb}}\)：

\[ \mathcal{L}_{\text{seg}} = \frac{1}{|\mathcal{Y}_{\text{seg}}|} \sum_{(\mathbf{q}, \mathbf{p}^{\text{comb}}) \in \mathcal{Y}_{\text{seg}}} \text{SFocalLoss}\left(f_{\theta, \text{seg}}(\mathbf{q}),\; p_{\text{obst}}^{\text{comb}}(\mathbf{q}),\; p_{\text{valid}}^{\text{comb}}(\mathbf{q})\right) \]

1. 瞬时流场损失 \(\mathcal{L}_{\text{flow}}\)：在纯净雷达目标集 \(\mathcal{R}_{\text{clean}}\) 上计算预测径向速度与实测多普勒速度的 \(L_1\) 偏差：

\[ \mathcal{L}_{\text{flow}} = \frac{1}{|\mathcal{R}_{\text{clean}}|} \sum_{\mathbf{q} \in \mathcal{R}_{\text{clean}}} \left| f_{\text{rad}}(\mathbf{q}) - v_{\text{doppler}} \right| \]

实验关键数据

主实验

论文在 Spotting the Unexpected (STU) 数据集上评估零样本道路障碍物感知能力（基模型在 AV2 上自监督训练，直接零样本迁移到 STU），并在 Argoverse 2 (AV2) 官方榜单上评测 4D 占用推演（以点云预测为代理任务）。

表1：STU 数据集上蒸馏后语义占用预测与伪标签质量评估

方法 / 伪标签源	监督模式	mIoU ↑	AP ↑	F1 ↑	Recall ↑
UnO (CSL)	纯LiDAR自监督	40.6	23.1	29.8	25.5
DiO (CSL)	纯LiDAR自监督	49.8	74.8	72.9	65.6
TriO (MCPP + SAM)	开集VLM文本蒸馏	27.9	25.7	27.5	24.0
TriO (GroundedSAM)	开集VLM文本蒸馏	50.4	50.1	52.1	54.8
TriO (OWLv2 + SAM)	开集VLM文本蒸馏	50.1	72.3	70.1	68.8
TriO (Patchwork++)	纯LiDAR几何蒸馏	39.4	74.8	70.8	59.5
TriO (ISL) (Ours)	纯图像几何软标签	41.8	57.1	53.7	59.9
TriO (CSL Hard) (Ours)	离散化硬融合标签	50.3	76.1	71.7	64.5
TriO (CSL Soft) (Ours)	双模态连续软标签	54.9	81.6	77.7	71.3

表2：Argoverse 2 官方榜单点云预测性能对比

模型	L1 (m) ↓	AbsRel (%) ↓	NFCD (\(m^2\)) ↓	CD (\(m^2\)) ↓
RayTracing	4.88	35.00	3.62	17.03
4D-Occ	3.22	19.00	2.45	72.74
Progressive ARM	2.32	13.00	1.81	71.41
UnO	2.24	12.00	0.86	8.10
DIO	2.11	11.00	0.85	13.96
TriO (Ours)	1.82	10.63	0.93	10.90

表3：Long Range RADAR (LRR) 数据集下游占用与流场微调性能（全域 vs 200m+ 远距离）

方法	全域 mAP ↑	全域 Soft-IoU ↑	全域 EPE ↓	200m+ mAP ↑	200m+ Soft-IoU ↑	200m+ EPE ↓
Implicit-O	49.1	22.6	5.69	29.5	10.7	10.2
UnO	51.6	21.2	4.92	27.2	8.30	8.29
DIO	58.0	31.5	3.01	36.2	13.8	4.40
TriO (Ours)	60.5	35.7	2.86	42.6	21.4	4.01

消融实验

表4：LRR 数据集上关键模块与模态消融实验

配置	全域 mAP ↑	全域 Soft-IoU ↑	全域 EPE ↓	200m+ mAP ↑	200m+ Soft-IoU ↑	200m+ EPE ↓	说明
TriO (完整模型)	60.5	35.7	2.86	42.6	21.4	4.01	完整三模态自监督模型
无自监督预训练	59.7	33.9	4.09	41.0	19.8	4.70	全域EPE恶化1.23，证明预训练对时空动态表征的关键性
无 RADAR 输入	57.7	31.9	3.04	34.5	14.3	4.59	远距离mAP骤降8.1，证明雷达对超视距感知的决定性
无相机输入	60.5	35.7	2.68	42.2	20.9	3.64	单帧相机缺乏时序信息，略微引入流场噪声但利于远距几何
无 RADAR 流损失	60.5	35.6	4.35	42.6	21.3	6.02	远距离EPE由4.01剧增至6.02，验证多普勒监督不可替代

关键发现

• 几何软伪标签超越开集文本 VLM：在 STU 罕见异物检测中，即使是带人工精确标注提示的 Oracle 开放集 VLM，其 mIoU 与召回率仍落后于基于纯几何的 CSL（CSL mIoU 达到 44.6，召回率高达 79.9%）。这证明利用法线和地面高程连续性比依赖文本嵌入匹配更加鲁棒。
• RADAR 决定超视距感知极限：在 200 米以外的超远距离场景中，去除 RADAR 输入导致占用 mAP 从 42.6% 骤跌至 34.5%，Soft-IoU 相对下降超 33%。毫米波雷达的长波长与多普勒测速在稀疏点云区域提供了不可替代的信噪比支撑。
• 样本利用效率提升 100 倍：在下游有监督微调实验中，经过 TriO 无监督预训练的模型仅需 100 帧有标注样本，即可达到竞争基线（如 ImplicitO-4D）使用 10,000 帧标注数据才能获得的 mAP 表现，实现了两个数量级的标注数据节省。

亮点与洞察

• 模态自监督闭环设计：将相机、LiDAR、RADAR 三者天然的物理互补性（密集外观法线、高精 3D 几何、全天候多普勒动态）统一收敛为自监督约束，彻底告别了传统对密集 3D 体素真值或昂贵人类边框的依赖。
• 连续软概率标签校准：相比传统阈值化硬掩码，TriO 将法线与平面置信度转化为连续软概率并配合 Soft Focal Loss，使隐式世界模型在模糊边界区域学会表达不确定度，显著提升了下游校准表现与 AP。
• 可迁移的物理先验范式：通过自车速度解耦与雷达视线向量投影计算相对多普勒速度的策略，完全可以泛化至无人机、具身四足机器人等搭载单雷达测速计的自监督流场学习系统。

局限与展望

• RADAR 仅用于流场而未参与占用监督：目前 RADAR 仅用于自监督瞬时速度向量，其本身的长距离穿透回波尚未被形式化为占用概率监督信号；未来需要突破多路径反射与鬼影干扰，构建基于雷达视线之外的占用逆传感模型。
• 单帧相机的动态表征限制：消融实验显示视觉编码器未引入多帧时序图像，缺少时序上下文导致在融合阶段略微增加了流场估计的残差方差。未来可引入时空视觉 Backbone 联合自监督学习。
• 评测基准规模待拓展：目前专注针对长尾障碍物的“任意物体感知”测试集规模相对有限（如 STU 仅 22 个标注序列），亟需构建覆盖雨雪雾等恶劣天气及极端异物的大规模开集道路评测基准。

相关工作与启发

• vs UnO (Agro et al., CVPR 2024) & DIO (Diehl et al., CVPR 2025)：UnO 与 DIO 开启了基于 LiDAR 射线投影的无监督连续隐式 4D 占用推演，但输入受限于纯 LiDAR，缺乏相机纹理法线与毫米波雷达速度感知。TriO 引入三模态融合，并在 4D 预测中增加了道路障碍物分割能力，在远距离与零样本异物场景中全面占优。
• vs 4D-Occ (Khurana et al., CVPR 2023)：4D-Occ 采用显式离散 4D 体素网格进行未来帧点云推演，受困于内存和显存瓶颈难以拓展高分辨率。TriO 采用隐式坐标解码器，计算复杂度与查询点数线性相关，表征精度与分辨率连续可调。
• vs 开放集检测/分割模型 (GroundedSAM / OWLv2 / SAM)：传统 2D 开集检测器依赖文本提示分类，在面对非预定义生僻道路异物时存在漏检盲区。TriO 不做细粒度语义分类，而是通过单目法线与点云切平面将任务收敛为路面/障碍物连续二值分割，展现出更强的开集几何泛化鲁棒性。

评分

• 新颖性: ⭐⭐⭐⭐⭐ 首次打通相机-LiDAR-毫米波雷达三模态在无监督 4D 占用世界的全闭环学习，融合多普勒投影与法线切平面的物理几何自监督构思巧妙。
• 实验充分度: ⭐⭐⭐⭐⭐ 涵盖 AV2 官方推演榜单、STU 零样本长尾异物感知、LRR 350m 超远距离评测及多模态逐项消融，并展示了 100 倍样本效率提升。
• 写作质量: ⭐⭐⭐⭐⭐ 结构逻辑严密，对为何舍弃脆弱语义标签而采用连续几何软标签的动机阐述深刻，实验支撑扎实。
• 价值: ⭐⭐⭐⭐⭐ 为自动驾驶端到端世界模型及具身智能长尾障碍物避障提供了兼具可扩展性与鲁棒性的无监督技术路径。

相关论文

• [ECCV 2026] RESOLVE: A Multi-Resolution and Multi-Modal Dataset for Roadside Cooperative Perception
• [CVPR 2026] SparseWorld-TC: Trajectory-Conditioned Sparse Occupancy World Model
• [ICLR 2026] Rethinking Driving World Model as Synthetic Data Generator for Perception Tasks
• [CVPR 2026] Unsupervised Multi-agent and Single-agent Perception from Cooperative Views
• [CVPR 2026] GaussianDWM: 3D Gaussian Driving World Model for Unified Scene Understanding and Multi-Modal Generation