PointForward: Feedforward Driving Reconstruction through Point-Aligned Representations¶

会议: NeurIPS 2026
arXiv: 2605.11594
OpenReview: https://openreview.net/forum?id=yXM799qzPo
论文: Project Page
领域: 自动驾驶
关键词: 自动驾驶, 前馈重建, 3D高斯泼溅, 点对齐表征, 场景图

一句话总结¶

针对前馈 3D 高斯泼溅驾驶重建中逐像素预测引发的多视角几何冲突与层叠重影、以及密集流场建模动态物体导致的撕裂碎片化问题，PointForward 提出在世界空间中初始化稀疏 3D 查询以构建全局点对齐表征，结合 3D 边界框场景图将动态实例规范化并实现实例级运动传播，并通过几何与时序融合实现跨视角高度一致的单次前向动态驾驶场景重建。

研究背景与动机¶

自动驾驶系统的高保真场景重建对于闭环仿真测试、长尾感知评测和端到端自动驾驶规划验证至关重要。早期基于神经辐射场（NeRF）的城市街景重建方法虽然实现了逼真的照片级画质，但逐场景（per-scene）优化流程通常耗时数小时，且体素渲染采样计算代价昂贵；3D 高斯泼溅（3DGS）通过显式各向异性点基元与高度并行的可微光栅化技术，将渲染速度提升至实时，但传统的驾驶重建方案（如 Street Gaussians、DrivingGaussian、OmniRe）依然依赖逐场景离线数值优化，计算成本居高不下，难以规模化泛化到未见场景。

为了突破逐场景优化的效率瓶颈，近期以 STORM 和 DGGT 为代表的大规模数据驱动前馈 3DGS 方法受到了广泛关注。这些方法通过在大规模驾驶数据集上进行端到端预训练，能够在单次网络前向推理中直接预测场景的 3D 高斯基元，将重建时间从数小时缩减至亚秒级。然而，现有前馈驾驶重建范式普遍受制于两个根本性的结构缺陷：首先，主流方法主要采用逐像素（pixel-aligned）高斯预测范式，即高斯基元是从各个视角的输入图像像素中独立解码生成的。由于单目深度预测的不确定性以及多视角间推理的微小偏差，物理世界中的同一个空间点往往被不同视角预测到略微偏离的 3D 位置，导致三维空间中产生大量冗余基元与多视角几何冲突，在外插新视点下表现为严重的层叠重影（layering artifacts）与高频细节模糊；其次，现有前馈方法对动态场景的建模主要依赖于 2D 动态掩膜标注与像素级密集流场（dense flow）预测，独立预测逐高斯的 3D 运动矢量。2D 掩膜难以精准贴合复杂三维几何边界，且像素级独立流场缺乏全局刚体一致性约束，极易引发运动碎裂和时间维度的几何不连贯。

为了从根本上消除像素级预测的冗余与动态流场的碎片化，必须将场景表征从 2D 像素反投影网格解耦，回归到具有显式三维几何语义的全局点空间中。核心 idea：摒弃逐像素高斯预测，在世界坐标系下初始化稀疏 3D 查询以建立点对齐全局表征，引入 3D 边界框场景图将动态实例解耦至规范空间实现实例级刚体运动传播，并通过几何深度残差与时序寿命融合实现跨视角强一致的单次前向动态驾驶场景重建。

方法详解¶

整体框架¶

PointForward 的整体流程分为四个紧密协作的阶段：首先利用多视角环视图像和单目/LiDAR 几何先验在世界坐标系中构建稀疏 3D 查询；随后借助 3D 边界框构建场景图，将动态前景与静态背景彻底解耦，并将动态查询规范化至基准坐标系；紧接着，空间-时序融合模块将各查询投影至输入图像，结合绝对深度残差与时序寿命注意力聚合全局特征；最后，将更新后的查询解码为 3D 高斯基元的高维特征与几何属性，通过可微高斯光栅化与轻量 UNet 神经解码器渲染出目标时间戳的高保真图像。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多视角环视图像与单目/LiDAR深度"] --> B["稀疏 3D 查询构建与点对齐表征"]
    B --> C["基于 3D 边界框的场景图动态规范化"]
    C --> D["几何引导与时序加权的空间-时序融合"]
    D --> E["特征高斯光栅化与时序寿命衰减"]
    E --> F["高保真驾驶场景图像渲染与外插合成"]

关键设计¶

1. 稀疏 3D 查询构建与点对齐表征：从逐像素升维到世界空间全局锚点

针对逐像素高斯预测中跨视角同一物理点重复生成、导致大量冗余基元和层叠重影的痛点，PointForward 采用稀疏 3D 查询作为场景表征的基础单元。给定 $V$ 个视角的输入图像 $\mathcal{I} = \{I_i\}_{i=1}^V$，系统首先通过微调的 EfficientNetV2 提取图像特征图 $\mathbf{F}_i \in \mathbb{R}^{H \times W \times C}$，并通过冻结的单目深度估计模型 InfiniDepth 获取稠密深度图 $\mathbf{D}_i \in \mathbb{R}^{H \times W}$（有 LiDAR 条件下可结合稀疏点云深度）。

随后，利用相机内外参将像素反投影提升至 3D 空间，构建初始稠密查询集合 $\mathcal{Q}_0$。每个查询 $\mathbf{q}$ 包含其 3D 空间坐标 $\mathbf{p} \in \mathbb{R}^3$、RGB 颜色以及 6 维 Plücker 光线坐标。为了消除冗余并降低计算负担，系统在动态场景图解耦后对静态背景和动态实例进行自适应稀疏采样，最终获得包含 $N_s$ 个静态查询与每个动态实例 $N_d$ 个动态查询的全局点对齐查询集 $\mathcal{Q} = \mathcal{Q}_s \cup \mathcal{Q}_d$。这种设计使得场景基元直接以三维点为物理锚点，从源头上杜绝了不同视角的独立重叠生成。

2. 基于 3D 边界框的场景图动态规范化：解耦动静要素并保持实例时序一致

针对密集流场预测中 2D 掩膜边界粗糙、逐点流场缺乏刚体约束导致运动撕裂的难题，PointForward 引入了基于 3D 边界框的显式场景图（Scene Graph）建模范式。对于场景中检测或跟踪到的 $O$ 个动态目标，每个实例 $i$ 包含一系列按时序排列的 3D 边界框 $\mathcal{B}_i = \{\mathbf{b}_{i,j}\}_{j=1}^{B_i}$。以最早时间戳对应的框 $\mathbf{b}_{i,1}$ 作为基准框定义该目标的规范空间（canonical space）。

当查询点的空间坐标 $\mathbf{p}$ 落在实例 $i$ 的任意 3D 边界框内部时，该查询被标记为动态查询，并通过刚体旋转矩阵与平移矢量变换到统一的规范空间： $$\tilde{\mathbf{p}} = (\mathbf{p} - \mathbf{c}_{i,j}) (\mathbf{R}_{i,j}^\mathcal{B})^\top \mathbf{R}_{i,1}^\mathcal{B} + \mathbf{c}_{i,1}$$ 其中 $\mathbf{c}_{i,j}$ 与 $\mathbf{R}_{i,j}^\mathcal{B}$ 分别为边界框的中心与旋转姿态。经规范化后，同一动态实例在不同时刻的观测被映射到一致的物体中心坐标系中，消除了自车运动与目标物自身刚体运动带来的时序畸变；在渲染指定时间戳 $t'$ 时，仅需将动态基元按目标位姿逆向映射回世界空间，实现了实例级刚体运动传播与无伪影时序追踪。

3. 几何引导与时序加权的空间-时序融合：结合绝对深度差与自适应跨视角加权

将 3D 查询投影至各视角图像采样时，由于透视遮挡、视锥边界截断以及动态掩膜遮挡，单张图像特征往往存在噪声或语义不匹配。PointForward 提出融合几何几何残差与时序相关性的空间-时序特征聚合模块。首先将 3D 查询投影回所有输入视角采样图像特征 $\mathbf{f}_i$，并计算查询本身深度与单目预测深度图的绝对差值 $d_i$。几何可靠的可见视角其 $d_i$ 极小，因此通过 MLP 联合编码特征与几何残差： $$\mathbf{f}_{s,i} = \phi\left(\left[\phi(\mathbf{f}_i); \phi(d_i)\right]\right)$$ 针对动态时序连续性，模块将查询初始特征 $\mathbf{f}_q$ 与空间特征点乘，结合时间戳一致性构造时序特征向量 $\mathbf{f}_{t,i}$，并通过 Softmax 自适应计算视角融合权重 $\omega_i$，加权求和得到融合特征 $\mathbf{f} = \sum_{i=1}^V \omega_i \mathbf{f}_{t,i}$。同时，跨视角特征聚合预测出每个查询的高斯寿命参数 $\sigma = \phi_v\left(\left[\phi_c(\mathbf{f}_{t,1}), \dots, \phi_c(\mathbf{f}_{t,V})\right]\right)$，最终输出更新后的高维查询表征 $\mathbf{q}'$。

4. 特征高斯光栅化与时序寿命衰减：高维神经渲染与高斯生命周期平滑建模

为了实现连续时间上的平滑渲染并避免离散高斯突兀闪烁，PointForward 将更新后的查询 $\mathbf{q}'$ 解码为 3D 高斯基元属性，包括中心坐标偏移量 $\boldsymbol{\mu}$、旋转四元数 $\mathbf{r}$、尺度因子 $\mathbf{s}$、初始不透明度 $o$ 以及 $N_c = 128$ 维高维颜色特征 $\mathbf{c}$。在任意目标时间戳 $t'$ 进行渲染时，基元的不透明度依据其寿命参数 $\sigma$ 进行高斯衰减： $$o_{t'} = o \cdot \exp\left(-\frac{1}{2}\left(\frac{t' - t}{\sigma + 1}\right)^2\right)$$ 该衰减机制使临时出现的遮挡物或视锥进出物体平滑过渡。此外，传统 3DGS 直接光栅化 RGB 容易受到视角依赖光照变化的干扰，PointForward 借鉴神经特征渲染思想，首先通过差分光栅化渲染出 128 通道的空间特征图，随后输入轻量级多层 UNet 神经解码器输出最终 3 通道高保真 RGB 图像，大幅增强了反射高光与细粒度阴影的恢复能力。

损失函数 / 训练策略¶

模型端到端训练的损失函数由逐像素 $\ell_1$ 重构损失与 LPIPS 感知损失共同组成： $$\mathcal{L} = \mathcal{L}_{\ell_1} + \lambda \mathcal{L}_{\text{LPIPS}}$$ 实验中感知损失权重设为 $\lambda = 0.2$。训练在 8 张 NVIDIA H20 GPU 上进行，总迭代步数为 45K，全局批大小为 8，采用 AdamW 优化器，基础学习率为 $5 \times 10^{-4}$，配合前 2K 步的线性预热与余弦衰减调度。为增强多尺度泛化并兼顾显存，输入图像采用 $576 \times 768$ 裁剪，并在 $350 \times 518$、$576 \times 768$ 和 $700 \times 1036$ 三种分辨率间随机多尺度采样监督。采样超参数设置为静态查询数 $N_s = 100\text{K}$，每个动态目标查询数 $N_d = 10\text{K}$，高斯特征通道数 $N_c = 128$。模型首先在 Waymo 数据集上从零训练，在迁移至 nuScenes 时基于 Waymo 权重进行微调。

实验关键数据¶

主实验¶

在 Waymo Open Dataset 上，PointForward 与主流逐场景优化基线和 SOTA 前馈重建方法（STORM、DGGT）进行了全面对比。测试涵盖动态区域局部指标（Dynamic Only）以及整幅画面指标（Full Image）：

方法	类别	Dynamic PSNR↑	Dynamic SSIM↑	Dynamic D-RMSE↓	Full PSNR↑	Full SSIM↑	Full D-RMSE↓
EmerNeRF	逐场景优化	17.79	0.255	40.88	24.51	0.738	33.99
3DGS	逐场景优化	17.13	0.267	13.88	25.13	0.741	19.68
PVG	逐场景优化	15.51	0.128	15.91	22.38	0.661	13.01
DeformableGS	逐场景优化	17.10	0.266	12.14	25.29	0.761	14.79
Depth Anything 3	前馈通用	15.96	0.429	12.20	23.27	0.686	11.66
AnySplat	前馈通用	15.99	0.418	10.45	23.32	0.687	10.31
STORM	前馈驾驶	22.10	0.624	7.50	26.38	0.794	5.48
DGGT	前馈驾驶	22.80	0.651	6.55	27.41	0.846	3.47
PointForward (Ours)	前馈驾驶	25.01	0.768	6.07	28.48	0.861	3.35

为了评估跨场景与跨传感器域的泛化能力，模型在 nuScenes 数据集上测试了零样本（Zero-Shot）迁移与微调（Fine-Tuning）性能：

方法	Zero-Shot PSNR↑	Zero-Shot SSIM↑	Fine-Tuning PSNR↑	Fine-Tuning SSIM↑
STORM	17.77	0.669	24.54	0.784
DGGT	25.31	0.794	26.63	0.813
PointForward (Ours)	26.54	0.821	27.50	0.826

在极具挑战的外插视点（Extrapolated View，沿前向视角侧向平移不同距离）合成测试中，PointForward 表现出极强的几何保真度，FID（越低越优）大幅超越现有基线：

侧向偏移距离 (Shift)	STORM	DGGT	PointForward (Ours)	相对 DGGT 改善
1 m	47.31	49.51	16.95	-32.56
2 m	63.09	61.35	25.80	-35.55
3 m	81.54	77.51	33.71	-43.80
4 m	102.19	96.96	42.63	-54.33
6 m	140.17	139.79	65.99	-73.80

消融实验¶

在 Waymo 数据集上验证各个核心组件对最终重构质量的影响：

配置	PSNR↑	SSIM↑	说明
完整模型 (Ours)	28.48	0.861	包含完整点对齐、几何深度残差、时序加权与寿命衰减
去掉时序加权融合 (w/o weighted fusion)	28.01	0.851	替换为简单的多视角均值池化，PSNR 下降 0.47 dB
去掉深度感知融合 (w/o depth-aware fusion)	28.28	0.855	不注入绝对深度差 $d_i$，缺乏遮挡与深度一致性过滤
去掉高斯寿命衰减 (w/o lifespan)	27.56	0.840	缺失时变不透明度调制，动态过渡出现突兀闪烁
去掉 LiDAR 深度输入 (w/o LiDAR depth)	28.00	0.847	仅使用纯单目几何模型 MoGe-2 预测深度，性能仍显著优于 DGGT

关键发现¶

动态区域重构取得飞跃式提升：在 Waymo 动态区域评测上，PointForward 达到 25.01 dB PSNR，相比此前最强前馈基准 DGGT（22.80 dB）大幅提升了 2.21 dB，SSIM 提升 0.117。这证明了基于 3D 边界框的场景图规范化能有效维护动态车辆的完整刚体结构，消除了逐像素流场中常见的车体撕裂和拉伸变形。
大位移视点外插鲁棒性突出：在平移 3 米和 6 米的外插视点测试中，PointForward 的 FID 分别仅为 33.71 与 65.99，不到 DGGT（77.51 / 139.79）的一半。逐像素预测在高基线下视点外插时会暴露大量错位的悬空多层高斯点，而点对齐表征保留了真实的 3D 几何拓扑，车道标线与车辆几何边界平整清晰。
纯视觉无 LiDAR 依赖依然强势：即使在完全不输入真实 LiDAR 深度、仅使用单目深度模型（MoGe-2）推测几何的情况下，PointForward 依然取得 28.00 dB PSNR，超出全监督下的 DGGT（27.41 dB）近 0.6 dB，展现出对传感器配置与几何先验噪声的高度鲁棒性。

亮点与洞察¶

从 2D 像素升维到 3D 空间全局查询：过去前馈重建模型受限于 2D-to-3D 反投影的逐像素范式，不可避免地继承了视锥重叠区域的冗余与多层重影；PointForward 借鉴 Sparse4D 等 3D 感知算法思想，将场景表征锚定于世界坐标系中的稀疏查询，以点对齐的方式自然保证了跨视角一致性。
3D 边界框与规范空间的低成本场景图融合：在动态建模上，不盲目追求复杂的全场景 4D 稠密流场，而是充分利用自动驾驶中成熟易得的 3D 目标检测框先验，将运动建模简化为规范空间刚体位姿变换，以简洁高效的结构化约束取得了优于无约束稠密流场的质量。
残差几何感知跨视角特征注意力：通过计算查询投影视差与单目表面深度的绝对差值 $d_i$，为模型提供了显式的遮挡剔除与可信度指标，使得时序特征池化能够自适应抑制遮挡视角和背向视角的错误特征。

局限与展望¶

高度非刚性动态物体建模不足：当前基于 3D 边界框的规范空间变换主要适用于汽车等刚体车辆；对于行人、骑行者等具有复杂肢体形变与非刚性动作的目标，刚体假设会失效，导致局部肢体重建模糊。
对初始 3D 检测框依赖性较强：动态实例的解耦与运动传播严重依赖于输入的 3D 目标检测框精度，若检测框存在漏检或尺寸漂移，可能导致部分前景物体遗留在静态背景中产生轨迹伪影。
未来方向：探索与 SMPL 等人体参数化模型或局部形变场结合的混合场景图，以覆盖更广泛的非刚性交通参与者，同时推进端到端联合优化 3D 检测追踪与点对齐重建的统一世界模型架构。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次将自动驾驶稀疏 3D 查询与场景图思想引入前馈 3DGS 驾驶重建，开创了点对齐的前馈新范式。
实验充分度: ⭐⭐⭐⭐⭐ 在 Waymo 与 nuScenes 两个主流基准上进行了全图、动态、新视角外插及详尽的消融实验，论据坚实。
写作质量: ⭐⭐⭐⭐⭐ 动机阐述逻辑严密，数学符号与公式推导清晰严谨，图表完备详实。
价值: ⭐⭐⭐⭐⭐ 为自动驾驶闭环仿真、神经世界模型以及实时前馈大场景重建提供了兼具速度与高几何一致性的优雅方案。