BEV-GS: Feed-forward Gaussian Splatting in Bird’s-Eye-View for Road Reconstruction¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4436
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5897.pdf
代码: https://github.com/IRMVLab/BEV-GS
领域: 自动驾驶 / 道路表面重建
关键词: 鸟瞰视角、前馈高斯溅射、高程估计、几何纹理解耦、新视角合成

一句话总结¶

BEV-GS 把单帧道路重建从透视像素上的高斯预测改为规则 BEV 网格上的高程与纹理预测，在 RSRD 上获得 1.73 cm 高程平均绝对误差、28.36 dB 新视角 PSNR 和 26.3 FPS 参数预测速度，但单帧指推理输入，训练仍使用高程标签与双目图像监督。

研究背景与动机¶

对车辆而言，道路重建不仅要生成逼真的图片，还要知道车轮即将经过的路面在哪里隆起、哪里凹陷。透视深度估计再投影成点云可以提供几何，但点云缺少统一的空间组织，而且近处像素密集、远处像素稀疏。RoadBEV 直接在鸟瞰网格中预测高程，适合表达轮迹附近的路面起伏，却没有同时恢复道路颜色与纹理。

NeRF 和高斯溅射擅长外观重建，但 RoGS、EMIE-MAP 等道路建图方法依赖图像序列和逐场景优化，难以直接承担在线道路预瞄。Splatter Image、Flash3D 等前馈方法减少了测试时优化需求，不过按透视像素分配高斯仍会把有限的表示容量集中到近处；即使渲染器足够快，远处的几何误差与采样稀疏也会造成纹理错位。

本文选择利用道路这一特定对象的结构：车辆前方的局部路面可以在水平网格上用一个高程值描述，因此不必为通用场景学习任意分布的高斯中心。几何先确定路面的位置，纹理再沿着这一表面读取图像证据。核心 idea：在统一 BEV 网格中独立学习高程与外观，用预测高程对齐纹理查询，再把网格直接变成可渲染的高斯集合。

方法详解¶

整体框架¶

输入是一张道路 RGB 图像，输出是车辆前方局部道路的高程与可用于新视角合成的网格高斯。预定义区域宽 1.9 m、长 5.0 m，重点覆盖车辆未来经过的路面，而非整幅街景。视角转换依赖相机投影关系，新视角渲染另需目标相机位姿；“单帧”不意味着无需相机几何。

几何分支先在不同高度的锚点上查询透视图像特征，通过加权融合形成 BEV 表示，再预测高程。纹理分支使用独立编码器，把同一图像的纹理特征查询到这个已恢复的表面上，输出球谐系数。渲染模块将规则网格坐标、高程和球谐系数装配成高斯，按目标相机投影并合成图像；不需要每个新场景都执行高斯位置与密度优化。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    Input["单帧 RGB<br/>相机投影关系"] --> Geometry["高程感知几何解码"]
    Input --> Encoder["独立纹理编码器"]
    Geometry -->|预测高程| Texture["高程引导纹理查询"]
    Encoder --> Texture
    Geometry -->|网格中心| Gaussian["规则网格高斯渲染"]
    Texture -->|球谐系数| Gaussian
    Pose["目标相机位姿"] --> Gaussian
    Gaussian --> Output["新视角道路图像"]

关键设计¶

1. 高程感知几何解码：先选择有效高度特征，再分离整体偏移与局部起伏

几何编码器采用带预训练权重的简化 EfficientNet，输出原图 1/4 分辨率的特征。对于每个水平网格，模型沿高度设置多个锚点，把三维位置投影到图像特征图，再用双线性插值取样。由此形成的体素特征保留了“这个水平位置在不同高度时，对应图像中的什么证据”。这不是先预测整幅图的深度再转换成道路点云，而是直接围绕待重建的路面查询证据。

RoadBEV 把不同高度的特征直接拼到通道维，本文改用堆叠三维卷积生成高度权重，并沿高度做 softmax 后加权求和。这让 BEV 特征保留重要高度的信息，又不必让后续解码器一直处理膨胀的通道。以下将缓存式 (1) 按相邻文字整理为易读记法，\(g\) 为水平网格，\(a_{g,z}\) 为三维卷积输出的高度评分，\(F_{\mathrm{vox}}\) 为取样后的体素特征：

\[ F_{\mathrm{BEV}}(g)=\sum_{z=1}^{N_z^g}\frac{\exp(a_{g,z})}{\sum_{k=1}^{N_z^g}\exp(a_{g,k})}F_{\mathrm{vox}}(g,z). \]

后续几何解码器不是直接回归单一高程图。车辆俯仰会使固定相机参考面相对真实路面整体偏移，因此模型把输出拆为一个全局参考高程和一张局部偏移图。前者通过平均池化、MLP 和 Tanh 获得，后者先预测高程偏移分箱的概率，再取分箱高度的加权平均；分箱输出仍可形成连续高程，而非硬选某个高度类别。

\[ \widehat H(g)=\widehat H_{\mathrm{ref}}+\sum_{b=1}^{N_b}e_b\,\operatorname{softmax}(\ell_g)_b. \]

这里 \(e_b\) 是偏移分箱的高程，\(\ell_g\) 是网格的分箱 logits；该式按缓存式 (2) 与式 (3) 的文字说明合并整理，并非逐字符恢复损坏的公式。全局参考高程和局部偏移各自限制在 \([h_{\min}/2,h_{\max}/2]\)，二者之和覆盖完整高程范围。这个分工把相机运动引起的整体变化与坑洼等局部形状区别开，但论文的几何替换消融同时涉及多个改动，不能单独量化这一分解的贡献。

2. 高程引导纹理查询：让外观特征落到已预测的路面上

纹理编码器采用独立的简化 MobileNetV3，同样输出原图 1/4 分辨率的特征。几何要识别结构与起伏，纹理要保存颜色和细节，共享一个骨干可能让两种目标相互干扰。独立骨干不是把两个任务完全隔绝：几何输出仍通过三维投影决定纹理应从哪些像素读取，这种联系比共享所有中间特征更直接。

如果不知道路面高度，一个 BEV 网格需要从多个高度查询纹理，可能混入来自不同图像位置的信号。本文直接用预测高程确定网格的三维坐标，再投影到纹理特征图，每个网格只查询一次。纹理解码器及上采样层随后预测更密集的球谐系数；球谐阶数为 \(L=1\)，按 \(3(L+1)^2\) 的通道定义，每个位置共有 12 个颜色系数。它们提供随观察方向变化的 RGB 外观，而不是只把输入颜色原样贴到路面。

这里真正重要的是先对齐再解码：高程不只供最后放置高斯使用，还提前改变了纹理输入证据的位置。无高程引导消融保持相同的几何结果，却明显损害外观指标，说明收益来自更准确的纹理对应关系，不只是高斯数量更多。

3. 规则网格高斯渲染：把道路先验直接写进高斯的空间分布

高斯中心由规则网格的水平坐标和预测高程确定，颜色由纹理分支的球谐系数给出。前馈配置中，尺度设为 \([0.002,0.002,0.002]^T\)，旋转为单位矩阵，不透明度初始化为 1.0，因此初始高斯各向同性。与通用高斯重建不同，网络不必逐像素自由预测所有几何属性，也不依赖 COLMAP 点云初始化、增密或位置优化来填满道路区域。

这种约束使近远处在道路坐标系中获得均匀覆盖，缓解“远处像素少，所以远处高斯也少”的问题。它并不能恢复远处图像中本来不存在的细节，也只针对定义好的局部路面。渲染时，高斯投影到目标图像平面，按深度排序后进行透明度合成。缓存式 (5) 至式 (8) 的若干符号损坏，此处保留可由正文确认的机制，不补写协方差和合成公式。

论文还提供可选的测试时优化：以预测结果为初始化，仅用当前帧颜色损失更新颜色、旋转和不透明度。它不是默认前馈路径，也不能把其质量收益与前馈速度混为一谈。原文报告每次迭代 11 ms，约 60 次趋于收敛，对应约 660 ms 的额外迭代时间；该总时间是直接相乘的估算，不包含其他开销，缓存未提供可可靠读取的最终指标数值。

一个完整示例¶

考虑前方道路中有一个坑洼的输入图像，这是机制说明而非论文另报的测试样本。几何分支在 \(64\times164\) 个网格位置各查询 20 个高度锚点，先把相关高度的特征融合，再用全局参考高程和 40 个偏移分箱的概率预测局部凹陷。这样，坑底与周围平路不再被强行放在同一个水平面。

纹理分支用这些不同高程查询图像中的坑底、坑边和周围路面，解码球谐颜色后将其交给网格高斯。给定车辆向前运动后的目标位姿，渲染器生成道路预瞄图像；目标帧在推理时不作为网络输入。若几何把坑底估得过高，纹理查询与高斯投影都会发生错位，因此几何精度会沿着两个环节影响新视角质量。

损失函数 / 训练策略¶

几何损失的文字说明是只在有效高程标签网格上计算 smoothed L1；纹理损失结合 L1 和 SSIM，权重 \(\lambda=0.5\)，只监督实际被溅射覆盖的像素。缓存式 (9) 与式 (10) 的范数和运算符抽取不完整，因此不把无法确认的损失展开式当作原式，也不臆测未说明的梯度截断实现。原文明确两条分支可以分别训练，几何通过表面初始化和特征查询联系到纹理。

训练渲染监督使用 RSRD 的左右相机图像，而非只靠单目无监督信号。模型训练 50 个 epoch，使用 AdamW，batch size 为 8，最大学习率为 \(5\times10^{-4}\) 并线性衰减。几何与纹理特征通道数均为 128；几何网格间隔为 3 cm，高程范围为参考面上下各 20 cm。所有实验使用 NVIDIA A100，不能直接把报告速度当作车端硬件性能。

复现时还需留意一个尺寸歧义：实现段给出纹理网格 \(256\times656\)，是几何网格沿两轴各扩为 4 倍；方法段的球谐输出张量又写为 \(2N_x^t\times2N_y^t\)。缓存未明确这两个记法分别位于上采样前还是后，因此本笔记不推断最终高斯总数，也不补造高程映射到更密纹理网格时的插值实现。代码链接来自缓存摘要，本次未联网核验。

实验关键数据¶

主实验¶

RSRD 划分为 926 个训练样本和 285 个测试样本，输入分辨率为 \(528\times960\)。几何评价包含平均绝对高程误差 AAE、RMSE，以及绝对误差超过 5 mm 的网格比例，三者越低越好；正文有一处把平均绝对误差缩写写成 AEE，本笔记统一采用表格中的 AAE。透视深度基线先转换到 BEV 高程图再评价，相关几何基线均在 RSRD 上重训 50 个 epoch。

下表选取原文表 1 的代表性方法；RoadBEV 行在缓存中粘连，数值同时由原文结果段与表 4 交叉确认。

方法	AAE (cm) ↓	RMSE (cm) ↓	>5 mm (%) ↓
iDisc	2.70	2.89	86.3
Depth Anything V2	2.30	2.48	83.2
RoadBEV	1.93	2.16	83.4
BEV-GS	1.73	1.94	80.2

新视角合成按原文表 2 报告如下。PSNR 与 SSIM 越高越好，LPIPS 越低越好；图 5 的可视化将基线裁到相同道路区域，因此这些结果不应解读为整幅街景的重建能力。

方法	PSNR (dB) ↑	SSIM ↑	LPIPS ↓
Splatter Image	22.32	0.70	0.41
Flash3D	23.27	0.71	0.41
BEV-GS	28.36	0.77	0.14

原文表 3 报告 BEV-GS 参数量为 8M，预测速度 26.3 FPS，渲染速度 2061 FPS；二者是不同阶段的速度，不是端到端 2061 FPS。Splatter Image 的对应值为 56M、18.9 FPS、412 FPS，Flash3D 为 400M、6.3 FPS、96 FPS。仅做几何的 RoadBEV 为 26.8 FPS，因此本文不是比所有几何基线都快，其优势是小模型同时支持高程和外观。

消融实验¶

下表来自原文表 4。替换为 RoadBEV 指替换几何分支；无高程引导指移除纹理查询中的高程引导，并非不再预测高程。

配置	AAE (cm) ↓	RMSE (cm) ↓	>5 mm (%) ↓	PSNR (dB) ↑	SSIM ↑	LPIPS ↓
几何分支替换为 RoadBEV	1.93	2.16	83.4	26.75	0.58	0.20
几何与纹理共享骨干	1.89	2.13	82.1	24.90	0.48	0.28
纹理查询无高程引导	1.73	1.94	80.2	25.00	0.48	0.26
完整模型	1.73	1.94	80.2	28.36	0.77	0.14

关键发现¶

相对 RoadBEV，AAE 从 1.93 降到 1.73 cm，下降 0.20 cm，约 10.4%；RMSE 从 2.16 降到 1.94 cm，约降低 10.2%。引言提及的 RoadBEV 历史结果不是本表同协议基线，不能替换这里的 1.93 cm。
相对 Flash3D，PSNR 提高 5.09 dB，LPIPS 降低 0.27；共享骨干和移除高程引导分别使 PSNR 相对完整模型降低 3.46 dB 与 3.36 dB，说明任务解耦与几何对齐都重要。
去掉高程引导后 AAE 仍为 1.73 cm，但 SSIM 从 0.77 降到 0.48。这一对照直接支持“几何改善纹理查询”的解释，却不能说明所有增益都由几何误差下降产生。
原文把道路沿纵向分成 15 段，每段约 33 cm，报告各段均优于基线且最大分段误差控制在 2.5 cm 内；远处误差仍增大。缓存没有可可靠读取的逐段精确数值，因此不补出曲线数据。

亮点与洞察¶

表示方式本身就是先验。 规则道路网格把重建容量按地面面积分配，而不是按透视像素分配。对局部近似单值表面的任务，这比先生成任意高斯再额外约束其分布更直接。
解耦并不等于取消交互。 两个编码器分别学习结构与外观，但用高程建立明确的空间对应。可迁移的思路是让几何通过采样坐标服务外观任务，而非要求共享特征自动解决对齐。
评价同时观察几何与外观。 仅凭渲染变清晰无法判断坑洼高程是否更准确，本文分别报告二者。相反，厘米级几何误差也不保证纹理已经对齐，无高程引导消融给出了具体例子。

局限与展望¶

作者承认的数据边界： 验证数据全部来自晴天、良好照明，未覆盖恶劣天气或低照度夜间。跨天气测试与训练是原文明确的后续方向，而非本文已经验证的能力。
笔记分析的适用范围： 表示限定于车辆前方 1.9 m × 5.0 m 的局部路面、高程范围为上下各 20 cm，不能直接外推到整城建图、垂直结构或任意多层场景。扩大区域或改用多层表示都需要额外实验。
毫米精度仍不足： 完整模型仍有 80.2% 的网格误差超过 5 mm；1.73 cm 平均误差不等于达到毫米级路面测量。论文没有验证这些误差对悬架控制、安全决策或舒适性的实际影响。
监督与部署限制： 单帧推理依赖有标签高程和双目渲染训练，且速度在 A100 上测得。跨设备标定、跨域数据和端侧时延尚需测试，不能把方法称为无监督或已完成车载部署。
复现与归因限制： 几何替换消融未分开检验高度加权与参考面分解；缓存中的公式损坏和网格记法歧义也阻止确定全部实现细节。测试时优化没有完整可读的数值终点，本笔记不补造性能。

评分¶

新颖性: 4/5。把道路网格先验、高程引导查询和前馈高斯组合成完整方法，但建立在 RoadBEV 与既有 GS 框架上。
实验充分度: 3/5。几何、外观、速度与关键消融覆盖较好，但只有单一晴天数据集，缺少跨域与细粒度几何消融。
写作质量: 4/5。设计动机与双分支因果链清晰；纹理尺寸记法存在歧义，缓存公式抽取损坏另限制本次核验。
价值: 4/5。对在线道路预瞄和局部路面数字化有实际意义，但还不能把测量指标直接等同于车辆控制收益。