EAGS: Error-Aware Gaussian Splatting with Dual-Confidence-Guided Modeling for Uncalibrated Driving Scenes¶

会议: ECCV2026
论文: https://eccv.ecva.net/virtual/2026/poster/4526
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/6344.pdf
领域: 模型压缩
关键词: 高斯剪枝、双置信度、误差感知生成、高斯蒸馏、驾驶场景重建

一句话总结¶

EAGS 把未标定驾驶图像的前馈 3D Gaussian Splatting 重建改成“根据残差补点、根据几何可靠性保留”的过程，以蒸馏约束剪枝后的表示，在 Waymo 上取得 28.02 dB PSNR、平均每视角 49,556 个高斯，而 DGGT 为 27.41 dB、152,292 个。

研究背景与动机¶

驾驶视频的相邻帧大量重叠，但逐像素预测高斯的前馈方法往往仍为每一帧生成一整套表示。同一块路面或建筑因此被反复描述，深度和位姿的小误差又使这些高斯无法准确重合，最终表现为漂浮物、重影和跨视角不一致。DGGT 等方法已经能够处理未标定输入，但“无需外部位姿”和“知道哪些几何已经重建好”是两个不同问题；前者并不会自然消除重复生成。

体素方法通过把邻近观测放进共同的三维单元缓解冗余，却要面对分辨率和计算成本的约束。另一种直接做法是给高斯打分后剪枝，但“当前画面很需要它”和“它值得长期保留”并不等价：一个深度不可靠的高斯可能暂时补好纹理，却在下一视角变成伪影；可靠背景则应该跨帧复用，不能每次重新生成。更棘手的是，原始渲染依赖整组高斯共同拟合，删掉低分点也可能破坏这种协作。

EAGS 因而同时处理生成、寿命和压缩后的质量，而不是只在最后减少数量。核心 idea：用重投影误差判断当前是否需要补点，再用深度可靠性和时间衰减区分临时补偿与长期骨干，并让剪枝后的高斯学习复现完整集合的静态渲染。

方法详解¶

整体框架¶

输入是一组没有给定相机标定参数的驾驶图像，输出是可以渲染新视角的紧凑高斯表示。EAGS 沿用 VGGT 的几何编码思路：DINOv2 提取图像 token，交替进行帧内与跨帧注意力，再由共享特征预测相机参数、深度和动态掩码；深度与相机参数共同把像素反投影为高斯中心，第一相机坐标系作为统一参考。这里的“未标定”指输入不要求外部相机位姿，不意味着训练不使用深度或动态区域监督。

真正新增的管理流程依次是误差感知生成、双置信度寿命管理、置信度剪枝与蒸馏。首帧建立初始表示，后续帧把历史静态骨干投影到当前视角，用残差决定补充哪些高斯；静态点经聚合和剪枝更新可复用骨干，动态点只做单帧聚合，不积累成长期背景。训练时完整集合与剪枝集合都参与渲染，以便把信息集中到最终保留下来的点上。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["未标定图像序列"] --> B["几何编码与预测<br/>相机、深度、动态掩码"]
    B --> C["误差感知生成"]
    H["历史静态骨干渲染"] --> C
    C --> D["双置信度寿命管理"]
    D --> E["置信度剪枝与蒸馏"]
    E --> F["紧凑静态骨干<br/>与单帧动态高斯"]
    F -.-> H

关键设计¶

1. 误差感知生成：先检查历史表示缺什么，再决定当前补什么

普通逐像素生成器只看当前图像，难以区分“纹理复杂但已经重建好的区域”和“外观普通却尚未覆盖的区域”。EAGS 先用已有高斯渲染当前视角，再同时比较图像颜色与 Sobel 梯度的差异：颜色残差反映整体拟合不足，梯度差异有助于指出边缘与细节缺失。由三个卷积层组成的误差编码器把这些差异转为特征，与 DINO 特征、几何骨干特征一起送入 DPT 高斯预测头，联合预测高斯属性和生成置信度。

生成置信度记为 \(C_g\)，回答的是“相对于已经存在的场景，当前像素是否还值得新增高斯”，而不是普通的物体存在概率。训练通过二值化与稀疏约束减少含糊的中间值，推动网络选择性生成。首帧没有历史可比较，所以显式把生成置信度设为 1、有效性掩码设为 0；后续帧把有效性掩码设为 1，提醒同一预测头切换到残差驱动的补点模式。这样不需要另建一套首帧网络，也避免把首帧的大面积缺失误当成特殊内容特征。

2. 双置信度寿命管理：当前需要的点不一定应该成为长期背景

仅按生成置信度保留高斯，会把用于临时外观补偿的点当作可靠三维结构。EAGS 再引入复用置信度：先用深度置信度调节生成置信度，原文明确给出的几何调制项为

\[ C_g\bigl(\gamma+(1-\gamma)C_{\mathrm{depth}}\bigr). \]

其中 \(C_{\mathrm{depth}}\) 越高，表示深度越可靠；\(\gamma\) 提供一个保底因子，使几何暂时不确定但当前确实需要的点不会立刻完全失效。随后按创建时刻到当前帧的时间差衰减复用置信度：初始复用价值高的点衰减慢，低的点衰减快。渲染时以当前复用置信度乘原始不透明度，逐渐减弱临时点的影响，而不是等到一次硬删除才突然消失。缓存中的完整寿命公式提取不全，因此这里仅保留清楚可核实的调制项，不猜补衰减率的具体插值表达式。

两种置信度把候选点分成不同角色：生成需求高且深度可靠的点适合成为骨干；需求高但深度不可靠的点用于短期补偿；需求低但几何可靠的点通常是已覆盖区域的冗余描述；两者都缺乏支持的点更接近噪声。动态掩码还决定复用边界：静态区域可以跨帧积累，动态区域只在当前帧压缩。这样避免把移动对象的旧位置当成持久背景，同时也意味着方法没有真正建立跨帧动态对象轨迹。

3. 置信度剪枝与蒸馏：不仅删点，还训练剩余点承接被删信息

按需生成仍无法完全阻止不同帧对同一区域产生重复描述，因此 EAGS 将空间邻近高斯聚成体素簇，在每簇内按复用置信度归一化加权，融合激活前的高斯特征。体素聚合解决“同一位置多份描述”的问题，但一簇整体都不可靠时，仅做平均仍会留下冗余，所以还要对置信度施加门控。原文的可微剪枝掩码为

\[ M_{\mathrm{prune}}=\operatorname{Sigmoid}\bigl(s(C_r^t-\tau)\bigr),\qquad s=5,\quad \tau=0.7. \]

这里 \(C_r^t\) 是当前复用置信度，\(s\) 控制软门的陡峭程度，\(\tau\) 是剪枝阈值。训练保留连续门控，让置信度可以获得梯度；推理再换成固定阈值的硬剪枝。静态区域执行跨帧聚合与门控，动态区域仅作单帧体素聚合，避免在缺乏稳定跟踪时积累错位。

压缩的关键不是“置信度低就没有用”：若颜色、不透明度和置信度已经共同适配完整集合，低置信度点仍可能承担重要渲染作用。高斯蒸馏因此让剪枝集合的渲染靠近完整集合的渲染，并对完整渲染分支停止梯度；监督只落在静态掩码内，要求紧凑骨干学会承担原来由更多点分担的信息。这不是把大网络参数迁移到小网络，而是在同一模型中约束完整与稀疏场景表示的功能一致性。原文的消融也说明，直接让剪枝结果拟合真实图像并非等价替代：模型容易把所有置信度抬高，退回稠密逐像素生成。

一个完整示例¶

可以用车辆行驶时逐渐露出的路边建筑理解流程，以下是机制示意，不是新增实验。第 1 帧先初始化高斯；第 2 帧把已有静态骨干渲染到新的相机位置，已经解释好的墙面残差小，新露出的墙角和边缘残差大，因此主要在后者补点。若墙角深度可靠，新点可缓慢衰减并进入长期骨干；若某处只是深度不确定导致的临时补偿，其影响会较快减弱。

同一块墙面被多个视角补出的邻近点随后在体素内聚合，并通过门控压缩。若前景车辆属于动态区域，它只保留当前帧的表示，不把旧位置写进静态骨干；车辆移动后露出的背景可由后续观测补全。蒸馏则要求剪枝后仍尽量重现完整集合已经学会的静态外观，使少量点不是靠牺牲整片纹理来换取压缩。

损失函数 / 训练策略¶

训练包含四类目标：完整渲染对真实图像的 L1 与 LPIPS 重建损失；动态掩码的二元交叉熵与沿用 VGGT 的深度回归损失；生成置信度的二值化、稀疏约束及深度引导正则；剪枝集合对完整集合的静态区域渲染蒸馏。深度引导项对深度置信度停止梯度，避免模型通过人为降低几何可靠性来绕开压缩压力。缓存的损失公式存在符号缺失，正文还提到单独的 L1 稀疏项，因此不能据此声称已恢复可直接复现的完整损失权重配置。

模型使用 AdamW 和余弦学习率调度，文中给出的预测头学习率为 \(5\times10^{-5}\)。训练每次取 4 张图像、相隔 5 帧，分辨率为 \(518\times294\)；动态监督由 SegFormer 细化，使用两张 RTX 4090 训练 4 个 epoch。几何调制参数 \(\gamma=0.6\)，寿命衰减率范围端点为 \(\sigma_{\min}=0.05\) 和 \(\sigma_{\max}=1.5\)；评测使用单张 A100。这是数据集级训练后的前馈重建，不是每个测试场景重新优化。

实验关键数据¶

主实验¶

Waymo 使用 798 个训练场景、202 个测试场景，以 4 个输入帧重建，并在插值产生的中间帧上评估新视角合成。PSNR 越高越好，SSIM 越高越好，深度均方根误差 D-RMSE 越低越好；PGS 是平均每视角高斯数，越低表示每视角表示更紧凑，不是整段序列高斯总数。下表来自原文 Table 1；时间列是论文报告的推理时间，不能直接当成渲染 FPS。

Waymo 方法	无需输入位姿	PSNR ↑ / dB	SSIM ↑	D-RMSE ↓	PGS ↓	推理时间 ↓ / s
STORM	否	26.38	0.794	5.48	152292	0.18
UniSplat	否	27.82	0.830	未报告	103984	0.18
DGGT	是	27.41	0.846	3.47	152292	0.39
VGGT++	是	22.50	0.749	3.80	152292	0.24
EAGS	是	28.02	0.849	3.44	49556	0.16

相对同样无需输入位姿的 DGGT，EAGS 的 PSNR 增加 0.61 dB，PGS 减少约 67.46%，报告的推理时间由 0.39 s 降至 0.16 s。相对 UniSplat，PSNR 优势只有 0.20 dB，不能把紧凑性优势表述成画质大幅领先；不同方法是否使用输入位姿也应保留在比较中。

零样本实验均在 Waymo 训练后直接测试，不在目标数据集微调。下表摘录原文 Table 2 中较强的 DGGT 基线与 EAGS；LPIPS 是感知距离，越低越好。

零样本数据集	方法	PSNR ↑ / dB	SSIM ↑	LPIPS ↓
nuScenes	DGGT	25.31	0.794	0.152
nuScenes	EAGS	26.14	0.813	0.159
Argoverse2	DGGT	26.34	0.812	0.155
Argoverse2	EAGS	27.41	0.825	0.150

EAGS 在 nuScenes 的 PSNR 提高 0.83 dB，但 LPIPS 从 0.152 变为 0.159，反而更差；Argoverse2 的三项指标才都优于 DGGT。原文对零样本最优的概括因此不能理解为每项指标均领先。

消融实验¶

以下来自 Waymo 的 Table 3，完整模型采用 4 个输入帧。所有去模块结果均应同时看质量和 PGS：更少的点不自动代表更有效的压缩。

配置	PSNR ↑ / dB	SSIM ↑	LPIPS ↓	PGS ↓
去掉软门控	27.43	0.812	0.169	89806
去掉体素聚合	27.18	0.801	0.171	104434
去掉深度引导正则	27.83	0.834	0.167	62121
去掉高斯蒸馏	13.04	0.464	0.437	26201
去掉误差编码器	26.95	0.787	0.174	80229
完整模型	28.02	0.849	0.157	49556

关键发现¶

高斯蒸馏是质量约束的关键。去掉后 PGS 虽降至 26,201，PSNR 却下降 14.98 dB，说明不约束剪枝前后功能一致性会得到“很小但失效”的表示。
误差反馈同时影响质量和稀疏性。去掉误差编码器后 PSNR 下降 1.07 dB，PGS 升至 80,229，支持“只看当前图像难以判断已有覆盖”的解释。
更长输入不保证画质单调提升。原文 8 帧为 28.32 dB、PGS 42,836，16 帧为 28.11 dB、PGS 38,794；平均每视角数量下降不能证明总内存不增长。
随机以 20% 概率翻转动态掩码时，论文报告 PSNR 仅下降 0.12 dB。这支持对该合成扰动的容忍度，不等于覆盖所有真实分割错误。

亮点与洞察¶

把生成价值与复用价值分开，比给高斯一个通用“重要性分数”更贴近视频重建。残差说明当前哪里缺信息，深度与时间则说明这些信息能否跨视角保留。
压缩不是末端独立操作，而是训练目标的一部分。蒸馏让骨干在删除发生前就学习承担完整表示的渲染功能，解释了为何简单按置信度删除会失效。
静态与动态区域采用不同复用范围，是一个明确的工程取舍。它避免错误的长期动态积累，但没有把这种稳健性包装成完整动态跟踪能力。

局限与展望¶

作者明确指出，动态对象目前只做单帧去冗余，跨帧时空关联留待后续工作。因此紧凑长期骨干主要针对静态场景部分。
实验以低分辨率驾驶图像为主，长序列分析也只给出有限输入长度。尚不能据此确认全分辨率、持续在线运行时的总内存和累计延迟。
nuScenes 的 LPIPS 不如 DGGT，说明像素级和结构性指标提升未完全转化为感知距离优势；结果应逐指标阅读。
本地全文缓存中若干公式存在提取缺字，尤其是寿命衰减、稀疏损失和蒸馏损失。复现时应查阅原始 PDF 核实公式与权重，本文不将推测补全当作论文定义。

评分¶

新颖性: 4/5。将按需生成和持久复用分开，并与表示蒸馏闭环结合，问题定义比单纯剪枝更完整。
实验充分度: 4/5。包含主数据集、零样本迁移、多项消融和掩码扰动，但缺少更长期资源曲线与不确定性统计。
写作质量: 3/5。整体机制易于把握，但缓存公式不完整，且零样本最优的概述需要用表格限定。
价值: 4/5。对需要控制高斯规模的前馈驾驶重建有实际参考价值，收益应与评测分辨率和动态建模边界一起理解。