Auto3R: Automated 3D Reconstruction and Scanning via Data-driven Uncertainty Quantification¶

会议: ECCV2026
论文: ECCV 原文
项目: Auto3R
领域: 3D 视觉
关键词: 主动重建、不确定性量化、高斯泼溅、深度可靠性、扫描路径规划

一句话总结¶

Auto3R 从当前三维模型的颜色与深度渲染中学习预测不确定性，再用深度加权和可靠性重加权选择下一扫描视角，在 Objaverse 的最终 20 视图设置下取得平均 PSNR 27.00 dB，并将视角选择扩展到机器人连续扫描路径。

研究背景与动机¶

三维高斯泼溅（3D Gaussian Splatting，3DGS）可以快速拟合照片并渲染新视角，但它并不自动回答相机下一步应该去哪里。如果输入照片反复覆盖正面，背面凹槽、遮挡后的结构或强反光区域仍可能重建不准；继续在已经清楚的地方拍摄，只会增加采集和优化成本。主动重建因此把采集也放进闭环：先用已有照片训练模型，再判断最缺信息的视角，拍摄后继续更新模型。这个闭环的关键不是生成一张更好看的图，而是在尚未拍到真实照片时，判断哪些候选视角最值得采集。

FisherRF、Gauss-MI 等方法利用 Fisher 信息或互信息估计采集价值，能够把重建状态与视角选择联系起来，但仍依赖近似计算。论文指出，解析指标与真实渲染错误之间可能存在偏差，尤其是材质、遮挡和光照造成的复杂误差。学习式方法把模糊、重影和纹理失真当作信号，但单看颜色也有盲点：视觉上相似的像素可能对应完全不同的空间覆盖范围。相反，只看几何又可能忽略反射和颜色伪影，因此把两类证据简单视作可以互相替代并不合适。

Auto3R 选择从当前模型实际渲染的颜色和深度出发，让网络学习哪里看起来不可靠，再把像素证据汇总为视角分数。这里还要处理一个容易忽略的问题：深度既是几何线索，也是早期稀疏重建中可能出错的量，不能不加判断地用它放大颜色误差。 核心 idea：用颜色不确定性找外观缺陷，用深度刻画这些缺陷对应的空间影响，再用深度自身的可靠性限制错误几何对选视角的干扰。

方法详解¶

整体框架¶

输入是已经采集的少量 RGB 图像及相应相机位姿，重建器维护一组不断优化的三维高斯。对每个候选相机位置，系统从当前高斯表示渲染 RGB 图像和深度图；这些是模型的预测，并不是尚未采集的真实观测。双分支不确定性先验分别输出颜色不确定性图和深度不确定性图，保留错误出现在哪些像素的信息。深度感知融合与深度可靠性重加权随后把局部预测转成标量视角分数，分数最高的候选被选择用于真实拍摄。新照片加入重建训练集后，3DGS 继续优化，下一轮再用更新后的渲染重新评估候选，而不是沿用初始评分。机器人版本把候选单位从单个姿态扩展成连续路径，通过路径序列估计利用相邻帧信息；它是采集闭环的扩展，不是离散视角实验中必经的额外步骤。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
        A["已有图像与位姿<br/>更新 3DGS 并渲染候选"] --> B["双分支不确定性先验"]
        B --> C["深度感知融合"]
        C --> D["深度可靠性重加权"]
        D -->|离散视角| F["选择并采集<br/>补充真实观测"]
        D -.->|机器人路径扩展| E["路径序列估计"]
        E --> F
        F --> A
        G["训练时：渲染与真值<br/>产生 SSIM 监督"] -.-> B
        G -.-> E

关键设计¶

1. 双分支不确定性先验：从渲染伪影学习哪里缺少可靠观测

3DGS 中每个高斯具有位置、协方差、颜色和不透明度，投影到图像后按深度顺序合成。同一个表示可以渲染颜色与深度，但它们暴露的失败不同：颜色可能出现重影或纹理模糊，深度则可能显示结构扭曲或不连续。作者使用两个基于 ResNet-50 的轻量图像到图像网络，分别处理渲染 RGB 和渲染深度，预测逐像素不确定性。它不是让网络直接产生下一相机位姿，也不是为每个三维高斯学习一个独立后验分布；学习模块首先工作在渲染图像空间。几何感知主要来自深度输入以及后面的加权汇总，因此“联合 2D–3D”不应误读为额外训练了完整三维占据场。

监督来自重建渲染与对应真值之间的局部 SSIM，让网络把可见伪影与重建误差联系起来。作者称其为自监督，是因为不需要人工标注不确定性；但训练阶段仍需要相应真值图像，不是完全没有参考信号。低 SSIM 表示较差的一致性，而算法选择的是高不确定性视角，两者的方向必须区分。当前正文没有完整给出 SSIM 到网络监督值的变换、取值归一化和回归损失，不能擅自把它写成作者明确规定的某个误差公式。推理时不再需要候选视角真值，网络仅凭当前渲染估计缺陷，这才使主动采集能够成立。

2. 深度感知融合：同样的像素误差不代表同样的空间影响

透视投影下，远处高斯投影更小，一个像素可能混合更多空间结构；若把所有像素误差直接相加，远处区域的重要性可能被低估。作者据此使用深度对颜色不确定性加权，而不是只平均颜色网络的输出。令 \(\mathbf{D}(u,v)\) 表示渲染深度，\(\mathcal{R}(u,v)\) 表示颜色不确定性，原文式 (3) 为：

\[ l_{\mathrm{blend}}=\sum_{(u,v)}\mathbf{D}(u,v)\mathcal{R}(u,v). \]

这个量是候选视角的聚合评分项，不是用于优化网络的训练损失，尽管原文使用了字母 \(l\)。它让相同颜色误差在不同深度处产生不同贡献，但并不直接计算补拍后真实能减少多少误差。论文用投影关系解释深度依赖，并实验比较了线性与平方深度加权；最终设计采用线性权重。因此这是带几何动机的评分规则，而不是已经证明最优的信息增益估计器。

3. 深度可靠性重加权：避免不可信深度把评分带偏

早期图像稀少，渲染深度本身可能错误；此时单纯给大深度乘更大权重，可能放大结构伪影而不是有价值的采集方向。第二分支预测的深度不确定性 \(\mathcal{D}(u,v)\) 被用来抑制这部分不可信的贡献，形成原文式 (4)：

\[ l_{\mathrm{blend*}}=\sum_{(u,v)}\mathbf{D}(u,v)\mathcal{R}(u,v)\bigl(1-\mathcal{D}(u,v)\bigr). \]

这里需要特别区分 \(\mathbf{D}\) 和 \(\mathcal{D}\)：前者是距离，后者是对这份距离预测的不确定性。深度越可靠，颜色误差经过几何加权后的贡献越完整地保留；深度越不可靠，这条加权通路的贡献越小。这并不意味着算法永远忽略深度错误区域，因为最终分数还包括基础融合项，以及颜色和深度不确定性图各自的全局汇总项。原文式 (5) 的缓存存在符号提取损坏，因此这里不补写整条精确公式，只保留正文可确认的组成和系数含义。正文把 \(\lambda_0\) 对应到重加权融合项，把 \(\lambda_1\)、\(\lambda_2\) 分别对应到颜色、深度不确定性的全局项。其设置为 \(\lambda_0=0.5\)、\(\lambda_2=0.8\)、\(\lambda_1=0.8\times(\mathrm{iteration}/\mathrm{max\ iteration})\)。颜色全局项随迭代增加而增强，其他两个上述系数固定；各项组成的标量 \(U\) 最终用于候选排序，选最高分视角。

4. 路径序列估计：把移动中的连续采集作为决策单位

真实机械臂沿途拍摄的额外成本较小，频繁移动并停在离散目标姿态却可能更耗时，因此最优单视角不一定对应最高效的扫描路径。作者以相邻视角构造候选路径，并在端点之间插值相机位姿，得到沿途渲染序列。路径扩展采用 TMFI-Net 的编码器，并增加上采样模块来预测逐帧不确定性，使估计器能够利用视频序列而不是孤立地处理每张图。候选路径再根据整体不确定性选择，机器人沿选中路径连续采集，所得真实序列回到重建训练集。这改变的是评分和采集的粒度，不改变“渲染当前模型、预测薄弱处、补充真实观测”的闭环逻辑。

训练路径网络时，同样先用一部分视图拟合 3DGS，再在插值路径上渲染预测帧和对应真值帧，用逐像素 SSIM 提供监督。正文说明了序列输入、编码器和逐帧输出，但没有给出足以复现的精确路径分数汇总公式。候选路径生成与机器人系统细节被指向补充材料 B，该材料不在本次提供的全文中，因此不能补写碰撞检查或运动约束实现。框架图中的虚线表示从离散 UQ 流程扩展到序列版本，而不是声称 TMFI-Net 必须把离散标量分数作为输入。

一个完整示例¶

以一个带凹槽的物体为说明性场景，这不是论文额外报告的定量案例。最初只有少量照片时，当前高斯模型可能把凹槽渲染成模糊平面，颜色网络发现纹理不一致，深度网络则发现局部结构不可靠。深度感知融合先考虑这些像素的空间权重，可靠性重加权再防止错误深度把某个候选的贡献异常放大。与此同时，全局不确定性项保留对整体缺陷的关注，所以重加权并不等同于把所有难区域删掉。系统比较候选分数后，真实拍摄选中的斜侧视角，把新图加入训练，使下一轮评分建立在改进后的几何和外观上。若采用机械臂路径扩展，则比较的是若干相邻姿态构成的渲染序列，并沿被选路径采集多帧，而不是仅在终点拍一张。

损失函数 / 训练策略¶

对象级先验使用 MaterialAnything 子集中的 3,000 个 Objaverse 对象，在 Blender 3.2.2 中施加随机 HDR 环境光照。每个对象生成 60 个相机视角，其中 12–25 个用于训练 3DGS，其余 35–48 个作为新视角来构造不确定性监督。改变重建使用的视图数量能产生不同质量阶段的模型，让估计器见到从粗糙结构到较细致重建的误差，而不是只学习一种固定噪声。场景级先验使用 map-free-reloc 数据集并采用相同协议；对象训练与测试类别不重叠是作者明确声明的划分条件。不确定性网络的离线训练与目标对象上不断执行的 3DGS 优化是两个层次，后者才直接吸收扫描得到的新照片。主实验对 3DGS 共优化 30,000 次，在预定的 16 个迭代节点各加入一张照片，最终总计 20 个视图。这意味着主实验并非每次梯度更新都重新规划，也不能把离线训练的 12–25 个视图与测试时的最终 20 个视图混为一谈。正文报告不确定性预测约 3 ms/图像，但没有在这一数字中明确覆盖全部候选渲染、重建优化和机器人移动成本。

实验关键数据¶

主实验¶

对象实验随机生成 256 个候选视角和 256 个测试视角，不提供初始三维点；场景实验使用 Mip-NeRF360。表中 PSNR 单位为 dB，越高越好；SSIM 越高越好，LPIPS 越低越好；“最差”指论文报告的最差 5% 测试视角结果。下表摘录原文表 1（第 10 页）与表 2（第 11 页），均为主动选择、最终 20 个视图的协议；AVS 是作者同条件重训的 CNN 实现。

数据集	方法	PSNR 平均	PSNR 最差	SSIM 平均	SSIM 最差	LPIPS 平均	LPIPS 最差
Objaverse	FisherRF	23.08	17.85	0.8055	0.6320	0.1063	0.2689
Objaverse	AVS	23.94	18.18	0.8479	0.7232	0.0935	0.2191
Objaverse	Auto3R	27.00	21.88	0.8882	0.7819	0.0711	0.1813
Mip-NeRF360	FisherRF	18.74	10.32	0.5771	0.3299	0.2619	0.4788
Mip-NeRF360	AVS	18.95	9.28	0.6062	0.3709	0.2679	0.5185
Mip-NeRF360	Auto3R	19.13	10.75	0.6055	0.3862	0.2520	0.4374

Objaverse 上相对 AVS 的平均 PSNR 增加 3.06 dB，最差 5% PSNR 增加 3.70 dB，支持其对难视角的改善不只是平均值效应。场景结果更接近：平均 PSNR 仅高 0.18 dB，而且平均 SSIM 为 0.6055，略低于 AVS 的 0.6062，不能称为所有指标都领先。反光对象的原文表 3（第 12 页）还比较了 GIR 逆渲染后端；GIR + Auto3R 的平均/最差 PSNR 为 30.29/22.92，GIR + AVS 为 29.53/20.36。作者对 GIR 调整了加视角与优化调度，因此该结果说明与材质建模后端可结合，不宜把跨后端差值全部归因于选视角策略。

消融实验¶

以下按原文表 4（第 13 页）逐项转录；该表所在段落未明确标注具体测试子集，绝对值不应直接与表 1 的 27.00 dB 合并比较。六列分别为同一消融协议中的平均和最差 5% 指标；depth2-blending 表示采用平方深度权重。

配置	PSNR 平均	PSNR 最差	SSIM 平均	SSIM 最差	LPIPS 平均	LPIPS 最差
w/o depth-uq	23.41	17.95	0.8124	0.6494	0.1016	0.2570
w/o depth-blending	22.60	15.94	0.7910	0.5664	0.1085	0.2791
depth2-blending	23.59	17.60	0.8131	0.6388	0.1004	0.2593
完整模型	23.77	18.49	0.8252	0.6703	0.0978	0.2145

原文存在明确冲突：第 5.6 节正文把不做深度融合的起点写成 PSNR 22.48、SSIM 0.7818，而表 4 对应行为 22.60、0.7910。正文还称线性深度加权略优于平方加权，但表中 w/o depth-uq 与 depth2-blending 的平均 PSNR 分别为 23.41 和 23.59，不能在未确认其余配置相同前当作纯净的线性/平方对照。本笔记保留表值和上述差异，不自行修正成一致版本；明确可读出的对比是完整模型比 w/o depth-uq 高 0.36 dB。

关键发现¶

深度融合相关消融的幅度较大：完整模型与 w/o depth-blending 相差 1.17 dB 平均 PSNR、2.55 dB 最差 PSNR；这是配置间差值，不是额外独立实验。
深度可靠性重加权进一步把平均 SSIM 从 0.8124 提高到 0.8252，支持“用深度时也需要判断其可靠性”的设计。
机器人表 5（第 14 页）中，Auto3R 的 Origin 与 Path-extension 分别为 22.91/28.56 dB、0.8346/0.8953 SSIM；AVS 的路径扩展结果为 26.98 dB、0.8894 SSIM。
机器人实验从一条前向路径的 4 张图开始，但正文不足以证明表 5 各配置在总帧数、总路程和运行时间上完全相等，不能将全部提升解释为同预算收益。

亮点与洞察¶

不确定性估计器观察的是当前模型的错误痕迹，而不是只依赖对象类别或单张初始照片。这使采集策略能够随着重建状态变化。
深度同时承担“几何权重”和“需要被检验的预测”两种角色。将这两者分开，有助于避免把不可靠几何当成可靠先验。
最差 5% 指标让覆盖不足造成的局部失败更显眼。主动扫描本来就应减少盲区，只看平均图像质量会弱化这一目标。
可迁移的思路是让在线系统预测自身输出的局部缺陷，再根据采集成本定义决策单位；迁移到其他任务仍需重新验证误差与采集价值的联系。

局限与展望¶

作者明确承认机器人自身的遮挡阴影会影响真实扫描，这可能让模型把采集装置引入的外观变化误当作物体重建缺陷。
读者判断：SSIM 驱动的误差先验与真实三维精度并不等价，正文主要报告新视角图像指标，缺少几何距离或表面完整度的直接量化。
读者判断：给高不确定性视角较高优先级，不等于显式预测该视角被采集后的边际收益；难以改善的反射也可能持续被认为值得采集。
可复现性边界：当前全文不含所引用的补充材料，SSIM 目标变换、精确路径汇总和机器人运动约束细节不能据此补齐。
后续可将采集后的实际误差下降与扫描时间一起用于评估或学习，但这是研究建议，并非本文已经完成的实验。

评分¶

新颖性: 4/5。把数据驱动的误差先验、深度权重和可靠性修正结合到主动采集，创新主要在问题建模与组合设计。
实验充分度: 4/5。覆盖对象、场景、反光材质和机器人，但消融冲突与采集预算说明限制了结论强度。
写作质量: 3/5。主流程清楚，但不确定性监督定义、表文一致性和路径细节需要更严谨的交代。
价值: 4/5。对减少三维资产采集中的重复观测有直接参考价值，仍需在真实运动成本和几何精度上进一步验证。