Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/ljjTYJR/Multiple-view-Dynamic-Reconstruction
领域: 3D视觉
关键词: 动态场景重建、多相机视觉SLAM、相机位姿估计、稠密深度估计、时空连接图

一句话总结

本文为「多台自由移动相机同时拍摄同一个动态场景」这一设定提出两阶段优化框架：先用前馈重建模型 VGGT 做宽基线初始化、建立跨相机的统一尺度锚点，再用一张把相机内时序、同刻跨相机、跨相机的历史帧三类约束统一起来的时空连接图做多相机联合 bundle adjustment，最后用宽基线稠密光流做「帧级尺度对齐 + 位姿与逐像素深度交替精修」，在合成与自采真实数据上的位姿精度、场景一致性和显存占用同时优于 COLMAP/GLOMAP 与 VGGT/Fast3R/FastVGGT/CUT3R，并发布了带动捕真值的 MultiCamRobolab 数据集。

研究背景与动机

多相机拍摄正在变得日常：机器人平台上的多目系统、体育转播的多机位、以及多台手机/运动相机同时记录同一场活动。下游的 AR、动态高斯泼溅、多视角视频分析都要求跨相机一致的三维重建，但今天的动态场景重建方法几乎都局限在单目输入——MegaSAM 这类鲁棒的动态单目 SLAM 只利用单台相机内部的时序连接，跨相机的观测被完全浪费。另一条路是多相机 SLAM，但它们要么假设相机被刚性地固定在一个已标定好的支架上（外参已知），要么做的是多智能体/多会话协同建图，各自建立局部静态子图再融合，根本不处理动态内容。与本文最接近的工作虽然能重建视野内动态物体的网格，却要求相机固定并预先标定好外参。

把设定放宽到「自由移动 + 动态内容」之后，问题立刻暴露出三个技术难点。其一是尺度歧义：单目深度本身就尺度不定，当不同相机之间没有共享观测时，每条重建会各自漂到一个不同的尺度上。其二是重叠有限：不像刚性支架有固定的重叠视野，自由移动的相机之间可能只有很少甚至完全没有重叠，这使得传统「靠重叠挑初始化帧」的做法不可靠。其三是动态内容：运动物体违反了经典多视图几何赖以成立的静态世界假设，对应关系本身就不可信。与此叠加的还有一条来自现有工具链的现实约束——前馈重建模型在长序列上显存会直接爆掉（VGGT 即使在 A100-40GB 上也处理不了全部帧），而按块切分处理的效果又不如全局预测。

本文的应对思路是把问题拆开：不让一个模型同时干位姿和深度，而是把「相机跟踪」与「稠密深度精修」解耦成两个阶段——第一阶段用前馈模型提供全局尺度锚点与粗位姿，再用一张时空连接图把单目 SLAM 的滑动窗口 BA 扩展成多相机联合优化；第二阶段放弃稀疏特征，改用宽基线稠密光流建立跨相机约束，先做帧级仿射对齐，再交替地优化逐像素深度与相机位姿。核心 idea：用「时序 + 同刻空间 + 跨时空历史」三类边构成的连接图把多台自由相机的观测接成一张统一的优化问题，并用可学习的置信度软加权取代「检测动态物体再剔除」的硬掩码。

方法详解

整体框架

输入是 \(N\) 路时间同步的单目视频 \(\{(\mathbf{I}_i^t,\mathbf{K}_i)\}\)（\(i=1,\dots,N\)，\(t=1,\dots,T\)），每路只知道自己的内参 \(\mathbf{K}_i\)，相机之间既不知道外参也不知道相对位置；输出是每一帧的相机位姿 \(\mathbf{T}_i^t\in SE(3)\) 与对应的稠密深度图 \(\mathbf{D}_i^t\)。

整个方法是一条两阶段的优化流水线。第一阶段做多相机跟踪：先取每路视频最前面的若干帧喂给前馈重建模型 VGGT，得到一组粗糙但全局一致的初始位姿与深度，同时把 UniDepth 的单目深度用一组全局缩放/偏移对齐到这个尺度上，作为后续优化中的深度先验；随后增量地构建时空连接图（相机内的时序边、同一时刻跨相机的空间边、当前关键帧与其他相机历史关键帧之间的跨时空边），在新帧到达时按匀速模型给出位姿初值，并在一个滑动窗口内联合优化位姿与每帧视差。第二阶段做多视图稠密一致性精修：把连接图扩充（额外加入每台相机内部间隔 \(\{+2,+4,+8\}\) 的长程时序边），在所有边上用宽基线光流模型 UFM 重估稠密对应，然后先固定位姿、只优化逐帧尺度与偏移和每条流的置信度（Phase 1），再固定这些仿射参数、交替地优化逐像素深度与相机位姿并施加轨迹平滑正则（Phase 2），最终输出一致的多相机深度与精化后的位姿。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多路时间同步 RGB 视频"] --> B["宽基线初始化<br/>VGGT 粗位姿 + 单目深度对齐"]
    B --> C["时空连接图<br/>时序 / 空间 / 跨时空三类边"]
    C --> D["置信度加权的联合优化<br/>重投影 + 深度先验正则"]
    D --> E["两阶段稠密精修<br/>帧级仿射 → 交替位姿与深度"]
    E --> F["稠密深度图 + 相机位姿"]

关键设计

1. 宽基线初始化：用一个前馈重建模型给自由相机建立统一尺度和可靠起点

单相机跟踪的初始化可以靠「挑两帧有明显重叠的图像」来解决，因为视频流天然保证时序相邻帧有重叠；但多相机配置下不同视点的图像可能完全没有共同视野，基于重叠的初始化直接失效。本文的做法是改用鲁棒的前馈场景重建模型 VGGT：从每路视频流里取前若干帧一起送入网络，得到初始的相机位姿估计与逐帧深度 \(\mathbf{D}_{\text{VGGT}}\)。这些预测虽然粗糙，却是跨相机全局一致的，因此可以作为整个系统的起点。

只有位姿还不够——跟踪阶段的 BA 需要稠密深度先验来约束低纹理区域，而单目深度模型的输出只定义到仿射变换。于是作者再用 UniDepth 预测每帧的单目深度 \(\mathbf{D}_{\text{mono}}\)，并用最小二乘拟合一组全局的尺度 \(s\) 与偏移 \(o\)，把单目深度整体对齐到 VGGT 的尺度上：

\[(s,o)=\arg\min_{s,o}\sum_{k}\left\|s\mathbf{D}^k_{\text{mono}}+o-\mathbf{D}^k_{\text{VGGT}}\right\|^{2}\]

其中 \(k\) 遍历被选中的初始化帧。这组 \(s,o\) 此后被一致地应用到所有相机的全部单目深度预测上（即跟踪中的参考深度 \(\mathbf{D}^s_i=s\mathbf{D}^{\text{mono}}_i+o\)），这就是「统一尺度锚点」的来源：跨相机的尺度一致性不是靠相机之间的重叠观测建立的，而是靠让所有相机共享同一组从 VGGT 尺度导出仿射参数。这条设计对初始化的噪声也相当钝感——论文额外做了加噪实验，在 3° 旋转噪声之上叠加 0.05 m 平移噪声时 ATE 只从 0.013 升到 0.016，加到 0.10 m 才恶化到 0.044，说明后面两个阶段确实能从这个起点往回救。

2. 时空连接图：把帧间约束从「单相机时序」扩展成「跨相机时空」

跟踪的核心是一张帧连接图 \(\Omega=\Omega^{\text{temp}}\cup\Omega^{\text{spat}}\cup\Omega^{\text{st}}\)，它决定了哪些图像对之间要建立重投影约束。\(\Omega^{\text{temp}}\) 沿用单目 SLAM 的习惯，为每台相机维护一个只保留最近关键帧的时序窗口，因为同一相机相邻帧的重叠总是足够的。\(\Omega^{\text{spat}}\) 负责跨相机的尺度一致性：在同一时刻 \(t\) 上，把相机 \(i\) 的像素网格按当前状态投影到相机 \(j\) 的像平面上，如果超过 75% 的投影点落在图像边界之内，就建立一条空间连接。\(\Omega^{\text{st}}\) 则挖掘更长的历史：当前关键帧会去和所有其他相机的非活跃关键帧（历史帧）逐一评估重叠，够得上就连一条边。为了让图不在长序列上无界膨胀，作者加了一个连接平衡策略：给跟踪活跃窗口设定最大边数，跨相机连接在存在时均匀分配，新增连接导致超限时按「最旧优先」删除。

空间边之所以在动态场景里仍然成立，是因为同一时刻从不同视角看到的是同一个瞬时场景，即便画面中有运动物体，这一刻的几何在跨相机之间依然是一致的；而时间长到几十帧之后，动态物体早就换位置了，跨时空边才会受运动影响（这也是它需要置信度加权兜底的原因）。消融实验直接印证了这张图的价值：去掉时空图（方法退化成各路视频独立重建、再按前馈模型预测的位姿把它们对齐）后，RoboDogoverlap 与 DynamicHuman 两个场景的 ATE 分别变差 0.158 和 0.141；而在相机几乎没有共同视野的 RoboDognon-overlap 上只变差 0.006——正好说明它的作用机制是「把跨相机重叠转成约束」，没有重叠时它自然无从发挥。

3. 置信度加权的联合优化：让不可靠的对应点自己降权，而不是被运动掩码切掉

动态物体违反静态假设，看似最直接的处理是先把动态区域分割出来再从优化里剔除。本文没有这么做，而是让每个对应自行携带一个可靠性权重。跟踪阶段的重投影误差按对角权矩阵 \(\Sigma_{ij}=\text{diag}(w_{ij})\) 加权（这里沿用对应估计模型给出的学习权重，动态与遮挡区域的权重天然偏低），并在滑动窗口内最小化

\[\mathcal{L}(\mathbf{T},\mathbf{d})=\sum_{(i,j)\in\Omega}\left\|\mathbf{u}^{\text{reproj}}_{ij}-\mathbf{u}^{\text{flow}}_{ij}\right\|^{2}_{\Sigma_{ij}}+\lambda\left\|\mathbf{d}_i-\mathbf{D}^{s}_i\right\|^{2}\]

第一项要求几何重投影与光流对应吻合，第二项是深度先验正则，把估计的视差拉向对齐后的单目深度，避免纯几何优化在无纹理区域漂移。到了精修阶段，置信度被进一步显式参数化成可优化变量 \(c_i\in(0,1]\)，在流残差中按 \(c_i\) 加权，同时加入 \(\log(1/c_i)\) 项——没有这一项，优化会把 \(c_i\) 一路压到 0 把整个残差「关掉」，这一项正是为了防止这种塌缩。

论文用基线的失败反过来论证这个选择：给 COLMAP/GLOMAP 加上动态掩码并不总是提升，在 DynamicHuman 场景上加了掩码之后两台方法都直接无法配准全部图像（表格里记为失败），只有在 RoboDogoverlap 上掩码才让 COLMAP 的 ATE 从 0.134 降到 0.045。作者给出三点解释：同步相机下的动态物体在某一瞬间是跨视角一致的，能提供有效的跨相机对应；30 FPS 下短时间窗内物体位移很小，特征在局部时间上仍然一致；无纹理的室内环境里，动态物体往往恰好是关键点的来源。硬删除等于把这些观测一起扔掉，而软加权把它们保留下来、只降低其影响。

4. 两阶段稠密精修：先对齐帧级尺度，再交替优化深度与位姿

初始化时拟合的那一组全局 \(s,o\) 无法覆盖两件事：单目深度在长视频上的逐帧尺度漂移，以及单目模型本身的逐像素误差。精修阶段因此重新组织约束：先把连接图扩充为 \(\Omega^{\text{refine}}\)（在跟踪图的基础上，为每帧补上与间隔 \(\{+2,+4,+8\}\) 帧的长程时序边），再对所有边对改用宽基线稠密光流模型 UFM 重估对应——跟踪阶段用的是低分辨率流，在大基线和大位移下质量不够。优化目标为流残差项与视差一致性项之和：

\[\mathcal{L}_{\text{reproj}}=w_f\mathcal{L}_{\text{flow}}+w_d\mathcal{L}_{\text{disp}}\]

其中 \(\mathcal{L}_{\text{flow}}\) 惩罚光流对应与几何重投影的偏差，每条流按其置信度 \(c_i\) 加权并按有效流掩码 \(m_{ij}\) 归一化；\(\mathcal{L}_{\text{disp}}\) 惩罚「从第 \(i\) 帧用光流 warp 过来的深度 \(D^{\text{flow}}_j\)」与「第 \(j\) 帧自身估计的深度 \(D_j\)」之间的比值不一致，用来抑制深度闪烁。（缓存文本中这两个式子的排版在抓取时被破坏，此处按正文文字描述复原，⚠️ 精确的范数形式与权重写法以原文为准。）关键在于这里使用的是逐帧的仿射参数 \(s_i,\beta_i\)，与初始化那个全局的 \(s,o\) 相互独立：重投影用 \(s_i\mathbf{D}_i+\beta_i\) 计算，因此每个阶段允许各自的尺度自由。

优化分两步交替进行。Phase 1 冻结所有位姿，只优化逐帧的 \((s_i,\beta_i)\) 与每条流的置信度 \(c_i\)，先把所有帧拉到一致的尺度上，并让不可靠的对应自动降权。Phase 2 反过来冻结仿射参数，直接优化逐像素深度值 \(D_i\)，并精化相机位姿。作者刻意把位姿与深度拆成交替迭代而不是联合优化——这是沿用 MegaSAM 的经验，两者同时放开会不稳定。位姿一侧用指数映射参数化增量（\(\Delta_i=\exp(\delta_i)\in SE(3)\)，\(\delta_i\in\mathbb{R}^6\) 为李代数上的旋转与平移），并在重投影损失之外追加正则 \(\mathcal{L}_{\text{pose}}=\mathcal{L}_{\text{prior}}+\mathcal{L}_{\text{smooth}}\)：前者惩罚位姿偏离跟踪阶段的估计，后者沿每条相机轨迹约束相邻帧的旋转与平移平滑（\(R_i^{t\top}R_i^{t+1}\) 的 Frobenius 范数接近单位阵、平移项 \(t_i^t-t_i^{t+1}\) 接近零）。整个系统的最终目标是 \(\mathcal{L}=\mathcal{L}_{\text{reproj}}+\mathcal{L}_{\text{pose}}\)。消融显示两个阶段缺一不可：只做 Phase 1 不做 Phase 2 时 RoboArm 的 Abs.Rel 还差 +0.044、Md 差 +0.087；两阶段都去掉后 DynamicHuman 的 Md 差 +0.063——帧级对齐解决不了逐像素误差。

损失函数 / 训练策略

这是一个纯测试时优化的框架，没有任何训练环节，VGGT/UniDepth/MegaSAM/UFM 均以现成模型的身份被调用。跟踪阶段的最小化目标是重投影误差（按对应权重加权）加深度先验正则，窗口内最早的若干帧位姿被固定以消除规范自由度（gauge freedom），新到达帧按匀速模型 \(\mathbf{T}_i^t\leftarrow\mathbf{T}_i^{t-1}(\mathbf{T}_i^{t-2})^{-1}\) 给初值。精修阶段的目标是流残差与视差一致性之和，再对位姿一侧叠加先验项与轨迹平滑项，按「先仿射、后位姿与深度交替」的两阶段策略求解。超参数（初始化帧数、活跃窗口最大边数、\(\lambda\)、\(w_f\)、\(w_d\)、平滑项权重）在缓存的正文文本中没有给出具体数值，⚠️ 以原文及其补充材料为准。

实验关键数据

主实验

位姿评测把多台相机的轨迹当成单条轨迹，用绝对平移误差 ATE、相对平移误差 RTE、相对旋转误差 RRE 衡量，评测前用初始真值位姿对齐坐标系。深度用 Abs.Rel 与 \(\delta<1.25\)（预测深度落在真值 1.25 倍以内的比例）评价，场景一致性用预测与真值重建之间对应三维点的中位欧氏距离 Md 衡量（先按轨迹对齐求出全局尺度再缩放深度）。

表 1 是合成数据集 MultiCamVideo 与真实数据三相机子集上的位姿结果：

方法	MultiCamVideo ATE↓	RTE↓	RRE↓	MultiCamRobolab-3cam ATE↓	RTE↓	RRE↓
COLMAP	0.073	0.004	0.110	0.343	0.013	0.376
VGGT	OOM	OOM	OOM	–	–	–
VGGT† (interval=8)	0.027	0.016	0.177	–	–	–
Fast3R	0.144	0.056	1.948	0.376	0.154	1.825
FastVGGT	0.023	0.008	0.080	0.032	0.017	0.363
CUT3R	0.175	0.011	0.164	0.474	0.035	0.467
Ours	0.005	0.001	0.011	0.020	0.011	0.326

表 2 是真实数据集 MultiCamRobolab 四个场景的 ATE 与峰值显存（× 表示未能配准全部图像即重建失败，VGGT 未降采样时全部 OOM）：

方法	RoboDogoverlap	RoboDognon-overlap	RoboArm	DynamicHuman	峰值显存(GB)
COLMAP	0.134	×	0.008	0.133	–
COLMAP + 动态掩码	0.045	×	0.008	×	–
GLOMAP	×	×	0.006	0.020	–
VGGT† (interval=8)	0.024	0.019	0.006	0.032	20.45
Fast3R	0.148	0.701	0.063	0.180	39.20
FastVGGT	0.021	0.020	0.006	0.020	22.08
CUT3R	0.277	0.377	0.055	0.196	22.43
Ours	0.011	0.020	0.005	0.013	20.04

表 3 是深度质量与场景一致性（Abs.Rel↓ / \(\delta_{1.25}\)↑ / Md↓，VGGT 全帧 OOM 未列）：

方法	RoboDogoverlap	RoboDognon-overlap	RoboArm	DynamicHuman
VGGT† (interval=8)	0.068 / 0.939 / 0.376	0.060 / 0.947 / 0.327	0.171 / 0.772 / 0.547	0.194 / 0.900 / 0.461
Fast3R	0.144 / 0.788 / 0.580	0.157 / 0.749 / 1.501	0.191 / 0.714 / 0.763	0.214 / 0.735 / 1.799
FastVGGT	0.026 / 0.978 / 0.128	0.018 / 0.988 / 0.095	0.060 / 0.906 / 0.292	0.030 / 0.987 / 0.185
CUT3R	0.048 / 0.968 / 0.715	0.040 / 0.987 / 0.581	0.158 / 0.745 / 0.708	0.060 / 0.963 / 0.503
Ours	0.011 / 0.989 / 0.091	0.018 / 0.991 / 0.092	0.059 / 0.947 / 0.289	0.030 / 0.971 / 0.112

消融实验

表 4 考察两个核心组件，数值是相对完整方法的偏差（正 = 变差，表中 RRE 列的负值表示该配置在旋转上略有改善）：

配置	RoboDogoverlap ATE	RoboDognon-overlap ATE	RoboArm ATE	DynamicHuman ATE
w/o 宽基线初始化	+0.284	+0.496	+0.084	+0.130
w/o 时空连接图	+0.158	+0.006	+0.012	+0.141
完整方法	0.011	0.020	0.005	0.013

表 5 是精修阶段的两步各自的贡献（同样是相对完整方法的偏差，✓ 表示启用）：

配置	RoboDogoverlap Abs.Rel / Md	RoboDognon-overlap	RoboArm	DynamicHuman
× Phase1; × Phase2	+0.020 / +0.066	+0.014 / +0.060	+0.068 / +0.226	+0.028 / +0.063
✓ Phase1; × Phase2	+0.012 / +0.029	+0.005 / +0.012	+0.044 / +0.087	+0.003 / +0.012
✓ Phase1; ✓ Phase2（完整）	0.011 / 0.091	0.018 / 0.092	0.059 / 0.289	0.030 / 0.112

关键发现

• 宽基线初始化是最关键的组件：去掉它以后，无重叠场景 RoboDognon-overlap 的 ATE 偏差高达 +0.496，几乎把该场景毁掉；这印证了「自由相机之间没有重叠时，必须靠外部重建模型提供先验」这一判断。时空连接图则在有重叠的场景（RoboDogoverlap +0.158、DynamicHuman +0.141）贡献最大，在无重叠场景只有 +0.006。
• 动态物体不一定要剔除：对 COLMAP/GLOMAP 加动态掩码在 DynamicHuman 上直接导致重建失败，只有在 RoboDogoverlap 上才有正收益（COLMAP ATE 0.134→0.045）。动态物体在同步相机下提供的瞬时跨视角对应、无纹理场景中的关键点来源，都是硬掩码会误伤的观测。
• 前馈模型的排序很有信息量：FastVGGT 是所有前馈基线里最好的（全帧一起处理优于 CUT3R 的测试时递推优化），而 VGGT 本身即使在 A100-40GB 上也 OOM，评测中只能按 interval=8 降采样；降采样后的 VGGT† 在 MultiCamRobolab 上 ATE 0.024–0.032，说明牺牲帧率换显存是有代价的。
• 逐帧深度指标好看不等于场景一致：CUT3R 的单帧深度在非重叠场景 Abs.Rel 只有 0.040（优于 VGGT† 的 0.060），但场景一致性 Md 高达 0.581，是本文的 6 倍以上——它的深度在单帧上准，跨帧/跨相机却不自洽。
• 本文并未在所有场景全面领先：在 RoboDognon-overlap 上与 FastVGGT 的 ATE 打平（都是 0.020），只是 RTE（0.003 vs 0.013）与 RRE（0.163 vs 0.266）更优；在 DynamicHuman 的 \(\delta_{1.25}\) 上（0.971）也略低于 FastVGGT（0.987），但同一场景的 Md 明显更好（0.112 vs 0.185）。最稳的结论是「整体最优且显存最低」，而非每个格点都赢。
• 精度与显存的组合优势：在最好的位姿精度的同时峰值显存 20.04 GB 低于 FastVGGT（22.08 GB）、CUT3R（22.43 GB）和 Fast3R（39.20 GB），因为它只在初始化时短序列调用一次前馈模型，长序列交给滑动窗口 BA。

亮点与洞察

• 把「动态物体」从污染源重新表述为可利用的观测：同步相机在同一瞬间看到的是同一个几何一致的场景，因此动态物体此刻的跨视角对应是有效的。这个视角转换直接导出了「软置信度加权而非硬掩码」的设计，并用 COLMAP/GLOMAP 加掩码反而失败的数据把论点坐实。
• 连接图的建边判据是几何量而非外观量：判定跨相机是否连接时用的是「投影落界像素比例 > 75%」，不需要特征匹配数量、也不需要检索相似度，因此在无纹理的实验室场景里依然能建图。
• 两级尺度参数化：初始化时用一组全局 \(s,o\) 把所有相机锚到同一尺度，精修时再用逐帧 \(s_i,\beta_i\) 吸收帧级漂移——把「需要统一尺度」和「需要容纳逐帧漂移」这两个相互冲突的需求分给两个阶段处理，而不是试图用一组参数同时满足。
• 前馈模型与优化式 BA 的分工范式：让前馈模型只负责「提供尺度锚点和粗位姿」这件它擅长且只需短序列的事，把长序列的精度与可扩展性交给滑动窗口优化。这个分工可以整体迁移到任何「有强先验模型但受显存/序列长度限制」的长序列几何任务（如大规模 SfM、长视频深度、SLAM 初始化）。
• \(\log(1/c_i)\) 防置信度塌缩：在带可学习逐样本置信度的鲁棒损失里，把置信度当作自由度优化时优化器会把它推向 0 来「关闭」残差，日志惩罚项是通用的解法，可直接搬到其他带置信度加权的优化任务。
• 数据集的采集与评测分离：用 RGB-D 相机采数据、带动捕真值位姿，但方法只吃 RGB，深度与位姿真值仅用于评测。这种「采集时富信息、输入时保持苛刻」的做法值得复用到其他几何任务的数据集构建。

局限与展望

• 依赖时间同步输入：数据集靠 Qualisys 的时间服务器对齐 RGB 与动捕时间戳，方法本身假设多路视频已经时间同步，对时钟漂移、不同帧率、丢帧等现实情况没有讨论。
• 超参数与效率信息缺失：初始化帧数、活跃窗口最大边数、\(\lambda\)、\(w_f\)、\(w_d\)、平滑项权重在正文中都没有给出数值；论文只报告了峰值显存，没有报告运行时间或帧率，而这是一个测试时优化框架（每条序列都要跑两阶段优化），实际可用性无法从现有数据判断。
• 场景规模偏小：真实评测只有实验室内 2–3 台 Azure Kinect、150–300 帧、30 FPS，动态内容是机器狗、六自由度机械臂和行人；对户外大场景、快速运动、长时间全无重叠的情形没有验证，而恰好在无重叠场景上本文的优势明显收窄。
• 对外部模型失效敏感：VGGT 给出错误的全局尺度、UniDepth 在某场景系统性偏移、UFM 在极端大基线下失效，都会直接传导到最终结果，框架里没有跨相机回环检测或重定位来纠正累积漂移。
• 可改进方向：（1）加入跨相机回环/重定位来约束长序列漂移；（2）把可学习置信度与语义/运动提示结合，形成「软掩码 + 先验引导」的混合加权；（3）让位姿与深度的交替优化自适应决定轮数与步长，而不是固定调度；（4）补一份运行时间与收敛性分析，说明两阶段优化在实际采集管线中的可用性。

相关工作与启发

• vs MegaSAM：本文的对应估计与滑动窗口优化都建立在 MegaSAM 之上，但 MegaSAM 只连接单台相机内部的时序帧，跨相机一致性完全没有被利用；本文把它扩展成三类边的连接图并用 VGGT 解决多相机初始化。代价是引入了更多外部模型，收益是跨相机尺度一致与动态场景下的鲁棒跟踪。
• vs VGGT / Fast3R / FastVGGT：这些前馈模型一次前向就给出多视图位姿与几何，省去优化，但显存随帧数爆炸（VGGT 在 A100-40GB 上直接 OOM，只能降采样到 interval=8），长序列退化明显。本文只在初始化阶段短序列调用它们，全帧跟踪交给优化，结果位姿更准（MultiCamVideo ATE 0.005 vs VGGT† 0.027）且显存更低。
• vs CUT3R：CUT3R 用有状态循环模型压低了显存并支持视频输入，但它逐帧递推、没有显式的全局一致性优化，轨迹不平滑、场景一致性差（Md 0.581 vs 本文 0.092），在动态物体上尤其明显。这说明「省显存」和「场景一致」在缺少全局优化时难以兼得。
• vs COLMAP / GLOMAP：经典 SfM + BA 在静态场景下准确（GLOMAP 在 RoboArm 上 ATE 0.006，与本文 0.005 相当），但动态物体会让 COLMAP 产生噪声位姿、让 GLOMAP 在四个场景里失败两个，且它们只产出稀疏点云，无法提供稠密深度。本文的稠密光流加置信度加权正是为了在动态场景下保持稳定。
• vs 固定多相机阵列方法（如 R3D3 一类多相机动态重建）：它们要求相机刚性安装、外参预先标定，因此可以把多视图约束当成几何上确定的关系；本文允许相机自由移动、外参未知，把「未知外参」这个自由度交给时空连接图与前馈初始化去解决，适用面更广但优化难度更高。

评分

• 新颖性: ⭐⭐⭐⭐ 首个把「多台自由移动相机 + 动态场景」的稠密重建与位姿估计统一起来的框架，时空连接图与宽基线初始化是实打实的机制设计；不过所依赖的 VGGT/UniDepth/MegaSAM/UFM 都是现成模型，属于「关键改造 + 巧妙组合」。
• 实验充分度: ⭐⭐⭐⭐ 合成与自采真实数据集并用、位姿/深度/场景一致性三类指标齐全、覆盖经典 SfM 与前馈两大类基线、三组消融外加噪声鲁棒性分析，还报告了显存；不足是缺运行时间与超参数细节，且真实场景规模单一。
• 写作质量: ⭐⭐⭐⭐ 问题定义清晰，「尺度歧义/重叠有限/动态内容」三难点与后续三处设计一一对应，消融结论与主张自洽；部分结果讨论行文略绕。
• 价值: ⭐⭐⭐⭐ 为多相机动态重建这个刚起步的方向给出了一个可复用的「前馈初始化 + 多相机优化式 BA」范式，并开源了带动捕真值的 MultiCamRobolab 数据集，衡量的维度（位姿、深度、场景一致性、显存）也立得比较全。

相关论文

• [ECCV 2026] Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
• [AAAI 2026] Dynamic Gaussian Scene Reconstruction from Unsynchronized Videos
• [ECCV 2026] Geometrically Consistent Multi-View Scene Generation from Freehand Sketches
• [ECCV 2026] Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning
• [ECCV 2026] CasaMaestro: Multi-View Panoramas for House-Scale 3D Reconstruction