Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow¶

会议: ECCV2026
论文: ECCV 官方页面
项目: https://shenhanqian.github.io/flow4r
领域: 3D 视觉
关键词: 场景流、动态场景重建、三维点跟踪、相机自运动、位姿权重

一句话总结¶

Flow4R 用共享双视图 Transformer 预测局部几何与跨帧点位置，再通过可学习权重的几何求解分离相机运动和物体运动，在无需全局后优化的条件下统一 4D 重建与跟踪，并在 Point Odyssey 上取得 71.1 的全点跟踪 APD 和 81.00 的重建 APD。

研究背景与动机¶

从视频恢复动态三维世界，难点不只是给每帧估计深度，而是同时回答“这个点在哪里”“相机怎样移动”“物体自身怎样移动”。DUSt3R 等前馈重建方法擅长恢复点图，但其共享参考系的设计源于静态场景；MonST3R 将这一路线扩展到动态视频后，还需要后优化组织多帧几何。另一类跟踪方法通过增加不同时间或坐标系的预测头表达运动，容易让模型结构与特定输出任务绑定。

更根本的问题是，“静止”取决于选定的参考物。站在地面看扶梯和站在扶梯上看地面，对相机自运动与物体运动的解释并不相同。因此，先指定静态背景、再分别回归相机和对象运动，并不是最灵活的建模顺序。与此同时，真实动态场景的三维流标注远少于静态深度数据，单独训练一个依赖完整动态监督的系统也很困难。

本文先学习两帧间能直接观察到的相对几何与运动，再用可靠像素决定参考框架，从同一组预测中导出相机位姿、世界坐标轨迹和光流。核心 idea：以场景流连接局部几何与跨帧对应，用可学习的位姿权重决定怎样解释其中的刚性运动，并联合利用静态与动态数据训练这个统一表示。

方法详解¶

整体框架¶

输入是视角、时间都可以不同的两张 RGB 图像；两条共享参数的路径分别输出与各自像素对齐的三维属性。流程依次是“对称属性预测”“位姿权重求解”，处理视频时再使用“锚帧尺度对齐”，把独立图像对的结果放入一致参考系。

概念上的属性是局部点位置 \(P\)、场景流 \(F\)、位姿权重 \(W\) 和置信度 \(C\)。实际网络用跨视角、跨时刻点位置 \(P_{vt}\) 代替直接输出 \(F\)；这不是更换任务，而是为同一个运动关系选择更易学习的回归变量。两幅图各有一套属性，因此天然支持双向跟踪。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["图像对或锚帧图像对"] --> B["对称属性预测"]
    B --> C["位姿权重求解"]
    C --> D["锚帧尺度对齐"]
    D --> E["一致参考系重建<br/>与三维轨迹"]
    B --> F["投影得到光流"]
    G["静态与动态标注"] -.->|仅训练：几何与运动监督| B
    G -.->|仅训练：位姿监督| C

图中的虚线只表示训练监督，并不是推理时需要额外输入深度、真实位姿或运动标注。单个图像对不需要执行序列尺度对齐；光流也可直接从属性投影得到，不必先消除相机运动。

关键设计¶

1. 对称属性预测：把运动端点作为实际回归目标

两幅图分别通过共享的 ViT 编码器、带跨视图信息交换的解码器和预测头。与为不同时间单独设置预测头的做法不同，两条路径的编码器、解码器、头全部共享参数；交换输入次序仍沿用同一套语义，也不必像 DUSt3R 那样手工构造对称图像对。高分辨率训练阶段采用 DPT 头，将特征恢复为稠密像素对齐输出。

其中 \(P\) 是源图像像素在源相机局部空间中的位置，\(P_{vt}\) 是同一物理点在目标时间、目标相机空间中的位置。“换视角”和“换时间”同时发生，因此它保留了观察者运动与对象运动的总效果，而不是预先把所有前景排除。原文清楚给出的关系为：

\[ F = P_{vt} - P. \]

直接回归 \(F\) 再加回 \(P\)，与直接回归 \(P_{vt}\) 在表示能力上等价，但不保证学习难度相同。论文表 3 发现后者在六个评测列上都更好；作者的解释是，最终评测关注绝对点位置，直接监督运动端点减少了从中间量构造位置时的误差累积。这是经验解释，不是等价参数化必然具有某种优化优势的证明。

这里“参考系无关”的含义应限制为：预测相对运动时不必预先选定哪个场景物体作为静态参考，并不是三维坐标数值对任意坐标变换都保持不变。\(P\) 与 \(P_{vt}\) 仍有明确的相机坐标约定。

2. 位姿权重求解：让可靠对应决定相机运动

总相对运动里混有物体运动，不能对所有对应点等权拟合相机位姿。Flow4R 为每个像素预测归一化权重 \(W\)，让几何求解器以加权最小二乘拟合把 \(P\) 对齐到 \(P_{vt}\) 的刚性变换。该变换提供相机运动解释；只改变视角、不改变时间的点位置记为 \(P_v\)，据此得到刚性流，剩余部分则描述非刚性运动。要得到源参考系下的运动轨迹，再用估计位姿的逆变换把 \(P_{vt}\) 带回源坐标系。

因此 \(W\) 不是普通的前景分割图。静止的前景也可以帮助定位，而动态、遥远、反光、缺纹理或被遮挡的像素都可能不适合位姿估计。另一个输出 \(C\) 用于表示三维预测的置信度并加权几何与运动回归，不应把它与“是否能支持相机位姿”的 \(W\) 混为一谈。原文规定 \(W\) 的像素权重和为 1，\(C\) 大于 1。

关键是如何训练这个没有理想像素标签的权重图。模型经可微位姿求解器得到变换，将点图变换后与真实位姿、真实几何所给出的结果比较；这条损失对 \(P\) 和 \(P_{vt}\) 停止梯度，只优化 \(W\)。模型于是学习“选哪些点才能把相机运动算对”，而不是照搬语义前景掩码。训练仍依赖真实深度与位姿，这里的自监督指无需直接提供 \(W\) 的标签，不等于全流程无标注。

推理时可以调整甚至覆盖 \(W\)，改变用于解释运动的参考区域，而不必重新训练另一组位姿回归头。相机内参也有几何入口：用局部点图与像素位置的重投影关系求焦距，假设两个轴焦距相同；将源点与运动端点投影到图像后作差即可得到光流。论文没有要求所有下游任务都附加独立神经网络头。

3. 锚帧尺度对齐：用同一帧校准独立图像对

处理视频时，将首帧固定为锚帧，分别组成 \((I_0,I_1)\)、\((I_0,I_2)\)、\((I_0,I_3)\) 等图像对，避免仅依赖相邻帧逐步传播轨迹。由于每次预测都包含锚帧本身的局部点图，可以比较同一个对象在不同配对中的预测尺度，而不是在两个无共同参照的点云间猜测尺度。

论文取第 \(n\) 对中锚帧点图的平均欧氏范数作为 \(s_n\)，以第一对为尺度参照，把后续点图和场景流乘以 \(s_1/s_n\)。这提供跨配对的尺度一致性，但不意味着恢复了无需外部对齐的绝对米制尺度。它也不是全局束调整：没有在整段视频上联合优化所有位姿与点，序列质量仍受单对预测和锚帧可见范围影响。

一个完整示例¶

设相机绕过一台正在跳跃的机器人，取 4 帧视频，并以第 0 帧为锚帧。模型处理 3 个锚帧图像对；对第 0 帧的某个机器人表面像素，既输出它的当前位置，也输出其在每个目标时间、目标相机空间中的位置，因此此时的总运动包含相机绕行与机器人跳跃。

位姿权重使墙面、地面等可靠背景主导刚性求解，而压低跳跃区域的贡献。把机器人运动端点通过位姿逆变换带回锚帧坐标系后，才得到剔除相机自运动影响的机器人轨迹；背景点应相对稳定。最后利用 3 次预测中共同的锚帧点图统一尺度，才能将各时刻轨迹一起显示。这个例子用于解释数据流，不是论文额外报告的定量实验。

损失函数 / 训练策略¶

训练首先分别用真实与预测点图各自的平均欧氏范数做尺度归一化，两条对称路径使用相同监督。点位置损失使用真实深度与内参反投影得到的局部点图，并以置信度加权回归和对数置信度项约束预测；三维运动损失在有场景流或三维轨迹标签的位置监督运动端点，两者共享 \(C\)。

只有光流或二维轨迹标签时，将运动端点投影到图像平面后进行二维监督，这一项不使用三维置信度加权。这样可把稠密但常限于相邻帧的光流，以及稀疏但跨越更长时间的轨迹纳入同一训练体系；它们提供的监督维度并不完全相同，不能都当作完整的三维运动真值。

静态数据则提供廉价且丰富的刚性运动监督：真实深度加相对相机位姿就能确定目标视角下的点位置。对动态数据，这个刚性目标只适合静态区域，因此使用停止梯度后的 \(W\) 乘以像素总数来加权，压低运动物体贡献；对静态数据，权重直接取 1。停止这一路到 \(W\) 的梯度，避免权重仅为逃避刚性回归误差而退化，与前述只更新 \(W\) 的位姿损失形成明确分工。

原文缓存中位姿最小二乘、部分损失和总损失公式的运算符有缺失，因此这里不猜补精确公式与系数对应关系。上述训练机制来自紧邻公式的完整文字说明；可确认训练同时包含点位置、三维运动、二维运动、位姿权重与刚性运动监督。

模型从 CroCo 初始化，而非直接微调 DUSt3R 或 MonST3R。先以分辨率 224、线性头训练 100 epochs，每轮采样 900K 图像对；再以分辨率 512、随机宽高比和 DPT 头训练 100 epochs，每轮采样 84K 对。视频配对在同场景的 50 帧邻域内抽取，因此不能把训练描述成任意长度视频的联合处理。

优化器为 Adam，两个阶段分别 warmup 10 和 20 epochs，学习率升至 1e-4 后余弦衰减到 1e-6；梯度范数上限为 10。总 batch size 分别为 256 和 64，使用 8 张 NVIDIA A100/H100，完整训练约 4 天。训练混合真实与合成、静态与动态数据，包括提供场景流的 Virtual KITTI 2、提供光流的 Spring，以及提供三维轨迹的 PointOdyssey 等。

实验关键数据¶

主实验¶

WorldTrack 在世界坐标中评测轨迹，因此不仅考查二维对应，也共同检验几何、位姿和运动。APD3D 对齐预测与真值后，计算误差小于 0.1、0.3、0.5、1.0 m 的点比例，并对阈值与前 64 帧汇总，数值越高越好。重建还报告端点误差 EPE，越低越好；表 1 使用全局中位数对齐，表 2 使用全局中位数尺度校正，不能解读为无对齐的绝对尺度评测。

下表选取原文表 1 中的三种方法；ADT 为 Aria Digital Twin，DR 为 Dynamic Replica，PO 为 Point Odyssey，PS 为 Panoptic Studio。APD 按原文百分数尺度列出，参数量单位为十亿。

方法	全点 ADT	全点 DR	全点 PO	全点 PS	动态 ADT	动态 DR	动态 PO	参数量
MonST3R	74.4	58.1	33.5	51.3	67.9	51.9	39.4	0.7
St4RTrack	76.0	73.7	68.0	69.7	75.3	68.1	68.7	0.7
Flow4R	78.6	78.5	71.1	64.3	70.9	77.2	72.9	0.4

原文表 2 的重建结果如下；GA 表示全局对齐后优化，而其余两行是前馈方法。

方法	PO APD ↑	PO EPE ↓	TUM-Dynamics APD ↑	TUM-Dynamics EPE ↓
MonST3R+GA	72.31	0.263	63.87	0.343
St4RTrack	78.73	0.205	83.42	0.185
Flow4R	81.00	0.182	79.87	0.202

相对 St4RTrack，Flow4R 的 PO 重建 APD 增加 2.27 个百分点，EPE 降低 0.023；但 TUM-Dynamics APD 低 3.55 个百分点。因此结论应是多个数据集上有竞争力，而不是动态场景重建全面领先。

消融实验¶

原文表 3 只训练完整轮数的一半，以比较运动表示；全部指标都是全点 APD3D，不能把这些值与完整训练主表的差异当作单一模块收益。第一列是直接预测变量，第二列是监督目标；第二行先从预测流构造端点，再监督端点。

直接预测	监督目标	跟踪 ADT	跟踪 DR	跟踪 PO	跟踪 PS	重建 PO	重建 TUM
\(F\)	\(\bar F\)	78.03	73.26	60.23	55.80	69.36	79.78
\(F\)	\(\bar P_{vt}\)	77.72	76.41	61.21	63.69	66.29	80.05
\(P_{vt}\)	\(\bar P_{vt}\)	78.50	78.48	67.93	67.17	77.20	80.34

保持端点监督不变，从预测 \(F\) 改为预测 \(P_{vt}\) 后，PO 跟踪由 61.21 提升到 67.93，PO 重建由 66.29 提升到 77.20。这比只强调“统一场景流”更具体地说明了实际实现为何选择端点回归。

关键发现¶

完整模型在 DR 动态点跟踪上为 77.2，St4RTrack 为 68.1，相差 9.1 个百分点；但 ADT 动态点上是 70.9 对 75.3，说明收益随场景而变。
表 4 在 RTX PRO 6000 上测得 Flow4R 为 26.8 pairs/s、3152 MB，St4RTrack 为 27.9 pairs/s、6711 MB。显存减少超过 50%，吞吐量则略低，不能称为速度全面提升。
权重图可视化显示模型压低动态人物、机器人及部分无纹理区域的贡献，支持其“定位可靠性”解释；正文消融主要检验运动表示，尚未分别量化所有损失项与权重学习策略的贡献。

亮点与洞察¶

统一的是几何关系，而不是不断堆叠任务头。同一组点位置与运动端点既可通过投影产生光流，也可通过刚性求解产生位姿，让输出之间存在可解释的联系。
让可微求解器反过来训练像素可靠性，比把语义前景当成运动掩码更贴合任务。可迁移的思路是根据下游几何解是否正确学习权重，而不是要求人为穷举所有不可靠像素类型。
保留两幅图各自的局部几何不仅带来双向输出，还留下了跨配对尺度校准的共同参照。预测哪些中间量，会直接影响序列推理是否需要额外优化。

局限与展望¶

作者指出，高质量真实三维场景流数据仍稀缺；静态数据与合成运动监督不能消除所有真实动态场景的域差异。
当前仍是双视图模型，锚帧配对和尺度校准不等于多视图联合建模。作者建议引入类似 VGGT 的多视图注意力，以改善时间一致性与重建质量。
严格资源约束下的实时在线跟踪仍是作者承认的开放问题。这里的 pairs/s 是指定 GPU 的图像对吞吐量，不是完整在线系统帧率。
从评测范围看，前 64 帧与全局对齐协议不能充分证明任意长序列、绝对尺度或长期遮挡恢复能力；可进一步测试锚帧失去重叠时的失败率与自适应换锚策略，这是笔记提出的后续方向。

评分¶

新颖性: 4/5。贡献集中于对称表示、可学习几何求解与静动态联合监督的组织方式，而非提出新的 Transformer 主干。
实验充分度: 4/5。覆盖多数据集的跟踪、重建和效率，并检验运动参数化，但各训练部件的独立消融仍有限。
写作质量: 4/5。几何解释与可视化清楚；阅读时需特别区分概念上的流预测与实际端点输出，并注意“参考系无关”的适用含义。
价值: 4/5。为低显存的统一 4D 感知提供了可复用路线，但真实长序列与在线系统仍需进一步验证。