FRUC: Feedforward Dynamic Scene Reconstruction from Uncalibrated Collaborative Driving Views¶

会议: NeurIPS 2026
arXiv: 2605.29997
代码: https://github.com/yihangtao/FRUC.git
领域: 重建与渲染
关键词: 协作式自动驾驶、前馈3D高斯泼溅、动态场景重建、因果遮挡场、残差去噪

一句话总结¶

针对协同驾驶中多车多相机未精确标定与时空无序导致的几何错位与语义干扰难题，FRUC提出了基于视觉几何Transformer的前馈3DGS框架，通过自车因果遮挡场推导盲区时空演化先验，并利用零初始化条件残差去噪实现无损的协作式动态场景补全与高质量新视角合成。

研究背景与动机¶

动态场景的快速与可扩展重建构成了现代自动驾驶系统的基石。在车载端，将稀疏历史观测高效升维至4D表征能够支持实时的反事实假设分析（what-if analysis），进而合成新视角以供关键安全决策；在云端，将大规模行车日志转化为动态数字孪生，则能为闭环仿真器提供可泛化的驾驶世界模型。前馈3D高斯泼溅（3DGS）凭借单次前向推理的高效率成为主流范式，然而单车自车视角天然受制于物理视线（Line-of-Sight）阻隔，前车或行人的严重遮挡不可避免地会在几何场景中留下无法观测的“空洞”，一旦在闭环评估中移除前景遮挡物，背景就会产生严重失真与几何残缺。

车路协同/车车协同驾驶（V2X/V2V）通过汇聚分布式智能体的互补视角，为突破单车视线遮挡提供了全新可能。然而，现有的协同重建方案（如CRUISE和V2X-Gaussians）重度依赖多相机外参精准标定、LiDAR辅助初始化以及昂贵的单场景逐场景优化（per-scene optimization），在多车动态异步网络中推理耗时极长，完全无法满足实时与规模化需求。直接将单车前馈架构拓展到多智能体场景又面临两大严峻瓶颈：一是无结构几何错位（Unstructured Geometric Misalignment），协同车辆相机未标定且动态移动，简单的空间投影与几何扭曲完全失效；二是破坏性语义干扰（Destructive Semantic Interference），强行拼接时空重叠不稳定的外车图像会污染自车稳定潜在特征空间，甚至破坏自车原有的高保真单车几何先验，引发严重的伪影与结构畸变。

面对多车特征融合极易破坏自车可靠特征的内在矛盾，本文没有采用机械的几何对齐或暴力特征拼接，而是将跨车协同特征整合重构为一个有界的条件残差去噪问题。核心 idea：将多车协同网络视为无结构的多相机系统，先利用自车因果遮挡场显式建模动态盲区的时空演化并生成空间先验，再通过零初始化的跨车潜在残差去噪模块以残差形式定向修补遮挡盲区，既实现高效前馈补全又严格保护自车可靠可见几何。

方法详解¶

整体框架¶

FRUC 将分布式多车网络抽象为时空无结构的自车中心多相机系统，无需精确相机外参或硬件级时间同步。给定自车与协作车在多个时间步的无标定输入图像序列，模型在单次前向传播中完成时序连贯、几何完整的动态4D表征预测。输入图像首先经由DINO主干网络分词并追加可学习相机Token，送入视觉几何Transformer（VGGT）交替注意力（Alternating-Attention）主干中进行跨帧与帧内上下文聚合，同时注入显式的智能体身份与时序因果嵌入。

在提取到的混合潜在特征基础上，系统兵分两路协同推进：一方面，因果遮挡场（COF）结合拓扑保持的浅层特征与时间因果掩码注意力，推导动目标运动轨迹与盲区时空演化先验；另一方面，跨车潜在残差去噪（CALRD）模块以纯自车特征为结构锚点，在遮挡先验的空间调制下，通过零初始卷积以残差方式滤除几何错位噪声、修补遮挡区域。最终，去噪特征送入解耦的高斯头，分别沿相机光线预测解耦的静态与动态3D高斯椭球，并配合天空头实现全场景或去前景纯背景的保真渲染。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["多智能体无标定图像序列<br/>自车与协作车多时间戳帧"] --> B["多车视角输入分词与时空锚定<br/>DINO编码 + VGGT交替注意力 + 身份/时间嵌入"]
    B --> C["自车因果遮挡场 (COF)<br/>动态足迹提取 + 因果掩码时序追踪 + 运动残差膨胀"]
    B & C --> D["跨车潜在残差去噪 (CALRD)<br/>纯自车基准锚定 + 遮挡先验空间调制 + 零初始化残差预测"]
    D --> E["解耦高斯渲染与动态编辑<br/>静态/动态3D高斯分离解码 + 天空头环境渲染"]

关键设计¶

1. 多车视角输入分词与时空锚定：统一潜在流形与身份因果解耦

为了在抛弃全局世界坐标系与刚性外参的前提下处理分布式异构视角，FRUC 将多车观测重构为联合语义代理。输入序列按时间戳与智能体展开（如自车与协作车在 \(t_0, t_1\) 的图像拼接），经由 DINO 编码为高维 Patch Token \(\mathbf{F}_{dino,k}^{\tau}\) 并附带可学习相机 Token \(\mathbf{c}_{cam}\)，输入至 VGGT 的交替注意力（AA）主干网络，自适应推理隐式几何与源视角空间先验：

\[\mathbf{F}_{m,k}^{\tau},\hat{\mathbf{c}}_{k}^{\tau}=\mathcal{E}_{vggt}\Big([\mathbf{c}_{cam},\mathbf{F}_{dino,k}^{\tau}]\Big)\]

由于粗糙的多视角聚合会形成高度纠缠的潜在空间，引发外车未标定视角对自车几何的严重干扰，模型设计了可学习的智能体身份嵌入 \(\mathbf{E}_{agt}(k)\) 与正态分布时间戳嵌入 \(\mathbf{E}_{tem}(\tau)\)，将其广播加权至对应帧的所有 Token 形成增强特征 \(\tilde{\mathbf{F}}_{m,k}^{\tau} = \mathbf{F}_{m,k}^{\tau} + \mathbf{E}_{agt}(k) + \mathbf{E}_{tem}(\tau)\)。这为后续特征去噪提供了显式的时空身份因果锚点，使网络能够在潜空间中精准辨识信息来源。

2. 自车因果遮挡场：动态足迹追踪与运动引导残差膨胀

自动驾驶场景中的盲区主要由前方运动车辆或行人遮挡所致，盲区并非静止，而是随着物体的运动轨迹在时空维度上动态演变。若仅使用静态遮挡掩码，网络将无法捕捉连续时序中的遮挡演化。为此，因果遮挡场（COF）首先利用浅层拓扑保持特征与输入图像，通过 DPT 风格的动态预测头预测基底动态概率图 \(S_{dyn,k}^{\tau}=\sigma(\Phi_{dyn}(\mathbf{F}_{dino,k}^{\tau},\mathbf{I}_{k}^{\tau})) \in [0,1]^{H\times W}\)。

为了捕捉运动学上下文，模型在展平的特征序列上施加智能体级因果掩码注意力（Agent-wise Causal Masked Attention），通过因果掩码矩阵 \(\mathbf{M}_{cau}\) 严格杜绝跨车信息泄露与未来帧偷窥：当且仅当 \(a(i)=a(j)\) 且 \(\tau(i)\ge \tau(j)\) 时注意力有效。该注意力充当隐式时序跟踪器，输出运动演化特征 \(\mathbf{Z}_{kin,k}^{\tau}\)。轻量遮挡解码器 \(\Phi_{occ}\) 随后预测时空膨胀残差 \(\Delta S_{kin,k}^{\tau} = \Phi_{occ}(\mathbf{Z}_{kin,k}^{\tau} \oplus S_{dyn,k}^{\tau})\)，最终截断生成连续的遮挡不确定性先验：

\[\mathbf{M}_{occ,k}^{\tau}=\text{Clamp}\Big(S_{dyn,k}^{\tau}+\Delta S_{kin,k}^{\tau},\,0,\,1\Big)\]

该设计以物理动目标足迹为锚点自适应沿运动轨迹向外扩散，准确勾勒出盲区的影响范围，使后续模块能明确感知哪些区域急需协作视角补充几何。

3. 跨车潜在残差去噪：自车流形锚定与零初始化残差补全

直接微调拼接的多车特征会在未标定高方差几何噪声作用下严重扭曲 Hessian 矩阵曲率，导致自车稳定几何坍塌。跨车潜在残差去噪（CALRD）模块基于信息瓶颈理论，将特征整合转化为有界的自车条件残差去噪问题。模块引入未受污染的纯自车特征 \(\mathbf{F}_{e}^{\tau}\) 作为结构基准，构建双分支卷积架构。条件分支结合遮挡先验 \(\mathbf{M}_{occ,k}^{\tau}\) 与自车特征，经零初始化 \(1\times 1\) 卷积 \(\mathcal{Z}_{pri}\) 提取结构条件 \(\mathbf{C}_{pri,k}^{\tau} = \mathcal{Z}_{pri}(\Phi_{con}([\mathbf{M}_{occ,k}^{\tau},\mathbf{F}_{e}^{\tau}]))\)；主干分支处理混合特征，并由第二组零初始化卷积 \(\mathcal{Z}_{out}\) 预测残差修正量：

\[\hat{\mathbf{F}}_{m,k}^{\tau}=\tilde{\mathbf{F}}_{m,k}^{\tau}+\mathcal{Z}_{out}\Big(\Phi_{fea}(\tilde{\mathbf{F}}_{m,k}^{\tau})+\mathbf{C}_{pri,k}^{\tau}\Big)\]

在训练初始阶段，零初始化卷积使残差量为零，保证了优良的初始雅可比条件并保护自车原始流形。在可见未遮挡区域（\(\mathbf{M}_{occ,k}^{\tau} \approx 0\)），去噪残差定向逼近并抵消跨车外参错位噪声；而在动态盲区（\(\mathbf{M}_{occ,k}^{\tau} > 0\)），残差模块在遮挡先验引导下主动聚合协作视角特征，定向补全缺失背景，实现了“保自车真值、补遮挡盲区”的手术式精确修复。

4. 解耦高斯渲染与动态编辑：动静分离与无缝反事实推理

经去噪净化的特征图 \(\hat{\mathbf{F}}_{m,k}^{\tau}\) 输入专用高斯头 \(\Phi_{gs}\)，沿光线直接回归预测3D高斯椭球参数（不透明度、颜色、尺度与旋转四元数）。网络将空间显式解耦为动态高斯集合 \(\mathcal{G}_{dyn}\) 与静态背景高斯集合 \(\mathcal{G}_{sta}\)，并由独立的天空头 \(\Phi_{sky}\) 提取远景天空环境与光照 \(\mathcal{I}_{sky}\)。

在自车新视角 \(\mathbf{P}_{novel}\) 渲染时，合成全场景图像为 \(\mathcal{I}_{full}=\text{Render}(\mathcal{G}_{dyn}\cup\mathcal{G}_{sta},\mathbf{P}_{novel})+\mathcal{I}_{sky}\)；若需要进行反事实编辑或场景仿真，只需显式剥除特定动目标的动态高斯并单独光栅化静态高斯，即可获得由协作视角高保真补全的无空洞纯背景图像 \(\mathcal{I}_{bg}=\text{Render}(\mathcal{G}_{sta},\mathbf{P}_{novel})+\mathcal{I}_{sky}\)，消除了传统单车编辑中因物理遮挡留下的虚空破损。

损失函数 / 训练策略¶

针对多动态智能体端到端训练极度不稳定的难题，FRUC 采用两阶段渐进式训练策略：

阶段 I：单车预训练。冻结基础 VGGT 主干，仅在单车序列上训练高斯渲染头 \(\Phi_{gs}\)、天空头 \(\Phi_{sky}\) 和动态分割头 \(\Phi_{dyn}\)。损失函数结合 \(L_1\) 与 LPIPS 光度重构损失 \(\mathcal{L}_{pho}\)，以及由预训练 SegFormer 伪标签监督的二元交叉熵损失 \(\mathcal{L}_{msk}\)，总损失为 \(\mathcal{L}_{s1}=\mathcal{L}_{pho}+\lambda_{msk}\mathcal{L}_{msk}\)，奠定稳健的单车几何与表征基础。

阶段 II：跨车协同适配。冻结预训练的动态头与天空头，使用多车序列训练新增的 COF、CALRD 模块及其他可训练解码器。为引导残差学习在有界空间内收敛，设计了三组辅助损失 \(\mathcal{L}_{aux}\)： 1. 先验稳定正则（\(\mathcal{L}_{reg}, \mathcal{L}_{var}\)）：通过膨胀动态掩码的 \(L_1\) 约束 \(\mathcal{L}_{reg}=\|\mathbf{M}_{occ,k}^{\tau}-\mathcal{D}_{\mathcal{K}}(S_{dyn,k}^{\tau})\|_1\) 防止先验掩码无限制扩张，并通过负空间方差 \(\mathcal{L}_{var}=-\text{Var}(\mathbf{M}_{occ,k}^{\tau})\) 防止掩码退化坍塌为常量。 2. 协作补全损失（\(\mathcal{L}_{coo}\)）：在动态膨胀边界环 \(S_{bnd,k}^{\tau}=\mathcal{D}_{\mathcal{K}}(S_{dyn,k}^{\tau})\setminus S_{dyn,k}^{\tau}\) 内施加纯背景渲染的光度监督 \(\mathcal{L}_{coo}=\frac{1}{|S_{bnd}|}\sum_{\mathbf{u}\in S_{bnd}}\|\mathcal{I}_{bg}(\mathbf{u})-\mathcal{I}_{gt}(\mathbf{u})\|_1\)，倒逼模型调动协作视角修补阴影背后的真实几何。 3. 自车流形正则（\(\mathcal{L}_{den}\)）：在全图施加全局隐空间均方误差 \(\mathcal{L}_{den}=\|\hat{\mathbf{F}}_{m,k}^{\tau}-\mathbf{F}_{e}^{\tau}\|_2^2\)，与 \(\mathcal{L}_{coo}\) 形成抗衡博弈，非盲区强力拉回自车基准，防止多车微调导致自车单车能力灾难性遗忘。总损失为 \(\mathcal{L}_{s2}=\mathcal{L}_{pho}+\mathcal{L}_{aux}\)。

实验关键数据¶

主实验¶

在真实自动驾驶协同感知基准 V2X-Real 数据集上，输入两时间戳多车视角（自车与协作车在 \(t-1, t+1\) 帧）重建 \(t\) 帧自车视角的中间插值结果。评估指标涵盖全图渲染质量（PSNR, SSIM, LPIPS）、动态区域渲染指标，以及基于 NIQE 的盲区补全真实感评估与推理耗时。

方法	类型	全图 PSNR↑	全图 SSIM↑	全图 LPIPS↓	动态 PSNR↑	动态 SSIM↑	盲区 NIQE↓	推理时间↓
EmerNeRF [34]	逐场景优化	21.65	0.636	0.583	17.79	0.979	-	10 min
3DGS [13]	逐场景优化	20.19	0.616	0.592	16.85	0.976	-	14 min
V2X-Gaussians [11]	逐场景优化	22.20	0.784	0.409	23.87	0.994	-	21 min
MVSplat [3]	前馈泛化	16.73	0.478	0.281	15.18	0.952	-	0.31 s
DrivingForward [25]	前馈泛化	17.37	0.596	0.239	14.46	0.955	-	0.15 s
STORM [33]	前馈泛化	16.27	0.579	0.379	14.36	0.953	8.682	0.35 s
AnySplat [12]	前馈泛化	19.18	0.605	0.219	16.69	0.959	-	0.29 s
DGGT [2]	前馈泛化	21.85	0.804	0.129	24.76	0.992	4.301	0.54 s
FRUC (本文)	前馈泛化	25.89	0.883	0.076	25.93	0.994	3.949	0.77 s

消融实验¶

在 V2X-Real 数据集上针对核心架构模块 CALRD、因果遮挡场 COF 以及阶段 II 辅助损失 \(\mathcal{L}_{aux}\) 进行逐步消融分析：

配置	CALRD	COF	Aux. 损失	全图 PSNR↑	全图 SSIM↑	全图 LPIPS↓	动态 PSNR↑	盲区 NIQE↓	说明
基线（双模块剥离）	✗	✗	✓	21.94	0.799	0.138	24.71	4.181	暴力特征拼接无法应对未标定错位，指标最差
仅去噪无遮挡场	✓	✗	✓	23.97	0.836	0.119	24.96	4.017	缺少结构化先验，去噪修正缺乏空间定位指导
无辅助损失约束	✓	✓	✗	22.76	0.801	0.121	24.92	4.309	缺少损失正则导致优化轨迹无序，盲区补全受挫
完整模型 (Full)	✓	✓	✓	25.89	0.883	0.076	25.93	3.949	各模块协同，渲染保真度与盲区补全全面领先

关键发现¶

去噪与遮挡场的协同效应：同时移除 CALRD 和 COF 时，全图 PSNR 暴跌 3.95 dB（从 25.89 降至 21.94），表明直接拼接多车特征会引发严重的几何语义污染；若保留去噪模块但去除 COF，PSNR 仅能恢复到 23.97 dB，证明结构化因果先验是引导残差去噪进行精准盲区填补的关键前提。
辅助损失的正则稳定器角色：去掉 \(\mathcal{L}_{aux}\) 后，盲区补全的感知质量指标 NIQE 恶化最为明显（从 3.949 恶化到 4.309），表明辅助损失通过在遮挡边界建立博弈对抗约束，有效防止了无序特征更新，确保盲区补全符合物理真实性。
跨数据集零样本与微调泛化极佳：在未曾见过的 UrbanIng-V2X 数据集上，直接进行 Zero-shot 测试时 FRUC 的全图 PSNR 达到 25.07 dB（领先次优 DGGT 达 2.84 dB），在微调后进一步提升至 27.26 dB（SSIM 达到 0.996），且 NIQE 达到 3.854，展现出优异的跨域迁移能力。
输入协作视角数量扩展性：在协作视角数量测试中（\(N_c=0, 1, 2\)），纯自车输入（\(N_c=0\)）下 FRUC 达到 27.02 dB，证明阶段 II 训练未破坏单车表征能力；随着协同视角的增加，FRUC 始终保持高水准重建质量，显著优于在多视角下剧烈退化的 DGGT。

亮点与洞察¶

多车协同融合重构为条件残差去噪：摒弃传统机械外参对齐与破坏性特征拼接，将未标定协同视角的引入抽象为带噪声的特征观测，以纯自车特征和遮挡先验为条件进行单步残差净化，从根本上消除了跨车几何错位对自车表征的破坏。
因果时序注意力驱动的动态遮挡场：将静态语义掩码升维为具备运动因果感知的动态遮挡场，利用智能体内部时序掩码注意力挖掘运动学潜空间并驱动残差膨胀，精准预测盲区在时间维度上的拓扑演变。
零初始化与对抗正则保证平滑收敛：CALRD 卷积层严格采用零初始化，确保训练伊始网络雅可比矩阵良态；配合全局自车流形 MSE 约束与边界补全损失构建博弈平衡，成功解决了非凸多智能体网络端到端训练发散的难题。

局限与展望¶

极端低重叠度与弱语义关联瓶颈：作者指出当自车与协作车视场重叠极度稀疏、跨车语义关联微弱时，协作视角能够提供的有效互补信息有限，模型在极度严重的遮挡下补全质量仍显不足。
动态分割伪标签依赖与误差累积：依赖离线预训练的 SegFormer 提取伪标签监督动态头，若在极端光照或复杂天气下动态概率图估计失真，将直接影响下游因果遮挡场的膨胀精度并降低反事实场景编辑的可靠性。
未来方向：未来工作可探索在极端恶劣工况与稀疏视场下增强跨车长程几何上下文关联，并引入多模态自监督或基础世界模型先验，提升动态目标与盲区建模的鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次提出面向未标定多车协同的前馈3DGS重建范式，因果遮挡场与潜在残差去噪设计巧妙自洽。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 V2X-Real 与 UrbanIng-V2X 两大基准，涵盖多帧插值、单帧外推、多协同视角扩展及消融，数据详实。
写作质量: ⭐⭐⭐⭐⭐ 问题定义直击痛点，附录包含详尽的信息瓶颈与二阶泰勒展开理论证明，论述严密清晰。
价值: ⭐⭐⭐⭐⭐ 为车路协同动态仿真、自动驾驶反事实闭环评测与端到端前馈3D重建提供了极具实用价值的高效解法。