AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4102
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/4494.pdf
领域: 自动驾驶 / 视频编辑
关键词: 天气转换、G-buffer、几何光照解耦、局部重光照、视频扩散

一句话总结¶

AutoWeather4D 先从驾驶视频提取米制几何与材质，再分别编辑天气作用和光照传播，最后用受约束的视频扩散补足传感器质感，在 Waymo 上取得 0.2586 CLIP 分数和 0.915 车辆检测 IoU；其主要价值是可定位、可调参的天气与灯光控制，而非大幅领先生成式基线。

研究背景与动机¶

给晴天驾驶视频换成雨、雪、雾或夜间，并不只是改变颜色。雨会改变路面的粗糙度和反射，雪应积在朝上的表面，车灯照亮的区域还要随车辆位置、方向和距离变化。纯视频生成模型可以产生逼真的整体氛围，却难以仅靠提示词指定某盏灯的空间影响，且可能改变本应保留的车辆轮廓或建筑结构。真实长尾天气数据又昂贵、难采集，因此编辑既有视频比重新采集所有条件更有吸引力。

已有 NeRF、3DGS 或 4DGS 天气编辑把效果固定在场景表示中，但逐场景优化成本高，动态交通参与者也增加了重建难度。更关键的是，若原始阴影和照明已经混入外观表示，加入浓雾或改成夜晚时就可能留下不相容的旧阴影。本文选择的突破点不是训练一个更大的天气生成器，而是把可编辑状态显式拆成深度、法线和材质，让天气先改变表面，再重新计算它应当如何受光。

核心 idea：用前馈提取的米制 G-buffer 承载动态场景，先在 Geometry Pass 中改变表面与天气粒子，再在 Light Pass 中计算局部和全局照明，最后把扩散模型限制在已有物理结果的细化任务上。

方法详解¶

整体框架¶

输入是驾驶视频及目标天气、灯光或 HDR 环境设置，输出保持原有交通场景布局的编辑视频。系统依次执行米制 G-buffer 提取、Geometry Pass、Light Pass 和 VidRefiner；前两类编辑分别决定“表面变成什么样”和“这些表面在新光照下呈现什么颜色”。

这里的“前馈”主要指不再逐场景优化 NeRF 或高斯场，并不表示所有阶段只有一次网络前向：末端依然包含扩散去噪。系统也不是完全脱离尺度先验的纯单目方案，物理距离依赖稀疏 LiDAR 标定或相机高度先验。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["驾驶视频与编辑设置"] --> B["米制 G-buffer 提取"]
    B --> C["Geometry Pass"]
    C --> D["Light Pass"]
    D --> E["VidRefiner"]
    E --> F["天气与光照编辑视频"]

关键设计¶

1. 米制 G-buffer 提取：让几何距离真正参与物理计算

Pi3 提供具有时空一致性的相对深度，DiffusionRenderer 的零样本逆渲染分支提供反照率、法线、金属度和粗糙度。二者互补：逆渲染把照明与材质分开，4D 重建则提供连续几何，避免只用量化深度时灯光衰减出现台阶。逐帧、像素对齐的显式表示可以随动态物体更新，而不必把整个交通场景压进一个以静态假设为主的优化场景模型。

相对深度还不能直接控制车灯照多远、雾衰减多强。系统在非天空且无遮挡区域，用稀疏 LiDAR 对相对深度求全局尺度和偏置；没有 LiDAR 时，改用预测点云拟合路面，并结合相机高度恢复尺度。天空深度不稳定，系统将其限制到全序列非天空深度分布的第 99 百分位，同时使用天空掩码隔离无效区域，避免把局部灯光误投到天空。得到的每帧状态为：

\[ G_t=\{D_t,N_t,A_t,R_t,M_t,S_t\}. \]

其中 \(D_t\) 是米制深度，\(N_t\) 是法线，\(A_t\) 是反照率，\(R_t\) 是粗糙度，\(M_t\) 是金属度，\(S_t\) 表示有效场景与天空掩码。这是原文完整可辨认的状态定义；尺度求解细节位于未随缓存提供的补充材料，不能据正文自行补成特定鲁棒估计公式。

2. Geometry Pass：先改变天气作用的表面，而非覆盖一层视觉滤镜

雪的关键是同时处理不同尺度的现象。表面积雪采用基于 metaball 的构造，并在法线图上迭代评估 SPH Poly6 核，限制积雪落在朝上结构；地面积雪使用网格和程序化密度图案，融雪湿润则通过降低反照率与粗糙度表现。空中雪花另用具有跨帧持续状态的屏幕空间粒子光栅化，避免每帧重新抽样导致闪烁。这些步骤共同更新天气相关的表面描述，而不是把“雪”简化成白色纹理。

雨同样拆成空中运动和落地作用。雨滴速度由 Gunn–Kinzer 终端速度与参数化风场合成，竖直方向对应重力和阻力平衡，水平方向由风决定；雨滴轨迹以体积 SDF 表达，再和场景深度做遮挡测试。地面积水由分数布朗运动 FBM 生成掩码，在掩码内修改反照率、粗糙度，并用程序化涟漪扰动法线。这样下一阶段看到的是“已经湿了且具有局部波纹的路”，灯光反射才会随湿润状态变化。正文没有给出这些核、轨迹和扰动的完整公式或参数，本笔记不补写。

3. Light Pass：让局部灯光与大气、环境照明分别受控

几何阶段完成后，Light Pass 在编辑后的材质上计算光照。夜间路灯和车辆灯光被建模为三维聚光灯，表面辐射由 Cook–Torrance BRDF 计算，因此同一束车灯照到干路和积水上会产生不同响应。非受光区域使用参数化 LUT 调整到暖色夜间色调并保留最低可见性；这是一项视觉处理选择，不能把整个输出都等同于完全物理的光传输解。

车辆灯光还具有状态约束：现成三维检测器与跟踪器获得车辆包围盒，前灯、尾灯位于盒体前后面的固定相对位置，聚光方向随车辆朝向变化，光锥参与深度测试。系统只在夜间或低能见度雾中为行驶车辆开启前灯，停放车辆保持不亮。路灯由语义掩码定位并借助米制深度提升到三维，随后与车辆灯光共同累积。这里可控的是明确的光源位置、朝向和开关，而非让提示词间接决定整幅图的亮度。

雾采用带 Henyey–Greenstein 相函数的单次散射辐射传输模型，根据米制深度计算距离相关的可见度衰减与局部光晕。对于几何稀疏区域，全局环境照明由 HDR 环境图条件化的神经前向渲染器补全，再与局部灯光结果线性混合。因此 Light Pass 是解析局部光照、物理大气模型和神经环境渲染的组合，不是纯解析全局光照求解器。正文没有公开混合权重和完整散射方程，不能把标准教科书公式冒充实现公式。

4. VidRefiner：补充真实相机质感，同时约束重新生成的自由度

确定性渲染给出了物理关系，却未必具备真实视频的细节与传感器质感。VidRefiner 基于 WAN-FUN 2.2，采用 SDEdit 式流程：先将渲染序列编码到 VAE 潜空间，在枢轴时间步 \(t_s\) 加噪，再反向去噪。初始潜变量来自已编辑结果，使整体布局、颜色和粗尺度光照成为生成过程的起点，而不是仅靠一句文字描述重新生成整段视频。

仅靠初始化仍可能漂移，所以系统从渲染结果提取时空一致的边界，借助已有多通道条件骨干在输入端逐通道拼接。低频初始化约束全局状态，边界条件约束高频空间结构，两者共同把细化限制在已确定的天气和几何范围内。作者声称这一配置无需二次微调；但“结构不变”仍是设计目标和实验观察，不是对任意去噪强度的数学保证，正文也没有给出 \(t_s\) 的具体取值。

一个完整示例¶

以“有行驶车辆的白天道路变成雨夜”为概念示例，不把它当成额外实验：先用深度和尺度标定确定道路、车辆及天空的位置，再生成雨滴并利用深度判断其在车前还是车后。Geometry Pass 在路面掩码中降低粗糙度、加入积水与法线涟漪；Light Pass 随跟踪到的车辆位置和朝向开启前灯，使光照落在已经变湿的路面上，同时改变环境照明。

最后 VidRefiner 以这段渲染视频和边界作为约束补充纹理。如果只想考察车灯影响，可以保持天气和场景状态不变，只改光源开关；如果只想考察降雨条件，可以保留车辆轨迹与布局，改变雨的参数。这是该方法相对纯提示词编辑最实用的区别，但系统级驾驶鲁棒性评测尚未完成。

损失函数 / 训练策略¶

本文不是通过新增统一损失重新训练一个端到端模型，而是组合预训练的几何、逆渲染、检测跟踪与视频扩散模块，以参数化物理编辑连接它们；不需要逐场景优化或额外天气数据微调。缓存正文未提供 VidRefiner 的完整采样配置、物理参数及综合消融，这些内容被指向补充材料，不能据此宣称复现细节齐全。

下游 HRDA 语义分割微调是独立验证实验：使用 6,480 帧增广数据训练 20k 次迭代。不要把这一训练设置误认为 AutoWeather4D 本体的训练成本。

实验关键数据¶

主实验¶

评测使用 Waymo 的 NOTR 子集，共 120 段源视频，每段转换成雨、雪、雾、夜间四种条件，每种 57 帧，总计 27,360 帧。多数方法使用 V100，Cosmos-Transfer2.5 和 Ditto 等高资源基线使用 A100，因此不能直接从设备不同的配置推导速度优势。

CLIP 分数衡量目标天气或时段的指令匹配。表中的车辆检测 IoU 按正文协议比较投影后的二维 LiDAR 真值框与单目三维检测器提取结果，虽然列名写作“Vehicle 3D Detection IoU”，它并非直接报告三维体积 IoU。车辆 CLIP 余弦相似度比较编辑前后的局部特征，作为身份保持的代理指标。

方法	CLIP 分数 ↑	车辆检测 IoU ↑	车辆 CLIP 余弦相似度 ↑	人工评价 ↑
Video-P2P	0.2448	—	—	0
Ditto	0.2532	0.805	0.769	0.425
Cosmos-Transfer2.5	0.2558	0.913	0.837	0.580
WAN-FUN 2.2	0.2577	0.888	0.794	0.668
AutoWeather4D	0.2586	0.915	0.871	0.826

数值来自原文表 3；Video-P2P 的缺项由帧裁剪导致，并非零分。相比 Cosmos，本文 IoU 只高 0.002，车辆特征相似度高 0.034，更适合概括为保持竞争力并增加明确控制能力，而非所有维度上显著领先。

人工实验采用 12 名评审、512 × 512 分辨率、30 帧片段，关注空间真实感与时序连贯性。正文称每个基线有 10 对比较，并汇总 1,440 次回答，但未充分说明这些计数如何对应表中各方法得分；因此保留原表数值，不把 0.826 自行解释为对所有基线的统一胜率。

消融实验¶

缓存仅包含正文图 5 的重建消融；综合模块、雨雪参数和 VidRefiner 条件强度消融被放在未提供的补充材料中。下表明确是定性消融，不补造指标下降。

配置	正文观察	能支持的结论
仅逆渲染深度，不使用 4D 重建	整数量化深度下局部重光照出现锯齿和空间台阶	深度离散化会损害光照衰减的连续性
加入前馈 4D 重建	连续浮点几何产生平滑照明渐变	连续几何对局部重光照有直接作用
其他模块及参数消融	正文无完整数值，指向补充材料第 16 节	无法据现有缓存排序各模块贡献

为了区分“视频看起来更好”和“是否还能沿用原标注”，原文另用 HRDA 测试增广价值，评价遵循 Cityscapes 类别体系。以下为表 4 的绝对分数，不混用其括号内的相对百分比。

增广设置	ACDC mIoU ↑	ACDC mAcc ↑	Dark Zurich mIoU ↑	Dark Zurich mAcc ↑
无增广	49.20	60.72	23.92	38.29
Cosmos 增广	49.66	62.31	23.93	39.52
AutoWeather4D 增广	49.81	62.52	24.09	39.73

关键发现¶

ACDC mIoU 比无增广增加 0.61 个百分点，Dark Zurich 增加 0.17 个百分点；相对 Cosmos 分别高 0.15 和 0.16 个百分点。增益小且未给置信区间，应视为保留标注可用性的初步证据，不是分割能力的重大突破。
正文表 2 在 V100 上报告共享语义标注 128.1 秒，夜间、雾、雨、雪分别为 167.1、170.9、2.2、67.6 秒。这些是核心编辑相关耗时，不是已经计入完整 G-buffer 提取和 VidRefiner 的端到端延迟，尤其不能宣称整段雨视频只需 2.2 秒。
参数化雾浓度、雪密度和单灯开关提供了连续扰动能力，但现有 CLIP、IoU 和用户评价主要验证编辑质量，没有全面证明物理参数的标定精度或驾驶策略安全性。

亮点与洞察¶

控制发生在材质和光源层面。 路面积水改变粗糙度，车灯再据此计算响应，天气和灯光能够联动；这比独立叠加雨纹理和亮度滤镜更有可解释性。
先确定结构，再允许生成补细节。 VidRefiner 同时接收潜变量初始化与边界约束，体现了把生成自由度留给真实感、把几何决定留给显式表示的思路，可借鉴到保留标注的视频增广。
深度质量要按下游用途衡量。 对常规视觉展示影响不大的量化误差，会在距离敏感的重光照中放大；图 5 提醒我们，重建评测应包含编辑后的光照连续性。

局限与展望¶

作者明确指出，车辆溅水等复杂流体长尾交互仍难由解耦模型表达，未来可针对局部非结构化现象引入生成先验，而不是放开全局几何约束。
浓雾中的真实遮挡和远处结构保持存在冲突。作者建议使用语义感知衰减掩码调节扩散强度；保留原始边界过强也可能使结果不符合真实能见度。
从方法依赖看，尺度、天空掩码、材质估计和车辆跟踪错误会传递给灯光定位和天气遮挡。正文未充分量化这些误差，且纯单目路面拟合分支不等于不需要相机标定先验。
从证据范围看，补充材料缺失使综合消融、混合系数和复现设置无法核查；端到端成本、下游增益显著性及跨数据集的编辑泛化也仍需更完整报告。

评分¶

新颖性：4/5。米制 G-buffer、天气表面交互与状态感知局部灯光的统一很有针对性，主要创新在系统组合而非基础物理模型。
实验充分度：3/5。覆盖四种条件、多个生成基线和下游增广，但正文综合消融不足，完整成本和统计不确定性不清。
写作质量：4/5。几何到光照再到细化的主线清晰，但不少关键实现被放入补充材料，个别人工评测口径需要澄清。
价值：4/5。对可控天气数据生成和诊断场景构造有实际价值，尚不能据此推断闭环驾驶安全性得到提升。