WeatherReasonSeg: A Benchmark for Weather-Aware Reasoning Segmentation in Visual Language Models¶

会议: ECCV 2026
论文: ECCV 官方页面
领域: 多模态 VLM / 推理分割
关键词: 恶劣天气鲁棒性、推理分割、掩码引导查询、视觉定位、评测基准

一句话总结¶

WeatherReasonSeg 将可控合成天气与真实恶劣天气下的五维推理查询结合成 44,721 个图像–查询对，揭示现有 VLM 不仅会分割退化，也难以从退化视觉线索中可靠定位语言所指目标，最佳受测推理模型在真实夜间场景仅达到 28.9 gIoU。

研究背景与动机¶

推理分割不只是识别“公交车”这样的类别，而是根据功能、情境或需求推断用户指向的对象，再输出像素掩码。ReasonSeg 和 LISA 推动了这类任务，但在清晰图像上表现良好，并不说明模型在雨雪遮挡、雾中低对比度或夜间弱光下仍能完成同样的语义定位。天气既可能破坏物体边界，也可能让推理所需的结构和环境线索消失，两种错误最终都会体现为错误掩码。

已有天气数据集通常提供语义分割标签，却缺少需要推断目标的语言问题；已有推理分割基准则缺少受控的天气变化。只测试真实天气很难隔离天气强度的影响，只做合成又不能代表非均匀散射、遮挡和照明变化。本文因此选择两种数据来源互补，而不是提出新的天气恢复网络或分割训练算法。

作者进一步把同一目标的查询拆成五个语义维度，以考察失败究竟更接近“看不清结构”还是“无法把需求映射到对象”。核心 idea：用保留原查询的合成天气对照测量退化敏感性，再用真实天气图像、目标掩码和五维查询评估像素级语义定位的实际可靠性。

方法详解¶

整体框架¶

WeatherReasonSeg 是数据集与评测协议，不是一个新训练的分割模型。受测系统的输入是天气退化图像和自然语言问题，输出是目标掩码；另设不接 SAM 的边界框诊断，以及向 SAM2 提供真实空间位置的参考上界。

数据构建分成两条独立路线：合成路线从 ReasonSeg 的清晰图像、深度图和原查询出发，生成雨、雪、雾的不同强度版本；真实路线从 ACDC 图像及像素标注提取目标，用掩码引导语言模型生成五类问题，再联合人工与模型过滤。两条路线不是串行推理模块，因此这里不把数据集结构画成神经网络流程图。

数据规模为 44,721 个图像–查询对，而不是 44,721 张独立图像。合成部分共 8,811 对，雨、雪、雾各 2,937 对；真实部分共 35,910 对，其中雨 8,680、雪 9,545、雾 7,465、夜间 10,220 对。同一物体可对应多个问题，因此样本量不能直接等同于视觉场景的多样性。

关键设计¶

1. 可控天气合成：改变视觉可见性，保留原有语言任务

合成部分以 ReasonSeg 为基础，不重新生成问题，而是将退化图像与原查询配对。这样比较清晰图像和受扰图像时，语言任务保持一致，性能变化更容易归因于视觉输入改变。输入还包括深度图，以支持具有物理含义的天气生成，而非简单叠加无结构噪声。

三类生成器分别模拟雨丝累积、雪花散射与遮挡、以及雾中的大气光散射。雨密度、雪粒分布、可视距离等参数控制退化程度；专家知识与 VLM 辅助校准用于设定天气强度。生成机制允许连续调节，但论文实验只报告 Light、Moderate、Heavy 三档，不能据此声称已测过完整连续强度曲线。

这一设计适合分析同类任务在不同天气强度下的稳定性，但合成图像仍不等于真实天气。正文把具体生成器实现和参数放在补充材料中，当前提供的缓存没有该部分，因此不能补写具体散射公式、参数范围或深度估计器。

2. 掩码引导五维查询：先固定目标，再改变推理角度

真实部分使用 ACDC 的雨、雾、雪和夜间图像及像素标注。先提取目标掩码，再把图像和掩码一起交给语言模型，让它围绕已知目标构造问题。掩码是数据制作时约束问题与答案对应关系的工具，不是默认提供给受测 VLM 的答案提示；图 2 标出了 Qwen，但正文未说明具体版本。

五个维度并非随意改写同一句话。Function 问对象本身的用途，例如货车用于运输；Application 问其所处的使用场景，例如城市配送；Structure 问可观察结构，例如货厢；Relationship 问它和其他实体的空间或交互关系；Requirement 从用户目标反推适合的对象，例如运输大件货物时该选择什么。

其中 Function 是以对象为中心的用途判断，Requirement 是以需求为中心的目标选择，两者有关但不等价。固定同一物体后比较这些问题，可以减少“换了目标类别”带来的混淆，观察模型对可见属性与抽象情境的依赖差异。不过维度本身不是严格的难度等级，也不能预设每一种 Structure 问题都比 Requirement 容易。

3. 单目标一致性过滤：避免语言问题与像素答案错配

初始查询由人工标注者和语言模型共同核验。过滤规则包括：去掉仅罗列物体或部件、没有功能或情境语义的问题；排除五个问题未指向同一物理对象的组；只保留目标实体明确且视觉可识别的问答组；剔除提及画面中不存在、难以辨认或语义含混对象的问题。

这里最重要的不是让问句看起来复杂，而是保证“同一组问题最终应该分割同一个目标”。否则模型即使合理回答了问题，也可能因标注目标不匹配而被判错。对真实天气尤其如此：标注者知道目标类别，并不意味着退化图像中仍有足够线索供模型识别它。

这套过滤同时限定了基准的适用范围。它强调可回答、可定位的目标，而不是评估完全不可见对象的拒答或不确定性表达；正文也没有给出过滤保留率、人工一致性统计或完整提示词，不能把规则描述当作已量化的标注质量保证。

4. 分层评测：区分最终掩码、定位诊断与提示上界

作者测试 GLaMM、Grounded-SAM、PixelLM、LISA、Seg-R1 和 Seg-Zero 六个框架。完整模型回答“从问题到掩码能做多好”；Seg-Zero* 去掉 SAM，只评估边界框，观察进入掩码解码之前的定位退化；SAM2 则接收真实边界框等空间提示，回答“已经知道目标位置时还能分得多好”。这三个设置的输入信息和输出空间不同，不能视为完全公平的模型排行榜。

论文采用 gIoU 和 cIoU。此处 gIoU 是逐图 IoU 的算术平均，不是目标检测中的 Generalized IoU；cIoU 则把所有交集与并集分别累加后相除。若第 \(i\) 个评测样本的预测和真实区域为 \(P_i\)、\(G_i\)，正文定义可写为：

\[ \mathrm{gIoU}=\frac{1}{N}\sum_{i=1}^{N}\frac{|P_i\cap G_i|}{|P_i\cup G_i|},\qquad \mathrm{cIoU}=\frac{\sum_{i=1}^{N}|P_i\cap G_i|}{\sum_{i=1}^{N}|P_i\cup G_i|}. \]

表中以百分数尺度报告结果。gIoU 给每个样本同等权重，cIoU 更受并集面积较大的样本影响，所以两者的变化不必同步。边界框诊断使用框区域，不能将其与完整模型的掩码分数相减后解释为 SAM 的独立贡献。

损失函数 / 训练策略¶

本文没有提出新的损失函数，也没有报告在 WeatherReasonSeg 上训练天气自适应模型的完整流程。方法重点是构建数据并测试现有框架，不能把相关工作中对强化学习或解耦分割的讨论理解成本文额外实现了一个 RL 训练方案。

正文的实现细节主要交代模型名单和指标，未充分列出各基线的检查点、解码超参数、计算预算及训练重叠核查。合成表区分 val/test，但当前缓存未给出足以重建全部划分与样本映射的细节；复现时需要核对正式数据发布，而不能自行猜测。

实验关键数据¶

主实验¶

下表摘录原文表 3，均为真实天气子集的 gIoU，数值越高越好。SAM2 单列为真实位置提示下的参考，不参与同输入条件的优劣判断。

方法	雾	雨	雪	夜间
SAM2，真实位置提示参考	82.2	80.1	81.5	74.8
PixelLM	2.8	2.0	1.9	2.6
GLaMM	13.1	9.3	11.5	9.8
Grounded-SAM	23.7	18.8	15.3	11.4
LISA-7B	18.9	11.5	14.9	14.7
Seg-R1	30.9	26.7	29.4	18.5
Seg-Zero-7B	40.6	35.1	36.8	28.9

Seg-Zero-7B 是表中最好的完整推理分割模型，但夜间仍比 SAM2 提示参考低 45.9 个百分点。这个差距说明获得正确目标位置非常重要，却不足以把所有误差严格归因于“推理能力”，因为比较同时改变了提示条件与模型架构。

消融实验¶

论文没有提出新模块并做去除模块的消融；下面是原文表 2 的受控天气强度分析，统一取 Seg-Zero-7B 的 test 掩码 gIoU，不混用 val 或边界框指标。

合成天气	Clean	Light	Moderate	Heavy	Clean 到 Heavy 下降
雾	57.5	53.9	50.9	49.9	7.6
雨	57.5	54.0	51.5	47.8	9.7
雪	57.5	53.1	45.7	45.7	11.8

下降列为上述表值相减所得的百分点。该切片里雪的最终下降最大，雨的下降大于雾，且雪在 Moderate 与 Heavy 两档持平。因此应总结为总体退化趋势，而不是所有天气排序固定、所有模型严格单调下降。

再看原文表 4 的真实雨天语义维度分析，以下统一为 cIoU：

查询维度	Seg-Zero	LISA	Seg-R1
Function	41.2	18.7	38.8
Application	31.7	14.3	36.2
Structure	35.5	17.1	34.5
Relationship	36.8	16.7	36.7
Requirement	31.8	15.6	34.2

关键发现¶

Seg-Zero 在雨天的 Function 与 Requirement cIoU 相差 9.4 个百分点；这是同一天气下不同问题类型的表现差异，不是相对清晰图像的退化幅度。
原文表 2 的 Seg-Zero* 在 val 边界框评测中从 Clean 65.3 降到 Heavy Snow 47.7，下降 17.6 个百分点。定位本身已受影响，但边界框 IoU 仍是行为代理指标，不直接测量内部思维链是否正确。
“单调退化”并非逐项成立：例如 Seg-R1 的雾天 test gIoU 从 Light 46.9 回升至 Moderate 47.8，再降至 Heavy 43.4。局部反例不推翻严重天气下总体变差，但限制了措辞强度。
正文与表格存在不一致：正文将 Grounded-SAM 的 Heavy Fog cIoU 写成 10.8，表 2 的 fog-test 为 12.3，10.8 实为 snow-test；Seg-Zero 雪天 cIoU 正文为 39.72，表 2 为 39.7。本笔记保留表格报告口径，不把差异静默改成一致。

亮点与洞察¶

合成与真实数据各司其职：前者固定查询分析强度敏感性，后者暴露实际成像与城市场景中的复杂失败。两者结合比只报一个天气平均分更有诊断价值。
掩码先行的查询构造把语言问题绑定到像素答案。五维问题让同一目标承载不同语义要求，适合研究目标可见性与问题抽象程度如何共同影响定位。
真实位置提示参考提示了一个可迁移的评测思路：同时报告端到端掩码和已知目标位置时的分割表现。前提是明确后者获得了额外信息，而不是据此宣称分割模块没有问题。

局限与展望¶

作者承认真实子集偏向城市驾驶，交通相关对象较多。对自然环境、非交通物体及室外作业场景的结论仍需新数据支持。
正文缺少天气参数、完整查询提示、过滤统计和充分复现配置；当前缓存没有补充材料。上述内容的缺失限制了独立复现，不能以推测补齐。
表 3 的 Seg-Zero 雨天 gIoU 为 35.1，而表 4 的五个雨天维度均在 31.5–33.8；若它们是同一集合的穷尽划分，按逐样本 gIoU 定义无法聚合得到 35.1。当前正文未解释是否存在子集或协议差异，因此不将两表强行合并。
五维比较缺少对应的清晰真实图像查询对照，SAM2 又使用真实位置提示。未来可固定模型与目标，逐级替换真实/预测定位提示，并增加清晰–退化配对，进一步分离视觉信息损失、定位错误和掩码误差。
过滤掉难辨认目标有助于可回答性，却不能评价极端天气下的安全拒答。可增加可见性标签、置信度校准和选择性预测指标；这是后续建议，不是论文已验证的结果。

评分¶

新颖性: 4/5，针对天气退化与像素级推理的交叉空白，双来源数据和五维查询具有明确价值。
实验充分度: 3/5，覆盖六个框架、多种天气与强度，但复现细节、严格归因和统计一致性仍不足。
写作质量: 3/5，构建思路清楚，但单调性表述、部分表格引用和聚合结果需要澄清。
价值: 4/5，为真实环境中的推理分割提供实用压力测试，尤其适合研究视觉定位鲁棒性。