Beyond Aesthetics: Quantifying Information Loss in Turbid Scenes¶

会议: ECCV 2026
Paper: https://eccv.ecva.net/virtual/2026/poster/4433
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/5879.pdf
项目: https://vap.aau.dk/pcd/
领域: 语义分割（实例分割基准与水下图像信息评估）
关键词: 水下浑浊、相位一致性、结构信息、无参考指标、实例分割

一句话总结¶

本文用可跨浑浊等级传递真实掩码的 TUB 数据集和相位一致性梯度熵 PCD，区分“看起来变差”与“任务所需结构消失”：PCD 在文中真实及合成浑浊实验中与分割表现的相关性最强，但不能把它当成跨任意场景通用的可识别性分数。

研究背景与动机¶

水下图像变浑并不只意味着颜色不自然。吸收改变亮度和光谱，后向散射像一层薄雾降低对比度，更强的散射还会扩散边界、模糊细节，甚至让相邻区域变得不可区分。面向图像增强的评估往往将这些现象共同解释为画质下降，却没有回答实例分割模型究竟失去了什么。例如，整体对比度降低时，人眼觉得物体难看清，但边界的位置仍可能保留；反过来，边界被彻底抹去后，调色也无法恢复真实的实例形状。

困难在于，现有数据既缺少严重浑浊条件，也缺少这些条件下可信的分割标注。如果只标注仍能看见的目标，最难的实例可能直接从评估中消失；如果主要依赖合成图像，则容易把色偏和对比度变化误当成真实散射造成的信息损失。因此，本文需要同时解决两个问题：保持目标不动以获得跨退化程度一致的真值，并寻找不被简单对比度变化支配的结构指标。这不是提出更强的分割网络，而是建立一个能检验“退化程度是否真的意味着任务困难”的实验基础。

作者将相位一致性与 delentropy 结合，在控制场景结构的条件下比较指标和模型表现。 核心思路：先用固定场景的真实浑浊序列建立可靠参照，再以多尺度相位结构而非像素观感衡量信息变化，检验哪些退化真正影响实例分割。

方法详解¶

整体框架¶

研究由 TUB 受控采集、PCD 结构度量、真实—合成任务验证三部分组成。 TUB 提供相同场景在不同浑浊程度下的图像和实例掩码；PCD 输入单张图像，输出一个无需清晰参考图的结构信息标量。验证时再将该标量与分割模型在对应图像上的 AP50 联系起来，判断它是否反映任务效用。这里的输出不是增强图像，也不是由 PCD 直接预测出来的目标掩码。

实验有两条不同的证据链，不能混为同一组训练结果。第一条仅使用真实 TUB，改变训练和验证的浑浊子集，观察模型适应退化后还剩多少性能损失。第二条把真实数据与两类合成退化合并训练，再比较逐图 AP50 与多种图像指标的相关性。前者说明浑浊本身怎样影响分割，后者检验 PCD 是否比常用质量指标更能跟踪这种影响。由于核心贡献是数据集、指标和验证协议，而不是多模块预测网络，这里不将其画成模型推理流水线。

关键设计¶

1. TUB 受控采集：把不可见目标的真值保留下来

作者在圆柱水槽周围安装四台 GoPro11，将目标通过 LEGO 结构固定在底板上。石块、垃圾等自然或人造物品在不同场景中重新组合和摆放，但同一条浑浊序列内相机与物体都不移动。这样，同一视角中图像差异主要来自介质变化，而不是构图和目标位置变化。每个场景从清水开始，加入定量燕麦奶形成十个浑浊阶段；每个阶段对三份水样使用浊度计测量。加入量相同并不保证视觉效果或实际浊度相同，因此最终不是按“第几次添加”分组，而是按实测 NTU 分组。原文定义低浑浊为 0–10 NTU、中浑浊为 10–20 NTU、高浑浊为 20+ NTU。数据共含 33 个场景、每场景 40 张图像，总计 1,320 张。

标注在清水图上完成，然后逐视角传递到同一场景的全部浑浊图像。固定几何关系使得严重浑浊下已经难以手工描边的对象仍有参考掩码，最终得到超过 16,000 个实例级掩码。所有对象只有一个类别，因此任务主要检验实例可定位、可分割程度，而不是不同物种或物品的语义识别。这一设计也改变了结果的含义：模型会因漏掉完全被遮蔽的对象而受罚，评估目标不是“当前肉眼能看见的对象集合”。多相机增加了遮挡和观察角度变化，但四个视角仍属于同一场景，不能随机拆进训练和验证以制造虚假的独立样本。本文因此按场景划分，而非逐图随机划分。

2. PCD 结构度量：先减弱对比度干扰，再统计结构变化

普通 delentropy 不是直接统计像素值，而是统计水平和垂直梯度分量的联合分布，计算其联合熵。它利用了空间变化信息，但固定卷积核得到的梯度幅度仍随对比度变化；对比度很低并不一定意味着边界位置已经丢失。此外，固定单尺度梯度难以同时描述细边缘与较宽、较模糊的轮廓。 PCD 保留 delentropy 的联合统计思想，替换其输入表征，而不是给已有画质分数重新调权重。

相位一致性寻找局部频率成分在相位上相互对齐的位置，这些位置往往对应显著结构。原文采用 Kovesi 的实现，以 Gabor 函数衍生的小波在多个尺度上计算，并在估计中抑制噪声。响应范围为 0 到 1，强调不同尺度上结构位置的一致性，而不直接用原始明暗差作为边界强度。按照 delentropy 的二维构造，作者只取两个正交方向，形成两张相位一致性响应图，用它们替代传统的两个梯度分量。随后依据两张图对应位置的响应对建立联合分布，并计算联合熵，得到 Phase-Congruency Delentropy，即 PCD。因此，“PCD 越高”表示在这一表征下结构响应更丰富，不等于目标数量更多或预测准确率一定更高。

这个替换能够让仅有色偏、对比度衰减而仍保留边界的图像，不至于被立即判作结构信息严重损失。如果散射使边界逐步扩散或消失，多尺度结构响应也会变化，指标才更接近分割模型真正面对的困难。但相位表征不是从无中生有恢复边缘：相邻区域已经落到相同像素值时，真实信息仍可能不可逆地消失。局部仍有清晰边缘、同时远处对象已经完全不可见的图像，也可能得到偏高分数。原文第 4 节式（1）的缓存排版存在符号和求和下标错位，因此这里采用正文支持的联合熵定义，不补写未经核实的公式。正文也未充分交代联合分布的离散化细节，精确实现应查项目代码，而不是由笔记推测分箱数量。

3. 真实—合成任务验证：用分割表现检验结构指标的意义

为避免指标只适用于一种拍摄分布，作者从最低浑浊图像生成两类合成序列，每种方法对每张输入生成十个变体。 Synth1 使用水下成像模型，主要表现为随距离变化的对比度损失。 Synth2 进一步加入模糊和空间不均匀噪声，因此能测试边界退化是否改变指标与模型的关系。深度由 ZoeDepth 估计，输出随机重缩放到 0.2–4 米范围，衰减系数从 Jerlov 水体类型相关分布采样。这是一种在几何和介质参数未知时的合成设置，并非对水槽逐场景进行物理参数反演。两类合成图继续沿用原始掩码，与真实图合并后，数据量增至原来的三倍。

三个分割模型在合并数据上训练后，分别逐图计算 AP50，再与质量或复杂度指标比较。对照包括 Entropy、Delentropy、NIQE、UIQM、UCIQE，以及使用最低浑浊图为参考的 SSIM 和 PSNR。这些指标没有在 TUB 上重调统计量或系数，PCD 也没有通过学习模型的 AP50 来拟合一个回归器。这一点很重要：相关性来自既定度量与任务结果的关系，而非显式监督预测分割分数。不过训练模型需要掩码，验证相关性也需要真实结果；“无参考”仅描述 PCD 单独计算时不需要清晰图或标注。 Synth1 经常让传统质量指标显著降低，却仍允许模型高精度分割，正是本实验要暴露的观感与效用错位。

损失函数 / 训练策略¶

PCD 是无需训练的指标，本文没有新增分割损失或改造模型架构。真实 TUB 使用 25 个场景训练、8 个场景验证，并分别构造低、中、高及全部浑浊子集。同一物品可能在两侧出现，但空间位置和场景配置不相同，所以这是场景划分，不是对象身份互斥划分。 Table 1 使用 MaskRCNN 的 ResNet101-FPN、YOLO11m-seg 和 Mask2Former 的 SwinB。三者学习率依次为 \(10^{-5}\)、\(10^{-3}\)、\(10^{-4}\)，批大小依次为 8、32、8。表中 MaskRCNN 与 Mask2Former 记为 48 epochs，但脚注说明 detectron2 实际使用 6,000 steps；YOLOv11 为 50 epochs。因此网络间的绝对差距包含骨干、优化和训练配置差异，不能解释为某一种架构在严格等预算下的优势。

PCD 主实验将图像缩小至 0.5 倍，使用七个小波尺度、最小波长 3、尺度间乘法因子 2.1。敏感性分析另指出六尺度、最小波长 2 的组合总体更稳定，两者不应被误写成同一默认配置。增加尺度会引入更低频的信息并降低细尺度内容的相对权重，因此这不是“尺度越多越好”的设置。

实验关键数据¶

主实验¶

下表选取原文 Fig. 4 中仅在真实 TUB 的全部浑浊训练集上训练的三个模型。评估为 8 个留出场景，AP50 为实例分割在 IoU 阈值 0.5 下的平均精度，表中采用百分数尺度，越高越好。这是数据集基线比较，不是“加上 PCD 后分割精度提高”的结果，因为 PCD 未参与预测或训练。

模型	全部验证图 AP50 ↑	低浑浊 AP50 ↑	中浑浊 AP50 ↑	高浑浊 AP50 ↑
MaskRCNN	41.8	64.6	46.6	19.8
YOLOv11	50.8	85.9	53.0	17.9
Mask2Former	51.8	87.6	55.5	17.1

Mask2Former 的总体结果最高，但高浑浊列并非最高，不能用总分推出它在所有退化程度上都更强。 “全部”一列是对全部验证图计算的结果，不应简单取其余三列算术平均来复现。

消融实验¶

本文没有新增网络模块的逐项移除消融；下表是 Fig. 4 的真实训练分布分析，固定 Mask2Former，仅改变训练所用的浑浊子集。验证仍使用相同 8 个留出场景，各列 AP50 越高越好。

训练数据	全部验证图 AP50 ↑	低浑浊 AP50 ↑	中浑浊 AP50 ↑	高浑浊 AP50 ↑
仅低浑浊	46.8	89.4	51.2	8.5
仅中浑浊	48.4	84.6	52.9	14.5
仅高浑浊	42.4	68.9	48.9	17.1
全部浑浊	51.8	87.6	55.5	17.1

从仅低浑浊改为全部浑浊，高浑浊 AP50 由 8.5 增至 17.1，增加 8.6 个百分点；低浑浊则从 89.4 降至 87.6，减少 1.8 个百分点。不同训练子集也改变了可用图像量，因此该分析不是严格控制样本量的单变量消融。 PCD 的尺度与分辨率敏感性见原文 Fig. 9，而不是上表；本文不把无法精确读取的曲线值编成数值表。

关键发现¶

学习退化分布有帮助，但不能取消信息损失：全部浑浊训练明显改善困难条件，最高浑浊分组仍只有很低的 AP50。
更好看的图像不是唯一目标：Fig. 6–8 显示 Synth1 的低对比度图可能保留有效边界，传统质量分数和任务表现因此脱节。
PCD 更接近结构效用，而非完美预测器：作者报告其在真实及混合数据上的相关性最强，但也讨论了完全遮蔽对象导致的离群点。
证据边界：本地文本未完整提取 Fig. 6–7 的精确相关系数，正文也未明确相关系数类型；这里只保留作者支持的相对结论，不给出推测数值或擅自标为 Pearson 相关。

亮点与洞察¶

标注方案直接解决极端条件的评估盲区：先标清晰图再传递，使“模型看不见”不会自动变成“真值里没有”。代价是该可靠性依赖静态几何。
替换统计表征比重新调画质权重更有针对性：PCD 沿用联合熵框架，但将固定梯度换为相位结构。改变的正是对比度与边界存在性之间容易混淆的环节。
合成数据评估需要任务参照：观感变差而 AP50 仍高，说明合成方法可能没有重现关键结构破坏。指标适合辅助诊断这种偏差，而不是单独认证物理真实度。

局限与展望¶

作者明确指出的场景依赖：无参考信息指标会受场景本来的细节量影响。清水中的平坦区域与浑水中的高纹理区域不能直接靠 PCD 排序，TUB 的相近结构复杂度是本实验成立的重要条件。
作者讨论的遮蔽问题：剩余边缘清晰时 PCD 可能仍高，但分割会因完全不可见目标而失分。这表明全图结构丰富度与实例是否全部可恢复并不等价。
阅读后的范围判断：燕麦奶水槽、静止目标和单类别掩码不覆盖自然水域中的动态颗粒、生物运动、复杂照明及多类别识别，不能由此宣称开放水域泛化已经验证。
阅读后的统计判断：场景数较少，主文未报告所选结果的多次运行误差或显著性；相关性也不是结构指标对性能的因果保证。
后续验证重点：应先扩展真实采集环境与重复实验，并检查不同结构复杂度下的稳定性，再考虑将 PCD 用于数据选择或合成流程比较。

评分¶

新颖性: 4/5 — 相位一致性和联合熵均有前人基础，但与可控极端浑浊数据结合后，问题定位明确。
实验充分度: 3/5 — 三类模型、真实与合成退化和参数分析较完整，场景规模及自然水域验证仍有限。
写作质量: 4/5 — 清楚区分观感和结构效用，但精确复现还需补充指标实现及统计细节。
价值: 4/5 — 对水下感知评估和合成退化诊断有直接参考价值，不宜扩张为通用图像质量替代指标。