Bridging the Geometry Mismatch: Frequency-Aware Anisotropic Serialization for Thin-Structure SSMs¶

会议: ECCV2026
Paper: https://eccv.ecva.net/virtual/2026/poster/5356
PDF: https://media.eventhosts.cc/Conferences/ECCV2026/pdfs/10140.pdf
代码: https://github.com/kbaijin/FGOS-Net
领域: 语义分割
关键词: 细长结构分割、状态空间模型、频率对齐扫描、主动探针、拓扑保持

一句话总结¶

FGOS-Net 将低频拓扑建模与高频细节筛选分开，用子带匹配的确定性扫描和拓扑条件主动探针减少裂缝断连与纹理误检，在 DeepCrack 上取得 91.29% mIoU、97.12% clDice，并在论文指定的 RTX 3090 测试设置下达到 80.2 FPS。

研究背景与动机¶

裂缝、血管和道路的难点不只是前景像素少，而是局部小错会破坏整条结构：漏掉一小段裂缝便可能把连通路径截断，把背景纹理接入预测又会产生错误分支。状态空间模型（SSM）适合低成本传播长距离信息，但视觉模型通常先按固定栅格顺序把二维特征展开成序列。对于细长、弯曲、具有明显方向的目标，二维中沿结构相邻的点未必在序列里相邻；状态不断横穿结构，而不是沿结构传播，长程建模能力因此未必转化为连通性。

单纯增加扫描方向也没有解决全部问题。方向性细节既包含裂缝边界，也包含水渍、油渍和材料纹理；若将这些高频响应无条件混入语义特征，模型可能得到更清楚但错误的边缘。另一方面，直接丢掉高频又会抹去窄裂缝。论文因此把两个问题区分开：结构信息应以怎样的次序进入 SSM，以及哪些细节有足够的结构支持、值得回填。

本文将 Haar 小波分解视为连接频率与几何的接口，而不把小波或 Hilbert 曲线本身当作创新。低频承担相对稳定的拓扑线索，高频先提供位置校正，再接受拓扑引导的筛选。核心 idea：先建立可靠的低频拓扑载体，用频带方向决定序列化路径，再让沿拓扑移动的探针验证高频细节，使长程传播与细节注入都服务于细长结构的连通性。

方法详解¶

整体框架¶

输入图像经卷积特征提取后进入四级 FGOS 编码器，最终输出像素级分割掩码。每级通过“频率拆分与对齐”得到校准低频及原始高频，低频送入“频率对齐扫描”，高频由“主动谱几何探测”生成的门控筛选，两路经逆小波重建后继续进入后续级。四级输出最后交给“多尺度融合与边界细化”，并行汇合尺度信息、修整边界。

这里存在两层小波分解，不能混为一次操作：外层拆分负责区分拓扑载体与待筛选细节；低频支路内部再次分解，才是为 FA-Scan 选择扫描路径。ASGP 使用校准后的低频载体产生门控，并非先读取 FA-Scan 的最终输出再处理高频。下图概括每级的双路关系及编码器后的解码部分。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["当前级输入特征"] --> B["频率拆分与对齐"]
    B -->|校准低频| C["频率对齐扫描"]
    B -->|校准低频与原始高频| D["主动谱几何探测"]
    C --> E["逆小波重建<br/>继续编码并保留各级输出"]
    D --> E
    E --> F["多尺度融合与边界细化"]
    F --> G["分割掩码"]

关键设计¶

1. 频率拆分与对齐：用细节定位，而不是立即混入纹理

外层 Haar 离散小波变换（DWT）将多通道特征拆成低频 LL 和三个方向性高频子带 LH、HL、HH。LL 被视为较稳定的拓扑载体，并非已经正确的骨架标签；高频保留局部变化，却同时包含结构和噪声。操作发生在卷积特征上而不是原始像素上，因此不同通道已经承载了部分结构信息。Haar 的紧支撑使计算便宜，DWT/IDWT 本身又可精确逆变换，方便每级重建空间分辨率。

在把 LL 交给长程模型之前，网络拼接外层高频子带，用两层卷积预测二维偏移场，再通过 GridSample 对 LL 做空间重采样。高频在此提供“边界可能偏到哪里”的定位线索，而不是直接作为语义内容相加。需要校正的是步幅下采样和局部聚合带来的特征错位，不是 Haar 逆变换误差；这个区分也是理解对齐消融的前提。校准后的 LL 同时服务于后续扫描和主动探针，使两路共享空间参照。

2. 频率对齐扫描：匹配子带方向，而非为每个像素学习路由

FA-Block 只对校准 LL 再做一次局部 Haar 分解。内部 LH 用水平扫描、HL 用垂直扫描，LL 与 HH 用保局部邻接的 Hilbert 曲线。每条序列通过共享的 SSM 算子，随后按对应逆索引放回二维，再用内部 IDWT 合成为低频支路输出。这样区别于“对所有子带都做同样的四向扫描”：它把计算预算用于与子带方向相符的遍历，而不是依靠更多扫描分支覆盖所有可能性。

这里的几何条件来自频带类型，路径本身是确定性、可预计算的索引，并非追踪当前图像裂缝中心线的动态曲线。水平和垂直子带让对应方向的响应在一维中更连续，Hilbert 路径则照顾非单一方向成分的二维局部性；斜向结构由互补子带在重建时组合表达。这是一种针对细长结构的归纳偏置，不应理解为任意弯曲路径都获得了精确对齐。

扫描之后的 LightGate Bottleneck（LGB）承担轻量通道混合：通道先压到原来的四分之一，中间做深度卷积，再恢复通道，通过门控残差加入输入。浅两级采用 Efficient Channel Attention（ECA），深两级采用分组 Squeeze-and-Excitation，即 EEGG 策略。其职责是限制模型体量并按层级筛选响应，不是本文扫描机制之外的另一种序列模型。

3. 主动谱几何探测：让探针沿拓扑移动，筛掉没有结构支持的高频

主动谱几何探测（ASGP）先用可学习的初始探针查询校准 LL，将注意力响应聚合成粗势场 \(M_0\)。势场高值表示可能存在结构，但仅用这个静态图容易漏掉窄弱部分，或把响应集中在最明显的一段裂缝上。因此探针不是查询一次就结束，而是在粗势场上逐步移动，形成更细的结构支持图。

每步更新同时使用三类信息：局部低频特征经 MLP 预测的语义偏移、粗势场对探针坐标的梯度、以及近邻探针间的截断排斥力。梯度让探针移向结构高响应区域，排斥力则降低所有探针挤到同一处粗裂缝的倾向。依据原文算法 1，用统一排版可将核心更新写为：

\[ \mathbf c_i^{(t+1)}=\operatorname{Clamp}_{[-1,1]}\!\left(\mathbf c_i^{(t)}+\Delta\mathbf c_{\mathrm{sem},i}^{(t)}+\lambda_1\nabla_{\mathbf c_i}M_0(\mathbf c_i^{(t)})+\lambda_2\mathbf F_{\mathrm{div},i}^{(t)}\right). \]

其中坐标经过归一化；排斥项只在探针距离小于半径时生效，沿两点分离方向施力，并随距离接近半径而衰减。默认使用 64 个探针、3 步演化；半径为 0.15，两个权重分别为 0.1 和 0.05。它不是在训练时额外求解一张真实骨架，而是将可微分采样和几何约束嵌入特征处理；粗势场若遗漏结构，后续探测仍可能受限。

演化后的探针状态投影回像素空间得到细图 \(M_1\)。粗图与细图等权结合后经过 sigmoid 形成门控，再逐位置乘到外层高频子带上。由此，低频决定“哪里值得保留细节”，高频提供“这些地方的边界细节是什么”；门控只筛选响应，不构成对连通性的严格数学保证。最终，处理后的 LL 与门控高频通过外层 IDWT 合回同一级特征。

4. 多尺度融合与边界细化：避免逐层融合反复抹平窄结构

解码器的门控特征聚合（GFA）先将四级编码特征投影到共同通道空间，并上采样到最浅一级的空间尺寸。各尺度独立计算通道校准门控，再一次性相加融合，而非沿金字塔逐级传递、反复插值。深层提供结构语义，浅层保留更细空间定位；独立校准用于减轻不同尺度特征强度和语义差异造成的失衡。

融合结果还经过边界细化模块（BRM）：上下文分支使用深度可分离卷积，边缘分支使用深度卷积，两路拼接、投影后以残差形式加入融合特征。GFA 处理跨尺度配合，BRM 补偿上采样后边界变软；二者是服务于编码器几何建模的配套模块。论文专门用相同解码器搭配 VMamba 的对照，检查性能是否仅来自解码端增强。

损失函数 / 训练策略¶

训练使用二元交叉熵与 Dice 损失之和，并未额外加入 clDice 拓扑损失；clDice 在本文是评估指标。所有模型按官方划分训练 100 个 epoch，采用 AdamW、初始学习率 \(10^{-4}\) 和余弦衰减；输入缩放到 \(256\times256\)，增强包括随机翻转、\(\pm15^\circ\) 旋转和光度扰动。

因此，论文试图把拓扑偏好放进特征建模、扫描顺序和高频筛选，而不只依靠输出端监督。正文把更多实现、运行时间拆解与多随机种子检查指向补充材料；当前缓存未包含这些补充细节，不能据此宣称已复现其训练或效率结果。

实验关键数据¶

主实验¶

下表摘取原文表 1 的 mIoU 与 clDice，数值单位均为百分比，越高越好。两项基线分别选择该数据集在该指标上的最高已报告值，并不要求来自同一个模型；增量是百分点，不是相对百分比。mIoU 衡量区域交并比的平均表现；clDice 是已有的骨架连通性度量，其标准含义是综合“预测骨架落在真值区域内的比例”和“真值骨架被预测区域覆盖的比例”的调和平均，本文并未提出新指标。

数据集	指标	FGOS-Net	表内最佳基线	增量（百分点）
DeepCrack	mIoU ↑	91.29	SCSegamba 90.71	+0.58
DeepCrack	clDice ↑	97.12	CT-CrackSeg 96.46	+0.66
Crack500	mIoU ↑	79.15	SimCrack 78.76	+0.39
Crack500	clDice ↑	83.85	CT-CrackSeg 82.98	+0.87
CrackMap	mIoU ↑	80.75	CT-CrackSeg 79.93	+0.82
CrackMap	clDice ↑	92.48	SimCrack 91.80	+0.68
TUT	mIoU ↑	85.73	FFM 84.62	+1.11
TUT	clDice ↑	91.98	CT-CrackSeg 91.31	+0.67

效率来自原文表 2：单张 \(256\times256\) 输入、batch size 1、RTX 3090、100 次运行取平均，完整推理包含 ASGP 迭代。FGOS-Net 为 6.26M 参数、7.87 GFLOPs、80.2 FPS；SCSegamba 为 3.05M、18.16 GFLOPs、17.9 FPS。因此本文不是参数最少的模型；GLCP 达到 202.6 FPS，也说明最低 FLOPs 不等于最高实际吞吐。

表 4 还在 CHASEDB1 和 Massachusetts Roads 上报告 mIoU/clDice 分别为 80.45/83.35 和 79.83/80.86。正文说明沿用相同架构、超参数与输入尺寸，但没有在这段明确说明是否直接迁移裂缝训练权重；因此这些结果应理解为跨任务适用性证据，不能标成已证实的零样本跨域迁移。

消融实验¶

下表来自 DeepCrack 上的表 3C–D，指标均为百分比且越高越好。前四行属于扫描路径诊断，后四行属于系统组件诊断；两组回答不同问题，不应把所有行解释为同一条逐项添加的训练链。

诊断组	配置	mIoU ↑	ODS ↑	解释
扫描路径	对齐 FA-Scan	90.46	89.73	LL/HH 用 Hilbert，LH/HL 匹配水平/垂直
扫描路径	交换 LH/HL 方向	88.74	87.96	路径数量不变，方向错配
扫描路径	所有子带用 Hilbert	89.46	88.66	保局部性不等于匹配频带方向
扫描路径	LL/HH 改用 Raster	89.12	88.51	方向子带仍匹配水平/垂直
系统组件	静态门控，仅粗图	88.67	88.08	不做主动演化
系统组件	ASGP，无 FA-Scan	89.83	89.63	与静态门控比较主动演化
系统组件	FGOS-Net，无对齐	90.75	91.35	去掉高频引导的低频重采样
系统组件	完整 FGOS-Net	91.29	92.46	完整模型

ODS 是原文报告的边界相关指标，通常指全数据集共用一个最优阈值获得的检测分数；正文未交代边界容差等实现细节。这里保留其原始列名与数值，不把 ODS 当成固定阈值 F1 的同义词。

关键发现¶

交换 LH/HL 的扫描方向使 mIoU 从 90.46 降到 88.74，下降 1.72 个百分点。在扫描路径数量不变时仍下降，支持“方向匹配重要”，而不只是“多几个分支有效”。
静态门控到主动 ASGP 的对照，mIoU 从 88.67 到 89.83、ODS 从 88.08 到 89.63，分别提升 1.16 和 1.55 个百分点。完整模型去掉位置对齐则损失 0.54 个百分点 mIoU、1.11 个百分点 ODS，说明几何校准也有独立作用。
表 3B 中，保持 64 个探针时，3 步演化得到 91.29% mIoU，增加到 7 步反而降至 88.30%。更多迭代不是稳定获益，符合探针过度集中会损害覆盖范围的解释，但该解释仍属于机制分析而非严格证明。

亮点与洞察¶

将序列化顺序本身作为任务建模的一部分，而不是无关紧要的数据整理步骤。共享 SSM 权重、仅改变索引顺序，使方向先验不必靠大幅增参实现。
高频既参与位置校准，也要被低频拓扑验证，但这两个作用没有混成一次直接融合。这种职责区分让模型保留细节的同时减少纹理污染，机制比“加入小波后更准确”更具体。
消融不仅比较有没有模块，还比较方向交换、统一 Hilbert 和静态门控等替代机制。它们帮助限定结论：收益与频率—几何耦合有关，不能全部归因于分支数量或解码器增强。

局限与展望¶

作者明确将固定频带—路径对应视为面向细长结构的有限归纳偏置，而非通用路由规则；其后续方向是更自适应的几何条件序列化，同时保留确定性路径的效率。
ASGP 依赖粗低频势场支持目标位置。若微弱结构在低频中已被淹没，移动探针和高频门控并不保证能恢复它；过多演化步骤的退化也提示门控质量对超参数敏感。
主表中的部分 Precision、Recall、F1 数值不能按同一混淆矩阵的关系直接互推，mIoU 的类别及聚合细节也未在正文充分展开。本笔记按原始表格报告，不自行修正；复现时仍需核对实现、阈值及统计口径。
当前缓存没有补充材料，无法独立检查多种子稳定性、ASGP 实际耗时拆解或高分辨率扩展。代码地址来自论文的发布承诺，本次未联网验证其公开状态。

评分¶

新颖性: 4/5。频带条件序列化与主动细节筛选的耦合有明确任务针对性，基础小波与扫描工具并非新发明。
实验充分度: 4/5。包含多数据集、效率和机制对照，但当前可读正文的指标口径与跨域训练说明仍有不足。
写作质量: 3/5。主线清晰、对核心贡献较克制，部分指标说明不足且缓存公式排版受损，增加核查成本。
价值: 4/5。为实时细长结构分割提供了较具体的架构设计依据，但部署结论应限定在所报告硬件与输入尺寸。