STARLINC: Satellite Trail Artifact Removal using Inter-Frame Correlation¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://github.com/starioKim/STARLINC
领域: 语义分割
关键词: 卫星痕迹消除、天文图像分割、帧间相关性、弱监督定位、合成数据

一句话总结¶

STARLINC 针对天文巡天中日益严重的低轨卫星划痕污染，利用多历元时序重叠观测构建结构相似度帧间差异图，并结合分类器 Grad-CAM 热图作为粗先验，仅依靠合成划痕训练 U-Net 便实现了 0.485 mIoU 的无监督像素级精细分割，避免了传统人工筛查直接丢弃整张巡天图像的巨大观测损失。

研究背景与动机¶

近年来以星链（Starlink）为代表的低地球轨道（LEO）巨型卫星星座呈现爆发式增长，在轨卫星已突破 1.2 万颗且以每年约 30% 的速度持续扩张。低轨卫星在日落后或拂晓前反射太阳光，会在地基与空间天文望远镜的长曝光底片上划出一条条高亮直线伪影。近期 SPHEREx 巡天观测统计显示，高达 73.3% 的曝光图像遭受卫星划痕污染，平均每张图像包含 2.18 条划痕。这些非天体外来光通量直接污染了测光精度，导致恒星视星等测量偏差，进而严重扭曲恒星质量与年龄等关键天体物理参数的推演（误差分别可达 3.9% 和 10%）。

然而，目前天文观测管线在应对卫星划痕时仍深陷两难困境。一方面，现代巡天巡更系统每晚产生 TB 级观测数据，人工目视质检完全无法跟上数据通量；且传统流程一旦发现划痕，往往直接将整张曝光图像弃用，造成大量珍贵科学观测数据的浪费。另一方面，通用计算机视觉中的直线检测算法难以迁移到天文图像中。天文底片处于极低信噪比（SNR 往往在个位数，最高仅约 16.8，而自然图像通常在 35 至 116 之间）的极端光子匮乏场景，卫星划痕极其微弱狭窄且孤立存在，既没有自然场景中的丰富语义上下文与物体轮廓，又深陷仪器噪声与背景扰动中，导致经典的霍夫变换、Radon 变换或通用深度线检测器（如 DeepLSD）在信噪比断崖式下降时性能迅速崩溃。此外，天文图像缺乏大规模像素级划痕标注，无法从头全监督训练分割模型。

针对这一困境，研究团队敏锐地抓住天文时域巡天的两大固有特性：卫星划痕往往极细且瞬态出现，而巡天系统为了降噪会对同一天区进行多次连续重复曝光，天体背景高度静态一致。本文的核心 idea 是：完全摆脱真实图像像素级标注，通过合成真实物理特性的细微划痕构建训练对，并利用多帧观测间的局部结构相似度（SSIM）差异图抑制静态恒星背景、强化瞬态划痕，再融合分类器 Grad-CAM 粗定位热图作为空间引导，输入 U-Net 预测高精细划痕掩膜，仅剔除受损像素而完整保留其余科学观测区域。

方法详解¶

整体框架¶

STARLINC 整体流程包含四个有机衔接的阶段：合成划痕数据注入、帧间差异图背景抑制、分类器激活图伪弱监督定位，以及三通道复合输入的 U-Net 像素级掩膜预测。输入为针对同一天区的一组连续时序曝光图像（例如 30 帧），输出为受污染目标帧的像素级二值划痕掩膜。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["同天区多历元巡天曝光序列"] --> B["1. 合成划痕生成<br/>Beta分布模拟微弱细划痕并构建无标注训练对"]
    A --> C["2. 帧间结构差异图构建<br/>局部SSIM差值聚合抑制静态恒星与噪声"]
    C --> D["3. 激活热图伪定位<br/>划痕判别分类器提取Grad-CAM粗空间先验"]
    B -.->|"离线合成监督"| E
    A --> E["4. 多源复合输入分割<br/>拼接原图+差异图+热图输入U-Net输出像素掩膜"]
    C --> E
    D --> E
    E --> F["科学保留掩膜<br/>仅剔除污染像素并保留整幅未污染天区数据"]

关键设计¶

1. 偏向弱细线特征的合成划痕物理建模：彻底规避人工像素标注

为解决真实巡天图像标注极度匮乏以及划痕样本极度不平衡（真实数据中仅约 20% 包含划痕）的难题，STARLINC 提出了一套基于参数化物理模拟的划痕合成生成机制。为了逼真还原真实天文望远镜视场内的划痕分布，每个合成划痕由长度 \(L\)、朝向 \(\omega\)、厚度 \(\varepsilon\) 和表面亮度 \(m\) 四个属性参数化采样控制： - 长度 \(L \sim \text{clip}(\mathcal{N}(D, \sigma_L^2); \varpi, \varrho)\)，其中 \(D\) 设为图像边长的一半； - 朝向角 \(\omega \sim \mathcal{U}(0, 2\pi)\) 均匀随机； - 划痕厚度 \(\varepsilon \sim \text{Beta}(a, b)\)，特别设置形状参数为 \((a, b) = (2, 6)\)； - 亮度 \(m \sim \mathcal{U}(m_{\min}, m_{\max})\)。

该设计的核心精妙之处在于将厚度参数 \(\varepsilon\) 约束在偏向小数值的 Beta 分布上。由于低轨卫星划痕在低信噪比观测中大多以微弱、纤细的单像素级线段形式呈现，极易淹没于背景噪声中；通过在合成阶段刻意增大微细划痕的生成比例，迫使下游分割网络充分学习对低信噪比边缘的敏锐捕获能力，同时直接获得了完全对齐的像素级真实标签 \(Y_{\text{syn}}\)。

2. 基于局部窗口结构差异的帧间差分图：彻底压制静态恒星背景

针对传统直接点对点做差（如绝对差或均方差）对天体光强涨落、恒星中心饱和残差以及大气湍流极度敏感的问题，STARLINC 充分利用连续观测中同一天区背景静态恒定的物理先验，提出了基于局部结构相似度（SSIM）的帧间差异图构造。对于目标图像 \(x_i\) 与参考图像 \(x_j\)，并不计算单点像素距离，而是在 \(k \times k\) 滑动窗口 \(\mathcal{N}_k(m, n)\) 内聚合局部结构距离：

\[M_{i,j}(m, n) = \sum_{(u, v) \in \mathcal{N}_k(m, n)} d(x_i(u, v), x_j(u, v))\]

其中距离测度采用 SSIM 的补数以表征结构畸变程度：

\[d(x_i, x_j) = 1 - \text{SSIM}(x_i, x_j) = 1 - \frac{(2\mu_i \mu_j + C_1)(2\sigma_{ij} + C_2)}{(\mu_i^2 + \mu_j^2 + C_1)(\sigma_i^2 + \sigma_j^2 + C_2)}\]

式中 \(\mu\) 和 \(\sigma\) 分别代表滑动窗口内的局部均值与局部方差，\(\sigma_{ij}\) 为局部协方差。对于某个目标帧，STARLINC 计算其与时序组内其余图像的两两 SSIM 距离并求取平均差异图 \(\bar{M}\)。由于恒星和星系等天体结构在各帧之间严格重合，其局部结构相似度极高，\(1 - \text{SSIM}\) 被显著压缩至接近 0；而仅在单帧出现的瞬态卫星划痕则在相应空间位置产生强烈的局部结构突变孤立峰，从而在完全保留划痕连续轨迹的同时，极大程度地滤除了弥散星芒与背景高斯噪声。

3. 分类器 Grad-CAM 激活图引导：无监督空间粗定位先验

虽然帧间结构差异图凸显了瞬态差异，但在存在极强天体光变、宇宙线打击或相机探测器缺陷时，仅凭差分图仍容易诱发局部伪响应。为此，STARLINC 引入辅助的图像级“划痕存在性”二分类器作为弱监督定位器。该分类器以原图及其对应的差分图作为双通道输入，输出整图是否存在卫星划痕的预测概率 \(\hat{p}_{\text{line}}\)。

在分类器训练完成后，利用 Grad-CAM 计算划痕类别预测得分 \(y_c\) 相对最后一层卷积特征图 \(f^k\) 的全局平均梯度作为通道注意力权重 \(\varpi_k = \frac{1}{HW}\sum_{i}\sum_{j}\frac{\partial y_c}{\partial f^k(i, j)}\)，进而线性加权并经过 ReLU 激活生成空间热图：

\[H_{\text{GC}} = \text{ReLU}\left(\sum_{k=1}^K \varpi_k f^k\right)\]

该热图无需任何真实像素标注，仅凭图像级标签反传便锁定了划痕所处的大致长程空间走向。它作为空间注意力先验直接提供给后续分割网络，阻断了分割模型在远离划痕的纯背景噪声区域产生误分割的可能。

4. 复合三通道 U-Net 端到端分割：从粗先验到亚像素连续边界

最终阶段将原始单通道灰度图 \(I\)、平均帧间结构差异图 \(\bar{M}\) 以及分类器热图 \(H_{\text{GC}}\) 沿通道维度拼接，构成三通道张量输入 \(X = [I, \bar{M}, H_{\text{GC}}] \in \mathbb{R}^{H \times W \times 3}\)。由标准的 U-Net 结构 \(f_\theta\) 对多尺度线索进行端到端特征融合并预测划痕概率图 \(\hat{Y} = f_\theta(X) \in [0, 1]^{H \times W}\)。在训练阶段，模型仅在合成样本 \(X_{\text{syn}}\) 上由合成二值掩膜 \(Y_{\text{syn}}\) 监督；而在实际推理阶段，输入真实多帧计算出的复合张量，即可直接输出连续、高精度、紧贴划痕轮廓的像素掩膜，精准切除受污染像元。

损失函数 / 训练策略¶

分类器与 U-Net 分割网络均采用独立两阶段训练。第一阶段，使用标注为“含划痕/无划痕”的巡天图像及合成样本训练基于 ResNet 的二分类器，采用标准交叉熵损失；第二阶段，固定分类器并生成 Grad-CAM 热图，在包含 30 帧时序组的干净背景底片上在线注入参数化合成划痕，生成对应三通道输入并由合成划痕二值掩膜监督 U-Net 训练。两阶段均不需要任何真实天文底片的像素级手工标注。

实验关键数据¶

主实验¶

评估在韩国 7 维望远镜（7DT）猎户座分子云区域巡天观测构建的真实基准数据集（含 1,140 个样本，人工精细标注 Ground Truth）上展开。表 1 对比了经典线检测算子、通用深度学习线检测器、专用天文划痕检测器以及 STARLINC 的像素级分割指标。

类别	方法	mIoU	Dice	Precision	Recall	ROC-AUC	PR-AUC
经典算法	Hough [11]	0.142	0.202	0.785	0.293	0.692	0.741
经典算法	Radon [30]	0.000	0.001	0.653	0.001	0.670	0.696
经典算法	LSD [13]	0.074	0.126	0.077	0.517	0.776	0.714
通用深度学习	DeepLSD [29]	0.116	0.192	0.120	0.642	0.867	0.827
通用深度学习	DT-LSD [17]	0.240	0.332	0.663	0.507	0.769	0.838
天文专用算法	ASTA [34]	0.148	0.217	0.399	0.236	0.730	0.511
天文专用算法	MaxiMask [28]	0.155	0.268	0.838	0.159	0.795	0.830
天文专用算法	UnetLSD [10]	0.197	0.329	0.303	0.359	0.622	0.399
本文方法	STARLINC	0.485	0.653	0.815	0.545	0.918	0.865

在跨数据集泛化性验证中（Table 2），在未经目标域微调的情况下，直接将 7DT 训练好的 STARLINC 迁移至 ZTF（Zwicky Transient Facility，4,875 张图像）与 7DT NGC 星系区域（4,812 张图像），在 ZTF 上取得 0.469 mIoU / 0.639 Dice（优于微调后的 MaxiMask 0.365 / 0.535），在 NGC 区域取得 0.471 mIoU / 0.640 Dice（大幅超越微调后最优基线 DeepLSD 的 0.199 / 0.331），展现出压倒性的跨望远镜/天区泛化韧性。

消融实验¶

为明确各个组件对极微弱划痕像素级分割的贡献，Table 3 拆解了帧间结构差异图与 Grad-CAM 热图的作用；Table 4 对比了不同差分测度的影响。

表 1：核心模块消融实验（对应原论文 Table 3） | 帧间差异图 (§4.2) | 激活热图 (§4.3) | mIoU | Dice | Precision | Recall | 说明 | |:---:|:---:|---|---|---|---|---| | ✗ | ✗ | 0.000 | 0.000 | 1.000 | 0.000 | 缺少时序与定位先验，单图模型完全无法检出细线 | | ✓ | ✗ | 0.410 | 0.582 | 0.585 | 0.578 | 帧间差分极大过滤背景，取得可用基准分割 | | ✗ | ✓ | 0.198 | 0.331 | 0.276 | 0.411 | 仅依赖热图粗定位，边缘模糊且背景误报高 | | ✓ | ✓ | 0.485 | 0.653 | 0.815 | 0.545 | 完整 STARLINC，两项先验协同达到最优 |

表 2：不同帧间差异图像构建方法对比（对应原论文 Table 4） | 差异图算法 | 核心机制 / 特点 | mIoU (均值 ± 标准差) | |---|---|---| | RMSE | 像素级均方根误差，对明亮星核和背景浮动敏感 | 0.469 ± 0.014 | | MAE | 像素级绝对差，易残留星核局部边缘残差 | 0.472 ± 0.002 | | ZOGY [41] | 天文经典点源优化减图算法，针对延展线状伪影适应性差 | 0.392 ± 0.016 | | OIS [3] | 最优图像相减法，依赖卷积核匹配导致划痕局部形变 | 0.431 ± 0.033 | | DIA [8] | 差分图像分析，同样面向点源变星优化 | 0.436 ± 0.008 | | SSIM (本文) | 局部统计结构差异，精准捕捉长条孤立线状畸变 | 0.485 ± 0.012 |

关键发现¶

帧间差异图是性能跃迁的关键支柱：当去除帧间差异图和热图时，U-Net 的 mIoU 直接跌落至 0.000；仅引入帧间差分图，mIoU 即可大幅飙升至 0.410。这表明在极端低信噪比天文图像中，单帧静态特征几乎无法区分微弱划痕与噪声星芒，唯有时序时相差分能从物理上剥离恒星。
SSIM 结构测度显著优于天文经典图像相减：传统天文学广泛应用的 ZOGY（0.392 mIoU）和 OIS（0.431 mIoU）主要针对点源（如超新星、变星）的光度差分设计，遇到跨越数千像素的非高斯线状卫星划痕时，往往引起核匹配失真；而 SSIM 从窗口协方差角度建模结构畸变，表现出最优的稳健性（0.485 mIoU）。
通用大模型直接应用受挫：在 Table 5 的替代方案分析中，直接在天文图像上评估通用的 Segment Anything Model（SAM），仅能取得 0.358 mIoU / 0.528 Dice，表明缺乏天文低信噪比适应和多帧时序线索的通用大模型无法解决微细天文伪影分割。

亮点与洞察¶

零真实像素标注的物理合成方案：巧妙利用 Beta 分布构造以细弱划痕为主导的合成训练集，使 U-Net 在没有一张手工标注真实底片的情况下，实现了超越所有在真实数据上微调过的 baseline。
利用巡天时序冗余化解极端低 SNR 痛点：避开在单张低信噪比图像上硬拼边缘梯度的死胡同，通过局部 SSIM 帧间差分在时序维度消除静态恒星背景，极大降低了学习难度。
保护宝贵天文观测资产的实用管线：将传统“发现划痕即整图报废”的粗暴丢弃策略，革新为“亚像素级划痕遮蔽”，在阻断虚假测光误差的同时，最大化挽救了绝大部分未受污染的天区观测。

局限与展望¶

依赖多历元同时序重复曝光先验：STARLINC 的核心优势建立在同天区多帧重叠观测之上（实验中采用 30 帧序列）。若巡天任务采用单次扫天、无邻近重复观测模式，或观测间隔期间存在显著的天气起伏、跟踪漂移导致恒星未严格对齐，帧间差分效果将大打折扣。
极亮饱和划痕的衍射星芒残留：当卫星极度明亮产生电荷溢出（Bleeding）或望远镜十字次镜支撑衍射十字尖刺时，目前的合成几何模型未能完全拟合复杂的点扩散函数（PSF）散射光翼，虽然论文探索了 PSF 感知渲染器（mIoU 可提升至 0.539），但仍伴随精度下降的问题。
未来方向：可进一步融合卫星轨道历书数据（TLE / Ephemeris）实现粗定位先验引导，并将划痕分割与下游深度修补（Inpainting）算法集成，实现受损像元的科学测光无缝修复。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 巧妙利用天文重复曝光的静态时序特性设计 SSIM 结构差分图，并结合 Beta 弱线合成实现无标注精细分割。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 7DT 原天区、跨望远镜 ZTF 与 NGC 天区的大规模泛化评估，对比了经典算法、通用深度线检测与天文专用模型。
写作质量: ⭐⭐⭐⭐⭐ 逻辑缜密，从天体物理测光误差的严峻现实切入，方法拆解清晰自然，实验数据与消融设计扎实。
价值: ⭐⭐⭐⭐⭐ 直击低轨卫星激增带来的全球天文观测危机，代码完全开源，对下一代大规模时域巡天具有高度落地的实用价值。