Towards Fairness under Label Bias in Image Segmentation: Impact, Measurement and Mitigation¶

会议: NeurIPS 2026
arXiv: 2605.06891
OpenReview: https://openreview.net/forum?id=RIbRRjYome
代码: https://github.com/ADE-17/label-bias-segmentation
领域: 语义分割
关键词: 标签偏差、语义分割、算法公平性、置信学习、子群条件化

一句话总结¶

针对图像分割中受保护群体系统性标注质量差异导致的标签偏差难题，本文提出了基于置信学习的免真实标签偏差审计指标体系，并结合基于 FiLM 的子群条件化与非对称边界掩蔽，实现了无真实参考标签下的偏差度量与有效消除。

研究背景与动机¶

在医学影像与计算机视觉分割任务中，标注质量高度依赖于成像条件、标注工具与临床专家的经验偏好。当这些因素与受保护的人口学属性（如肤色、年龄或性别）产生系统性关联时，数据集中便会引入群体条件化的标签偏差（Label Bias）。与随机发生、无语义关联的传统标签噪声截然不同，标签偏差表现为特定子群（如深肤色人群或特定病理亚型）在目标轮廓上的系统性欠分割（侵蚀）或过分割（膨胀）。这种系统性偏差直接决定临床手术或放疗靶区规划的成败，若模型在带偏标签上直接训练并泛化，将把偏见固化并放大为对弱势群体的严重算法伤害。

然而，在图像分割中检测与缓解标签偏差面临两大严峻瓶颈。其一，由于现实中获取绝对干净、无偏的金标准标注成本极高甚至无法实现，依赖真实标注的常规评估指标（如 Dice、IoU）完全失效，甚至产生“有偏标尺效应”——当使用受污染的观测标签评估时，严重扩大的真实性能差距可能在标尺下显示为虚假的公平或缩小；其二，传统针对分类任务的标签去噪或算法公平性手段（如对抗去偏、MMD 特征对齐、人口统计均等或机会均等惩罚）均基于“促成子群表征不变性”或“约束输出概率对齐”的假设，这在分割中不仅会强制抹平包含真实解剖差异的关键特征，还会因惩罚对齐而导致整体性能“向下均质化”（Leveling Down）。

面对标签偏差既难直接检测、又难以简单对齐的困境，本文从表征几何与相对置信度两个视角切入：首先证实标签偏差会异常放大编码器潜在空间中的子群可分性，表明模型天然习得了群体特异性的标注风格；其次，既然子群风格已被编码，与其粗暴抹除该特征，不如将其解耦并受控引导。核心 idea：将置信学习拓展至像素级作为无需真实标签的偏差审计工具，并构建以 FiLM 特征调制与非对称边界掩蔽为核心的子群条件化解码器，在训练时解耦各群体的标注风格，在推理时将所有样本统一切换至干净的参考风格输出。

方法详解¶

整体框架¶

本文构建了一套涵盖“无金标准审计（Audit）”与“子群风格对齐缓解（Mitigation）”的端到端框架。审计阶段通过 $K$ 折交叉拟合（Cross-fitting）估算像素级置信概率并自适应构建置信误差集合，在不依赖金标准掩码的前提下输出反映偏差幅度、子群富集度与几何方向的代理指标。缓解阶段则提出子群条件化解码器（Subgroup-Conditioned Decoder, SCD），利用 FiLM 层对编码器特征注入群体标识以学习各自的标注风格，在边界处对潜在受污染群施加非对称掩蔽以阻断错误监督，并在推理阶段将所有群体强制对齐至干净参考风格。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入图像与带偏标注"] --> B["交叉拟合置信学习审计<br/>自适应阈值计算置信误差集"]
    B --> C["偏差量化与方向诊断<br/>输出 LER / RR / DR 统计量"]
    C --> D["参考子群识别<br/>专家指定或早期损失自动探测"]
    D --> E["子群条件化特征调制<br/>FiLM 注入群体风格参数"]
    E --> F["非对称边界掩蔽训练<br/>过滤潜在带偏群边界监督"]
    F --> G["推理期参考风格统一切换<br/>强制使用干净参考群参数预测"]

关键设计¶

1. 基于置信学习的免标签偏差审计体系：量化空间误差的幅度、富集与几何方向

传统重叠指标在缺乏真实标签时无法指出哪个人群受偏见侵害，也无法识别偏差是源于扩张还是收缩。本文将分类中的置信学习（Confident Learning, CL）推广至高维像素空间。首先通过 $K$ 折交叉拟合获得模型对每个像素 $p$ 的预测概率 $\widehat{p}_{i,p}(a)$，并计算各类别的自适应均值阈值 $\widehat{\tau}_a = \frac{1}{|\mathcal{P}_a|} \sum_{(i,p)\in\mathcal{P}_a} \widehat{p}_{i,p}(a)$。若像素的最高类别预测概率超过该类阈值且与观测标签 $y_{\mathrm{obs},i,p}$ 产生冲突，该像素被判定为置信误差像素： $$\mathcal{E}_i = \left\{p\in\Omega:\widehat{p}_{i,p}(\widehat{y}^{\mathrm{CL}}_{i,p})\geq\widehat{\tau}_{\widehat{y}^{\mathrm{CL}}_{i,p}}\ \text{且}\ y_{\mathrm{obs},i,p}\neq\widehat{y}^{\mathrm{CL}}_{i,p}\right\}$$ 为避免背景占比和前景尺寸偏差干扰，本文以图像的前景并集 $U_i = \max\left\{1, |Y_{\mathrm{obs},i}\cup\widehat{Y}_i^{\mathrm{CL}}|\right\}$ 作为归一化基准，定义了图像级置信标签误差率 $\widehat{\mathrm{LER}}_i = |\mathcal{E}_i|/U_i$ 及其群体均值 $\widehat{\mathrm{LER}}_g$。在此基础上，构造绝对差距 $\widehat{\Delta}_{\mathrm{LER}} = \widehat{\mathrm{LER}}_{g_b} - \widehat{\mathrm{LER}}_{g_c}$ 与相对比率 $\widehat{\mathrm{RR}} = (\widehat{\mathrm{LER}}_{g_b} + \varepsilon)/(\widehat{\mathrm{LER}}_{g_c} + \varepsilon)$ 来量化偏差在子群间的集中程度（$\widehat{\mathrm{RR}} > 1$ 即代表偏差富集于 $g_b$）。

进一步地，本文将置信误差分解为两类互斥集合以诊断几何变形的方向： $$\mathcal{E}_i^{\mathrm{exc}} = \{p\in\mathcal{E}_i: y_{\mathrm{obs},i,p}=1, \widehat{y}_{i,p}^{\mathrm{CL}}=0\}, \quad \mathcal{E}_i^{\mathrm{def}} = \{p\in\mathcal{E}_i: y_{\mathrm{obs},i,p}=0, \widehat{y}_{i,p}^{\mathrm{CL}}=1\}$$ 其中 $\mathcal{E}_i^{\mathrm{exc}}$ 对应观测标签过量（膨胀/过分割），$\mathcal{E}_i^{\mathrm{def}}$ 对应观测标签亏损（侵蚀/欠分割）。通过定向比率 $\widehat{\mathrm{DR}}_i = (|\mathcal{E}_i^{\mathrm{exc}}| - |\mathcal{E}_i^{\mathrm{def}}|)/U_i$ 及其群体均值 $\widehat{\mathrm{DR}}_g \in [-1, 1]$，无需真实掩码即可直接明确标注是在扩张还是在收缩。

2. 子群条件化特征调制：解耦并掌控群体特异性标注风格

实证研究表明，标签偏差会在模型编码器瓶颈层显著拉大子群分布间距（MMD 上升近 3 倍、类中心距离上升 2.5 倍），这说明网络具备同时记忆解剖语义与标注风格的能力。传统方法通过对抗训练或协方差对齐强行抹除这种可分性，却经常削弱分割精度。本文转而利用这一表征特性，设计子群条件化模块。利用特征级线性调制（FiLM），将输入样本的群体标识 $g_i$ 映射为通道级仿射变换参数 $(\gamma_{g_i}, \delta_{g_i})$，对编码器特征 $f_i = e_\theta(x_i)$ 进行逐通道重缩放与偏移： $$f'_{i,k} = \gamma_{g_i,k} f_{i,k} + \delta_{g_i,k}$$ 随后将调制后的表征送入共享解码器 $d_\phi$ 生成预测。在训练阶段，模型针对各群体的带偏标签进行风格分离拟合；而在推理测试阶段，无论输入样本的实际属性为何，统一将条件向量固定为已验证的参考子群 $g_c$： $$\widehat{y}_i^{\mathrm{ref}} = d_\phi(\gamma_{g_c} \odot e_\theta(x_i) + \delta_{g_c})$$ 此举不仅将所有预测拉回一致且准确的参考边界风格，而且在推理时完全摆脱对样本敏感群体属性的依赖。

3. 非对称边界掩蔽与无监督参考探测：阻断带偏监督信号扩散

尽管 FiLM 能够分离全局风格，但如果带偏群体的轮廓边界直接参与全监督反向传播，错误的边缘几何仍可能污染共享解码器的卷积核。为此，本文设计了非对称边界掩蔽机制（Asymmetric Boundary Masking）。通过形态学膨胀与侵蚀算子提取观测掩码宽度为 $w$ 的边界带 $B_i = \text{Dilate}(y_{\mathrm{obs},i}, w) - \text{Erode}(y_{\mathrm{obs},i}, w)$，并构建像素级权重矩阵： $$W_{i,p} = 1 - \mathbf{1}[g_i = g_b] B_{i,p}$$ 该机制完全保留参考组 $g_c$ 的所有监督信号以及带偏组 $g_b$ 的内部主体区域，仅剔除 $g_b$ 模糊、不可靠的边缘像素梯度。此外，当无法事先通过先验知识确定哪个群体更干净时，框架引入了基于早期训练动态的自动化探测（Auto-SCD）：在预热的前 $E_w$ 轮中，各群体表现出的经验损失往往存在显著分化，算法自动选取平均损失最小的群体作为估计的参考组 $\widehat{g}_c = \arg\min_{g} \frac{1}{E_w |\mathcal{I}_g|} \sum_{e=1}^{E_w} \sum_{i\in\mathcal{I}_g} \ell_i^{(e)}$，从而实现全流程自适应闭环。

损失函数 / 训练策略¶

网络骨干采用以 ImageNet 预训练 ResNet-34 为编码器的 U-Net 架构（消融实验扩展至 SegFormer MiT-B2 及 ResNet-18）。训练分为预热与对齐两个阶段：在前 $E_w = 5$ 轮预热期内，使用常规交叉熵与 Dice 损失的加权和进行全监督训练，记录各群体的平均损失动态以确定 $\widehat{g}_c$；在后 10 轮中，激活非对称权重掩码 $W$，联合最小化加权分割损失： $$\mathcal{L}_{\mathrm{mask}} = \frac{\sum_{i=1}^N \sum_{p\in\Omega} W_{i,p} \left( \ell_{\mathrm{CE}}(\widehat{y}_{i,p}, y_{\mathrm{obs},i,p}) + \ell_{\mathrm{Dice}}(\widehat{y}_{i,p}, y_{\mathrm{obs},i,p}) \right)}{\sum_{i=1}^N \sum_{p\in\Omega} W_{i,p}}$$ 优化器选用 Adam，全局批大小设为 16，学习率初始化为 $10^{-4}$，并引入基于 5 折交叉验证的标准标定以保证置信阈值 $\widehat{\tau}_a$ 严谨无数据泄露。

实验关键数据¶

主实验¶

评估涵盖受控合成偏差（CelebAMask-HQ，男性为 $g_c$，女性为 $g_b$ 引入不同比例 $\beta$ 侵蚀）、半真实风格偏移（PhC-U373 胶质瘤细胞分割，Style 0 为细致参考边界，$g_b$ 加染色并绑定为过分割 Style 1）以及真实多标注者场景（IMA++ 皮肤病变，浅肤色为 $g_c$，深肤色 $g_b$ 分配宽松标注风格）。主结果中报告了对齐真实金标准的平均真实 IoU 与子群差距 $\Delta_{\mathrm{true}} = g_c - g_b$（百分点 pp），并统计了置信学习所检测出的多余（Excess）与亏损（Deficit）像素数。

类别	方法	CelebA ($\beta=50\%$) (IoU/$\Delta$)$_{\mathrm{true}}$	CelebA ($\beta=100\%$) (IoU/$\Delta$)$_{\mathrm{true}}$	PhC-U373 (IoU/$\Delta$)$_{\mathrm{true}}$	IMA++ ($\beta=50\%$) (IoU/$\Delta$)$_{\mathrm{true}}$
基准	经验风险最小化 (ERM)	93.1 / 5.5	82.5 / 21.0	91.2 / 4.4	81.7 / 19.6
公平性约束	机会均等 (EO)	93.0 / 5.7	82.6 / 21.0	91.9 / 3.6	79.8 / 13.9
公平性约束	人口统计均等 (DP)	93.0 / 5.6	82.6 / 21.0	92.0 / 3.4	79.6 / 13.6
公平性约束	EO + DP 联合约束	92.8 / 5.8	82.4 / 20.9	91.9 / 3.5	79.9 / 13.1
特征对齐	对抗去偏 (Adversarial)	92.4 / 6.7	82.7 / 21.1	91.8 / 3.7	80.3 / 13.9
特征对齐	最大均值差异 (MMD)	92.8 / 6.3	82.8 / 20.5	91.7 / 3.9	80.0 / 13.0
特征对齐	协方差对齐 (CORAL)	93.2 / 5.5	82.6 / 20.9	91.7 / 3.9	79.7 / 13.9
噪声鲁棒	广义交叉熵 (GCE)	92.3 / 6.6	82.5 / 21.3	91.0 / 3.9	80.0 / 14.6
噪声鲁棒	自举法 (Bootstrapping)	92.8 / 5.8	82.5 / 21.1	91.0 / 3.7	80.2 / 14.7
模块消融	仅非对称边界掩蔽 (Asym Mask)	91.5 / 7.9	79.8 / 24.7	90.9 / 5.0	79.7 / 14.6
本文方法	子群条件化 (SCD)	96.8 / 0.5	89.0 / 8.9	91.8 / 3.6	85.8 / 6.7
本文方法	SCD + 非对称掩蔽 (完整)	96.8 / 0.5	89.2 / 9.0	91.1 / 4.8	86.0 / 7.0
本文方法	自动参考探测 (Auto-SCD)	93.7 / 4.2	85.3 / 16.1	92.5 / 3.2	87.4 / 6.2

消融实验¶

下表给出了在 CelebAMask-HQ ($\beta=50\%$) 场景下，真实指标与观测指标的割裂对比，以及引入 Vision Transformer (SegFormer MiT-B2) 骨干网络时的性能泛化验证。

配置与架构	真实 IoU (%)	真实差距 $\Delta_{\mathrm{true}}$ (pp)	观测 IoU (%)	观测差距 $\Delta_{\mathrm{obs}}$ (pp)	$\widehat{\mathrm{RR}}$	$\widehat{\mathrm{DR}}_{g_b}$ (pp)	说明
ResNet34 - ERM 基准	93.1	5.5	89.3	11.5	4.68	-6.7	观测标尺严重夸大真实差距
ResNet34 - 仅非对称掩蔽	91.5	7.9	89.2	11.5	4.59	-4.2	单独掩蔽边界无法消除表征偏好
ResNet34 - SCD (强制 $g_c$)	96.7	0.5	89.0	12.0	5.24	-13.3	真实差距近乎抹平，观测差距却上升
ResNet34 - SCD + Asym (完整)	96.8	0.5	89.1	12.0	5.37	-13.3	达到最佳真实精度并实现群体公平
ResNet34 - 反事实推断 (强制 $g_b$)	88.5	5.0	-	-	-	-	证实模型受控还原了带偏群体的侵蚀风格
SegFormer - ERM 基准	92.4	7.3	89.5	11.9	5.53	-4.9	ViT 架构同样受到标签偏差严重损害
SegFormer - SCD + Asym	97.1	0.6	89.3	12.2	6.00	-13.3	方法完美迁移至 Transformer，差距收敛至 0.6pp

关键发现¶

传统公平与降噪算法全线失效：EO/DP 正则化、MMD/CORAL 对齐以及 GCE/自举噪声过滤在极端偏差（$\beta=100\%$）下，真子群 IoU 差距均徘徊在 20.5%~21.3%，与 ERM（21.0%）无异。这是因为传统方法试图在特征上消除子群信息，但这直接剥夺了网络对真实解剖差异建模的能力，而 SCD 通过“显式保留、受控映射”将差距直降至 8.9%~9.0%。
“有偏标尺假象”（Biased Ruler Effect）的实证揭露：在 CelebA $\beta=50\%$ 实验中，SCD 将真实性能差距从 5.5pp 彻底压制到 0.5pp，但如果以带偏的观测标签计算，其观测差距反而从 11.5pp 升至 12.0pp。这是因为精准预测的无偏轮廓必然与训练集中的侵蚀掩码发生几何冲突，证明常规指标在评估公平性时具有极高的误导性。
置信学习对几何变形的高度敏感性与校准无关性：实验显示，温度缩放（$T\in[0.1, 10.0]$）导致全局模型置信度极度膨胀或平滑时，置信学习自适应调整类别阈值，检测出的误差总量与 $\Delta_{\mathrm{LER}}$ 完全保持恒定（7.89%），无需任何事后重标定即可保持极高的诊断稳定性。

亮点与洞察¶

将表征分离转害为利：面对标签偏差导致编码器潜空间子群 MMD 距离大幅扩大的现象，本文反其道而行之，不仅不对抗压缩可分性，反而利用 FiLM 赋予其独立的风格通道，以纯粹的条件重定向完成去偏，展现了优雅的架构直觉。
构建像素级免金标准审计三元组：通过置信学习自适应阈值，首创了由误差率 LER（算规模）、相对比率 RR（找富集受害群）和定向率 DR（辨膨胀与侵蚀）构成的三元度量，填补了无干净标签时分割公平性无法审计的空白。
揭示 Dice/IoU 针对形态学腐蚀的不对称脆弱性：数学上证明了侵蚀同时削减交集（分子与分母）而膨胀仅增大并集（仅分母），导致相同像素误差下侵蚀诱发的指标暴跌远甚于膨胀，为领域内评估分割偏差提供了扎实的理论启示。

局限与展望¶

极端偏差下置信学习的信号衰减：当某群体的偏差率达到 $\beta=100\%$ 且模型完全拟合该形态时，网络会将偏见固化为高置信预测，导致未配对的置信误差被内部消化，RR 与 DR 会出现非单调的指标回落。
参考群探测对任务难度的潜在混淆：Auto-SCD 依赖早期训练损失大小判断基准群，但当某个人口学亚群因本身病理特征复杂或信噪比低而天然具有较高拟合难度时，损失大小可能误将难分割群误判为“受污染群”。
形态学扰动假设的覆盖边界：实验所设定的膨胀、侵蚀与谐波边界形变虽然高度逼真，但临床实际中还存在拓扑空洞、伪影误标等非流形形变，未来需向开放形态偏差与未知子群混合聚类方向进一步拓展。

评分¶

新颖性: ⭐⭐⭐⭐⭐ [首次系统剖析并量化分割任务中的群体条件化标签偏差，审计指标与风格解耦架构极富创新]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖人脸、细胞及皮肤病变三大基准，涵盖受控、半合成及纯真实临床场景，消融与鲁棒性实验极其详实]
写作质量: ⭐⭐⭐⭐⭐ [问题定义清晰严谨，数学公式与概念定义高度自洽，逻辑链条层层递进]
价值: ⭐⭐⭐⭐⭐ [直击高敏医疗 AI 中评估与模型双双带偏的核心痛点，开源代码及协议具极强落地参考意义]