Stay Fair! Ensuring Group Fairness in Diffusion Models Across Guidance Scales¶

会议: NeurIPS 2026
arXiv: 2605.28036
OpenReview: https://openreview.net/forum?id=tIDWhFyqX7
代码: https://github.com/Kim-Myeong-Soo/stay-fair
领域: 图像生成
关键词: 扩散模型, 群体公平性, 引导偏置, 分类器引导, 无分类器引导

一句话总结¶

本文揭示了引导尺度增大导致扩散模型群体偏置单调放大的根源，提出强人口统计均等（SDP）引导充要条件与 StayFair 框架，通过时间感知的 WDP 正则化（CG）和自适应空提示偏置嵌入位移（CFG），实现了跨引导尺度的群公平性与生成质量解耦。

研究背景与动机¶

条件扩散模型在文生图与可控视觉生成中取得了突破性进展，其中引导技术（如分类器引导 CG、无分类器引导 CFG）是调控生成内容与条件对齐度、样本多样性和感知质量的核心机制。然而，预训练扩散模型往往在性别、种族、年龄等敏感属性上存在显著偏置，并在生成过程中进一步放大训练集已有的刻板印象。为了缓解这一问题，现有去偏方法主要分为两类：一是基于属性的推理期干预（如引入属性引导或潜在空间操控），直接强制改变生成的属性比例；二是针对扩散模型本身的训练期去偏（如微调文本编码器、跨注意力概念擦除等）。

然而，现有去偏工作普遍存在一个关键盲区：它们均假定在单一固定的引导尺度（如默认的 $w=7.5$）下进行验证和评估，默认去偏效果能在不同引导尺度间平移。但在实际应用中，用户会频繁调节引导尺度以权衡对齐度与多样性。实验发现，一旦偏离设定的基准尺度，生成分布的群体偏置便会急剧恶化。核心矛盾在于，现有方法仅关注扩散模型本身的静态分布偏置，却忽视了引导机制本身所引入的动态偏置——这种偏置会随着引导尺度 $w$ 的增加单调递增，并在用户偏好的高引导区间主导整体偏置。

为了解决这一问题，本文将生成结果的总偏置严格解构为静态的「模型偏置」与尺度依赖的「引导偏置」，并将公平性目标从单点尺度推广至「引导尺度不变的群体公平性」（Guidance Scale-Invariant Group Fairness）。核心 idea：将强人口统计均等（SDP）拓展至引导函数，证明输出分布跨尺度保持群体比例的条件，并据此设计 StayFair 算法，在分类器引导中通过 Wasserstein 正则对齐跨组输出分布，在无分类器引导中通过自适应空提示嵌入位移反向抵消偏置。

方法详解¶

整体框架¶

在条件扩散模型中，给定条件 $y$ 和引导尺度 $w$，实际采样的边际分布为 $Q^w(a \mid y)$（其中 $a \in \mathcal{A}$ 为敏感属性）。总偏置定义为与目标均匀分布 $T(a \mid y)$ 的偏差，可显式分解为引导偏置与模型偏置： $$\text{Bias}^w(a \mid y) = \underbrace{Q^w(a \mid y) - Q^{w_{\text{ref}}}(a \mid y)}_{\text{Bias}_{\text{G}}^w(a \mid y)} + \underbrace{Q^{w_{\text{ref}}}(a \mid y) - T(a \mid y)}_{\text{Bias}_{\text{M}}(a \mid y)}$$ 其中 $w_{\text{ref}}$ 为模型对齐基准尺度。StayFair 的目标是在不改变底层扩散模型的前提下，使引导偏置在任意尺度均恒等于零（$\text{Bias}_{\text{G}}^w(a \mid y) = 0$）。

针对分类器引导（CG）与无分类器引导（CFG）两种范式，StayFair 提供了两种互补的解耦方案：在 CG 中引入噪声敏感的 Wasserstein 人口统计均等损失约束引导分类器；在 CFG 中利用属性方向差向量动态重构空提示嵌入 $\emptyset_y$。整体流程如下：

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入条件 y 与敏感属性空间 A"] --> B{"判定引导机制类型"}
    B -->|分类器引导 CG| C["噪声感知的 Wasserstein 跨组分布对齐"]
    B -->|无分类器引导 CFG| D["自适应空提示嵌入方向位移"]
    C --> E["无偏引导梯度组合与尺度调节"]
    D --> E
    E --> F["引导尺度不变的公平样本生成"]

关键设计¶

1. 强人口统计均等（SDP）引导条件：确立跨尺度比例不变的理论边界

针对引导机制在不同尺度下放大优势群体比例的痛点，本文首先从理论上推导了目标分布保持群体比例恒定的充要准则。在连续时间扩散过程 $X_t = X_0 + \sigma_t \epsilon$ 下，引导目标分布形式为 $p_t^w(x \mid y) \propto p_t^0(x \mid y) f(x, t)^w$。若引导函数 $f(X_t, t)$ 在给定不同敏感群体条件下的边际概率法则完全相等（即满足强人口统计均等 $\mathcal{L}(f(X_t, t) \mid a(X_0)=a, y) = \mathcal{L}(f(X_t, t) \mid a(X_0)=a', y)$），则对其任意非负 $w$ 次矩均有 $\mathbb{E}[f(X_t, t)^w \mid A=a, y] = \mathbb{E}[f(X_t, t)^w \mid A=a', y]$。由此严格证明了目标群比例满足： $$\frac{p_t^w(a \mid y)}{p_t^w(a' \mid y)} = \frac{p_t^0(a \mid y)}{p_t^0(a' \mid y)}$$ 进一步在高斯设定与对数仿射势函数下证明了该不变性能完备传递到反向随机微分方程的实际采样分布 $Q^w$。这说明只要引导函数满足 SDP，引导过程就不会在任何尺度引入额外的相对群体偏倚。

2. 噪声感知的 Wasserstein 跨组分布对齐：约束分类器引导输出

在显式分类器引导（CG）中，引导梯度直接由时间相关分类器 $f_\phi(x_t, t)$ 的对数梯度 $\nabla \log f_\phi(x_t, t)$ 构成。直接约束分类器单点输出无法实现分布对齐，为此本文引入 Wasserstein 人口统计均等（WDP）作为 SDP 的连续松弛，度量不同敏感属性群体的预测分布间的 1-Wasserstein 距离。由于扩散过程不同时间步的信噪比跨度巨大，跨时步直接匹配会导致严重的模式漂移，算法设计了联合匹配代价： $$c\bigl((u_i, t_i), (v_j, t_j')\bigr) = |u_i - v_j| + \gamma |\text{logSNR}(t_i) - \text{logSNR}(t_j')|$$ 通过在微批次中求解最优传输方案 $\pi^*$，构建经验 WDP 惩罚项 $\mathcal{L}_{\text{WDP}} = \frac{1}{n}\sum_{i,j} \pi_{ij}^* |u_i - v_j|$，并与交叉熵损失联合优化： $$\mathcal{L} = \mathcal{L}_{\text{CE}} + \lambda \sum_{a, a' \in \mathcal{A}} \mathcal{L}_{\text{WDP}}(a, a')$$ 该设计通过时间局部窗口采样与信噪比惩罚，保证了分类器在整个反向扩散轨迹的任意时间步均对不同敏感群体给出统计同分布的置信度。

3. 自适应空提示嵌入方向位移：平衡无分类器引导的隐含偏置

在文生图广泛采用的 CFG 模式下，隐式分类器通过贝叶斯法则由条件与非条件预测做差得到：$\nabla \log f(x_t, t) = \nabla \log p_\theta(x_t \mid y) - \nabla \log p_\theta(x_t \mid \emptyset)$。此时直接正则化不可行，StayFair 另辟蹊径，将标准固定的空提示 $\emptyset$ 替换为依赖输入提示 $y$ 的自适应空提示 $\emptyset_y$。通过在 CLIP 文本嵌入空间中沿敏感属性方向进行几何位移： $$E(\emptyset_y) := E(\emptyset) + \alpha(y) \frac{E(a^+) - E(a^-)}{\|E(a^+) - E(a^-)\|}$$ 调节标量系数 $\alpha(y)$ 可直接改变负向分支分布 $p_\theta(x_t \mid \emptyset_y)$ 的群体偏置倾向，根据引导梯度差分公式，这会在正向引导中产生相反方向的抵消力。针对未见提示，StayFair 提取提示文本与全局性别基向量的投影得分，利用轻量级岭回归预测最优 $\alpha(y)$，从而在不依赖测试期反向传播或生成样本的情况下实现自适应动态校准。

损失函数 / 训练策略¶

分类器引导（CG）：基础模型采用 ADM 结构，分类器在 CelebA（64×64）上训练 800k 步，Adam 优化器学习率 $3 \times 10^{-4}$，批大小 128。在前 5% 步数热身后引入 WDP 正则，超参数 $\lambda=3$，信噪比惩罚权重 $\gamma=0.2$，并在批次内采用基于 P2 权重采样的时间窗口（宽度 50）。
与既有去偏模型结合（CFG）：对于已针对固定尺度 $w_{\text{ref}}$ 优化的去偏扩散模型 $\epsilon_\theta^{\text{Fair}}$（如微调方法 FT 或概念编辑 UCE），StayFair 保持其基准输出不动，仅在尺度偏移量 $(w - w_{\text{ref}})$ 上应用去偏引导项： $$\epsilon_\theta^{\text{StayFair}}(x_t, t, y) = \epsilon_\theta^{\text{Fair}}(x_t, t, y) + (w - w_{\text{ref}}) \bigl(\epsilon_\theta(x_t, t, y) - \epsilon_\theta(x_t, t, \emptyset_y)\bigr)$$ 这一设计使 StayFair 与模型级去偏算法完全正交兼容。

实验关键数据¶

主实验¶

实验在 CelebA（分类器引导，ADM）以及 33 种职业提示文本（无分类器引导，SD1.5 与 SD3）上展开。主要评估指标包括：偏置范围（Bias Range，跨引导尺度的群体比例极差，衡量对尺度的敏感度）、平均偏置（Avg Bias）、最差偏置（Worst Bias），以及图像生成质量指标（fair-intra FID、CLIP Score、Aesthetic Score、PickScore）。

下表为 CelebA 上分类器引导的群公平性与生成质量对比（敏感属性为性别，条件为弱不平衡的 Smiling 与强不平衡的 Blond Hair）：

方法	Smiling Range (%) ↓	Smiling FID ↓	Smiling FD_DINOv2 ↓	Blond Hair Range (%) ↓	Blond Hair FID ↓	Blond Hair FD_DINOv2 ↓
CG（标准分类器）	13.3	17.99	87.51	33.6	22.70	151.04
CG + RW（样本重加权）	6.3	16.96	83.39	23.4	20.05	136.55
CG + GDRO（组分布鲁棒优化）	7.8	17.50	85.28	21.1	22.29	152.70
StayFair (Ours)	1.6	16.66	82.56	6.3	19.68	139.65

下表为主流文生图模型（Vanilla 及搭载去偏模块后）在 33 种职业提示下跨引导尺度的量化评估：

模型架构	引导方案	平均偏置 Avg (%) ↓	最差偏置 Worst (%) ↓	尺度偏置范围 Range (%) ↓	CLIP Score ↑	美学得分 Aesth ↑	PickScore ↑
SD1.5 (Vanilla)	CFG	30.7	34.5	9.0	28.72	6.72	19.78
SD1.5 (Vanilla)	PAG (自注意力引导)	24.9	28.1	6.9	26.53	6.46	18.96
SD1.5 (Vanilla)	StayFair (Ours)	28.1	30.6	5.2	28.71	6.72	19.75
SD3 (Vanilla)	CFG	39.2	42.6	9.6	28.29	6.62	19.98
SD3 (Vanilla)	StayFair (Ours)	34.8	37.1	5.4	28.14	6.64	19.88
SD1.5 + UCE [11]	CFG	20.0	25.7	12.8	27.68	6.86	19.89
SD1.5 + UCE [11]	StayFair (Ours)	19.7	22.5	5.4	27.67	6.87	19.90
SD1.5 + FT [10]	CFG	14.7	21.0	16.7	27.80	6.85	20.14
SD1.5 + FT [10]	StayFair (Ours)	14.3	17.2	6.2	27.79	6.85	20.14

消融实验¶

在 SD1.5 上验证未见职业提示的轻量化文本自适应预测器（Prompt-based $\alpha$）性能（5 个测试职业，4 种提示模板，共 20 个测试配置）：

配置 / 方案	平均偏置 Avg (%) ↓	最差偏置 Worst (%) ↓	偏置波动范围 Range (%) ↓	机制说明
标准基线 CFG ($\alpha=0$)	21.79	26.62	10.43	尺度增加导致偏置剧烈波动
StayFair (Prompt-based)	24.48	27.47	7.70	基于 CLIP 文本特征岭回归预测 $\alpha$
StayFair (Oracle $\alpha^*$)	24.08	26.31	5.16	网格搜索平坦化斜率的最佳理论上限

关键发现¶

去偏模型对尺度更敏感：未经尺度解耦的模型级去偏方法（如 FT 和 UCE）在多尺度测试下的偏置波动范围（分别为 16.7% 和 12.8%）甚至显著高于未去偏的 Vanilla SD1.5（9.0%），证实了仅在单一验证尺度微调模型会导致严重的跨尺度过拟合。StayFair 将两者的范围分别压缩至 6.2% 和 5.4%。
偏置放大的根源在于无条件基线的非对称外推：深入分析表明，CFG 在高尺度下的偏置放大本质上是将无条件模型与条件模型的微小差异进行了外推。当无条件模型本身存在隐式性别倾斜时，高尺度外推将导致不同职业的偏置非对称加剧；通过位移 $\emptyset_y$ 中和无条件分支的偏倚后，正反双向的放大趋势被有效压制。

亮点与洞察¶

问题视角的范式转换：首次将扩散模型的生成不公平性剥离出「引导偏置」这一关键维度，指出现有公平算法在用户自定义 $w$ 下失效的核心机制是动态引导偏置未受约束，而非模型静态表征不足。
数学充要条件指导算法落地：通过建立强人口统计均等（SDP）在扩散引导过程中的测度保持定理，给出了跨尺度群比不变的精确数学保障，使后续针对 CG 和 CFG 的算法设计具备了坚实的统计力学与概率传输理论支撑。
即插即用且完全正交：StayFair 无需修改预训练扩散模型权重，在推理期仅对引导向量做轻量代数校正，能直接与现有的文本编码器微调（FT）、概念擦除（UCE）和属性引导（Fair Diffusion）无缝叠加，赋能全生命周期的尺度鲁棒性。

局限与展望¶

二元属性局限：当前实验与理论推导主要聚焦于二元性别属性的刻板印象（如职业偏置），对于连续属性、多类别群体以及交叉性身份（Intersectional Fairness，如跨种族与性别的复合属性）的扩展尚未形式化。
未见提示预测器的泛化瓶颈：文生图的 Prompt-based 方案依赖于训练职业与模板拟合的岭回归，当提示词极度复杂或语义隐晦时，文本嵌入的线性偏置得分可能与扩散模型的隐空间表征产生非线性失配，仍需探索更为端到端的自监督估计方案。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 首次揭示引导尺度放大偏置的机理，建立 SDP 引导充要条件。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 CelebA 类别条件生成与 SD1.5/SD3 文生图，详尽测试了基线与叠加组合。
写作质量: ⭐⭐⭐⭐⭐ 理论推导完备自洽，从问题分解到算法落地逻辑线索极其清晰。
价值: ⭐⭐⭐⭐⭐ 为扩散模型在真实落地应用中应对用户交互式调节超参数提供了标准的公平防护范式。

配置 / 方案	平均偏置 Avg (%) ↓	最差偏置 Worst (%) ↓	偏置波动范围 Range (%) ↓	机制说明
标准基线 CFG (\(\alpha=0\))	21.79	26.62	10.43	尺度增加导致偏置剧烈波动
StayFair (Prompt-based)	24.48	27.47	7.70	基于 CLIP 文本特征岭回归预测 \(\alpha\)
StayFair (Oracle \(\alpha^*\))	24.08	26.31	5.16	网格搜索平坦化斜率的最佳理论上限