Efficient bias mitigation in T2I diffusion models using Concept Graphs¶
会议: NeurIPS 2026
arXiv: 2607.03397
OpenReview: https://openreview.net/forum?id=vOSMBUB46a
代码: 待开源
领域: 图像生成
关键词: 文生图扩散模型, 概念本体对齐, 偏见消除, 概念图谱, 概念遗忘
一句话总结¶
提出 CO-ALIGN 框架，通过分别从文本编码器和降噪器交叉注意力层提取概念神经元图谱，并借助可微排序损失联合对齐二者的概念拓扑，在消除人口统计学偏见的同时避免语义崩溃，并能泛化增强对抗概念遗忘的鲁棒性。
研究背景与动机¶
大规模文生图（T2I）扩散模型在展现惊人生成能力的同时，也系统性地继承并放大了训练网络数据（如 LAION-5B）中关于性别、种族和年龄的人口统计学偏见。当用户输入未明确指定人口统计属性的职业提示词（如“护士”、“医生”）时，模型往往生成严重失衡的图像。现有偏见缓解方案通常将干预局限在单一组件：要么在文本编码器端微调嵌入或在推理时引入投影引导，要么在降噪器端闭式编辑交叉注意力权重或在潜在瓶颈空间（h-space）中调整特征流。
然而，现有方法普遍暗含一个严重假设：文本编码器和降噪器可以作为互相独立的校正目标。在端到端预训练或适配过程中，降噪器的交叉注意力头高度依赖文本编码器特定的偏倚几何流形；当仅编辑文本编码器时，降噪器会接收到分布外（OOD）的条件信号，导致大量生成语义完全崩溃、无法辨识目标的无意义图像；反之，若仅编辑降噪器，文本编码器依然会将未指定属性的输入引导至刻板属性嵌入，导致残留偏倚无法彻底消除。单一组件干预因此不可避免地面临“偏见缓解”与“语义连贯性”之间的双输权衡。
本文的核心洞察在于，偏见并非孤立参数或单点概念表示的属性，而是深植于概念之间关系网络的拓扑不对称性——偏倚概念与其刻板属性共享了过多的神经基质。核心 idea：提出基于概念图谱本体对齐的 CO-ALIGN 框架，联合抽取文本编码器与降噪器内部的概念图拓扑，利用可微排序损失将目标概念与各属性概念对称对齐，在几何协调中兼顾公平性与生成完整性。
方法详解¶
整体框架¶
CO-ALIGN 的核心设计思想是为文本编码器和降噪器构建对称的概念关系图谱，并通过阶段式、端到端可微的方式对齐概念拓扑。系统首先给定包含目标概念（如“Nurse”）和一组代表性属性锚点概念（如“Male Nurse”、“Female Nurse”）的概念词表，分别提取文本编码器的嵌入余弦相似度图，以及降噪器交叉注意力层中基于概念神经元重要性指纹的神经基质重叠图。接着，构建将目标概念与各属性锚点均等关联的理想目标图拓扑，依次通过可微排序损失与静态锚点约束更新文本编码器和降噪器参数，消除不对称偏置。
%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
A["输入概念词表<br/>目标概念 c* 与属性锚点 CS"] --> B["阶段1：双组件概念图谱提取<br/>文本余弦图 + 降噪器概念神经元指纹图"]
B --> C["阶段2：目标拓扑构建与可微排序对齐<br/>构造等距目标图并通过 soft-rank 约束流形"]
C --> D["阶段3：两阶段序贯参数微调<br/>LoRA更新文本端 + 梯度累积更新UNet交叉注意力"]
D --> E["平衡且高保真图像生成<br/>兼顾偏见消除与语义连贯"]关键设计¶
1. 双组件概念图谱提取：统一表示文本语义与视觉神经基质
为了使不同结构的模块能够在同一拓扑准则下对齐，CO-ALIGN 分别形式化了文本编码器与降噪器的概念图： - 文本编码器概念图 \(\mathcal{G}^{\mathrm{TE}}=(\mathcal{C}, \mathbf{A}^{\mathrm{TE}})\)：对每个概念 \(c_i\)，取文本编码器最后一层隐状态的时间步平均池化向量 \(\mathbf{e}_i = \frac{1}{L_i}\sum_{\ell=1}^{L_i} f_{\phi}(c_i)_\ell\)，经 \(\ell_2\) 归一化得到 \(\hat{\mathbf{e}}_i\)。邻接矩阵定义为方向对齐的余弦相似度矩阵 \(\mathbf{A}^{\mathrm{TE}}_{ij} = \hat{\mathbf{e}}_i^\top \hat{\mathbf{e}}_j\)。 - 降噪器概念图 \(\mathcal{G}^{\mathcal{U}}=(\mathcal{C}, \mathbf{A}^{\mathcal{U}})\)：降噪器没有单一向量，概念绑定高度分散在交叉注意力投影矩阵 \(W_K, W_Q, W_V\) 中。方法引入基于梯度的概念神经元指纹：以 CLIP 分数 \(\mathcal{L}_{c_u} = \text{CLIPScore}(I_{c_u}, c_u)\) 衡量生成图对概念的响应，在各层 \(\ell\) 和注意力头 \(h\) 上计算梯度均值 \(G_{r}^{\ell, h}(c_u) = \mathbb{E}[|\nabla_{W_r^{\ell, h}}\mathcal{L}_{c_u}|]_{\text{mean}}\)，展平成向量 \(\mathbf{G}_r(c_u) \in \mathbb{R}^{LH}\)。采用自适应阈值 \(\gamma_r = \xi \cdot \sigma(\mathbf{G}_r) + \mu(\mathbf{G}_r)\) 构建二值掩码，得到概念神经元激活指纹 \(\mathbf{g}_r(c_u) = \mathbf{G}_r(c_u) \odot \eta(\mathbf{G}_r(c_u) > \gamma_r)\)。降噪器概念图邻接矩阵通过三大投影键的指纹余弦相似度均值计算：
该矩阵精确量化了两个概念在降噪器交叉注意力子空间中所共享的神经基质。
2. 目标拓扑构建与可微排序对齐：平滑拉齐概念邻域结构
在目标拓扑 \(\mathbf{A}^{\mathrm{GT}}\) 中，监督行集仅限定为目标概念 \(\mathcal{S}=\{c^*\}\)。为了消除偏向性，强制目标概念与所有属性锚点 \(c \in \mathcal{C}_S\) 拥有相等的预设相似度目标 \(A_{c^*, c}^{\mathrm{GT}} = s^* = 1.0\)。由于精确的数值匹配易导致特征扭曲，CO-ALIGN 将图对齐建模为排序一致性问题，设计了基于 Sigmoid 的连续可微软排序算子：
其中温度参数 \(\tau > 0\) 控制平滑程度。同时从目标拓扑 \(\mathbf{A}^{\mathrm{GT}}\) 中提取并列平局硬排序目标 \(\bar{r}_{ij}^{\mathrm{GT}}\)，构建行列平均排序均方误差损失：
该设计使得目标概念的邻域排布被平滑引导至与男性、女性属性等距的位置，消除相对偏倚。
3. 静态锚点约束与序贯联合微调：保护几何基底与防遗忘
在优化过程中，若无约束，模型可能通过破坏锚点概念的固有表达来投机降低损失。CO-ALIGN 引入静态锚点损失，惩罚锚点概念偏离原始基座状态：在文本编码器端约束嵌入距离 \(\mathcal{L}_{\mathrm{anchor}}^{\mathrm{TE}} = \sum_{c \in \mathcal{C}_S} \lambda_c \|\mathbf{e}_c^{(0)} - \mathbf{e}_c\|^2\)；在降噪器端约束概念图所在行的漂移 \(\mathcal{L}_{\mathrm{anchor}}^{\mathcal{U}} = \sum_{c \in \mathcal{C}_S} \lambda_c \|\mathbf{A}^{\mathcal{U}, (0)}[c, :] - \mathbf{A}^{\mathcal{U}}[c, :]\|^2\)。微调采取两阶段流水线：首先在文本编码器注意力投影矩阵中注入 LoRA（rank=8, \(\alpha=16\)）进行轻量对齐（仅耗时约 5 分钟）；固定文本端后，在降噪器端沿扩散反向轨迹采样多步累积梯度，更新交叉注意力 \(W_K, W_Q, W_V\) 权重。这种设计保证了降噪器在新的对齐文本嵌入几何下重新达到表示平衡，彻底杜绝了因跨组件流形脱节引发的图像语义错乱。
损失函数 / 训练策略¶
总训练损失结合了排序对齐与基底锚定：
其中，超参数设为 \(\delta = 1.0, \tau = 0.05\)，静态锚点权重 \(\lambda_c = 1.0\)。由于静态锚点提供了足够的正则化，保留损失 \(\mathcal{L}_{\mathrm{pres}}\)（在 MS-COCO 上的噪声重构损失）在实际对齐阶段可置零（\(\gamma = 0\)）而不会引发概念崩溃。微调采用 AdamW 优化器，学习率 \(\eta = 10^{-5}\)，训练 3 个 epoch（每 epoch 300 步，batch size 4）。降噪器微调时，在 35 步 DDIM 反向轨迹中均匀采样 5 个时间步进行梯度累积。
实验关键数据¶
主实验¶
实验基于 Stable Diffusion v1.5，评估四大职业提示词（nurse、doctor、fire fighter、receptionist）在性别、年龄、种族三大维度上的生成平衡性。每类提示词生成 500 张图像，采用 FairFace 评估公平性差异（Fairness Discrepancy, FD，越低越公平），以 FFHQ 为参考计算 FID，并统计图像保真度 CLIP-I 和提示词对齐度 CLIP-T。
| 方法 | 性别 FD ↓ | 性别 FID ↓ | 性别 CLIP-I ↑ | 年龄 FD ↓ | 年龄 FID ↓ | 种族 FD ↓ | 种族 FID ↓ |
|---|---|---|---|---|---|---|---|
| Original SD v1.5 | 0.564 | 120.06 | — | 0.752 | 120.06 | 0.558 | 120.06 |
| Asyrp (Kwon et al., 2023b) | 0.408 | 166.11 | 0.8253 | 0.682 | 200.90 | 0.524 | 153.06 |
| H-Distribution (Parihar et al., 2024) | 0.222 | 151.68 | 0.8475 | 0.506 | 147.71 | 0.544 | 126.90 |
| Latent Direction (Li et al., 2024) | 0.305 | 129.37 | 0.8058 | 0.052 | 113.81 | 0.175 | 128.30 |
| Finetuning (Shen et al., 2024) | 0.050 | 161.47 | 0.8779 | 0.746 | 161.47 | 0.198 | 161.47 |
| DiffLens (Shi et al., 2025) | 0.046 | 112.83 | 0.8501 | 0.049 | 99.17 | 0.401 | 119.86 |
| UCE (Gandikota et al., 2024) | 0.4117 | 132.60 | 0.7874 | 0.5792 | 122.86 | 0.2073 | 110.94 |
| CO-ALIGN (本文) | 0.032 | 98.88 | 0.9506 | 0.054 | 97.42 | 0.043 | 101.45 |
消融实验与拓展分析：对抗性概念遗忘下游收益¶
CO-ALIGN 概念对齐展现出类似于图半监督学习中的语义邻域传播效应（Semantic Neighbourhood Propagation）：拉动被监督概念向目标靠拢时，未受直接监督的语义相近概念也会协同位移。下表展示了将 CO-ALIGN 用于预对齐裸露相关对抗概念后，各类后处理概念遗忘算法在面对对抗性提示词时的有害内容绕过率（越低越好，以 LLaVA 判定的裸露率 % 为准）：
| 遗忘基础方案 | 默认基座 (SD v1.5) 平均裸露率 (%) | + CO-ALIGN 预对齐 平均裸露率 (%) | 极端对抗项 Creampie 遗忘表现 (原 vs 后) |
|---|---|---|---|
| None (无遗忘) | 48.4% | 60.4% | 100.0% vs 100.0% |
| ++ UCE (Gandikota et al., 2024) | 29.6% | 10.0% (相对降低 66%) | 88.0% → 32.0% |
| ++ ESD (Gandikota et al., 2023) | 10.0% | 0.8% (相对降低 92%) | 12.0% → 2.0% |
| ++ SAFREE (Yoon et al., 2025) | 18.8% | 1.2% (相对降低 94%) | 94.0% → 0.0% |
关键发现¶
- 两阶段联合对齐打破公平-质量权衡：仅做文本端微调或仅做 UNet 编辑的方法虽然能降低 FD，但由于两组件表示解耦，导致生成物中 LLaVA 判定的语义不连贯（Incoherence）比率激增至 15%~35%；而 CO-ALIGN 联合对齐将不连贯率相较于基线压缩了 88%，且全项 FID 较未编辑原始模型显著降低（\(\Delta \text{FID} = 11.4\)），CLIP-I 达到 0.95 以上。
- 邻域拉动效应赋能安全防御：监督少量对抗概念（如 Nymphettes、Creampie）时，周围的未标记概念（如 Erotic、Attractive Female）在概念图上的距离自动缩短 0.15~0.22，从而使传统局部擦除方法能够一举覆盖盲区概念，使 ESD 的对抗失效率从 10% 降至 0.8%。
亮点与洞察¶
- 将偏见形式化为概念网络拓扑缺陷：突破了以往将偏见局限于“单神经元激活”或“文本投影方向”的局部视角，通过概念神经元相似度矩阵首次定量刻画了跨模态组件内部的偏见拓扑。
- 软排序可微优化规避绝对距离失真：采用基于 Sigmoid 的成对排序建模取代严格的欧氏距离对齐，既实现了对拓扑对称性的强约束，又保留了未编辑维度的几何自由度。
- 跨任务泛化与安全启示：展示了概念本体对齐作为通用模型外科手术工具的潜力，能够无缝作为各类概念擦除算法的前置几何矫正插件，解决对抗越狱问题。
局限与展望¶
- 计算开销集中于降噪器指纹抽取：降噪器概念图需要在每个概念上运行完整的反向去噪过程来累积梯度，导致 UNet 对齐阶段单卡训练耗时约 3 小时，远高于文本端的 5 分钟。
- 架构依赖与范式迁移：现有实现高度依赖 UNet 交叉注意力的显式投影结构与 DDIM 轨迹，如何直接扩展至 DiT（如 Flux, SD3）及包含双文本编码器的 SDXL 架构仍待进一步探索。
相关工作与启发¶
- vs 单独文本端消偏 (Debias-VL, Shen et al.)：此类方法仅修正提示词理解，但由于未能同步调整降噪器的先验几何流形，会导致降噪器接收 OOD 信号进而产生大量语义崩溃样本；CO-ALIGN 通过端到端联合拓扑引导解决了此矛盾。
- vs 单独降噪器编辑 (UCE, DiffLens, Balancing Act)：虽然这些方法在 UNet 内部调整注意力或瓶颈激活，但上游文本编码器依然输出强偏向性的条件向量；CO-ALIGN 保持了“输入理解”与“去噪生成”两端的对称和谐。
评分¶
- 新颖性: ⭐⭐⭐⭐⭐ 首次从概念图谱与网络拓扑对称性视角统一解决 T2I 双组件偏见问题，视角独特且机理深入。
- 实验充分度: ⭐⭐⭐⭐⭐ 涵盖性别、年龄、种族三大维度的主客观指标，细致剖析了生成连贯性，并拓展验证了概念遗忘任务。
- 写作质量: ⭐⭐⭐⭐⭐ 动机严密，逻辑自洽，数学形式化清晰规范。
- 价值: ⭐⭐⭐⭐⭐ 为生成式扩散模型的深层机理解释、公平性微调和安全对齐提供了高度可借鉴的范式。