TOPA: Mitigating Concept Dominance in Diffusion Personalization via Target-Oriented Perturbation Augmentation¶

会议: ECCV 2026
论文: ECCV Official
领域: 图像生成
关键词: 概念个性化、扩散模型、数据增强、交叉注意力、概念主导

一句话总结¶

针对少样本扩散模型个性化中概念主导（主体忠实但背景上下文被严重压制）的问题，TOPA 提出一种仅基于参考图像的离线数据增强方案，通过主体隔离合成丰富背景分布，并交替优化图像微小扰动以重平衡词元-区域交叉注意力，在无需改动任何下游微调算法的前提下显著恢复上下文可控性。

研究背景与动机¶

基于扩散模型的文本到图像个性化技术（如 Textual Inversion、DreamBooth、Custom Diffusion 等）已成为定制化内容创作的核心范式。用户仅需提供极少数参考图像（通常 3-15 张），即可将特定视觉实体（如某特定玩偶或宠物）绑定为模型中的伪词元（pseudo-token）或专用参数，进而通过自然语言提示词驱动其在各种全新场景中生成。然而，当前个性化方法普遍面临一个严重的结构性缺陷——概念主导失败（concept-dominant failure）：模型在生成过程中能够极好地复现目标主体，但提示词所指定的背景环境、属性与交互行为却常常被严重忽略或吞没，例如要求在城市背景中展示玩偶，模型依然固执地生成参考图中的山脉或室内背景，极大削弱了个性化合成的可控性与组合能力。

探究其内在机理，这种概念主导主要源于两层交织的偏差。第一层是交叉注意力机制（Cross-Attention）中的跨词元干扰：在微调过程中，文本提示中的上下文词元（context tokens）往往异常地将注意力权重分配到了主体像素区域，导致其失去对背景区域的有效控制力；第二层则是少样本场景下虚假相关性的统计耦合：由于参考图像往往背景雷同，去噪目标容易在无监督的像素空间将主体与特定背景绑定在一起。为了解决该问题，先前的方法多数依赖于训练时修改损失函数、引入基于特定锚点的正则项（如 Compositional Inversion、CoRe）或在推理阶段进行潜在向量引导（如 Attend-and-Excite）。这类方案往往与特定的微调算法紧密绑定，不仅修改了训练/推理管线，也难以普遍适用于不同架构或下游下游工作流。

本文的切入视角非常独特：既然模型偏差来自于训练数据的注意力与统计耦合，能否完全在数据输入端解决？核心 idea：将概念去耦合内化为一种仅作用于参考图像的离线数据增强框架（TOPA），先通过主体隔离合成（SIC）打破背景与主体的虚假统计关联，再通过交替优化微小空间扰动（CARM）重平衡词元-区域的交叉注意力分布，实现即插即用、无需修改下游个性化算法的主体-上下文解耦。

方法详解¶

整体框架¶

TOPA 是一个纯离线的数据增强管线，输入为用户给出的少样本参考图像集合，输出为增强且带有微小扰动的新参考图像集合，这些图像可直接送入现有的任意扩散模型个性化方法进行标准微调。

整个框架由两个互补的阶段构成： 1. 主体隔离合成（Subject-Isolation Compositing, SIC）：利用自动分割提取目标主体，将其粘贴至由扩散模型生成的数十个多样化合成背景上，从数据分布层面阻断主体与原图背景的统计共现； 2. 交叉注意力重平衡模块（Cross-Attention Rebalancing Module, CARM）：在合成图像上优化微小加性扰动 $\delta$，通过联合惩罚上下文词元对主体区域的越界注意力并锚定主体词元注意力，重塑交叉注意力对齐。为了平衡计算量与表征演化，设计了区域扰动共享机制与交替优化策略。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["少样本参考图像集合<br/>{x_i} 与对应主体掩码 M_i"] --> B["阶段 1：主体隔离合成 SIC<br/>提取主体并贴附至多样化生成背景"]
    B --> C["阶段 2：交叉注意力重平衡 CARM<br/>优化微小扰动 δ 以解耦词元注意力"]
    C --> D["交替优化调度策略<br/>交替更新扰动 δ 与伪词元嵌入 e*"]
    D --> E["增强后的参考图像集合<br/>{x_tilde} 具备解耦注意力特性"]
    E --> F["下游标准个性化微调<br/>TI / DreamBooth / Custom Diffusion 等"]

关键设计¶

1. 主体隔离合成：打破少样本背景虚假统计相关 在标准的个性化设定中，3-5 张参考图像常常在相似的光照和背景下拍摄，扩散模型缺少显式的像素级主体指示，极易在优化伪词元时将背景中的低频或高频纹理一并学习为概念特征。为此，SIC 首先采用自动分割网络获取主体掩码 $M$，然后利用预训练 Stable Diffusion 依据一组精选的背景提示词独立合成 $q$ 个多样化背景图像 $\{b_j\}$（实验中 $q=34$）。随后将从第 $i$ 张参考图像裁剪出的主体 $s_i$ 贴合至各个背景中生成组合样本： $$\tilde{x}_{i,j} = \mathcal{C}(s_i, b_j)$$ 通过这种组合，主体成为跨越所有生成样本的唯一共有特征，在统计层面上切断了主体与特定背景的共现假象。

2. 交叉注意力重平衡模块：抑制干扰与主体锚定的联合目标 即便背景多样化，模型在微调期间的交叉注意力分布仍可能失衡。为了主动引导注意力的合理分配，CARM 为图像施加可学习的加性扰动 $\delta$。设 $y^*$ 为包含伪词元 $R^*$（其对应待优化嵌入为 $e^*$）的微调提示词，$\mathcal{C}$ 为除 $R^*$ 及停用词之外的所有上下文词元集合。对所有上下文词元的聚合交叉注意力图取均值得到 $A_{\text{ctx}}(\tilde{x}, y^*)$。CARM 设计了双重约束目标：首先通过上下文干扰抑制损失惩罚上下文词元在主体掩码区域的注意力泄漏： $$\mathcal{L}_{\text{ctx}} = \left\| M \odot A_{\text{ctx}}(x + \delta, y^*) \right\|_1$$ 其次，若仅优化 $\mathcal{L}_{\text{ctx}}$，注意力的竞争本质可能导致伪词元 $R^*$ 的注意力发散至非主体区域。因此，进一步引入主体词元锚定损失，强制让伪词元的注意力图 $A_{R^*}$ 贴合主体掩码 $M$： $$\mathcal{L}_{R^*} = \mathrm{MSE}\Big(M, A_{R^*}(x + \delta, y^*)\Big)$$ 二者加权组合构成完整的重平衡损失： $$\mathcal{L}_{\text{CARM}} = \mathcal{L}_{\text{ctx}} + \lambda \mathcal{L}_{R^*}$$ 其中平衡超参数 $\lambda=1.0$。该微小扰动诱导模型将主体表征严格限制于主体空间，把背景注意力的主导权交还给提示词上下文。

3. 区域扰动共享与交替优化策略：兼顾计算效率与动态演化 为合成图像集优化扰动面临两个工程与优化瓶颈：若为 $h$ 张参考图像生成的 $h \times q$ 张合成图分别独立优化扰动，计算开销极其庞大；同时，伪词元嵌入 $e^*$ 随微调动态演化，静态固定的扰动会在后期失效。TOPA 创新性地提出了两项配套机制： - 区域级扰动共享：利用合成图像的结构性解耦特性，将扰动限制在背景区域 $\delta^{(b)}_j$ 并由所有主体共享（或主体区域 $\delta^{(s)}_i$ 由所有背景共享）。默认采用背景区域共享，将需优化的扰动数量从 $h \times q$ 骤降至 $q$，极大节省了显存与时间； - 交替优化调度（Alternating Optimization）：在扰动学习阶段（总步数 $S=5000$），将标准去噪扩散损失与 $\mathcal{L}_{\text{CARM}}$ 交替执行。每隔 $K=2$ 步更新一次扰动 $\delta$（学习率 0.02），其余步骤正常微调嵌入 $e^*$（学习率 $1 \times 10^{-4}$）。优化完成后仅保留扰动图像集合，丢弃中间嵌入，输出纯净的增强数据集。

实验关键数据¶

主实验¶

论文在 CustomConcept101 基准上选取 10 个概念进行评测，并采用 DreamBench 中的 24 个上下文提示词（每词元生成 10 张图，共 2400 张生成图）。对比了 Textual Inversion (TI)、Custom Diffusion、DreamBooth-LoRA、ELITE 和 P+ 在原版、简单传统增强（crop/flip/jitter 等）以及 TOPA 增强下的表现。

论文 Table 1 主实验对比（部分代表性方法）：

方法配置	BRISQUE ↓	CLIP-IQA ↑	CLIP-I† ↑	CLIP-T ↑	FID ↓	Flan-VQA ↑	BLIP-VQA ↑	LLaMA-VQA ↑
TI (原始基线)	16.634	0.847	0.667	0.446	247	0.608	0.577	0.693
TI + naive augment	16.941	0.765	0.623	0.425	213	0.688	0.521	0.688
TI + TOPA (本文)	14.574	0.871	0.671	0.472	220	0.654	0.683	0.773
Custom Diffusion	15.147	0.826	0.627	0.506	294	0.711	0.715	0.764
Custom + naive augment	16.131	0.815	0.608	0.525	279	0.715	0.750	0.806
Custom + TOPA (本文)	15.740	0.855	0.613	0.534	259	0.717	0.810	0.844
DreamBooth LoRA	19.937	0.768	0.717	0.311	181	0.367	0.165	0.273
DreamBooth LoRA + TOPA	15.496	0.908	0.727	0.352	179	0.410	0.325	0.427
ELITE	15.711	0.832	0.691	0.427	219	0.752	0.622	0.915
ELITE + TOPA (本文)	14.244	0.858	0.674	0.453	176	0.807	0.681	0.944

注：CLIP-I† 为论文提出的背景中和主体相似度，能准确剔除背景泄露虚高；VQA 指标利用多模态大模型判断背景属性是否按提示词正确生成。

消融实验¶

论文在 Textual Inversion 上对背景替换和各个损失模块进行了完备消融（Table 3）：

配置 / 模块	BRISQUE ↓	CLIP-IQA ↑	CLIP-I† ↑	CLIP-T ↑	FID ↓	BLIP-VQA ↑	LLaMA-VQA ↑	说明
Original (原始 TI)	16.634	0.847	0.667	0.446	247	0.577	0.693	未进行任何增强
仅替换背景 (SIC only)	16.899	0.871	0.661	0.484	231	0.673	0.731	背景指标提升但主体保真度轻微下滑
仅优化 $\mathcal{L}_{\text{ctx}}$	15.346	0.855	0.669	0.453	251	0.608	0.727	抑制干扰有助于质量，但背景控制力弱
仅优化 $\mathcal{L}_{R^*}$	17.166	0.846	0.650	0.470	269	0.640	0.740	主体锚定导致视觉质量降低 (BRISQUE 变差)
完整 TOPA (SIC + 双损失)	14.574	0.871	0.671	0.472	220	0.683	0.773	视觉质量、主体忠实度与背景可控性兼优

关键发现¶

传统增强无法胜任个性化解耦：简单对参考图像进行随机裁剪、缩放、模糊等（naive augment），虽然在某些指标上略有扰动，但会导致主体保真度大幅暴跌（TI 的 CLIP-I† 从 0.667 跌至 0.623），且 BRISQUE 质量显著恶化；
双重注意力约束缺一不可：单独使用 $\mathcal{L}_{\text{ctx}}$ 缺乏对主体词元的空间锚定约束，导致伪词元注意力可能空间弥散；单独使用 $\mathcal{L}_{R^*}$ 则无法强力驱逐上下文词元对主体的入侵。两者结合时，BLIP-VQA 相对基线提升达 18.4%（0.577 → 0.683），FID 优化 10.9%（247 → 220）；
正交互补性：在专为上下文一致性设计的强化方法（如 Compositional Inversion 和 Attend-And-Excite）以及 Pivotal Tuning Inversion LoRA 上叠加 TOPA，均能进一步降低 FID 并全面拔高 VQA 评分（如 Attend-And-Excite 的 BLIP-VQA 从 0.567 攀升至 0.703）。

亮点与洞察¶

数据层即插即用范式：不同于以往方法在模型结构、优化目标或推理采样阶段做“侵入式”修改，TOPA 仅对参考图像离线注入不可见微小扰动与背景重组，不碰任何下游代码，具有天然的通用性与可复用性；
对抗扰动的正向巧用：将原本用于模型越狱、数据投毒或防抄袭的水印式输入扰动机制，逆向转化为纠偏模型注意力、改善泛化解耦的数据增强工具；
背景中和评估指标 CLIP-I† 的提出：敏锐地指出了常规 CLIP-I 容易因背景重合带来虚假高分的测量偏差，通过合成背景配准计算真实的主体忠实度，为个性化评估提供了更具严谨性的工具。

局限与展望¶

对分割质量的强依赖：SIC 与 CARM 均重度依赖前景主体的精确二值掩码，若复杂毛发、半透明物体分割存在严重伪影或遮挡边缘瑕疵，合成图像会引入边界伪影，误导扰动学习；
离线预处理耗时增加：尽管设计了背景区域共享与交替调度，但在微调前仍需生成数十张背景并进行数千步迭代来学习扰动，相比于开箱即用的少样本微调增加了离线计算时间；
未来方向：探索无需显式分割端到端预测扰动的轻量级生成式增强器，以及将该思路扩展至视频个性化或 3D 资产定制场景。

评分¶

新颖性: ⭐⭐⭐⭐☆ [首次将对抗/加性扰动用于解决个性化概念主导，构思精巧且无需修改模型]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 5 种基础个性化方法与 3 种上下文增强变体，设计了背景中和新指标，消融详实]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，图表清晰，数学建模与机制解释十分自洽]
价值: ⭐⭐⭐⭐☆ [为少样本扩散模型定制提供了独立于架构的数据增强工具箱，工程落地友好]