Delta-Adapter: Scalable Exemplar-Based Image Editing with Single-Pair Supervision¶

会议: NeurIPS 2026
arXiv: 2605.07940
代码: https://delta-adapter.github.io
领域: 图像生成
关键词: 示例驱动图像编辑, 单样本对监督, 语义差分, 扩散模型, 测试时自适应

一句话总结¶

本文提出 Delta-Adapter，通过从单对源-目标示例图像中提取与图像内容解耦的视觉特征“语义差分（Semantic Delta）”并经由 Perceiver 适配器注入冻结的 FLUX 扩散模型，在无需文本指令和“双样本对（pair-of-pairs）”监督的条件下实现了可扩展的示例驱动图像编辑与单样本测试时自适应。

研究背景与动机¶

指令驱动的图像编辑虽然灵活，但面对微妙的外观迁移、复杂的风格变换或难以用语言精确量化的编辑幅度时，自然语言往往力不从心。示例驱动图像编辑（Exemplar-Based Image Editing，即图像类比 Image Analogy）通过给出一对编辑前后的源-目标图像 \(\{a, a'\}\) 来直接定义目标变换，并将其类比迁移到新的查询图像 \(b\) 上，从而避免了文本描述的歧义性。然而，现有的训练型示例编辑方法（如 RelationAdapter、LoRWeB、VisualCloze 等）普遍依赖“双样本对（pair-of-pairs）”监督范式：训练时必须同时提供两组共享完全相同编辑语义的图像对 \(\{a, a'\}\) 和 \(\{b, b'\}\)，让模型观察 \(\{a, a'\}\) 并预测 \(b'\)。这种范式对数据对齐要求极为苛刻，任何细微的变换不一致都会引入监督噪声，导致训练数据极难大规模构建（例如常用数据集仅数万对），严重限制了可学习的编辑类型多样性与模型对未知编辑任务的泛化能力；此外，现有方法在训练和推理时往往仍需依赖额外的文本指令辅助，进一步增加了使用门槛。

造成“双样本对”依赖的根本原因在于现有方法的条件注入机制：它们直接将完整的示例图像对 \(\{a, a'\}\) 暴露给生成模型。既然目标外观 \(a'\) 已经作为输入条件对模型完全可见，若再用同一个样本对中的 \(a'\) 作为重建目标，模型就会直接退化为平凡的图像复制（trivial copying），无法学到可迁移的编辑关系，因此不得不引入第二组配对样本 \(\{b, b'\}\) 来提供监督。如果能打破这种直接暴露目标图像的机制，从条件输入中抹去 \(a'\) 的具体像素外观，仅保留从 \(a\) 到 \(a'\) 的抽象变换信息，那么单对图像 \(\{a, a'\}\) 就能实现自我监督。

基于这一洞察，本文放弃将目标图像 \(a'\) 直接输入模型的做法，转而利用预训练视觉编码器提取从 \(a\) 到 \(a'\) 的特征空间位移——即“语义差分（Semantic Delta）” \(\Delta_{a\to a'}\)。由于模型仅接收源图像 \(a\) 和语义差分 \(\Delta_{a\to a'}\) 作为条件，从未直接看到 \(a'\)，因此可以直接以重构 \(a'\) 作为训练目标。核心 idea：利用预训练视觉编码器提取逐 Patch 归一化的语义差分并经由带逐 Token 独立投影的 Perceiver 适配器注入冻结的 DiT 编辑主干，在无需文本引导和双样本对的条件下实现百万级单样本对自监督训练与测试时微调。

方法详解¶

整体框架¶

Delta-Adapter 建立在基于校正流（Rectified Flow）的预训练图像编辑主干 FLUX.2-klein-4B 与视觉编码器 SigLIP-2 之上。在训练阶段，给定单对示例图像 \(\{a, a'\}\)，模型首先利用冻结的 SigLIP-2 提取两张图像的密集 Patch 特征并计算精炼后的语义差分 \(\tilde{\Delta}_{a\to a'}\)；接着通过 Perceiver 重采样器与逐 Token 独立投影将其转化为定长的编辑条件 Token 序列 \(E\)；最后通过解耦交叉注意力将 \(E\) 注入冻结的 DiT 模块中，在源图像 \(a\) 的基础上重建目标图像 \(a'\)，并联合流匹配损失与语义差分一致性损失进行优化。在推理阶段，提取示例对 \(\{a, a'\}\) 的语义差分并注入查询图像 \(b\) 的去噪过程，即可无文本引导地生成编辑结果 \(\hat{b}'\)。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入示例图像对 {a, a'}<br/>与源/查询图像"] --> B["归一化语义差分提取<br/>与门控残差精炼"]
    B --> C["Perceiver 重采样与<br/>逐 Token 独立投影"]
    C --> D["解耦交叉注意力注入与<br/>语义差分一致性监督"]
    D -->|4步去噪 / 可选20步TTA| E["输出编辑后图像"]

关键设计¶

1. 归一化语义差分提取与门控残差精炼：从单对样本中剥离出与具体内容解耦的编辑方向信号

为了在不泄露目标图像具体外观的前提下编码编辑操作，模型提取 SigLIP-2 池化层之前的最后一层隐藏状态，以保留对图像编辑至关重要的逐 Patch 空间结构特征 \(f_a, f_{a'} \in \mathbb{R}^{L \times D_r}\)（\(L\) 为 Patch 数量，\(D_r\) 为特征维度）。如果直接计算原始特征差 \(f_{a'} - f_a\)，得到的差分向量往往会被具体图像实例的幅值波动所主导，淹没真正的编辑语义。为此，本文在作差前先对每个 Patch Token 独立施加层归一化（Layer Normalization），提取纯粹的特征空间方向变化，随后再通过一个零初始化的门控残差线性层滤除与任务无关的噪声：

\[\Delta_{a\to a'} = \mathrm{LN}(f_{a'}) - \mathrm{LN}(f_a), \quad \tilde{\Delta}_{a\to a'} = \Delta_{a\to a'} + \tanh(g)\,\mathrm{Linear}(\Delta_{a\to a'})\]

其中 \(\mathrm{Linear}(\cdot)\) 为所有 Patch 共享的逐 Token 仿射变换，\(g\) 为初始化为 0 的可学习标量门控参数。这种设计一方面通过逐 Token 归一化消除了实例级特征幅值差异，使模型专注于学习方向性的语义偏移；另一方面，零初始化的 \(\tanh(g)\) 门控保证了训练初期直接使用稳定的原始归一化差分，随着训练推进再渐进式地引入残差修正。

2. Perceiver 重采样与逐 Token 独立投影：保留空间局部编辑线索并支持各条件 Token 的功能特化

此前的 IP-Adapter 或 RelationAdapter 通常对视觉特征做全局平均池化（Global Average Pooling）再接 MLP 映射到生成模型条件空间，但将 \(\tilde{\Delta}_{a\to a'}\) 坍缩成单一全局向量会丢失局部区域变化与空间关系线索，导致模型在未知编辑任务上泛化极差。Delta-Adapter 改用包含 \(N=128\) 个可学习查询 Token 的 Perceiver 重采样器，通过交叉注意力从完整的 Patch 差分序列 \(\tilde{\Delta}_{a\to a'}\) 中聚合出定长编辑表征 \(R = \{r_i\}_{i=1}^N \in \mathbb{R}^{N \times D_r}\)，从而充分利用 SigLIP Patch 特征中隐含的空间位置信息。

进一步地，在将重采样表征 \(R\) 映射到 DiT 条件空间 \(\mathbb{R}^{N \times D_c}\) 时，常规做法是让所有 Token 共享同一个线性投影层；但作者发现，不同查询 Token 应当分别编码编辑操作的不同侧面（如颜色偏移、几何形变、局部纹理等），共享映射会抑制这种特化分工。因此，本文为每个 Token \(r_i\) 分配各自独立的仿射变换参数 \((W_i, b_i)\)，即计算 \(e_i = W_i r_i + b_i\) 并堆叠为最终的编辑 Token 矩阵 \(E \in \mathbb{R}^{N \times D_c}\)。这一“Perceiver 重采样 + 逐 Token 独立投影”不仅显著提升了已知和未知任务上的编辑精度，而且参数量仅为 RelationAdapter 中池化-MLP 方案的一半。

3. 解耦交叉注意力注入与语义差分一致性监督：在冻结基底模型的同时对齐生成结果与真实编辑方向

得到编辑 Token 序列 \(E\) 后，模型在每个 DiT 块中引入一条并行的解耦交叉注意力分支：使用可学习的键值投影矩阵计算 \(K_\Delta = E W_k^\Delta\) 与 \(V_\Delta = E W_v^\Delta\)，与原 DiT 分支的查询 \(Q\) 进行交叉注意力计算得到 \(Z_\Delta = \mathrm{Softmax}(Q K_\Delta^\top / \sqrt{d}) V_\Delta\)，再按 \(Z_{\mathrm{new}} = Z + \lambda_{\mathrm{ca}} Z_\Delta\) 残差融合回原分支。由于注入的仅是纯粹的编辑信号 \(E\) 而非完整目标图像，推理时只需调节标量系数 \(\lambda_{\mathrm{ca}}\) 即可实现编辑强度的连续平滑控制。

在监督信号上，仅靠隐空间流匹配损失不足以显式约束编辑前后的语义变化方向。得益于基底模型 FLUX.2-klein 仅需 4 步即可完成去噪，训练时在任意时间步 \(t\) 由预测速度单步恢复出的干净隐变量估计 \(\hat{z}_0 = z_1 - v_\theta(z_t, t, c)\) 经 VAE 解码后已具备足够清晰的图像结构。因此，模型将解码出的重构图像 \(\hat{a}'\) 再次送入 SigLIP-2 提取特征，计算预测语义差分 \(\hat{\Delta}_{a\to\hat{a}'} = \mathrm{LN}(f_{\hat{a}'}) - \mathrm{LN}(f_a)\)，并提出按真实编辑幅度加权的语义差分一致性损失（Semantic Delta Consistency Loss）：

\[\mathcal{L}_{\mathrm{sdc}} = 1 - \frac{1}{L}\sum_{\ell=1}^{L} m^{(\ell)} \cos\Bigl(\Delta_{a\to a'}^{(\ell)},\; \hat{\Delta}_{a\to\hat{a}'}^{(\ell)}\Bigr), \quad m^{(\ell)} = \frac{\|\Delta_{a\to a'}^{(\ell)}\|_2}{\max_j \|\Delta_{a\to a'}^{(j)}\|_2}\]

由于许多编辑仅发生在图像的局部区域，权重 \(m^{(\ell)}\) 赋予发生显著语义变化的 Patch 更高的监督权重，避免未编辑背景区域主导损失，强力驱动生成图像的特征位移方向与真实示例差分保持一致。

损失函数 / 训练策略¶

总训练目标：结合校正流匹配损失与语义差分一致性损失：

\[\mathcal{L} = \mathcal{L}_{\mathrm{flow}} + \lambda_{\mathrm{sdc}}\,\mathcal{L}_{\mathrm{sdc}}\]

其中 \(\mathcal{L}_{\mathrm{flow}} = \mathbb{E}\left[\|v_\theta(z_t, t, c) - (z_1 - z_0)\|_2^2\right]\)，\(\lambda_{\mathrm{sdc}}\) 与交叉注意力注入系数 \(\lambda_{\mathrm{ca}}\) 在训练时均固定为 \(1.0\)。 - 可扩展单对训练与参数冻结：全程冻结 FLUX.2-klein-4B 与 SigLIP-2，仅优化语义差分精炼层、Perceiver 重采样器、逐 Token 投影层及解耦交叉注意力的 \(W_k^\Delta, W_v^\Delta\)。由于只需单样本对监督，训练数据直接整合了 Relation、Pico-Banana 与 NHR-Edit 三个指令编辑数据集的约 100 万对图像（Ours-1M），在 4 张 H200 GPU 上以单卡 batch size 16、学习率 \(1\times 10^{-4}\)（AdamW，bfloat16）训练 100K 步；为与基线公平对比，另在 Relation 的 16K 图像对上单独训练了 10K 步的版本（Ours-16K）。 - 测试时自适应（Test-Time Adaptation, TTA）：面对极具挑战性的未知编辑示例对 \(\{a, a'\}\)，由于单样本对即可构造完整监督，推理时可直接在该示例对上用上述损失微调适配器 20 个梯度步（batch size 1，学习率 \(1\times 10^{-4}\)，仅需 33 GB 显存），使模型快速捕获精细的专属编辑变换。

实验关键数据¶

主实验¶

评测涵盖已知任务（Relation 数据集的 218 个任务，共 1,090 张生成图）和未知任务（新建涵盖风格迁移、属性修改、物体变换的 50 个新任务，共 250 张生成图，以及 RelationAdapter 官方未知验证集）。指标包括感知/语义相似度 LPIPS\(\downarrow\)、CLIP-I\(\uparrow\)，以及基于 GPT-5.4 在 5 分制下评估的非编辑区域内容一致性（GPT-C\(\uparrow\)）和相对示例对的编辑准确率（GPT-A\(\uparrow\)）。需要强调的是，所有基线方法均额外输入了由 GPT-5.4 生成的文本指令，而 Delta-Adapter 全程不使用任何文本提示。

任务集与方法	训练数据规模	文本引导	CLIP-I \(\uparrow\)	LPIPS \(\downarrow\)	GPT-C \(\uparrow\)	GPT-A \(\uparrow\)
Seen: Edit Transfer	16K (Relation)	需要	0.764	0.408	2.839	2.843
Seen: LoRWeB	16K (Relation)	需要	0.898	0.254	4.198	3.033
Seen: RelationAdapter	16K (Relation)	需要	0.858	0.327	3.201	3.417
Seen: Ours-16K	16K (Relation)	无需	0.896	0.249	3.939	4.234
Unseen (50新任务): VisualCloze	官方预训练	需要	0.827	0.297	3.416	2.556
Unseen (50新任务): LoRWeB	官方预训练	需要	0.945	0.166	4.680	2.004
Unseen (50新任务): RelationAdapter	官方预训练	需要	0.862	0.370	3.804	2.884
Unseen (50新任务): Ours-16K	16K (Relation)	无需	0.882	0.248	3.924	3.332
Unseen (50新任务): Ours-1M	1M 混合单对	无需	0.892	0.265	3.964	4.008
Unseen (RelationAdapter验证集): RelationAdapter	官方预训练	需要	0.851	0.423	3.847	3.432
Unseen (RelationAdapter验证集): Ours-16K	16K (Relation)	无需	0.853	0.396	4.060	3.847
Unseen (RelationAdapter验证集): Ours-1M	1M 混合单对	无需	0.867	0.399	3.943	4.077

此外，在 32 名参与者、共 768 次双盲二选一的人类偏好评估中，Delta-Adapter 对比各基线的胜率分别为：对比 Edit Transfer 胜率 93.23%（vs 6.77%），对比 LoRWeB 胜率 89.58%（vs 10.42%），对比 VisualCloze 胜率 86.46%（vs 13.54%），对比最强基线 RelationAdapter 胜率达 80.73%（vs 19.27%）。

消融实验¶

消融实验均在 Relation 数据集（16K）上训练并评测，逐一验证核心设计组件的贡献：

消融配置	任务集	CLIP-I \(\uparrow\)	LPIPS \(\downarrow\)	GPT-C \(\uparrow\)	GPT-A \(\uparrow\)	关键影响说明
Ours (完整模型)	Seen	0.896	0.249	3.939	4.234	完整设计，兼顾高编辑精度与内容保持
w/o semantic delta	Seen	0.866	0.337	3.228	3.839	直接以完整示例对为条件，GPT-C 暴跌 0.711，外观泄露严重
w/o layernorm	Seen	0.875	0.276	3.772	3.865	移除作差前的逐 Token LN，受幅值波动干扰，GPT-A 跌 0.369
w/o gated residual	Seen	0.887	0.273	3.824	4.091	移除门控残差精炼，编辑精度与一致性均下降
w/o perceiver	Seen	0.891	0.260	3.876	4.059	退化为全局池化+MLP，已知任务 GPT-A 下降 0.175
w/o per-token proj.	Seen	0.873	0.323	3.568	3.624	改用所有 Token 共享线性投影，GPT-A 大跌 0.610（掉点最狠）
w/o \(\mathcal{L}_{\mathrm{sdc}}\)	Seen	0.879	0.287	3.743	4.162	移除语义差分一致性损失，LPIPS 与内容一致性明显恶化
Ours (完整模型)	Unseen	0.882	0.248	3.924	3.332	保留局部与空间关系，泛化能力强
w/o perceiver	Unseen	0.881	0.285	3.828	2.964	全局池化丢失空间结构，未知任务 GPT-A 暴跌 0.368

关键发现¶

逐 Token 独立投影与语义差分条件是性能支柱：在已知任务消融中，将逐 Token 独立投影替换为共享线性层（w/o per-token proj.）导致 GPT-A 从 4.234 骤降至 3.624（下降 0.610），证明允许不同查询 Token 编码不同维度的编辑语义至关重要；而移除语义差分改用完整示例图作为条件（w/o semantic delta）则导致内容一致性 GPT-C 从 3.939 暴跌至 3.228，验证了直接暴露目标图像会引发严重的示例外观泄露与过拟合。
单样本对范式解锁了真正的数据规模效应（Scaling Law）：得益于不再需要构造“双样本对”，训练数据从 16K 扩展到 1M 普通单对数据后，模型在 50 个挑战性未知任务上的编辑准确率 GPT-A 从 3.332 大幅跃升至 4.008（超越最强基线 RelationAdapter 的 2.884 达 +1.124 分），在 RelationAdapter 官方未知验证集上也达到了 4.077（相对 RelationAdapter 提升 18.8%）。
一致性指标的“不编辑陷阱”：LoRWeB 在已知和未知任务上取得了最高的 CLIP-I（0.898 / 0.945）和 GPT-C（4.198 / 4.680），但其编辑准确率 GPT-A 极低（未知任务仅 2.004）。定性分析表明，这是因为 LoRWeB 在大量样本上未能捕捉编辑意图，直接输出了与原查询图像几乎一模一样的图像；这也说明评估图像编辑必须同时考察 GPT-C 与 GPT-A。

亮点与洞察¶

从“条件输入改造”破局数据瓶颈的范式转换：以往方法将“双样本对监督”视为防止模型直接复制目标图 \(a'\) 的必然代价，而本文敏锐地指出：只要在条件端用预训练视觉特征的归一化差分 \(\mathrm{LN}(f_{a'}) - \mathrm{LN}(f_a)\) 替代 \(a'\) 本身，就能在抹去具体像素外观的同时保留编辑操作方向，从而让每一对普通编辑图像 \(\{a, a'\}\) 都能自己监督自己。这一思路极其优雅地打通了示例编辑与百万级常规指令编辑数据集之间的壁垒。
利用少步流模型单步解码特性实现像素级语义闭环监督：在扩散训练中施加图像编码器特征损失通常受限于高噪声步下重建图像模糊的问题；本文巧妙利用 FLUX.2-klein 4 步去噪主干在第一步就能由 \(\hat{z}_0 = z_1 - v_\theta\) 恢复出清晰图像的特性，直接解码并提取 SigLIP 特征构造幅度加权的语义差分余弦损失 \(\mathcal{L}_{\mathrm{sdc}}\)，用极小代价实现了特征空间的编辑方向对齐。
可迁移的“单对测试时自适应（TTA）”与连续强度控制机制：由于训练目标仅依赖单对样本，推理时拿到用户的示例对即可零额外数据地微调 20 步完成测试时自适应；同时，仅注入差分信号而非目标图像的设计，使得调节交叉注意力缩放因子 \(\lambda_{\mathrm{ca}}\) 即可天然实现编辑强度的平滑插值。这套“差分表征 + 独立 Token 投影”完全可以迁移到示例驱动的 3D 资产编辑或视频风格/动作转换任务中。

局限与展望¶

受限于高层视觉编码器的细粒度表征瓶颈：由于语义差分完全提取自高语义层级的 SigLIP-2 编码器，模型在处理需要像素级精确字符渲染或极细微局部高频结构的任务（如示例图中包含特定文字内容的添加或修改）时容易失败，生成的字符往往与示例不一致。未来可探索融合多层视觉特征或引入细粒度 OCR/低层视觉特征差分来弥补这一短板。
训练时解码计算开销与多模态协同潜力：训练阶段为了计算 \(\mathcal{L}_{\mathrm{sdc}}\)，每步都需要通过 VAE 解码器将隐变量解码回像素空间再过一遍 SigLIP-2，这在更大分辨率或视频扩散模型上会带来不小的显存与计算开销；若能直接在隐空间训练轻量特征对齐投影，或支持“示例对 + 简短文本微调提示”的混合控制，将进一步拓宽其实用边界。

评分¶

新颖性: ⭐⭐⭐⭐⭐ 切中示例图像编辑长期受困的“双样本对监督”痛点，用归一化特征差分阻断外观复制，实现单样本对自监督与 TTA，立意十分巧妙。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖 16K 与 1M 规模对比、两套未知任务集、与多模态大模型（GPT-Image-2、Nano Banana 2）及优化类方法的对比、详尽的 6 项消融与 768 人次双盲用户研究。
写作质量: ⭐⭐⭐⭐⭐ 逻辑链条极其清晰，问题定义一针见血，每个模块的设计动机（为何加 LN、为何用 Perceiver、为何逐 Token 投影）都有严密的实验与直觉支撑。
价值: ⭐⭐⭐⭐⭐ 彻底解除了示例驱动图像编辑的数据采集枷锁，让现有百万级指令编辑数据集可直接为其所用，具备极高的实用与跟进价值。