FineEdit: Fine-Grained Image Edit with Bounding Box Guidance¶

会议: ECCV 2026
论文: ECCV 原文
代码: https://laulampaul.github.io/FineEdit
领域: 图像编辑 / 扩散模型
关键词: 扩散模型, 图像编辑, 边界框引导, 多级空间注入, 解耦强化学习

一句话总结¶

FineEdit 通过在输入通道与中间 Transformer 层引入早期及深度多级空间注入，并结合前景编辑与背景保真解耦的强化学习后训练，实现了基于边界框引导的精准局部图像编辑与高背景一致性。

研究背景与动机¶

基于扩散模型的图像编辑系统近年来取得了显著进展，但在复杂的多物体真实场景中，传统方法严重依赖纯自然语言指令来指定编辑对象和编辑目标。自然语言表达在面对多目标、复杂遮挡或细粒度局部关系时往往存在语义模糊性，难以提供像素级精确的空间定位。在缺乏显式空间约束的情况下，依赖全局图像重生成范式的扩散模型极易在去噪过程中破坏无关背景区域，引发背景漂移、色彩偏移或无关物体的结构形变。

现有引入空间先验的方法未能完美解决这一困境。ControlNet 等结构控制网通常施加全局几何先验，缺乏对特定目标编辑区域的隔离能力；基于 Inpainting 的方案（如 RePaint 或 BrushNet）则本质上偏向缺失区域的像素级内容修复与边缘填补，在遵循复杂语义变换指令时表现乏力，容易产生边界渗漏或在最终生成结果中残留边界框视觉伪影；而现存支持边界框的编辑模型在强化学习后训练时普遍采用全局视觉语言模型（VLM）打分，无法解耦“目标区域指令遵循度”与“非编辑区域严格保留度”，导致奖励信号相互干扰与对齐漂移。

针对上述矛盾，本文提出了一种融合显式几何约束与语义编辑的新视角：以稀疏便捷的边界框作为强先验，通过网络级空间特征注入与解耦奖励机制，让模型既具备对编辑靶区的强力语义操控力，又对外部背景具备天然的结构冻结保护。核心 idea：通过多级视觉指令注入架构将边界框先验在输入端通道与深层 Transformer 模块中分层解耦融合，并采用前景 ROI 遵循与背景像素/感知保真度相互独立的解耦强化学习后训练策略，实现严密抗渗漏的高保真细粒度图像编辑。

方法详解¶

整体框架¶

FineEdit 以 Qwen-Image 架构为基础，采用 Qwen2.5-VL 提取文本指令与源图像的条件特征，以 MM-DiT 作为扩散去噪骨干网络。模型输入包含经由冻结 VAE 编码的源图像潜变量 \(q_{\text{src}}\) 与带有加噪的目标图像潜变量 \(\hat{q}_{\text{dst}}\)。整体方法分为两个协同阶段：预训练阶段构建多级空间先验注入机制，结合输入端通道拼接（Early Fusion）与侧边适配器深层注入（Deep Fusion）；后训练阶段则基于构建的高质量数据集实施解耦奖励强化学习。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源图 x_src + 边界框 b + 文本指令 c"] --> B["早期通道注入：掩码图潜变量与加噪潜变量通道拼接"]
    B --> C["深度特征注入：6层轻量 Side-Adapter 跨层注入中间块"]
    C --> D["MM-DiT 主干去噪与流匹配速度预测"]
    D --> E["解耦强化学习后训练：ROI 语义得分与背景保真奖励独立评估"]
    E --> F["输出：高保真局部编辑目标图像 x_dst"]

关键设计¶

1. 早期通道注入：显式空间边界与背景上下文的初始几何锚定 针对传统序列拼接缺乏显式边界定位、编辑极易渗漏到背景的缺陷，早期融合机制直接将边界框几何先验融入像素/潜变量空间。给定边界框 \(b = [x_1, y_1, x_2, y_2]\)，生成框内为 0、框外为 1 的二值掩码 \(M \in \{0, 1\}^{H \times W}\)，通过逐元素相乘获得掩码图像 \(x_{\text{msk}} = M \odot x_{\text{src}}\)。经冻结 VAE 编码得到掩码潜变量 \(q_{\text{msk}}\)，在通道维度将其与带噪目标潜变量 \(\hat{q}_{\text{dst}}\) 进行拼接 \([\hat{q}_{\text{dst}} \parallel q_{\text{msk}}]\)。同时，干净的源图潜变量 \(q_{\text{src}}\) 与零张量 \(0\) 拼接以对齐输入通道。该操作在去噪过程初始时刻即为扩散模型锁定了保留背景的像素分布，并明确界定了需要重新生成的感兴趣区域（ROI）。

2. 深度特征注入：多层跨层跳跃连接与深层空间语义感知 仅依靠输入端浅层拼接容易导致空间先验在多层注意力迭代后逐渐衰减或发生特征弥散。FineEdit 引入了一个 6 层轻量 Transformer 侧边适配器（Side-Adapter \(\mathcal{A}\)），其参数量仅为主干网络的 10%。Side-Adapter 专门提取掩码潜变量 \(q_{\text{msk}}\) 的深层多尺度空间表示，并均匀注入到主干 MM-DiT 扩散模型的各个中间层。对于第 \(i\) 个 Transformer 块，其输出特征 \(h_i\) 计算为：

\[h_i = \mathcal{F}_i([ [ q_{\text{src}} \parallel 0 ], [ \hat{q}_{\text{dst}} \parallel q_{\text{msk}} ] ] \mid t, c) + \mathcal{A}(q_{\text{msk}})\]

深层注入相当于为背景上下文与编辑区域边缘建立了高阶跳跃连接，不仅大幅增强了对复杂多物体场景中靶标的定位精度，还显著加快了去噪骨干网络的收敛速度。

3. 解耦强化学习后训练：局部指令依从与背景绝对保留的独立评估 在后训练阶段，现有的全局 VLM 整体打分往往无法兼顾“局部细微改动是否完全遵循指令”与“非编辑区是否分毫不变”，全局相对优势评分容易引起奖励冲突。FineEdit 将奖励信号显式分解为局部前景依从度奖励与背景保真度奖励两部分：

\[R(x_{\text{dst}}) = R_{\text{roi}} \times R_{\text{bg}}\]

其中前景奖励 \(R_{\text{roi}}\) 采用 Qwen3-VL 聚焦于裁剪后的 ROI 区域，评估局部编辑结果与指令的语义对齐度；背景奖励 \(R_{\text{bg}}\) 则结合规则指标与模型感知打分：

\[R_{\text{bg}} = \alpha \cdot \Psi_{\text{PSNR}}(\bar{M} \odot x_{\text{src}}, \bar{M} \odot x_{\text{dst}}) + (1 - \alpha) \cdot \Phi_{\text{VLM}}(x_{\text{dst}}, \bar{M}, c_2)\]

其中 \(\bar{M} = 1 - M\) 为背景掩码补集，\(\Psi_{\text{PSNR}}\) 为经归一化的 PSNR 像素一致性指标，\(\Phi_{\text{VLM}}\) 衡量背景的自然感知一致性。通过解耦评分，模型在强化学习微调（LoRA \(r=32, \alpha=64\)）时能够同时最大化局部改动的精确性与背景的不变性。

4. 统一视觉指令范式与 U-GAF 数据飞轮：多尺度编辑与高质量数据集 除了局部增删改操作，边界框机制还可作为统一接口适应全局或混合编辑。例如将框放大至全图（\(B_{\text{global}} \approx I\)）即可无缝执行全局风格迁移；传入多个框即可单次并行处理多目标混合编辑，并在局部风格迁移（Local Style Transfer）中精确约束风格迁移边界。为支撑高精度训练，作者开发了包含数据收集、Co-DETR 空间标注、多模型合成与四重严格过滤（变化掩码 IoU 过滤、RGB 熵值过滤、Qwen3-VL 全局/局部双重语义审查、EditScore 伪影评分）的 U-GAF 数据管线，构建了包含 120 万对样本的 FineEdit-1.2M 数据集，从根本上解决了训练样本中边缘漂移和虚假对应的问题。

损失函数 / 训练策略¶

预训练阶段在 64 张 NVIDIA H100 GPU 上进行，采用 AdamW 优化器，学习率为 \(5 \times 10^{-5}\)，图像统一调整为 \(1024 \times 1024\)，单卡 batch size 为 1 并通过 8 步梯度累积实现 512 的全局批次大小，总计训练 15,000 步。后训练阶段冻结 Transformer 主干网络，仅微调插入的 LoRA 层（秩 \(r=32\)，缩放系数 \(\alpha=64\)），学习率为 \(3 \times 10^{-4}\)。强化学习优化采用每轮 24 组、每组 16 个采样样本的组别相对优势计算策略进行策略更新。

实验关键数据¶

主实验¶

在评测细粒度局部编辑能力的 FineEdit-1k Benchmark 上，与顶尖开源及商用模型对比的主实验结果如下表所示：

模型	背景 PSNR ↑	背景 SSIM ↑	背景 LPIPS ↓	框外保留 OBR ↑	框内 CLIP ↑	指令遵循 PC ↑	视觉自然 VN ↑	细节完整 PDI ↑
Flux-fill-dev	34.2	0.90	0.08	4.99	0.26	3.56	4.03	3.98
BrushNet	29.6	0.83	0.13	4.99	0.25	3.28	3.38	3.34
BrushEdit	30.9	0.84	0.13	4.95	0.25	3.27	3.45	3.41
PrefPaint	27.1	0.77	0.21	4.83	0.23	2.74	3.01	2.96
Asuka-flux	34.4	0.88	0.16	5.00	0.22	2.20	2.92	2.85
FluPA	32.7	0.89	0.09	4.96	0.26	3.68	4.05	4.01
GLM-Image	27.4	0.85	0.14	4.48	0.25	3.66	3.98	3.95
Z-Image-turbo-Control	28.7	0.86	0.10	4.99	0.24	3.18	3.51	3.48
LongCat-Image-Edit	27.3	0.83	0.12	4.38	0.26	4.59	4.52	4.56
Qwen-Image-Edit	31.4	0.88	0.11	4.23	0.25	3.94	4.21	4.19
Qwen-Image-Edit-2509	27.1	0.80	0.13	4.15	0.26	4.56	4.66	4.65
FineEdit (预训练)	34.4	0.91	0.08	4.80	0.27	4.67	4.71	4.69
FineEdit-r1 (RL后训练)	34.7	0.91	0.09	4.89	0.27	4.80	4.83	4.81

在通用编辑基准 GEdit-Bench-EN 上，FineEdit 同样取得了顶尖表现（G_SC 为 8.71，G_PQ 为 7.47，整体得分 G_O 达到 7.97，显著超越 Qwen-Image-Edit-2509 的 7.54 与 GPT-Image-1 [High] 的 7.53）。在 ImgEdit-Bench 上，FineEdit 整体评分达到 4.50，优于 Qwen-Image-Edit-2509 的 4.35 和 GPT-4o-Image 的 4.20。

消融实验¶

为验证多级融合机制及解耦强化学习奖励函数的有效性，作者在 FineEdit-1k 上展开了消融实验：

消融配置	背景 PSNR ↑	背景 SSIM ↑	框外保留 OBR ↑	框内 CLIP ↑	指令遵循 PC ↑	视觉自然 VN ↑	细节完整 PDI ↑	说明
基线 Baseline (Qwen-Image-Edit-2509)	27.1	0.80	4.15	0.26	4.56	4.66	4.65	无多级空间先验注入的原始基线
仅早期融合 (Early Fusion)	15.9	0.48	2.43	0.21	2.45	1.85	1.85	仅通道拼接导致收敛严重困难
仅深度融合 (Deep Fusion)	33.1	0.88	4.61	0.26	4.52	4.51	4.61	维持了流形稳定但定位精度受限
早期 + 深度融合 (Early + Deep)	34.4	0.91	4.80	0.27	4.67	4.71	4.69	完整预训练模型，兼顾收敛与精确定位
强化学习前 (Pre-RL)	34.4	0.91	4.80	0.27	4.67	4.71	4.69	预训练阶段基础检查点
全局奖励 RL (Global Reward)	32.7	0.90	4.76	0.27	4.74	4.76	4.73	全局打分牺牲了背景 PSNR (降至 32.7)
解耦奖励 RL (Decoupled Reward)	34.7	0.91	4.89	0.27	4.80	4.83	4.81	解耦奖励同时拔高背景保真与局部质量

关键发现¶

单独使用早期融合（Early Fusion）直接导致模型无法正常收敛（背景 PSNR 骤降至 15.9，PC 仅为 2.45），因为初始通道的强扰动打破了预训练权重输入流形的稳定性；而引入轻量 Side-Adapter 的深层注入提供了关键的表征平滑与特征对齐能力。
全局 VLM 奖励在后训练时会带来负面权衡：虽然指令遵循（PC 4.74 vs 4.67）略有提升，但背景像素一致性严重恶化（PSNR 从 34.4 跌落至 32.7）；而解耦奖励机制通过独立约束 ROI 语义和背景像素/感知自然度，实现了二者的协同增益（PSNR 升至 34.7，PC 达到 4.80）。
在不同边界框比例（Box Ratio 从 3% 的微小部件到 100% 的全图背景）测试中，FineEdit 展现了极强的尺度鲁棒性，成功克服了传统模型小物体编辑易被忽视、大物体编辑易失真的常见顽疾。

亮点与洞察¶

通道拼接与轻量 Side-Adapter 的分层协同设计：巧妙解决了空间先验引入时早期流形破坏与深层表征衰减之间的内在矛盾，仅增加 10% 参数即换取了稳定的收敛性与严密的编辑边界。
强化学习后训练中“前景-背景解耦奖励”机制：克服了单一全图 VLM 打分容易出现的奖励混淆问题，将客观像素损失（PSNR）与主观感知自然度（VLM）在非编辑区加权融合，为精细化控制生成提供了通用的后训练评估范式。
高标准 U-GAF 合成与多级过滤数据管线：通过变化掩码 IoU 过滤和局部/全局双级 VLM 验证，从源头清除了大量伪配对和渗漏样本，沉淀出的 FineEdit-1.2M 成为支撑细粒度空间编辑的关键基础设施。

局限与展望¶

依赖规则矩形边界框作为唯一步骤输入：在面对弯曲细长物体、多孔结构或不规则非凸区域时，边界框仍会不可避免地包含部分局部背景，给极度紧凑的边缘编辑带来约束挑战。
后续可拓展至更多元、更灵活的交互引导方式，如集成点击点（points）、涂鸦笔画（scribbles）以及任意多边形（polygons），构建统一的多模态几何交互编辑体系。

评分¶

新颖性: ⭐⭐⭐⭐☆ 提出通道加中间层多级空间注入结合解耦强化学习奖励，并构建了首个百万级精细边界框编辑数据集。
实验充分度: ⭐⭐⭐⭐⭐ 涵盖内部专用评测集 FineEdit-1k 及公开通用基准 GEdit/ImgEdit，主客观指标详尽，消融实验论证严谨扎实。
写作质量: ⭐⭐⭐⭐⭐ 结构清晰流畅，问题动机明确，系统设计和方法叙述层次分明。
价值: ⭐⭐⭐⭐⭐ 解决了真实应用中局部图像编辑易损坏背景的长期痛点，开源的数据集与模型对精准图像操控研究具有重要参考价值。