ProEdit: Inversion-based Editing From Prompts Done Right¶

会议: NeurIPS 2026
arXiv: 2512.22118
代码: https://isee-laboratory.github.io/ProEdit/
领域: 图像生成
关键词: 图像编辑, 视频编辑, 扩散反演, 流匹配, 注意力控制

一句话总结¶

针对基于反演的免训练视觉编辑中源图像先验过度注入导致属性修改失效的顽疾，ProEdit 在隐空间通过 Latents-Shift 消除反演噪声偏差，在注意力空间通过区域自适应 KV-mix 解耦编辑区与背景，在完全无需挑选层或注意力头的前提下实现了高保真且提示词对齐的图像与视频编辑。

研究背景与动机¶

基于扩散模型与流匹配（Flow Matching）的反演编辑技术，因其无需微调模型权重、仅需反演初始噪声并由目标文本引导采样，已成为图像与视频可控编辑的重要范式。在以 FLUX、HunyuanVideo 为代表的 Rectified Flow 与多模态扩散 Transformer（MM-DiT）框架下，RF-Solver、FireFlow 和 UniEdit 等算法通过更直观的直线轨迹大幅压缩了采样步数。为了使编辑后的图像维持未修改区域与源图像的高度一致性，现有方法普遍采用源信息注入策略，在反演初始隐空间直接复用源图像反演得到的噪声，并在去噪采样的注意力计算过程中全局注入源图像的注意力键值特征。

然而，这种全局注入范式存在严重的过拟合隐患与信息冗余。深入分析表明，采样过程对源信息的过度依赖在注意力特征和隐空间分布两个维度同时带来了负面影响。在注意力维度，现有的全局特征注入（如直接将源图像的 Value 特征代入目标步）将源图像中特定于属性的强特征硬编码到了全部生成区域，导致注意力权重依然死锁在源文本词元上（例如对于“将橙色猫改为黑色猫”，模型在编辑区对“orange”的注意力显著高于对“black”的注意力），文本提示词的指导信号被彻底淹没；在隐空间维度，源图像经反演求解得到的噪声潜变量并不是纯粹的高斯白噪声，其低阶统计量（均值与方差）和频域结构中潜藏着极其强烈的源图像视觉先验，使去噪轨迹始终被拉向重建源图像的吸引子流形，导致姿态、颜色、数量等主体属性编辑频频失败。若暴力移除这些注入机制，编辑区属性虽能改变，背景结构与主体未编辑细节却会发生剧烈畸变与漂移。

这一困境的核心矛盾在于：如何在消除编辑区域过量源属性信息注入的同时，严格冻结非编辑区域的背景内容与空间结构？以往的工作试图通过人工启发式规则精挑细选特定的网络层、注意力头或 Block 组合来折中这一矛盾，不仅泛化能力脆弱且无法彻底根除先验泄露。本文的切入角度是分别在隐空间分布与注意力交互中实施解耦与自适应重构：利用跨模态交互定位编辑掩码，在隐空间借鉴风格迁移的分布对齐机制注入高斯扰动以打散源属性先验，在注意力空间实行分区混合。核心 idea：提出一种即插即用的免训练编辑框架 ProEdit，在隐空间利用 Latents-Shift 对编辑区反演噪声进行高斯白噪声重整，在注意力机制中利用 KV-mix 实行区域差异化的键值特征混合，彻底阻断源属性向编辑区的强制渗透并完好保持背景结构。

方法详解¶

整体框架¶

ProEdit 的整体流程覆盖了反演阶段的特征与掩码准备，以及采样阶段的隐空间矫正与特征混合。在反演阶段，模型接收源图像与源提示词，沿着反向 ODE 轨迹求解获得反演噪声潜变量 $z_T$，同时在反演首步的注意力计算中提取出定位编辑区域的二值掩码 $\bm{M}$，并在线缓存各层的源键值特征 $\bm{K}_s^l$ 和 $\bm{V}_s^l$。在采样阶段，反演噪声首先通过 Latents-Shift 模块，在掩码 $\bm{M}$ 指示的编辑区域内引入纯高斯随机噪声的分布偏移，消除源图像属性的统计先验；随后，携带目标提示词的模型在去噪采样时，通过 KV-mix 模块在编辑区线性混合目标与源的键值特征，而在背景区域保留完全的源特征注入，最终以极简的即插即用方式输出高质量的目标编辑图像或视频。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入：源图像/视频 + 源提示词与目标提示词"] --> B["阶段 1：注意力掩码提取<br/>首步反演 Double Block 提取编辑区掩码 M 并膨胀平滑"]
    B --> C["阶段 2：Latents-Shift 隐空间偏移<br/>编辑区按 AdaIN 注入随机白噪声以消除源属性先验"]
    C --> D["阶段 3：KV-mix 特征混合<br/>去噪采样中编辑区混合 KV、背景区完全注入源 KV"]
    D --> E["输出：属性准确修改且背景严格保真的目标图像/视频"]

关键设计¶

1. 注意力掩码提取：在特征空间捕获编辑区域与边界平滑

为了在不引入外部沉重分割网络的前提下精准定位编辑区域，本文挖掘了 MM-DiT 内部 cross/joint attention 权重的空间对齐特性。传统方法（如 DiTCtrl）需要平均所有层或多帧注意力图，计算开销巨大。研究团队发现，最后一个 Double Block 的注意力图在文本语义与视觉特征之间展现出最清晰的语义相关性。因此，ProEdit 选择在反演过程的第一步提取该注意力图（此时潜变量最接近清晰图像，噪声污染最低，图文相关性最强），通过阈值化切分出编辑目标区域的掩码 $\bm{M}$。为了克服潜在特征空间经过多次下采样后相较于像素空间分辨率偏低、难以覆盖编辑目标边界毛刺的问题，方法对特征掩码执行一步膨胀扩散（Dilation），适当向外拓宽编辑边界。这种适度宽松的掩码设计不仅不会破坏全局结构，反而能够为扩散模型的语义渐变提供缓冲过渡带，有效规避了在硬边界处出现拼贴接缝或伪影。

2. Latents-Shift 隐空间偏移：基于风格迁移统计重整消除反演噪声先验

针对反演噪声 $z_T$ 固有着强烈的源图像均值、方差及结构偏差这一痛点，本文提出 Latents-Shift 模块。受自适应实例归一化（AdaIN）在风格迁移中保持内容结构同时转换统计分布的启发，该设计将完全各向同性的随机高斯白噪声 $z_T^r \sim \mathcal{N}(0, \bm{I})$ 视为“目标风格”，对反演得到的噪声 $z_T$ 执行均值与标准差重对齐： $$\tilde{z}_T = \sigma(z_T^r) \left(\frac{z_T - \mu(z_T)}{\sigma(z_T)}\right) + \mu(z_T^r)$$ 随后，利用提取出的编辑掩码 $\bm{M}$ 将该扰动严格局限在修改区域内： $$\hat{z}_T = \bm{M} \odot \left(\beta \tilde{z}_T + (1 - \beta) z_T\right) + (1 - \bm{M}) \odot z_T$$ 其中 $\beta \in [0, 1]$（实验中取最佳值 0.25）为噪声融合系数。这一变换使得编辑区域内的反演潜变量摆脱了原有属性（如原有色彩、材质）的严密束缚，大幅度降低了重建源流形的吸引力，同时由于空间结构的高频相位信息依然保留在标准化后的残差项中，使得物体的大体轮廓不致崩塌；而在未修改的背景区域（$1 - \bm{M}$），原始反演噪声 $z_T$ 被完整保留，从噪声起点处便锁定了背景几何的一致性。

3. KV-mix 特征混合：区域自适应键值融合兼顾属性重塑与背景一致性

以往的注意力控制方法在去噪采样时通常面临两难：全局注入源 Value/Key 特征会压制目标提示词指导，而完全不注入源特征则会导致姿态扭曲和背景剧烈漂移；更普遍的做法需要繁琐的人工调参去挑选特定的特定注意力头（Attention Heads）或层（Layers）。KV-mix 提出了一种适用于所有 Single Block 与 Double Block 的统一空间自适应注入方案。在采样的特定去噪步数中，针对视觉 Token 序列，首先计算目标生成步的键特征 $\bm{K}_{tg}^l$、值特征 $\bm{V}_{tg}^l$ 与对应源步缓存的 $\bm{K}_s^l$、$\bm{V}_s^l$ 的凸组合： $$\hat{\bm{K}}_{tg}^l = \delta \bm{K}_{tg}^l + (1 - \delta) \bm{K}_s^l, \quad \hat{\bm{V}}_{tg}^l = \delta \bm{V}_{tg}^l + (1 - \delta) \bm{V}_s^l$$ 随后借助掩码 $\bm{M}$ 进行空间门控路由： $$\tilde{\bm{K}}_{tg}^l = \bm{M} \odot \hat{\bm{K}}_{tg}^l + (1 - \bm{M}) \odot \bm{K}_s^l, \quad \tilde{\bm{V}}_{tg}^l = \bm{M} \odot \hat{\bm{V}}_{tg}^l + (1 - \bm{M}) \odot \bm{V}_s^l$$ 最终注意力输出由目标 Query 和混合后的特征共同生成： $$z^t(l+1) = \text{Attn}\left(\bm{Q}_{tg}^l, \tilde{\bm{K}}_{tg}^l, \tilde{\bm{V}}_{tg}^l\right)$$ 其中 $\delta$（实验中设为 0.9）控制目标提示词在编辑区的生成主导权。该设计使背景区域享受 $100\%$ 的源图像键值约束，纹理细节被严格锚定；而在编辑区，以目标提示词特征为主导（$90\%$）的同时融合适量源特征（$10\%$），既打破了源属性锁死，又保留了必要的主体连续性。由于该运算纯粹建立在视觉空间 Token 的矩阵级混合上，无需针对模型结构硬编码特定的层数或注意力头索引，具备极强的通用性。

损失函数 / 训练策略¶

ProEdit 为纯免训练（Training-free）即插即用算法，无需任何额外的参数微调与损失反向传播。在推理配置上，基础图像生成模型采用 FLUX.1-[dev]，文本驱动视频编辑采用 HunyuanVideo-720p。图像编辑采样步数设为 15 步，视频编辑采样步数设为 25 步。关键超参数设置中，注意力混合强度 $\delta = 0.9$，隐空间融合比例 $\beta = 0.25$。在视频扩展上，KV-mix 与 Latents-Shift 沿时序维度逐帧作用，完全继承了 2D 上的结构保持优势，同时通过流匹配轨迹的时间连续性自然保证了帧间动作平滑。此外，作者还引入了 Qwen3-8B 作为前端语言模型，可将自然对话编辑指令（如“把背景里的汽车换成红色跑车”）自动解析为源与目标提示词对，极大降低了用户交互门槛。

实验关键数据¶

主实验¶

在涵盖 10 类编辑任务、700 张基准图像的权威评测集 PIE-Bench 上，ProEdit 分别与扩散模型代表算法（P2P、PnP、InfEdit 等）以及前沿流匹配反演方法（RF-Inversion、RF-Solver、FireFlow、UniEdit）进行了系统对比。评估指标包括背景未编辑区域的结构距离（Structure Distance）、PSNR、SSIM，以及整图与编辑区的 CLIP 文本-图像相似度。

方法	模型基础	结构距离 ($\times 10^3$) $\downarrow$	背景 PSNR $\uparrow$	背景 SSIM ($\times 10^2$) $\uparrow$	整图 CLIP $\uparrow$	编辑区 CLIP $\uparrow$	NFE $\downarrow$
P2P (Hertz et al.)	Diffusion	69.43	17.87	71.14	25.01	22.44	100
PnP (Tumanyan et al.)	Diffusion	28.22	22.28	79.05	25.41	22.55	100
PnP-Inversion (Ju et al.)	Diffusion	24.29	22.46	79.68	25.41	22.62	100
EditFriendly	Diffusion	--	24.55	81.57	23.97	21.03	90
MasaCtrl (Cao et al.)	Diffusion	28.38	22.17	79.67	23.96	21.16	100
InfEdit (Xu et al.)	Diffusion	13.78	28.51	85.66	25.03	22.22	72
RF-Inversion	Flow	40.60	20.82	71.92	25.20	22.11	56
RF-Solver	Flow	31.10	22.90	81.90	26.00	22.88	60
RF-Solver + Ours	Flow	27.82	24.77	84.78	26.28	23.25	60
FireFlow	Flow	28.30	23.28	82.82	25.98	22.94	32
FireFlow + Ours	Flow	27.51	24.78	85.19	26.28	23.24	32
UniEdit ($\alpha=0.6$)	Flow	10.14	29.54	90.42	25.80	22.33	28
UniEdit ($\alpha=0.6$) + Ours	Flow	9.22	30.08	90.87	25.78	22.30	28
UniEdit ($\alpha=0.8$)	Flow	26.85	24.10	84.86	26.97	23.51	37
UniEdit ($\alpha=0.8$) + Ours	Flow	24.27	24.82	85.87	27.08	23.64	37

在极度依赖潜变量属性剥离的“颜色编辑（Color Editing）”专项测试中，RF-Solver 引入 ProEdit 后，背景 SSIM 从 80.21 大幅提升至 86.63，整图与局部 CLIP 分别从 25.61/20.86 提升至 27.30/22.88；FireFlow+Ours 的局部 CLIP 亦从 21.02 飙升至 22.55，充分证明了消除隐空间先验注入的威力。

在基于 VBench 评测协议的视频编辑测试中，ProEdit 赋能 RF-Solver 并在全部维度胜出：主体一致性（SC 0.9712 vs 0.9708）、动作平滑度（MS 0.9920 vs 0.9906）、美学质量（AQ 0.6518 vs 0.6497）以及成像质量（IQ 0.6936 vs 0.6866），全面超越 FateZero、Flatten 与 TokenFlow 等经典基线。

消融实验¶

为明确 KV-mix（KV-m）与 Latents-Shift（LS）两个模块各自的独立增益与协同效应，在 PIE-Bench 上基于三大主流反演器开展消融评估（如表所示）：

基准方法	KV-mix	Latents-Shift	整图 CLIP $\uparrow$	编辑区 CLIP $\uparrow$	说明
RF-Solver			26.00	22.88	原始基线，受源图像先验束缚严重
RF-Solver	✓		26.21	23.21	仅注意力混合，文本对齐显著改善
RF-Solver	✓	✓	26.28	23.25	完整模型，隐空间与注意力双重净化
FireFlow			25.98	22.94	快速反演原始基线
FireFlow	✓		26.22	23.18	注意力解耦使局部文本相似度增益明显
FireFlow	✓	✓	26.28	23.24	双模块协同达到最高提示词吻合度
UniEdit ($\alpha=0.8$)			26.97	23.51	具备延迟注入的强基线
UniEdit ($\alpha=0.8$)	✓		27.02	23.54	进一步降低源属性对编辑区的干扰
UniEdit ($\alpha=0.8$)	✓	✓	27.08	23.64	编辑区指标达到全榜最高水平

此外，在探索注意力特征融合组合形式的实验中（评估 Q&V, Q&K&V, V, K&V 四种配置），K&V 混合方案在背景保持（PSNR 24.77, SSIM 84.78）与文本匹配度（整图 CLIP 26.28, 编辑区 CLIP 23.25）上全面压制单独混合 V 或注入 Q 的方案，确认了键值对协同自适应传递内容与语义索引的优越性。

关键发现¶

两模块形成关键互补闭环：单独使用 KV-mix 能大幅修复注意力权重失衡，编辑区 CLIP 指标提升约 0.2-0.3 点；在此基础上叠加 Latents-Shift，通过重置隐空间均值方差切断底层残余先验，使编辑区 CLIP 进一步刷新 SOTA，消除了单一层级控制无法彻底去伪存真的短板。
无需繁琐的层与头筛选：相较于此前工作必须精细人工挑选特定注意层与注意头，ProEdit 在所有层与注意力模块统一应用，表现出了惊人的结构鲁棒性与即插即用泛化能力。
复杂属性修改实现质的突破：对于姿态变动、主体数量增减和颜色翻转等强语义编辑场景，ProEdit 成功解决了以往方法中“修改不动”或“整图塌陷”的极端病态，在保留非编辑人像/背景面容与光影的同时完成了精准编辑。

亮点与洞察¶

从隐空间和特征空间双重视角归因编辑失效：不仅在注意力机制上发现了源提示词注意力的强行残留，更敏锐洞察到反演初始噪声固有的非各向同性属性先验，抓住了现有免训练反演编辑的核心痛点。
巧妙借用 AdaIN 原理重塑初始反演噪声：将风格迁移的均值/方差重整思路创新性地引入扩散噪声空间，以白噪声为参考目标，在不破坏空间相位轮廓的前提下成功去除了语义强先验。
全局统一适用的即插即用架构：抛弃了针对具体模型硬编码注意力层号或特定注意力头的脆弱做法，以区域掩码空间门控实现了在各类先进流匹配反演方法（RF-Solver、FireFlow、UniEdit）上的无缝即插即用。

局限与展望¶

依赖首步注意力掩码的准确性：编辑掩码提取基于反演首步的文本-图像交叉注意力，当目标提示词包含多个复杂长实体或构图极度杂乱时，掩码可能存在微小的欠分割或过分割风险。
大幅度几何重构依然存在上限：尽管姿态和属性变换能力显著优于现有基线，但面对完全推倒重构的极端拓扑变更（如小猫直接转变为大跨度奔跑的骏马），受限于反演潜变量固有的空间连续性约束，生成质量仍有提升空间。
未来方向：探索结合多步动态掩码优化机制，以及将该隐空间分布重对齐思路延伸至 3D 场景与多视角一致性生成编辑任务中。

评分¶

新颖性: ⭐⭐⭐⭐ [从隐空间分布与注意力两个维度同时解耦源先验，引入 AdaIN 式噪声重整思路颇具启发性]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖图像与视频两大领域、PIE-Bench 等标准基准、多种主流反演器基线与详尽消融]
写作质量: ⭐⭐⭐⭐⭐ [逻辑严密，问题归因精准，数学推导清晰且图文对照高度自洽]
价值: ⭐⭐⭐⭐⭐ [极具实用价值的免训练即插即用方法，对现代流匹配生成模型的图像与视频编辑实践具有重要推动作用]