Target-aware Image Editing via Cycle-consistent Constraints¶

会议: ECCV2026
论文: ECCV 原文
代码: https://github.com/HKUST-LongGroup/FlowCycle
领域: 图像生成
关键词: 目标感知编辑、循环一致性、流匹配、可学习噪声、渐进采样

一句话总结¶

FlowCycle 将编辑起点的噪声变成逐图优化变量，通过源图到目标图再回到源图的双重一致性约束保留无关内容，在 PIE-Bench 上以更长的编辑时间换得比 FlowAlign 更低的结构距离和更高的 CLIP 分数。

研究背景与动机¶

文本引导图像编辑通常先把原图破坏到某个带噪中间状态，再让生成模型按目标提示词恢复图像。ODE 反演希望找到能够重建原图的起点，SDEdit 一类方法则直接加随机噪声；它们的共同难题是，同一幅原图在不同编辑要求下往往仍使用不考虑目标的破坏方式。把猫变成老虎与把气泡变成心形，需要放开的内容不同，却可能从同一个中间状态开始恢复。

这种起点选择把困难留给了去噪阶段：保留过多原图细节，新的形状难以出现；破坏过多，则背景和其他物体一起改变。在恢复过程中注入原图注意力、特征或速度信息能够补救，但并未直接解决起点与目标不匹配的问题。论文因此把问题前移：不是只追求整个原图能否被重建，而是让中间状态对当前修改需求具有选择性。

源图和理想编辑图提供了一个对称关系：需要编辑的内容应当可以互换，不需要编辑的内容应当共享。即使没有真实目标图，也可以先生成候选目标，再按原提示词编辑回来，用是否回到原图检查信息是否保留。核心 idea：同时约束往返后的源图重建和两端带噪状态的对齐，只优化两份噪声，使当前编辑目标参与决定哪些源图信息应被破坏、哪些应被保留。

方法详解¶

整体框架¶

输入是源图、源提示词和目标提示词，输出是一幅符合目标描述的编辑图。PDF 中的方法名为 FlowCycle，完整标题带有这一前缀；这里保留会议列表给出的论文标题。方法使用预训练文本到图像流模型，不重新训练它的权重，而是针对当前图像与提示词对优化源侧和目标侧两份噪声。

一次优化先走源到目标，再走目标到源：源图加源侧噪声后按目标提示词恢复，得到候选目标图；候选目标加目标侧噪声后按源提示词恢复，得到回环图。随后比较两个中间状态和两幅源侧图像，反向更新噪声。完成优化后只需保留源侧噪声，执行一次源到目标的恢复，不再需要目标到源的回环分支。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["源图 + 源提示词<br/>+ 目标提示词"] --> B["双向可学习噪声<br/>构造编辑循环"]
    B --> C["双重循环一致性<br/>更新噪声"]
    C --> D["渐进采样调度<br/>控制优化成本"]
    D -->|下一轮优化| B
    C -->|优化完成| E["源图 + 优化后源噪声"]
    E --> F["目标提示词去噪<br/>输出编辑图"]

图中的回路是逐图优化时的监督过程，不是最终输出阶段必须重复运行的结构。渐进采样调度决定优化轮内两次生成各用多少采样步，并不增加一个新网络；源提示词只在回环恢复中起条件作用，最终前向编辑仍由目标提示词控制。

关键设计¶

1. 双向可学习噪声：让破坏过程随当前目标调整

源侧噪声从标准高斯分布初始化，随后与源图按流匹配前向路径做线性插值，混合比例由所选噪声时刻决定。预训练模型从这个中间状态出发，根据目标提示词预测速度并逐步生成候选编辑图。这一步初始时很像直接加噪再恢复：目标物体可能已经出现，但原图中与编辑无关的内容也会受到扰动。关键区别在于，噪声不再是一次采样后固定的随机量，而是可以由后续循环误差调整的变量。

随后对候选目标图使用另一份可学习噪声，以相同的破坏层级形成反向中间状态，再按源提示词恢复回环图。两份噪声分别服务于两个方向，不要求数值相同，也没有用外部目标图替代候选结果。目标感知性来自完整的条件生成路径：改变目标提示词，就会改变候选目标、循环误差及最终学到的源侧噪声。因此，它不是学习一份对所有编辑请求通用的原图编码，也不是先预测显式编辑掩码再只给掩码内加噪。

2. 双重循环一致性：同时约束共享起点与返回结果

只检查最终能否回到原图，并不能直接要求前后两段使用相容的中间表示。FlowCycle 因而增加潜空间对齐：源图破坏后的状态与候选目标破坏后的状态应当接近。直观上，猫和老虎这样的差别应该在带噪层被弱化，而鱼缸等共享内容应该留在两端。与之互补的恢复约束比较回环图与原始源图，要求被保留的信息确实足够支持返回，而不只是让两个带噪张量相似。

这两个约束都是均方误差。其监督来源完全在当前循环内部：中间状态彼此对齐，回环输出对齐输入源图；没有真实编辑目标、分割标注或额外语义判别器。目标语义主要由冻结生成模型的文本条件提供，一致性目标则约束如何利用源图信息。正文还说明最终恢复不需要额外注入原图条件。需要注意，这是作者用实验支持的机制解释，并不是证明循环一致性必然识别真实编辑区域，也不保证不会出现保守的欠编辑。

3. 渐进采样调度：把更多生成精度留到优化后期

每一轮优化都要生成目标图和回环图，计算瓶颈不是噪声变量数量，而是两条完整去噪轨迹的函数评估次数。噪声还很粗糙时，为每轮都使用细致采样会浪费计算；后期接近稳定解时，再提高轨迹分辨率，能够使更新更精细。论文据此让采样步数随优化轮数单调增加，而不是减少总优化轮数或换一个较小的生成模型。

论文比较弱、中、强三档调度，其中中档为线性增长，弱档和强档采用不同曲线。其含义是前期节省的采样量不同，所以时间和最终质量也不同。缓存中的调度公式存在字符损坏，这里只保留可靠的单调增长机制与实测结果，不将损坏表达式补写成作者的精确公式。调度作用于优化阶段；噪声学好后，最终生成仍从优化后的源侧中间状态出发。

一个完整示例¶

以论文图 7 的白狗编辑为例，源提示词描述白狗，目标提示词改为哈士奇。第一次源到目标的生成可能换出了狗的品种，却改动了背景；再把候选图按白狗提示词恢复，若背景不能回到源图，恢复误差就会暴露这种信息损失。中间对齐同时要求两次破坏后的状态能够作为共享起点，而不是各自保留一套冲突的动物细节。

优化完成后，用学到的源侧噪声重新破坏白狗原图，并按哈士奇提示词恢复即可输出结果。作者还把这份中间状态用于金毛犬、狮子和戴皇冠的狮子：相近动物替换可以受益，但针对各目标重新优化通常更好。这个实验说明状态存在一定复用价值，却不意味着任意新目标都可以跳过优化；尤其新增皇冠这样的内容改变了需要开放的编辑空间。

损失函数 / 训练策略¶

这里的“训练”实际是测试时的噪声优化，预训练生成模型保持冻结。为避免复制缓存中缺少运算符的公式，下式仅用笔记自定义名称归纳正文明确说明的 MSE 目标，不作为原式排版复原：

\[ \mathcal{L}=\operatorname{MSE}(\mathrm{recovery},\mathrm{source})+\lambda\operatorname{MSE}(\mathrm{source\_state},\mathrm{target\_state}). \]

其中两个 state 都是带噪潜状态，recovery 是经目标到源分支得到的恢复结果；反向传播只更新两份噪声。这样的写法突出两种误差各自比较什么，不能据此推断源码具体采用求和还是平均归一化，或存在正文未说明的梯度截断。

主实验采用 SD-3-medium，整体时间步数设为 50，破坏位置记为第 33 步；这里的 33 是离散采样设置，不是流匹配连续时间区间中的数值。Adam 学习率为 0.1，优化 100 轮，对齐权重为 0.2。每个新输入与编辑目标都要承担这段优化，因此“无需模型微调”和“无需逐样本优化”不能混为一谈。

实验关键数据¶

主实验¶

PIE-Bench 包含 700 组源图、源提示词、目标提示词，覆盖九类编辑，图像为 512 × 512。另一评测使用 DIV2K 子集，包含 70 多幅真实图像、约 280 组编辑，分辨率为 1024 × 1024，提示词更长且可含多个目标；这里不是把 DIV2K 当作超分辨率训练集。

CLIP Score 衡量结果与目标文本的语义相符程度，越高越好；Structure Distance 衡量源图结构的一致性，越低越好，不能直接解释为像素错误率。下表摘自原文表 1 的 PIE-Bench 评测，耗时为单幅图像编辑时间，硬件为单张 A800-80GB。FlowAlign、iRFDS 和 FlowCycle 使用 SD3 路线；Qwen-Image-Edit 是独立编辑模型，正文指明版本为 Qwen-Image-Edit-2509，不是共享 SD3 主干的消融。

方法	Structure Distance ↓	CLIP Score ↑	时间（秒）↓	显存（GB）↓
FlowAlign	0.028	25.28	4	16
Qwen-Image-Edit	0.054	25.20	92	60
iRFDS	0.069	25.12	132	34
FlowCycle	0.013	25.48	247	16

完整 FlowCycle 相比 FlowAlign 将结构距离从 0.028 降至 0.013，CLIP 从 25.28 升至 25.48，但时间从 4 秒增至 247 秒。其优势是这个评测设置下更好的编辑与保留折中，不是实时性，也不是在等时计算预算下获胜。

消融实验¶

下面是原文表 1 和第 4.3 节的采样调度分析；它是加速策略消融，不是删除两项循环损失的消融。数据集、硬件和 FlowCycle 主干与上表一致。

配置	Structure Distance ↓	CLIP Score ↑	时间（秒）↓	显存（GB）↓
无加速	0.013	25.48	247	16
弱加速	0.014	25.41	160	16
中加速	0.014	25.34	126	16
强加速	0.017	25.31	90	16

强加速从 247 秒缩短至 90 秒，按表中耗时计算约为 2.74 倍加速；代价是结构距离增加 0.004、CLIP 降低 0.17。它仍比 FlowAlign 慢，因此作者关于成本优势的比较对象主要是 iRFDS 和 Qwen-Image-Edit，而不能扩大到全部基线。

关键发现¶

图 6 展示 0、20、60、100 轮的变化：目标语义常在初始结果就出现，后续改善主要体现为无关内容逐渐恢复。缓存未包含其附录量化结果，不能为这些轮次补造分数。
图 7 的迁移实验表明，相似编辑可以复用中间状态，但逐目标优化更有效。这与“状态依赖具体目标”相符，而不是证明学到了通用反演编码。
图 4 还比较 SD-1.5 路线和 DIV2K；缓存保留了图注及文字结论，却没有可可靠读出的完整坐标，因此不报告额外精确数值。

亮点与洞察¶

将优化对象从模型或提示词移到破坏噪声，使目标要求能通过循环误差影响编辑起点。这改变的是源信息如何进入生成过程，而非单纯增强去噪时的条件注入。
带噪状态对齐与源图恢复约束分别检查中间表示兼容性和信息可恢复性。二者的组合比只强调最终重建更清楚地表达了“共享背景、开放修改”的假设。
采样精度也可以作为测试时优化预算的一部分。先粗后细不改变优化变量，却能显著减少反复生成的代价。

局限与展望¶

作者明确承认：逐图优化比无需优化的方案昂贵。即使强加速达到 90 秒，仍远高于表中 FlowAlign 的 4 秒。
作者展示的边界：跨目标迁移不如针对新目标重新优化，编辑偏离原图的程度会影响复用效果。它不能直接消除多次交互编辑中的等待时间。
阅读判断：循环一致性不等于目标语义正确性，CLIP 与结构距离也不足以覆盖细粒度修改和感知质量。更有力的验证应加入目标区域评测、人工偏好及两项损失独立消融。
证据范围：当前缓存为正文及参考文献，不含文中多次引用的附录；完整超参数曲线、逐轮量化和更多实现细节不能据此核实。未来可考察早停和噪声复用，但本文没有给出其量化收益。

评分¶

新颖性: 4/5。将目标感知破坏落实为双噪声和双重一致性约束，切入点清楚。
实验充分度: 3/5。覆盖两种评测分辨率及成本分析，但当前正文不足以核验所有附录实验。
写作质量: 4/5。动机与方法衔接清晰，缓存公式损坏限制了精确实现复核。
价值: 4/5。适合重视保真度的离线编辑，交互式使用仍受逐图优化成本限制。