V-HOLD: Stabilizing Flow Trajectories to Rethink the Edit–Preservation Trade-off¶

会议: ECCV 2026
论文: ECCV 原文
领域: 图像生成
关键词: 文本引导图像编辑, 流匹配, 轨迹稳定性, 免反演编辑, 特征保留

一句话总结¶

针对流匹配图像编辑中增强编辑强度必然破坏源图保真度的顽疾，本文发现轨迹积分不稳定性才是非目标区域退化的核心诱因，进而提出无需训练的 V-HOLD 机制，通过锚点步参考对齐优选与跨步速度保持，在大幅减少模型推理评估次数的同时显著提升语义保真度。

研究背景与动机¶

近年来，基于扩散模型与整流流（Rectified Flow）的生成架构在文本引导图像编辑领域取得了突破性进展，使得用户能够依据自然语言提示词灵活修改图像语义并力求保留原始视觉结构。以 SDEdit、RFEdit 以及 FlowEdit 为代表的方案，借助强大的预训练生成先验，实现了多样化的语义与风格变换。然而，这些生成式编辑方法普遍面临一个长期存在的根本困境——编辑强度与源图保留之间的固有权衡（Edit–Preservation Trade-off）：当模型施加足够强烈的引导以契合目标提示词时，原图的主体身份一致性、背景结构或高频细节往往会遭受剧烈破坏；反之，若严格约束源图结构，编辑操作又往往流于表面或修改不彻底。在过去的研究中，这一权衡通常被视作生成式编辑不可避免的内在数学与表示局限。

以往文献在评估与优化编辑算法时，几乎完全聚焦于最终生成结果的端到端对齐指标（如 CLIP 相似度）以及反演阶段的重建误差，却普遍忽视了迭代数值积分过程中的中间动力学特性。在基于 ODE/SDE 的采样过程中，从源潜变量向目标潜变量传输的积分轨迹，直接决定了源图特征与目标引导信息如何在隐空间内交融。在无需反演的流匹配编辑范式中，模型在每一个离散积分步长上，均需要通过重采样高斯扰动来估计瞬时速度场差值；然而，这种逐步独立估计会不可避免地引入大量高频估计噪声，导致潜变量更新方向在各步之间出现剧烈跳跃与震荡。

深入的动力学分析揭示出一个关键事实：这种由于积分步间更新方向剧烈偏差与幅度波动所构成的“轨迹不稳定性”，与非目标区域的语义退化及伪影扩散呈现出极强的正相关，却几乎对最终文本对齐度的提升毫无实质贡献。换言之，现存权衡曲线的恶化在很大程度上并非源于语义修改本身的冲突，而是积分动力学数值震荡造成的无意义破坏。本文的核心 idea 是：将编辑过程视为带噪声的流轨迹积分，通过在锚点步根据全局参考方向优选瞬时速度场，并在后续多个积分步长内直接保持该速度方向（V-HOLD），以零训练成本消除逐步扰动累积，在大幅降低速度场评估次数（NFE）的同时打破编辑与保留的互斥权衡。

方法详解¶

整体框架¶

在基于流匹配的图像编辑中，模型的目标是通过沿学习到的速度场输运潜状态，将源图像潜变量平滑转变为契合目标提示词的生成图像。以无需反演的 FlowEdit 为基础，其瞬时编辑方向由目标提示词条件速度场与源提示词条件速度场的差值确定。然而，由于每一步都需要通过高斯随机扰动构建合成潜变量，逐步重新计算差值速度场会引入严重的独立随机噪声，导致潜变量轨迹在空间中曲折游走，将不必要的变化波及到背景与未修改区域。

V-HOLD（Velocity Hold）将整个积分时间步划分为若干由长度 $H$ 界定的区间。算法仅在特定的锚点时间步采样候选更新方向，借助余弦相似度与全局参考方向进行筛选，选出信噪比最高且最具引导一致性的速度向量；随后在接下来的 $H$ 个连续积分步长内直接锁定并重用该速度方向推进隐状态，无需重复调用神经网络进行速度场评估。整体流程涵盖“源/目标潜变量扰动构建”、“锚点候选采样与参考对齐优选”以及“跨步方向保持与轨迹积分更新”。

%%{init: {'flowchart': {'rankSpacing': 24, 'nodeSpacing': 28, 'padding': 6, 'wrappingWidth': 400}}}%%
flowchart TD
    A["输入源图像与文本提示词<br/>构建共享扰动的源/目标潜变量"] --> B["锚点步候选采样与参考对齐优选<br/>K 个差分候选与参考方向 r 匹配余弦极大值"]
    B --> C["跨步方向保持与高效连续积分<br/>锁定选定速度并跨 H 步执行无评估隐空间推进"]
    C -->|未达区间终点 a+H| C
    C -->|到达下一锚点 a+H 且未终止| B
    C -->|完成全部 N 步积分| D["输出高保真且语义对齐的编辑图像"]

关键设计¶

1. 锚点步候选采样与参考对齐优选：过滤高斯扰动随机性并锁定编辑目标

在无需显式反演的流式编辑框架中，时间步 $t$ 处的瞬时编辑速度由目标条件与源条件速度场的差值给出： $$\Delta v_\theta(z_t, t; \epsilon) = v_\theta(z_t^{\text{tgt}}, t; c_{\text{tgt}}) - v_\theta(z_t^{\text{src}}, t; c_{\text{src}})$$ 其中 $z_t^{\text{src}} = (1 - \sigma_t) x^{\text{src}} + \sigma_t \epsilon$，而 $z_t^{\text{tgt}} = z_t + z_t^{\text{src}} - x^{\text{src}}$，高斯扰动 $\epsilon \sim \mathcal{N}(0, I)$ 在两分支间共享。由于单次高斯采样存在方差，传统方法在每一步进行蒙特卡洛平均时依然残留显著的高频估计误差 $\xi_k$。

为了避免这种随机游走，V-HOLD 仅在预设的锚点步长 $a \in \{0, H, 2H, \dots\}$ 处重新估计编辑方向。在每个锚点步 $a$，算法独立采样 $K$ 组扰动噪声 $\{\epsilon^{(i)}\}_{i=1}^K$，生成 $K$ 个候选速度向量： $$\Delta v_a^{(i)} = \Delta v_\theta(z_{t_a}, t_a; \epsilon^{(i)}), \quad i = 1, \dots, K$$ 系统维护一个全局参考编辑向量 $r$（在初始锚点步 $a=0$ 时用第一个采样候选初始化 $r = \Delta v_0^{(1)}$）。在后续每个锚点步，通过计算每个候选方向与参考方向 $r$ 之间的余弦相似度，挑选出对齐度最高的最优候选索引 $i^\star$： $$i^\star = \arg\max_{i} \frac{\langle \Delta v_a^{(i)}, r \rangle}{\|\Delta v_a^{(i)}\| \, \|r\|}$$ 确定最优候选向量后，将其赋给锚点更新方向 $d_a = \Delta v_a^{(i^\star)}$，并随即更新参考方向 $r \leftarrow d_a$。这一机制利用跨时间步的宏观语义惯性，在局部候选集里精准剔除偏离主干编辑意图的离群漂移分量，确保所选速度场牢牢锚定目标提示词。

2. 跨步方向保持与高效连续积分：消除逐步重算抖动并大幅削减计算开销

一旦在锚点步 $a$ 锁定了高信噪比的速度向量 $d_a$，V-HOLD 便不再在后续的 $H-1$ 个中间子步内重复评估神经网络速度场。在区间索引 $j \in \{0, 1, \dots, H-1\}$ 内，更新方向被强制恒定保持： $$d_{a+j} = d_a$$ 隐状态则严格遵循预设的离散化噪声调度序列 $\{\sigma_k\}$ 沿该方向平滑向前推进： $$z_{t_{a+j+1}} = z_{t_{a+j}} + (\sigma_{a+j+1} - \sigma_{a+j}) \, d_a$$ 从动力学误差累积的角度来看，设真实编辑理想场为 $d_k^\ast$，单步采样噪声为 $\xi_k$。逐步独立重估会导致总位移累加了 $\sum_k \xi_k$，使得非零均值的局部随机扰动在潜空间四处扩散，在像素空间映射为背景纹理漂移、边缘畸变及多余物体幻觉。V-HOLD 将速度场更新频率降低为原来的 $1/H$，使得高频随机噪声无法在中间步持续注入，从而将能量集中在前景目标的变化流形上。与此同时，中间步免除神经网络前向传播带来了极高的时间与算力收益，使骨干网络的速度场评估次数（NFE）显著减少。

3. 轨迹稳定性与波动性度量准则：从动力学积分视角解耦编辑与保留的权衡矛盾

为了量化流编辑过程中的中间轨迹特性，本文构建了针对轨迹动态稳定性的数学评估指标。设实际应用的连续更新向量序列为 $\{d_k\}_{k=0}^{N-1}$，第 $k$ 步的步间方向一致性通过相邻速度向量的余弦相似度衡量： $$\text{cos}_{\text{traj}}(k) = \frac{\langle d_k, d_{k-1} \rangle}{\|d_k\| \, \|d_{k-1}\|}$$ 由此定义第 $k$ 步的方向不稳定性为补数 $\text{Instability}(k) = 1 - \text{cos}_{\text{traj}}(k)$。同时，引入步间幅度变化率 $\Delta_{\text{mag}}(k) = \frac{|\|d_k\| - \|d_{k-1}\||}{\|d_{k-1}\| + \delta}$（$\delta = 10^{-8}$ 为数值平滑常数），并通过对全轨迹时间步取平均得到整体幅度波动率（Volatility）： $$\text{Volatility} = \frac{1}{N-1} \sum_{k=1}^{N-1} \Delta_{\text{mag}}(k)$$ 实验统计表明，传统基线的方向不稳定性高达 0.4～0.6，且幅度波动剧烈；而 V-HOLD 能够将方向不稳定性压低 70%～85%。该度量准则从实验上直接证明：图像非编辑区域的崩塌主要受控于高 $\text{Instability}$ 与高 $\text{Volatility}$，只要稳定住轨迹方向，编辑与保留就能同时兼得。

实验关键数据¶

主实验¶

实验在两个权威基准上进行评测：包含 700 对真实图像编辑样本的 PIE-Bench 以及包含 300 对 1024×1024 高清样本的 FlowEdit-Data。选用 FLUX.1-dev 与 SD3-medium 作为代表性整流流骨干模型，对比反演类方法（RF-Inversion、RFEdit、FireFlow、DDIB、iRFDS、SDEdit）与免反演流编辑方法（FlowEdit、FlowAlign）。评测指标包括感知差异 LPIPS（越低越好）、语义特征漂移 DINO 距离（越低越好）以及目标文本对齐度 CLIP 分数（越高越好）。

骨干模型	方法	PIE-Bench LPIPS ↓	PIE-Bench DINO ↓	PIE-Bench CLIP ↑	FlowEdit-Data LPIPS ↓	FlowEdit-Data DINO ↓	FlowEdit-Data CLIP ↑
FLUX.1-dev	RF-Inversion	0.4338	0.8585	0.2536	0.5004	0.9451	0.2931
FLUX.1-dev	RFEdit	0.3776	0.8617	0.2531	0.4012	0.8911	0.2835
FLUX.1-dev	FireFlow	0.4478	0.9778	0.2698	0.4545	0.9845	0.3023
FLUX.1-dev	FlowEdit	0.2712	0.8004	0.2583	0.2805	0.8574	0.2898
FLUX.1-dev	V-HOLD (本文)	0.2874	0.7862	0.2623	0.3201	0.8373	0.2928
SD3-medium	DDIB	0.6751	1.1331	0.2726	0.6852	1.1262	0.3013
SD3-medium	SDEdit	0.4415	0.9392	0.2731	0.4895	0.9724	0.3009
SD3-medium	iRFDS	0.3998	0.8872	0.2652	0.7680	1.1317	0.3031
SD3-medium	FlowAlign	0.3521	0.8640	0.2482	0.3278	0.9389	0.2910
SD3-medium	FlowEdit	0.3201	0.8873	0.2781	0.2243	0.8831	0.2985
SD3-medium	V-HOLD (本文)	0.2957	0.8461	0.2723	0.2378	0.7547	0.2975

轨迹稳定性与计算效率对比¶

在 SD3-medium 与 FLUX.1-dev 上统计轨迹不稳定性与波动性（中位数及四分位距），并测试骨干网络评估次数（NFE）、FLOPs 以及单张图像实际编辑运行耗时。

骨干模型	方法	反演机制	不稳定性 (Instability) ↓	更新波动率 (Volatility) ↓	NFE ↓	FLOPs (hook) ↓	编辑时间 (s) ↓
SD3-medium	FlowEdit	无 (X)	0.636 (0.598–0.678)	0.293 (0.265–0.311)	33	2.52e+14	3.420
SD3-medium	FlowAlign	无 (X)	0.546 (0.511–0.587)	0.215 (0.190–0.238)	33	2.87e+14	8.404
SD3-medium	V-HOLD	无 (X)	0.090 (0.064–0.113)	0.123 (0.098–0.167)	27	2.35e+14	2.177
SD3-medium	相对 FlowEdit 变化	—	-85.8%	-58.0%	-18.2%	-6.7%	-36.3%
FLUX.1-dev	FlowEdit	无 (X)	0.421 (0.380–0.466)	0.315 (0.294–0.344)	24	9.53e+14	8.875
FLUX.1-dev	V-HOLD	无 (X)	0.108 (0.094–0.124)	0.223 (0.202–0.248)	21	2.47e+14	6.943
FLUX.1-dev	相对 FlowEdit 变化	—	-74.3%	-29.3%	-12.5%	-74.0%	-21.8%

消融实验¶

消融实验探究候选数量 $K$ 与保持长度 $H$ 的设计有效性：默认配置为 $K=3, H=4$；w/o candidate 表示不进行候选采样比对（$K=0$，对 $H \in \{2,4,6\}$ 取均值）；w/o hold 表示不进行跨步保持（$H=0$，每步重算，对 $K \in \{1,3,5\}$ 取均值）。

骨干模型	配置	PIE-Bench LPIPS ↓	PIE-Bench CLIP ↑	PIE-Bench DINO ↓	FlowEdit-Data LPIPS ↓	FlowEdit-Data CLIP ↑	FlowEdit-Data DINO ↓
FLUX.1-dev	w/o candidate	0.348	0.257	0.992	0.333	0.291	0.856
FLUX.1-dev	w/o hold	0.340	0.254	0.995	0.324	0.282	0.866
FLUX.1-dev	V-HOLD (Full: K=3, H=4)	0.287	0.262	0.786	0.320	0.293	0.837
SD3-medium	w/o candidate	0.326	0.275	1.049	0.205	0.287	0.789
SD3-medium	w/o hold	0.300	0.276	1.047	0.201	0.289	0.797
SD3-medium	V-HOLD (Full: K=3, H=4)	0.296	0.272	0.846	0.238	0.297	0.755

关键发现¶

DINO 特征保持全面领先：在两款先进骨干网络与两个基准数据集的所有组合中，V-HOLD 的源图特征 DINO 距离均取得全场最低（例如在 FlowEdit-Data 上 SD3-medium 达到 0.7547，远优于基线 FlowEdit 的 0.8831），且 CLIP 文本对齐度保持持平或微增，打破了传统认为提升保留必会牺牲对齐的先验假设。
轨迹稳定性剧烈改善：相比逐步重新采样的 FlowEdit，V-HOLD 在 SD3-medium 上使轨迹不稳定性骤降 85.8%，幅度波动降低 58.0%；在 FLUX.1-dev 上不稳定性下降 74.3%，有效阻断了非目标区域的误差积累。
显著节约算力：在 FLUX.1-dev 上，V-HOLD 将推理 FLOPs 削减了 74%，编辑时间从 8.88s 降至 6.94s；在 SD3-medium 上耗时缩减至 2.18s，兼顾了生成质量与部署效率。
组件协同不可或缺：消融数据显示，去掉 candidate 或去掉 hold，DINO 距离均发生严重恶化（例如在 PIE-Bench 上 DINO 从 0.786/0.846 恶化至 0.992～1.049），证明单纯保持无优选的方向容易带来固定偏差，而无保持的候选选择依然无法遏制步间震荡。参数分析表明 $K=3, H=4$ 在语义保真度与变换适应性之间构成了最佳拐点。

亮点与洞察¶

解耦“编辑-保留”权衡的认知突破：过去学者普遍将编辑冲突归咎于条件生成的先验重叠与语义压制，本文首次从常微分方程离散积分的“数值轨迹不稳定性”视角切入，用扎实的数据证明背景退化很大程度上源自高频数值抖动，为生成控制提供了全新的动力学研究视角。
极致轻量且高度兼容的免训练范式：V-HOLD 完全不需要微调权重或优化注意力图，仅靠锚点步余弦筛选与中间步向量重用，以数行逻辑代码便实现了跨 FlowEdit、FLUX 与 SD3 的通用即插即用加持。
空间注意力自发局部化聚集：累积更新幅度的热力图分析显示，通过抑制时序震荡，潜空间的更新向量自发且高度精准地收敛于编辑主体所在的前景区域，在无需显式物体掩码（Mask）的前提下达成了精确的局部编辑效果。

局限与展望¶

固定时间步长对多尺度编辑适应性不足：当前算法在整条时间轴上采用固定的候选数 $K=3$ 与保持步长 $H=4$。然而在图像生成的早期阶段（宏观结构确立）与晚期阶段（微观纹理精细化），模型对速度方向的容忍度存在显著差异，且局部的细微颜色变换与大跨度的几何属性替换对稳定性的需求不同，未来可探索根据步长与编辑幅度自适应调整 $H$ 的动态调度算法。
对初始参考向量的敏感性：$a=0$ 步的参考方向直接由首个采样噪声初始化决定，若初始采样恰好命中极端离群值，可能导致后续锚点步的余弦匹配产生系统性偏差。引入多样本聚合初始化有望进一步增强极端用例下的鲁棒性。

评分¶

新颖性: ⭐⭐⭐⭐ [从轨迹稳定性动力学切入重新审视编辑-保留权衡，视角独特且机理解释令人信服]
实验充分度: ⭐⭐⭐⭐⭐ [覆盖 SD3 与 FLUX 双架构、两大基准、轨迹统计量、计算复杂度分析以及双 MLLM 盲测，实验极其完备]
写作质量: ⭐⭐⭐⭐⭐ [论证逻辑严密，图表清晰，问题定义与理论推导一气呵成]
价值: ⭐⭐⭐⭐⭐ [零额外训练开销且同时实现质量提升与计算加速，对实际工业界图像编辑管线具有极高的落地参考价值]